JP2011003000A - ラインモニタリング装置 - Google Patents

Abstract

【課題】生産ラインを流れる製品（移動体）は設備や障害物の背後に隠れ、一時的に映像に現れない場合があり、移動体の追尾を行うことは困難であった。
【解決手段】カメラ１０で撮影した生産工程の作業内容および製品移動状況の映像をデータ蓄積装置１１に蓄積し、映像内に設定した複数のマッチングエリアにおいてマッチング処理部１４が移動体画像とその特徴量として登録したマッチングパタンとを比較することにより製品の有無を判定し、移動体追尾部１６がマッチング処理部の結果と複数のマッチングエリア間の製品の移動時間を格納した移動時間管理部１５からの移動時間とを用いて製品の移動経路を追尾することにより、製品の映像が一時的に確認できなくなる場合にも、格納された移動時間によりその間を補間することで移動体の追尾を可能とする。
【選択図】図１

Description

この発明は、生産ラインにおける製品に対する各生産工程の作業内容を映像として記録し、トラブル発生時の調査を迅速に行えるようにするためのラインモニタリング装置に関するものである。

生産ラインの改善活動において、製品の試験不合格や設備トラブルなどイベント発生時の原因追求を行うために、イベント発生の対象となった製品に対する各生産工程での作業内容を調査することが考えられる。その際にはＩＤタグなどを用いて製品の個体を識別しておき、その個体に対する作業内容を製品のＩＤと共に記録しておくことが一般的であるが、仕掛品を加工する際や製品の特性などによりＩＤタグなどを付加できない場合や、既存の生産ラインの改善活動を行う際にＩＤタグなどの導入が容易でない場合がある。
それに対して、生産ラインにおける工程間の製品の移動の映像を取得し、映像から製品の移動経路を追尾することで、イベント発生の対象となる製品に対する各生産工程での作業内容を抽出する方法が考えられる。

映像から製品などの移動体の経路を追尾する方法としては、特開２００５−９９９５３号公報（特許文献１）に記載のあるオブジェクト追跡システムなどの適用が考えられる。
これは静止画データ列によって構成される動画データ中からオブジェクトを探索し追跡する手段を持ち、追跡対象の静止画データより後の時刻における１以上の静止画データの中から既に検出されたオブジェクトの特性に基づいて、該追跡対象の静止画データ中からオブジェクトを追跡することにより、静止画データ列の時間軸を遡る方向にオブジェクトを追跡するというものである。

また、特開２００７−２６７２９４号公報（特許文献２）においては、複数のカメラを用いて移動物体を監視する装置について開示されたもので、複数のカメラで撮影した映像から算出される移動物体の特徴量から移動物体を追跡した結果を用いて、移動物体が映っているカメラ映像を選択すると共に移動物体の移動軌跡を生成し、選択されたカメラ映像と生成された移動軌跡とから監視画面を生成するというものである。

特開２００５−９９９５３号公報 特開２００７−２６７２９４号公報

しかしながら、従来技術を生産ラインのモニタリングに適用する場合、以下の問題が発生する。
（１）生産ラインでは色や形状が同様の移動体が複数移動している場合があり、従来技術ではこれらの移動体を区別して追尾することができない。
（２）生産ラインを流れる移動体が設備や障害物の背後に隠れ、一時的に映像に現れない場合があり、従来技術による移動体の追尾を行うことは困難である。
（３）生産工程と搬送設備間が離れている際に製品の経路を追跡するには、従来技術によれば必要なカメラの数が増加し、カメラのセッティング等による生産ライン改善活動の負荷が増大する。

この発明は、生産ラインにおける移動体の追尾に関するこれら従来技術の課題を解決し、製品の試験不合格や設備トラブルなどのイベント発生原因の調査を迅速に行えるようにしたラインモニタリング装置を提供することを目的とするものである。

この発明に係るラインモニタリング装置は、個々の製品に対する各生産工程の作業内容を記録するラインモニタリング装置において、各生産工程の作業内容を撮影する第１のカメラと、各生産工程間の製品移動状況を撮影する第２のカメラと、第１および第２のカメラで撮影した映像を蓄積するデータ蓄積装置と、データ蓄積装置に蓄積された映像内に設定する複数のマッチングエリアを管理するマッチングエリア管理部と、複数のマッチングエリアにおける製品や搬送パレット等の移動体画像の特徴量をマッチングパタンとして格納したマッチングパタン蓄積部と、マッチングパタン蓄積部に格納したマッチングパタンとデータ蓄積装置に蓄積された撮影映像を用いてマッチングエリアにおける製品の有無を判定するマッチング処理部と、複数のマッチングエリア間の製品の移動時間を格納した移動時間管理部と、マッチング処理部の結果と移動時間管理部の移動時間を用いて製品の移動経路を追尾する移動体追尾部と、移動体追尾部が追尾の対象とする製品の選択情報を管理する移動体選択情報管理部と、移動体選択情報管理部の選択情報に基づき移動体追尾部による処理を行い、製品に対する各生産工程での作業内容の映像をデータ蓄積装置より抽出する作業映像抽出部と、作業映像抽出部で抽出した作業内容の映像を表示する映像出力部と、を備えたものである。

この発明は、撮影した映像内にマッチングエリアを設定して、マッチングエリア間の製品の移動時間を移動時間管理部が管理し、その移動時間を活用することで移動体追尾部が複数の同色同形状の移動体について、該当する移動体を区別して追尾することができる。また、映像中で障害物の背後に製品が隠れる時や、現在のカメラの映像から異なるカメラの映像へ製品が移動する時など、製品の映像が一時的に確認できなくなる場合にも、映像中で製品が確認できなくなってから次に製品が現れる時点までの移動時間を移動時間管理部より取得し、その間を補間することで移動体の追尾が可能である。さらに、生産工程と搬送設備間が離れている際、その間の映像が無くとも製品の経路を追尾することができるため、必要なカメラ数を少なくでき、生産ライン改善活動の負荷を軽減できる。

この発明の実施の形態１におけるラインモニタリング装置の構成図である。 この発明の実施の形態１におけるラインモニタリング装置のカメラ配置の例を示す上面図である。 この発明の実施の形態１におけるラインモニタリング装置による移動追尾の動作を示す図である。 この発明の実施の形態１におけるラインモニタリング装置の移動体追尾解析処理のＰＡＤ図である。 この発明の実施の形態１におけるラインモニタリング装置の映像出力部による表示例を示す図である。 この発明の実施の形態１における映像出力部による追尾対象の製品選択ダイアログの表示例を示す図である。 この発明の実施の形態２におけるラインモニタリング装置による移動体選択情報の生成と移動体選択方法を示す概略図である。 この発明の実施の形態３におけるラインモニタリング装置による移動追尾の動作を示す図である。

実施の形態１．
以下、この発明の実施の形態１におけるラインモニタリング装置を図１〜図６に基づいて説明する。
ラインモニタリング装置の機能構成を示した図１の構成図において、カメラ１０は生産ラインの各生産工程における作業内容の映像を撮影する第１のカメラ１０１、１０２と、各生産工程間の製品移動状況を撮影する第２のカメラ１０ｎを必要に応じて複数用意する。カメラ１０としてはネットワークカメラやビデオカメラなどを使用でき、ネットワークカメラの場合はＬＡＮなどの通信手段を経由して各カメラ１０１〜１０ｎで撮影した映像をデータ蓄積装置１１に格納する。

データ蓄積装置１１としてはハードディスクなどの映像記憶装置が用いられる。カメラ１０が記憶メディアを内蔵しているビデオカメラの場合は、撮影終了後ビデオカメラ内蔵メディアに保存された映像をデータ蓄積装置１１に転送するか、もしくはビデオカメラ内蔵メディア自体をデータ蓄積装置１１として扱ってもよい。従ってデータ蓄積装置１１は複数あってもよい。
マッチングエリア管理部１２はユーザがカメラ１０で撮影した映像の範囲内に設定する複数のマッチングエリアを管理する。マッチングパタン蓄積部１３はユーザが予めマッチングエリア管理部１２で設定した各マッチングエリアにおける製品や搬送パレット等のなどの移動体画像を指定し、その特徴量をマッチングパタンとして格納する。

マッチング処理部１４は後述する移動体追尾部１６から指定される時刻の映像について、マッチングエリア管理部１２で設定されたマッチングエリアにおいて、マッチングパタン蓄積部１３に格納した移動体画像の特徴量を用いて、製品の映像とマッチングパタンとの一致について判定を行い、製品の有無を判定する。
移動時間管理部１５は、各マッチングエリア間の製品の移動時間、即ち、あるマッチングエリアから次のマッチングエリアに移動するまでの移動時間を格納して管理しており、これら移動時間を後述する移動体追尾部１６に伝える。なお各移動時間は搬送設備の移動速度の変動などを考慮して上限と下限の移動時間を格納して管理している。

移動体追尾部１６は後述する作業映像抽出部１８より指定される製品について追尾を行う。その追尾の際に現在のマッチングエリアにおけるマッチング処理部１４の判定結果により製品の所在を確認し、マッチングエリア間の移動時間を移動時間管理部１５により取得し、その移動状況を確認することで、製品の追尾を行う。
移動体選択情報管理部１７は移動体追尾部１６が追尾の対象とする製品の選択情報（工程、日時、属性、内容など）を管理するもので、日時はマッチング処理部１４の処理により取得し、イベント発生の属性と内容はユーザが入力するか、設備からのアラーム信号を受け取ることで登録する。こうして製品の生産工程への投入時刻を自動的に抽出してデータを生成すると共に、設備のトラブル発生や製品の試験不具合発生などのイベント発生時刻と不具合内容のリストを作成して管理している。

作業映像抽出部１８は移動体選択情報管理部１７より追尾の対象となる製品の選択情報を取得して移動体追尾部１６に伝え、移動体追尾部１６がそれに基づいて製品の経路を追尾し、その追尾結果から該製品に対する各生産工程での作業内容の映像をデータ蓄積装置１１から抽出して映像出力部１９に伝える。
映像出力部１９は作業映像抽出部１８により抽出した製品の各生産工程の作業内容の映像を表示する。さらに、必要に応じて各作業内容の映像をデータファイルとして出力し保存することができる。

次に生産工程のラインをモニタリングする装置のカメラ１０の配置の例を示す図２について説明する。
生産ラインは、製品２１を搬送するためのコンベアなどの搬送設備２２と、搬送設備２２の搬送方向Ｄｈに沿って設けられた複数の生産設備２３Ａ、２３Ｂと、搬送設備２２から生産設備２３Ａ、２３Ｂに移動方向Ｄｉに沿って製品を移動するための搬送機構２４Ａ、２４Ｂで構成されている。また搬送設備２２には製品２１を搭載して搬送するための複数の搬送パレット２５が設けられている。

複数のカメラ１０のうち、各生産工程における作業内容の映像を撮影する第１のカメラ１０１は生産設備２３Ａの作業内容撮影エリアＡを撮影するような位置に設置される。また同様に、各生産工程における作業内容の映像を撮影する第１のカメラ１０２は生産設備２３Ｂの作業内容撮影エリアＢを撮影するような位置に設置される。
複数のカメラ１０のうち、各生産工程間の製品移動状況を撮影する第２のカメラ１０ｎは搬送設備撮影エリアＣを撮影するような位置に設置される。第２のカメラ１０ｎは搬送設備２２の全体が撮影できるよう生産ラインの入口側の上部に設けられ、必要に応じてラインに沿って複数台設けられる。

次に各工程間の製品移動状況を撮影したカメラ映像についての移動体追尾部１６の動作例を示す図３について説明する。
図３は、製品の移動状況を撮影した第２のカメラ１０ｎの搬送映像３０と、マッチングパタン蓄積部１３に蓄積されたマッチングパタン３２と、移動体追尾処理内容３４とを示している。
カメラの搬送映像３０には、第２のカメラ１０ｎが搬送設備撮影エリアＣを撮影した映像が映っており、コンベアなどの搬送設備２２の映像３０１と、製品２１の映像３０２ａ・３０２ｂと、搬送設備に設けられた設備の一部や障害物などの映像３０３が記録されている。なお、製品２１の映像３０２ａは追尾対象の製品映像、製品２１の映像３０２ｂは先行する製品映像で、製品自体は同じ大きさのものであるが、カメラ１０ｎから遠いほど（映像３０２ｂのように）小さくなっている。

そしてこの搬送映像３０の所定の範囲内にユーザが複数のマッチングエリア３１１、３１２、３１３を設定し、マッチングエリア管理部１２で管理する。
一方、マッチングエリア管理部１２で管理している各マッチングエリア３１１、３１２、３１３に対応した製品等の移動体画像の特徴量をマッチングパタン３２１、３２２、３２３として予めマッチングパタン蓄積部１３に格納しておく。例えば、マッチングパタン３２２については、カメラを設置後に取得した製品の流動状況の映像３０から、手作業でマッチングエリア３１２を指定し、マッチングエリア３１２に現れる製品画像の特徴量を取得しておき、マッチングパタンの製品画像３２２とする。なお、カメラ１０ｎから遠くなるほど映像が小さくなるため、マッチングパタン３２１、３２２、３２３もそれに応じて次第に小さくなっている。その状態を示したのがマッチングパタン３２である。

移動体追尾処理内容３４には、マッチングエリア内の映像とマッチングパタンとの一致度３５と、マッチング判定結果３６と、マッチングエリア間の移動時間３７と、製品の通過経過情報３８とを示している。
映像とマッチングパタンとの一致度３５は、マッチング処理部１４においてマッチングエリア内の映像とマッチングパタンの特徴量を比較して一致度を求め、一致度３５に応じた信号を出力するものである。例えば、マッチングエリア３１１では搬送映像３０に製品の映像がないため、マッチングパタン３２１の特徴量と一致せず、一致度３５としての信号は出力されない。しかし、マッチングエリア３１２および３１３では搬送映像３０に製品の映像３０２ａ、３０２ｂがあるため、マッチングパタン３２２および３２３の特徴量との比較により、一致度３５としての信号３５１および３５２が出力される。

さらに一致度３５としての信号３５１および３５２は閾値処理３５３などをして、マッ
チング判定結果３６として、マッチングエリア内の製品あり／なしのマッチング判定結果３６１および３６２を出力する。
マッチングエリア間の移動時間３７は、移動時間管理部１５に格納されている上限と下限の移動時間で、移動時間３７１は前工程からマッチングエリア３１１へ移動するまでの上限と下限の移動時間、移動時間３７２は製品がマッチングエリア３１１からマッチングエリア３１２まで移動する上限と下限の移動時間、移動時間３７３は製品がマッチングエリア３１２からマッチングエリア３１３まで移動する上限と下限の移動時間である。

図３の例では、マッチングエリア３１２とマッチングエリア３１３との間に障害物３０３があるため、この間に搬送される製品の映像は一時的に確認できなくなる。そのため移動体追尾部１６は移動時間管理部１５よりマッチングエリア間の移動時間３７３を取得し、後述する図４のＰＡＤ図で示した処理を実行することで、製品の追尾を行う。
こうして製品の通過経過情報３８は、マッチングエリア３１１とマッチングエリア３１２間は追尾対象製品の通過経路３８２として処理され、マッチングエリア３１２とマッチングエリア３１３間は追尾対象製品の通過予定経路３８３として処理される。

次に図４に示す移動体追尾解析処理のＰＡＤ図について説明する。
移動体追尾部１６はある生産工程での作業内容が完了して、製品の排出のため搬送し始めたときに、移動体追尾解析処理を開始Ｓ０し、最後のマッチングエリアを製品が通過するまで処理Ｓ１００を繰り返し、終了Ｅ０に至る。
処理Ｓ１００において、処理Ｓ１１０は次のマッチングエリアまでの移動時間Ｄ１１を移動時間管理部１５から取得する。処理Ｓ１２０は移動時間の下限から上限まで、次のマッチングエリア内に製品が見つかるまでマッチング処理Ｓ１０を行う。マッチング処理Ｓ１０はマッチングパタン蓄積部１３に格納されたマッチングパタンＤ１２とデータ蓄積装置１１に蓄積された撮影映像Ｄ１３との比較をマッチング処理部１４により行う。
処理Ｓ１３０は、もし移動体追尾処理の途中で製品を見失った場合には、終了（ＮＧ）Ｅ１に至る。処理Ｓ１４０は現在のマッチングエリア内の製品が移動し、現在のマッチングエリア内で製品が見つからなくなるまで上記と同じマッチング処理Ｓ１０を繰り返す。
このように搬送される製品の映像が一時的に確認できなくなる場合でも、移動体追尾部１６は移動時間を取得して製品の追尾を行うことができる。

移動体追尾部１６は、取り扱う時間軸の正負を切り替えることによって、時間軸に対して順方向、逆方向どちらに対しても移動体の追尾を行うことができる。
また、移動体追尾部１６の処理完了後、さらに製品の移動先の映像について製品経路の追尾を継続したい場合は、再度移動体追尾部１６の処理を繰り返すことで対応できる。
作業映像抽出部１８は、任意の製品に対して移動体追尾部１６によりその経路を追尾して、製品に対する各生産工程の作業内容を映像として抽出することができる。
映像出力部１９は作業映像抽出部１８より抽出した製品の各生産工程の作業内容の映像を図５に示すような画面構成で表示する。さらに、必要に応じて各作業内容の映像をデータファイルとして出力し保存することができる。

次に映像出力部１９で表示される画面を示す図５について説明する。
図５において、対象ワーク欄には、追尾対象製品の選択ボタン５１０と追尾対象製品の状態５１１が表示される窓がある。搬送経路表示欄には、搬送設備ステーション５２０、工程Ａの１号機と２号機の生産設備ステーション５３０（各機には２台の生産設備ステーションがある）、工程Ｂの１号機と２号機の生産設備ステーション５４０（各機には２台の生産設備ステーションがある）、工程Ｃの生産設備ステーション５５０が表示される。
搬送設備ステーション５２０には搬送経路の表示５２１が表示され、工程Ａの生産設備ステーション５３０には実際に作業が行われている作業実施ステーション５３１および搬送設備ステーション５２０から生産設備ステーション５３０に製品を移動するための搬送
機構５３２が表示される。同様に工程Ｂの生産設備ステーション５４０には実際に作業が行われている作業実施ステーション５４１および搬送設備ステーション５２０から生産設備ステーション５４０に製品を移動するための搬送機構５４２が表示され、さらに工程Ｃの生産設備ステーション５５０には製品のＮＧが発生した工程５５１を表示している。

ここで、工程Ａおよび工程Ｂにそれぞれ４台の生産設備ステーションを設けているのは、例えば加工に３５秒かかる製品があったときに、タクトタイム（１製品あたりの生産にかかる時間）を１０秒にしたいと考えた場合、生産設備の加工機は４台で平行作業を行う必要があるためである。製品はこれら計４台の生産設備ステーションのうち、空きの生産設備ステーションに投入され、他の生産設備ステーションでは既に投入されていた製品の加工を継続することになる。
なお、図５に示す工程Ａおよび工程Ｂの生産設備ステーションは一例であって、この発明は生産設備の加工機の台数について上記したものに特定されるものではない。

作業内容映像欄は、データ蓄積装置１１に蓄積されたカメラ映像が表示され、工程Ａには生産設備Ａで撮影した作業内容の映像５６０が、工程Ｂには生産設備Ｂで撮影した作業内容の映像５７０が、工程Ｃには生産設備Ｃで撮影した作業内容の映像５８０がそれぞれ表示される。また各工程の表示画面の下には映像を再生したり停止する操作用のタッチパネル５６１、５７１、５８１が表示されるようになっている。また製品にＮＧが発生した場合、その工程の箇所にＮＧ発生表示５８２が表示される。

次に製品の試験不合格（ＮＧ）や設備トラブルなどイベント発生時の原因追求を行うための追尾対象の製品の選択について説明する。
各生産工程の映像においてマッチング処理部１４の処理を行うことで生産工程への製品の投入日時が分かり、また移動体選択情報管理部１７にユーザが各製品に対応した属性情報（トラブル発生など）とその内容を入力するか、もしくは移動体選択情報管理部１７と設備をＬＡＮ等の通信手段で接続し、イベント発生のアラームを受け取ることができる状態にしておくことで当該工程における各製品に対応する投入時刻、属性情報とその内容を移動体選択情報管理部１７に登録しておく。
これにより、図５においてユーザが追尾対象製品の選択ボタン５１０をクリックした時に図６のようなダイアログ６００を表示し、追尾対象の製品を選択することができる。

ダイアログ６００に表示される内容は、工程６０２と属性６０４をプルダウン機能で選択し、検索実行ボタン６０６をクリックすることにより追尾対象検索結果の一覧６１０を表示する。検索結果の一覧６１０は移動体選択情報から属性６０４の選択により一致する属性の項目のみが表示され、この図６では属性「トラブル発生」を選択した際の表示内容の一例を示している。
そしてこの検索結果の一覧６１０から追尾対象の選択６１２を行い、追尾対象の選択実行ボタン６２０をクリックすることにより、移動体追尾部１６が対象製品の追尾を行う。移動体追尾部１６は移動時間管理部１５およびデータ蓄積装置１１からのデータにより追尾を行い、作業映像抽出部１８が抽出対象の工程と日時から追尾対象の作業映像を抽出し、映像出力部１８により図５のような表示画面を表示する。ユーザはこの画面表示を見て、トラブル発生の対象となった製品に対する各生産工程での作業内容を調査する。

なお上記では搬送設備２２で搬送される製品（移動体）を追尾することについて説明したが、実際には生産設備２３Ａ、２３Ｂでの作業内容の映像にもマッチングエリアを設定し、搬送設備でのマッチングエリアと同様に生産設備で作業される製品の追尾を行う。
即ち、製品が搬送設備映像のマッチングエリアから生産設備映像のマッチングエリアに移動する間、および設備映像のマッチングエリアから搬送設備映像のマッチングエリアに移動する間は、移動時間管理部１５に移動時間を登録しており、移動体追尾部１６による
処理が行われることを意図している。

以上のようにこの発明の実施の形態１によれば、障害物などにより製品が映らない経路があったとしても、ＩＤタグなどを導入することなく製品の追尾ができ、映像上の製品の同定が可能であり、不具合発生原因などの調査を迅速に行うことができる。また、カメラの射角などの影響で、画像上での製品の形状が位置によって異なるが、そのような状況でも追尾を行うことが出来る。

実施の形態２．
次にこの発明の実施の形態２のラインモニタリング装置を図７に基づいて説明する。
実施の形態１の構成においては、移動体選択情報管理部１７にユーザが設備のトラブル停止や試験不具合品発生などのイベント発生の属性と不具合内容のリストを入力して登録するか、もしくは移動体選択情報管理部１７と設備を何らかの通信手段で接続し、イベント発生のアラームを受け取ることで、イベント発生の属性と不具合内容を登録するだけで、追尾対象製品の選択はユーザが行っていた。
実施の形態２の発明は、ユーザによる追尾対象製品の選択を待たずに、アラーム信号の発生により生成された移動体選択情報を用いて、自動的に移動体追尾を行うようにしたものである。

図７は実施の形態２の発明における、移動体選択情報の生成と移動体追尾を行う対象製品の選択方法を示す概略図である。
図７において、円で囲まれた部分は処理または作業内容を示し、その円部分の左のブロックが入力側の人・データ・情報・オブジェクト等、円部分の右のブロックが出力側のデータ、情報、オブジェクト等を示し、二重枠が図１に示した機能構成に相当するものである。

図７の上段は、ユーザが工程を選択すると共に、マッチング処理部１４が製品の投入日時を取得して、移動体選択情報管理部１７に工程と日時を登録する。
図７の中段は、設備にトラブルが発生した場合にＬＡＮなどの通信手段により移動体選択情報管理部１７がアラーム信号を受け取り、アラームの発生日時からアラーム発生に該当する製品の投入日時およびトラブルの属性と内容を生成する。
図７の下段は、移動体選択情報管理部１７で生成された移動体選択情報から自動的に移動体追尾部１６が対象製品の追尾を行う。この場合移動体追尾部１６は移動時間管理部１５からの移動時間およびデータ蓄積装置１１からの映像に基づいて追尾を行い、抽出対象の工程と時刻を出力する。作業映像抽出部１８は抽出対象の工程と時刻を基づいて作業内容を抽出し、映像出力部１９に作業映像を表示すると共に記憶媒体に保存する。

以上のように実施の形態２の発明は、トラブル発生などのイベント発生時刻を基点として、移動体追尾部１６の処理を行うことで、イベント発生の対象となった製品について、自動的に過去の作業内容を作業映像抽出部１８により抽出して、映像出力部１９に作業映像を表示することができる。
したがって不具合発生原因などの調査を迅速に行うことができる。

実施の形態３．
次にこの発明の実施の形態３のラインモニタリング装置を図８に基づいて説明する。
実施の形態１の構成においては、カメラで撮影した映像内に複数のマッチングエリアを固定的に設定して、それぞれのマッチングエリアでマッチング処理を行っていたが、実施の形態３の発明は、マッチングエリアは追尾の開始位置と終了位置の２つにし、その間のマッチングエリアは移動可能な１つのマッチングエリアのみとして、マッチング処理を行うようにしたものである。

以下、各工程間の製品移動状況を撮影したカメラ映像についての移動体追尾部１６の動作例を示した図８によりこの発明を説明する。図８において、製品の移動状況を撮影した第２のカメラ１０ｎの搬送映像３０と、マッチングパタン蓄積部１３に蓄積されたマッチングパタン３２と、移動体追尾処理内容３４とを示している。
カメラの搬送映像３０には、第２のカメラ１０ｎが搬送設備撮影エリアＣを撮影した映像が映っており、コンベアなどの搬送設備２２の映像３０１と、製品２１の映像３０２ａ・３０２ｂと、搬送設備に設けられた設備の一部や障害物などの映像３０３が記録されている。

そしてこの搬送映像３０の所定の範囲内にユーザが、開始位置のマッチングエリア３１４と終了位置のマッチングエリア３１５を設定してマッチングエリア管理部１２で管理する。この開始位置と終了位置のマッチングエリア３１４、３１５は製品の移動開始と移動終了の位置を決めるために定義している。また、開始位置のマッチングエリア３１４と終了位置のマッチングエリア３１５との間には、開始位置のマッチングエリア３１４でマッチング処理が完了した後に、移動可能な１つのマッチングエリア７１５を設定し、製品の移動に伴いマッチングエリア７１５を移動する。
なお、マッチングエリア３１６は製品が障害物などの映像３０３を通り抜けた後のマッチング開始位置のマッチングエリアである。

一方、マッチングエリア管理部１２で管理している各マッチングエリアに対応した製品等の移動体画像の特徴量であるマッチングパタンを格納するのは、開始位置のマッチングエリア３１４、３１６に対応したマッチングパタン３２４、３２６のみで、終了位置のマッチングエリア３１５に対応したマッチングパタン３２５は不要（図８にはマッチングパタンがないことを意図するため空枠を記載）である。
またマッチングエリア７１５に対応したマッチングパタン７２５は、前回のマッチング処理後に移動体画像の特徴量を求めて、一時的にマッチングエリア管理部１２で保管管理する。これらの状態を示したのがマッチングパタン３２である。

移動体追尾処理内容３４には、マッチングエリア内の映像とマッチングパタンとの一致度３５と、マッチング判定結果３６と、マッチングエリア間の移動時間３７と、製品の通過経過情報３８とを示している。
映像とマッチングパタンとの一致度３５は、マッチング処理部１４においてマッチングエリア内の映像とマッチングパタンの特徴量を比較して一致度を求め、一致度３５に応じた信号を出力するものである。ここでは１つのマッチングエリア７１５のみでマッチング処理を行うため、マッチングパタン７２５との比較により、一致度３５としての信号は信号３５５のみが出力され、開始位置のマッチングエリア３１６においては一致度３５およびマッチング判定結果３６には信号は出力されない。
さらに一致度３５としての信号３５５は閾値処理３５３などをして、マッチング判定結果３６として、マッチングエリア内の製品あり／なしのマッチング判定結果３６５を出力する。

マッチングエリア間の移動時間３７は、移動時間管理部１５に格納されている上限と下限の移動時間で、移動時間３７１は前工程からマッチングエリア３１４までの上限と下限の移動時間、移動時間３７３は製品が終了位置のマッチングエリア３１５から開始位置のマッチングエリア３１６まで移動する上限と下限の移動時間である。マッチングエリア移動追尾の指定範囲情報７７５は製品が開始位置のマッチングエリア３１４から終了位置のマッチングエリア３１５まで移動する時間の範囲中で設定される移動時間情報で、実施の形態１で述べた移動時間による追尾と組み合わせて任意に設定することができる。
こうして製品の通過経過情報３８は、マッチングエリア３１４とマッチングエリア７１
５間は追尾対象製品の通過経路３８２として処理される。

上記した実施の形態３において、マッチング処理部１４が製品の通過開始位置のマッチングエリア３１４をマッチングエリア管理部１２より取得しマッチングエリア３１４内の映像とマッチングパタン蓄積部１３に格納した製品画像の特徴量（マッチングパタン）が一致した時を製品の通過開始とみなし、移動体追尾部１６は以後製品の移動に伴いマッチングエリア７１５を移動して設定し、移動先の製品画像の特徴量を新たなマッチングパタン７２５として取得し、マッチング処理を行うことを繰り返すことで、製品の追尾を行う。
このように実施の形態３の発明は、マッチングエリアとマッチングパタンを移動時間情報に基づいて移動させて移動体の追尾を行うことで、マッチングエリアとマッチングパタンの数を少なくしている。

実施の形態１の方式の場合は、製品を長い距離で搬送する場合などに必要なマッチングエリアの数が増加し、それに伴いマッチングパタンとして用意する製品画像も多くなるが、この実施の形態３ではマッチングエリア移動追尾の範囲において事前に準備が必要なマッチングエリアは開始位置、終了位置の２箇所になり、マッチングエリア管理部１２とマッチングパタン蓄積部１３のデータ容量を小さくでき、さらにマッチングエリアの定義やマッチングパタンの取得に関する事前準備作業を省力化できる効果がある。

この発明のラインモニタリング装置は、生産ラインの製品の流れを把握するために複数のカメラで動画を撮影し、例えば生産工程の終了時点で製品の試験不合格を見つけた場合、撮影映像から不合格製品を追尾することにより、その不合格製品がどの行程でどのようなことが生じたのか、その発生原因を調査するために利用される。

１０…カメラ、 １０１、１０２…作業内容撮影用カメラ、
１０ｎ…製品移動状況撮影用カメラ、 １１…データ蓄積装置、
１２…マッチングエリア管理部、 １３…マッチングパタン蓄積部、
１４…マッチング処理部、 １５…移動時間管理部、
１６…移動体追尾部、 １７…移動体選択情報管理部、
１８…作業映像抽出部、 １９…映像出力部、
２１…製品、 ２２…搬送設備（コンベア）、
２３Ａ…生産設備Ａのステーション、 ２３Ｂ…生産設備Ｂのステーション、
２４Ａ…生産設備Ａの搬送機構、 ２４Ｂ…生産設備Ｂの搬送機構、
２５…搬送パレット、 Ａ…生産設備Ａの作業内容撮影エリア、
Ｂ…生産設備Ｂの作業内容撮影エリア、 Ｃ…搬送設備の製品移動状況撮影エリア、
Ｄｉ…生産設備Ａ、Ｂの搬送方向、 Ｄｈ…搬送設備の搬送方向、
３０…搬送状況の映像、 ３２…マッチングパタン、
３４…移動体追尾処理内容 ３５…映像とマッチングパタンの一致度、
３６…マッチング判定結果、 ３７…マッチングエリア間の移動時間、
３８…製品の通過経過情報、
３０１…搬送装置（コンベア）の撮影映像、
３０２ａ…追尾対象の製品、 ３０２ｂ…先行の製品、
３０３…障害物、
３１１、３１２、３１３、３１４、３１５、３１６…マッチングエリア、
３２１、３２２、３２３、３２４、３２５、３２６…マッチングパタン、
３５１、３５２、３５５…映像とマッチングパタンの一致度の分布、
３５３…一致度の閾値、
３６１、３６２、３６５…マッチング判定結果、
３７１、３７２、３７３…マッチングエリア間の移動時間、
３８２…追尾対象製品の通過経路、 ３８３…追尾対象製品の通過予定経路、
５１０…追尾対象製品の選択ボタン、 ５１１…追尾対象製品の表示、
５２０…搬送設備のステーション映像、 ５２１…搬送経路の表示、
５３０、５４０、５５０…生産設備のステーション映像、
５３１、５４１…作業実施ステーション、
５３２、５４２…生産設備の搬送機構、 ５５１…ＮＧ発生工程、
５６０、５７０、５８０…作業内容の映像、
５６１、５７１、５８１…映像の操作用パネル、
５８２…ＮＧ発生工程の表示
６００…追尾対象の製品選択ダイアログ、 ６０２…工程の選択、
６０４…属性の選択、 ６０６…追尾対象の検索実行ボタン、
６１０…追尾対象検索結果の一覧、 ６１２…追尾対象の選択、
６２０…追尾対象の選択実行ボタン、
７１５…移動中のマッチングエリア、 ７２５…移動中のマッチングパタン、
７７５…マッチングエリア移動追尾の指定範囲情報。

Claims (5)

1. 個々の製品に対する各生産工程の作業内容を記録するラインモニタリング装置において、
   各生産工程の作業内容を撮影する第１のカメラと、
   前記各生産工程間の製品移動状況を撮影する第２のカメラと、
   前記第１および第２のカメラで撮影した映像を蓄積するデータ蓄積装置と、
   前記データ蓄積装置に蓄積された映像内に設定する複数のマッチングエリアを管理するマッチングエリア管理部と、
   前記複数のマッチングエリアにおける製品や搬送パレット等の移動体画像の特徴量をマッチングパタンとして格納したマッチングパタン蓄積部と、
   前記マッチングパタン蓄積部に格納したマッチングパタンと前記データ蓄積装置に蓄積された撮影映像を用いてマッチングエリアにおける製品の有無を判定するマッチング処理部と、
   前記複数のマッチングエリア間の製品の移動時間を格納した移動時間管理部と、
   前記マッチング処理部の結果と前記移動時間管理部の移動時間を用いて製品の移動経路を追尾する移動体追尾部と、
   前記移動体追尾部が追尾の対象とする製品の選択情報を管理する移動体選択情報管理部と、
   前記移動体選択情報管理部の選択情報に基づき前記移動体追尾部による処理を行い、前記製品に対する各生産工程での作業内容の映像を前記データ蓄積装置より抽出する作業映像抽出部と、
   前記作業映像抽出部で抽出した作業内容の映像を表示する映像出力部と、
   を備えたラインモニタリング装置。
2. 移動体追尾部は、製品の映像が一時的に確認できなくなる場合に、移動時間管理部よりマッチングエリア間の製品の移動時間の上限と下限を取得して、前記確認できない間を補間することで移動体の追尾を可能にする請求項１に記載のラインモニタリング装置。
3. 移動体選択情報管理部は、各生産工程の設備や作業者からイベント発生のアラームを受け取ることで、イベント発生の対象となった製品の選択情報を生成することを特徴とする請求項１または請求項２に記載のラインモニタリング装置。
4. 製品の選択情報は生産工程、日時、およびイベント発生の属性とその内容を含むことを特徴とする請求項１乃至請求項３のいずれか１項に記載のラインモニタリング装置。
5. マッチングエリア管理部は、製品の通過開始位置と終了位置の２つのマッチングエリアを設定して管理し、その間のマッチングエリアは製品の移動時間に基づいて随時設定して管理すると共に、マッチングパタン蓄積部は移動先の製品画像の特徴量を新たなマッチングパタンとして取得するようにした請求項１乃至請求項４のいずれか１項に記載のラインモニタリング装置。

Images