JP2020061074A - 作業評価装置、作業評価方法及びプログラム - Google Patents

Abstract

【課題】正しい作業が行われているか否かを精度良く評価することを目的とする。【解決手段】作業前において作業対象の物体が存在する領域である作業前領域の画像における作業対象の物体の有無と、作業により移動された後で作業対象の物体が存在する領域である作業後領域の画像における作業対象の物体の有無と、に基づいて、作業対象の物体の移動を追尾する追尾手段と、追尾手段による追尾結果に基づいて、作業を評価する作業評価手段と、作業評価手段による評価結果を表示手段に表示するよう制御する表示処理手段とを有する。【選択図】図５

Description

本発明は、作業評価装置、作業評価方法及びプログラムに関する。

近年、工業製品の生産においては、市場の様々なニーズに対応するために、多種少量生産方式が採用されている。例えばモールドの成形ラインにおいては、同一のラインにおいて多種の製品を一定期間ごとに切り替えて生産するため、金型や樹脂の素材が短期間に交換される。そのため、自動化できる作業には限りがあり、ゲートカットや箱詰め等の作業において作業者と機械が連携したラインを組むことが必須となる。

中でも成形を終えたモールドの箱詰め作業は、ベルトコンベアと箱の間の数メートルを往復する繰り返し作業である。１つの金型から複数製品が同時に成形される場合には、製品毎の箱を用意し、各製品はそれぞれ異なる箱に投入される。誤投入があった場合は、判明時点で全品確認を行った上で再投入を行う必要が生まれる。一方で、作業者は繰り返し作業を行うために誤投入に気づきにくいことに加え、作業者の慣れや体格に応じて箱の配置と順番が変わるため細かな位置や投入順までは手順化しきれない場合がある。また、成形タイミングを人に合わせることは、樹脂の射出条件が変わり、バリや樹脂不足等の不良を生むため困難である。

これに対し、特許文献１には、作業者が身に付けた腕のマーカーの位置を追跡することによって、作業の正確さや作業対象の物品の品質を評価する技術が開示されている。また、特許文献２には、部品棚に印字されたＩＤタグと、部品箱に印字されたＩＤタグが同一であるか否かを判定することによって、作業が正しく行われているか否かを評価する技術が開示されている。

特開２００５−２４２４１８号公報 特開２０１１−２０７５３号公報

しかしながら、従来技術においては、作業対象の個々の物品に対し、正しい作業が行われているか否かを確認するのが困難であるという問題があった。物品毎にＩＤタグを付与することも考えられるが、製品数が多数であったり、成形直後のモールド製品のように高温であったり、というように、ＩＤタグを付与するのが困難な場合もある。

本発明はこのような問題点に鑑みなされたもので、正しい作業が行われているか否かを精度良く評価することを目的とする。

そこで、本発明は、作業評価装置であって、作業前において作業対象の物体が存在する領域である作業前領域の画像における作業対象の物体の有無と、作業により移動された後で前記作業対象の物体が存在する領域である作業後領域の画像における前記作業対象の物体の有無と、に基づいて、前記作業対象の物体の移動を追尾する追尾手段と、前記追尾手段による追尾結果に基づいて、作業を評価する作業評価手段と、前記作業評価手段による評価結果を表示手段に表示するよう制御する表示処理手段とを有することを特徴とする。

本発明によれば、正しい作業が行われているか否かを精度良く評価することができる。

作業評価システムの全体図である。 作業空間を模式的に示す図である。 作業評価装置の機能構成図である。 データ構成例を示す図である。 作業評価処理を示すフローチャートである。 作業評価処理の説明図である。 作業評価処理の説明図である。 データ構成例を示す図である。 更新処理を示すフローチャートである。 更新処理の説明図である。 第３の実施形態に係る作業評価処理を示すフローチャートである。 作業の説明図である。

以下、本発明の実施形態について図面に基づいて説明する。
（第１の実施形態）
図１は、本実施形態の作業評価システム１００の全体図である。作業評価システム１００は、作業が正常に行われたか否かを評価する。作業評価システム１００は、作業評価装置１１０と、撮像装置１２０と、センサ群１３０と、を有している。撮像装置１２０は、作業評価装置１１０とネットワークを介して接続する。撮像装置１２０は、評価対象の作業が行われる作業空間を撮影すべく、所定の位置に設置されているものとする。撮像装置１２０は、生産ラインや人物等を撮影する。撮像装置１２０は、映像の撮影と共に音声の録音を行ってもよい。

センサ群１３０は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ、ジャイロセンサ、人体モーションセンサ、及び電子コンパス等を含む。センサ群１３０は、人物の位置、人物の姿勢（方角、各関節の回転・角度・角速度）、生産ラインの工具の稼働状況、騒音などを計測する。

作業評価装置１１０は、撮像装置１２０により得られた画像に基づいて、作業が正常に行われたか否かを評価する。作業評価装置１１０の制御部１０１は、ＣＰＵやＭＰＵなどにより構成され、情報処理のための演算や論理判断などを行う。制御部１０１は、作業評価装置１１０の各構成要素を制御する。表示部１０２は、液晶パネルやプロジェクタなどの出力装置を備える。通信部１０４は、ネットワークコントローラなどであり、他の装置との接続を制御する外部通信手段である。通信部１０４は、ＬＡＮ、３Ｇ、４Ｇ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、及びＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）の技術を利用する。なお、通信部１０４は、同様の目的を達成できる他の通信方式を採用してもよい。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０５は、各構成要素からの各種データの一時記憶に用いられる。例えば、ＲＡＭ１０５は、各種計測データ及び画像データなどを一時的に記憶する。外部記憶部１０６は、フラッシュメモリ、ＨＤＤ、及び光学ディスクなどの物理媒体であり、本実施形態で実行される処理プログラムなどの制御プログラムコードの他、計測データや画像データ等各種データを記憶する。なお、後述する作業評価装置１１０の機能や処理は、制御部１０１が外部記憶部１０６に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

図２は、作業評価システム１００による評価対象の作業が行われる作業空間を模式的に示す図である。図２に示す作業空間２００においては、製造装置２０１としてのモールド成形機において得られた複数の部品２０３がベルトコンベア２０２に載せられて搬送される。そして、作業者Ａが、ベルトコンベア２０２で搬送された部品２０３の箱詰めを手作業で行う。本実施形態では、作業評価システム１００が、作業者Ａがベルトコンベア２０２で搬送された部品２０３を箱詰めする作業を正しく行っているか否かを評価する場合について説明する。

部品２０３には、モールド成形機により得られた種類の異なる部品１〜部品４の４つの部品がある。作業者は、部品の種類毎に異なる箱に部品を詰めるものとする。具体的には、作業者は、部品１〜部品４をそれぞれ箱１〜箱４に詰める。このように、作業評価システム１００が評価対象とする作業は、部品の移動を伴う。そこで、撮像装置１２０は、作業前（移動前）において部品１〜部品４が存在する領域であるベルトコンベア２０２上の領域と、作業後（移動後）において部品１〜部品４が存在する領域である箱置場２０５の領域と、を含む映像を作業映像として撮影する。箱置場２０５とは、箱１〜箱４が置かれた場所である。以下、作業前において作業対象の物体が存在する領域を作業前領域と称し、作業後において作業対象の物体が存在する領域を作業後領域と称する。本実施形態においては、ベルトコンベア２０２上の領域が作業前領域であり、箱置場２０５の領域が作業後領域である。

図３は、作業評価装置１１０の機能構成図である。部分領域抽出部３０１は、撮像装置１２０により得られた動画の各フレームにおいて、作業の対象となる対象部品が存在する部分領域を抽出する。図２の例では、部品２０３としての部品１〜部品４が対象部品である。部品位置特定部３０２は、部分領域において、対象部品の位置を特定する。追尾部３０３は、対象部品の時系列に沿った検出結果に基づいて、対象部品の移動を追尾する。評価部３０４は、追尾結果に基づいて、作業部品に対する作業を評価する。

図４（ａ）は、作業手順ＤＢ４０１のデータ構成例を示す図である。図４（ｂ）は、テンプレート画像ＤＢ４０２のデータ構成例を示す図である。作業手順ＤＢ４０１及びテンプレート画像ＤＢ４０２は、いずれも外部記憶部１０６に格納されており、部分領域抽出部３０１等により参照される。作業手順ＤＢ４０１は、製品毎の作業手順書を管理するＤＢである。作業手順書には作業手順の詳細な説明、図、写真を記述したファイルへのリンク情報等が格納されている。作業手順の詳細な説明は、例えば、「成形機から出てきた部品を所定の箱毎に対応付けて投入する」といったテキスト文書である。

テンプレート画像ＤＢ４０２は、作業手順書に記載されている作業において利用されるテンプレート画像と、部品定義と、を対応付けて記憶している。ここで、テンプレート画像は、作業映像から対象部品が存在する領域である部分領域を抽出するために参照される画像である。部品定義は、部分領域において、対象部品が存在する位置を示す情報であり、対象部品を特定するための部分領域の分割数と、対象部品の位置を示す部品座標とを含んでいる。部品座標は、部品１〜部品４を識別する情報（図４の例ではＩＤ１〜ＩＤ４）により識別されている。部品座標は、映像記録部１０３が記録した映像内の座標系、又は空間内の基準点からの相対座標系で記述される。テンプレート画像ＤＢ４０２は、対象部品の移動前の状態に対応した、テンプレート画像及び部品定義を記憶し、さらに対象物品の移動後の状態に対応した、テンプレート画像及び部品定義を記憶している。また、移動前後のテンプレート画像と部品定義とが対応付けられている。なお、テンプレート画像ＤＢ４０２は、対応情報の一例である。なお、作業後の対象部品が配置される位置は、作業者の体格差や慣れの程度に起因して作業者毎に異なることがあるため、作業後の部品定義は、作業者毎に設定されることとしてもよい。

図５は、作業評価装置１１０による作業評価処理を示すフローチャートである。図６及び図７は、作業評価処理の説明図である。Ｓ５０１において、部分領域抽出部３０１は、映像記録部１０３により得られた映像フレームを取得する。これにより、例えば、図６に示す映像フレーム６００が得られる。映像フレーム６００には、上述の通り、対象部品の移動前の位置であるベルトコンベアの領域（作業前領域）と、対象部品の移動後の位置である箱の領域（作業後領域）とが含まれている。なお、Ｓ５０１において取得する映像フレームは、作業画像の一例であり、Ｓ５０１の処理は作業画像を取得する取得処理の一例である。

次に、Ｓ５０２において、部分領域抽出部３０１は、Ｓ５０１において取得した映像フレームにおいて、作業前領域を抽出する。部分領域抽出部３０１は、具体的には、テンプレート画像ＤＢ４０２に記憶されている、作業前領域に対応したテンプレート画像とのマッチング処理により、テンプレート画像に対応する部分領域を作業前領域として抽出する。本実施形態においては、ベルトコンベア２０２上に部品１〜部品４が存在する画像が作業前領域のテンプレート画像として準備されている。なお、作業前領域のテンプレート画像は、テンプレート画像ＤＢ４０２に記憶されている。図６の例では、作業前領域のテンプレート画像６１１とのマッチング処理により、映像フレーム６００から作業前領域６２１が抽出される。なお、Ｓ５０２の処理は、作業前領域抽出処理の一例である。

Ｓ５０２の処理の後、Ｓ５０３において、部品位置特定部３０２は、テンプレート画像ＤＢ４０２において、作業前領域のテンプレート画像に対応付けられた部品定義を参照することで、作業前領域において、対象部品の位置を特定する。具体的には、部品位置特定部３０２は、部品定義に含まれる、分割数及び部品座標に基づいて、各識別情報（ＩＤ１〜ＩＤ４）に対応した対象部品の位置を特定する。図６の例では、作業前領域６２１において４つの対象部品それぞれの位置を示す特定結果６３１が得られる。

Ｓ５０３の処理の後、Ｓ５０４において、部分領域抽出部３０１は、Ｓ５０１において取得した映像フレームにおいて、作業後領域を抽出する。部分領域抽出部３０１は、具体的には、テンプレート画像ＤＢ４０２に記憶されている、作業後領域に対応したテンプレート画像とのマッチング処理により、テンプレート画像に対応する部分領域を作業後領域として抽出する。本実施形態においては、対象部品の移動前の状態の箱置場、すなわち対象部品が１つも存在しない状態の箱置場を示す画像が作業後領域のテンプレート画像として準備される。なお、作業後領域のテンプレート画像は、テンプレート画像ＤＢ４０２に記憶されている。図６の例では、作業後領域のテンプレート画像６１２とのマッチング処理により、映像フレーム６００から作業後領域６２２が抽出される。なお、Ｓ５０４の処理は、作業後領域抽出処理の一例である。

Ｓ５０４の処理の後、Ｓ５０５において、部品位置特定部３０２は、テンプレート画像ＤＢ４０２において、作業後のテンプレート画像に対応付けられた部品定義を参照することで、作業後領域において、対象部品の位置を特定する。本処理は、Ｓ５０３の処理と同様である。これにより、作業後領域における複数の対象部品の位置の特定結果が得られる。図６の例では、作業後領域６２２において４つの対象部品それぞれの作業後の位置を示す特定結果６３２が得られる。

次に、Ｓ５０６において、追尾部３０３は、Ｓ５０２において抽出された作業前領域と第１の基準フレームとの差分を算出する。さらに、追尾部３０３は、Ｓ５０４において抽出された作業後領域と第２の基準フレームとの差分を算出する。ここで、第１の基準フレームは、作業前領域に対応したフレームである。本実施形態においては、テンプレート画像を用いて抽出された作業前領域の画像を第１の基準フレームとして用いるものとする。第２の基準フレームは、作業後領域に対応したフレームである。本実施形態においては、テンプレート画像を用いて抽出された作業後領域の画像を第２の基準フレームとして用いるものとする。このように、作業前領域及び作業後領域それぞれにおいて差分を求めることで、作業対象物体の有無を特定することができる。Ｓ５０６の処理は、追尾処理の一例である。

次に、Ｓ５０７において、評価部３０４は、Ｓ５０６における差分算出の結果に基づいて、作業が行われたか否かを判定する。評価部３０４は、作業が行われた場合には（Ｓ５０７でＹＥＳ）、処理をＳ５０８へ進める。評価部３０４は、作業が行われなかった場合には（Ｓ５０７でＮＯ）、処理をＳ５０９へ進める。Ｓ５０８において、評価部３０４は、正しい作業が行われたか否かを判定する。評価部３０４は、正しい作業が行われた場合には（Ｓ５０８でＹＥＳ）、処理をＳ５０９へ進める。評価部３０４は、正しい作業が行われていない場合には（Ｓ５０８でＮＯ）、処理をＳ５１０へ進める。ここで、Ｓ５０７及びＳ５０８の処理は、作業評価処理の一例である。なお、Ｓ５０６〜Ｓ５０８の処理については、図７を参照しつつ後に詳述する。

Ｓ５０９において、制御部１０１は、作業評価処理を終了するか否かを判定する。制御部１０１は、ユーザ操作により終了指示を受け付けた場合に作業評価処理を終了する。制御部１０１は、作業評価処理を終了すると判定すると（Ｓ５０９でＹＥＳ）、作業評価処理が終了する。制御部１０１は、作業評価処理を終了しないと判定した場合には（Ｓ５０９でＮＯ）、処理をＳ５０１へ進める。Ｓ５１０において、評価部３０４は、正しい作業が行われていないことを示す通知情報を表示部１０２に表示するよう制御する。本処理は、評価結果を表示するよう制御する表示処理の一例である。

作業評価処理は、定期的に繰り返されるループ処理であり、Ｓ５０１〜Ｓ５０５の処理は繰り返し行われる。この繰り返しの間に作業が行われると、部品がベルトコンベア上から箱に移動するため、作業前領域から対象部品がなくなり、作業後領域に新たに対象部品が出現することになる。そこで、部品の移動が開始された後は、Ｓ５０２及びＳ５０４においてテンプレート画像を用いた領域抽出に替えて以下の処理を行うこととする。

すなわち、Ｓ５０２においては、部分領域抽出部３０１は、テンプレート画像を用いて特定した作業前領域に対し、ベルトコンベア２０２の流れる速度など生産ラインから得られる情報を用いることで、作業前領域を抽出する。これにより、対象部品の移動後においても、作業前領域を抽出することができる。なお、部分領域抽出部３０１が作業前領域を抽出するための具体的な処理は実施形態に限定されるものではない。例えば、対象部品が４つ存在するテンプレート画像、３つ存在するテンプレート画像、というように複数のテンプレート画像それぞれを用いることで作業前領域を抽出してもよい。また、Ｓ５０３においては、部分領域抽出部３０１は、テンプレート画像を用いて特定した作業後領域と同じ領域を作業後領域として抽出する。

図７は、Ｓ５０６〜Ｓ５０８の処理の説明図である。図７に示す画像（Ｘ＿ｔ１）、（Ｘ＿ｔ２）、（Ｘ＿ｔ３）は、それぞれ時刻ｔ１、ｔ２、ｔ３の映像から抽出された作業前領域の画像である。画像（Ｙ＿ｔ１）、（Ｙ＿ｔ２）、（Ｙ＿ｔ３）は、それぞれ時刻ｔ１、ｔ２、ｔ３の映像から抽出された作業後領域の画像である。ここで、基準フレームとしては、成形機から出力された直後の時刻ｔ１における作業前領域の画像（Ｘ＿ｔ１）と、作業後領域の画像（Ｙ＿ｔ１）とを用いる。

作業が開始直後のＳ５０２において作業前領域の画像（Ｘ＿ｔ１）が得られ、続いてＳ５０４において作業後領域の画像（Ｙ＿ｔ１）が得られる。これらの画像（Ｘ＿ｔ１）、（Ｙ＿ｔ１）は、それぞれ作業前領域及び作業後領域に対する基準フレームとして設定される。

時刻ｔ１における映像フレームにおいては、Ｓ５０７において作業が行われていないと判定され、処理は再びＳ５０１へ戻る。その後、作業前領域の画像（Ｘ＿ｔ２）及び作業後領域の画像（Ｙ＿ｔ２）が得られると、その後のＳ５０６において、基準フレームとの差分画像（Ｘ＿ｔ２−Ｘ＿ｔ１）、（Ｙ＿ｔ２−Ｙ＿ｔ１）が得られる。これらの差分画像から部品２が作業前領域から消失していることがわかる。なお、部品の有無は、部品の対応部分が背景色か否かにより判断できる。そして、評価部３０４は、図７に示すように「ｔ＝２，ａｒｅａ＝Ｘ，ｅｖｅｎｔ＝Ｏｕｔ，ｐｏｓ＝２」のイベントレコードを生成する。これは、「時刻ｔ２において、Ｘという部分領域で部品２が消失した。」ことを意味する。この場合、評価部３０４は、Ｓ５０７において、作業が行われたと判定し、続くＳ５０８において、正しい作業が行われたと判定する。

続いて、作業前領域の画像（Ｘ＿ｔ３）及び作業後領域の画像（Ｙ＿ｔ３）が得られると、その後のＳ５０６において、基準フレームとの差分画像（Ｘ＿ｔ３−Ｘ＿ｔ１）、（Ｙ＿ｔ３−Ｙ＿ｔ１）が得られる。これらの差分画像から部品２が箱４に移動していることがわかる。評価部３０４は、図７に示すように、「ｔ＝３，ａｒｅａ＝Ｘ，ｅｖｅｎｔ＝Ｏｕｔ，ｐｏｓ＝２，ｔ＝３，ａｒｅａ＝Ｙ，ｅｖｅｎｔ＝Ｉｎ，ｐｏｓ＝４」のイベントレコードを生成する。これは、時刻ｔ２において、Ｘという部分領域で部品２が消失した。時刻ｔ３において、Ｙという部分領域で部品４が現れた。」ことを意味する。この場合、評価部３０４は、Ｓ５０７において、作業が行われたと判定し、続くＳ５０８において、正しい作業が行われなかったと判定する。評価部３０４は、図８に示すようなイベントレコードの履歴を外部記憶部１０６に格納する。

このように、評価部３０４は、イベントレコードの履歴を辿ることにより、各ＩＤにより識別される部品の移動を推定し、作業を評価することができる。また、Ｓ５０８において、評価部３０４は、例えば、箱置場における「出現」の数が、ベルトコンベアにおける「消失」の数と一致しない場合には、正しい作業が行われていないと判定することができる。

以上のように、作業評価装置１１０は、作業前領域及び作業後領域それぞれにおいて、作業対象の物体の有無を確認することにより、正しい作業が行われているか否かを精度良く評価することができる。これにより、成形直後で高温となっているため十分な精度を出すためのセンサやＩＤタグを付与できないような部品に対しても、映像で部品の移動を追尾することによって箱詰めの正確度を簡便に判定することができる。これにより、作業進捗及び正しさを自動的に追尾できる。

なお、高頻度に個体が生産される場合にも本実施形態の作業評価システム１００を適用可能である。複数の生産された個体が一度にベルトコンベアに乗っているときは、各個体に対してそれぞれ同様の処理を並列で行えばよい。

また、ベルトコンベア側の部品がいずれもなくなっていない状況において、作業者との接触等による外乱で箱の撮影画像に作業以外の変化が生まれる場合にも本実施形態は適用可能である。この場合、差分発生後のフレームに基準フレームを変更することによって外乱等による追尾精度を維持することができる。

また、他の例としては、評価部３０４は、対象部品を持った順番と箱に置いた順番との対応付けを行うことで追尾を補正してもよい。この方法は各部品を置いた順番が明確に得られる場合に適用できる。この場合、対象部品が移動中であるか否かを管理するための移動中管理バッファを用意しておく。そして、評価部３０４は、その管理バッファへの登録順、および管理バッファからの解除順を管理し、登録順と解除順の対応をとることによって箱詰め作業の正しさを判断する。例えば、両手で一度に３つ以上の部位の異なる部品を重ねてもった場合、ベルトコンベア上で持った順番と各箱に置いた順番には対応がある可能性が高い。そこで、評価部３０４は、持った順と同順、または逆順で置かれなかった場合には間違った作業を行ったと判断する。

また、他の例としては、作業評価システム１００は、２つの撮像装置を有し、第１の撮像装置が作業前の領域を含む映像を撮影し、第２の撮像装置が移動後の領域を含む映像を撮像してもよい。また他の例としては、作業評価システム１００は、複数の撮像部を有し、移動前の領域及び移動後の領域をそれぞれ複数の撮像部が撮影してもよい。

また、他の例としては、作業評価装置１１０は、正しい作業が行われなかった場合以外の場合においても、評価結果を表示するよう制御してもよい。例えば、作業評価装置１１０は、正しい作業が行われた場合に、正しい作業が行われたことを示す通知情報を表示するよう制御してもよい。

（第２の実施形態）
次に、第２の実施形態に係る作業評価システム１００について、第１の実施形態に係る作業評価システム１００と異なる点を主に説明する。第２の実施形態の作業評価システム１００は、作業による外乱による部位ずれ等があっても部分領域の検知精度を維持するための処理を行う。例えば、モールド成形作業においては、金型の都合上、成形物の各部位がゲートと呼ばれる注入樹脂の経路が切断されないまま成形機からベルトコンベアへ出力される場合がある。この場合、作業者はニッパー等によってゲートを取り外すゲートカット作業を行わなければならない。この際、部品が切り出されることによってベルトコンベア上の部品の配置が不規則にずれてしまう。このため、過去のフレームにおける部分領域の検知結果とベルトコンベアの流速等を用いることによることだけでは、ずれが蓄積されたときに各部品の位置ずれをとらえきれず、各部品の位置の特定が難しくなる場合がある。本実施形態に係る作業評価システム１００は、このような状況においても、精度よく作業評価を行う。

図９は、作業評価装置１１０による更新処理を示すフローチャートである。図９は、更新処理の説明図である。更新処理は、図５を参照しつつ説明したＳ５０２の処理とＳ５０３の処理の間に実行される処理である。Ｓ９０１において、評価部３０４は、テンプレート画像、基準フレーム、Ｓ５０２において抽出された作業前領域の画像及び直前のＳ５０１の処理で取得された映像フレームよりもＮフレーム前の画像を取得する。なお、Ｎの値は、状況の収束判定を行う基準を表すパラメータであり、任意の整数値である。図１０（Ａ）は、各時刻における映像フレーム例を示す図である。

次に、Ｓ９０２において、評価部３０４は、基準フレームと、Ｓ５０２において抽出した作業前領域の画像とにおいて、各部品の位置座標を紐付ける。そして、評価部３０４は、基準フレーム及び作業前領域の画像のそれぞれにおいて、各部品の位置座標を中心とした部品領域を特定する。図１０（Ａ）は、各時刻における映像フレーム例を示す図である。図１０（Ｂ）は、各映像フレームから抽出された作業前領域の画像と基準フレームとの差分画像を示す図である。このように、部品の位置がずれると、位置ずれに応じた差分画像が得られる。

続く、Ｓ９０３〜Ｓ９１１の処理は、部品毎に行うループ処理である。Ｓ９０３において、評価部３０４は、基準フレーム及び作業前領域の画像のそれぞれにおいて、処理対象の部品に対応した部品領域を特定する。評価部３０４は、各部品の部品座標に基づいて、部品領域を特定する。そして、評価部３０４は、各部品領域の差分を求め、差分が差分閾値以上となる画素の数の、部品領域全体の画素の数に対する割合を求める。ここで、差分閾値は予め設定された値である。評価部３０４は、算出した割合が割合閾値Ｐ％以上か否かを判定する。ここで、割合閾値Ｐ％は、予め設定された値である。評価部３０４は、算出した割合がＰ％以上の場合には（Ｓ９０３でＹＥＳ）、処理をＳ９０４へ進める。評価部３０４は、算出した割合がＰ％未満の場合には（Ｓ９０３でＮＯ）、処理をＳ９１０へ進める。

Ｓ９０４において、評価部３０４は、さらにＮフレーム前の映像フレームの作業前領域の画像において、処理対象の部品に対応した部品領域を特定する。そして、評価部３０４は、各部品領域の差分を求め、差分が差分閾値以上となる画素の数の、部品領域全体の画素の数に対する割合を求める。評価部３０４は、算出した割合が割合閾値Ｑ％以上か否かを判定する。ここで、割合閾値Ｑ％は、予め設定された値であり、Ｐ％と等しい値でもよく、異なる値でもよい。評価部３０４は、算出した割合がＱ％以上の場合には（Ｓ９０４でＹＥＳ）、処理をＳ９０５へ進める。評価部３０４は、算出した割合がＱ％未満の場合には（Ｓ９０４でＮＯ）、処理をＳ９１０へ進める。

Ｓ９０５において、評価部３０４は、Ｓ５０２において抽出された作業前領域の画像において、処理対象の部品の位置を求める。そして、評価部３０４は、処理対象の部品の位置がテンプレート画像において定義される、処理対象の部品の位置から一定距離Ｌ以内に存在するか否かを判定する。評価部３０４は、一定距離Ｌ以内に処理対象の部品が存在する場合には（Ｓ９０５でＹＥＳ）、処理をＳ９０６へ進める。評価部３０４は、一定距離Ｌ以内に処理対象の部品が存在しない場合には（Ｓ９０５でＮＯ）、処理をＳ９０９へ進める。Ｓ９０９において、評価部３０４は、移動中フラグを有効にする。移動中フラグは、箱へ移動中であるか切り出し作業中で、処理対象の部品が見えなくなっている状況を把握するための情報である。

Ｓ９０６において、評価部３０４は、移動中フラグを無効にする。この場合、処理対象の部品が移動前領域に存在するとみなせるためである。次に、Ｓ９０７において、評価部３０４は、処理対象の部品の、作業前領域における位置をテンプレート画像の定義における更新候補として登録する。そして、評価部３０４は、作業前領域の画像に含まれる、処理対象の部品に対応した部品領域の画像をテンプレート画像の候補として登録する。次に、Ｓ９０８において、評価部３０４は、作業前領域の画像に含まれる、処理対象の部品に対応した部品領域の画像を基準フレーム候補として登録する。

一方、Ｓ９０３でＰ％未満と判定された場合及びＳ９０４でＱ％未満と判定された場合は、処理対象の部品において位置変化がなかった、又は変化が収束したと考えられる。この場合、処理はＳ９１０へ進む。Ｓ９１０において、評価部３０４は、Ｓ９０７において登録した、部品の位置をテンプレート画像ＤＢ４０２の部品定義として登録し、テンプレート画像の処理対象の部品に対応した部品領域の画像をテンプレート画像の部分画像として登録する。すなわち、評価部３０４は、部品定義及びテンプレート画像を更新する。次に、Ｓ９１１において、評価部３０４は、Ｓ９０８において登録した、作業前領域の画像を基準フレームの部分画像として登録する。すなわち、評価部３０４は、基準フレームを更新する。

ループ処理を抜けると、Ｓ９１２において、評価部３０４は、テンプレート画像の各部品の更新結果を統合する。具体的には、評価部３０４は、各部品に対応したテンプレート画像を貼り合わせることで、新たなテンプレート画像を得る。さらに、評価部３０４は、各部品の位置を基準にボロノイ分割する等により部品定義を作成する。これにより、図１０（Ｃ）に示すようなテンプレート画像が得られる。なお、Ｓ９１２の処理は、異なるタイミングで得られた複数の作業前領域の画像の間の差分に基づいて、テンプレート画像を更新する更新処理の一例である。

次に、Ｓ９１３において、評価部３０４は、基準フレームの各部品の更新結果を統合する。具体的には、評価部３０４は、各部品に対応した基準フレームを貼り合わせる。ただし、評価部３０４は、移動中フラグが有効になっている場合には、更新前の値を用いるものとする。これにより、部品の位置変化に伴った過剰なフィッティングを回避することができる。なお、第２の実施形態に係る作業評価システム１００のこれ以外の構成及び処理は、第１の実施形態に係る作業評価システム１００の構成及び処理と同様である。

以上のように、第２の実施形態に係る作業評価システム１００においては、工場での生産作業等において、作業による外乱による部位ずれに対して動的にテンプレート画像及び基準フレームを更新することができる。これにより、部品領域の検知精度を維持することができる。これにより、部品領域検知と部品検知の成功率を高め、作業進捗や作業の正しさを精度よく評価できる。

なお、上記ではベルトコンベア上のテンプレート画像を更新する例を挙げたが、箱置き場に対して同様の処理を行ってもよい。その場合は、Ｓ５０４とＳ５０５の処理の間において、作業後領域を対象として更新処理を行えばよい。これにより、箱置き場において、箱の位置ずれが生じた場合であっても、作業を精度よく評価できる。

また、他の例としては、差分を評価する基準としてＮフレーム前の画像を用いることとしたが、これに替えて、Ｓ９０７、Ｓ９０８において設定された更新候補の時刻に対応した映像フレームを用いてもよい。これにより、不規則な間隔で外乱が発生する状況においても適応的にテンプレート画像及び基準フレームを更新することができる。

（第３の実施形態）
次に、第２の実施形態に係る作業評価システム１００について、他の実施形態に係る作業評価システム１００と異なる点を主に説明する。例えば、箱入れ作業が作業者により両手で同時に行われる場合など、複数の物体が同時に移動する場合がある。第２の実施形態に係る作業評価システム１００は、このように、複数の物体が同時に移動する場合においても、精度よく作業評価を行う。

図１１は、第３の実施形態に係る作業評価処理を示すフローチャートである。図１１に示す作業評価処理の各処理のうち、図５を参照しつつ説明した第１の実施形態に係る作業評価処理の各処理と同一の処理には、同一の番号を付している。

評価部３０４は、Ｓ５０７において作業が行われたと判定された場合には、処理をＳ１１０１へ進める。Ｓ１１０１において、評価部３０４は、Ｓ５０６において算出した差分画像の位置関係からベルトコンベアから箱への部品の移動を推定する。ただし、複数の部品が同時に移動することに対応し、複数の部品領域において同時に差分が発生する場合がある。そこで、本実施形態においては、作業評価装置１１０は、カメラ映像を用いた人体検知又は顔検知の結果を取得しておき、この情報を用いる。具体的には、作業評価装置１１０は、作業者が部品を持ったときの作業者の向きと部品を置いたときの作業者の向きとを特定し、作業者の向きと部品の位置との対応関係から部品の移動前後の位置を対応付ける。

図１２は、作業者が部品を両手に持って移動させる作業の説明図である。図１２（Ａ）に示すように、作業者Ａが成形機から出された部品のうち、部品３、部品４を両手で一度に持ち上げ、続いて、振り返って箱に向かう。この場合、図１２（Ｂ）に示すように、作業者Ａの向きは、部品３、部品４を持ち上げたときに対し反転している。このため、部品３、部品４の位置も左右が逆になる。そこで、評価部３０４は、これに対応し、作業者Ａの向きを利用して、部品の追尾を行う。さらに、評価部３０４は、箱への部品の投入がいずれの手で行われたかを投入検知時の顔の位置と向きにより判断する。また、評価部３０４は、投入がいずれの手で行われたかについては、投入検知の顔の位置と向きを用いて判断する。例えば、評価部３０４は、顔が向く方向を基準にした上で、顔の位置が箱よりも左側にある場合には、右手で作業をしたと判定し、逆の場合は左手で作業したと判定する。このようにしていずれの手で作業したかを推定する。

Ｓ１１０１において、評価部３０４はさらに、追尾の確からしさを追尾精度として定量化して求める。本実施形態においては、評価部３０４は、部品の追尾に用いたフレーム数に対する人体検知又は顔検知に成功したフレーム数の割合を追尾精度として求めることとするが、これに限定されるものではない。他の例としては、評価部３０４は、各部品の差分発生面積の総和、持ち運びに要した時間の長さ等、追尾精度と相関の考えられる指標を追尾精度として算出してもよい。本処理は、追尾精度推定処理の一例である。

Ｓ１１０２において、評価部３０４は、追尾精度が閾値以上か否かを判定する。評価部３０４は、追尾精度が閾値以上の場合には（Ｓ１１０２でＹＥＳ）、処理をＳ５０７へ進める。評価部３０４は、追尾精度が閾値未満の場合には（Ｓ１１０２でＮＯ）、処理をＳ１１０３へ進める。Ｓ１１０３において、評価部３０４は、正しい作業が行われていない可能性があることを示す通知情報を表示部１０２に表示するよう制御する。なお、第３の実施形態に係る作業評価システム１００のこれ以外の構成及び処理は、他の実施形態に係る作業評価システム１００の構成及び処理と同様である。

以上のように、第３の実施形態に係る作業評価システム１００は、箱入れ作業が両手で同時に行われる場合のように、複数の物体が同時に移動する場合においても、作業を精度よく評価することができる。

なお、作業評価システム１００のユースケースは実施形態に限定されるものではなく、任意の時刻間における物体位置の対応付けによる追尾を行うことのできるユースケースに広く適用することができる。例えば、倉庫における台車への荷積み作業などが考えられる。詰まれる荷物の棚の映像差分の発生状況と、台車の映像差分の発生状況の対応付けを行うことで、荷物、台車、棚いずれにも特別なセンサを配置することなく、棚から台車への荷物の移動を追尾することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 評価システム
１１０ 作業評価装置
３０１ 部分領域抽出部
３０２ 部品位置特定部
３０３ 追尾部
３０４ 評価部

Claims (12)

1. 作業前において作業対象の物体が存在する領域である作業前領域の画像における作業対象の物体の有無と、作業により移動された後で前記作業対象の物体が存在する領域である作業後領域の画像における前記作業対象の物体の有無と、に基づいて、前記作業対象の物体の移動を追尾する追尾手段と、
   前記追尾手段による追尾結果に基づいて、作業を評価する作業評価手段と、
   前記作業評価手段による評価結果を表示手段に表示するよう制御する表示処理手段と
   を有することを特徴とする作業評価装置。
2. 前記表示処理手段は、前記作業評価手段が正しい作業が行われなかったと判定した場合に、正しい作業が行われなかった旨を示す通知情報を表示するよう制御する表示処理手段をさらに有することを特徴とする請求項１に記載の作業評価装置。
3. 作業画像を取得する取得手段と、
   第１のテンプレート画像に基づいて、前記作業画像から前記作業前領域を抽出する作業前領域抽出手段と、
   前記第１のテンプレート画像と異なる第２のテンプレート画像に基づいて、前記作業画像から前記作業後領域を抽出する作業後領域抽出手段と、
   をさらに有することを特徴とする請求項１又は２に記載の作業評価装置。
4. 前記作業評価手段は、さらに前記作業前領域における複数の位置それぞれと、前記作業後領域における複数の位置それぞれとを対応付ける対応情報に基づいて、作業を評価することを特徴とする請求項１乃至３の何れか１項に記載の作業評価装置。
5. 前記作業評価手段は、前記対応情報において対応付けられた作業前領域の位置から作業後領域の位置へ作業対象の物体が移動した場合に、作業が正常に行われたと判定することを特徴とする請求項４に記載の作業評価装置。
6. 前記作業評価手段は、前記対応情報において対応付けられた作業前領域の位置に存在した作業対象の物体が、対応する作業後領域の位置と異なる位置へ移動した場合に、作業が正常に行われなかったと判定することを特徴とする請求項４又は５に記載の作業評価装置。
7. 異なるタイミングで得られた２つの作業前領域の画像の間の差分に基づいて、前記第１のテンプレート画像を更新する第１の更新手段をさらに有することを特徴とする請求項３に記載の作業評価装置。
8. 異なるタイミングで得られた２つの作業後領域の画像の間の差分に基づいて、前記第２のテンプレート画像を更新する第２の更新手段をさらに有することを特徴とする請求項３に記載の作業評価装置。
9. 作業を行う作業者の画像に基づいて、作業者の向きを特定する向き特定手段をさらに有し、
   前記追尾手段は、複数の作業対象の物体が同時に移動した場合に、作業者の向きに基づいて、複数の作業対象の物体それぞれの移動を追尾することを特徴とする請求項１乃至８の何れか１項に記載の作業評価装置。
10. 前記作業者の画像に基づいて、前記追尾結果の精度を推定する追尾精度推定手段をさらに有し、
    前記作業評価手段は、前記追尾精度が閾値未満の場合に、正しい作業が行われなかった可能性があると判定することを特徴とする請求項９に記載の作業評価装置。
11. 作業評価装置が実行する作業評価方法であって、
    作業前において作業対象の物体が存在する領域である作業前領域の画像における作業対象の物体の有無と、作業により移動された後で前記作業対象の物体が存在する領域である作業後領域の画像における前記作業対象の物体の有無と、に基づいて、前記作業対象の物体の移動を追尾する追尾ステップと、
    前記追尾ステップにおける追尾結果に基づいて、作業を評価する作業評価ステップと、
    前記作業評価ステップにおける評価結果を表示手段に表示するよう制御する表示処理ステップと
    を含むことを特徴とする作業評価方法。
12. コンピュータを、請求項１乃至１０の何れか１項に記載の作業評価装置の各手段として機能させるためのプログラム。

Images