JP2023017485A

JP2023017485A - 確認作業支援システム、確認作業支援方法及び確認作業支援プログラム

Info

Publication number: JP2023017485A
Application number: JP2021121791A
Authority: JP
Inventors: 圭吾重信; Keigo Shigenobu; 雅昭阿部; Masaaki Abe
Original assignee: Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2021-07-26
Filing date: 2021-07-26
Publication date: 2023-02-07

Abstract

【課題】確認対象が変わっても準備が簡単にできる、確認作業支援システムを提供する。【解決手段】確認作業支援システム１は、光照射装置に、確認対象Ｗ１の注目部分Ｃ１に他の部分とは異なる光を照射させる光照射制御部１１と、確認対象Ｗ１をカメラ３で撮影した映像を取得する映像取得部１２と、確認対象Ｗ１の映像を、表示装置５に表示させる表示制御部１５と、動作検出器４の検出結果に基づき、作業者Ａの目視位置を特定する目視位置特定部１４と、目視位置と、表示装置５に表示された映像における注目部分の位置との比較により、作業者Ａが確認対象Ｗ１の注目部分Ｃ１を目視により確認したか否かを判断する確認判断部１３と、を備える。【選択図】図１

Description

本発明は、作業者が、確認対象を目視により確認する作業を支援する技術に関する。

特開２０１２－７９８５号公報（特許文献１）には、カメラを備えるヘッドマウントディスプレイ装置を用いた確認業務支援システムが開示されている。ヘッドマウントディスプレイ装置のカメラが撮影する映像は、ヘッドマウントディスプレイ装置を装着する検査員の視界とほぼ一致する。このシステムは、カメラで撮影され補正された視界画像データを用いて、検査員による目視検査が正しく行われたか否かを判定する目視検査判定手段を備える。目視検査判定手段は、視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと、目視検査判定用のパターンデータ（検査箇所ごとの画像データ）との類似度を算出する。算出した類似度が所定の閾値以上である場合に、検査員の視点と検査箇所とが一致していると判定される。一致した状態のまま所定期間（例えば、３秒間）経過した場合に、目視検査が正しく行われたと判定される。

特開２０１２－７９８５号公報

上記従来のシステムでは、目視検査の判定のために、予めパターンデータ（検査箇所ごとの画像データ）を準備する必要がある。そのため、検査対象が変わる度に、パターンデータの生成が必要となる。また、検査員の視線と検査対象物との位置関係は一定ではなく、変化する。そのため、様々な視線の視界画像に対応するために、１つの検査対象に対して多くのパターンデータが必要となり得る。

そこで、本願は、確認対象が変わっても準備が簡単にできる、確認作業支援システム、方法及びプログラムを開示する。

本発明の実施形態に係る確認作業支援システムは、光照射装置に、確認対象の注目部分に他の部分とは色又は強度が異なる光を照射させる光照射制御部と、前記光照射装置の光を照射された前記確認対象をカメラで撮影した映像を取得する映像取得部と、前記カメラで撮影された前記確認対象の前記映像を、前記カメラから独立して設けられた表示装置に表示させる表示制御部と、前記表示装置を見る作業者の動作を検出する動作検出器の検出結果に基づき、前記表示装置に表示された前記映像に対する前記作業者の目視位置を特定する目視位置特定部と、前記目視位置特定部で特定された前記目視位置と、前記表示装置に表示された前記確認対象の前記映像における前記光照射装置の光が照射された前記注目部分の位置との比較により、前記作業者が前記確認対象の前記注目部分を目視により確認したか否かを判断する確認判断部と、を備える。

本開示によれば、確認対象が変わっても準備が簡単にできる、確認作業支援システム、方法及びプログラムを提供することができる。

本実施形態における確認作業支援システム１の構成例を示す図である。図１に示す光照射装置２及びカメラ３を説明するための図である。動作検出器４が、視線検出装置である場合の例を示す図である。動作検出器４が、表示側カメラである場合の例を示す図である。図１に示す確認作業支援システム１の動作例を示すフローチャートである。撮影条件が異なる場合の映像における注目部分の位置の例を示す図である。本実施形態の確認作業支援システム１を、工場の工業生産物の検査システムに適用した場合の構成例を示す図である。

上記構成によれば、確認対象の注目部分が、他の部分（注目部分以外の部分）とは異なる色又は明るさで映像として表示装置に表示される。また、表示装置の映像における作業者の目視位置が特定される。これにより、表示装置の映像における注目部分の位置と目視位置の比較が可能になる。この比較結果に基づき、目視により確認したか否かを判断することができる。この際、例えば、映像における注目部分を特定するためのパターンデータ等がなくても、注目部分の位置と目視位置の比較が可能である。すなわち、目視により確認したか否かの判断において、確認対象の映像における注目部分を特定するため確認対象に特化したデータが不要又は少なくてすむ。その結果、確認対象が変わっても準備が簡単にできる確認作業支援システムが実現できる。

前記動作検出器は、前記表示装置が備えるタッチセンサであってもよい。この場合、前記目視位置特定部は、前記タッチセンサで検出された前記作業者の指示位置に基づき、前記映像に対する前記作業者の前記目視位置を特定することができる。これにより、簡単な構成で、表示装置の映像に対する作業者の目視位置を特定できる。

前記動作検出器は、前記表示装置の画面及び前記作業者を同時に撮影する表示側カメラであってもよい。この場合、前記目視位置特定部は、前記表示側カメラで撮影された映像における前記表示装置の画面と重なる前記作業者の指の位置に基づき、前記映像に対する前記作業者の前記目視位置を特定することができる。これにより、作業者の指差し確認動作に基づき、目視位置を特定できる。

前記動作検出器は、前記表示装置を見る前記作業者の視線を検出する視線検出装置であってもよい。この場合、前記目視位置特定部は、前記視線検出装置で検出された前記作業者の視線に基づき、前記映像に対する前記作業者の前記目視位置を検出することができる。これにより、作業者の目視位置に基づき、直接的に目視位置を特定できる。

前記光照射制御部は、前記確認判断部の判断結果に応じて、前記光照射装置が光を照射する前記確認対象の注目部分の位置を制御することができる。これにより、作業者の目視確認作業に応じて、注目部分を変化させることができる。例えば、１つの確認対象に対し、作業者が１つの注目部分を目視して確認した後に、他の注目部分に光を照射して、確認作業を促すことができる。

前記光照射制御部は、前記光照射装置に、前記光照射装置に対し予め決められた位置に配置された前記確認対象に対して、予め決められた光を照射させてもよい。これにより、簡単な構成で、確認対象において光が照射される注目部分の位置を制御することができる。予め決められた光を照射する態様としては、例えば、予め決められた像を確認対象に対して投影する態様、又は、確認対象の予め決められた範囲に光を照射する態様等が挙げられる。

前記確認作業支援システムは、前記作業者からの入力に応じて、前記確認対象に対する前記カメラの撮影条件を制御する撮影制御部をさらに備えてもよい。これにより、作業者が確認対象を確認しやすいようにカメラの撮影条件を制御することができる。カメラの撮影条件は、例えば、確認対象に対するカメラ視点の位置、アングル、視野サイズ（ズーム）、又は焦点距離の少なくとも１つを含んでもよい。また、撮影制御部によるカメラの制御は、光照射装置の制御とは独立して行われてもよい。例えば、光照射装置で光が照射される注目部分は維持した状態で、カメラの撮影条件を変える制御が可能である。

前記確認作業支援システムは、前記注目部分に対する前記作業者による確認結果の入力を受け付ける確認受付部をさらに有してもよい。前記確認受付部は、前記確認判断部により、前記作業者が前記注目部分の目視による確認をしたと判断された時期に基づいて、前記注目部分に対する前記作業者からの確認結果の入力を受け付ける時期を制御してもよい。これにより、作業者が注目部分を目視したタイミングに合わせて、適切な時期に確認結果の入力を受け付けることができる。

また、確認判断部は、前記目視位置と前記注目部分の位置との比較により前記作業者が目視により前記注目部分を確認したと判断した場合であっても、受付時間内に前記注目部分に対する前記作業者からの確認結果の入力がない場合、最終的に前記注目部分の目視による確認はなかったものと判断してもよい。これにより、より適切な判断が可能になる。前記受付時間は、例えば、前記比較による判断の時を基準に設定されてもよい。

前記光照射装置及びカメラを含むシステムも、本発明の実施形態に含まれる。すなわち、本発明の実施形態に係る確認作業支援システムは、確認対象の注目部分に他の部分とは色又は強度が異なる光を照射する光照射装置と、前記光照射装置の光を照射された前記確認対象を撮影するカメラと、前記カメラで撮影された前記確認対象の映像を、前記カメラから独立して設けられた表示装置を表示させる表示制御部と、前記表示装置を見る作業者の動作を動作検出器の検出結果に基づき、前記表示装置に表示された映像に対する作業者の目視位置を特定する目視位置特定部と、前記目視位置特定部で特定された前記目視位置と、前記表示装置に表示された前記確認対象の映像における前記光照射装置の光が照射された前記注目部分の位置との比較により、前記作業者が前記確認対象の前記注目部分を目視により確認したか否かを判断する確認判断部とを備えてもよい。

上記確認作業支援システムを用いた確認作業支援方法及び、上記確認作業支援システムの処理をコンピュータに実行させるプログラムも、本発明の実施形態に含まれる。
本発明の実施形態に係る確認作業支援方法は、光照射装置により、確認対象の注目部分に他の部分とは色又は強度が異なる光を照射する工程と、前記光照射装置の光を照射された前記確認対象をカメラで撮影する工程と、前記カメラから独立して設けられた表示装置に、前記カメラで撮影した前記確認対象の映像を表示する工程と、コンピュータが、前記表示装置を見る作業者の動作を検出する動作検出器の検出結果に基づき、前記表示装置に表示された前記映像に対する前記作業者の目視位置を特定する工程と、コンピュータが、前記特定された前記目視位置と、前記表示装置に表示された前記確認対象の前記映像における前記光照射装置の光が照射された前記注目部分の位置との比較により、前記作業者が前記確認対象の前記注目部分を目視により確認したか否かを判断する工程と、を有する。
本発明の実施形態に係る確認作業支援プログラムは、光照射装置に、確認対象の注目部分に他の部分とは色又は強度が異なる光を照射させる処理と、前記光照射装置の光を照射された前記確認対象をカメラで撮影した映像を取得する処理と、前記カメラで撮影された前記確認対象の前記映像を、前記カメラから独立して設けられた表示装置を表示させる処理と、前記表示装置を見る作業者の動作を検出する動作検出器の検出結果に基づき、前記表示装置に表示された前記映像に対する前記作業者の目視位置を特定する処理と、前記特定された前記目視位置と、前記表示装置に表示された前記確認対象の前記映像における前記光照射装置の光が照射された前記注目部分の位置との比較により、前記作業者が前記確認対象の前記注目部分を目視により確認したか否かを判断する確認判断処理とを、コンピュータに実行させる。

［実施形態］
以下、実施形態について図面を参照しつつ説明する。図中同一及び相当する構成については同一の符号を付し、同じ説明を繰り返さない。なお、説明を分かりやすくするために、以下で参照する図面においては、構成が簡略化又は模式化して示されたり、一部の構成部材が省略されたりしている。

（システム構成例）
図１は、本実施形態における確認作業支援システム１の構成例を示す図である。確認作業支援システム１は、作業者が、確認対象の注目部分を目視により確認する作業を支援するシステムである。確認対象は、特に限定されないが、一例として、工業生産物（ワーク）とする。図１に示す確認作業支援システム１は、光照射装置２、カメラ３、表示装置５及び動作検出器４と通信可能となっている。光照射装置２、カメラ３及び表示装置５は、互いに独立して設けられる。確認作業支援システム１と光照射装置２、カメラ３及び動作検出器４の少なくとも１つとの接続は、無線であっても、有線であってもよく、また、ネットワークを介した接続であってもよい。確認作業支援システム１は、光照射制御部１１、映像取得部１２、確認判断部１３、目視位置特定部１４、表示制御部１５、撮影制御部１６、及び、確認受付部１７を備える。

光照射制御部１１は、光照射装置２が確認対象Ｗ１に照射する光を制御する。この制御により、光照射装置２は、確認対象Ｗ１の注目部分Ｃ１に光を照射する。注目部分Ｃ１に照射する光は、他の部分の光とは、色又は強度が異なる。これにより、注目部分Ｃ１が他の部分と目視により区別可能な状態となる。なお、他の部分は、確認対象Ｗ１における注目部分Ｃ１以外の部分である。色又は強度が異なる態様は、色又は強度の少なくとも一方が異なる態様である。

確認対象Ｗ１は、光照射装置２の光照射範囲に配置される。光照射装置２は、光照射制御部１１からの指示に基づいて、予め決められた位置に配置された確認対象Ｗ１に対して、予め決められた光を照射させる。例えば、光照射装置２は、予め記録されたデータに基づく光を照射する。一例として、確認対象Ｗ１の注目部分Ｃ１を示す注目部分データが、光照射装置２がアクセス可能な記憶部に予め記録されていてもよい。光照射装置２は、注目部分データに基づいて確認対象Ｗ１に光を照射することで注目部分の他と色又は強度の異なる光を照射できる。光照射制御部１１は、光照射装置２へ確認対象Ｗ１の注目部分データを提供又は指定することで、光照射制御部１１を制御してもよい。或いは、光照射制御部１１は、光照射装置２へ光照射を指示するのみでもよい。この場合、例えば、光照射装置２は、照射範囲に配置されている確認対象Ｗ１の認識し、確認対象Ｗ１の注目部分データを取得して、注目部分へ光照射することができる。

映像取得部１２は、光照射装置２の光を照射された確認対象Ｗ１をカメラ３で撮影した映像を取得する。表示制御部１５は、カメラ３で撮影された確認対象Ｗ１の映像を、表示装置５に表示させる。これにより、表示装置５に表示される確認対象Ｗ１の映像では、注目部分Ｃ１は、他の部分と異なる色又は明るさで表示される。

目視位置特定部１４は、動作検出器４の検出結果に基づき、表示装置５に表示された確認対象Ｗ１の映像に対する作業者Ａの目視位置を特定する。動作検出器４は、表示装置５を見る作業者Ａの動作を検出する。例えば、動作検出器４は、作業者Ａの視線の動き又は表示装置５の映像の一部を指し示す動きを検出する。動作検出器４により、表示装置５の画面における作業者Ａの目視位置又は指定位置が検出される。動作検出器４は、例えば、表示装置５が備えるタッチセンサ、視線検出装置（アイトラッカー）、又は、表示装置５の画面を含む領域を撮影するカメラ（表示側カメラ）、或いは、これらのうち少なくとも２つの組み合わせであってもよい。なお、動作検出器４は、上記例に限られない。例えば、動作検出器４は、表示装置５の画面における位置を指示するためのマウス、キーボード、ボタン等の入力装置又はコンピュータで提供される入力インタフェースであってもよい。

動作検出器４がタッチセンサである場合、目視位置特定部１４は、タッチセンサで検出された作業者Ａの画面上の指示位置に基づき、確認対象Ｗ１の映像に対する作業者Ａの目視位置を特定する。例えば、目視位置特定部１４は、映像における作業者Ａの指示位置を、その映像の目視位置として特定してもよい。なお、タッチセンサは、画面への指又はペン等の接触を検出する接触型でもよいし、画面の近傍の離れた位置の指又はペンを検出する非接触型でもよい。タッチセンサは、典型的には、タッチパネルである。

確認判断部１３は、作業者Ａが確認対象Ｗ１の注目部分Ｃ１を目視により確認したか否かを判断する。この判断処理は、目視位置特定部１４で特定された目視位置と、表示装置５に表示された確認対象Ｗ１の映像における注目部分Ｃ１の位置との比較処理を含む。例えば、確認判断部１３は、目視位置と映像における注目部分Ｃ１の位置の関係が所定条件を満たす場合に、作業者Ａが注目部分Ｃ１を目視により確認したと判断できる。上記位置の比較処理は、上記位置関係を表す値を算出する処理を含んでも良い。位置関係を表す値は、例えば、距離、又は、重なり度合い等の２つの位置の乖離度合いを示す値であってもよい。なお、確認判断部１３は、上記判断をするために上記比較処理以外の処理をさらに実行してもよい。例えば、確認判断部１３は、上記の比較処理結果以外の他の処理結果又は他のデータを用いて上記判断してもよい。

確認受付部１７は、作業者Ａの注目部分Ｃ１に対する確認結果の入力を受け付ける。確認受付部１７は、確認判断部１３が、作業者Ａが注目部分Ｃ１を目視により確認したと判断した時期に基づき、作業者Ａから注目部分Ｃ１の確認結果を受け付ける時期を制御してもよい。例えば、確認受付部１７は、作業者Ａが注目部分Ｃ１を目視により確認したと判断した時点から所定時間内に入力された確認結果を、注目部分Ｃ１の確認結果として有効にすることができる。

一方、作業者Ａが注目部分Ｃ１を目視により確認したと確認判断部１３が判断した時点から設定された受付時間内に確認受付部１７に確認結果が入力されなかった場合は、確認判断部１３は、最終的には注目部分Ｃ１の目視による確認が行われなかったと判断することができる。これにより、例えば、作業者が、一応注目部分を目視はしたが、確認したと意識していない場合等に、適切に判断ができる。また、上記受付時間外は、確認受付部１７は、注目部分Ｃ１の確認結果を受け付けないか、又は、受け付けても無効にすることができる。これにより、作業者Ａが実際には目視せずに（注視することなく）入力した確認結果は除外されやすくなる。

例えば、表示装置５は、作業者Ａの確認結果を受け付けるユーザインタフェースを備える。図１に示す例では、表示装置５は、タッチセンサを備え、確認対象Ｗ１の映像とともに、確認結果を入力するためのボタンＢ１を表示する。この場合、確認受付部１７は、確認対象Ｗ１の映像とともに、確認結果を受け付けるユーザインタフェースを表示装置５に表示させる。

光照射制御部１１は、確認判断部１３の判断結果に応じて、光照射装置２が光を照射する確認対象Ｗ１の注目部分Ｃ１の位置を制御してもよい。光照射制御部１１は、例えば、確認判断部１３が、作業者Ａが注目部分Ｃ１を目視により確認したと判断した場合に、確認対象Ｗ１において光を照射する注目部分を変更するよう光照射装置２を制御してもよい。これにより、作業者Ａの目視による確認に応じて、注目部分を切り替えることができる。

撮影制御部１６は、作業者Ａからの入力に応じて、確認対象Ｗ１に対するカメラ３の撮影条件を制御する。撮影制御部１６は、例えば、動作検出器４で検出される作業者Ａの動作に基づいて、カメラ３の撮影条件を制御してもよい。制御する撮影条件は、カメラ３の位置、アングル、視野サイズ（ズーム）又は焦点距離の少なくとも１つを含んでもよい。これにより、作業者Ａは、表示装置５を見ながら、カメラ３の位置、アングル又はズームを調整することができる。例えば、動作検出器４が、表示装置５のタッチセンサである場合、表示装置５の画面に対して、視点位置、視点角度、ズーム又は焦点距離を変更する操作の入力を作業者Ａから受け付けることができる（図３参照）。

確認作業支援システム１は、プロセッサ及びメモリを備えるコンピュータにより構成される。光照射制御部１１、映像取得部１２、確認判断部１３、目視位置特定部１４、表示制御部１５、撮影制御部１６、及び、確認受付部１７の機能は、１又は複数のコンピュータが所定のプログラムを実行することで実現される。これらの機能部の処理をコンピュータが実行する方法、及びそのためのプログラムも本発明の実施形態に含まれる。

なお、確認作業支援システム１の構成は、上記例に限れられない。例えば、図１に示す確認作業支援システム１において、撮影制御部１６、及び、確認受付部１７の少なくとも１つを省略してもよい。また、確認作業支援システム１に、さらに、他の機能部又は装置が含まれてもよい。例えば、確認作業支援システム１は、光照射装置２及びカメラ３を含んでもよい。

図２は、図１に示す光照射装置２及びカメラ３を説明するための図である。光照射装置２と、カメラ３は、互いに独立して設けられる。一例として、光照射装置２は、確認対象Ｗ１を配置する台６に対して固定した位置に設けられる。カメラ３は、台６に対して可動に配置される。光照射装置２が光を照射する位置と、カメラ３が撮影する位置とは、互いに独立して制御できる。これにより、光照射の位置情報と撮影の位置情報を同期する必要がないため、確認作業支援システムにける演算及び制御が簡単になる。

光照射装置２は、光源２ａ及び光学系２ｂを含む。光源２ａの光が光学系２ｂを通って外部へ照射される。光学系２ｂにより、照射光が制御される。光学系２ｂを制御することにより、確認対象Ｗ１の注目部分Ｃ１に他の部分と色又は強度が異なる光を照射することができる。光照射装置２は、これらに限られないが、例えば、光による像を投影するプロジェクタ、又は、対象物に部分的に光を照射するスポットライト等とすることができる。

光照射装置２がプロジェクタである場合は、確認対象Ｗ１へ照射する像の画像データが予め、光照射装置２がアクセス可能な記憶部に記録される。光照射装置２は、光照射制御部１１からの指示に基づき、予め記録された画像データの像を確認対象Ｗ１へ投影する。光照射装置２がスポットライトである場合は、確認対象Ｗ１へ照射する光の方向又は照射範囲を示すデータが予め、光照射装置２がアクセス可能な記憶部に記録される。光照射装置２は、光照射制御部１１からの指示に基づき、予め記録されたデータで示される方向又は照射範囲へ光を投影する。これにより、確認対象Ｗ１の注目部分Ｃ１に照射する光の色又は強度を、他の部分に照射する光と異ならせることができる。

例えば、光照射装置２を台６に対して予め決められた位置に配置し、台６の予め決められた位置に確認対象Ｗ１を配置することで、光照射装置２は、予め決められた位置の確認対象Ｗ１に光を照射することができる。光照射装置２を台６に対して固定された位置に配置されてもよい。

台６は、確認対象Ｗ１を搬送する搬送手段を有してもよい。例えば、台６は、ベルトコンベア又はローラ―コンベアであってもよいし、台６がレール等のガイドに沿って移動するよう構成されてもよい。或いは、搬送手段は、マニピュレータ等のロボットであてもよい。また、台６は、確認対象Ｗ１の位置決め手段を有してもよい。例えば、台６の載置面に、確認対象Ｗ１が接するための凸部又は凹部が設けられてもよい。これにより、光照射装置２に対して、正確に位置決めされた位置に、確認対象Ｗ１を配置することができる。

カメラ３は、光軸３ａの向きが台６に対して変更可能に設けられる。又、カメラ３は、光軸３ａを中心に回転可能に設けられてもよい。すなわち、カメラ３は、チルト、パン、ロールの少なくとも１つの方向に可動に設けられてもよい。撮影制御部１６は、カメラの台６（確認対象Ｗ１）に対する位置又は向き、若しくは、カメラ３のズーム又は焦点距離を制御する。なお、カメラ３は、例えば、顕微鏡等の光学系を介して確認対象Ｗ１を撮影するよう構成されてもよい。

図３は、動作検出器４が、視線検出装置（アイトラッカー）である場合の例を示す図である。視線検出装置は、例えば、目に所定パターンの光を照射する光源、所定パターンの目における反射光を検出するカメラ、及び検出した反射光を基に、表示装置５の画面における視点を算出する演算部を有する。視線検出装置は、表示装置５の画面における作業者Ａが目視した位置を検出できる。目視位置特定部１４は、視線検出装置で検出された画面における目視位置を、作業者Ａの目視位置に決定することができる。なお、図３の例では、視線検出装置は、表示装置５に取り付けられる。変形例として、表示装置５とは独立したデバイスで構成されてもよい。また、視線検出装置は、作業者Ａが装着可能なウエラブルデバイスで構成されてもよい。

図３は、作業者Ａの入力操作に基づいて、カメラ３の撮影条件が制御される例を示している。この例では、表示装置５は、タッチセンサを備える。作業者Ａは、確認対象Ｗ１の映像が表示された表示装置５の画面に対して、カメラ３の撮影条件を変更する操作を入力することができる。例えば、画面に表示されたカメラ操作用オブジェクトＢ２に対して、作業者Ａが所定の操作を入力することで、その操作に応じてカメラ３の撮影条件（例えば、視点位置、視点角度、ズーム又は焦点距離）を変更することができる。

図４は、動作検出器４が、表示側カメラである場合の例を示す図である。表示側カメラは、例えば、表示装置５の画面が撮影範囲に含まれる位置に設けられる。表示装置５の画面に作業者Ａが指を近づけて注目部分Ｃ１の指差し確認をした場合、表示側カメラで作業者Ａの指が画面と重なった状態で撮影される。目視位置特定部１４は、表示側カメラで撮影された映像における、画面と指の位置関係から、映像に対する作業者Ａの目視位置を特定できる。

（動作例）
図５は、図１に示す確認作業支援システム１の動作例を示すフローチャートである。図５に示す例は、作業者Ａが、複数（本例ではＮｕ個とする）の確認対象の確認作業を順次行う場合の動作例である。図５に示す例では、初めに確認対象のカウンタ変数ｎと、注目部分のカウンタ変数ｋに初期値が設定される。

Ｓ１において、ｎ番目の確認対象がセットされる。確認対象のセットでは、例えば、光照射装置２に対して予め決められた位置に確認対象が配置される。この予め決められた配置位置は、光照射装置２の光照射範囲であり、カメラ３の撮影範囲でもある。例えば、確認作業支援システム１は、台６が備える搬送手段を制御して、確認対象を配置することができる。

Ｓ２において、光照射制御部１１は、光照射装置２を制御して、確認対象のｋ番目の注目部分に他の部分とは色又は強度が異なる光を照射させる。本例では、各確認対象に対して、複数の注目部分が予め決められている。すなわち、１つの確認対象について、複数の注目部分のそれぞれを示す注目部分データが予め、光照射装置２からアクセス可能な記憶部に記録される。光照射装置２がプロジェクタの場合は、各注目部分について、投影する光の像を示す画像データが記録される。光照射制御部１１は、例えば、ｋ番目の注目部分の画像データを用いて像を投影するよう光照射装置２に指示する。

Ｓ３において、カメラ３は、確認対象を撮影する。映像取得部１２は、カメラ３で撮影された映像を取得する。また、撮影制御部１６は、作業者Ａのカメラ３の撮影条件の入力操作を受け付け、入力操作に基づいて、カメラ３の撮影条件を変更してもよい。

Ｓ４において、表示制御部１５は、カメラ３の映像を表示装置５に表示させる。これにより、カメラ３で撮影された確認対象の映像が、表示装置５に表示される。確認対象の注目部分は、他の部分とは異なる色又は明るさで表示される。

Ｓ５において、確認判断部１３は、表示装置５に表示された映像における注目部分の位置を決定する。確認判断部１３は、映像において、他の部分と色又は明るさが異なる部分の位置を、注目部分の位置と決定することができる。これにより、例えば、パターンマッチングのように、予め準備したデータを用いた複雑な処理をしなくても、簡単な処理で、注目部分の位置を決定することができる。また、カメラ３の撮影条件（例えば、視点位置、アングル、ズーム又は焦点距離）が変化した場合であっても、簡単な処理で、注目部分の位置を決定できる。

図６は、撮影条件が異なる場合の映像における注目部分Ｃ１の位置の例を示す図である。図６では、ノーマルの撮影条件、確認対象Ｗ１を拡大（ズーム）した撮影条件、及び、カメラのアングルを変更した撮影条件のそれぞれにおいて、決定される映像中の注目部分Ｃ１の位置の座標の例が示される。このように、撮影条件が変更されると、映像における注目部分Ｃ１の位置、確認対象Ｗ１と注目部分Ｃ１の位置関係、若しくは、注目部分Ｃ１の形状又は大きさが変化する。パターンマッチング又は学習データを用いて映像における注目部分Ｃ１を認識する場合、様々な撮影条件に対応するためには、テンプレートデータや学習のためのデータが大量に必要になる。これに対して、本実施形態では、撮影条件がどのように変更されても、例えば、映像において、色又は明るさが異なる領域における代表点の座標（ｘｐ、ｙｐ）を、注目部分Ｃ１の位置として決定することができる。このように、簡単な処理で注目部分Ｃ１を特定でき、準備するデータも少なくてすむ。図６の例では、注目部分Ｃ１の位置は、映像の画面における座標によって表される。なお、注目部分Ｃ１の位置は、代表点の座標に限られない。例えば、注目部分Ｃ１の位置は、映像における注目部分Ｃ１に対応する領域を示す座標群で表されてもよい。

図５のＳ６において、目視位置特定部１４は、映像における作業者Ａの目視位置を特定する。目視位置特定部１４は、動作検出器４が検出した作業者Ａの視線又は指の画面に対する位置に基づいて、映像における作業者Ａの目視位置を決定することができる。例えば、確認対象の表示中に表示装置５のタッチセンサで検出された作業者Ａの指示位置が、目視位置として特定される。目視位置は、一例として、映像の画面における座標によって表される。

Ｓ７において、確認判断部１３は、Ｓ５で決定した注目部分の位置と、Ｓ６で決定した目視位置との比較に基づき、作業者Ａが目視により注目部分を確認した否かを判断する。例えば、確認判断部１３は、注目部分の位置と目視位置とのかい離度合いが所定条件を満たす場合に、作業者Ａが目視により確認したと判断することができる。一例として、注目部分の位置と目視位置の距離が、閾値以内である場合に、作業者Ａが目視により確認したと判断することができる。

Ｓ７でＹＥＳ、すなわち、作業者Ａが目視により注目部分を確認したと判断された場合、確認受付部１７は、確認結果の入力を受け付ける（Ｓ８）。Ｓ７でＮＯの場合は、Ｓ６の目視位置特定処理に戻る。これにより、作業者Ａが目視により注目部分を確認したと判断されるまで、作業者Ａは，その注目部分の確認結果の入力ができないことになる。

作業者Ａの確認結果が入力されるまで、Ｓ６、Ｓ７の処理が繰り返される。作業者Ａの確認結果が入力されると（Ｓ８でＹＥＳ）、注目部分のカウンタ変数を１つ増やし、次の注目部分について、Ｓ２～Ｓ８の処理が実行される。予め決められたＫｕ個の注目部分について、Ｓ２～Ｓ８の処理が実行されると、確認対象のカウンタ変数を１つ増やし、次の確認対象について、Ｓ１～Ｓ８の処理が実行される。

予め決められたＮｕ個の確認対象について、Ｓ１～Ｓ８の処理が実行されると、確認作業支援システム１は、確認結果を出力する（Ｓ８）。出力処理の形態は、特に限定されないが、例えば、表示装置への確認結果の表示、所定の記憶部への確認結果の記録等である。例えば、確認の日時、作業者Ａ及び確認対象に関する情報が、確認結果と対応付けられて確認結果データとして、記憶部に記録されてもよい。また、カメラ３で撮影された確認対象の映像も、記録される確認結果データに含まれてもよい。

このように、図５に示す例では、複数の確認対象のそれぞれの注目部分について、順次、作業者の目視による確認の判断処理と、確認結果の入力受付処理を実行することができる。作業者Ａは、各注目部分について、確実に目視による確認をした上で、確認結果を入力することができる。そのため、確認漏れ及び確認ミスを減らすことができる。また、簡単な処理で、目視確認の判断処理を実行できる。さらに、目視確認の判断処理のための準備が簡単である。そのため、低いコストで確認作業支援システム１を実現できる。

なお、確認作業支援システム１の動作は、上記例に限られない。上記例では、１つの映像で１つの注目部分が表示され、確認結果の入力に応じて、順次、注目部分を切り替えて表示される。この変形例として、例えば、１つの映像で複数の注目部分を表示し、複数の注目部分について、１つの映像で確認結果の入力を受け付けることができる。この場合、目視による確認がされたと判断され、且つ、確認結果が入力された注目部分については、色又は強度の異なる光を照射しない状態に変更するように、光照射装置２が制御されてもよい。

また、Ｓ７における確認判断部１３の注目部分の位置と目視位置の比較処理は、上記のように、注目部分の位置と目視位置の距離を算出する処理に限られない。比較処理として、例えば、注目部分の領域と目視位置の一定時間内の移動領域との重なりの程度が算出されてもよい。また、判断処理に、目視位置の時系列データが用いられてもよい。例えば、確認判断部１３は、注目部分の位置と目視位置の位置関係が条件を満たす状態が、所定時間以上継続した場合に、作業者が注目部分を目視による確認したと判断することができる。

（応用例）
図７は、本実施形態の確認作業支援システム１を、工場の工業生産物の検査システムに適用した場合の構成例を示す図である。図７に示す例では、光照射装置２及びカメラ３は、生産現場である工場にあり、表示装置５及び動作検出器４は、生産現場から離れた遠隔地の事務所にある。工場と事務所はネットワークにより接続されている。確認作業支援システム１は、各事務所の表示装置５及び動作検出器４に接続される。確認作業支援システム１は、さらに、ネットワークを介して、工場の光照射装置２及びカメラ３と接続される。この構成により、作業者Ａは、生産現場から離れた遠隔地において、確認作業を行うことができる。

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限られない。

１：確認作業支援システム、２：光照射装置、３：カメラ、４：動作検出器、５：表示装置、１１：光照射制御部、１２：映像取得部、１３：確認判断部、１４：目視位置特定部、１５：表示制御部

Claims

光照射装置に、確認対象の注目部分に他の部分とは色又は強度が異なる光を照射させる光照射制御部と、
前記光照射装置の光を照射された前記確認対象をカメラで撮影した映像を取得する映像取得部と、
前記カメラで撮影された前記確認対象の前記映像を、前記カメラから独立して設けられた表示装置に表示させる表示制御部と、
前記表示装置を見る作業者の動作を検出する動作検出器の検出結果に基づき、前記表示装置に表示された前記映像に対する前記作業者の目視位置を特定する目視位置特定部と、
前記目視位置特定部で特定された前記目視位置と、前記表示装置に表示された前記確認対象の映像における前記光照射装置の光が照射された前記注目部分の位置との比較により、前記作業者が前記確認対象の前記注目部分を目視により確認したか否かを判断する確認判断部と、を備える、確認作業支援システム。
請求項１に記載の確認作業支援システムであって、
前記動作検出器は、前記表示装置が備えるタッチセンサであり、
前記目視位置特定部は、前記タッチセンサで検出された前記作業者の指示位置に基づき、前記映像に対する前記作業者の前記目視位置を特定する、確認作業支援システム。
請求項１又は２に記載の確認作業支援システムであって、
前記動作検出器は、前記表示装置の画面を撮影する表示側カメラであり、
前記目視位置特定部は、前記表示側カメラで撮影された映像における前記表示装置の画面と重なる前記作業者の指の位置に基づき、前記映像に対する前記作業者の前記目視位置を特定する、確認作業支援システム。
請求項１～３のいずれか１項に記載の確認作業支援システムであって、
前記動作検出器は、前記表示装置を見る前記作業者の視線を検出する視線検出装置であり、
前記目視位置特定部は、前記視線検出装置で検出された前記作業者の視線に基づき、前記映像に対する前記作業者の前記目視位置を検出する、確認作業支援システム。
請求項１～４のいずれか１項に記載の確認作業支援システムであって、
前記光照射制御部は、前記確認判断部の判断結果に応じて、前記光照射装置が光を照射する前記確認対象の注目部分の位置を制御する、確認作業支援システム。
請求項１～５のいずれか１項に記載の確認作業支援システムであって、
前記光照射制御部は、前記光照射装置に、前記光照射装置に対し予め決められた位置に配置された前記確認対象に対して、予め決められた光を照射させる、確認作業支援システム。
請求項１～６のいずれか１項に記載の確認作業支援システムであって、
前記作業者からの入力に応じて、前記確認対象に対する前記カメラの撮影条件を制御する撮影制御部をさらに備える、確認作業支援システム。
確認対象の注目部分に他の部分とは色又は強度が異なる光を照射する光照射装置と、
前記光照射装置の光を照射された前記確認対象を撮影するカメラと、
前記カメラで撮影された前記確認対象の映像を、前記カメラから独立して設けられた表示装置を表示させる表示制御部と、
前記表示装置を見る作業者の動作を動作検出器の検出結果に基づき、前記表示装置に表示された映像に対する作業者の目視位置を特定する目視位置特定部と、
前記目視位置特定部で特定された前記目視位置と、前記表示装置に表示された前記確認対象の映像における前記光照射装置の光が照射された前記注目部分の位置との比較により、前記作業者が前記確認対象の前記注目部分を目視により確認したか否かを判断する確認判断部と、を備える、確認作業支援システム。
光照射装置により、確認対象の注目部分に他の部分とは色又は強度が異なる光を照射する工程と、
前記光照射装置の光を照射された前記確認対象をカメラで撮影する工程と、
前記カメラから独立して設けられた表示装置に、前記カメラで撮影した前記確認対象の映像を表示する工程と、
コンピュータが、前記表示装置を見る作業者の動作を検出する動作検出器の検出結果に基づき、前記表示装置に表示された前記映像に対する前記作業者の目視位置を特定する工程と、
コンピュータが、前記特定された前記目視位置と、前記表示装置に表示された前記確認対象の前記映像における前記光照射装置の光が照射された前記注目部分の位置との比較により、前記作業者が前記確認対象の前記注目部分を目視により確認したか否かを判断する工程と、を有する、確認作業支援方法。
光照射装置に、確認対象の注目部分に他の部分とは色又は強度が異なる光を照射させる処理と、
前記光照射装置の光を照射された前記確認対象をカメラで撮影した映像を取得する処理と、
前記カメラで撮影された前記確認対象の前記映像を、前記カメラから独立して設けられた表示装置を表示させる処理と、
前記表示装置を見る作業者の動作を検出する動作検出器の検出結果に基づき、前記表示装置に表示された前記映像に対する前記作業者の目視位置を特定する処理と、
前記特定された前記目視位置と、前記表示装置に表示された前記確認対象の前記映像における前記光照射装置の光が照射された前記注目部分の位置との比較により、前記作業者が前記確認対象の前記注目部分を目視により確認したか否かを判断する確認判断処理とを、コンピュータに実行させる、確認作業支援プログラム。