JP2023017482A - 確認作業支援システム、確認作業支援方法及び確認作業支援プログラム - Google Patents
確認作業支援システム、確認作業支援方法及び確認作業支援プログラム Download PDFInfo
- Publication number
- JP2023017482A JP2023017482A JP2021121786A JP2021121786A JP2023017482A JP 2023017482 A JP2023017482 A JP 2023017482A JP 2021121786 A JP2021121786 A JP 2021121786A JP 2021121786 A JP2021121786 A JP 2021121786A JP 2023017482 A JP2023017482 A JP 2023017482A
- Authority
- JP
- Japan
- Prior art keywords
- confirmation
- line
- confirmation work
- sight
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000001514 detection method Methods 0.000 claims abstract description 200
- 238000012790 confirmation Methods 0.000 claims description 426
- 230000000007 visual effect Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000002123 temporal effect Effects 0.000 description 12
- 238000011179 visual inspection Methods 0.000 description 8
- 238000007689 inspection Methods 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】確認対象に対する目視確認を判断するシステムの構築を容易にする【解決手段】確認作業支援システム1は、確認対象W1に取り付けられ、確認対象W1に向けられた視線を検出する視線検出センサ2の検出結果を取得する視線検出結果取得部11と、作業者Aが、確認対象W1に対して確認作業を行っていることを示す確認作業データを取得する確認作業データ取得部12と、視線検出結果取得部11が取得した視線検出センサ2の検出結果と、確認作業データ取得部12が取得した確認作業データに基づいて、作業者Aが目視により確認対象W1を確認したか否かを判断する判断部13と、を備える。【選択図】図1
Description
本発明は、作業者が、確認対象を目視により確認する作業を支援する技術に関する。
特開2012-7985号公報(特許文献1)には、カメラを備えるヘッドマウントディスプレイ装置を用いた確認業務支援システムが開示されている。ヘッドマウントディスプレイ装置のカメラが撮影する映像は、ヘッドマウントディスプレイ装置を装着する検査員の視界とほぼ一致する。このシステムは、カメラで撮影され補正された視界画像データを用いて、検査員による目視検査が正しく行われたか否かを判定する目視検査判定手段を備える。目視検査判定手段は、視界画像データから検査員の視点となる部分の部分画像データを抽出し、抽出した部分画像データと、目視検査判定用のパターンデータ(検査箇所ごとの画像データ)との類似度を算出する。算出した類似度が所定の閾値以上である場合に、検査員の視点と検査箇所とが一致していると判定される。一致した状態のまま所定期間(例えば、3秒間)経過した場合に、目視検査が正しく行われたと判定される。
特開2003-174505号公報(特許文献2)には、視線検出センサを備えた携帯端末が開示されている。視線検出センサは、使用者の視線が、携帯端末の液晶表示パネル部に向けられたことを検出する。視線が検出されると、制御部が、液晶表示パネル部へ電力を供給する。
上記従来のシステムでは、目視検査の判定のために、予めパターンデータ(検査箇所ごとの画像データ)を準備する必要がある。そのため、検査対象が変わる度に、パターンデータの生成が必要となる。また、検査員の視線と検査対象物との位置関係は一定ではなく、変化する。そのため、様々な視線の視界画像に対応するために、1つの検査対象に対して多くのパターンデータが必要となり得る。そのため、1つの検査対象物に対する目視検査判定を行うためのシステムの構築は、容易ではない。
そこで、本願は、確認対象に対する目視確認を判断するシステムの構築を容易にする、確認作業支援システム、方法及びプログラムを開示する。
本発明の実施形態に係る確認作業支援システムは、確認対象に取り付けられ、前記確認対象に向けられた視線を検出する視線検出センサの確認結果を取得する視線データ取得部と、作業者が、前記確認対象に対して確認作業を行っていることを示す確認作業データを取得する確認作業データ取得部と、前記視線検出結果取得部が取得した前記視線検出センサの前記検出結果と、前記確認作業データ取得部が取得した前記確認作業データに基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断する判断部と、を備える。
本開示によれば、確認対象に対する目視確認を判断するシステムの構築を容易にすることができる。
本発明の実施形態に係る確認作業支援システムは、確認対象に取り付けられ、前記確認対象に向けられた視線を検出する視線検出センサの確認結果を取得する視線データ取得部と、作業者が、前記確認対象に対して確認作業を行っていることを示す確認作業データを取得する確認作業データ取得部と、前記視線検出結果取得部が取得した前記視線検出センサの前記検出結果と、前記確認作業データ取得部が取得した前記確認作業データに基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断する判断部と、を備える。
上記構成によれば、確認作業支援システムは、確認対象に取り付けられた視線検出センサの検出結果を取得し、さらに、作業者がその確認対象に対して確認作業を行っていることを示す確認作業データを取得する。これにより、確認対象に視線が向けられたか否か、及び、作業者が確認対象を確認する作業をしているか否かを示す情報が、判断部で利用可能となる。判断部は、これらの情報を基に、作業者が目視により確認対象を確認した否かを判断できる。そのため、判断処理に用いるデータが少なくてすみ、判断処理も簡単になる。また、確認対象に取り付けられた視線検出センサからの情報を用いるため、例えば、確認対象を画像等のデータにおいて認識するためのパターンデータや、作業者の視線と確認対象との位置関係を特定する処理等が不要になる。すなわち、確認対象の特定のために必要な確認対象に特化したデータが少なくてすむ。その結果、確認対象に対する目視確認を判断するシステムの構築が、容易になる。
前記判断部は、例えば、前記確認作業データで示される前記作業者の前記確認対象に対する確認作業と、前記視線検出センサにおける前記確認対象に対する視線の検出との時間的関係に基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断してもよい。これにより、作業者が確認対象を確認する際に、その確認対象が目視されたか否かを、簡単な処理で判断できる。なお、判断部は、前記時間的関係に加えて、さらに他のデータ又は処理結果を用いて前記判断をしてもよい。
前記判断部は、例えば、前記確認作業データで示される前記作業者の前記確認対象に対する確認作業と、前記視線検出センサの検出結果で示される前記確認対象に向けられた視線の検出との時間差が、設定時間内である場合に、前記作業者が目視により前記確認対象を確認したと判断してもよい。前記判断部は、前記時間差が前記設定時間内でない場合、前記作業者が目視により前記確認対象を確認していないと判断してもよい。
具体例として、判断部は、確認作業データと視線検出センサの検出結果から上記の時間差を決定し、決定した時間差が設定時間内であるか否かを判断してもよい。或いは、判断部は、確認作業データ及び視線検出センサの検出結果のうち一方を取得してから、設定時間内に他方を取得するか否かを判断してもよい。
前記確認作業データ取得部は、前記作業者から入力された前記確認対象に対する確認作業の開始又は確認結果を示すデータを、前記確認作業データとして取得してもよい。これにより、作業者が確認対象に対する確認作業の開始又は確認結果を入力する操作と、確認対象に向けられた視線、すなわち確認対象が見られたことの検出結果により、目視確認が判断される。そのため、簡単な処理で、判断が可能になる。
前記判断部は、例えば、前記確認作業データで示される前記確認対象に対する確認作業の開始又は確認結果入力と、前記視線検出センサにおける前記確認対象に対する視線の検出との時間的関係に基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断してもよい。
前記確認作業データ取得部は、前記作業者の作業者端末が、前記確認対象の近くにあることを示すデータを、前記確認作業データとして取得してもよい。これにより、作業者の作業者端末が確認対象の近くにあるか否かと、確認対象が見られたか否かにより、目視確認が判断される。そのため、簡単な処理で、判断が可能になる。
前記判断部は、例えば、前記確認作業データに基づいて決定される前記確認対象の近くに前記作業者の前記作業者端末がある時と、前記視線検出センサにおける前記確認対象に対する視線の検出の時との時間的関係に基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断してもよい。
前記確認作業データ取得部は、カメラで撮影された前記作業者の画像に基づいて決定される前記作業者の確認の動作を示すデータを、前記確認作業データとして取得してもよい。これにより、作業者による確認の動作と、確認対象が見られたことの検出結果により、目視確認が判断される。そのため、簡単な処理で、判断が可能になる。
前記判断部は、例えば、前記確認作業データで示される前記作業者の確認の動作の時と、前記視線検出センサにおける前記確認対象に対する視線の検出の時との時間的関係に基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断してもよい。
前記確認対象には、視認可能な位置に所定のマークが付されてもよい。前記確認作業データ取得部は、前記作業者が前記確認対象のマークをカメラで撮影した撮影画像を、前記確認作業データとして取得してもよい。判断部は、撮影画像のマークを認識することで、作業者により確認対象が撮影されたと判断できる。これにより、作業者が確認対象をカメラで撮影する動作の有無と、確認対象が見られたか否かにより、目視確認が判断される。そのため、簡単な処理で、判断が可能になる。
前記判断部は、例えば、前記確認作業データで決定される前記作業者の確認対象の前記マークの撮影と、前記視線検出センサにおける前記確認対象に対する視線の検出との時間的関係に基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断してもよい。
本発明の実施形態に係る確認作業支援方法は、確認対象に取り付けられ、前記確認対象に向けられた視線を検出する視線検出センサの検出結果を、コンピュータが取得する工程と、作業者が、前記確認対象に対して確認作業を行っていることを示す確認作業データを、前記コンピュータが取得する工程と、前記コンピュータが、前記視線検出センサの前記検出結果と、前記確認作業データに基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断する工程と、を有する。
本発明の実施形態に係る確認作業支援プログラムは、確認対象に取り付けられ、前記確認対象に向けられた視線を検出する視線検出センサの検出結果を取得する視線検出結果取得処理と、作業者が、前記確認対象に対して確認作業を行っていることを示す確認作業データを取得する確認作業データ取得処理と、前記視線検出結果取得処理で取得した前記視線検出センサの前記検出結果と、前記確認作業データ取得処理で取得した前記確認作業データに基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断する判断処理と、をコンピュータに実行させる。
[実施形態]
以下、実施形態について図面を参照しつつ説明する。図中同一及び相当する構成については同一の符号を付し、同じ説明を繰り返さない。なお、説明を分かりやすくするために、以下で参照する図面においては、構成が簡略化又は模式化して示されたり、一部の構成部材が省略されたりしている。
以下、実施形態について図面を参照しつつ説明する。図中同一及び相当する構成については同一の符号を付し、同じ説明を繰り返さない。なお、説明を分かりやすくするために、以下で参照する図面においては、構成が簡略化又は模式化して示されたり、一部の構成部材が省略されたりしている。
(システム構成例)
図1は、本実施形態における確認作業支援システム1の構成例を示す図である。確認作業支援システム1は、作業者が、確認対象の注目部分を目視により確認する作業を支援するシステムである。確認対象は、特に限定されないが、例えば、目視による点検が必要な設備又はその一部が、確認対象となり得る。図1に示す確認対象W1は、設備の一部の点検すべき部分である。
図1は、本実施形態における確認作業支援システム1の構成例を示す図である。確認作業支援システム1は、作業者が、確認対象の注目部分を目視により確認する作業を支援するシステムである。確認対象は、特に限定されないが、例えば、目視による点検が必要な設備又はその一部が、確認対象となり得る。図1に示す確認対象W1は、設備の一部の点検すべき部分である。
図1に示す確認作業支援システム1は、確認対象W1に取り付けられた視線検出センサ2、及び、作業者Aの作業者端末3と通信可能となっている。図1の例では、ネットワークを介して、視線検出センサ2、作業者端末3及び確認作業支援システムが接続される。確認作業支援システム1と視線検出センサ2又は作業者端末3との接続は、無線であっても、有線であってもよい。確認作業支援システム1は、視線検出結果取得部11、確認作業データ取得部12、及び、判断部13を備える。
視線検出センサ2は、確認対象W1に向けられた視線を検出する。視線検出センサ2は、確認対象W1が人によって目視されたことを検出するセンサである。視線検出センサ2は、例えば、赤外線を照射し、瞳で反射した赤外線を検出して得た画像により視線を決定する構成であってもよい。これは、角膜反射法を用いて視線を検出する構成である。この場合、視線検出センサ2は、赤外線照射部、赤外線検出部、及び、検出した赤外線画像を処理して視線を決定する演算部を備える。角膜反射画像を用いて視線を決定する処理は、例えば、角膜反射に対する瞳孔の位置を検出して視線を決定する処理が含まれる。また、所定パターンの赤外線を照射し、角膜の反射パターンを検出することもできる。
或いは、視線検出センサ2は、瞳で反射した可視光線を検出する構成であってもよい。この場合、視線検出センサ2は、カメラと、カメラで撮影された可視光線の画像を処理して視線を決定する演算部とを備える。可視光線の画像を用いて視線を検出する処理は、例えば、画像に写る目の特徴点(例えば、目頭、目じり、瞳等)を認識し、これらの特徴点を基に視線を決定する処理が含まれる。この場合、確認対象W1に取り付けられるカメラと、外部のコンピュータ、例えば、作業者端末3又は確認作業支援システム1のコンピュータで視線検出センサ2が構成されてもよい。このように、視線検出センサ2の一部が確認対象に取り付けられ、他の部分は、確認対象の外に設けられてもよい。
視線検出結果取得部11は、視線検出センサ2の検出結果を取得する。視線検出結果取得部11は、確認対象W1に視線が向けられたか否かを示すセンサデータを、視線検出センサ2から取得する。視線検出結果取得部11は、検出結果のデータとして、例えば、視線検出センサ2で確認対象W1への視線が検出されたことを示す情報と、確認対象W1を特定するための情報を含むデータを、取得する。視線検出結果取得部11は、例えば、予め記録された確認対象W1と視線検出センサ2との対応を示す対応データを用いて、視線検出センサ2から受信したセンサデータを基に、確認対象W1を特定してもよい。視線検出結果取得部11は、視線検出センサ2から受け取った検出結果を、確認作業支援システム1のコンピュータからアクセスできる状態にする。
確認作業データ取得部12は、作業者Aが確認対象W1に対して確認作業を行っていることを示す確認作業データを取得する。確認作業データは、作業者Aが確認対象W1に対して確認作業を行っていることを直接的に示す情報を含んでもよいし、それを間接的に示す情報を含むものであってもよい。直接的に示す情報としては、例えば、作業者端末3に作業者Aが入力した情報であって、確認対象W1に対する確認作業の開始又は確認結果を示す情報が挙げられる。間接的に示す情報としては、例えば、確認作業を行う作業者Aをカメラで撮影して得られた画像、作業者Aが確認対象W1をカメラで撮影して得られた画像、又は、作業者端末3が確認対象W1の近くにいることを検出したことを示す情報、等が挙げられる。確認作業データ取得部12は、確認作業データを、確認作業支援システム1のコンピュータからアクセスできる状態にする。
視線検出結果取得部11は、確認作業データ取得部12が取得した確認作業データに基づいて、視線検出センサ2から検出結果を取得する時期を制御してもよい。例えば、視線検出結果取得部11は、確認作業データを基に、作業者Aが確認対象W1に対する確認作業を行っていると判断できる期間に、視線検出センサ2の検出結果を受け付けることができる。また、視線検出結果取得部11は、確認作業データに基づいて、視線検出センサ2の検出動作の期間を制御してもよい。例えば、視線検出結果取得部11は、確認作業データを基に作業者Aが確認対象W1に対する確認作業を行っていると判断できる期間に、視線検出センサ2が検出動作を行うように、視線検出センサ2を制御してもよい。
或いは、確認作業データ取得部12は、視線検出結果取得部11が取得する検出結果に基づいて、確認作業データを取得する時期を制御してもよい。例えば、確認作業データ取得部12は、視線検出センサ2において視線が検出された時を基準とする制限時間内に、確認作業データを受け付けることができる。一例として、確認作業データ取得部12は、確認対象W1に対する視線が検出された時を基準とする制限時間内に、作業者Aから確認対象W1に対する確認結果の入力を受け付けることができる。又は、上記制限時間内に、作業者Aを撮影するカメラ又は作業者Aが撮影するカメラからの画像を受け付けることができる。又は、上記制限時間内に、作業者端末3が確認対象W1の近くにあることの検出の結果を受け付けることができる。これらの場合、確認作業データ取得部12は、制限時間外には、これらを受け付けないか、受け付けても無効とすることができる。
判断部13は、視線検出結果取得部11が取得した視線検出センサ2の検出結果と、確認作業データ取得部12が取得した確認作業データに基づいて、作業者Aが目視により確認対象W1を確認したか否かを判断する。判断部13は、例えば、視線検出センサ2の検出結果が示す確認対象W1に対する視線の検出と、確認作業データから決定される作業者Aの確認対象W1に対する確認作業との時間的な関係が、設定された条件を満たすか否かを判断する。具体的には、判断部13は、視線検出センサ2による確認対象W1に対する視線の検出と、確認作業データで示される確認対象W1に対する作業者Aの確認作業が、設定時間内か否かを判断する。すなわち、判断部13は、視線検出センサ2による視線の検出と確認作業データに基づき判断される確認作業が設定時間内に行われた場合に、作業者Aが目視により確認対象W1を確認したと判断できる。判断部13は、視線の検出と確認作業が設定時間内に検出されない場合は、作業者Aが目視により確認対象W1を確認していないと判断してもよい。
判断部13は、視線検出センサ2の検出結果及び確認作業データ以外のデータ又は処理結果をさらに用いて、作業者Aが目視により確認対象W1を確認したか否かを判断してもよい。
一例として、確認作業データは、作業者端末3に作業者Aによって入力されるデータとすることができる。この場合、判断部13は、作業者Aによる確認対象W1に対する確認作業の開始又は確認結果の入力と、視線検出センサ2による視線の検出との時間的関係が、設定された条件を満たす場合に、作業者Aが目視により確認対象を確認したと判断することができる。
また、他の例として、確認作業データは、作業者端末3が確認対象W1の近くにあることを示すデータであってもよい。例えば、作業者端末3と確認対象W1とは互いに近距離無線通信が可能であってもよい。作業者端末3と確認対象W1が互いに通信圏内に入った場合、作業者端末3及び確認対象W1は、互いに相手を検出する。作業者端末3又は確認対象W1は、相手が検出されたことを、確認作業支援システム1に通知する。この場合、確認作業データ取得部12は、作業者端末3及び確認対象W1が無線通信圏内で検出されたことを示すデータを、確認作業データとして受信することができる。
このように、作業者端末3が確認対象W1の近くにある状態が検出されたことを示すデータが、確認作業データとなる場合がある。この場合、判断部13は、作業者端末3が確認対象W1の近くにある状態が検出された時と、視線検出センサ2で視線が検出された時との時間的関係に基づいて、作業者Aが目視により確認対象W1を確認したか否かを判断する。
確認作業支援システム1によって、作業者Aが、目視により確認対象W1を確認したか否かを自動的に判断することが可能になる。また、本例では、確認対象W1に取り付けられた視線検出センサ2の検出結果が、判断部13の判断処理に用いられる。確認対象W1の位置と、視線を検出するセンサの位置との位置関係は固定されている。そのため、確認作業支援システム1において、作業者Aの視線位置と、確認対象との対応関係を特定するための仕組みが不要である。そのため、確認作業支援システム1の視線検出結果取得部11、確認作業データ取得部12、及び判断部13の処理は簡素になり、準備するべき確認対象に特有のデータも少なくてすむ。結果として、確認作業支援システム1の構築が簡単になる。
図2は、図1に示す確認作業支援システム1において、確認作業データとしてカメラの画像から得られるデータを用いる場合の構成例を示す図である。図2の例では、確認作業支援システム1は、確認対象W1を確認する作業者Aを撮影するカメラ4と通信可能である。カメラ4は、例えば、確認対象W1を撮影範囲とする設置されてもよいし、作業者Aのヘルメット等に装着されるカメラ4、又は、作業者端末3に内蔵されるカメラ4であってもよい。カメラ4の撮影動作は、確認作業支援システム1によって制御されてもよい。
図2において、確認作業データ取得部12は、カメラ4で撮影された作業者Aの画像に基づいて決定される作業者Aの確認の動作を示すデータを、確認作業データとして取得する。作業者Aの確認の動作は、例えば、確認対象W1を指差す動作である。或いは、確認作業において、確認対象W1に対する操作が必要な場合は、その操作が、確認の動作として画像に基づき検出される。カメラ4で撮影された画像を基に作業者Aの確認の動作を決定する処理は、例えば、画像に写る人物の特定の動きを検出するモーションキャプチャ又はジェスチャー認識処理を含んでもよい。また、確認作業データ取得部12は、カメラ4の画像を取得して、作業者Aの確認の動作を検出してもよい。
判断部13は、確認作業データで示される作業者Aの確認の動作と、視線検出センサ2による視線の検出との時間的関係が、設定された条件を満たす場合に、作業者Aが目視により確認対象W1を確認したと判断することができる。
視線検出結果取得部11は、カメラ4で撮影された画像に基づく決定された作業者Aの確認の動作に基づいて、視線検出センサ2の検出結果の取得時期を制御してもよい。例えば、視線検出結果取得部11は、カメラ4の画像から検出された作業の動作の時を基準とする制限時間において、視線検出センサ2の検出結果を受け付けることができる。或いは、視線検出結果取得部11は、カメラ4の画像から確認作業の動作が検出された時を基準に、視線検出センサ2の検出動作の開始又は終了の少なくとも一方を制御してもよい。
確認作業データ取得部12は、視線検出センサ2の検出結果に基づいて、カメラ4で撮影された画像に基づくデータを取得する時期を制御してもよい。例えば、確認作業データ取得部12は、視線検出センサ2で視線が検出された時を基に、カメラ4の撮影の開始又は終了の少なくとも一方を制御してもよい。例えば、確認作業データ取得部12は、視線検出センサ2で視線が検出された時を基準とする制限時間内において撮影された画像又はその画像に基づくデータをカメラ4から取得してもよい。
図3は、図1に示す確認作業支援システム1において、確認作業データとしてカメラの画像から得られるデータを用いる場合の他の構成例を示す図である。図3の例では、確認作業支援システム1は、確認対象W1を確認する作業者Aが撮影操作をするカメラ4と通信可能である。カメラ4は、例えば、作業者端末3に内蔵されるカメラ4であってもよいし、作業者端末3から独立した携帯可能なカメラであってもよい。
図3の例では、確認対象W1に、視認可能な位置にマークM1が付されている。マークM1は、確認対象W1をカメラ4で撮影して得られる画像において、確認対象W1を認識するためのマークである。マークM1は、確認対象W1に固有の外観を有する。マークM1は、例えば、1次元バーコード、又は2次元コードであってもよい。
図3において、確認作業データ取得部12は、カメラ4で撮影されたマークM1の画像に基づいて決定される確認対象W1を示すデータを、確認作業データとして取得することができる。又は、確認作業データ取得部12は、カメラ4で撮影された画像を取得し、取得した画像からマークM1を認識して、確認対象W1を特定してもよい。
視線検出結果取得部11は、カメラ4で撮影されたマークM1の画像から決定される確認対象W1を示すデータに基づいて、視線検出センサ2の検出結果の取得時期を制御してもよい。例えば、視線検出結果取得部11は、マークM1の撮影時を基準とする制限時間において、視線検出センサ2の検出結果を受け付けることができる。或いは、視線検出結果取得部11は、マークM1の撮影時を基準に、視線検出センサ2の検出動作の開始又は終了の少なくとも一方を制御してもよい。なお、カメラ4の画像からマークM1が検出された時を、マークM1の撮影時と判断してもよい。
確認作業データ取得部12は、視線検出センサ2の検出結果に基づいて、カメラ4で撮影された画像に基づくデータを取得する時期を制御してもよい。例えば、確認作業データ取得部12は、視線検出センサ2で視線が検出された時を基に、カメラ4で撮影された画像を受け付けてもよい。例えば、確認作業データ取得部12は、視線検出センサ2で視線が検出された時を基準とする制限時間内において撮影された画像又はその画像に基づくデータをカメラ4から取得してもよい。
確認作業支援システム1は、プロセッサ及びメモリを備えるコンピュータにより構成される。視線検出結果取得部11、確認作業データ取得部12、及び、判断部13の機能は、1又は複数のコンピュータが所定のプログラムを実行することで実現される。これらの機能部の処理をコンピュータが実行する方法、及びそのためのプログラムも本発明の実施形態に含まれる。
図1~図3に示す例では、確認作業支援システム1は、確認対象W1及び作業者端末3のいずれとも独立したコンピュータ(例えば、サーバ)により構成される。確認作業支援システム1の構成は、これの例に限られない。例えば、確認作業支援システム1は、作業者端末3の一部として構築することができる。この場合、作業者端末3は、例えば、視線検出センサ2と無線通信可能に構成される。
なお、確認作業支援システム1の構成は、上記例に限れられない。例えば、確認作業支援システム1に、さらに、他の機能部又は装置が含まれてもよい。また、例えば、視線検出センサ2も含むシステムを、確認作業支援システム1としてもよい。
(動作例)
図4は、図1に示す確認作業支援システム1の動作例を示すシーケンス図である。図4に示す例では、作業者Aが、作業者端末3に、確認対象W1に対する確認作業の開始を入力する(S1)。作業者端末3は、確認対象W1を示すデータ、及び確認作業の開始を示すデータを、確認作業データとして、確認作業データ取得部12へ送信する(S2)。判断部13は、確認作業開始時t1を記録する。確認作業データ取得部12は、確認対象W1に対する確認作業の開始を示すデータを受信すると、確認対象W1の視線検出センサ2に、視線の検出動作を開始させる(S3)。視線検出センサ2は、起動して検出動作を開始する。
図4は、図1に示す確認作業支援システム1の動作例を示すシーケンス図である。図4に示す例では、作業者Aが、作業者端末3に、確認対象W1に対する確認作業の開始を入力する(S1)。作業者端末3は、確認対象W1を示すデータ、及び確認作業の開始を示すデータを、確認作業データとして、確認作業データ取得部12へ送信する(S2)。判断部13は、確認作業開始時t1を記録する。確認作業データ取得部12は、確認対象W1に対する確認作業の開始を示すデータを受信すると、確認対象W1の視線検出センサ2に、視線の検出動作を開始させる(S3)。視線検出センサ2は、起動して検出動作を開始する。
作業者Aが、確認対象W1を目視すると、視線検出センサ2は、視線を検出する(S4)。視線検出センサ2は、視線を検出したことを示すデータを、視線検出結果取得部11へ送信する(S5)。視線検出結果取得部11は、確認対象W1への視線が検出されたことを示す検出結果を取得する。判断部13は、視線検出時t2を記録する。
確認作業データ取得部12は、作業者端末3において、作業者Aからの確認対象W1に対する確認結果の入力を受け付ける(S6)。確認作業データ取得部12は、例えば、視線検出時t2から制限時間内に、確認結果の入力を受け付ける。作業者Aが、確認対象W1に対する確認結果を入力すると、作業者端末3から、確認作業データ取得部12へ確認結果が送信される(S7)。判断部13は、確認結果入力時t3を記録する。
判断部13は、確認作業開始時t1、視線検出時t2、及び、確認結果入力時t3の時間関係が、設定された条件を満たすか否かを判断する(S8)。条件を満たす場合に、作業者Aが目視により確認対象W1を確認したと判断される。条件は、例えば、確認作業開始時t1から視線検出時t2までの時間T1が設定時間Th1内(T1≦Th1)、且つ、視線検出時t2から確認結果入力時t3までの時間T2が設定時間Th2内(T2≦Th2)とすることができる。このように、確認作業開始時t1、視線検出時t2、及び確認結果入力時t3の時間的関係によって作業者Aの目視による確認が判断される。これにより、簡単な処理で目視判断が可能になる。なお、判断部13の判断処理に用いるデータとして、確認作業開始時t1又は確認結果入力時t3のいずれかを省略してもよい。
判断部13は、判断結果を、作業者端末3へ送信する。また、視線検出センサ2は、起動してから、予め設定された時間が経過すると自動的に検出動作を終了する。判断部13が出力する判断結果は、例えば、確認対象W1、目視による確認をしたか否か、及び、確認結果を示すデータが含まれてもよい。なお、判断結果は、これらに限られない。例えば、目視確認時を示すデータが判断結果にさらに含まれてもよい。
図5は、図2に示す確認作業支援システム1の動作例を示すシーケンス図である。図5に示す例では、作業者Aが、確認対象W1を目視すると、視線検出センサ2は、視線を検出する(S1)。視線検出センサ2は、視線を検出したことを示すデータを、視線検出結果取得部11へ送信する(S2)。判断部13は、視線検出時t1を記録する。視線検出結果取得部11は、カメラ4に撮影を開始させる(S3)。カメラ4は、撮影を開始する。カメラ4は、撮影した画像を、確認作業データ取得部12へ送信する(S4)。
作業者Aは、確認対象W1を目視しながら、確認対象W1を指差す。すなわち、作業者Aは、指差し確認を行う。作業者Aの指差し動作は、カメラ4で撮影される。確認作業データ取得部12は、カメラ4の画像から、作業者Aの指差し動作を検出する(S5)。判断部13は、作業者Aの指差し動作時すなわち確認動作時t2を記録する。
確認作業データ取得部12は、作業者端末3において、作業者Aからの確認対象W1に対する確認結果の入力を受け付ける(S6)。確認作業データ取得部12は、例えば、視線検出時t1から制限時間内に、確認結果の入力を受け付ける。作業者Aが、確認対象W1に対する確認結果を入力すると、作業者端末3から、確認作業データ取得部12へ確認結果が送信される(S7)。判断部13は、確認結果入力時t3を記録する。なお、例えば、視線検出時t1から制限時間内に、動作検出(S7)又は確認結果の入力(S7)のいずれかがない場合には、判断部13は、視線検出時t1をリセットして、目視による確認はないと判断することができる。
判断部13は、視線検出時t1、確認動作検出時t2、及び、確認結果入力時t3の時間関係が、設定された条件を満たすか否かを判断する(S8)。条件を満たす場合に、作業者Aが目視により確認対象W1を確認したと判断される。条件は、例えば、視線検出時t1から確認動作時t2までの時間T1が設定時間Th1内(T1≦Th1)、且つ、確認動作時t2から確認結果入力時t3までの時間T2が設定時間Th2内(T2≦Th2)とすることができる。
図6は、図3に示す確認作業支援システム1の動作例を示すシーケンス図である。図6に示す例では、作業者Aは、カメラ4で、確認対象W1のマークM1を撮影する(S1)。カメラ4で撮影された画像は、確認作業データ取得部12に送信される(S2)。確認作業データ取得部12は、画像からマークM1を検出する(S3)。判断部13は、確認対象撮影時t1を記録する。また、確認作業データ取得部12は、確認対象W1の視線検出センサ2に、視線の検出動作を開始させる(S4)。視線検出センサ2は、起動して検出動作を開始する。
作業者Aが、確認対象W1を目視すると、視線検出センサ2は、視線を検出する(S5)。視線検出センサ2は、視線を検出したことを示すデータを、視線検出結果取得部11へ送信する(S6)。判断部13は、視線検出時t2を記録する。
確認作業データ取得部12は、作業者端末3において、作業者Aからの確認対象W1に対する確認結果の入力を受け付ける(S7)。確認作業データ取得部12は、例えば、視線検出時t2から制限時間内に、確認結果の入力を受け付ける。作業者Aが、確認対象W1に対する確認結果を入力すると、作業者端末3から、確認作業データ取得部12へ確認結果が送信される(S8)。判断部13は、確認結果入力時t3を記録する。
判断部13は、確認対象撮影時t1、視線検出時t2、及び、確認結果入力時t3の時間関係が、設定された条件を満たすか否かを判断する(S8)。条件を満たす場合に、作業者Aが目視により確認対象W1を確認したと判断される。条件は、例えば、確認対象撮影時t1から視線検出時t2までの時間T1が設定時間Th1内(T1≦Th1)、且つ、視線検出時t2から確認結果入力時t3までの時間T2が設定時間Th2内(T2≦Th2)とすることができる。
図7は、図3に示す確認作業支援システム1の他の動作例を示すシーケンス図である。図7に示す例では、作業者Aが、確認対象W1を目視すると、視線検出センサ2は、視線を検出する(S1)。視線検出センサ2は、視線を検出したことを示すデータを、視線検出結果取得部11へ送信する(S2)。判断部13は、視線検出時t1を記録する。
作業者Aは、カメラ4で、確認対象W1のマークM1を撮影する(S3)。カメラ4で撮影された画像は、確認作業データ取得部12に送信される(S4)。確認作業データ取得部12は、画像からマークM1を検出する(S5)。判断部13は、確認対象撮影時t2を記録する。確認作業データ取得部12は、例えば、視線検出時t1から制限時間内に、カメラ4で撮影された画像を受け付けてもよい。
確認作業データ取得部12は、作業者端末3において、作業者Aからの確認対象W1に対する確認結果の入力を受け付ける(S6)。確認作業データ取得部12は、例えば、視線検出時t1から制限時間内に、確認結果の入力を受け付ける。作業者Aが、確認対象W1に対する確認結果を入力すると、作業者端末3から、確認作業データ取得部12へ確認結果が送信される(S7)。判断部13は、確認結果入力時t3を記録する。確認作業データ取得部12は、例えば、視線検出時t1から制限時間内に、作業者Aによる確認対象W1の確認結果の入力を受け付けて撮影された画像を受け付けてもよい。
判断部13は、視線検出時t1、確認対象撮影時t2、及び、確認結果入力時t3の時間関係が、設定された条件を満たすか否かを判断する(S8)。条件を満たす場合に、作業者Aが目視により確認対象W1を確認したと判断される。条件は、例えば、視線検出時t1から確認対象撮影時t2までの時間T1が設定時間Th1内(T1≦Th1)、且つ、視線検出時t2から確認結果入力時t3までの時間T2が設定時間Th2内(T2≦Th2)とすることができる。
図4~図7に示す動作では、簡単な処理で、作業者Aが確認対象W1を目視により確認したか否かを判断することができる。なお、確認作業支援システム1の動作は、上記例に限定されない。例えば、図4において、S1~S3の動作を省略してもよい。
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限られない。
1:確認作業支援システム、2:視線検出センサ、3:作業者端末、11:視線検出結果取得部、12:確認作業データ取得部、13:判断部
Claims (7)
- 確認対象に取り付けられ、前記確認対象に向けられた視線を検出する視線検出センサの検出結果を取得する視線検出結果取得部と、
作業者が、前記確認対象に対して確認作業を行っていることを示す確認作業データを取得する確認作業データ取得部と、
前記視線検出結果取得部が取得した前記視線検出センサの前記検出結果と、前記確認作業データ取得部が取得した前記確認作業データに基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断する判断部と、を備える確認作業支援システム。 - 請求項1に記載の確認作業支援システムであって、
前記確認作業データ取得部は、前記作業者から入力された前記確認対象に対する確認作業の開始又は確認結果を示すデータを、前記確認作業データとして取得する、確認作業支援システム。 - 請求項1又は2に記載の確認作業支援システムであって、
前記確認作業データ取得部は、前記作業者の作業者端末が、前記確認対象の近くにあることを示すデータを、前記確認作業データとして取得する、確認作業支援システム。 - 請求項1~3のいずれか1項に記載の確認作業支援システムであって、
前記確認作業データ取得部は、カメラで撮影された前記作業者の画像に基づいて決定される前記作業者の確認の動作を示すデータを、前記確認作業データとして取得する、確認作業支援システム。 - 請求項1~4のいずれか1項に記載の確認作業支援システムであって、
前記確認対象には、視認可能な位置に所定のマークが付されており、
前記確認作業データ取得部は、前記作業者が前記確認対象のマークをカメラで撮影した撮影画像を、前記確認作業データとして取得する、確認作業支援システム。 - 確認対象に取り付けられ、前記確認対象に向けられた視線を検出する視線検出センサの検出結果を、コンピュータが取得する工程と、
作業者が、前記確認対象に対して確認作業を行っていることを示す確認作業データを、前記コンピュータが取得する工程と、
前記コンピュータが、前記視線検出センサの前記検出結果と、前記確認作業データに基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断する工程と、を有する確認作業支援方法。 - 確認対象に取り付けられ、前記確認対象に向けられた視線を検出する視線検出センサの検出結果を取得する視線検出結果取得処理と、
作業者が、前記確認対象に対して確認作業を行っていることを示す確認作業データを取得する確認作業データ取得処理と、
前記視線検出結果取得処理で取得した前記視線検出センサの前記検出結果と、前記確認作業データ取得処理で取得した前記確認作業データに基づいて、前記作業者が目視により前記確認対象を確認したか否かを判断する判断処理と、をコンピュータに実行させる確認作業支援プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021121786A JP2023017482A (ja) | 2021-07-26 | 2021-07-26 | 確認作業支援システム、確認作業支援方法及び確認作業支援プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021121786A JP2023017482A (ja) | 2021-07-26 | 2021-07-26 | 確認作業支援システム、確認作業支援方法及び確認作業支援プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023017482A true JP2023017482A (ja) | 2023-02-07 |
Family
ID=85157710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021121786A Pending JP2023017482A (ja) | 2021-07-26 | 2021-07-26 | 確認作業支援システム、確認作業支援方法及び確認作業支援プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023017482A (ja) |
-
2021
- 2021-07-26 JP JP2021121786A patent/JP2023017482A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10997444B2 (en) | Use of human input recognition to prevent contamination | |
US10205883B2 (en) | Display control method, terminal device, and storage medium | |
EP3453316B1 (en) | Eye tracking using eyeball center position | |
JP2020170569A (ja) | 認証システム、認証方法及びプログラム | |
US9614840B2 (en) | Network authentication method and system based on eye tracking procedure | |
US9031327B2 (en) | Information processing device, method, and program that recognizes a predetermined part of a body | |
EP3012768A1 (en) | Controlled access to functionality of a wireless device | |
JP2005250990A (ja) | 作業支援装置 | |
JP4968922B2 (ja) | 機器制御装置及び制御方法 | |
US10146306B2 (en) | Gaze position detection apparatus and gaze position detection method | |
JP2021033324A (ja) | 認証システム、認証方法、及び認証プログラム | |
JP2017010210A (ja) | 顔検出装置、顔検出システム、及び顔検出方法 | |
JP2020194493A (ja) | 介護設備又は病院用の監視システム及び監視方法 | |
KR20150093044A (ko) | Nfc를 이용한 근태관리시스템 | |
JP6875030B1 (ja) | アルコール検出器、情報処理装置、プログラム及びアルコール検査システム | |
CN111062366B (zh) | 一种消控室内人员姿态检测方法及系统 | |
JP2023017482A (ja) | 確認作業支援システム、確認作業支援方法及び確認作業支援プログラム | |
JP2006141589A (ja) | 個人認証装置及び個人認証方法 | |
JP2009205203A (ja) | 虹彩認証装置 | |
JP2016099939A (ja) | 顔認識装置 | |
KR20110006062A (ko) | 얼굴 인식 시스템 및 얼굴 인식 방법 | |
CN112971712A (zh) | 生物体信息取得装置、终端装置、取得方法、记录介质 | |
CN114740966A (zh) | 多模态图像显示控制方法、系统及计算机设备 | |
JP4260715B2 (ja) | 視線測定方法および視線測定装置 | |
JP2015126369A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240424 |