JP2023155799A - 作業状態検出システムおよび方法 - Google Patents

Abstract

【課題】作業対象物への作業状態をより正確に検出できるようにした作業状態検出システムおよび方法を提供すること。【解決手段】作業対象物２へ作業するときの視線を検出する作業状態検出システム１は、作業対象物に作業者３の視線を追跡するための基準点５１を設定する視線基準点設定部１４と、作業者の視線３１を検出する視線検出部１５と、視線検出部により検出された視線に基づいて、作業者の視線が作業対象物に接触する接触点２１の視線基準点５１からの相対座標値を視線軌跡データとして算出し、算出された視線軌跡データを記憶部１７へ保存させる視線追跡部１６とを備える。【選択図】図１

Description

本発明は、作業状態検出システムおよび方法に関する。

検査作業、組立作業、加工作業などでは、作業品質の維持と向上のために、作業の安定性と均一化が望まれている。特許文献１では、視線追跡装置を作業者に装着して作業者の視線を追跡することにより、配線を自動的に識別して、誤配線を防止する。特許文献２では、作業者の視線を追跡して正解の視線追跡データと比較することにより、作業指示書への記載漏れを検知する。さらに特許文献２では、作業者の動きを検出して、作業場所の平面図または立体図に表示させる。

特開２０１５－０６１３３９号公報 特開２０１６－２１８７７２号公報

作業者が作業対象物に対して作業しているときの視線を追跡すると、可視化された視線と実際の視線とがずれることがある。さらに、作業対象物を回転させたり裏返しにしたりするように、作業対象物の姿勢が変わる場合、作業者の視線追跡に誤差が生じる。

作業者の視線を一定の基準の下で正確に検出できない場合、熟練作業者の視線の動きと未熟な作業者の視線の動きとを対比することができず、視線の動きから作業品質を解析することができない。

本発明は、以上の課題に鑑みてなされたものであり、その目的は、作業対象物への作業状態をより正確に検出できるようにした作業状態検出システムおよび方法を提供することにある。

上記課題を解決すべく、本発明の一つの観点に従う作業状態検出システムは、作業対象物へ作業するときの視線を検出する作業状態検出システムであって、作業対象物に作業者の視線を追跡するための基準点を設定する視線基準点設定部と、作業者の視線を検出する視線検出部と、視線検出部により検出された視線に基づいて、作業者の視線が作業対象物に接触する接触点の視線基準点からの相対座標値を視線軌跡データとして算出し、算出された視線軌跡データを記憶部へ保存させる視線追跡部とを備える。

本発明によれば、作業者の視線が作業対象物に接触する接触点の視線基準点からの相対座標値として視線軌跡データを算出するため、作業対象物の位置ずれなどの影響を抑制して、視線を安定して検出することができる。

本実施例にかかる作業状態検出システムのシステム構成図。 作業状態検出システムのハードウェア構成図。 外部システムとＭＲゴーグルの機能構成図。 作業対象物に３次元モデルを重ね合わせ、作業者の視線が作業状態検出システムに接触する位置を、３次元モデルに設定された視線基準点からの相対座標値として検出する様子を示す説明図。 作業状態検出処理のフローチャート。 作業状態解析処理のフローチャート。 作業状態の解析画面の例。 視線基準点の設定方法の変形例。 第２実施例に係り、３次元モデルを生成する処理のフローチャート。 作業状態検出処理のフローチャート。 第３実施例に係り、作業状態検出システムのシステム構成図。 視線基準点設定処理のフローチャート。 第４実施例に係り、作業状態検出システムのシステム構成図。 第５実施例に係り、作業状態検出システムのシステム構成図。 第６実施例に係り、作業状態検出システムのシステム構成図。

以下、図面に基づいて、本発明の実施の形態を説明する。本実施形態で述べる作業状態検出システム１は、作業者３が作業対象物２に対して作業する際の、作業者３の視線を作業対象物２内に設定される視線基準点５１に基づいて正確に検出する。視線基準点５１は、作業対象物２に仮想的に重ね合わされる、作業対象物２の３次元モデル内に設定してもよい。あるいは、作業対象物２を撮影した画像データから作業対象物２の形状を認識し、作業対象物２内に視線基準点５１を仮想的に設定してもよい。

いずれの場合も、視線基準点５１は、作業対象物２内（作業対象物２に重ねられた３次元モデル内）にあるため、作業者３と作業対象物２の位置関係が変化した場合でも、作業者３の視線３１が作業対象物２の表面に接触する接触点２１と視線基準点５１との関係に影響を与えない。さらに、作業者３の目の位置（身長）が人によって多少異なったとしても、接触点２１と視線基準点５１の関係に与える影響を少なくできる。

したがって、本実施形態によれば、作業者３が作業対象物２対する作業中に、作業者３の視線３１を正確に検出することができる。同じ作業者３の同じ作業対象物２に対する作業中の視線３１の動きを、それぞれ異なる日時で比較することもできる。作業に熟練した作業者３の作業中の視線３１の動きと、作業に熟練していない作業者３の作業中の視線３１の動きとを比較することもできる。これにより、熟練作業者の暗黙知を形式知に変換し、作業に不慣れな作業者を教育する教育資料を生成することもできる。

本実施形態の作業状態検出システム１は、例えば、検査作業、検品作業、組立作業、加工作業、溶接作業、塗装作業などの作業に適用可能である。作業対象物２は、電気製品、自動車、ロボット、制御盤、蓄電池など種々の物体に適用可能である。作業対象物２は、氷または石塊のような素材でもよい。この場合、作業者３は職人または芸術家などであり、作業者３が素材を加工していく際の支線３１の動きを検出することができる。

さらに、後述の実施例では、作業者３の視線３１の動きだけでなく、作業者３の指先の動き、または作業者３の頭部の動きも視線基準点５１を基準として検出する。これら指先の動きまたは頭部の動きを視線の動きと一緒に検出することにより、作業者３の作業状態をより詳しく解析することができる。

図１～図８を用いて第１実施例を説明する。図１は、本実施例に係る作業状態検出システム１のシステム構成図である。作業状態検出システム１は、後述のように計算機を用いて構成することができ、その機能部として、撮影画像取得部１１、３次元モデル取得部１２、重ね合わせ部１３、視線基準点設定部１４、視線検出部１５、視線軌跡データ算出部１６、記憶部１７および出力部１８を備える。

撮影画像取得部１１は、ＭＲゴーグル４に設けられたカメラ４０４（図２参照）から作業者３に見える画像を取得する機能を持つ。３次元モデル取得部１２は、作業対象物２の３次元モデルを取得する機能を持つ。重ね合わせ部１３は、ＭＲゴーグル４で撮影された画像中の作業対象物２に対して、３次元モデルを重ね合わせる機能を持つ。視線基準点設定部１４は、３次元モデルの所定の位置に視線基準点５１を設定する機能を持つ。図中、３次元モデルを「３Ｄモデル」と略記する。ＭＲゴーグル４は、拡張現実（ＡＲ）ゴーグルでもよい。ＭＲゴーグル４は、作業者３の見える現実空間内の物体を認識し、現実空間（現実世界）に３次元モデルを重ね合わせることができる装置であればよく、その名称や種類は問わない。

撮影画像取得部１１、３次元モデル取得部１２、重ね合わせ部１３は、ＭＲゴーグル４内で実現されてもよい。ＭＲゴーグル４については、図３でさらに後述する。

視線検出部１５は、ＭＲゴーグル４に設けられた視線追跡センサ４０５（図２参照）により実現される。ハードウェアとしては視線追跡センサ４０５であるが、機能として捉える場合、視線検出部１５となる。「視線追跡部」としての視線軌跡データ算出部１６は、検出された視線の軌跡を計算し、視線軌跡データとして記憶部１７に記憶させる。

ここで、視線軌跡データ算出部１６は、作業者３の視線３１が作業対象物２の表面に接触する点（接触点）２１の位置を、視線基準点５１からの相対座標値として算出する。ＭＲゴーグル４の視線追跡センサ４０５により追跡される視線が作業対象物２の表面に届かない場合、センサ５０５で追跡される視線を作業対象物２へ向けて計算機内で延長すればよい。なお、接触点２１は、視線３１が作業対象物２の表面に交わる交点２１または視点２１と呼ぶこともできる。視線軌跡データ算出部１６は、作業対象物２の表面の視線、すなわち接触点２１を時間順に並べたデータを視線軌跡データとして算出する。

記憶部１７は、視線軌跡データを記憶する。記憶部１７は、例えば、半導体メモリ装置、ハードディスク装置、フラッシュメモリ装置などの記憶装置から構成される。出力部１８は、記憶部１７に記憶されたデータ（ここでは視線軌跡データ）を作業状態解析システム６などの外部システムへ出力する。

作業状態解析システム６は、例えば、或る作業者３の視線軌跡データの変化を所定期間にわたって解析したり、同一の作業対象物２に対する同一作業について、或る作業者３の視線軌跡データと他の作業者の視線軌跡データとを対比することもできる。

図２は、作業状態検出システム１のハードウェア構成を示す。作業状態検出システム１は、例えば、作業状態検出装置１００と、ＭＲゴーグル４を含む。

作業状態検出装置１００は、計算機として構成されており、例えば、プロセッサ１０１、メモリ１０２、通信部１０３、ユーザインターフェース部１０４、ストレージ１０５を備える。図中では、ユーザインターフェースを「ＵＩ」と略記する。

プロセッサ１０１は、ストレージ１０５に格納された所定のコンピュータプログラム（不図示）をメモリ１０２に読み出して実行することにより、図１で述べた機能部１１～１８を実現させる。プロセッサ１０１は、１つに限らない。プロセッサ１０１は、専用の演算処理を行う特定の演算装置を含んでもよい。

通信部１０３は、例えば、ＭＲゴーグル４および外部システム５，６と通信する装置である。ＭＲゴーグル４と通信する通信部と、外部システム５，６と通信する通信部とに分けてもよい。ここでは、両者が１つの通信部であるかのように示す。ユーザインターフェース部１０４は、作業状態検出システム１を利用するユーザに対して、情報入力機能および情報出力機能を提供する。ユーザインターフェース装置１０４は、例えば、モニタディスプレイ、プリンタ、キーボード、ポインティングデバイス、タッチパネル（いずれも不図示）などを用いて構成される。ユーザは、ＶＲゴーグル（不図示）またはＭＲゴーグルを用いて、仮想空間上で作業状態検出システム１を利用することもできる。

ＭＲゴーグル４は、作業者３に見える現実世界（現実空間）に仮想空間を重ねて表示させる装置であり、作業者３の頭部に装着される。ＭＲゴーグル４は、例えば、プロセッサ４０１、メモリ４０２、通信部４０３、カメラ４０４、視線追跡センサ４０５、網膜ディスプレイ４０６、スピーカー４０７、マイクロフォン４０８を備える。

プロセッサ４０１は、メモリ４０２に格納された所定のコンピュータプログラム（不図示）を読み込んで実行することにより、例えば、視線を検出する機能と、情報をユーザの網膜に描写する機能などを実現させる。通信部４０３は、作業状態検出装置１００と双方向通信する装置である。

カメラ４０４は、作業者の視線で現実世界を撮影する装置である。カメラ４０４は、奥行きを検出可能な測距機能を備えてもよい。視線追跡センサ４０５は、例えば、ユーザの眼球の動きをカメラで認識することにより、視線を検出する。網膜ディスプレイ４０６は、ユーザの網膜に画像を投影することにより、現実世界に仮想的な画像を重ね合わせて作業者３に提供する。

スピーカー４０７およびマイクロフォン４０８は、ＭＲゴーグル４に内蔵されてもよいし、内蔵されていなくてもよい。

外部システム５，６は、作業状態検出システム１に接続される外部の計算機である。１つの外部システム５は、例えばＣＡＤシステムなどの、作業対象物２の３次元モデルデータを作業状態検出システム１へ提供する上流側システムである。他の１つの外部システム６は、作業状態検出システム１で算出された視線軌跡データを利用して作業者３の作業状態などを解析する下流システムである。

図３は、上流システム５がＣＡＤシステムなどのように、作業対象物２の３次元モデルデータを作成する計算機である場合を示す。外部システム５は、３次元モデルデータを生成する３次元モデル生成部５２と、生成された３次元モデルデータをＭＲゴーグル４で使用するためのデータ５０に変換する３次元モデル変換部５３とを備える。以下、ＭＲゴーグル４用に変換された３次元モデルのデータを３次元モデル５０と呼ぶ。

ＭＲ（Mixed Reality：複合現実）ゴーグル４は、現実世界の視覚情報に仮想空間の情報を重ねて提供する装置である。ＭＲゴーグル４は、カメラ４０４で撮影された画像データから空間を認識する。ＭＲゴーグル４は、空間認識された作業対象物２上に３次元モデル５０を位置合わせして重ね合わせる。

図４は、作業者３に現実に見えている作業対象物２に対して、作業対象物２の３次元モデル５０を重ね合わせて、作業者３の視線を追跡する様子を示す。

図４（１）に示すように、作業者３がＭＲゴーグル４を装着して現実世界の作業対象物２を見ると、ＭＲゴーグル４の空間認識部４１は、作業対象物２を認識する。図４（１），（２）に示すように、ＭＲゴーグル４の空間認識部４１は、認識された作業対象物２に対して、３次元モデル５０を重ね合わせる。

図４（３）に示すように、作業者３が作業対象物２を見ると、作業者３の視線３１が作業対象物２の表面（３次元モデル５０の表面）に接触する点２１を得る。その接触点２１と、３次元モデル５０の中心に設定された視線基準点５１との位置関係を相対座標値として算出する。作業対象物２の内部に視線基準点５１が設定されるため、作業対象物２と視線３１の接触点２１との関係は、作業者３の目の高さや作業対象物２の姿勢変化による影響を受けにくい。

図５は、作業状態検出処理のフローチャートである。作業状態検出システム１は、作業対象物２の３次元モデルのデータを生成し、視線基準点５１を設定する（Ｓ１１）。そして、作業状態検出システム１は、生成された３次元モデルのデータをＭＲゴーグル４で使用するためのデータに変換し、ＭＲゴーグル４に転送する（Ｓ１２）。

作業者３がＭＲゴーグル４を介して作業対象物２を見ると、カメラ４０４により作業対象物２が撮影され、撮影された画像データは作業状態検出装置１００へリアルタイムで送信される（Ｓ１３）。

それと略同時にＭＲゴーグル４は、作業対象物２を空間認識し、認識された作業対象物２に３次元モデル５０を重ね合わせる（Ｓ１４）。作業状態検出システム１は、作業者３の視線３１が作業対象物２に接触する点２１と視線基準点５１との位置関係を相対座標値として算出し（Ｓ１５）、算出された相対座標値のデータ群を視線軌跡データとして記憶部１７に記憶させる（Ｓ１６）。

図６は、視線軌跡データを利用して作業状態を解析する処理を示すフローチャートである。本処理は、作業状態解析システム６により実行される。作業状態検出システム１内に作業状態解析システム６を設けてもよい。

作業状態解析システム６は、視線軌跡データを取得すると共に（Ｓ２１）、ＭＲゴーグル４のカメラ４０４で撮影された作業者目線の画像データも取得する（Ｓ２２）。作業状態解析システム６は、画像データ内の作業対象物２に対して視線軌跡データを構成する各接触点２１（視点２１）を重ねて表示する（Ｓ２３）。作業状態解析システム６は、視線軌跡データの統計情報を算出する（Ｓ２５）。

作業状態解析システム６は、作業者３の視点２１がプロットされた作業対象物２の動画像データと、３次元モデル５０に作業者の視点３１がプロットされた動画像データと、統計情報とを対応付けて出力する（Ｓ２６）。視線基準点５１は、３次元モデル５０に設定されるため、視線３１が作業対象物２の表面に接触する位置２１は、３次元モデル５０の表面と視線３１とが交わる点として算出される。したがって、作業状態解析システム６は、視線軌跡データに含まれる視点２１のプロットされた作業対象物２および３次元モデル５０を同時に出力できる。

図７は、作業状態解析システム６の出力する解析画面Ｇ１の例である。図７の上側には、熟練作業者Ｕ１の作業状態の解析結果が示されている。図７の下側には、未熟な作業者Ｕ２の作業状態が示されている。

作業状態解析画面Ｇ１は、例えば、作業中の動画を表示する作業動画表示部ＧＰ１１と、３次元モデル５０に対する視線変化（視点の移動の変化）を再現した再現部ＧＰ１２と、統計情報を表示する統計情報表示部ＧＰ１３を備える。

作業中の動画では、作業対象物２の表面に視点を示すマークが表示されている。同様に、３次元モデルにも視点を示すマークが表示されている。図７では、視点の位置と順番を丸付き数字で示す。統計情報表示部ＧＰ１３では、視点の滞留時間（または頻度）の情報がグラフ化されて示されている。

熟練作業者Ｕ１の視線軌跡データと未熟な作業者Ｕ２の視線軌跡データとを比較すると、熟練作業者Ｕ１は注視箇所が未熟な作業者Ｕ２のそれよりも少なく、無駄な場所を見ていない。換言すれば、未熟な作業者Ｕ２は、作業との関係が低い場所を無駄に注視していることがわかる（図７右下の丸付き数字２参照）。

図８は、視線基準点５１の設定位置の例を示す。図１などでは、視線基準点５１を３次元モデル５０の中心に設定する場合を述べた。３次元モデル５０の中心は、３次元モデル５０が均一な素材から形成されると仮定した場合の重心でもよい。作業対象物２の実際の構造から算出される重心に視線基準点５１を設定してもよい。

さらに、図８（１）に示すように、視線基準点５１Ａを３次元モデル５０の側面に設定してもよい。図８（２）に示すように、視線基準点５１Ｂを３次元モデル５０の中心よりも奥に設定してもよい。図８（３）に示すように、視線基準点５１Ｃを３次元モデル５０の上面に設定してもよい。図８（４）に示すように、視線基準点５１Ｄを３次元モデル５０の頂点のいずれかに設定してもよい。このように、視線基準点５１は、３次元モデルの任意の箇所に設定することができる。

このように構成される本実施例によれば、視線基準点５１は、作業対象物２内（作業対象物２に重ねられた３次元モデル５０）に設けられるため、作業者３と作業対象物２の位置関係が変化した場合でも、視点（接触点）２１と視線基準点５１との関係に影響を与えない。このため作業状態検出システム１は、作業者３が作業対象物２対する作業中に、作業者３の視線３１を正確に検出することができる。

そして、作業状態解析システム６は、正確に検出された視線軌跡データを用いて、作業者３の作業状態を正確に解析できる。そして、作業状態解析システム６は、熟練作業者の暗黙知を形式知に変換し、作業に不慣れな作業者を教育する教育資料を生成することもできる。さらに、作業状態解析システム６は、例えば、作業指示マニュアルの改善、作業工程の改善、設計の改善などに役立つ解析結果を出力することができる。

図９および図１０を用いて、実施例２を説明する。本実施例を含む以下の各実施例では、実施例１との差異を中心に説明する。本実施例では、作業対象物２の形状が作業工程の進行につれて変化する場合を説明する。一般に、検品工程、検査工程などでは、作業対象物２は完成品であるため、その形状が大きく変化することは少ない。作業対象物２の表面にシールなどが貼付される程度である。表面処理工程、塗装工程なども作業対象物２の形状は大きく変化しない。

これに対し、加工工程、組立工程では、作業が進むにつれて作業対象物２の外形形状が大きく変化する。この場合、作業対象物２の形状変化に応じた３次元モデルを使用しないと、作業者３の視線３１が見ている場所２１を正確に求めることができない。そこで、本実施例では、作業工程の進行に応じて、すなわち作業指示の切り替わりに応じて、視線検出に使用する３次元モデルを更新する。

図９は、３次元モデルを生成する処理を示すフローチャートである。作業状態検出システム１は、作業指示ごとに（Ｓ３１）、作業対象物２の３次元モデルのデータを生成する（Ｓ３２）。作業状態検出システム１は、生成された３次元モデルのデータに視線基準点５１を設定し、ＭＲゴーグル４で使用するための３次元モデル５０に変換して（Ｓ３３）、作業指示を特定する情報とともに記憶部１７に記憶させる（Ｓ３４）。

図示せぬ作業現場では、作業指示ボードまたは作業指示ディスプレイなどで、「部品Ａの上に部品Ｂを固定してください」といった作業指示が作業員３に出される。作業指示が変わるたびに、すなわち作業工程が進むにつれて、作業対象物２の形状は変化する。しかし、作業対象物２の形状変化は、決められた工程にしたがって決められた通りに変化していく。したがって、作業状態検出システム１は、例えば、作業対象物２の設計データを保持するＣＡＤシステムと、作業指示マニュアルを管理するマニュアル管理システムなどと連携することにより、作業指示ごとに（作業工程ごとに）必要な３次元モデル５０をあらかじめ作成することができる。

図１０は、作業状態検出処理のフローチャートである。作業状態検出システム１は、作業指示が変化したか判定する（Ｓ４１）。作業状態検出システム１は、作業指示が変化すると（Ｓ４１：ＹＥＳ）、新しい作業指示に対応する３次元モデル５０を記憶部１７から取得し（Ｓ４２）、ＭＲゴーグル４にセットさせる。

ＭＲゴーグル４のカメラ４０４が作業対象物２を撮影し（Ｓ４３）、作業対象物２を空間認識すると（Ｓ４４）、作業者３の視線３１が作業対象物２の表面（３次元モデル５０の表面）に接触する点２１が検出され、その接触点（視点または交点）２１と視線基準点５１との位置関係が相対座標値として算出され（Ｓ４５）、視線軌跡データとして記憶部１７に記憶される（Ｓ４６）。

このように構成される本実施例も実施例１と同様の作用効果を奏する。さらに、本実施例では、作業指示に連動して（作業工程の進行に連動して）、３次元モデル５０を更新するため、作業対象物２の形状が変化する作業に対しても、作業者３の視線を正確に検出することができる。

図１１および図１２を用いて、実施例３を説明する。本実施例では、作業対象物２を撮影した画像データを画像解析することにより作業対象物２の形状を認識し、形状認識された作業対象物２に視線基準点５１を設定する。すなわち、本実施例では、視線基準点５１を作業対象物２内に設定するための３次元モデル５０を使用しない。

図１１は、作業状態検出システム１Ａのシステム構成図である。本実施例の作業状態検出システム１Ａでは、撮影画像取得部１１から形状認識部７１へ作業対象物２の映った画像データが入力され、作業対象物２の形状が認識される。視線基準点設定部１４Ａは、認識された作業対象物２に視線基準点５１を設定する。

図１２は、視線基準点設定処理のフローチャートである。作業状態検出システム１Ａは、作業対象物２を撮影した画像データを取得すると（Ｓ５１）、作業対象物２の形状を認識する（Ｓ５２）。

作業状態検出システム１Ａは、作業対象物２の形状または姿勢が変化したか判定し（Ｓ５３）、作業対象物２の形状または姿勢のいずれかが変化した場合（Ｓ５３：ＹＥＳ）、作業対象物２に視線基準点５１を設定する（Ｓ５４）。

そして、作業状態検出システム１Ａは、視線基準点５１の設定された３次元モデルのデータをＭＲゴーグル４で使用するためのデータに変換し（Ｓ５５）、記憶部１７に記憶させる（Ｓ５６）。作業者３の視線３１が作業対象物２の表面に接触する点２１の位置は、形状認識された作業対象物２の表面と視線３１の交点として求めることができる。

このように構成される本実施例も実施例１と同様の作用効果を奏する。さらに、本実施例では、３次元モデルを使用せずに、作業対象物２の形状変化や姿勢変化に追従させて視線基準点５１を設定することができる。したがって、本実施例では、作業指示に連動して（作業工程の進行に連動して）、視線基準点５１を設定できるため、加工作業などの作業対象物２の形状が変化する作業に対しても、作業者３の視線を正確に検出できる。

図１３を用いて実施例４を説明する。本実施例では、作業者３の視線３１の動きだけでなく、作業者３の指先の動きも検出し、視線軌跡データと指先軌跡データを対応付けて出力する。

図１３は、作業状態検出システム１Ｂのシステム構成図である。作業状態検出システム１Ｂは、図１に示す作業状態検出システム１と比較して、指先軌跡データ算出部７２をさらに備える。

指先軌跡データ算出部７２は、ＭＲゴーグル４のカメラ４０４で撮影された画像中の、作業者３の指先を検出し、その移動軌跡を算出して記憶部１７に記憶させる。出力部１８は、作業中の画像データと視線軌跡データと指先軌跡データを対応付けて作業状態解析システム６へ出力することができる。

このように構成される本実施例も実施例１と同様の作用効果を奏する。さらに本実施例では、作業者３の作業中の視線の動きだけでなく、その指先の動きも同時に検出するため、作業者の作業状態をより正確に解析することができる。

図１４を用いて実施例５を説明する。本実施例では、作業者３の指先にかかる力を圧力センサ７３で検出して、指先軌跡データと共に記憶部１７に記憶する。さらに、本実施例では、ＭＲゴーグル４のカメラ４０４に代えて、あるいはカメラ４０４と共に、外部カメラ７４を使用する。

図１４は本実施例の作業状態検出システム１Ｃを示すシステム構成図である。作業者３は、圧力センサ７３を内蔵する作業用手袋を装着している。作業者３の外側には、作業者３の少なくとも上半身を視野に収める外部カメラ７４が設けられている。

圧力センサ７３で検出された圧力は、センサデータ取得部７５により取得されて記憶部１７に記憶される。外部カメラ７４で撮影された画像データ（動画像データ）は、指先軌跡データ算出部７７に入力され、画像中の指先の移動軌跡が算出される。算出された指先軌跡データは、記憶部１７に記憶される。外部カメラ７４で作業者の指先の位置を算出する場合、例えば、ＭＲゴーグル４の中央との相対座標値を算出すればよい。

このように構成される本実施例も実施例１と同様の作用効果を奏する。さらに本実施例では、作業者の視線および指先の軌跡と、作業者の手に加わる圧力とを検出して記憶させることができるため、作業状態解析システム６は、より正確に作業状態を解析することができる。

図１５を用いて実施例６を説明する。本実施例では、実施例５の構成に加えて、作業者３の頭部の位置の変化も検出する。

図１５は、本実施例の作業状態検出システム１Ｄを示すシステム構成図である。本実施例では、外部カメラ７４で撮影された作業中の画像データは、指先軌跡データ算出部７７と頭部軌跡データ算出部７８とに入力される。

頭部軌跡データ算出部７８は、例えば、作業者３の胸部中央を基準として頭部の中心の位置を算出する。これに代えて、視線基準点５１を基準にして、指先軌跡データおよび頭部軌跡データを算出してもよい。

このように構成される本実施例も実施例１と同様の作用効果を奏する。さらに本実施例では、作業中の作業者の頭部の位置も検出することができるため、頭部の位置変化で視線軌跡データを補正することにより、より正確に作業者３の視線３１の軌跡を算出することができる。さらに、作業者３が作業中に作業対象物２以外の場所を見ている場合、その方向を算出して対象物を特定することもできる。

なお、本発明は上記した実施例に限定されず、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換することが可能である。さらに、各実施例は、明らかに矛盾しない限り、適宜組み合わせることができる。

１，１Ａ、１Ｂ，１Ｃ，１Ｄ：作業状態検出システム、２：作業対象物、３：作業者、４：ＭＲゴーグル４、５：外部システム、６：作業状態解析システム、１１：撮影画像取得部、１２：３次元モデル取得部、１３：重ね合わせ部、１４，１４Ａ：視線基準点設定部、１５：視線検出部、１６：視線軌跡データ算出部、１７：記憶部、２１：接触点、３１：視線、５０：３次元モデル、５１：視線基準点、７１：形状認識部、指先軌跡データ算出部、７３：圧力センサ、７４：外部カメラ、７５：センサデータ取得部７５、作業中画像取得部７６、７７：指先軌跡データ算出部、７８：頭部軌跡データ算出部

Claims (11)

1. 作業対象物へ作業するときの視線を検出する作業状態検出システムであって、
   前記作業対象物に作業者の視線を追跡するための基準点を設定する視線基準点設定部と、
   前記作業者の視線を検出する視線検出部と、
   前記視線検出部により検出された視線に基づいて、前記作業者の視線が前記作業対象物に接触する接触点の前記視線基準点からの相対座標値を視線軌跡データとして算出し、前記算出された視線軌跡データを記憶部へ保存させる視線追跡部と、
   を備える作業状態検出システム。
2. さらに、出力部を備え、
   前記出力部は、前記作業対象物に対する作業の様子を撮影した画像データと、前記保存された視線軌跡データとを対応付けて出力する
   請求項１に記載の作業状態検出システム。
3. 前記視線基準点設定部は、現実世界の前記作業対象物に重ねて表示される前記作業対象物の三次元モデルに前記視線基準点を設定する
   請求項２に記載の作業状態検出システム。
4. 前記視線基準点設定部は、前記作業対象物を撮影した画像データに基づいて前記作業対象物の形状を認識し、前記形状認識された作業対象物に前記視線基準点を設定する
   請求項２に記載の作業状態検出システム。
5. 前記視線基準点設定部は、前記作業対象物についての作業手順の進行に応じて、前記視線基準点を再設定する
   請求項１～４のいずれか一項に記載の作業状態検出システム。
6. さらに、前記作業者の指先の軌跡を検出する指先軌跡検出部を備え、
   前記指先軌跡検出部は、前記指先の位置の前記視線基準点からの相対座標値を指先軌跡データとして算出し、前記算出された指先軌跡データを前記記憶部へ保存させる
   請求項５に記載の作業状態検出システム。
7. さらに、前記作業者の頭の軌跡を検出する頭部軌跡検出部を備え、
   前記頭部軌跡検出部は、前記頭部の前記視線基準点からの相対座標値を頭部軌跡データとして算出し、前記算出された頭部軌跡データを前記記憶部へ保存させる
   請求項６に記載の作業状態検出システム。
8. 前記視線基準点設定部は、前記視線基準点を前記三次元モデルの中心に設定する
   請求項３に記載の作業状態検出システム。
9. 前記視線基準点設定部は、前記視線基準点を前記作業対象物の中心に設定する
   請求項４に記載の作業状態検出システム。
10. 前記視線検出部は、前記作業者の視線方向を撮影し、撮影された現実世界に仮想空間を重ねて前記作業者に提供する拡張現実型アイウェアであって、視線を検出する機能を備えている
    請求項１に記載の作業状態検出システム。
11. 作業対象物への作業状態を作業状態検出システムにより検出させる方法であって、
    前記作業状態検出システムは、
    作業対象物に作業者の視線を追跡するための視線基準点を設定し、
    前記作業者の視線を検出し、
    前記検出された視線に基づいて、前記作業者の視線が前記作業対象物に接触する接触点の前記視線基準点からの相対座標値を視線軌跡データとして算出し、
    前記算出された視線軌跡データを記憶部へ保存させる
    作業状態検出方法。

Images