JP2021043561A - 作業訓練システム及び作業訓練支援方法 - Google Patents

Abstract

【課題】作業の訓練を効果的に支援するために、作業者（訓練者）の作業内容の評価結果、作業不良の箇所及びその原因を、訓練者に効果的に提示するシステムを提供する。【解決手段】作業訓練システム１は、作業者の視線映像及び視線位置の情報を収集する視線映像位置データ取得部１３１と、作業の対象物を検出する作業対象認識部１３２と、作業の対象物と視線位置との位置関係に基づいて、作業者の視線位置の遷移パターンを時系列で表す訓練者時系列視線遷移マップを生成する時系列視線遷移マップ生成部１３３と、模範作業における作業者の視線位置の遷移パターンを時系列で表した基準時系列視線遷移マップを予め記憶するデータ記憶部１４と、両マップ間の作業内容に基づく時系列の対応関係を求め、その対応関係に沿って両マップを比較する時系列視線遷移マップ比較部１３４と、両マップを対比させて比較結果を表示する作業評価結果表示部１３５と、を備える。【選択図】図１

Description

本発明は、作業訓練システム及び作業訓練支援方法に関し、プラントや工場等で作業を行う作業者の訓練を効果的に支援するための作業訓練システム及び作業訓練支援方法に適用して好適なものである。

従来、プラントや工場等における作業の訓練を行う訓練者を支援するシステムにおいて、効果的な訓練を実現するためには、訓練者の作業内容を評価し、評価結果を訓練者に提示する技術が重要である。作業内容を評価するための情報の一つとして、作業中の訓練者の視線が有効とされ、例えば特許文献１及び特許文献２には、作業中の視線を用いて適切な作業支援を実現する技術が開示され、特許文献３には、訓練を効果的に支援する技術が開示されている。

具体的には、特許文献１の作業支援装置では、作業者の視線情報から視線の移動速度を算出し、算出された視線移動速度の分布に基づいて作業者の熟練度を判定し、判定された熟練度に基づいた作業指示を提示する。また、特許文献２の作業支援システムは、作業者の視線情報から視線移動方向を求め、視線移動方向を予め用意された基準量と比較することにより、作業者の熟練度を判定し、熟練度に応じた内容の作業支援情報を作業者に提示する。一方、特許文献３の作業教育システムは、模範作業者から作業映像および視線位置データを取得し、模範作業者の視線軌跡や注視点分布を学習作業者の視線軌跡や注視点分布と重ね合わせて表示することにより、模範作業者と学習作業者との視線の違いを学習作業者に提示する。

特開２０１２−２３４４０６号公報 特許第６３６６８６２号公報 特開２０１８−１８００９０号公報

原田達也著、「画像認識（機械学習プロフェッショナルシリーズ）」、講談社、２０１７年５月２５日 内田誠一、「ＤＰマッチング概説 〜基本と様々な拡張〜」、信学技報、２００６年、ＰＲＭＵ２００６−１６６、ｐｐ.３１−３６

ところで、上述した特許文献１及び特許文献２に開示された技術では、視線情報を用いて作業者の熟練度は判定されるが、作業内容の良否の判定までは行われない。また、判定された熟練度に応じて適切な作業指示を選択し作業者に提示することはできるが、作業内容の判定結果やその詳細までは提示されない。しかし、作業内容を評価する技術を訓練に用いようとする場合、訓練者の作業内容の良否を評価することに加え、作業の不良箇所が検出された場合に、その箇所や理由を効果的に訓練者に提示することが重要である。したがって特許文献１及び特許文献２に開示された技術は、作業の訓練を効果的に支援するには不十分なものであった。

一方、特許文献３に開示された技術では、模範作業者と学習作業者の視線軌跡や注視点分布を重ね合わせて表示することにより、両者の差異を確認できる情報提示を行うことができる。しかし、特許文献３の技術の場合、作業内容における差異の有無や分析については、訓練者自身が行う必要があった。このため、特許文献３に開示された技術は、特に長時間の作業を対象とする場合には、分析手法や表示手法における表示や操作が煩雑になってしまい、俯瞰的に作業状況を把握することが困難になるとともに、作業内容の差異を見分けることも困難になるという課題があった。

本発明は以上の点を考慮してなされたもので、作業の訓練を効果的に支援するために、作業者（訓練者）の作業内容の評価結果、作業不良の箇所及びその原因を、訓練者に効果的に提示するとともに、長時間の作業であっても作業状況を俯瞰的に把握し、訓練者自身の作業内容と熟練者等の基準とする作業内容との差異を容易に見分けることを可能とする作業訓練システム及び作業訓練支援方法を提案しようとするものである。

かかる課題を解決するため本発明においては、作業を実施中の作業者の視線方向の映像である視線映像を取得するカメラと、前記視線映像に対する前記作業者の視線位置を取得する視線位置取得装置と、前記カメラ及び前記視線位置取得装置から前記視線映像及び前記視線位置の情報を収集する視線映像位置データ取得部と、前記視線映像位置データ取得部が収集した前記視線映像から作業の対象物を検出する作業対象認識部と、前記作業対象認識部が検出した前記対象物と前記視線映像位置データ取得部が収集した前記視線位置との位置関係に基づいて、前記作業者の前記視線位置の遷移パターンを時系列で表す訓練者時系列視線遷移マップを生成する時系列視線遷移マップ生成部と、前記作業の手本とする模範作業における作業者の視線位置の遷移パターンを時系列で表した基準時系列視線遷移マップを予め記憶するデータ記憶部と、前記訓練者時系列視線遷移マップと前記基準時系列視線遷移マップとの作業内容に基づく時系列の対応関係を求め、前記対応関係に沿って前記訓練者時系列視線遷移マップ及び前記基準時系列視線遷移マップを比較する時系列視線遷移マップ比較部と、前記時系列視線遷移マップ比較部による比較結果を、前記訓練者時系列視線遷移マップ及び前記基準時系列視線遷移マップを対比させて表示する作業評価結果表示部と、を備える作業訓練システムが提供される。

また、かかる課題を解決するため本発明においては、作業者による作業を評価する作業訓練システムによる以下の作業訓練支援方法が提供される。ここで、前記作業訓練システムは、前記作業を実施する作業者の視線方向の映像として視線映像を取得するカメラと、前記視線映像に対する前記作業者の視線位置を取得する視線位置取得装置と、前記カメラ及び前記視線位置取得装置と接続される情報処理装置と、を有し、前記情報処理装置には、前記作業の手本とする模範作業における作業者の視線位置の遷移パターンを時系列で表した基準時系列視線遷移マップが予め記憶される。そして、この作業訓練支援方法は、前記情報処理装置が、前記カメラ及び前記視線位置取得装置から前記視線映像及び前記視線位置の情報を収集する視線映像位置データ取得ステップと、前記情報処理装置が、前記視線映像位置データ取得ステップで収集された前記視線映像から作業の対象物を検出する作業対象認識ステップと、前記情報処理装置が、前記作業対象認識ステップで検出された前記対象物と前記視線映像位置データ取得ステップで収集された前記視線位置との位置関係に基づいて、前記作業者の前記視線位置の遷移パターンを時系列で表す訓練者時系列視線遷移マップを生成する時系列視線遷移マップ生成ステップと、前記情報処理装置が、前記訓練者時系列視線遷移マップと前記基準時系列視線遷移マップとの作業内容に基づく時系列の対応関係を求め、前記対応関係に沿って前記訓練者時系列視線遷移マップ及び前記基準時系列視線遷移マップを比較する時系列視線遷移マップ比較ステップと、前記情報処理装置が、前記時系列視線遷移マップ比較ステップによる比較結果を、前記訓練者時系列視線遷移マップ及び前記基準時系列視線遷移マップを対比させて表示する作業評価結果表示ステップと、を備える。

本発明によれば、作業の訓練を効果的に支援するために、一覧性を比較し易い態様で訓練者の作業内容と基準とする作業内容との比較結果を表示することができる。

本発明の第１の実施形態に係る作業訓練システムの構成例を示すブロック図である。 図１に示した作業訓練システムの実施イメージを説明するための図である。 作業評価処理の処理手順例を示すフローチャートである。 視線映像位置データのフォーマット例を示す図である。 作業対象の検出結果の一例を説明するための図である。 検出対象物データのフォーマット例を示す図である。 視線位置評価指標の算出方法を説明するための図である。 時系列視線遷移マップのフォーマット例を示す図である。 動的計画法を用いて２つの時系列データの対応関係を求める処理を説明するためのイメージ図である。 作業評価結果画面の一例である。 作業評価結果画面の第１の変形例である。 作業評価結果画面の第２の変形例である。 本発明の第２の実施形態に係る作業訓練システムの構成例を示すブロック図である。 訓練者時系列視線遷移マップ中から作業工程の時間範囲を特定する処理を説明するためのイメージ図である。 作業工程への分割結果を表示する作業評価結果画面の一例である。 特徴的な視線遷移パターンの検出結果を表示する作業評価結果画面の一例である。 本発明の第３の実施形態に係る作業訓練システムの構成例を示すブロック図である。

以下、図面を参照しながら、本発明の実施形態を詳述する。

（１）第１の実施形態
図１は、本発明の第１の実施形態に係る作業訓練システムの構成例を示すブロック図である。図１に示したように、本実施形態に係る作業訓練システム１は、情報処理装置１０及び入力装置２０を備えて構成される。

入力装置２０は、情報処理装置１０に情報を入力する装置であって、作業者（訓練者）の視線方向の映像（視線映像）を取得するためのカメラ２１と、視線映像に対する訓練者の視線位置を示すデータ（視線位置データ）を取得する機能を有する視線位置取得装置２２とを含む。視線位置取得装置２２は、例えば、アイトラッカーである。カメラ２１が取得した視線映像及び視線位置取得装置２２が取得した視線位置データは、情報処理装置１０に入力（送信）される。

また、入力装置２０はさらに、作業で使用する道具類や作業対象の設備５（図２参照）に関する所定の情報を取得するセンサ（温度センサや振動センサ等）を備えるようにしてもよい。

情報処理装置１０は、一般的なコンピュータやタブレット端末、またはスマートフォン等の情報処理装置であって、情報処理部１１、出力部１２、プログラム記憶部１３、及びデータ記憶部１４を備える。

なお、図１では情報処理装置１０が１つの装置であるように記載しているが、本実施形態において情報処理装置１０は複数の情報処理装置であってもよい。例えば、後述する図２の場合、情報処理装置１０は、訓練者が携帯する端末として示されるが、この端末に接続されるノートパソコン等のコンピュータを用意し、これらを含めて情報処理装置１０としてもよい。また、作業訓練システム１において、情報処理装置１０及び入力装置２０（カメラ２１，視線位置取得装置２２）は別体で構成されなくてもよく、一部または全てが一体化された構成であってもよい。また、図１には図示していないが、情報処理装置１０は、システムの開始や終了等を制御するためのキーボード、ボタン、マウスあるいはタッチパネル等の一般的なコンピュータにおける入力装置を備えることができる。

情報処理部１１は、情報処理装置１０における各プログラムを実行する機能を有し、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。

出力部１２は、訓練者にシステムの動作状況等を表示するための表示装置であって、具体的には例えば、一般的なコンピュータのディスプレイや、タブレット型端末またはスマートフォンの画面等に相当する。

プログラム記憶部１３は、情報処理装置１０における各プログラムを格納する記憶装置であって、例えば一般的なコンピュータの主記憶装置（メモリ）に相当する。なお、プログラム記憶部１３は、プログラム以外に一時的に保持するデータ等を格納してもよい。

図１に示したように、プログラム記憶部１３には、視線映像位置データ取得プログラム１３１、作業対象認識プログラム１３２、時系列視線遷移マップ生成プログラム１３３、時系列視線遷移マップ比較プログラム１３４、及び作業評価結果表示プログラム１３５が格納されている。各プログラムによる具体的な処理は後述するが、情報処理部１１がこれらの各プログラムを読み出して実行することによって、各プログラムが有する機能が実現される。なお、以降の説明では、記載を簡略にするために、単に「プログラムが・・・を実行する」といった表現を用いることがある。

データ記憶部１４は、情報処理装置１０における各プログラムの実行による各種処理で用いられるデータを格納する記憶装置であって、例えば一般的なコンピュータに内蔵されるＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶装置や、コンピュータに外付けされる記憶装置等に相当する。

図１に示したように、データ記憶部１４は、視線映像位置データ１４１、訓練者時系列視線遷移マップ１４２、及び基準時系列視線遷移マップ１４３を記憶する。詳細は後述するが、視線映像位置データ１４１は、カメラ２１によって取得された視線映像及び視線位置取得装置２２によって取得された視線位置データを組にした情報である。また、訓練者時系列視線遷移マップ１４２は、訓練者による作業における視線遷移を示す情報であって、訓練者の視線映像及び視線位置データに基づいて生成される。また、基準時系列視線遷移マップ１４３は、訓練の手本となる模範作業における視線遷移を示す情報であって、熟練者による作業等から取得した視線映像及び視線位置データを用いて予め生成され、データ記憶部１４に格納されている。基準時系列視線遷移マップ１４３には、訓練者時系列視線遷移マップ１４２の良否を評価するための基準として用いられる。

図２は、図１に示した作業訓練システムの実施イメージを説明するための図である。図２には、カメラ２１及び視線位置取得装置２２を装着した作業者（訓練者）が、設備５に対して作業を実施するイメージが示されている。図２の実施イメージの場合、情報処理装置１０は、作業者が携帯しているタブレット端末またはスマートフォン等の携帯端末として表され、カメラ２１及び視線位置取得装置２２と情報処理装置１０とが有線接続されている。

設備５は、作業訓練システム１において訓練の実施対象となる設備や装置等である。訓練者は、設備５に対する作業として、例えば、メータやスイッチ等の状態を確認したり、スイッチ等への各種操作を行ったりする。なお、本実施形態における設備５は、訓練者が作業を実施する対象であれば任意の設備であってよく、用途や形状等を限定されない。また、訓練を実施する作業の具体的内容についても、設備５の状態確認や操作の他、組立、分解、交換、または補修等、任意の作業を対象としてよい。

図３は、作業評価処理の処理手順例を示すフローチャートである。図３に示す作業評価処理は、本実施形態に係る作業訓練システム１が、入力装置２０で取得される訓練者の視線映像及び視線位置データに基づいて、訓練者の作業の良否を評価してその評価結果を表示する処理であって、情報処理装置１０が各プログラムを実行することによって実現される。以下に各ステップの処理を詳しく説明する。

まず、設備５に対して訓練者が作業を実施しているとき、視線映像位置データ取得プログラム１３１が、入力装置２０のカメラ２１及び視線位置取得装置２２を用いて訓練者の視線映像及び視線位置データを取得（収集）し、視線映像位置データ１４１としてデータ記憶部１４に格納する（ステップＳ１）。

図４は、視線映像位置データのフォーマット例を示す図である。図４には、視線映像位置データ１４１のフォーマット例を示すデータ６１０が示されている。

データ６１０においてデータ数６１１は、１つの視線映像位置データ１４１内に含まれる視線映像及び視線位置データの数を表す。本例では、ステップＳ１において、予め定められた時間間隔（一時刻単位）で視線映像及び視線位置データが取得され、一時刻単位の視線映像位置データ１４１として保存されると想定している。また、個々の視線映像位置データ１４１において、視線映像は一時刻分の画像（視線画像）が複数連なった画像列によって表され、視線位置データは一時刻分の視線位置データが複数連なったデータ列によって表される。

データ６１０においてデータブロック６１２には、上記の一時刻を単位とする各時刻（時刻６１３）における視線画像６１４及び視線位置データ６１５の組が表される。なお、通常、視線映像を取得する時間間隔と視線位置データを取得する時間間隔とは、それぞれの入力装置に依存するために異なるが、図４に示すフォーマット例では、双方の取得時刻を一致させた後に視線映像位置データ１４１が保存されると想定している。このような保存を実現する方法としては例えば、ある時刻に取得された視線画像に着目した場合、その時刻の前後で取得された視線位置データを選択し、選択した視線位置データの間を線形補間等の補間方法を用いることにより、着目した視線画像と同じ時刻における視線位置データを推定するようにすればよい。また、別の保存方法として、視線画像（視線映像）と視線位置データを、取得する時間間隔が異なったまま視線映像位置データ１４１（データ６１０）を保存するようにしてもよい。この場合、データ数６１１は、視線映像に対するデータ数と視線位置データに対するデータ数を含むようにすればよい。

ステップＳ１の処理が終了すると、作業対象認識プログラム１３２が、ステップＳ１で取得された訓練者の視線映像のうちから、映像に写り込んでいる作業対象を検出する（ステップＳ２）。

「作業対象」は、訓練者が訓練中に操作や注視を行う対象物を意味する。具体的には例えば、図２に示した設備５の場合、設備５に設けられたメータやランプ、スイッチ、ボタン、レバー等が作業対象の対象物である。また、作業の内容によっては、訓練者が把持する道具類や、訓練者自身の手を含めるようにしてもよい。視線映像から各対象物を検出する方法としては、例えば非特許文献１に開示されているような既知の物体検出技術を利用することができる。すなわち、視線映像の各時刻の画像に、予め対象物を検出できるように学習を行った物体検出技術を適用することにより、例えば図５に示すように、画像上に各作業対象の領域を検出することができる。

図５は、作業対象の検出結果の一例を説明するための図である。図５には、設備５に対する作業中に取得された視線映像に含まれる視線画像に対して上述した物体検出を行って得られる作業対象検出画像５００が示されている。

図５の作業対象検出画像５００の場合、作業対象として検出された対象物の領域が領域５０１〜５０９に示されている。具体的には、領域５０１〜５０３はそれぞれメータの領域を示し、領域５０４〜５０６はそれぞれランプの領域を示し、領域５０７〜５０９はそれぞれスイッチの領域を示している。ステップＳ２で検出された作業対象（対象物）の情報は、情報処理部１１の記憶部（例えばプログラム記憶部１３）に一時的に保存される。この一時的に保存される情報を、検出対象物データと呼ぶ。

図６は、検出対象物データのフォーマット例を示す図である。図６には、検出対象物データのフォーマット例を示すデータ６２０が示されている。

データ６２０において時刻６２１は、対象物の検出を行った視線映像中の画像が取得された時刻を表す。時刻６２１には、視線映像位置データ１４１に記録された各時刻（図４の時刻６１３）の何れかと同じ値を設定することにより、視線映像中の画像と対象物の検出結果との対応関係を表すことができる。データ６２０において対象物数６２２は、対象の画像から検出された対象物の数を表す。

データ６２０においてデータブロック６２３には、検出された各対象物に関する情報の組が表される。各データブロック６２３は、対象物に付された名称を表す対象物名６２４、画像中の対象物の位置を表す対象物位置６２５、及び画像中の対象物のサイズを表す対象物サイズ６２６から構成される。図５に示したように、画像中の各対象物の領域５０１〜５０９は、既知の物体検出技術を用いることによって検出することができる。対象物位置６２５として例えば、検出された領域の左上の座標や、領域の重心位置の座標等を用いることができる。また、対象物サイズ６２６として例えば、検出された領域の幅と高さの組み合わせや、検出された領域の内接円や外接円の半径等を用いることができる。なお、データブロック６２３に含まれるフォーマットは上記例に限定されるものではなく、検出された対象物の領域（図５における領域５０１〜５０９）の位置やサイズを表すことができるフォーマットであれば、任意のフォーマットを用いてよい。

ステップＳ２の処理が終了すると、時系列視線遷移マップ生成プログラム１３３が、ステップＳ２で抽出された各対象物の情報と、ステップＳ１で取得された訓練者の視線位置データとを用いて、訓練中における訓練者の視線遷移パターンを表す訓練者時系列視線遷移マップ１４２を作成する（ステップＳ３）。作成された訓練者時系列視線遷移マップ１４２は、データ記憶部１４に格納される。

ステップＳ３において訓練者時系列視線遷移マップ１４２を生成するために、時系列視線遷移マップ生成プログラム１３３はまず、各時刻における視線位置と対象物との位置関係を表す指標である視線位置評価指標を算出する。

図７は、視線位置評価指標の算出方法を説明するための図である。図７において、ポイント５１１は、視線映像（視線画像）における視線位置を示している。また、ポイント５１２〜５１５は、各対象物の重心位置を示している。対象物の重心位置は、前述したように、既知の物体検出技術によって検出された対象物の領域（図５の領域５０１〜５０９）から算出することができる。

このとき、視線位置評価指標は、視線位置（ポイント５１１）から各対象物の重心位置（ポイント５１２〜５１５）までの距離５１６〜５１９を求め、さらにこの距離５１６〜５１９を下記の式１に代入することによって算出される。

式１において、Ｅは視線位置評価指標、ｄは視線位置と各対象物の重心位置との距離、ｋは予め定められた係数である。式１を用いて算出された視線位置評価指標Ｅは、視線位置と対象物（重心位置）との距離ｄが近い程大きい値をとり、０〜１の範囲の数値で表される。視線位置と対象物（重心位置）とが一致する場合、視線位置評価指標Ｅの値は１となる。

なお、本実施形態では使用可能な視線位置評価指標は、上述した算出方法に限定されるものではなく、視線位置と対象物との距離に基づいて算出される指標であれば、任意の指標を用いてもよい。あるいは、距離以外に、視線位置からみた対象物の方向を表すベクトル等の情報を追加してもよい。また、本実施形態において視線位置評価指標は、画像中から検出された全ての対象物に対して算出されてもよいし、視線位置から近い順に予め定められた数の対象物に対して算出されてもよいし、あるいは、予め定められた対象物に対して算出されてもよい。

そして、時系列視線遷移マップ生成プログラム１３３は、算出した視線位置評価指標を用いて時系列視線遷移マップを生成し、これを訓練者時系列視線遷移マップ１４２としてデータ記憶部１４に保存する。訓練者時系列視線遷移マップ１４２は、各対象物に対する視線位置評価指標の時系列データによって訓練者の視線遷移パターンを表したデータである。

図８は、時系列視線遷移マップのフォーマット例を示す図である。図８には、時系列視線遷移マップ（例えば訓練者時系列視線遷移マップ１４２）のフォーマット例を示すデータ６３０が示されている。なお、本発明の説明で用いる時系列視線遷移マップとしては、訓練者時系列視線遷移マップ１４２の他に、基準時系列視線遷移マップ１４３（図１参照）、工程時系列視線遷移マップ３４４及び特徴時系列視線遷移マップ３４５（図１３参照）があるが、これらの時系列視線遷移マップは共通するデータフォーマットを持つとしてよい。

図８のデータ６３０において対象物数６３１は、この時系列視線遷移マップのなかで参照される対象物の数を表し、対象物名６３２は、各対象物の名称を表す。「時系列視線遷移マップのなかで参照される対象物」とは、例えば、元になった視線映像から検出された全ての対象物に相当する。また例えば、想定される全ての対象物を参照される対象物としてもよいし、予め定められた対象物のみを参照される対象物としてもよい。

データ６３０においてデータ数６３３は、視線映像及び視線位置データの数を表す。したがって、データ数６３３には図４のデータ数６１１と同じ値が設定される。そして、データブロック６３４には、各時刻（時刻６３５）における各対象物に対する視線位置評価指標６３６の組が表される。時刻６３５は、当該データブロック６３４に記録される視線位置評価指標６３６に対応する視線画像（視線映像）が取得された時刻であり、視線映像位置データ１４１に記録された各時刻（図４の時刻６１３）の何れかと同じ値が設定される。視線位置評価指標６３６は、当該データブロック６３４の時刻６３５に取得された視線画像（視線映像）及び視線位置データから算出された視線位置評価指標であり、対象物名６３２の順番と対応して、各対象物に関する視線位置評価指標が順番に設定される。

ステップＳ３の処理が終了すると、時系列視線遷移マップ比較プログラム１３４が、ステップＳ３で生成された訓練者時系列視線遷移マップ１４２を基準時系列視線遷移マップ１４３と比較する（ステップＳ４）。

前述したように、基準時系列視線遷移マップ１４３は、熟練者の模範作業における視線映像及び視線位置データから予め生成された時系列視線遷移マップであり、その生成方法及びフォーマットは、上述した訓練者時系列視線遷移マップ１４２の生成方法及びフォーマットと同様であってよい。あるいは、基準時系列視線遷移マップ１４３の生成時には、作業のポイントや作業上の注意点等、訓練用の教材として必要となる情報を追加するようにしてもよい。

ステップＳ４において訓練者時系列視線遷移マップ１４２と基準時系列視線遷移マップ１４３との比較を行うために、時系列視線遷移マップ比較プログラム１３４はまず、両マップの間の作業内容に基づく時系列の対応関係を求める。この処理には、従来広く知られている動的計画法（例えば非特許文献２）等を利用することができる。通常、訓練者時系列視線遷移マップ１４２と基準時系列視線遷移マップ１４３では、作業の開始から終了までの全体の時間長が異なることに加え、部分的に前者の時間長が後者の時間長より短くなったり、逆に長くなったりする場合が不規則に生じることが予想される。そこで、既知の動的計画法を用いることにより、部分的な時間の伸縮を考慮して、訓練者時系列視線遷移マップ１４２と基準時系列視線遷移マップ１４３との間の対応関係を求めることができる。

図９は、動的計画法を用いて２つの時系列データの対応関係を求める処理を説明するためのイメージ図である。図９には、時間及び指標を軸にとった２つの時系列データ７１０，７２０について、動的計画法によって部分的な時間の伸縮を考慮して両データの間の時系列の対応関係を求めた場合のイメージが示されている。ここで、時系列データ７１０が訓練者時系列視線遷移マップ１４２に対応し、時系列データ７２０が基準時系列視線遷移マップ１４３に対応すると想定する。なお、図９では、説明を簡便にするために、１次元の時系列データ７１０，７２０を対象とした場合のイメージを示しているが、実際に時系列視線遷移マップを対象とした場合には、各時刻に複数の対象物に対する視線位置評価指標があるため、多次元ベクトルの時系列データを対象とした処理、例えば多次元ベクトル間の差分や類似度を求める処理等を行う必要がある。

図９では、点７１１及び点７２１、点７１２及び点７２２、点７１３及び点７２３、点７１４及び点７２４が破線で対応付けられているが、これらは、動的計画法によって対応付けられた時系列データ７１０，７２０の対応関係の一例を表している。これを時系列視線遷移マップに置き換えると、対応する点は、同じ作業をしているタイミングを示すと捉えることができる。すなわち、図９に示したように、動的計画法を用いることにより、部分的な時間の伸縮を考慮して、適切な時系列データ７０１，７０２（訓練者時系列視線遷移マップ１４２と基準時系列視線遷移マップ１４３）の間で、同じ作業内容が行われている時間帯（時系列）の対応関係を求めることができる。

ステップＳ４において、時系列視線遷移マップ比較プログラム１３４は、訓練者時系列視線遷移マップ１４２と基準時系列視線遷移マップ１４３の対応関係を求めた後、両者の類似度を算出する。この類似度は、両者が対応付けられた時刻における視線位置評価指標による多次元ベクトルの距離に基づいて算出でき、例えば下記の式２を用いることができる。

式２において、Ｃは求める類似度であり、Ｅ_Ｔｉ（ｔ）は、訓練者時系列視線遷移マップ１４２上の時刻ｔにおける対象物ｉに対する視線位置評価指標であり、Ｅ_Ｂｉ（ｓ（ｔ））は、基準時系列視線遷移マップ１４３上の時刻ｓ（ｔ）における対象物ｉに対する視線位置評価指標である。ここで、ｓ（ｔ）は、訓練者時系列視線遷移マップ１４２上の時刻ｔに対応する基準時系列視線遷移マップ１４３上の時刻を意味し、αは予め定められた係数である。ｓ（ｔ）は、上述した方法（例えば動的計画法）を用いて求めた訓練者時系列視線遷移マップ１４２と基準時系列視線遷移マップ１４３との対応関係に基づいて決定される。具体的には例えば、図９の点７１１の時刻をｔとすると、点７２１の時刻がｓ（ｔ）に決定される。

また、式２において、Ｎは比較の対象となっている訓練者時系列視線遷移マップ１４２及び基準時系列視線遷移マップ１４３に含まれる対象物の数である。具体的には例えば、図８の対象物数６３１の値が、Ｎの値に対応する。また、Ｍは比較の対象となっている訓練者時系列視線遷移マップ１４２に含まれるデータ数であり、具体的には例えば、図８のデータ数６３３の値に対応する。式２を用いて算出された類似度Ｃは、訓練者時系列視線遷移マップ１４２と基準時系列視線遷移マップ１４３との間で作業内容（変化のパターン）が類似しているほど、大きい値をとり、０〜１の範囲の数値で表される。

式２では、訓練者時系列視線遷移マップ１４２及び基準時系列視線遷移マップ１４３に含まれる対象物の種類及び数が同じであると想定しているが、実際には異なる場合も考えられる。このような場合は、両者で共通する対象物に対応する視線位置評価指標のみを抽出した時系列視線遷移マップを用いて比較を行うこともできるし、あるいは、両者に含まれる全ての対象物に対応した時系列視線遷移マップを生成して比較を行うようにしてもよい。後者の場合、対象物に対応する視線位置評価指標が元の時系列視線遷移マップに存在しないときには、例えば、値が全て０の時系列データを挿入するようにすればよい。

なお、本実施形態において訓練者時系列視線遷移マップ１４２と基準時系列視線遷移マップ１４３との類似度を算出するために用いる式は、多次元時系列データの類似度を算出できる式であればよく、必ずしも上記の式２に限定されるものではない。

ステップＳ４で訓練者時系列視線遷移マップ１４２と基準時系列視線遷移マップ１４３とを比較する処理が終了すると、作業評価結果表示プログラム１３５が、所定の画面フォーマットで出力部１２に比較結果（作業評価結果画面）を表示する（ステップＳ５）。作業評価結果画面を表示することによって、本実施形態に係る作業訓練システム１は、訓練者に対して訓練結果に関するフィードバックを行うことができる。なお、本実施形態におけるステップＳ５の処理は、比較結果の表示に限定されるものではなく、印刷による紙出力やデータ保存等によって比較結果を出力するものであってもよい。

図１０は、作業評価結果画面の一例である。図１０には、ステップＳ５において出力部１２に表示される比較結果の表示画面の一例として、作業評価結果画面８１０が示されている。

作業評価結果画面８１０において、領域８１１は、基準時系列視線遷移マップ１４３の元となった熟練者等の視線映像及び視線位置（熟練者映像）が表示される領域であり、領域８１２は、訓練者時系列視線遷移マップ１４２の元となった訓練者の視線映像及び視線位置（訓練者映像）が表示される領域である。領域８１１，８１２の周辺には、再生ボタン、停止ボタン、一時停止ボタン、早送りボタン、または巻き戻しボタン等、視線映像及び視線位置の表示を制御するための手段を配置するようにしてもよい。

作業評価結果画面８１０において、領域８１３には、訓練者時系列視線遷移マップ１４２と基準時系列視線遷移マップ１４３とを比較して得られた類似度に基づいて算出された得点が表示される。類似度が０〜１までの範囲で算出される場合、例えば類似度を１００倍した値を得点として表示することができる。あるいは、予め定められた範囲を超えた類似度を０点〜１００点の値に正規化して表示するようにしてもよい。また、算出される類似度が０〜１までの範囲でない場合でも、値の大きさを拡大または縮小する等により、０点〜１００点の値に変換した値であれば、どのような方法を用いて表示してもよい。また、得点の別の表示方法としては、０点〜１００点の間の値でなくとも、算出された類似度をそのまま、あるいは訓練者時系列視線遷移マップ１４２と基準時系列視線遷移マップ１４３との差分等、訓練者が２つの時系列視線遷移マップの差異を確認できる数値であれば、どのような数値を用いて表示を行ってもよい。

作業評価結果画面８１０において、領域８１４は、訓練者時系列視線遷移マップ１４２と基準時系列視線遷移マップ１４３との差異が大きい箇所を明示するための領域である。両マップの差異の算出方法としては、各時刻における差異の大きさを算出するようにしてもよいし、両方の時系列視線遷移マップを予め定められた時間範囲で分割し、分割した時間範囲ごとに両マップを比較して差異を算出するようにしてもよい。

また、領域８１４における差異の表示方法としては、予め定められた色を差異の大きさに応じた濃淡で表示する方法、差異の大きさに対して予め定められた配色を用いて表示する方法、あるいは、差異が予め定められた値より大きい箇所のみを予め定められた色で表示する方法（図１０の場合、領域８１４はこの表示方法である）等を用いることができる。但し、上記の表示方法は一例であって、差異が大きい箇所を訓練者が容易に確認できる方法であれば、どのような表示方法を用いてもよい。

また、領域８１４上を一般的に使用されるマウス等の入力装置を用いて選択すると、選択した時刻に対応する視線映像及び視線位置が領域８１１，８１２上に表示されるようにしてもよい。また、領域８１４上で、一般的に使用されるマウス等の入力装置を用いて時間範囲を選択すると、選択した時間範囲の視線映像及び視線位置データが動画像で領域８１１，８１２上に表示されるようにしてもよい。また、領域８１４で差異が大きいとして表示されている箇所を選択すると、該当範囲の視線映像及び視線位置データが動画像で領域８１１，８１２上に表示されるようにすることもできる。

作業評価結果画面８１０において、領域８１５は、基準時系列視線遷移マップ１４３の情報を表示する領域である。図１０の場合、基準時系列視線遷移マップ１４３として熟練者の時系列視線遷移マップが想定されている。一方、領域８１６は、領域８１５と同様の表示形式で、訓練者時系列視線遷移マップ１４２の情報を表示する領域である。

図１０の例では、領域８１５，８１６にはそれぞれ、５つの対象物（対象物１〜５）に対する時系列視線遷移マップの情報として、各対象物の視線位置評価指標が時系列に沿って表示されている。具体的には、領域８１５内の領域８１７〜８２１に、熟練者による基準時系列視線遷移マップ１４３の対象物１〜５の視線位置評価指標が表示され、領域８１６内の領域８２２〜８２６に、訓練者時系列視線遷移マップ１４２の対象物１〜５の視線位置評価指標が表示されている。

なお、領域８１５，８１６における視線位置評価指標の表示方法としては、予め定められた色を視線位置評価指標の大きさに応じた濃淡で表示する方法、視線位置評価指標の大きさに対して予め定められた配色を用いて表示する方法、視線位置評価指標が予め定められた値より大きい箇所のみを予め定められた色で表示する方法、あるいは、各時刻において最も大きい視線位置評価指標のみを表示する方法等を用いることができる。但し、上記の表示方法は一例であって、視線位置評価指標が大きい箇所を訓練者が容易に確認できる方法であれば、どのような表示方法を用いてもよい。

図１０の場合は、予め定められた色を視線位置評価指標の大きさに応じた濃淡で表示する表示方法を採用しており、視線位置評価指標と濃淡との関係が凡例８２７に示されている。なお、本明細書の説明では、視線位置評価指標を表示するその他の各図面（図１１、図１２、図１５、図１６）においても、図１０と同様に、一例として、予め定められた色を視線位置評価指標の大きさに応じた濃淡で表示する表示方法を採用している。

また、視線位置評価指数が表示されている領域８１５，８１６上を一般的に使用されるマウス等の入力装置を用いて選択すると、選択した時刻に対応する視線映像及び視線位置が領域８１１，８１２上に表示されるようにしてもよい。また、領域８１５，８１６上で、一般的に使用されるマウス等の入力装置を用いて時間範囲を選択すると、選択した時間範囲の視線映像及び視線位置データが動画像で領域８１１，８１２上に表示されるようにしてもよい。

作業評価結果画面８１０における表示方法ついてさらに補足する。

図１０に示した作業評価結果画面８１０において、熟練者映像を表示する領域８１１及び訓練者映像を表示する領域８１２、並びに、基準時系列視線遷移マップ１４３の情報を表示する領域８１５及び訓練者時系列視線遷移マップ１４２の情報を表示する領域８１６の配置は、訓練者が作業内容を確認しやすい配置であればよく、図１０の例に限定されるものではない。

また、図１０では、基準時系列視線遷移マップ１４３及び訓練者時系列視線遷移マップ１４２の情報を表示する領域８１５，８１６において、時間長を同じ長さに揃えて表示する。通常、訓練者時系列視線遷移マップ１４２と基準時系列視線遷移マップ１４３の時間長は異なることが想定されるが、図９を参照しながら上述したように部分的な時間の伸縮を考慮して求めた時系列の対応関係を使用することにより、両マップの時間長を一致させて表示することが可能となる。具体的な表示方法としては例えば、領域８１６において訓練者時系列視線遷移マップ１４２の情報はそのまま表示を行い、領域８１５において基準時系列視線遷移マップ１４３の情報は、訓練者時系列視線遷移マップ１４２の各時刻（ｔ）に対応するデータを各時刻（ｓ（ｔ））に表示すればよい。あるいはその逆でもよい。

また、別の表示方法として、領域８１５，８１６において、時間長を同じ長さに揃える処理を行うことなく、両マップの情報を表示するようにしてもよい。この場合、予め定めた時間間隔において２つの時系列視線遷移マップの対応箇所を線で結ぶ等により、２つの時系列視線遷移マップの対応関係を明示して表示してもよい。

また、図１０では、２つの時系列視線遷移マップ（訓練者時系列視線遷移マップ１４２及び基準時系列視線遷移マップ１４３）の情報を、別々の領域（領域８１６及び領域８１５）に表示したが、本実施形態はこのような表示形態に限定されるものではなく、以下の第１または第２の変形例に示すような表示形態を採用してもよい。

図１１は、作業評価結果画面の第１の変形例である。図１１には、作業評価結果画面８１０における第１の変形例として、図１０で例示された領域８１５，８１６の表示に代えて、対象物ごとに２つの時系列視線遷移マップの視線位置評価指標を並べて表示する表示形態が示されている。

具体的には図１１では、領域８３１〜８３５に、対象物１〜５に対する基準時系列視線遷移マップ１４３及び訓練者時系列視線遷移マップ１４２の視線位置評価指標が表示される。すなわち、対象物１の視線位置評価指標が表示される領域８３１には、図１０の領域８１７及び領域８２２と同じ視線位置評価指標が表示され、対象物２の視線位置評価指標が表示される領域８３２には、図１０の領域８１８及び領域８２３と同じ視線位置評価指標が表示され、対象物３の視線位置評価指標が表示される領域８３３には、図１０の領域８１９及び領域８２４と同じ視線位置評価指標が表示され、対象物４の視線位置評価指標が表示される領域８３４には、図１０の領域８２０及び領域８２５と同じ視線位置評価指標が表示され、対象物５の視線位置評価指標が表示される領域８３５には、図１０の領域８２１及び領域８２６と同じ視線位置評価指標が表示される。

そして、作業評価結果画面８１０が図１１のような表示形態で表示される場合には、対象物ごとに、熟練者による模範作業と訓練者による作業との間の相違点が分かり易いという利点がある。

図１２は、作業評価結果画面の第２の変形例である。図１２には、作業評価結果画面８１０における第２の変形例として、図１０で例示された領域８１５，８１６の表示に追加して、図１０の領域８１４に示したような２つの時系列視線遷移マップの差異が大きい箇所を明示する表示形態が示されている。

具体的には、図１２に示した強調領域８４１〜８５０は、基準時系列視線遷移マップ１４３と訓練者時系列視線遷移マップ１４２との間で同一時刻（または時間帯）における視線位置評価指標の差異が大きい箇所を、枠で囲んで強調表示したものである。上記の強調表示の方法としては、図１２のように該当箇所を枠で囲むことに限定されず、例えば、該当箇所の色を変えて表示したり、該当箇所に予め定められたマークを表示したりする等、任意の方法であってよい。

なお、図１２のように２つの時系列視線遷移マップ（視線位置評価指標）の差異が大きい箇所を明示する場合には、ある時刻、またはある時間範囲における差異の合計だけでなく、それらの時刻や時間範囲において特に視線位置評価指標の差異が大きい対象物を明示するようにしてもよい。

そして、作業評価結果画面８１０が図１２のような表示形態で表示される場合には、熟練者による模範作業と訓練者による作業との間の相違点がより分かり易くなるという利点がある。

また、入力装置２０の説明で前述したように、入力装置２０が、作業で使用する道具類や作業対象の設備５に関する所定の情報を取得するセンサを備えている場合には、作業評価結果画面８１０において、基準時系列視線遷移マップ１４３の情報を表示する領域（例えば図１０の領域８１５）及び訓練者時系列視線遷移マップ１４２の情報を表示する領域（例えば図１０の領域８１６）に加えて、上記センサによって取得した時系列のセンサデータを表示するようにしてもよい。この時系列のセンサデータは、情報処理装置１０のプログラム記憶部１３に記憶された所定のプログラムが実行されることによって生成することができ、既述のプログラム（例えば視線映像位置データ取得プログラム１３１や作業評価結果表示プログラム１３５）であってもよい。また、それぞれのセンサデータに基準値が存在する場合には、基準値の範囲内にある時間範囲のみを表示する、あるいは、基準値の範囲外にある時間範囲のみを表示するとしてもよい。本実施形態では、上記のようにセンサデータを追加して出力可能にすることにより、作業において視線映像からは判断できない環境変化等（例えば温度変化等）が存在する場合に、訓練者がこれらの環境の差異を考慮しながら作業を比較して訓練に役立てることができる。

また、上述した第１の実施形態では、作業開始から作業終了までの訓練者の視線映像位置データ１４１を取得した後、訓練者の作業内容を評価することを前提としているが、作業訓練システム１による他の実施モデルとして、例えば、作業中であっても予め定められた時間が経過するたびに、取得された視線映像位置データ１４１の評価を実施する等としてもよい。このような評価を実施することにより、訓練者が作業を行っている途中において訓練者時系列視線遷移マップ１４２と基準時系列視線遷移マップ１４３との差異が大きい箇所を検出し、その結果を訓練者に通知するようにすることもできる。

以上のように、本実施形態に係る作業訓練システム１によれば、作業評価結果画面８１０において作業中の視線遷移パターンを各対象物に対する視線位置評価指標に基づく時系列視線遷移マップの形態で表示することにより、訓練者が視線位置と対象物の位置関係から作業内容を推定することができるため、長時間の作業に対しても作業状況を俯瞰的に把握することができる。

そして、本実施形態に係る作業訓練システム１によれば、訓練者による作業の視線映像及び視線位置データに基づいて生成される訓練者時系列視線遷移マップ１４２と、熟練者等による模範作業の視線映像及び視線位置データに基づいて生成される基準時系列視線遷移マップ１４３とを比較して、作業内容に基づく時系列の対応関係を求めるとともに、この対応する時系列における両データの類似度や差異を算出し、作業評価結果画面８１０においてこれらの比較結果を出力（表示）することによって、一覧性を比較し易い態様で訓練者の作業内容と基準とする作業内容との比較結果を表示することができるため、作業の訓練を効果的に支援することができる。

また、本実施形態に係る作業訓練システム１によれば、訓練者時系列視線遷移マップ１４２と基準時系列視線遷移マップ１４３との部分的な時間の伸縮を考慮した時系列の対応関係に基づいて、作業評価結果画面８１０において時間長を一致させて２つの時系列視線遷移マップを表示すると共に、対応箇所を明示することにより、訓練者が２つの時系列視線遷移マップの比較を容易に実施することができる。

また、本実施形態に係る作業訓練システム１によれば、作業評価結果画面８１０において訓練者時系列視線遷移マップ１４２と基準時系列視線遷移マップ１４３との差異が大きい箇所を明示して表示することにより、訓練者が自身の作業における不良個所を容易に把握することができる。

（２）第２の実施形態
図１３は、本発明の第２の実施形態に係る作業訓練システムの構成例を示すブロック図である。図１３に示したように、本実施形態に係る作業訓練システム２は、入力装置２０及び情報処理装置３０を備えて構成される。なお、作業訓練システム２では、第１の実施形態に係る作業訓練システム１と共通する構成要素には同一の番号を付し、共通部分についての説明を省略する。

図１３の作業訓練システム２の構成を第１の実施形態の作業訓練システム１（図１参照）と比較すると、情報処理装置３０のデータ記憶部３４に工程時系列視線遷移マップ３４４及び特徴時系列視線遷移マップ３４５が格納される点で異なる。また、作業訓練システム２において情報処理装置３０のプログラム記憶部３３に格納されている各プログラムの名称は、作業訓練システム１と同様であるが、処理内容が相違することから、時系列視線遷移マップ比較プログラム３３４及び作業評価結果表示プログラム３３５には作業訓練システム１とは異なる番号を付している。

工程時系列視線遷移マップ３４４は、一連の作業を複数の作業工程に分割し、作業工程ごとに作成した時系列視線遷移マップである。工程時系列視線遷移マップ３４４は、基準時系列視線遷移マップ１４３を作業工程ごとに分割して作成してもよい。工程時系列視線遷移マップ３４４は、訓練の手本となる模範作業を対象としたものであり、第１の実施形態でも説明した基準時系列視線遷移マップ１４３と同様に、熟練者等による作業等から取得した視線映像及び視線位置データを用いて予め生成されてデータ記憶部３４に格納しておけばよい。

特徴時系列視線遷移マップ３４５は、作業の内容によらず作業中に現れる特徴的な視線遷移パターンを表す時系列視線遷移マップである。特徴時系列視線遷移マップ３４５は、熟練者等により取得した対象作業の視線映像および視線位置データを用いて予め生成することもできるし、予め人手によりデータを作り込んでおいてもよい。工程時系列視線遷移マップ３４４及び特徴時系列視線遷移マップ３４５のフォーマットは、訓練者時系列視線遷移マップ１４２や基準時系列視線遷移マップ１４３と同様としてよい（図８参照）。さらに、上記フォーマットに、作業工程の種類や内容を示す工程の名称、特徴の種類や内容を示す特徴の名称等を追加してもよい。これらの追加項目は、後述する作業工程への分割結果や特徴的な視線遷移パターンの検出結果を表示する際に使用することができる。

第２の実施形態に係る作業訓練システム２による作業評価処理について説明する。第２の実施形態における作業評価処理では、第１の実施形態で図３に示した処理手順と共通する処理が行われるが、これに加えて、ステップＳ４及びステップＳ５において、時系列視線遷移マップ比較プログラム３３４及び作業評価結果表示プログラム３３５によってさらなる処理が行われる。これらの処理について以下に説明する。

まず、時系列視線遷移マップ比較プログラム３３４による処理を説明する。

時系列視線遷移マップ比較プログラム３３４は、訓練者時系列視線遷移マップ１４２と工程時系列視線遷移マップ３４４との比較を行うことにより、訓練者時系列視線遷移マップ１４２から各作業工程の時間範囲を検出し、訓練者時系列視線遷移マップ１４２を各作業工程に分割する。また、時系列視線遷移マップ比較プログラム３３４は、訓練者時系列視線遷移マップ１４２と特徴時系列視線遷移マップ３４５との比較を行うことにより、訓練者時系列視線遷移マップ１４２から各特徴の時間範囲を特定し、特徴的な視線遷移パターンが存在する時間範囲の検出を行う。

なお、本実施形態に係る作業訓練システム２は、工程時系列視線遷移マップ３４４または特徴時系列視線遷移マップ３４５の少なくとも一方がデータ記憶部３４に格納されているという構成であってもよい。このとき、時系列視線遷移マップ比較プログラム３３４は、上記の２種類の比較処理のうち、格納されている時系列視線遷移マップを用いた比較のみを実行する。

時系列視線遷移マップ比較プログラム３３４が訓練者時系列視線遷移マップ１４２から各作業工程あるいは特徴的な視線遷移パターンの時間範囲を特定する方法としては、訓練者時系列視線遷移マップ１４２に対して、検出対象の工程時系列視線遷移マップ３４４あるいは特徴時系列視線遷移マップ３４５を、比較の開始時刻をずらしながら動的計画法による比較を行い、得られた類似度の時系列データが最大になる比較の開始時刻から終了時刻に検出対象の作業工程あるいは特徴が存在すると判定すればよい。

図１４は、訓練者時系列視線遷移マップ中から作業工程の時間範囲を特定する処理を説明するためのイメージ図である。図１４において、工程時系列視線遷移マップ７３０は、検出対象の作業工程に対する工程時系列視線遷移マップである。

時系列視線遷移マップ比較プログラム３３４は、訓練者時系列視線遷移マップ１４２から、検出対象の作業工程の工程時系列視線遷移マップ７３０に対応する時間範囲を特定する際、図１４に示したように、比較の開始時刻をずらしながら、段階的に訓練者時系列視線遷移マップ１４２と工程時系列視線遷移マップ７３０（各段階では７３０＿１〜７３０＿５）とを比較し、類似度７４１〜７４５を算出する。類似度の算出方法は、特に限定されず、例えば第１の実施形態で示した式２を用いる等してもよい。これらの類似度７４１〜７４５に基づいて、類似度の時系列データ７４０が得られる。

そして、時系列視線遷移マップ比較プログラム３３４は、類似度の時系列データ７４０を得ることによって、時系列データ７４０において類似度が最大（極大値７４６）になる時刻Ｔ１に、検出対象の工程が存在すると判定することができる。

なお、図１４では、訓練者時系列視線遷移マップ１４２と工程時系列視線遷移マップ７３０とを比較して検出対象の作業工程の時間範囲を特定する場合を示したが、訓練者時系列視線遷移マップ１４２と特徴時系列視線遷移マップ３４５とを比較して特徴的な視線遷移パターンの時間範囲を特定する方法も、同様に実施可能であり、説明を省略する。

なお、上述した処理において、同じ作業工程あるいは特徴が複数存在する場合は、類似度が極大値になる時刻に検出対象の工程が存在すると判断すればよい。また、検出対象の作業工程が存在すると判断する類似度の大きさに閾値を設定し、類似度が閾値より大きくなる時刻に検出対象の作業工程や特徴が存在すると判断するようにしてもよい。さらに、上述した訓練者時系列視線遷移マップ１４２と工程時系列視線遷移マップ３４４または特徴時系列視線遷移マップ３４５との比較を効率的に行う方法として、例えば非特許文献２に開示された連続ＤＰマッチング等を利用してもよいし、長い時系列パターンから部分的な時系列パターンを検出することができるその他の既知の方法を利用してもよい。

また、訓練者時系列視線遷移マップ１４２を各作業工程に分割する方法としては、基準時系列視線遷移マップ１４３に各作業工程の開始時刻及び終了時刻を付与しておき、部分的な時間の伸縮を考慮して求めた訓練者時系列視線遷移マップ１４２と基準時系列視線遷移マップ１４３との対応関係を用いて、基準時系列視線遷移マップ１４３上の各作業工程の開始時刻及び終了時刻に対応する訓練者時系列視線遷移マップ１４２上の時刻を求めることにより、訓練者時系列視線遷移マップ１４２を各作業工程に分割するという方法を使用することもできる。

基準時系列視線遷移マップ１４３を各作業工程に分割し、各作業工程の開始時刻及び終了時刻を付与する方法としては、上述した訓練者時系列視線遷移マップ１４２を各工程に分割する処理を予め基準時系列視線遷移マップ１４３に対しても適用しておくことにより行うことができる。あるいは、人手により視線映像および視線位置データを分析して付与する方法を用いることもできる。同様の方法を用いることにより、基準時系列視線遷移マップ１４３から特徴的な視線遷移パターンを検出し、それらの開始時刻及び終了時刻を基準時系列視線遷移マップ１４３に付与しておくこともできる。

次に、作業評価結果表示プログラム３３５による処理を説明する。

作業評価結果表示プログラム３３５は、時系列視線遷移マップ比較プログラム３３４による比較結果に基づいて、所定の画面フォーマットで出力部１２に比較結果（作業評価結果画面）を表示する。このとき、時系列視線遷移マップ比較プログラム３３４が、訓練者時系列視線遷移マップ１４２と工程時系列視線遷移マップ３４４との比較を行って、訓練者時系列視線遷移マップ１４２を各作業工程に分割する処理を行っていた場合には、作業評価結果表示プログラム３３５は、各作業工程への分割結果を、訓練者時系列視線遷移マップ１４２及び基準時系列視線遷移マップ１４３（工程時系列視線遷移マップ３４４でもよい）の情報とともに作業評価結果画面に表示する。また、時系列視線遷移マップ比較プログラム３３４が、訓練者時系列視線遷移マップ１４２と特徴時系列視線遷移マップ３４５との比較を行って訓練者時系列視線遷移マップ１４２から特徴的な視線遷移パターンが存在する時間範囲を検出する処理を行っていた場合には、作業評価結果表示プログラム３３５は、特徴的な視線遷移パターンの検出結果を、訓練者時系列視線遷移マップ１４２及び基準時系列視線遷移マップ１４３の情報とともに作業評価結果画面に表示する。

図１５は、作業工程への分割結果を表示する作業評価結果画面の一例である。図１５には、訓練者時系列視線遷移マップ１４２を各作業工程に分割する処理が行われた場合の比較結果の表示画面の一例として、作業評価結果画面８６０が示されている。なお、図１５では、第１の実施形態で図１０に例示した作業評価結果画面８１０との共通部分については、図示を省略している。具体的には、図１０における領域８１１〜８１４は、作業評価結果画面８６０にも用意されていると考えてよい。これは後述する図１６の作業評価結果画面８７０でも同様とする。

作業評価結果画面８６０において、領域８６１の行には、作業工程への分割結果が表示される。具体的には図１５の場合、領域８６２〜８６６に、工程１〜工程５という作業工程の分割結果が表示されている。図１５において領域８６２〜８６６の横幅が異なるのは、工程ごとの時間が異なることを意味しており、このような表示を行うことによって、各工程の時間長を視覚的に認識しやすくなる。また、作業工程の表示方法としては、図１５の領域８６２〜８６６のように作業工程の名称を示すようにしてもよいし、作業工程ごとに予め決められた色、パターン、または記号等を用いて表示するようにしてもよい。

図１６は、特徴的な視線遷移パターンの検出結果を表示する作業評価結果画面の一例である。図１６には、訓練者時系列視線遷移マップ１４２から特徴的な視線遷移パターンが存在する時間範囲を検出する処理が行われた場合の比較結果の表示画面の一例として、作業評価結果画面８７０が示されている。

作業評価結果画面８７０において、領域８７１〜８７３の各行には、特徴１〜特徴３の検出結果が表示される。そして、検出表示８７４，８７５は、特徴的な視線遷移パターンが訓練者時系列視線遷移マップ１４２及び基準時系列視線遷移マップ１４３の両方で検出された場合に、その対応する時間範囲を示す表示である。また、検出表示８７６，８７７は、特徴的な視線遷移パターンが訓練者時系列視線遷移マップ１４２または基準時系列視線遷移マップ１４３の一方でのみ検出された場合に、その対応する時間範囲を示す表示である。

図１６の場合、例えば特徴３の領域８７３において検出表示８７５，８７７が表示されているように、各特徴の視線遷移パターンが訓練者時系列視線遷移マップ１４２上で複数検出されていることが示されている。作業評価結果画面８７０における特徴的な視線遷移パターンの検出結果の表示方法としては、図１６のように特徴別に欄を設けて表示する方法に限定されず、例えば、１の表示欄上に複数種類の特徴の検出結果をまとめて表示するようにしてもよい。この場合、特徴の名称を表示する他、特徴ごとに予め決められた色、パターン、または記号等を用いて表示するようにしてもよい。また、特徴的な視線遷移パターンは、訓練者時系列視線遷移マップ１４２及び基準時系列視線遷移マップ１４３のそれぞれに対して別々に表示するようにしてもよい。

なお、図１５及び図１６に示した作業評価結果画面８６０，８７０では、領域８６１または領域８７１〜８７３の行を一般的に使用されるマウス等の入力装置を用いて選択すると、選択した時刻に対応する視線映像及び視線位置が領域８１１，８１２（図１０参照）上に表示されるようにしてもよい。また、領域８６１または領域８７１〜８７３の行の上で、一般的に使用されるマウス等の入力装置を用いて時間範囲を選択すると、選択した時間範囲の視線映像及び視線位置データが動画像で領域８１１，８１２上に表示されるようにしてもよい。

また、図１５及び図１６に示した作業評価結果画面８６０，８７０では、領域８６１の行に表示されている各作業工程やそれらに対応した記号、あるいは、領域８７１〜８７３の行に表示されている特徴の検出結果やそれらに対応した記号を選択すると、該当する作業工程や特徴に対応した範囲の視線映像及び視線位置データが動画像で領域８１１，８１２上に表示されるようにすることもできる。

以上のように、本実施形態に係る作業訓練システム２によれば、第１の実施形態に係る作業訓練システム１によって得られる効果に加えて、訓練者時系列視線遷移マップ１４２を各作業工程に分割した結果を、作業評価結果画面８６０において訓練者時系列視線遷移マップ１４２及び基準時系列視線遷移マップ１４３とともに表示することにより、作業の不良が発生した場合に、作業の内容と不良が発生した箇所との関係を訓練者が容易に理解できるようになるため、より効果的な訓練を行うことができる。

また、本実施形態に係る作業訓練システム２によれば、訓練者時系列視線遷移マップ１４２から作業中における特徴的な視線遷移パターンを検出した結果を、作業評価結果画面８７０において訓練者時系列視線遷移マップ１４２及び基準時系列視線遷移マップとともに表示することにより、作業の不良が発生した場合に、不良の原因を訓練者が容易に認識できるようになるため、より効果的な訓練を行うことができる。

（３）第３の実施の形態
図１７は、本発明の第３の実施形態に係る作業訓練システムの構成例を示すブロック図である。図１７に示したように、本実施形態に係る作業訓練システム３は、入力装置２０、視線映像位置データ取得装置４０及び作業評価装置５０を備えて構成される。なお、作業訓練システム３では、第１の実施形態に係る作業訓練システム１または第２の実施形態に係る作業訓練システム２と共通する構成要素には同一の番号を付し、共通部分についての説明を省略する。

図１７の作業訓練システム３は、第１の実施形態の作業訓練システム１（図１参照）において情報処理装置１０に格納されていたプログラム及びデータのうち、視線映像位置データ１４１を取得するために必要な要素を視線映像位置データ取得装置４０が備え、残りの処理のために必要な要素を視線映像位置データ取得装置４０とは別の作業評価装置５０が備えるように構成したものである。

視線映像位置データ取得装置４０は、第１の実施形態で図２に示した情報処理装置１０のように、カメラ２１及び視線位置取得装置２２とともに訓練者が作業時に携帯（装着）する情報処理装置である。図１７に示したように、視線映像位置データ取得装置４０は、情報処理部１１、出力部１２、プログラム記憶部４３、データ記憶部４４、及び通信部４５を備える。

このうち、プログラム記憶部４３には、視線映像位置データ取得プログラム１３１及びデータ通信プログラム４３６が格納されている。第１の実施形態で説明したように、視線映像位置データ取得プログラム１３１は、入力装置２０のカメラ２１及び視線位置取得装置２２を用いて、訓練者の視線映像及び視線位置データを取得し、視線映像位置データ１４１としてデータ記憶部１４に格納する。

そして、データ通信プログラム４３６は、通信部４５を制御することにより、取得した視線映像位置データ１４１をネットワーク６０を介して作業評価装置５０に送信する。ネットワーク６０は、視線映像位置データ取得装置４０と作業評価装置５０とを無線または有線で接続するためのネットワークである。

また、視線映像位置データ取得装置４０のデータ記憶部４４には、入力装置２０のカメラ２１及び視線位置取得装置２２を用いて取得される視線映像位置データ１４１が格納される。

なお、視線映像位置データ取得装置４０における出力部１２や入力装置（不図示）は、視線映像位置データ１４１の取得に必要となる操作を行うためのみに使用されることが好ましく、不要な機能が除外されることによって装置の軽量化や簡素化の効果が期待される。

作業評価装置５０は、例えば一般的なコンピュータであって、視線映像位置データ取得装置４０によって取得された視線映像位置データ１４１を評価し、その評価結果を訓練者に提示する。図１７に示したように、作業評価装置５０は、情報処理部１１、出力部１２、プログラム記憶部５３、データ記憶部５４、及び通信部５５を備える。

このうち、プログラム記憶部５３には、作業対象認識プログラム１３２、時系列視線遷移マップ生成プログラム１３３、時系列視線遷移マップ比較プログラム１３４、作業評価結果表示プログラム１３５、及びデータ通信プログラム５３６が格納され、データ通信プログラム５３６以外のプログラムは、第１の実施形態の情報処理装置１０のプログラム記憶部１３に格納される各プログラムから、視線映像位置データ取得プログラム１３１を除外したものに相当する。言い換えれば、第３の実施形態では、第１の実施形態の情報処理装置１０が有していたプログラムのうち、視線映像位置データ取得プログラム１３１が視線映像位置データ取得装置４０に保持され、残りのプログラムが作業評価装置５０に保持される。これらの残りのプログラムによって実行される処理は、第１の実施形態と同様であり、詳細な説明は省略する。

なお、データ通信プログラム５３６は、通信部５５を制御することにより、視線映像位置データ取得装置４０から送信される視線映像位置データ１４１を、ネットワーク６０を介して受信する。受信した視線映像位置データ１４１は、データ記憶部５４に格納される。

作業評価装置５０のデータ記憶部５４には、視線映像位置データ取得装置４０から受信する視線映像位置データ１４１の他、訓練者時系列視線遷移マップ１４２及び基準時系列視線遷移マップ１４３が格納される。これらのデータのフォーマットや利用方法は、第１の実施形態と同様であり、詳細な説明は省略する。

第３の実施形態において、作業訓練システム３に格納された各プログラムによって実行される作業評価処理の処理手順は、第１の実施形態において図３にフローチャートを示した作業評価処理の処理手順と基本的には同一である。但し、図３のステップＳ１では、情報処理装置１０の視線映像位置データ取得プログラム１３１が、入力装置２０から視線映像及び視線位置データを取得し、視線映像位置データ１４１としてデータ記憶部１４に格納していたが、作業訓練システム３の場合は、視線映像位置データ取得装置４０において視線映像位置データ取得プログラム１３１が入力装置２０から視線映像及び視線位置データを取得して視線映像位置データ１４１を生成した後に、データ通信プログラム４３６が視線映像位置データ１４１を作業評価装置５０に送信し、作業評価装置５０において、データ通信プログラム５３６がこれを受信し、データ記憶部５４に格納する点が異なる。そして、その後のステップＳ２以降の処理は、作業評価装置５０に格納された各プログラムによって、図３のフローチャートと同様の処理が実行される。

なお、第３の実施形態に係る作業訓練システム３は、第２の実施形態に係る作業訓練システム２のように、工程時系列視線遷移マップ３４４や特徴時系列視線遷移マップ３４５をさらに備えて、これらの時系列視線マップと訓練者時系列視線遷移マップ１４２との比較とを行うように構成することもできる。この場合、追加される時系列視線遷移マップは、視線映像位置データ１４１の取得には関係しないことから、作業評価装置５０のデータ記憶部５４に格納され、これらの時系列視線遷移マップを用いた比較処理も、作業評価装置５０側で実行される。

以上のように、本実施形態に係る作業訓練システム３によれば、第１の実施形態に係る作業訓練システム１（または第２の実施形態に係る作業訓練システム２）によって得られる効果に加えて、訓練者が装着する処理装置（視線映像位置データ取得装置４０）を簡易化することができるため、必要な装置を装着しても作業に支障なく訓練を行えるとともに、評価を実施する際に高性能の処理装置（作業評価装置５０）を使用することができるため、より詳細に精度の良い評価を行うことが可能となる。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、図面において制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実施には殆ど全ての構成が相互に接続されていると考えてもよい。

１，２，３ 作業訓練システム
５ 設備
１０，３０ 情報処理装置
１１ 情報処理部
１２ 出力部
１３，３３，４３，５３ プログラム記憶部
１４，３４，４４，５４ データ記憶部
２０ 入力装置
２１ カメラ
２２ 視線位置取得装置
４０ 視線映像位置データ取得装置
４５，５５ 通信部
５０ 作業評価装置
６０ ネットワーク
１３１ 視線映像位置データ取得プログラム
１３２ 作業対象認識プログラム
１３３ 時系列視線遷移マップ生成プログラム
１３４，３３４ 時系列視線遷移マップ比較プログラム
１３５，３３５ 作業評価結果表示プログラム
１４１ 視線映像位置データ
１４２ 訓練者時系列視線遷移マップ
１４３ 基準時系列視線遷移マップ
３４４ 工程時系列視線遷移マップ
３４５ 特徴時系列視線遷移マップ
４３６，５３６ データ通信プログラム
８１０，８６０，８７０ 作業評価結果画面

Claims (12)

1. 作業を実施中の作業者の視線方向の映像である視線映像を取得するカメラと、
   前記視線映像に対する前記作業者の視線位置を取得する視線位置取得装置と、
   前記カメラ及び前記視線位置取得装置から前記視線映像及び前記視線位置の情報を収集する視線映像位置データ取得部と、
   前記視線映像位置データ取得部が収集した前記視線映像から作業の対象物を検出する作業対象認識部と、
   前記作業対象認識部が検出した前記対象物と前記視線映像位置データ取得部が収集した前記視線位置との位置関係に基づいて、前記作業者の前記視線位置の遷移パターンを時系列で表す訓練者時系列視線遷移マップを生成する時系列視線遷移マップ生成部と、
   前記作業の手本とする模範作業における作業者の視線位置の遷移パターンを時系列で表した基準時系列視線遷移マップを予め記憶するデータ記憶部と、
   前記訓練者時系列視線遷移マップと前記基準時系列視線遷移マップとの作業内容に基づく時系列の対応関係を求め、前記対応関係に沿って前記訓練者時系列視線遷移マップ及び前記基準時系列視線遷移マップを比較する時系列視線遷移マップ比較部と、
   前記時系列視線遷移マップ比較部による比較結果を、前記訓練者時系列視線遷移マップ及び前記基準時系列視線遷移マップを対比させて表示する作業評価結果表示部と、
   を備えることを特徴とする作業訓練システム。
2. 前記訓練者時系列視線遷移マップ及び前記基準時系列視線遷移マップは、前記対象物及び前記視線位置の情報に基づいて算出される視線位置評価指標の時系列データで構成され、
   前記時系列視線遷移マップ比較部は、前記訓練者時系列視線遷移マップ及び前記基準時系列視線遷移マップの比較において、前記訓練者時系列視線遷移マップ及び前記基準時系列視線遷移マップのそれぞれの前記視線位置評価指標に基づいて、類似度または差異を算出する
   ことを特徴とする請求項１に記載の作業訓練システム。
3. 前記作業評価結果表示部は、前記比較結果の表示において、前記訓練者時系列視線遷移マップ及び前記基準時系列視線遷移マップそれぞれの前記視線位置評価指標を、所定の表示基準に則って時系列で対比させて表示する
   ことを特徴とする請求項２に記載の作業訓練システム。
4. 前記時系列視線遷移マップ比較部は、時間的な伸縮を見込んだパターンの一致に基づいて、前記訓練者時系列視線遷移マップと前記基準時系列視線遷移マップとの前記対応関係を求める
   ことを特徴とする請求項１に記載の作業訓練システム。
5. 前記作業評価結果表示部は、前記比較結果の表示において、
   前記時系列視線遷移マップ比較部によって求められた前記対応関係に基づいて前記訓練者時系列視線遷移マップ及び前記基準時系列視線遷移マップの時間長を一致させて、両方の時系列視線遷移マップを表示する
   ことを特徴とする請求項４に記載の作業訓練システム。
6. 前記作業評価結果表示部は、前記比較結果の表示において、
   前記訓練者時系列視線遷移マップ及び前記基準時系列視線遷移マップにおいて前記対応関係で対応する箇所の差分を、所定の表示基準に則って表示する
   ことを特徴とする請求項４に記載の作業訓練システム。
7. 前記データ記憶部は、前記作業に含まれる作業工程ごとに分割された前記基準時系列視線遷移マップである工程時系列視線遷移マップを予め記憶し、
   前記時系列視線遷移マップ比較部は、比較の開始時刻をずらしながら前記訓練者時系列視線遷移マップと各前記作業工程の前記工程時系列視線遷移マップとを比較することにより、前記訓練者時系列視線遷移マップにおける前記各作業工程の時間範囲を検出して前記訓練者時系列視線遷移マップを前記各作業工程に分割し、
   前記作業評価結果表示部は、前記時系列視線遷移マップ比較部による前記訓練者時系列視線遷移マップの前記各作業工程への分割の結果を、前記訓練者時系列視線遷移マップの表示とともに表示する
   ことを特徴とする請求項１に記載の作業訓練システム。
8. 前記データ記憶部は、前記模範作業において作業内容によらず作業中に現れる特徴的な視線位置の遷移パターンを時系列で表した特徴時系列視線遷移マップを予め記憶し、
   前記時系列視線遷移マップ比較部は、比較の開始時刻をずらしながら前記訓練者時系列視線遷移マップと前記特徴時系列視線遷移マップとを比較することにより、前記訓練者時系列視線遷移マップにおいて前記特徴的な視線位置の遷移パターンが存在する時間範囲を検出し、
   前記作業評価結果表示部は、前記時系列視線遷移マップ比較部による前記特徴的な視線位置の遷移パターンが存在する時間範囲の検出の結果を、前記訓練者時系列視線遷移マップの表示とともに表示する
   ことを特徴とする請求項１に記載の作業訓練システム。
9. 前記作業の対象設備または環境に関する情報を取得するセンサをさらに備え、
   前記作業評価結果表示部は、前記比較結果の表示において、前記センサで取得された情報の時系列データであるセンサ時系列データをさらに表示する
   ことを特徴とする請求項１に記載の作業訓練システム。
10. 前記作業評価結果表示部は、前記比較結果の表示において、前記訓練者時系列視線遷移マップと前記基準時系列視線遷移マップとを比較して得られる類似度に基づいて算出された得点を表示する
    ことを特徴とする請求項１に記載の作業訓練システム。
11. 前記作業の実施において前記作業者が携帯可能な第１の情報処理装置が、前記視線映像位置データ取得部を備え、
    前記第１の情報処理装置とネットワークを介して通信可能に接続される第２の情報処理装置が、前記作業対象認識部、前記時系列視線遷移マップ生成部、前記基準時系列視線遷移マップを予め記憶する前記データ記憶部、前記時系列視線遷移マップ比較部、及び前記作業評価結果表示部を備え、
    前記第１の情報処理装置は、前記視線映像位置データ取得部が収集した前記視線映像及び前記視線位置の情報を前記ネットワークを介して前記第２の情報処理装置に送信するデータ送信部をさらに備え、
    前記第２の情報処理装置は、前記データ送信部から送信された情報を受信するデータ受信部をさらに備える
    ことを特徴とする請求項１に記載の作業訓練システム。
12. 作業者による作業を評価する作業訓練システムによる作業訓練支援方法であって、
    前記作業訓練システムは、前記作業を実施する作業者の視線方向の映像として視線映像を取得するカメラと、前記視線映像に対する前記作業者の視線位置を取得する視線位置取得装置と、前記カメラ及び前記視線位置取得装置と接続される情報処理装置と、を有し、
    前記情報処理装置には、前記作業の手本とする模範作業における作業者の視線位置の遷移パターンを時系列で表した基準時系列視線遷移マップが予め記憶され、
    前記情報処理装置が、前記カメラ及び前記視線位置取得装置から前記視線映像及び前記視線位置の情報を収集する視線映像位置データ取得ステップと、
    前記情報処理装置が、前記視線映像位置データ取得ステップで収集された前記視線映像から作業の対象物を検出する作業対象認識ステップと、
    前記情報処理装置が、前記作業対象認識ステップで検出された前記対象物と前記視線映像位置データ取得ステップで収集された前記視線位置との位置関係に基づいて、前記作業者の前記視線位置の遷移パターンを時系列で表す訓練者時系列視線遷移マップを生成する時系列視線遷移マップ生成ステップと、
    前記情報処理装置が、前記訓練者時系列視線遷移マップと前記基準時系列視線遷移マップとの作業内容に基づく時系列の対応関係を求め、前記対応関係に沿って前記訓練者時系列視線遷移マップ及び前記基準時系列視線遷移マップを比較する時系列視線遷移マップ比較ステップと、
    前記情報処理装置が、前記時系列視線遷移マップ比較ステップによる比較結果を、前記訓練者時系列視線遷移マップ及び前記基準時系列視線遷移マップを対比させて表示する作業評価結果表示ステップと、
    を備えることを特徴とする作業訓練支援方法。
    

Images