JP2018180090A - 作業教育システム - Google Patents

Abstract

【課題】作業のコツを容易につかむことが可能な作業教育システムを提供する。【解決手段】作業教育システム１は、学習作業者の眼前に作業情報を表示する画像表示装置４と、学習作業者の視線データを出力する視線検出装置５と、学習作業者の動作データを出力する作業動作撮影装置６と、を有するウェアラブルディスプレイ２と、模範作業者の作業データが蓄えられた記憶装置８と、画像表示装置４で表示される作業情報を生成する処理装置７と、を備える。処理装置７は、模範作業者の作業データを用いて画像表示装置４で模範作業を表示する第１段階の処理と、学習作業者の作業を検出し、視線データ及び動作データを学習作業者の作業データとして取得する第２段階の処理と、画像表示装置４で模範作業者と学習作業者との視線又は作業動作の違いを表示する第３段階の処理と、を行う。【選択図】図１

Description

本発明は作業教育システムに関するものであり、例えば、ウェアラブルディスプレイを用いて作業者の眼前に作業情報を表示する作業教育システムに関するものである。

頭部装着型のウェアラブルディスプレイに使用者の視線を検出する検出部を設け、視線情報に応じて制御された表示を行う装置が、特許文献１〜３で提案されている。特許文献１に記載の表示装置では、現実世界の視認性を確保しつつ、注目オブジェクトが視線方向にあるか否かの判定結果に基づいて、現実世界に実在する実オブジェクトに対して利用者の注目を促すものである。特許文献２に記載のナビゲーション装置では、使用者の視線方位に基づいてナビゲーション画像データを生成し、撮影画像データと重ね合わせて表示画像データを生成することにより、装置の利便性を向上させるものである。特許文献３に記載の作業支援装置では、作業者の視線を所定期間継続して検出し、視線移動の速度分布に基づいて作業者の熟練度を判定し、判定された熟練度に応じて効果的な作業支援を行うものである。

特開２０１６−１３０９８５号公報 特開２０１１−２０３９８４号公報 特開２０１２−２３４４０６号公報

特許文献１に記載の表示装置では、作業者の視線に合わせた画像表示や作業指示が行われるだけであり、指示に基づく作業や動作の良し悪しを作業者は知ることができない。特許文献２に記載のナビゲーション装置においても、作業者の視線に合わせた画像表示や作業指示が行われるだけであり、作業の習熟度を向上させる方策については述べられていない。特許文献３に記載の作業支援装置では、視線移動の速度分布で作業の熟練度の判定を行っているが、視線移動の速度分布の違いが熟練度の違いによるものかどうかは明らかでない。また、特許文献２に記載のナビゲーション装置と同様、熟練度を向上させる方策については述べられていない。したがって、特許文献１〜３で提案されている装置を使用しても、作業者が短時間で作業に習熟することは困難であるため、作業教育システムに採用しても所望の効果を得ることはできない。

本発明はこのような状況に鑑みてなされたものであって、その目的は、作業のコツを容易につかむことが可能な作業教育システムを提供することにある。

上記目的を達成するために、第１の発明の作業教育システムは、学習作業者の眼前に作業情報を表示する画像表示装置と、学習作業者の視線を検出する視線検出装置と、学習作業者の作業動作を撮影する作業動作撮影装置と、を有するウェアラブルディスプレイと、
模範作業者の作業データが蓄えられた記憶装置と、
前記画像表示装置で表示される作業情報を生成する処理装置と、
を備えた作業教育システムであって、
前記処理装置が、
前記模範作業者の作業データを用いて前記画像表示装置で模範作業を表示する第１段階の処理と、
前記視線検出装置及び作業動作撮影装置で学習作業者の作業を検出し、学習作業者の作業データを取得する第２段階の処理と、
前記画像表示装置で模範作業者と学習作業者との作業データの違いを表示する第３段階の処理と、
を行うことを特徴とする。

第２の発明の作業教育システムは、上記第１の発明において、前記作業データが、視線の動きを示す視線データ、手の動きを示す動作データ、又はそれらの組み合わせであることを特徴とする。

第３の発明の作業教育システムは、上記第２の発明において、前記処理装置が、前記模範作業者の作業データと前記学習作業者の作業データとの比較により、模範作業者と学習作業者との視線データに関する差異が予め設定されている値よりも大きいと判定した場合、前記第３段階の処理で少なくとも視線の違いの表示を行い、
前記処理装置が、前記模範作業者の作業データと前記学習作業者の作業データとの比較により、模範作業者と学習作業者との動作データに関する差異が予め設定されている値よりも大きいと判定した場合、前記第３段階の処理で少なくとも作業動作の違いの表示を行うことを特徴とする。

第４の発明の作業教育システムは、上記第１〜第３のいずれか１つの発明において、前記ウェアラブルディスプレイにおいて前記視線検出装置が一体的に設けられていることを特徴とする。

第５の発明の作業教育システムは、上記第１〜第４のいずれか１つの発明において、前記ウェアラブルディスプレイにおいて前記作業動作撮影装置が一体的に設けられていることを特徴とする。

第６の発明の作業教育システムは、上記第１〜第５のいずれか１つの発明において、前記作業動作撮影装置が、静止画撮影，動画撮影のうちの少なくとも一方の機能を有することを特徴とする。

第７の発明の作業教育システムは、上記第１〜第６のいずれか１つの発明において、前記第２段階の処理では学習作業者の作業を妨げないように、前記画像表示装置が表示を行わないか、あるいは目立たない表示を行うことを特徴とする。

第８の発明の作業教育システムは、上記第１〜第７のいずれか１つの発明において、前記ウェアラブルディスプレイと接続されたコンピューターを更に備え、前記記憶装置及び処理装置を前記コンピューターに有することを特徴とする。

第９の発明の作業教育システムは、上記第１〜第８のいずれか１つの発明において、前記記憶装置及び処理装置を前記ウェアラブルディスプレイに有することを特徴とする。

本発明によれば、模範作業者と学習作業者との作業における違いが学習作業者ごとに明確になるため、学習作業者は作業のコツを容易につかむことが可能である。したがって、学習作業者は短時間で作業に習熟することができる。例えば、作業内容を全く知らない学習作業者でも、模範作業者から直接指導を受けずに、模範作業者と同等の作業を短時間で行うことができるようになる。また、教育の自動化が可能になるため、模範作業者の指導時間の削減や多くの学習作業者に対する同時教育が可能となり、作業・技術を迅速かつ効果的に伝えていくことが可能となる。

作業教育システムの実施の形態を示すブロック図。 シースルー型のウェアラブルディスプレイを備えた作業教育システムの実施の形態を示す概略構成図。 作業教育システムの実施の形態における制御動作の一例を示すフローチャート。 可動型の画像表示装置を有するウェアラブルディスプレイの具体例を示す概略構成図。 作業教育システムの実施の形態における作業例の静止画データを示すイメージ図。 作業教育システムの実施の形態における模範作業の動画データを示すイメージ図。 作業教育システムの実施の形態における模範作業者の手の移動軌跡を示すイメージ図。 作業教育システムの実施の形態における模範作業者の注視点分布を示すイメージ図。 作業教育システムの実施の形態における模範作業者の視線の移動軌跡を示すイメージ図。 作業教育システムの実施の形態における学習作業者の手の移動軌跡を示すイメージ図。 作業教育システムの実施の形態における学習作業者の注視点分布を示すイメージ図。 作業教育システムの実施の形態における学習作業者の視線の移動軌跡を示すイメージ図。 作業教育システムの実施の形態における第１段階の学習作業者の視野を示す図。 作業教育システムの実施の形態における第２段階の学習作業者の視野を示す図。 作業教育システムの実施の形態における第３段階の学習作業者の視野を示す図。 第３段階における手の移動軌跡の差異表示画面の具体例を示す図。 第３段階における注視点分布の差異表示画面の具体例を示す図。 第３段階における視線の移動軌跡の差異表示画面の具体例を示す図。

以下、本発明を実施した作業教育システム等を、図面を参照しつつ説明する。なお、各実施の形態，具体例等の相互で同一の部分や相当する部分には同一の符号を付して重複説明を適宜省略する。

図１に、本発明の実施の形態に係る作業教育システム１の概略構成を、２つのタイプについて示す。図１（Ａ）に示す作業教育システム１はウェアラブルディスプレイ２及びパーソナルコンピューター３からなっており、図１（Ｂ）に示す作業教育システム１はウェアラブルディスプレイ２からなっている。図１（Ａ）に示す作業教育システム１では、ウェアラブルディスプレイ２が画像表示装置４，視線検出装置５及び作業動作撮影装置６を有しており、パーソナルコンピューター３が処理装置７及び記憶装置８を有している。そして、ウェアラブルディスプレイ２とパーソナルコンピューター３とは有線又は無線によって接続されている。図１（Ｂ）に示す作業教育システム１では、ウェアラブルディスプレイ２が画像表示装置４，視線検出装置５及び作業動作撮影装置６を有しており、画像表示装置４が処理装置７及び記憶装置８を有している。

作業教育システム１にウェアラブルディスプレイ２を用いることにより、作業の学習をハンズフリーで行うことが可能となる。ウェアラブルディスプレイ２は、表示を行うための主要部として、学習作業者（つまり、作業教育システムの使用者）の眼前に作業情報を表示する画像表示装置４を備えた装置である。その一例としては、例えば、学習作業者の作業内容に応じた指示を外界視野と重ねて表示するシースルーディスプレイが挙げられる。シースルーディスプレイに搭載される画像表示装置４としては、例えば、ホログラム光学素子を有する接眼光学系で学習作業者の眼前に画像表示を行う装置が挙げられる。

ウェアラブルディスプレイ２に有する視線検出装置５は、学習作業者の視線を検出して視線データとして出力する装置である。視線検出装置５の具体例としては、視線センサー，赤外カメラ等が挙げられ、必要に応じて照明装置も視線検出装置５の一部として搭載される。例えば、赤外ＬＥＤ(Light Emitting Diode)を照明装置とし、赤外カメラと組み合わせて視線検出装置５を構成してもよい。また、ウェアラブルディスプレイ２に有する作業動作撮影装置６は、学習作業者の作業動作を撮影して動作データとして出力する装置であり、静止画撮影，動画撮影のうちの少なくとも一方の機能を有している。この作業動作撮影装置６の具体例としては、学習作業者の手等の撮影を行うカメラが挙げられる。

処理装置７は、画像表示装置４で表示される作業情報を生成する機能ブロックであり、記憶装置８は、模範作業者や学習作業者の作業データ（視線データ，動作データ等）が蓄えられる機能ブロックである。作業情報の具体例としては、模範作業者や学習作業者の視線データ（視線の位置，視線の動き（例えば視線の移動軌跡），注視点分布，及びその他の視線情報），模範作業者や学習作業者の動作データ（手の位置，手の動き（例えば手の移動軌跡），及びその他の作業動作情報）等の作業データのほかに、上記以外の模範作業者の作業データ（模範作業の動画データ等），作業例の静止画データ等も挙げられる。なお、作業は手で行われることが多いため、手の位置や動きを動作データとして採用することが好ましい。そして、手の位置や動き等は、手に設けたマーカーの動き等を作業動作撮影装置６で撮影することにより、容易に検出可能である。

処理装置７及び記憶装置８は、図１（Ａ）に示す作業教育システム１では、パーソナルコンピューター３において、ＣＰＵ（Central Processing Unit），ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory），ＨＤＤ（Hard Disk Drive）等によって構成されており、図１（Ｂ）に示す作業教育システム１では、ウェアラブルディスプレイ２に有する画像表示装置４において、ＣＰＵ，ＲＡＭ，ＲＯＭ，ＨＤＤ等によって構成されている。例えば、ＨＤＤに格納されている処理プログラム（作業マニュアル等）をＣＰＵが読み出し、ＲＡＭに展開して実行することによって、処理装置７及び記憶装置８が実現される。なお、パーソナルコンピューター３の代わりに、ネットワークを介してウェアラブルディスプレイ２と（有線又は無線で）接続されたコンピューターを用いてもよい。例えば、サーバー機能を有するコンピュータやクラウド上のデータサーバーや処理サーバー、またはそれらの組み合わせであってもよい。

次に、図１（Ａ）に示すタイプの作業教育システム１の具体例を説明する。図２に、ウェアラブルディスプレイ２を備えた作業教育システム１の概略構成を示す。図２において、（Ａ）はウェアラブルディスプレイ２の上面側外観、（Ｂ）はウェアラブルディスプレイ２の正面側外観、（Ｃ）はウェアラブルディスプレイ２の下面側外観をそれぞれ示している。また、図２（Ｂ）は、作業教育システム１におけるウェアラブルディスプレイ２とパーソナルコンピューター３との関係をデータの流れで示している。

ウェアラブルディスプレイ２は、前述したシースルーディスプレイであって、画像表示装置４，レンズ９，フレーム１１等を有している。また、視線検出装置５として視線センサー５Ａ及び照明装置５Ｂを画像表示装置４と一体的に有しており、作業動作撮影装置６としてカメラ６Ａを画像表示装置４と一体的に有している。つまり、ウェアラブルディスプレイ２において視線センサー５Ａ，照明装置５Ｂ及びカメラ６Ａは一体的に設けられている。視線センサー５Ａは、学習作業者の視線を検知して視線の変動量を得ることができるようになっており、その具体例としては、トビー・テクノロジー株式会社製 Tobii Pro Glasses 2等が挙げられる。また、他の具体例としてSensoMotoric Instruments社製のEye Tracking Tracker Glass2 wireless(ETG2w)やＮＡＣ社製のモバイル型アイマークレコーダーＥＭＲ9等もあげられる。カメラ６Ａは、撮像レンズ及び撮像センサーを備えた一般的な撮像装置であるが、例えば、立体的な空間における距離データを得る場合にはステレオカメラを用いてもよい。距離画像を得る場合には、飛行時間計測が可能なカメラ（例えば、ｐｍｄ社のＰｉｃｏ ＦＬＥＸＸやＰｉｃｏ ＭＡＸＸ等）でもよい。

ウェアラブルディスプレイ２は、図２に示すように、有線又は無線によってパーソナルコンピューター３と画像表示装置４で接続されており、必要なデータの送受信が可能になっている。視線センサー５Ａで得られた視線データやカメラ６Ａで得られた動作データは、画像表示装置４からパーソナルコンピューター３へと送られ、パーソナルコンピューター３内のＨＤＤに格納されている作業マニュアル（模範作業者の作業データ）等は、パーソナルコンピューター３から画像表示装置４へと送られる。なお、パーソナルコンピューター３（処理装置７）に対する各種入力は、例えば、パーソナルコンピューター３に付属のマウス，キーボード等で行われる。

画像表示装置４は、光源，照明光学系，表示素子等を筐体内に有している。また画像表示装置４は、ホログラム光学素子等からなる接眼光学系１０も有しており、その上端部が筐体内に位置すると共に、接眼光学系１０の本体が右眼用のレンズ９の前方（学習作業者とは反対側の外界側）に位置するように配置されている。筐体内の光源や表示素子は、筐体を貫通して設けられているケーブル（不図示）を介して、回路基板と接続されており、回路基板から駆動電力，画像信号等が供給される。レンズ９は、視力矯正用のレンズであってもよいし、視力矯正を行わない単なるダミーレンズであってもよい。フレーム１１は、眼鏡のフレームに相当するものであり、作業者の頭部に装着され、画像表示装置４を支持する支持部材である。このフレーム１１は、作業者の左右の側頭部に当接するテンプルを含んでいる。

ウェアラブルディスプレイ２を学習作業者の頭部に装着し、画像表示装置４で画像を表示すると、その画像光が接眼光学系１０を介して光学瞳位置に導かれる。したがって、光学瞳位置に学習作業者の瞳を合わせれば、学習作業者は画像表示装置４の表示画像の拡大虚像を適性に観察することができ、それと同時に、学習作業者は接眼光学系１０を介して、外界像をシースルーで観察することができる。このように、画像表示装置４が支持部材としてのフレーム１１で支持されることにより、作業者は画像表示装置４によって提供される画像をハンズフリーで長時間安定して観察することができる。

次に、図１（Ａ）及び図２に示す作業教育システム１の制御動作及び作業手順を、図３のフローチャートを用いて更に具体的に説明する。なお、図１（Ｂ）に示すタイプの作業教育システム１を用いた場合には、以下に説明する実施の形態と同様の構成をウェアラブルディスプレイ２のみで実現することが可能である。

作業教育システム１による作業教育では、学習作業者が行う作業工程ごとに第１〜第３段階の処理（＃１０，＃２０，＃４０）が行われる。例えば、第１部品に第２部品をネジ止めする第１の作業工程、第１部品に第３部品をネジ止めする第２の作業工程、第１部品にワイヤーを接続する第３の作業工程、第１部品にカバーを接着固定する第４の作業工程がある場合、第１〜第４の作業工程のそれぞれにおいて第１〜第３段階の処理が行われる。以下に説明する作業工程では、３つの部品を穴に入れる工程を１つの作業工程としている。

パーソナルコンピューター３を操作して作業教育を開始すると、記憶装置８に保存されている模範作業者の作業データが画像表示装置４へと送られ、処理装置７によって第１段階の処理が行われる（＃１０）。第１段階の処理では（＃１０）、まず、図５に示す作業例の静止画データＡ１を用いた表示が行われる。この作業例の静止画データＡ１は、部品２１に設けられている３つの穴２１ａ，２１ｂ，２１ｃに３つの部品２２ａ，２２ｂ，２２ｃをそれぞれ入れる作業を表示するためのデータであり、図５ではその作業前後の状態を示している。

そして、模範作業者の作業データを用いて画像表示装置４で模範作業の内容が表示される（模範作業の提示）。例えば、図６に示す模範作業の動画データＡ２（模範作業者の作業データ）を用いた表示が行われる。この動画データＡ２は、模範作業者が部品２２ａ，２２ｂ，２２ｃを穴２１ａ，２１ｂ，２１ｃにそれぞれ入れていく過程を表示するためのデータであり、作業中の注視点（つまり視線位置）を×で示している。また、この動画データＡ２には、各画面内に表示されるテキストデータも含まれている。例えば、作業ナビゲーション及び作業経過状態として、「部品を穴に入れる（残り３）」，「部品を穴に入れる（残り１）」，「終了（残り０）」といった画面内表示のためのテキストデータが含まれている。

図１３に、第１段階での学習作業者の視野Ｓ１の一例を示す。視野Ｓ１内には現実の部品２１，２２ａ，２２ｂ，２２ｃが存在しており、その現実の外界視野と重ねて画面Ｇαがシースルー表示される。シースルー表示される画面Ｇαには、模範作業の動画データＡ２（図６）を用いた表示が行われる。ただし、以下に説明する模範作業者の作業データＢ１，Ｂ２，Ｂ３（図７〜図９）を用いた静止画表示又は動画表示を更に行うようにしてもよい。

記憶装置８には、上記模範作業の動画データＡ２（図６）の他にも、視線センサー５Ａ及びカメラ６Ａで得た模範作業者の作業データが蓄えられている。図７〜図９に、模範作業者の作業データＢ１，Ｂ２，Ｂ３のイメージを示す。作業データＢ１（図７）は、模範作業者の手の移動軌跡Ｈαのデータである。この移動軌跡Ｈαのデータは、模範作業者の手をカメラ６Ａ（図２）で撮影し、手に設けられているマーカーＭαの動きを検出することにより、模範作業者の手の動きを動作データとして得たものである。作業データＢ２（図８）は、模範作業者の作業全体での注視点分布Ｐαのデータであり、作業データＢ３（図９）は、模範作業者の視線の移動軌跡Ｅαのデータである。注視点分布Ｐαと移動軌跡Ｅαのデータは、視線センサー５Ａ（図２）で模範作業者の視線を検出することにより、その視線の動きを視線データとして得たものであり、作業中の注視点（図６中の×）の経時変化を示している。

第１段階の処理（＃１０）が完了すると、第２段階の処理へと移行する（＃２０）。第２段階の処理では（＃２０）、学習作業者の作業開始とともに学習作業者の作業が検出され、視線データ及び動作データが学習作業者の作業データとして取得される。学習作業者は、第１段階の処理における作業ナビゲーション等によって模範作業の内容を既に学習しているため、作業を容易に行うことができる。ただし、第１段階の処理で学習作業者が見ている画面Ｇα（図１３）は、画像表示装置４によってシースルー表示されたものであるため、現実の部品２１，２２ａ，２２ｂ，２２ｃを用いて行う作業では、学習作業者の作業を妨げないように、画像表示装置４は表示を行わないか、あるいは目立たない表示を行うことが好ましい。

図１４に、第２段階での学習作業者の視野Ｓ２の一例を示す。図１４（Ａ）は、画像表示装置４による表示を行わない場合の視野Ｓ２を示している。視野Ｓ２は現実の外界視野のみからなっており、画面Ｇα（図１３）のシースルー表示は消されている（つまり、画面表示がオフ状態となっている。）。表示があるとそこに目が行ってしまい正確な視線データを得ることが困難になるので、作業に集中するため表示を消して、現実の外界視野のみ観察可能とするのが好ましい。この視野Ｓ２（図１４（Ａ））では、部品２１の穴２１ａ（図５）に部品２２ａが入れられた状態が観察されるとともに、部品２１の穴２１ｃに部品２２ｃを入れる動作が観察される。なお、学習作業者の手には、その動きを動作データとして得るために、マーカーＭβが設けられている。

図１４（Ｂ）は、画像表示装置４で目立たない画面内表示ＴＸを行う場合の視野Ｓ２を示している。画面表示は「作業中」という表記からなる画面内表示ＴＸのみであって、しかも視野Ｓ２の下端に位置するため、学習作業者の作業は妨げられない。この画面内表示ＴＸは、視線を誘導しないように目立たないことが好ましいので、薄く表示したり小さく表示したり視野Ｓ２の横に表示したりしてもよい。また、「作業検出中」，「録画・視線検出中」等のように最低限必要な情報のみを含む短い表記にするのが好ましい。

第２段階の処理では（＃２０）、画像表示装置４によるシースルー表示をオフする代わりに、画像表示装置４の接眼光学系１０（図２）を学習作業者の眼前から退避させるようにしてもよい。図４に、可動型の画像表示装置４を有するウェアラブルディスプレイ２の具体例を示す。図４（Ａ）は接眼光学系１０が学習作業者の眼ＥＹの前に挿入された状態（画面表示のオン状態）を示しており、図４（Ｂ）は接眼光学系１０が学習作業者の眼ＥＹの前から退避した状態を示している。

このウェアラブルディスプレイ２（図４）には、視線センサー５Ａの代わりに赤外カメラ５ａがレンズ９に設けられており、照明装置５Ｂの代わりに赤外ＬＥＤ５ｂがフレーム１１に設けられている。そして、画像表示装置４がフレーム１１を中心にヒンジで回転可能（自動又は手動）になっている。画像表示装置４を回転させることによって、学習作業者の視野に対して接眼光学系１０の挿入と退避の切り替えを行っても、赤外カメラ５ａ，赤外ＬＥＤ５ｂ及びカメラ６Ａの位置は変化しない。したがって、学習作業者の作業中でも作業を妨げることなく作業の検出が可能であり、視線データ及び動作データを取得することができる。

なお、画像表示装置４が可動型（図４）であれば、ウェアラブルディスプレイ２のシースルー性は必ずしも必要でない。しかし、第１段階の処理において現実の外界視野と重ねて画面Ｇαをシースルー表示することは、模範作業の内容を理解するうえで有効である。したがって、ウェアラブルディスプレイ２は両眼での外界視野の観察を可能とするシースルー性を有することが好ましい。

図１０〜図１２に、学習作業者の作業データＣ１，Ｃ２，Ｃ３のイメージを示す。作業データＣ１（図１０）は、学習作業者の手の移動軌跡Ｈβのデータである。この移動軌跡Ｈβのデータは、学習作業者の手をカメラ６Ａで撮影し、手に設けられているマーカーＭβの動きを検出することにより、学習作業者の手の動きを動作データとして得たものである。作業データＣ２（図１１）は、学習作業者の作業全体での注視点分布Ｐβのデータであり、作業データＣ３（図１２）は、学習作業者の視線の移動軌跡Ｅβのデータである。注視点分布Ｐβと移動軌跡Ｅβのデータは、視線センサー５Ａ又は赤外カメラ５ａで学習作業者の視線を検出することにより、学習作業者の視線の動きを視線データとして得たものであり、作業中の注視点の密度と経時変化をそれぞれ示している。なお、視線センサー５Ａ（又は赤外カメラ５ａ）及びカメラ６Ａで得た学習作業者の作業データは、記憶装置８に蓄えられる。

第２段階の処理（＃２０）が完了すると、第３段階の処理（＃４０）へと移行するか否かの判定を行う（＃３０）。つまり、処理装置７は、模範作業者の作業データと学習作業者の作業データとの比較を行い（＃３０）、模範作業者と学習作業者との視線データ又は動作データに関する差異が予め設定されている値よりも大きいと判定した場合には第３段階の処理を行い（＃４０）、それ以外の場合には次工程へ進むか否かの判定（＃６０）へと移行する。なお、判定（＃３０）で用いる学習作業者の作業データは、記憶装置８に蓄えられる前のものでもよく、記憶装置８に蓄えられた後のものでもよい。また、比較・判定の処理（＃３０）及びその結果に基づく第３段階の処理（＃４０）等の制御は、パーソナルコンピューター３又は画像表示装置４に搭載されているＣＰＵで行われる。

第３段階の処理では（＃４０）、画像表示装置４で模範作業者と学習作業者との視線又は作業動作の違いを表示する。例えば、処理装置７が、模範作業者の作業データと学習作業者の作業データとの比較により、模範作業者と学習作業者との視線データに関する差異が予め設定されている値よりも大きいと判定した場合、第３段階の処理（＃４０）で少なくとも視線の違いの表示を行う。つまり、視線の違いの表示のみを行ってもよく、視線の違いと作業動作の違いの両方の表示を行ってもよい。処理装置７が、模範作業者の作業データと学習作業者の作業データとの比較により、模範作業者と学習作業者との動作データに関する差異が予め設定されている値よりも大きいと判定した場合、第３段階の処理（＃４０）で少なくとも作業動作の違いの表示を行う。つまり、作業動作の違いの表示のみを行ってもよく、視線の違いと作業動作の違いの両方の表示を行ってもよい。したがって、処理装置７が、模範作業者の作業データと学習作業者の作業データとの比較により、模範作業者と学習作業者との視線データ及び動作データに関する差異が予め設定されている値よりも大きいと判定した場合には、第３段階の処理（＃４０）で視線及び作業動作の違いの表示を行うことになる。

図１５に、第３段階での学習作業者の視野Ｓ３の一例を示す。視野Ｓ３内には現実の部品２１，２２ａ，２２ｂ，２２ｃが存在しており、その現実の外界視野と重ねて画面Ｇβがシースルー表示される。シースルー表示される画面Ｇβには、模範作業者の作業データＢ１，Ｂ２，Ｂ３（図７〜図９）と、学習作業者の作業データＣ１，Ｃ２，Ｃ３（図１０〜図１２）と、の両方を用いた差異表示（静止画表示又は動画表示）として、模範作業者と学習作業者との視線の違い、模範作業者と学習作業者との作業動作の違い、又はその両方の違いが表示される。

図１６〜図１８に、シースルー表示される画面Ｇβ（図１５）として、差異表示画面Ｇ１，Ｇ２，Ｇ３の具体例を示す。差異表示画面Ｇ１（図１６）では、模範作業者の手の移動軌跡Ｈα（一点鎖線）と学習作業者の手の移動軌跡Ｈβ（実線）の両方を同時に表示することにより、模範作業者と学習作業者との作業動作の違いを表示しており、また、画面Ｇ１内に「模範作業者の手の動き」，「あなたの手の動き」等の凡例を表示している。したがって、学習作業者は、模範作業者との手の動きの違いを、作業のコツとして知ることができる。なお、手の動きに関する差異が予め設定されている値よりも大きいと判定した部分について、その旨を提示する表示（テキスト表示，色分け表示等）を更に行うようにしてもよい。

差異表示画面Ｇ２（図１７）では、模範作業者の作業全体での注視点分布Ｐα（一点鎖線）と学習作業者の作業全体での注視点分布Ｐβ（実線で囲まれた斜線部分）の両方を同時に表示することにより、模範作業者と学習作業者との視線の違いを表示しており、また、画面Ｇ２内に「模範作業者の注視点分布」，「あなたの注視点分布」等の凡例を表示している。したがって、学習作業者は、模範作業者との注視点（じっと見ている位置）の違いを、作業のコツとして知ることができる。なお、注視点分布に関する差異が予め設定されている値よりも大きいと判定した部分について、その旨を提示する表示（テキスト表示，色分け表示等）を更に行うようにしてもよい。

差異表示画面Ｇ３（図１８）では、模範作業者の視線の移動軌跡Ｅα（一点鎖線）と学習作業者の視線の移動軌跡Ｅβ（実線）の両方を同時に表示することにより、模範作業者と学習作業者との視線の違いを表示しており、また、画面Ｇ３内に「模範作業者の視線の動き」，「あなたの視線の動き」等の凡例を表示している。したがって、学習作業者は、模範作業者との視線の動きの違いを、作業のコツとして知ることができる。なお、視線の移動軌跡に関する差異が予め設定されている値よりも大きいと判定した部分について、その旨を提示する表示（テキスト表示，色分け表示等）を更に行うようにしてもよい。

模範作業者と学習作業者との動作データに関する差異は（図１６）、例えば、手の移動軌跡Ｈαと移動軌跡Ｈβとの空間的な位置ズレとして、設定値との比較・判定に用いられる。手の移動軌跡Ｈα，Ｈβの空間的な位置ズレは、例えば、移動軌跡Ｈα，Ｈβが大きく曲がる位置で比較することができ、また、部品２１（図１５）に対する立体的な空間位置の差として、距離（例えば、ピクセル単位，ｍｍ単位）で算出することができる。立体的な空間位置の差が３次元情報であることから、その計測は例えばステレオカメラ等を用いて行うことができる。ただし、手の移動軌跡Ｈαと移動軌跡Ｈβとの空間的な位置ズレが平面的な位置ズレとほとんど変わらない場合には、平面上での部品２１に対する位置の差として、距離（例えば、ピクセル単位，ｍｍ単位）で算出してもよい。

したがって、例えば、移動軌跡Ｈα，Ｈβが大きく曲がる位置で、移動軌跡Ｈαと移動軌跡Ｈβとの空間的又は平面的な位置ズレが、設定値：３００ピクセルよりも大きいと判定した場合（模範作業者と学習作業者との動作データに関する差異が予め設定されている値よりも大きい場合）、第３段階の処理として、差異表示画面Ｇ１で模範作業者と学習作業者との作業動作の違いを表示する（＃４０）。手の移動軌跡Ｈαは、模範作業者がどういう経路で手を動かしているかを示しているので、その違いを学習作業者が知ることによって、その違いが小さくなるように作業にフィードバックさせることができる。

模範作業者と学習作業者との視線データに関する差異は（図１７）、例えば、作業全体での注視点分布Ｐαと注視点分布Ｐβとの重なり量（％）として、設定値（例えば、５０％）との比較・判定に用いられる。例えば、重なり量が５０％以下と判定した場合（模範作業者と学習作業者との視線データに関する差異が予め設定されている値よりも大きい場合）、第３段階の処理として、差異表示画面Ｇ２で模範作業者と学習作業者との視線の違いを表示する（＃４０）。注視点分布Ｐαは、模範作業者がどの部分を注視しているかを示しているので、その違いを学習作業者が知ることによって、その違いが小さくなるように作業にフィードバックさせることができる。

模範作業者と学習作業者との視線データに関する差異は（図１８）、例えば、視線の移動軌跡Ｅαと移動軌跡Ｅβとの重なり量（％）として、設定値（例えば、５０％）との比較・判定に用いられる。例えば、移動軌跡の重なり量が５０％以下と判定した場合（模範作業者と学習作業者との視線データに関する差異が予め設定されている値よりも大きい場合）、第３段階の処理として、差異表示画面Ｇ３で模範作業者と学習作業者との視線の違いを表示する（＃４０）。また、模範作業者と学習作業者との動作データに関する差異と同様、例えば、移動軌跡Ｅα，Ｅβが大きく曲がる位置で、移動軌跡Ｅαと移動軌跡Ｅβとの空間的又は平面的な位置ズレが、設定値：３００ピクセルよりも大きいと判定した場合（模範作業者と学習作業者との視線データに関する差異が予め設定されている値よりも大きい場合）、第３段階の処理として、差異表示画面Ｇ３で模範作業者と学習作業者との視線の違いを表示するようにしてもよい（＃４０）。視線の移動軌跡Ｅαは、模範作業者がどういう順番で見ているかを示しているので、その違いを学習作業者が知ることによって、その違いが小さくなるように作業にフィードバックさせることができる。

第３段階の処理（＃４０）が完了すると、作業のやり直しを行うか否かの判定を行う（＃５０）。つまり、学習作業者がパーソナルコンピューター３に対する入力操作により、視線又は作業動作の違いを小さくするために作業のやり直しを行うことを指示した場合、第２段階の処理（＃２０）に戻る。それ以外の場合には次工程へ進むか否かの判定（＃６０）へと移行する。学習作業者がパーソナルコンピューター３に対する入力操作により、次工程の作業教育を行うことを指示した場合、次工程の作業教育（＃７０：＃１０〜＃５０）を行った後、判定（＃６０）に戻る。それ以外の場合には作業教育を終了する。

上述したように、作業教育システム１を構成するウェアラブルディスプレイ２は、学習作業者の眼前に作業情報を表示する画像表示装置４と、学習作業者の視線を検出して視線データとして出力する視線センサー５Ａ等の視線検出装置５と、学習作業者の作業動作を撮影して動作データとして出力するカメラ６Ａ等の作業動作撮影装置６と、を備えている（図１）。しかし、視線検出装置５と作業動作撮影装置６のいずれか少なくとも一方を備えていれば、第２段階の処理（＃２０）で視線データ又は動作データを学習作業者の作業データとして取得することができる。したがって、第３段階の処理（＃４０）で模範作業者と学習作業者との視線又は作業動作の違いを表示することが可能である。

模範作業者と学習作業者との視線又は作業動作の違いを表示することにより、模範作業者と学習作業者との作業における違いが学習作業者ごとに明確になるため、学習作業者は作業のコツを容易につかむことが可能である。したがって、学習作業者は短時間で作業に習熟することができる。例えば、作業内容を全く知らない学習作業者でも、模範作業者から直接指導を受けずに、模範作業者と同等の作業を短時間で行うことができるようになる。また、教育の自動化が可能になるため、模範作業者の指導時間の削減や多くの学習作業者に対する同時教育が可能となり、作業・技術を迅速かつ効果的に伝えていくことが可能となる。

一般的な作業ナビゲーションでは、学習作業者が表示画面の作業内容を見ながら作業を行うことになるので、視線は表示画面と現実の外界視野とを往復することになる。それに対して作業教育システム１の場合、第１，第３段階の処理（＃１０，＃４０）では、学習作業者は画像表示装置４による表示を見ているため、その視線方向は表示画面の方向のみとなるが、第２段階の処理（＃２０）では、学習作業者は作業を行っているため、その視線方向は現実の外界視野（主に作業対象）の方向のみとなる。上記のように作業工程を３つの段階に分けると、視線移動を明確に切り分けることができるため、例えば、第２段階の処理（＃２０）で学習作業者の視線データを取得することが可能となり、第３段階の処理（＃４０）で模範作業者と学習作業者との視線の違いを表示することが可能となる。したがって、この段階分けは視線検出を行う場合にとりわけ有効である。また、作業工程を３つの段階に分けると、作業直後のフィードバック（振り返り）により直前の作業についての指導が可能となるため、学習作業者は作業工程ごとに作業に習熟することができるという効果もある。

上述した作業教育システム１のように、処理装置７が、模範作業者の作業データと学習作業者の作業データとの比較により（＃３０）、模範作業者と学習作業者との視線データ又は動作データに関する差異が予め設定されている値よりも大きいと判定した場合、第３段階の処理（＃４０）を行うことが好ましい。比較・判定の処理（＃３０）を行わずに第３段階の処理を行っても、視線又は作業動作の違いから学習作業者は作業のコツを容易につかむことは可能である。しかし、上記比較・判定の処理（＃３０）を行えば、視線の違いも作業動作の違いも無い場合、学習作業者は不要な表示を見る必要がなくなる。したがって、より効率的な作業教育が可能となる。

模範作業者の作業データのうち、動作データには動作の方向，速度等を含めることができるため、作業内容だけでなく、単なる作業ナビゲーションでは表現しにくい作業のコツをも表現することができる。また、作業動作の違いを表示することにより、模範作業者と同じように行ったつもりでも実際には動作が異なっていることを学習作業者に示すことができる。このように動作データは作業と密接な関係にあるが、作業のコツは視線にも表れるため視線データも重要である。例えば、どこに注目すべきかが注視点から分かるので、作業のコツがつかみ易くなる。また、視線の違いを表示することにより、見るべきところを見ているかどうかを学習作業者に示すことができる。

上記視線データと動作データの各特長から、より早い習熟を可能とするには、第２段階の処理（＃２０）で視線データ及び動作データを学習作業者の作業データとして取得し、模範作業者と学習作業者との視線の違いと作業動作の違いの両方を表示することが好ましい。また、上記比較・判定の処理（＃３０）により、模範作業者と学習作業者との視線データに関する差異が予め設定されている値よりも大きいと判定した場合にのみ第３段階の処理（＃４０）を行ったり、模範作業者と学習作業者との動作データに関する差異が予め設定されている値よりも大きいと判定した場合にのみ第３段階の処理（＃４０）を行ったりしてもよい。

１ 作業教育システム
２ ウェアラブルディスプレイ
３ パーソナルコンピューター
４ 画像表示装置
５ 視線検出装置
５Ａ 視線センサー
５Ｂ 照明装置
５ａ 赤外カメラ
５ｂ 赤外ＬＥＤ
６ 作業動作撮影装置
６Ａ カメラ
７ 処理装置
８ 記憶装置
９ レンズ
１０ 接眼光学系
１１ フレーム
２１ 部品
２１ａ，２１ｂ，２１ｃ 穴
２２ａ，２２ｂ，２２ｃ 部品
Ａ１ 作業例の静止画データ
Ａ２ 模範作業の動画データ
Ｂ１，Ｂ２，Ｂ３ 模範作業者の作業データ
Ｃ１，Ｃ２，Ｃ３ 学習作業者の作業データ
Ｍα，Ｍβ マーカー
Ｈα，Ｈβ 手の移動軌跡
Ｐα，Ｐβ 注視点分布
Ｅα，Ｅβ 視線の移動軌跡
Ｓ１，Ｓ２，Ｓ３ 学習作業者の視野
Ｇα，Ｇβ 画面
Ｇ１，Ｇ２，Ｇ３ 差異表示画面
ＴＸ 画面内表示

Claims (9)

1. 学習作業者の眼前に作業情報を表示する画像表示装置と、学習作業者の視線を検出する視線検出装置と、学習作業者の作業動作を撮影する作業動作撮影装置と、を有するウェアラブルディスプレイと、
   模範作業者の作業データが蓄えられた記憶装置と、
   前記画像表示装置で表示される作業情報を生成する処理装置と、
   を備えた作業教育システムであって、
   前記処理装置が、
   前記模範作業者の作業データを用いて前記画像表示装置で模範作業を表示する第１段階の処理と、
   前記視線検出装置及び作業動作撮影装置で学習作業者の作業を検出し、学習作業者の作業データを取得する第２段階の処理と、
   前記画像表示装置で模範作業者と学習作業者との作業データの違いを表示する第３段階の処理と、
   を行うことを特徴とする作業教育システム。
2. 前記作業データが、視線の動きを示す視線データ、手の動きを示す動作データ、又はそれらの組み合わせであることを特徴とする請求項１記載の作業教育システム。
3. 前記処理装置が、前記模範作業者の作業データと前記学習作業者の作業データとの比較により、模範作業者と学習作業者との視線データに関する差異が予め設定されている値よりも大きいと判定した場合、前記第３段階の処理で少なくとも視線の違いの表示を行い、
   前記処理装置が、前記模範作業者の作業データと前記学習作業者の作業データとの比較により、模範作業者と学習作業者との動作データに関する差異が予め設定されている値よりも大きいと判定した場合、前記第３段階の処理で少なくとも作業動作の違いの表示を行うことを特徴とする請求項２記載の作業教育システム。
4. 前記ウェアラブルディスプレイにおいて前記視線検出装置が一体的に設けられていることを特徴とする請求項１〜３のいずれか１項に記載の作業教育システム。
5. 前記ウェアラブルディスプレイにおいて前記作業動作撮影装置が一体的に設けられていることを特徴とする請求項１〜４のいずれか１項に記載の作業教育システム。
6. 前記作業動作撮影装置が、静止画撮影，動画撮影のうちの少なくとも一方の機能を有することを特徴とする請求項１〜５のいずれか１項に記載の作業教育システム。
7. 前記第２段階の処理では学習作業者の作業を妨げないように、前記画像表示装置が表示を行わないか、あるいは目立たない表示を行うことを特徴とする請求項１〜６のいずれか１項に記載の作業教育システム。
8. 前記ウェアラブルディスプレイと接続されたコンピューターを更に備え、前記記憶装置及び処理装置を前記コンピューターに有することを特徴とする請求項１〜７いずれか１項に記載の作業教育システム。
9. 前記記憶装置及び処理装置を前記ウェアラブルディスプレイに有することを特徴とする請求項１〜８のいずれか１項に記載の作業教育システム。

Images