JP2020014057A - 頭部搭載型表示装置、検査支援表示システム、表示方法及び表示プログラム - Google Patents

Abstract

【課題】作業の細部の確認を容易にすることができる。【解決手段】 頭部搭載型表示装置は、ユーザの視界中に電子映像の虚像による仮想表示領域を形成する表示部と、上記ユーザの視界の一部又は全部を含む撮像範囲を撮像する撮像部と、上記撮像部による撮像画像に対する信号処理によって上記撮像画像中の要観察範囲を判定する観察対象判定部と、上記撮像画像中の上記要観察範囲の画像部分を上記仮想表示領域に表示させる表示制御部と、を具備する。【選択図】図１

Description

本発明は、作業を確実、効率的に支援する頭部搭載型表示装置、検査支援表示システム、表示方法及び表示プログラムに関する。

従来、シースルー光学系を採用した眼鏡型表示装置等の頭部搭載型表示装置が開発されている。シースルー光学系を採用した頭部搭載型表示装置は、外界の視界を遮ることなく各種情報の表示が可能である。この種の頭部搭載型表示装置として、小型・軽量で、電気回路を眼鏡の片方のツルに収納し、仮想表示領域を装着者の視野の一部に配置するように構成された眼鏡型表示装置も開発されている。仮想表示領域は、例えば、視界内の一部の領域に配置した表示部に、表示コントローラによって生成した情報画像（電子映像の虚像）を表示することで得られる。

このような眼鏡型表示装置は、装着者に、眼鏡のレンズ越しに得られる外界視界（以下、実視界という）と、仮想表示領域において得られる視界（以下、仮想表示視界という）とを与えることができる。つまり、使用者は、実視界において外界の状況を視認することができると同時に、仮想表示視界において表示部に表示された情報画像を視認して各種情報を取得することができる。

このような表示装置は、仮想表示領域に外界の状況に関する例えば補助的な情報等を表示させることもでき、各種作業を確実且つ効率的に支援する作業支援装置としても有用である。また、作業をより効果的に支援するために、作業の様子を撮影するカメラが取り付けられた頭部搭載型表示装置も利用されている。

なお、特許文献１においては、表示部材の左右方向及び上下方向の位置調整、煽り角調整が可能なウェアラブルディスプレイが開示されている。

特開２０１７−２２６６８号公報

ところで、眼鏡型等の頭部搭載型表示装置においては、顔の動きに応じて頭部搭載型表示装置も動き、取り付けられたカメラの撮影範囲は、顔の向きに応じたものとなる。また、取り付けられたカメラで撮影する対象としては、装着者が行っている作業である場合が多いと考えられる。従って、カメラレンズの光軸方向を実視界の略中央に向けるようにカメラを頭部搭載型表示装置に取付ければよいと考えられる。

しかしながら、通常、視線方向は顔の向きよりも変化が大きい。例えば、手元の作業時においては、一般に、顔の向きに比べて、視線の向きをより下方に向ける傾向がある。従って、カメラレンズの光軸方向を実視界の所定の位置に向けるためには、カメラの取付け角度を視線の動きに合わせて調整する必要があるが、視線の動きは極めて高速であり、このような調整は容易ではない。

そこで、作業箇所を確実に撮影するために、カメラの画角を広角にして、十分な視野範囲を撮影できるようにすることが考えられる。しかしながら、カメラの画角を広角にすると、表示された撮像画像では作業の細部を確認することが困難な場合があるという問題があった。

本発明は、作業の細部の確認を容易にすることができる頭部搭載型表示装置、検査支援表示システム、表示方法及び表示プログラムを提供することを目的とする。

本発明の一態様による頭部搭載型表示装置は、ユーザの視界中に電子映像の虚像による仮想表示領域を形成する表示部と、上記ユーザの視界の一部又は全部を含む撮像範囲を撮像する撮像部と、上記撮像部による撮像画像に対する信号処理によって上記撮像画像中の要観察範囲を判定する観察対象判定部と、上記撮像画像中の上記要観察範囲の画像部分を上記仮想表示領域に表示させる表示制御部と、を具備する。

本発明の一態様による検査支援表示システムユーザの視界中に電子映像の虚像による仮想表示領域を形成する表示部と、上記ユーザの作業対象を含む撮像範囲を撮像する撮像部と、を有する頭部搭載型表示装置と、上記撮像部による撮像画像に対する信号処理によって上記撮像画像中の上記作業対象を含む要観察範囲を判定する観察対象判定部と、上記撮像画像中の上記要観察範囲の画像部分を拡大表示させるための表示制御部と、を有する作業判定装置と、を具備する。

本発明の一態様による表示方法は、ユーザの視界中に電子映像の虚像による仮想表示領域を形成する表示ステップと、上記ユーザの視界の一部又は全部を含む撮像範囲を撮像する撮像ステップと、上記撮像ステップによる撮像画像に対する信号処理によって上記撮像画像中の要観察範囲を判定する観察対象判定ステップと、上記撮像画像中の上記要観察範囲の画像部分を上記仮想表示領域に表示させる表示制御ステップと、を具備する。

本発明の一態様による表示プログラムは、コンピュータに、ユーザの視界中に電子映像の虚像による仮想表示領域を形成する表示ステップと、上記ユーザの視界の一部又は全部を含む撮像範囲を撮像する撮像ステップと、上記撮像ステップによる撮像画像に対する信号処理によって上記撮像画像中の要観察範囲を判定する観察対象判定ステップと、上記撮像画像中の上記要観察範囲の画像部分を上記仮想表示領域に表示させる表示制御ステップと、を実行させる。

本発明によれば、作業の細部の確認を容易にすることができるという効果を有する。

本発明の第１の実施の形態に係る頭部搭載型表示装置を示すブロック図。 図１の頭部搭載型表示装置の外観の一例を模式的に示す説明図。 ウェアラブル端末１０の各部と顔との位置関係を示す説明図。 視界を説明するための説明図。 観察対象範囲判定部１１ｃによる要観察範囲の判定を説明するための説明図。 機械学習によって要観察範囲を判定する場合に用いる辞書の生成方法を説明するための説明図。 第１の実施の形態の動作を説明するためのフローチャート。 ウェアラブル端末装置を利用して行う作業の一例を示す説明図。 作業中における電子映像の虚像を説明するための説明図。 エビデンス記録部１５に記録される内容を説明するための説明図。 視線と撮影方向との関係を説明するための説明図。 視線と撮影方向との関係を説明するための説明図。 撮像部１２の撮影方向を変更可能な構成の一例を示す説明図。 撮像部１２の撮影方向を変更可能な構成の一例を示す説明図。 撮像部１２の撮影方向を変更可能な構成の一例を示す説明図。 撮像部１２の撮影方向を変更可能な構成の一例を示す説明図。 本発明の第２の実施の形態を示すブロック図。 ＤＢ１６に記録されている情報の一例を示す説明図。 作業判定装置の動作を示すフローチャート。 ウェアラブル端末装置の動作を示すフローチャート。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る頭部搭載型表示装置を示すブロック図である。図２は図１の頭部搭載型表示装置の外観の一例を模式的に示す説明図である。図２はウェアラブル端末装置である眼鏡型表示装置によって頭部搭載型表示装置を構成した例を示している。

本実施の形態における頭部搭載型表示装置は、現実世界の観察対象物からの直接又は光学系を介した光の知覚による像（実視界像）が得られる視界（実視界）と画像信号が与えられた表示部の表示画像（電子映像の虚像）によって形成される仮想表示領域において得られる視界（仮想表示視界）とを得るものである。本実施の形態においては、頭部搭載型表示装置は画角が十分に広角な撮像部を有しており、撮像部が撮像して得た撮像画像を電子映像の虚像として表示部に表示することができる。この場合において、本実施の形態においては、例えば、作業者が確実な観察をすべきと考える作業の細部等の画像部分（以下、要観察範囲という）を自動的に判定して、当該要観察範囲の拡大画像を表示することにより、作業の細部の確認を容易にし、作業を効果的に支援することを可能にするものである。

ウェアラブル端末装置１０は制御部１１を備えている。制御部１１は、ウェアラブル端末装置１０の各部を制御する。制御部１１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。

ウェアラブル端末装置１０は撮像部１２を有している。撮像部１２は、例えば、図示しないイメージセンサによって構成される。制御部１１には、撮像制御部１１ａが設けられている。撮像制御部１１ａは、撮像部１２の駆動を制御すると共に、撮像部１２によって取得された撮像画像を取り込む。撮像部１２は、ウェアラブル端末装置１０を装着する装着者の視界の例えば略全域を含む範囲を撮像範囲として観察対象を撮像し、撮像画像を制御部１１に出力するようになっている。

制御部１１は、撮像部１２によって取得された撮像画像に圧縮処理を施し、圧縮後の撮像画像をエビデンス記録部１５に与えて記録することができるようになっている。

制御部１１には表示制御部１１ｂが設けられている。表示制御部１１ｂは、表示に関する各種処理を実行する。表示制御部１１ｂは、例えば、ビデオコントローラやディスプレイコントローラ等によって構成することができ、制御部１１から移動できるように構成されていてもよい。表示制御部１１ｂは、表示部１３の表示を制御する。表示制御部１１ｂは、撮像部１２によって取得された撮像画像を表示部１３に与えて表示させることもできる。また、表示制御部１１ｂは、エビデンス記録部１５からの情報画像を表示部１３に表示させることもできる。

また、ウェアラブル端末装置１０には図示しない操作部が設けられている。操作部は図示しないスイッチやボタン等によって構成されており、ユーザ操作を受け付け、ユーザ操作に基づく操作信号を制御部１１に供給するようになっている。制御部１１は操作部からの操作信号に基づいて動作する。なお、図２の例では、操作部としてマイクロホンにより構成された音声入力部１７を採用している。音声入力部１７は、周囲音を収音して、収音した音声信号を制御部１１に供給するようになっている。制御部１１は音声入力部１７によって収音した音声に対する音声認識処理によって、ユーザの操作を受け付けることができるようなっている。こうして、装着者等の発話に応じて制御部１１が各部を制御することができるようになっている。

ウェアラブル端末装置１０には、音声出力部１８が設けられている。音声出力部１８は、制御部１１に制御されて、警告音や各種メッセージを音声出力することができるようになっている。

本実施の形態においては、作業支援を行うための各種情報を記憶するデータベース（ＤＢ）１６を有している。ＤＢ１６は、例えば作業情報を記憶する作業情報ＤＢ１６ａ及び画像情報を記憶する画像ＤＢ１６ｂを含む。作業情報ＤＢ１６ａには、複数の作業に関する各種の情報が含まれる。また、画像ＤＢ１６ｂには、作業情報ＤＢ１６ａに記録される各種情報に関連する画像データ集である。

対象物判定部１１ｅは、撮像部１２によって取得された画像データと、ＤＢ１６に予め蓄積されている情報とに基づいて、画像データに含まれる所定の対象物の種類や部位，形状，大きさ，個数，状態等の所定の条件の対象物を判定して検出する。なお、対象物判定部１１ｅは、例えばオートフォーカス機構を利用して、撮像部と対象物との間の距離と撮像素子サイズとの関係から、撮像素子の受光面上に結像された対象物のサイズにより、対象物の大きさを判定することも可能である。

作業判定部１１ｄは、撮像部１２によって取得された画像データと、ＤＢ１６に予め蓄積されている情報と、対象物判定部１１ｅによって取得された判定結果情報等に基づいて、実行された作業の種類及び当該作業に関する各種検査項目の確認及び判定を行うようになっている。なお、作業判定部１１ｄが行う判定には、例えば、作業に用いるツールの種類の判定や、各作業の種類の判定等が含まれる。

ガイド部１１ｆは、撮像部１２によって取得された画像データと、ＤＢ１６に予め蓄積されている情報とに基づいて、実行された作業に関するガイド表示や、次に行うべき作業のガイド表示等を行うためのガイド情報を生成するようになっている。このガイド情報は、表示制御部１１ｂによって、表示部１３に表示されるようになっている。

制御部１１は、撮像部１２によって取得された画像データと、ＤＢ１６に蓄積されている情報とを用いて、作業判定部１１ｄの判定により判定された作業と、この作業に関連する作業情報を関連付けてエビデンス記録部１５に記録させるようになっている。

図２は図１のウェアラブル端末装置１０の外観を説明するためのものである。図２のウェアラブル端末装置１０は、実視界と仮想表示視界とを同時に得る光学系として、実視界については眼鏡のレンズや空気等の透明なものを介して得るシースルー光学系を採用した例を示している。また、シースルー光学系としては、ハーフミラーを用いて、表示部からの光と実視界からの光とを目に入射するものや、瞳のサイズよりも小さい表示部を用いることで、表示部により形成される仮想表示領域においても実視界の像（実視界像）が知覚可能な瞳分割方式を採用したもの等がある。本実施の形態においては、瞳分割シースルー光学系を用いた例を示しているが、実視界と仮想表示視界とが同時に得られるものであれば、どのようなシースルー光学系を採用してもよい。

ウェアラブル端末装置１０は、図１の回路を内蔵した筐体をユーザの身体の一部に取り付けるための支持部を有しており、ユーザの顔の動きに合わせて変位自在である。例えば、ウェアラブル端末装置１０が眼鏡型で構成された場合には、図２に示すように、眼鏡フレーム２１のツル部分が支持部となり、ユーザの顔４１の動きに合わせて、ウェアラブル端末装置１０全体が移動する。

眼鏡フレーム２１の一部には、図１の制御部１１、撮像部１２、エビデンス記録部１５及びデータベース（ＤＢ）１６と表示部１３の一部を構成する各回路が収納される回路収納部２２が取り付けられている。回路収納部２２の先端には、装着者の視界の全てを含む範囲を撮像する撮像部１２を構成する撮像レンズ１２ａが配設されている。被写体からの光学像は、撮像レンズ１２ａを介して回路収納部２２内に設けられた撮像部１２の撮像素子に与えられる。この撮像素子によって、被写体光学像に基づく撮像画像を取得することができる。

図２の例では、撮像レンズ１２ａは、眼鏡フレーム２１のツル部分の先端に取り付けられた回路収納部２２に設けられている。ツル部分は人物の顔４１と略同じ向きを向いており、撮像部１２は、人の右目４２Ｒ及び図示しない左目による視界の例えば略全てを含む視野範囲の被写体を撮像することが可能である。これにより、撮像部１２は、人が観察している作業状態に対応する画像を撮像画像として取得することが可能である。

眼鏡フレーム２１の左右のリムに嵌込まれる左右のレンズのうち右レンズの前方側には、回路収納部２２に支持された導光部１３ｂが設けられている。また、回路収納部２２の側面には、導光部１３ｂの入射面に向かって映像光を出射する表示パネル１３ａが配設されている。表示パネル１３ａ及び導光部１３ｂによって表示部１３が構成される。導光部１３ｂの出射面は、人物が顔４１に眼鏡フレーム２１を装着した状態で、右目４２Ｒの前方であって右レンズの一部の領域に対応する位置に配置されるようになっている。

回路収納部２２内に収納された表示制御部１１ｂは、制御部１１によって処理した映像信号を表示部１３に与え、表示部１３は、この映像信号に基づく映像光を表示パネル１３ａから導光部１３ｂの入射面に向かって出射する。図２では、表示パネル１３ｂの表示面の向く方向を矢印Ｘ２で示している。映像光は矢印Ｘ２にて示すように導光部１３ｂ内を導光される。導光部１３ｂ内の端部１３ｘには、導光部１３ｂ内を矢印Ｘ２方向に導かれた光を、矢印Ｘ１方向へと折り曲げて導く図示しない光屈曲部材（プリズム等）が配設されている。光屈曲部材によって、導光部１３ｂ内を導光された光は、矢印Ｘ１方向に向きを変えて、顔４１の一方の右目４２Ｒ側に出射される。こうして、右目４２Ｒによる視界の一部の右目４２Ｒから所定距離に知覚される仮想表示領域に、制御部１１からの映像信号に基づく情報画像（電子映像の虚像）が視認されることになる。

右目４２Ｒの視野範囲内において、導光部１３ｂは例えば４ｍｍ以下の細幅に構成されており、右目４２Ｒは導光部１３ｂによって遮られることなく、前方の観察対象物を観察可能である。即ち、眼鏡型表示装置は、シースルーで観察対象を直接観察することを妨げず、直接観察による観察対象と視界の一部の仮想表示領域に見える情報画像とを同時に観察することができるように構成されている。例えば、眼鏡型表示装置であるウェアラブル端末装置１０を装着したユーザは、各種作業時に、作業の状況を直接観察すると同時に、作業の手順書等に基づく情報画像を観察することも可能である。しかも、ウェアラブル端末装置１０は、ハンズフリーの機器であるから、作業及び観察に際して手足の動作が制限されることはないので、両手を駆使して作業性を損なうことなく情報画像の観察が可能である。なお、用途や利用シーンに応じて条件は異なるため、導光部１３ｂを構成する部材の幅は適宜設定可能である。

図３Ａはウェアラブル端末装置１０の各部と顔との位置関係を示す説明図である。

表示部１３は、図Ａ３に示すように、顔４１の右目４２Ｒ前方に配置された導光部１３ｂによって、表示制御部１１ｂからの情報画像を視認可能とする。図Ａ３における右目４２Ｒ及び左目４２Ｌをそれぞれ囲む破線は左右の目４２Ｒ，４２Ｌによる視界５１Ｒ，５１Ｌを示している。

図３Ｂはこの視界を説明するための説明図である。左視界５１Ｌは左目４２Ｌによる視界を示し、右視界５１Ｒは右目４２Ｒによる視界を示している。左視界５１Ｌは図示しない左レンズ（素通しガラスでもよく、ガラスがなくてもよい）を通過した光による実視界であり、右視界５１Ｒは図示しない右レンズ（素通しガラスでもよく、ガラスがなくてもよい）を通過した実視界である。なお、右視界５１Ｒと左視界５１Ｌとは相互に重なる領域を有する。右視界５１Ｒの一部に、導光部１３ｂの出射面からの光による仮想表示視界５２が設けられる。仮想表示視界５２では、右目４２Ｒから所定距離離れた位置に虚像の表示が行われる。

図３Ｂに示すように、本実施の形態においては、撮像部１２により撮像される撮像範囲（視野範囲）をカメラ視界５５として示してある。なお、図３Ｂの例では、撮像部１２によるカメラ視界５５は、左右の視界５１Ｌ，５１Ｒの全ての領域を含んでいると共に、仮想表示視界５２の全範囲を含んでいる。

左右の視界５１Ｌ，５１Ｒは、ウェアラブル端末装置１０を装着した作業者が観察対象をシースルー光学系を介して知覚できる実視界であり、仮想表示視界５２はウェアラブル端末装置１０の表示制御部１１ｂからの情報画像を視認できる人工的な視界である。従って、ウェアラブル端末装置１０を装着した作業者は、作業対象等を略正面の視線方向周辺の観察範囲において確認しつつ両手を駆使して注意を要する作業をしながら、仮想表示視界５２において情報画像を視認することができる。

更に、図３Ｂでは、顔４１を動かすことなく、右目４２Ｒ及び左目４２Ｌの視線を下方に下げた場合に得られる左視界５１ＬＤ及び右視界５１ＲＤを示している。即ち、この場合には、顔４１を動かしていないので、カメラ視界５５の範囲は変化しない。

本実施の形態においては、作業者が顔４１を動かすことなく視線のみを動かして作業等を行った場合でも、当該作業の様子を撮影できるように、撮像部１２は十分に広角での撮影が可能となっている。そして、本実施の形態においては、撮像画像中から要観察範囲を自動的に判定して、当該要観察範囲の拡大画像を表示するようになっている。

このような要観察範囲を判定するために、本実施の形態においては、制御部１１には観察対象範囲判定部１１ｃが設けられている。観察対象範囲判定部１１ｃは、撮像部１２からの撮像画像に対する画像処理や作業判定部１１ｄ及び対象物判定部１１ｅの判定結果を利用して、要観察範囲を判定することができる。

図４は観察対象範囲判定部１１ｃによる要観察範囲の判定を説明するための説明図である。図４は撮像部１２によって取得された撮像画像６１を示している。撮像画像６１は、作業者が左手６２Ｌでパイプ６５を持ち、右手６２Ｒで持ったブラシ６６をパイプ６５内に挿入して、ブラシ６６によりパイプ６５内を洗浄する様子を撮像した結果を示している。

対象物判定部１１ｅは、ＤＢ１６の情報及び撮像画像６１の画像解析によって、作業者の手６２Ｌ，６２Ｒ、パイプ６５及びブラシ６６を判定して検出することができる。また、作業判定部１１ｄは、ＤＢ１６の情報と、それまでの作業判定の結果により、撮像画像６１がパイプ６５の洗浄工程の実施状態の撮像結果であり、現在パイプ６５の洗浄工程が行われていることを判定することができる。観察対象範囲判定部１１ｃはこれらの判定結果に基づいて、洗浄工程において観察すべき範囲として、実施中の作業工程において対象となっている対象物を含む範囲を要観察範囲７１（図４の破線）として設定する。観察対象範囲判定部１１ｃは、要観察範囲７１の情報を表示制御部１１ｂに与える。

表示制御部１１ｂは、要観察範囲７１の情報が与えられると、撮像画像６１中の要観察範囲７１の部分を拡大して表示部１３の表示画面全域に表示する表示制御を行うようになっている。これにより、仮想表示視界５２に要観察範囲７１の拡大画像が表示されることになり、作業者は要観察範囲７１の画像、即ち、洗浄作業に際して確認した部分の画像を十分なサイズで確認することができることとなる。

なお、観察対象範囲判定部１１ｃは、要観察範囲７１の判定に際して、パイプ６５、ブラシ６６の画像部分が撮像画像６１中の所定の範囲に位置することを判定の条件にしてもよい。例えば、作業者は、仮想表示視界５２において作業の細部を確認したい場合には、両手６２Ｌ，６２Ｒによってパイプ６５とブラシ６６とをカメラ視界５５中の所定位置に配置する（以下、かざす行為という）。かざす行為を行った結果、パイプ６５、ブラシ６６の画像部分が撮像画像６１中の所定の範囲に位置することになり、観察対象範囲判定部１１ｃは、比較的容易に要観察範囲７１の判定が可能となる。

また、観察対象範囲判定部１１ｃは、図４の黒丸で示す左手６２Ｌの指先と右手６２Ｒの指先とを検出し、検出した指先で囲まれる範囲を要観察範囲７１に設定するように、プログラミングされていてもよい。また、例えば、観察対象範囲判定部１１ｃは、手で支持することで動かない物体を検出すると共に動きのある物体を検出し、動かない物体に動く物体の先端が触れた場合に、当該接触部分を含む所定範囲を要観察範囲に設定するようにしてもよい。また、例えば、観察対象範囲判定部１１ｃは、実施中の作業工程が明らかである場合には、当該作業工程において使用されるツールを含む範囲を要観察範囲に設定するようにしてもよい。また、観察対象範囲判定部１１ｃはこれらの判定に、かざす行為を検出することを条件に加えてもよい。

更に、観察対象範囲判定部１１ｃは、機械学習によって要観察範囲を判定するようになっていてもよい。この場合には、観察対象範囲判定部１１ｃは、図示しないメモリを有し、このメモリに推論エンジンを構成する辞書を備える。この辞書は、機械学習における学習が完了することによって得られるネットワーク、即ち、推論モデルによって構成される。

図５は機械学習によって要観察範囲を判定する場合に用いる辞書の生成方法を説明するための説明図である。図５において、所定のネットワークＮ１には入力及び出力に対応する大量のデータセットが学習用データとして与えられる。図５の破線内のデータセットは、要観察範囲としてふさわしい画像（ＯＫ画像）の教師データを示し、破線外のデータセットは要観察範囲としてふさわしくない画像（ＮＧ画像）の教師データを示している。ＯＫ画像は図４のパイプ６５とブラシ６６との関係が比較的明瞭な画像であり、ＮＧ画像は手に隠れてパイプ６５とブラシ６６との関係が不明瞭な画像である。

これらのＯＫ画像及びＮＧ画像を教師データとし、大量のデータセットをネットワークＮ１に与えることにより、図５の入力に対応してその範囲（破線部分）を示す出力との関係が、高い信頼性で得られるように、ネットワークＮ１のネットワークデザインが決定される。なお、機械学習に採用するネットワークＮ１としては、公知の種々のネットワークを採用してもよい。例えば、ＣＮＮ（Convolution Neural Network）を利用したＲ−ＣＮＮ（Regions with CNN features）やＦＣＮ（Fully Convolutional Networks）等を用いてもよい。また、深層学習に限らず、公知の各種機械学習の手法を採用して推論モデルを取得してもよい。こうして、学習済みとなったネットワークＮ１が推論モデルとして利用可能となり、観察対象範囲判定部１１ｃの図示しないメモリに格納される。

観察対象範囲判定部１１ｃは、メモリに格納された推論モデル（辞書）を用いて、撮像画像中に要観察範囲が存在するか否かを判定すると共に、要観察範囲の画像位置を示す情報を表示制御部１１ｂに出力する。こうして、表示制御部１１ｂにより、仮想表示視界５２上への要観察範囲の拡大表示が可能となる。

次に、このように構成された実施の形態の動作について図６から図９を参照して説明する。図６は第１の実施の形態の動作を説明するためのフローチャートである。図７はウェアラブル端末装置を利用して行う作業の一例を示す説明図である。図８は作業中における電子映像の虚像を説明するための説明図である。図９はエビデンス記録部１５に記録される内容を説明するための説明図である。

本実施の形態のウェアラブル端末装置１０は、各種作業についての作業支援に用いることができる。以下、作業として、メンテナンス作業（器具洗浄滅菌作業）を例に、実施の形態の動作について説明する。

図７の作業者８０は頭部にウェアラブル端末装置１０を装着して作業を行う。図７は器具洗浄滅菌作業の様子を示している。作業者８０は、使用済みの医療器具である手術用器具や処置具等であるパイプ６５をブラシ６６を用いて洗浄して滅菌する作業を行う。なお、図７のウェアラブル端末装置１０は、導光部１３ｂが作業者８０の左目に仮想表示視界を形成するものであり、また、撮像部１２はウェアラブル端末装置１０に対して移動できるように構成された例を示している。

作業台７０には洗浄槽７０ａが備わっている。さらに、当該洗浄槽７０ａの上方には水道蛇口７３が設置されている。この水道蛇口７３のハンドル７３ａを開栓方向に回転操作すると、流水口７３ｂより流水７４が流れ出る。

作業者８０は、洗浄槽７０ａに溜めた洗浄液（例えば水）にてメンテナンス対象の器具（パイプ６５）を所定のツール（ブラシ６６）を用いてブラッシング洗浄する。

撮像部１２のレンズの光軸は、洗浄槽７０ａ側に向いており、撮像部１２の撮影範囲内に、作業者８０の手元も含まれており、図６のステップＳ１において、撮像部１２によって洗浄作業中の様子が撮像される。撮像部１２は比較的広角での撮像が可能であり、作業中において作業者８０の手元を含む広範囲の部分が撮像される。この撮像画像は、観察対象範囲判定部１１ｃに与えられて要観察範囲が判定される。観察対象範囲判定部１１ｃは、撮像画像から要観察範囲を判定することが可能であるが、判定精度をより向上させるために、例えば、かざす行為を要観察範囲の判定条件に加えてもよい。この場合には、作業者８０は、拡大表示したい作業対象を、撮像部１２の撮像範囲の所定の位置に配置するかざす行為を行う。

この場合において、ウェアラブル端末装置１０によって取得される画像データは、例えば図８に示すような画像となる。図８に示す撮像画像８４は、作業者８０が左手８０Ｌでパイプ６５を持ち、右手８０Ｒに持ったブラシ６６を用いてブラッシング洗浄作業を行っている途中において、作業者８０がかざす行為を行い、パイプ６５及びブラシ６６を撮像部１２の撮像範囲の所定位置に配置したことを示している。例えば、図７の例では、作業者８０が顔を少し下に向けるか又は左右の手８０Ｌ，８０Ｒを少し上に上げることによって、かざす行為が行われる。

観察対象範囲判定部１１ｃは撮像画像に対する画像解析によって、かざす行為の有無を判定している（ステップＳ２）。図８の撮像画像８４のように、かざす行為の様子が撮像された場合には、観察対象範囲判定部１１ｃは、処理をステップＳ３に移行して、要観察範囲を判定する。例えば、観察対象範囲判定部１１ｃは、機械学習により取得した推論エンジンを用いて、要観察範囲を判定する。観察対象範囲判定部１１ｃは、要観察範囲の情報を表示制御部１１ｂに与える。表示制御部１１ｂは、ステップＳ４において、要観察範囲の画像部分を拡大した拡大画像８６を表示部１３に与える。表示部１３は、導光部１３ｂにより作業者８０の左目の仮想表示視界中に、拡大画像８６に基づく虚像を表示させる。

作業者８０は、仮想表示視界中に表示された拡大画像８６によって、作業の状態等を確実に確認することができる。次に、制御部１１は、撮像画像８４及び拡大画像８６をエビデンス記録部１５に与えて記録する（ステップＳ５）。拡大画像８６は、エビデンス記録にも有用である。

図９はエビデンス記録部１５に記録された各メンテナンス対象毎の記録内容の一例を示している。記録情報９１はメンテナンスの環境、道具及び作業時間についての情報を含む。メンテナンスの環境とは、当該作業を行うための場所の情報であり、当該場所が器具の洗浄滅菌作業に適した環境の状態であるか否かを示す。なお、通常の場合、専用のメンテナンス環境（部屋，台等）が用意される。

情報９２，９３は、それぞれ工程Ａ及び工程Ｂに関する情報であり、いずれも、作業項目とその結果の情報を有する。更に、本実施の形態においては、情報９２，９３には、それぞれ静止画像９２ａ，９３ａが含まれる。静止画像９２ａ，９３ａは、例えば、図８の撮像画像８４及び拡大画像８６等の、作業時に必要に応じて取得された画像である。

次に、作業判定部１１ｄは、撮像部１２によって取得された画像データと、ＤＢ１６に蓄積されている対応するデータとを比較する。作業判定部１１ｄは、この比較により、作業者８０が行った作業が正しい（規定された）作業であるか否か、或いは作業状態は良好であるか否かを判定する（ステップＳ６）。

制御部１１は、作業状態が良好であると判定した場合には、ステップＳ７において、仮想表示視界中に、ＯＫ表示の虚像を表示させて処理をステップＳ１に戻す。また、制御部１１は、作業状態が良好ではないと判定した場合には、処理をステップＳ８に移行して、ガイド部１１ｆにより、所定の警告表示やガイド表示等に関する所定の情報を仮想表示視界中に虚像として表示させた後、処理をステップＳ４に戻す。

制御部１１は、ステップＳ２において、作業者８０がかざす行為を行っていないと判定した場合には、処理をステップＳ９に移行して、警告表示やガイド表示等の情報を表示する必要があるか否かについて判定し、必要がある場合には、ステップＳ１０において、警告やガイド表示を仮想表示視界中に虚像として表示させた後、処理をステップＳ１に戻す。制御部１１は、警告表示やガイド表示等の情報の表示が必要でないと判定した場合には、これらの表示を行うことなく、処理をステップＳ１に戻す。なお、制御部１１は、警告やガイドを音声により出力するようにしてもよい。

このように本実施の形態においては、作業者が観察したいと考えられる作業の細部を自動的に判定して、当該細部の拡大画像を表示することにより、作業の細部の確認を容易にし、作業を効果的に支援することが可能である。これにより、作業者の手元方向、即ち、作業対象の部材等が存在する方向に対して撮像部のレンズの光軸がずれる作業環境等においても、作業対象の部材について十分に大きなサイズでの表示が可能であり、その確認が容易となる。

（変形例）
上記実施の形態においては、顔の向きと視線の向きとは相互に異なるので、撮像部１２の撮像画像中に要観察範囲が確実に含まれるように撮像部１２の画角は広角に設定している。しかしながら、要観察範囲が撮像部１２の撮影範囲の端部に位置する場合には、撮像部１２の光学系の歪等によって、拡大画像の画質が劣化する場合がある。そこで、要観察範囲が撮像部１２の撮影範囲の略中心に位置するように、撮像部１２の撮影方向を変更させることが考えられる。

図１０及び図１１は視線と撮影方向との関係を説明するための説明図である。図１０では、ウェアラブル端末装置１０は、撮像部１２が可動自在に構成されている。ユーザ１００の作業対象である対象物Ｏｂは、右目１０１から水平方向に距離Ｄ１だけ離れた位置に位置するものとする。一方、仮想表示領域は視界の下方側に位置するものとし、この仮想表示領域の虚像Ｉｍを確認するために、ユーザ１００は右目１０１の視線を下方に向けるものとする。なお、右目１０１と撮像部１２のレンズとの垂直方向の視差ΔＹとする。この場合において、仮想表示領域の略中央に対象物Ｏｂの画像を表示させるためには、撮像部１２の撮像方向を、水平方向を基準とした目の方向θ２に対して、（θ２＋θ１）だけ上向きに向けて、カメラ視界５５の略中心に対象物Ｏｂを位置させる必要がある。

しかし、ユーザ１００は、顔の向きを変えることなく、右目１０１による視線方向を変化させることができる。θ２は作業の内容、環境、作業者などによって変わるが、適切な眼球運動の範囲は図１１に示す通り０度（水平）〜下３０度と言われているので、例えば、撮像部１２は、少なくともこの範囲を含むように撮像範囲を変更可能であることが望ましい。

図１２Ａから図１２Ｄはこのような撮像部１２の撮影方向を変更可能な構成の一例を示す説明図である。図１２Ａ〜図１２Ｄにおいて図２と同一の構成要素には同一符号を付して説明を省略する。

図１２Ａに示すように、ウェアラブル端末装置１０ａは、ヒンジ等により構成された第１及び第２回動部１１０，１１１を設けた点が図２のウェアラブル端末装置１０と異なる。また、ウェアラブル端末装置１０ａにおいては、撮像部１２が移動できるように構成されている。第１回動部１１０は、眼鏡フレーム２１と回路収納部２２との間に配置されて、眼鏡フレーム２１と回路収納部２２とを回動軸に沿って相対回動自在に支持する。同様に、第２回動部１１１は、回路収納部２２と撮像部１２との間に配置されて、回路収納部２２と撮像部１２を回動軸に沿って相対回動自在に支持する。

図１２Ｂは図１２Ａのウェアラブル端末装置１０ａの導光部１３ｂ及び撮像部１２の向きを変えた例を示している。即ち、図１２Ｂにおいては、矢印に示すように、第１及び第２回動部１１０，１１２により、眼鏡フレーム２１の向き、即ち、顔の向きに対して、回路収納部２２を下方側に向けて右目４２Ｒに対する導光部１３ｂの方向を下方側に向けると同時に、撮像部１２の撮像レンズ１２ａの向きを回路収納部２２に対して上向きに向けるようにしたものである。

図１２Ａのウェアラブル端末装置１０ａを採用することにより、目に対する仮想表示領域の方向及び撮像部１２の撮像方向を、顔の上下方向に自由に変化させることができ、図１０の例においても、比較的容易に、仮想表示領域の略中央に要観察範囲の対象物Ｏｂの画像を表示させることができる。

また、図１２Ｃは目に対する仮想表示領域の方向及び撮像部１２の撮像方向を顔の上下方向だけでなく顔の左右方向にも自由に変化させることを可能にしたウェアラブル端末装置１０ｃを示している。図１２Ｃに示すように、ウェアラブル端末装置１０ｃは、ヒンジ等により構成されて相互に連結された回動部１１２，１１３及び回動部１１４，１１５を設けた点が図２のウェアラブル端末装置１０と異なる。また、ウェアラブル端末装置１０ｃにおいても、撮像部１２が移動できるように構成されている。連結された回動部１１２及び１１３は、眼鏡フレーム２１と回路収納部２２との間に配置されて、眼鏡フレーム２１と回路収納部２２とを回動部１１２，１１３の例えば相互に直交した各回動軸に沿って相対回動自在に支持する。同様に、回動部１１４，１１５は、回路収納部２２と撮像部１２との間に配置されて、回路収納部２２と撮像部１２を回動部１１４，１１５の例えば相互に直交した各回動軸に沿って相対回動自在に支持する。

従って、ウェアラブル端末装置１０ｃにおいては、回動部１１２，１１３により、眼鏡フレーム２１の向き（顔の向き）に対して、右目４２Ｒに対する導光部１３ｂの方向を上下方向及び左右方向に自由に変化させることができると共に、回動部１１４，１１５により、撮像部１２の撮像レンズ１２ａの向きを回路収納部２２に対して上下方向及び左右方向に自由に変化させることができる。

更に、図１２Ｄは撮像部１２の撮像方向の自由度を更に向上させた例を示している。図１２Ｄのウェアラブル端末装置１０ｄは、回動部１１４，１１５に代えてケーブル１１６を採用した点が図１２Ｃのウェアラブル端末装置１０ｃと異なる。撮像部１２は、回路収納部２２から移動できるように構成されて、回路収納部２２内の回路部とケーブル１１６によって接続されている。ケーブル１１６は、フレキシブルな材料によって構成されており、撮像部１２の配置位置及び向きを自由に設定可能である。

従って、ウェアラブル端末装置１０ｄにおいては、ケーブル１１６により、撮像部１２の配置位置及び撮影方向を回路収納部２２に対して自由に変化させることができる。更に、撮像部１２は、撮影レンズ１２ｂにより、全周囲の撮像が可能である。例えば、撮像部１２によって、視線方向と逆方向、即ち、ユーザの顔の向きとは逆方向の撮像範囲を撮像することも可能であり、ユーザの背後に存在する対象物の画像部分を要観察範囲としてユーザの右目４２Ｒの仮想表示領域に拡大表示することも可能である。

なお、撮像部１２の他に、ユーザの視線方向を撮像する図示しない撮像部を利用して、２つの撮像部の撮像画像のうち要観察範囲と判定された撮像画像に切換えて、仮想表示領域に表示させるように構成することも可能である。また、図１２Ｄの例では、ケーブル１１６に代えて無線により撮像画像を伝送する構成にしてもよい。

このように本変形例では、顔の向きと視線の向きとに拘わらず、撮像部１２の撮像画像中の例えば略中央に要観察範囲が確実に含まれるように撮像部１２の撮影方向を変化させることができる。これにより、要観察範囲の虚像を高画質で表示することが可能である。

また、図１２Ａ〜図１２Ｄの例では、目に対する仮想表示領域の方向を変化させるための機構と撮像部１２の撮像方向を変化させるための機構の両方の機構を設けた例を説明したが、いずれか一方の機構のみを設けるようにしてもよい。

（第２の実施の形態）
図１３は本発明の第２の実施の形態を示すブロック図である。図１３において図１と同一の構成要素には同一符号を付して説明を省略する。

本実施の形態は、複数の作業からなる所定の一連の作業を規定の手順及び手法に従って確実に実行するための作業支援を行うと共に、実行した各作業に関するエビデンス記録を行うことができるようにした作業支援システムに適用したものである。第１の実施の形態においては、ウェアラブル端末装置１０が要観察範囲を判定して、要観察範囲の拡大画像を仮想表示領域に表示する例を説明した。しかし、要観察範囲の判定に必要な演算量は極めて大きいことが考えられる。そこで、本実施の形態においては、要観察範囲の判定を、作業支援システムのセンター装置（作業判定装置）において実施する。

図１３において、ウェアラブル端末装置１２０は、制御部１１に代えて制御部１２１を採用すると共に、エビデンス記録部１５及びＤＢ１６を省略し、通信部１２２及び調整機構１２３，１２４を採用した点が図１のウェアラブル端末装置１０と異なる。

制御部１２１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。制御部１２１は、要観察範囲の判定を行う必要はなく、撮像部１２を駆動する撮像制御部１２１ａ及び表示部１３の表示を制御する表示制御部１２１ｂを有する。なお、撮像制御部１２１ａ及び表示制御部１２１ｂは、それぞれ図１の撮像制御部１１ａ及び表示制御部１１ｂと同様の機能を有する。

また、調整機構１２３は、例えば図１２Ｃの回動部１１２，１１３と同様の機能を有し、調整機構１２４は、例えば図１２Ｃの回動部１１４，１１５と同様の機能を有するものである。即ち、調整機構１２３は、眼鏡フレーム２１の向き（顔の向き）に対して、目に対する導光部１３ｂの方向を上下方向及び左右方向に自由に変化させるものである。また、調整機構１２４は、撮像部１２の撮像レンズ１２ａの向きを回路収納部２２に対して上下方向及び左右方向に自由に変化させるものである。なお、調整機構１２３、１２４は無くてもよい。

通信部１２２は、作業判定装置１３０との間で通信を行って情報の送受信を行う。作業判定装置１３０には、制御部１３１が設けられている。作業判定装置１３０には通信部１３２も設けられており、通信部１３２はウェアラブル端末装置１２０の通信部１２２との間で通信を行う。これにより、ウェアラブル端末装置１２０の制御部１２１と作業判定装置１３０の制御部１３１とは相互に情報を授受することが可能である。

制御部１３１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。制御部１３１は、要観察範囲の判定及び要観察範囲の拡大表示のための表示制御情報を生成するための、観察対象範囲判定部１１ｃ、作業判定部１１ｄ、対象物判定部１１ｅ、ガイド部１１ｆ及び表示制御部１１ｂを有する。

ウェアラブル端末装置１２０の通信部１２２は、制御部１２１に制御されて、撮像部１２が撮像して得た撮像画像を、通信部１３２を介して制御部１３１に送信することができる。制御部１３１は、撮像部１２による撮像画像に基づいて要観察範囲を判定し、判定結果の表示制御情報を通信部１３２，１２２を介して制御部１２１に送信することができる。制御部１２１の表示制御部１２１ｂは、表示制御情報に基づいて、撮像部１２による撮像画像の要観察範囲を拡大した画像を表示部１３に表示させるようになっている。

また、作業判定装置１３０はエビデンス記録部１５及びＤＢ１６を有する。なお、図１３の例では、エビデンス記録は作業判定装置１３０のエビデンス記録部１５に記録する例を説明するが、ウェアラブル端末装置１２０に図示しない記録部を設けてエビデンス記録を行ってもよい。

また、上記説明では、要観察範囲の拡大画像をウェアラブル端末装置１２０の表示部１３に表示する例を説明するが、作業判定装置１３０に表示部を設けて、要観察範囲の拡大画像をこの表示部に表示させるようにしてもよい。

次に、このように構成された実施の形態の動作について図１４から図１６を参照して説明する。図１４はＤＢ１６に記録されている情報の一例を示す説明図である。図１５は作業判定装置の動作を示すフローチャートであり、図１６はウェアラブル端末装置の動作を示すフローチャートである。

以下、図１３の作業支援システムを使用して所定のメンテナンス作業（器具洗浄滅菌作業）を行う際の作用を説明する。なお、以下の説明では、かざす行為を検出することにより作業に用いるツールの確認を行うようになっているが、要観察範囲の判定にはかざす行為は用いていない。また、以下の説明では、洗浄時に要観察範囲の拡大画像を表示する例を説明するが、作業中の所望のタイミングで要観察範囲の拡大画像を表示することができることは明らかであり、例えば、ツールの確認時に要観察範囲を判定して拡大画像を表示するようにしてもよい。また、以下の説明では、作業判定装置１３０において要観察範囲を判定してウェアラブル端末装置１２０に要観察範囲を指示する例を説明するが、ウェアラブル端末装置１２０において要観察範囲の判定を行うようにしてもよい。

図１６のステップＳ３１において、撮像部１２は、作業者が順次行う複数の作業の状況を適宜撮像する。撮像部１２による撮像画像は、通信部１２２により作業判定装置１３０に常時送信され、通信部１３２により制御部１３１に供給される。作業判定装置１３０の制御部１３１は、受信した撮像画像と、ＤＢ１６に予め蓄積された各種情報とに基づいて、対象とする作業内容に応じて規定されている複数の確認項目、例えばメンテナンス対象の器具の判定，使用ツールの種類等の判定，作業行為（ブラッシング，水洗，擦拭，薬剤噴霧等）等の判定を行う。

図１４はＤＢ１６に含まれる具体的な情報内容の一例を示している。図１４に示す例は、手術や処置等に用いる器具の一種である「ハサミ」を手術や処置等にて使用後に作業者のマニュアルオペレーションにて洗浄する際のメンテナンス作業（以下、ハサミ洗浄滅菌作業という）を想定したデータベース（作業情報データベース）を示している。

図１４に示すように、メンテナンス対象欄［Ａ］は、メンテナンスの対象とする器具名称である。本例では、「対象１：ハサミ」と記録され、ハサミ洗浄滅菌作業を示している。なお、「対象２：○○○」には、他の器具名称が入ることになるが、図１４では「対象１」についての情報以外の詳細な例示は省略する。

図１４の作業情報データベースにおいて、作業工程欄［Ｂ］は、当該メンテナンス作業に含まれる複数の作業工程の例を作業順に列記している。ここで、ハサミ洗浄滅菌作業に含まれる作業工程は、例えば、「第１工程：ブラッシング」工程、「第２工程：流水洗浄」工程、「第３工程：擦拭」工程、「第４工程：薬剤滅菌」工程等がある。

「第１工程：ブラッシング」工程は、所定のツール（ブラシ等）を用いて所定の水槽中等でブラッシングする工程である。「第２工程：流水洗浄」工程は、流水中にて水洗浄する工程である。「第３工程：擦拭」工程は、所定のツール（ペーパー又は布等）を用いて擦拭し水や汚れを拭き取る工程である。「第４工程：薬剤滅菌」工程は、所定の薬剤（アルコール等）を用いて（噴霧して）滅菌する工程である。なお、対象器具によって行われるべき工程の種類や数は異なる。

図１４の作業情報データベースにおいて、作業内容欄［Ｃ］は、各作業工程に含まれる複数の作業の例を作業順に列記している。ここで、ハサミ洗浄滅菌作業の「第１工程：ブラッシング」工程に含まれる作業は、「第１作業」としての「ツール確認」作業、「第２作業」としての「第１部位ブラッシング」作業、「第３作業」としての「第２部位ブラッシング」作業等がある。各作業の具体的な情報は、次の作業情報欄「Ｄ」に記録されている。

図１４の作業情報データベースにおいて、作業情報欄［Ｄ］には、各作業を明示する具体的な情報（例えば文字データ，画像データ等）が記録されている。なお、図１３では、作業情報データベース１６ａのほかに画像データベース１６ｂを別体で設けた構成としているが、データベース１６の構成としては、両者を一体に構成した形態でもよい。

作業情報欄［Ｄ］の情報は、ウェアラブル端末装置１２０によって取得される情報を示している。なお、ウェアラブル端末装置情報［Ｄ］は主に動画像によって表される作業情報である。「第１工程：ブラッシング」工程に含まれる「第１作業」としての「ツール確認」作業は、当該作業工程において使用するツールの確認作業である。そのために、ウェアラブル端末装置情報［Ｄ］として、ツールを撮像部１２の前面（撮像範囲内）にかざす行為を記録した動画像データ等が記録されている。

ここで、作業者が「ツール確認」作業を行う際には、次のような作業が行われる。即ち、まず、作業者は、これから行おうとする作業に使用する所定のツールを手に持って、これを撮像部１２の前面（撮像範囲内）にかざす行為を行う。ステップＳ３２においてかざす行為が行われると、ウェアラブル端末装置１２０の制御部１２１は、ステップＳ３３において、撮像部１２にかざす行為を撮像させ、撮像画像を作業判定装置１３０に転送して動画像として記録させる。

作業判定装置１３０の制御部１３１は、受信した動画像データに基づいて所定の画像判定処理を実行する。例えば、制御部１３１は、ステップＳ１１において、ツールをかざす行為を検出すると、ステップＳ１２において撮像されたツールが対象器具であるか否かを判定する。制御部１３１は、撮像されたツールが対象器具でなかった場合には、処理をステップＳ１３に移行して、警告及びガイドのための情報をウェアラブル端末装置１２０に送信して処理をステップＳ１２に戻す。

ウェアラブル端末装置１２０の制御部１２１は、ステップＳ３３の次のステップＳ３４において、かざす行為を行ったツールが対象器具でないことを示す警告、ガイドのための情報を受信すると、ステップＳ３５において、必要な調整についての指示や警告を表示させて、処理をステップＳ３３に戻す。作業者が正しいと考えるツールに対してかざす行為を行うと、制御部１２１によりツールの撮像画像が作業判定装置１３０に送信されて、対象器具の判定が行われる。

制御部１３１は、撮像されたツールが対象器具であった場合には、ステップＳ１２からステップＳ１４に処理を移行して、要観察範囲の判定を行う。なお、撮像されたツールが対象器具であったことを示す情報は、制御部１３１によってウェアラブル端末装置１２０の制御部１２１に伝達される。

制御部１３１の観察対象範囲判定部１１ｃは要観察範囲の判定を行い、判定結果の要観察範囲を拡大表示させるための表示制御信号を発生する（ステップＳ１５）。

この表示制御情報は通信部１３２，１２２を介してウェアラブル端末装置１２０の制御部１２１に供給される。制御部１２１は、ステップＳ３４においてかざす行為を行ったツールが対象器具であることを示す情報を受信すると、次のステップＳ３６において、要観察範囲を示す表示制御情報の受信待機状態となる。制御部１２１は、表示制御情報を受信すると、ステップＳ３７に処理を移行し、表示制御部１２１ｂにより要観察範囲の拡大画像を表示部１３に表示させる。また、制御部１２１は、撮像部１２により得られた要観察範囲の拡大画像を通信部１２２，１３２を介して作業判定装置１３０の制御部１３１に送信する。

作業判定装置１３０の制御部１３１は、ステップＳ１５の次のステップＳ１６において、受信した拡大画像及びＤＢ１６の情報に基づいて、洗浄作業が正しく行われたか否かを判定する。制御部１３１は、洗浄作業が正しく行われていない場合には、処理をステップＳ１７に移行して、警告及びガイドのための情報をウェアラブル端末装置１２０に送信して処理をステップＳ１９に移行する。

ウェアラブル端末装置１２０の制御部１２１は、ステップＳ３７の次のステップＳ３８において、作業判定装置１３０において、作業が良好に行われていると判定されたか否かを判定する。制御部１２１は、警告表示やガイド表示等の情報を受信し場合には、ステップＳ３９において、必要な調整についての指示や警告を表示させて、処理をステップＳ３６に戻す。

一方、作業判定装置１３０の制御部１３１は、ステップＳ１６において、洗浄作業が正しく行われたものと判定すると、作業が正しく行われたことを示す情報をウェアラブル端末装置１２０の制御部１２１に送信すると共に、処理をステップＳ１９に移行して、工程エビデンス化を行う。即ち、制御部１３１は、取得した画像データ等を所定の形態で記録するエビデンス記録を行う。ウェアラブル端末装置１２０の制御部１２１は、ステップＳ３８において、作業が良好に行われている判定結果を受信すると、作業が良好に行われたことを示すＯＫ表示を表示部１３に表示させて処理をステップＳ３１に戻す。

作業判定装置１３０の制御部１３１は、ステップＳ１８の次のステップＳ１９において、工程が終了したか否かの確認を行う。この確認は、例えばデータベース１６を参照することにより行われる。ここで、工程が終了したことを確認すると、次のステップＳ２０の処理に進む。また、工程終了が確認されない場合、即ち工程が終了しておらず、次の作業が存在する場合には、処理をステップＳ１１に戻す。

制御部１３１は、ステップＳ２０において、当該作業の全ての工程が終了したか否かの確認を行う。ここで、全行程の終了を確認した場合には、次のステップＳ２２の処理に進む。また、全行程終了が確認されない場合には、ステップＳ２１の処理に進む。制御部１３１は、ステップＳ２１において次の工程を判定した後、処理をステップＳ１１に戻す。

制御部１３１は、ステップＳ２０において全行程の終了を確認すると、処理をステップＳ２２に移行して、最終エビデンス化処理を実行する。この最終エビデンス化処理は、取得した複数の画像データ等を所定の位置ファイルとしてファイル化すると共に、上記ステップＳ１６の処理にて出力されるＯＫ信号に基いて作成されるチェックリスト等の作成処理等である。その後、全ての処理を終了して、待機状態に戻る。

なお、制御部１３１は、ステップＳ１１においてかざす行為の情報を受信していないと判定した場合には、処理をステップＳ２３に移行して作業確認要求指示をウェアラブル端末装置１２０に送信する。この作業確認要求指示は、かざす行為の情報の送受信後に、ウェアラブル端末装置１２０によって取得される動画像データの送信を要求するものである。

ウェアラブル端末装置１２０の制御部１２１は、ステップＳ４１において、作業確認要求指示を受信したか否かの確認を行う。制御部１２１は、作業確認要求指示を受信すると、ステップＳ４２に移行して、取得した動画像データを作業判定装置１３０に送信する。

作業判定装置１３０の制御部１３１は、ステップＳ２３の次のステップＳ２４において、ウェアラブル端末装置１２０から送信された動画像データを受信する。そして、制御部１３１は、受信した動画像データと、データベース１６に蓄積されている対応データとを比較する。そして、取得された動画像データに基づいて、作業者が行った作業が正しい（規定された）作業であるか否かを確認する。制御部１３１は、次のステップＳ２５において、上記比較結果に問題が無ければ、即ち作業者が行った作業（取得動画像）が正しい（規定された）作業であることが確認された場合（ＯＫである場合）には、処理をステップＳ１１に戻し、ＯＫではない場合には、処理をステップＳ２６に移行する。制御部１３１のガイド部１１ｆは、ステップＳ２６において、所定の警告表示やガイド表示等に関する所定の情報を、ウェアラブル端末装置１２０に送信した後、処理をステップＳ１１に戻す。

ウェアラブル端末装置１２０の制御部１２１は、ステップＳ４２の次のステップＳ４３において、警告表示やガイド表示等の情報を受信したか否かの確認を行う。制御部１２１は、当該情報の受信を確認すると、ステップＳ４４において、表示部１３，音声出力部１８等を制御して、所定の形態の警告表示，ガイド表示等を実行した後、処理をステップＳ３１に戻す。なお、制御部１２１は、警告表示やガイド表示等の情報が確認されない場合には、処理をステップＳ３１に戻す。

このように、作業支援システムは、ウェアラブル端末装置１２０と作業判定装置１３０とを連携させて作用させることにより、複数の作業からなる所定の一連の作業を規定の作業手順及び作業手法に従って確実に実行するための作業支援を行うことができる。この場合において、例えば作業上重要な箇所等については、要観察範囲として判定して拡大表示することができ、作業ミスを抑止することができる。

また、作業中における所定の行為や使用ツール，周囲環境等の状況を画像として記録してエビデンス化することができる。したがって、所定の作業が規定通りに確実に行われたか否かを作業後に保証することができる。

作業中に取得した画像データを有効に活用し、取得した複数の画像データと予め蓄積されているデータベースの作業情報とに基づいて作業ミスを排除すると共に、作業ミスがあったときには、作業者に対して警告すると共に、正しい手順を案内することでよって確実な作業を行うように支援することができる。

さらに、本発明の各実施形態においては、視界と同じ領域を撮影するために、撮影のための機器として、ウェアラブル端末装置のつる部分に収納した撮像デバイスを用いて説明したが、作業の様子等の確認を要する画像を取得することができるものであれば、どのような撮像デバイスを採用してもよく、設置場所にとらわれなければ、撮影するための機器として、レンズ型カメラでも、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。

さらに、実施形態において、部（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイクロプロセッサ及びＣＰＵ等のプロセッサ、あるいはシーケンサを組み合わせて構成されてもよい。また、その制御の一部又は全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。ここでは、単純化のため通信部を特記していないが、本願の特徴的な処理や補足的な処理をサーバやパソコン等の外部機器が行う実施形態も想定される。つまり、複数の機器が連携して、本発明の特徴を成立させる場合も、本願はカバーしている。この時の通信には、ブルートゥース（登録商標）やＷｉ−Ｆｉ（登録商標）、電話回線等が用いられる。また、この時の通信は、ＵＳＢ等で行われてもよい。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。こうした装置、あるいはシステムは、ユーザに何らかの働きかけを行ったり、部品の角度を変えたりする等の機能を有しても良く、その機構は、様々なアクチュエータと、必要に応じて連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイクロプロセッサマイコンやＡＳＩＣ等が制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われてもよい。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールしたりすることで、容易に本実施の形態の装置を実現することができる。

１０…ウェアラブル端末装置、１１…制御部、１１ａ…撮像制御部、１１ｂ…表示制御部、１１ｃ…観察対象判定部、１１ｄ…作業判定部、１１ｅ…対象物判定部、１１ｆ…ガイド部、１２…撮像部、１３…表示部、１５…エビデンス記録部、１６…ＤＢ、１７…音声入力部、１８…音声出力部。

Claims (9)

1. ユーザの視界中に電子映像の虚像による仮想表示領域を形成する表示部と、
   上記ユーザの視界の一部又は全部を含む撮像範囲を撮像する撮像部と、
   上記撮像部による撮像画像に対する信号処理によって上記撮像画像中の要観察範囲を判定する観察対象判定部と、
   上記撮像画像中の上記要観察範囲の画像部分を上記仮想表示領域に表示させる表示制御部と、
   を具備したことを特徴とする頭部搭載型表示装置。
2. 上記ユーザの視界中における上記仮想表示領域の位置を変化させる第１の機構及び上記撮像部の撮像方向を変化させる第２の機構のうちの少なくとも一方の機構
   を更に具備したことを特徴とする請求項１に記載の頭部搭載型表示装置。
3. 上記観察対象判定部は、上記ユーザの作業対象物を含む画像部分を上記要観察範囲として判定する
   ことを特徴とする請求項１に記載の頭部搭載型表示装置。
4. 上記観察対象判定部は、上記撮像画像に対する画像解析によって対象物を判定し、当該対象物を含む画像部分を上記要観察範囲として判定する
   ことを特徴とする請求項１に記載の頭部搭載型表示装置。
5. 上記ユーザの作業に関する情報を含む作業データベースを更に具備し、
   上記観察対象判定部は、上記撮像画像に対する画像解析及び上記作業データベースの情報に基づいて作業対象物を特定し、特定した上記作業対象物を含む画像部分を上記要観察範囲として判定する
   ことを特徴とする請求項１に記載の頭部搭載型表示装置。
6. 上記観察対象判定部は、所定の推論モデルを用いて、入力された上記撮像画像に基づいて上記要観察範囲の推論を行う推論部
   を具備したことを特徴とする請求項１に記載の頭部搭載型表示装置。
7. ユーザの視界中に電子映像の虚像による仮想表示領域を形成する表示部と、上記ユーザの作業対象を含む撮像範囲を撮像する撮像部と、を有する頭部搭載型表示装置と、
   上記撮像部による撮像画像に対する信号処理によって上記撮像画像中の上記作業対象を含む要観察範囲を判定する観察対象判定部と、上記撮像画像中の上記要観察範囲の画像部分を拡大表示させるための表示制御部と、を有する作業判定装置と、
   を具備したことを特徴とする検査支援表示システム。
8. ユーザの視界中に電子映像の虚像による仮想表示領域を形成する表示ステップと、
   上記ユーザの視界の一部又は全部を含む撮像範囲を撮像する撮像ステップと、
   上記撮像ステップによる撮像画像に対する信号処理によって上記撮像画像中の要観察範囲を判定する観察対象判定ステップと、
   上記撮像画像中の上記要観察範囲の画像部分を上記仮想表示領域に表示させる表示制御ステップと、
   を具備したことを特徴とする表示方法。
9. コンピュータに、
   ユーザの視界中に電子映像の虚像による仮想表示領域を形成する表示ステップと、
   上記ユーザの視界の一部又は全部を含む撮像範囲を撮像する撮像ステップと、
   上記撮像ステップによる撮像画像に対する信号処理によって上記撮像画像中の要観察範囲を判定する観察対象判定ステップと、
   上記撮像画像中の上記要観察範囲の画像部分を上記仮想表示領域に表示させる表示制御ステップと、
   を実行させるための表示プログラム。

Images