JP2020149140A - 作業支援システム、作業支援方法、及びプログラム - Google Patents

Abstract

【課題】仮想空間の画像情報を適正な位置に表示して作業を円滑に進めることを支援する。【解決手段】作業支援システムは、ユーザの頭部に装着される表示デバイスであって、前記実空間に対応する仮想空間の画像を表示する表示部と、前記ユーザの視野の中心部を含む範囲を撮影する撮像部とを備える表示デバイスを用いて、前記ユーザの作業の実施を支援する作業支援システムであって、前記実空間の第１対象ユニットに係止されているマーカの画像が前記撮像部によって撮像され、前記撮影された前記マーカの画像に基づいて前記マーカと前記撮像部との位置関係を検出する位置情報検出部と、前記ユーザが前記表示部越しに前記マーカを見て、前記マーカに視線を置いている状態で検出された前記マーカの画像の検出結果と、前記ユーザの姿勢を機械的に検出した検出結果とに基づいて、前記仮想空間の画像の表示を制御する表示制御部と、を備える。【選択図】図１５

Description

本発明は、作業支援システム、作業支援方法、及びプログラムに関する。

透過型のヘッドマウント型の表示デバイスを用いることにより、表示デバイスを透過させて得られる実空間に存在する物体の像に仮想空間の物体の像が重なるように、仮想空間の物体の像を表示デバイスに表示する技術（複合現実）が知られている。仮想現実の表示が実空間の対象物の像に合うことで、リアリティ性がより高まる。
複合現実に類似する技術に、拡張現実（ＡＲ）がある。ＡＲの場合には、信号処理の段階で、実空間に存在する物体の像と、仮想空間の物体の像とが重なるように合成してから表示する点が、複合現実とは異なる。
複合現実の場合、実空間に存在する物体の像と、仮想空間の物体の像とが重なるように調整するための調整は、調整項目が多く、その調整を自動化させることが困難であった。

特開２０００−１５５８５５号公報

そのため、複合現実における実空間に存在する物体の像と、仮想空間の物体の像とが重なるように調整する作業の全てを手動で行うと、この調整作業に時間を要することになり、作業を円滑に進めることが困難な場合があった。

本発明は、このような事情を鑑みてなされたものであり、仮想空間の画像情報を適正な位置に表示して作業を円滑に進めることを支援する作業支援システム、作業支援方法、及びプログラムを提供することを目的とする。

上記の課題を解決するための本発明の一態様は、ユーザの頭部に装着される表示デバイスであって、少なくとも前記ユーザの視野の中心部に位置する実空間の像を透過させる表示部であって、前記実空間に対応する仮想空間の画像を表示する表示部と、前記ユーザの視野の中心部を含む範囲を撮影する撮像部とを備える表示デバイスを用いて、前記ユーザの作業の実施を支援する作業支援システムであって、前記実空間の第１対象ユニットに係止されているマーカの画像が前記撮像部によって撮像され、前記撮影された前記マーカの画像に基づいて前記マーカと前記撮像部との位置関係を検出する位置情報検出部と、前記ユーザが前記表示部越しに前記マーカを見て、前記マーカに視線を置いている状態で検出された前記マーカの画像の検出結果と、前記ユーザの姿勢を機械的に検出した検出結果とに基づいて、前記仮想空間の画像の表示を制御する表示制御部と、を備える作業支援システムである。

上記の作業支援システムにおいて、前記表示制御部は、前記マーカの画像の検出結果と前記ユーザの操作に基づいた前記仮想空間の画像の補正量とに基づいて、前記仮想空間の画像の表示を制御する。

上記の作業支援システムにおいて、前記表示制御部は、前記マーカの画像の検出結果と、前記マーカの画像の検出結果に対する前記仮想空間の画像の補正量とに基づいて、前記仮想空間の画像の表示を制御する。

上記の作業支援システムにおいて、前記表示制御部は、前記実空間の第２対象ユニットにマーカが係止されていない場合には、前記ユーザが前記表示部越しに見るための追加マーカを前記第２対象ユニットに貼付する予定の位置を含む前記仮想空間の画像を前記表示部に表示させる。

上記の作業支援システムにおいて、前記表示制御部は、シナリオデータによって規定される画像を前記表示部に表示させるように制御し、前記シナリオデータに規定される作業工程には、前記追加マーカを前記第２対象ユニットに貼付する作業の工程が含まれる。

上記の作業支援システムは、前記仮想空間の画像データと、前記マーカの画像の検出結果と、前記仮想空間の画像の補正量とに基づいて、前記仮想空間の画像を生成する画像処理部を備える。

本発明の一態様は、ユーザの頭部に装着される表示デバイスであって、少なくとも前記ユーザの視野の中心部に位置する実空間の像を透過させる表示部であって、前記実空間に対応する仮想空間の画像を表示する表示部と、前記ユーザの視野の中心部を含む範囲を撮影する撮像部とを備える表示デバイスを用いて、前記ユーザの作業の実施を支援する作業支援方法であって、前記実空間の第１対象ユニットに係止されているマーカの画像を前記撮像部によって撮像させ、前記撮影された前記マーカの画像に基づいて前記マーカと前記撮像部との位置関係を検出させ、前記ユーザの姿勢を検出させ、前記ユーザが前記表示部越しに前記マーカを見て、前記マーカに視線を置いている状態で検出された前記マーカの画像の検出結果と、前記ユーザの姿勢を機械的に検出した検出結果とに基づいて、前記仮想空間の画像の表示を制御するステップを含む作業支援方法である。

本発明の一態様のプログラムは、ユーザの頭部に装着される表示デバイスであって、少なくとも前記ユーザの視野の中心部に位置する実空間の像を透過させる表示部であって、前記実空間に対応する仮想空間の画像を表示する表示部と、前記ユーザの視野の中心部を含む範囲を撮影する撮像部とを備える表示デバイスを用いて、前記ユーザの作業の実施を支援する作業支援システムのコンピュータであって、前記実空間の第１対象ユニットに係止されているマーカの画像を前記撮像部によって撮像させるステップと、前記撮影された前記マーカの画像に基づいて前記マーカと前記撮像部との位置関係を検出させるステップと、前記ユーザの姿勢を検出させるステップと、前記ユーザが前記表示部越しに前記マーカを見て、前記マーカに視線を置いている状態で検出された前記マーカの画像の検出結果と、前記ユーザの姿勢を機械的に検出した検出結果とに基づいて、前記仮想空間の画像の表示を制御するステップとを実行させるためのプログラムである。

本発明によれば、仮想空間の画像情報を適正な位置に表示して作業を円滑に進めることを支援できる。

本発明の実施形態に係る作業支援システムの概要について説明するための図である。 実施形態の対象ユニットＵを示す図である。 実施形態の表示デバイス１０が表示する画像を説明するための図である。 実施形態に係る表示デバイス１０の概略構成図である。 実施形態の作業者に提供される表示について説明するための図である。 実施形態の「詳細表示エリア」に表示する画像について説明するための図である。 実施形態の作業支援処理のフローチャートである。 実施形態の特定の作業に係る警報・注意喚起画像の表示について説明するための図である。 実施形態の特定の作業に係る動画像の表示について説明するための図である。 実施形態の特定の作業に係る説明表示画像の表示について説明するための図である。 実施形態の特定の作業に係る誘導表示画像の表示について説明するための図である。 実施形態の特定の作業工程における情報を表示する処理のフローチャートである。 実施形態の特定の作業工程における誘導表示画像を表示する処理のフローチャートである。 実施形態の画像の位置合わせ処理について説明するための図である。 実施形態の表示デバイス１０のブロック図である。 実施形態の位置合わせ処理に利用する操作画面に表示する画像ついて説明するための図である。 実施形態の位置情報の初期値、位置情報の初期値に対する補正値等の一例を説明するための図である。 実施形態の位置合わせ処理のフローチャートである。 実施形態のマーカを用いた位置の初期化処理のフローチャートである。 実施形態のマーカを用いて設定された位置を補正するための詳細設定処理のフローチャートである。 実施形態の「詳細調整操作画面」に表示する画像について説明するための図である。

以下、図を参照して、実施形態に係る作業支援システム、作業支援方法、及びプログラムについて説明する。
実施形態における「動画像」とは、時間軸方向の情報の連続性が保たれた画像（動画像）の他、時間軸方向の情報を間引いた準動画像、複数種類の静止画を連続して表示する画像などを含む。

（第１の実施形態）
［作業支援システムの概要］
実施形態に係る作業支援システム１の概要について説明する。
図１は、実施形態に係る作業支援システムの概要について説明するための図である。作業支援システム１は、作業者に予定の作業を円滑に実施させるように、予定の作業に関する情報を、その作業者に提供する。

（適用する作業と対象ユニットＵの例）
ここで具体的な作業の一例を挙げる。例示する作業は、作業対象の装置（以下、対象ユニットＵという。）の保守・点検作業である。対象ユニットＵは、例えば、通信装置、サーバ装置などのＩＣＴ（Information and Communication Technology）装置、電力変換装置等であってよい。このような対象ユニットＵは、主に通信機械室などに配置されるが、通信機械室には同じ形の装置（収納筐体）が多数配置されていることがある。１つの収納筐体に、同種或いは異種のユニットが複数搭載されていることがある。

ここで、対象ユニットＵの一例を図２に示す。図２は、実施形態の対象ユニットＵを示す図である。図２に示す対象ユニットＵは、１つの収納筐体に、同種或いは異種のユニットとともに搭載されている。対象ユニットＵの作業対象の面には、同一形状の複数のコネクタ、スイッチ、表示素子などが並んで配置されている。そのため、対象ユニットＵそのものや、コネクタ、スイッチ、表示素子などを誤ることなく作業を実施する必要がある。

また、収納筐体内の一部のユニットを稼働させた状態で、収納筐体内の特定のユニットに対する給電を停止して、当該ユニットの稼働を停止させて作業を実施することがある。このような作業の場合、操作するスイッチを誤ると、稼働中のユニットを予定外に停止させることになる。

これまで上記の作業を実施する際には、作業計画が記載された手順書を確認し、作業監督者（作業リーダー）と作業者が連携して作業にあたるなどの方法を励行することにより、上記の誤りが生じることを防いでいた。ただし、作業が複雑になるほど、上記の手順書が複雑になる。また、作業者が手順書を確認するために、対象ユニットＵから目を離すことがあった。

これに対し、作業支援システム１は、図１に示すような作業形態をとることで、表示デバイス１０を利用する作業者等（ユーザ）の作業を支援する。

例えば、表示デバイス１０は、透過型のヘッドマウントディスプレイ（ＨＭＤ）である。表示デバイス１０は、作業者の頭部に装着された状態で利用される作業支援装置の一例である。

図３を参照して、作業支援システム１が作業者に示す情報の一例について説明する。図３は、実施形態の表示デバイス１０が表示する画像を説明するための図である。

作業者は、表示デバイス１０を頭部に装着していると、表示デバイス１０を透過して実空間の対象ユニットＵ等の像を確認できる。表示デバイス１０は、図３に示すような対象ユニットＵに関する仮想の像を表示する。作業者は、実空間に存在する対象ユニットＵの像と、表示デバイス１０が表示した画像とを、作業中に確認することができる。表示デバイス１０が表示する画像には、対象ユニットＵの輪郭の他、符号ＺＩの領域に示される作業の内容と手順に関する情報が含まれる。表示デバイス１０は、作業者が実空間の対象ユニットＵの像と対象ユニットＵに関する仮想の像が重なった像として確認できるように、表示する画像を調整する。

このような作業支援システム１は、作業者が手順書を確認するために、作業者が対象ユニットＵから目を離すことなく当該作業者の作業を続けることを可能にする。以下、この詳細について説明する。

図４を参照して、実施形態に係る表示デバイス１０について説明する。図４は、実施形態に係る表示デバイス１０の概略構成図である。

表示デバイス１０は、制御部１１０と、記憶部１２０と、入力部１３０と、表示部１４０と、加速度検出部１５０と、無線通信部１６０と、カメラ１７０と、マイク１８０と、スピーカ１９０とを備える。

制御部１１０は、ソフトウエアプログラムを実行するプロセッサ等を含む。制御部１１０は、ソフトウエアプログラムを実行することにより各種処理の機能部として作用する。例えば制御部１１０は、演算処理部１１１と、位置情報処理部１１２と、移動量取得部１１３と、動き検出部１１４と、視線推定部１１５と、操作検出部１１６と、位置情報補正部１１６ａと、再生処理部１１７と、履歴処理部１１８と、データ管理部１１９とを備える。その詳細は後述する。再生処理部１１７は、表示制御部の一例である。

記憶部１２０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等で実現される。プロセッサが実行するソフトウエアプログラムは、予め記憶部１２０に格納されていてもよいし、外部装置や可搬型記憶媒体などから、或いは通信回線を介してダウンロードされてもよい。

記憶部１２０は、表示デバイス１０を通信端末として機能させるための各種設定情報と、ＯＳなどの基本プログラムを格納する。さらに、記憶部１２０は、上記の他、実施形態の表示デバイス１０としての機能を実現させるための各種データとアプリケーションプログラムとを格納する。各種データの例について後述する。

入力部１３０は、ユーザの操作を検出する操作検出部を含む。操作検出部は、機械的に検出する機構部を備えていてもよく、電気的に検出する検出部を備えていてもよい。

表示部１４０は、各種情報を表示する透過型又は半透過型の表示器を含む。表示部１４０の表示器は、作業者の片目又は両目の視野に収まるような位置に、所望の画像を表示させるように配置されている。例えば、表示部１４０は、両目の視差を調整した画像を、両目の視野内に夫々表示することにより、立体視可能な像を表示することができる。このような立体視可能な像は、ホログラムと呼ばれることがある。

加速度検出部１５０は、加速度センサー（又はジャイロ）を含み、作業者の頭部に作用する力を、表示デバイス１０に掛かる力として検出する。作業者の頭部に作用する力は、作業者の行動と姿勢によって変化する。加速度検出部１５０の検出結果を利用することにより、間接的に作業者の行動と姿勢を検出することができる。

無線通信部１６０は、図示されないアンテナを備えており、電波を利用して通信する。例えばこの通信方式として、近距離通信方式、セルラー方式、無線ＬＡＮ方式などの各種方式を適用できる。近距離通信方式の場合、比較的近傍に位置する他の表示デバイス１０などと消費電力を抑えて通信することができる。例えば、この無線通信方式は、ブルーツース（登録商標）などを適用してもよい。

カメラ１７０は、光学系と撮像素子を含み、光学系の光軸方向を撮像する。例えば、カメラ１７０は、表示デバイス１０の筐体の内部又は外部に設けられていて、作業者が、その頭部に表示デバイス１０を規定の方法で装着すると、作業者の顔の前方にカメラ１７０の光軸が向くように形成されている。制御部１１０は、カメラ１７０によって撮像された画像を用いることで、表示デバイス１０を装着した作業者の姿勢を検出したり、作業者の位置を検出したりするために利用する。

マイク１８０とスピーカ１９０は、例えば、図示されない所望のアンプを含み、表示デバイス１０を通話用の装置として利用する際に利用される。また、制御部１１０は、マイク１８０を、表示デバイス１０の周囲の音を収集するためのセンサとして利用してもよく、スピーカ１９０から、警報音や作業者に対する音声ガイドを提供してもよい。なおスピーカ１９０は、イヤホン、ヘッドホン、骨伝導型振動体などあってもよい。以下の説明では、スピーカ１９０を、それらを代表するものとして説明する。マイク１８０とスピーカ１９０は、表示デバイス１０に内蔵されていてもよく、表示デバイス１０に付帯されるものであってもよい。

なお、表示デバイス１０には、ＨＭＤ型に代えて、スマートフォン、タブレット型端末、パーソナルコンピュータ等の携帯型の装置を適用することができる。上記の場合、表示部１４０が透過型でなくなるが、同様の用途に利用することができる。スマートフォンなどの場合、入力部１３０と表示部１４０は、互いに組み合わされたタッチパネルとして構成されていてもよい。

次に、記憶部１２０に格納されるデータについて説明する。
記憶部１２０には、例えば、３ＤモデルＤＢ１２１と、ガイダンスＤＢ１２２と、動画像ＤＢ１２３と、属性ＤＢ１２４と、マーカＤＢ１２５と、作業計画ＤＢ１２６と、補正量ＤＢ１２７と、履歴ＤＢ１２８とが格納される。

３ＤモデルＤＢ１２１には、３次元の仮想空間に構築したモデルのデータが含まれる。上記のモデルは、実空間の対象ユニットＵなどを含む領域に対応するものである。例えば、上記のモデルのデータには、対象ユニットＵの輪郭像のデータ、作業工程ごとの作業の内容に関するデータ（説明表示画像）などが含まれてもよい。

ガイダンスＤＢ１２２には、作業手順のガイダンスとして再生するための音源データが含まれる。

動画像ＤＢ１２３には、作業手順のガイダンスとして再生するための動画像データが含まれる。上記の動画像データには、対象ユニットＵにおいて作業者の操作によって視覚上の変化が生じる部分のデータが含まれる。例えば、スイッチの操作をガイダンスする場合であれば、対象となるスイッチを特定することができ、スイッチのレバー部分の状態をどのように変えるかなどのように、作業の要領（動き）が示されればよい。

動画像データには、上記の他、作業者の視線を誘導するための画像などのデータ（誘導表示画像）が含まれてよい。

属性ＤＢ１２４には、表示デバイス１０の装置ＩＤ、表示デバイス１０の利用者の利用者ＩＤ、利用者の役割を示す役割情報などが含まれる。

マーカＤＢ１２５には、表示デバイス１０の位置合わせ処理に利用されるマーカの特徴と、実空間に配置されている位置に関するデータが含まれる。例えばマーカは、ＱＲコード（登録商標）である。

作業計画ＤＢ１２６には、表示デバイス１０を用いて支援する作業の作業計画のデータが含まれる。このデータは、作業の手順を示すシナリオのデータとして用いられる。

補正量ＤＢ１２７には、表示デバイス１０の表示の精度を高めるための各種補正データなどが含まれる。例えば、各補正データには、表示デバイス１０の位置合わせ処理の精度を高めるためのデータが含まれていてもよい。

履歴ＤＢ１２８には、実施された作業結果のデータが含まれる。例えば、このデータには、カメラ１７０によって撮像された画像データ、操作の履歴データなどが含まれる。

なお、各種ＤＢのデータは互いに関連付けられていて、作業者が予定する作業のマニュアルとして機能する情報を含む。マニュアルとは、一般的な作業の手順書に関する情報に加えて、予定する作業の対象ユニットＵに関するＣＧ画像データ、予定する作業を、動画像を用いて説明するための動画像データ、などが含まれる。

次に、制御部１１０がプログラムを実行することで実現する表示デバイス１０の主な機能を挙げる。以下、これについて順に説明する。
・表示デバイス１０の初期設定機能
・表示デバイス１０の位置検出機能
・表示デバイス１０による視線の動き検出機能
・表示デバイス１０による対象ユニットＵの合成画像の表示機能
・表示デバイス１０が表示する合成画像の補正機能
・表示する合成画像の補正量の調整機能
・表示デバイス１０による画像と音声の再生機能
・表示デバイス１０同士を連携させる連携制御機能
・表示デバイス１０を利用した作業の作業履歴の管理機能
・各種情報の管理機能

（表示デバイス１０の初期設定機能）
表示デバイス１０の制御部１１０は、入力部１３０による操作の検出結果に基づき、表示デバイス１０を機能させるための各種情報を生成して、それを記憶部１２０の属性ＤＢ１２４に格納させる。例えば、上記の各種情報には、表示デバイス１０の作業者が登録する利用者ＩＤ、役割を示す役割情報などが含まれる。

（位置検出機能）
表示デバイス１０は、例えば、表示デバイス１０の位置の検出に、規定のマーカの検出結果と、表示デバイス１０の動き検出の結果とを利用して、表示デバイス１０の位置と表示デバイス１０が向けられた方向を検出する。前述の図２に示す符号ＭＫは規定のマーカの一例である。規定のマーカは、対象ユニットＵの側面に添付されている。

なお、表示デバイス１０は、自表示デバイス１０の位置を検出する位置検出機能を有効化する前に、次に示す初期化処理を実施することによって表示デバイス１０の位置と表示デバイス１０が向けられた方向の初期値を決定する。表示デバイス１０の位置の初期値を基準位置と呼ぶ。

（視線の動き検出機能）
動き検出部１１４は、加速度検出部１５０の検出結果に基づいて算出される作業者の頭部の動きの推定結果を取得する。
例えば、作業者が視線を移動させると、それに伴い作業者の頭部も動く。作業者の頭部の動きを検出することで、間接的に作業者の視線の動きを検出することができる。例えば、視線推定部１１５は、作業者の頭部の動きに基づいて視線の位置を算出する。これに基づいて、表示デバイス１０は、算出された視線の位置に視線カーソルを表示部１４０に表示する。例えば、視線カーソルは、算出された視線の位置を中心にした同心円状の図形であってもよい。その半径は、作業者が認知しやすい長さにするとよい。視線カーソルは、表示中に半径を変更するなどの形状が変更されてもよい。

例えば、視線推定部１１５は、動き検出部１１４によって算出され、演算処理部１１１によって中継される、頭部の動きの推定結果と視線の動きの推定結果を取得してもよい。或いは、演算処理部１１１は、加速度検出部１５０の検出結果に基づいた頭部の動きの推定結果と視線の動きの推定結果を算出する。動き検出部１１４は、演算処理部１１１から、演算処理部１１１によって算出された頭部の動きの推定結果と視線の動きの推定結果を取得してもよい。なお、加速度検出部１５０の検出結果である加速度データから、頭部の動きと視線の動きを算出する方法は、上記に限らず既知の方法を用いてよい。

上記の通り、表示デバイス１０は、作業支援システム１において、作業者の位置のセンサと姿勢のセンサとして機能して、作業者の位置と姿勢の情報を取得する。

（対象ユニットＵの合成画像の表示機能）
表示デバイス１０は、実空間内に配置された対象ユニットＵの像の位置に整合するように、対象ユニットＵの合成画像を表示する。

例えば、表示デバイス１０に表示される対象ユニットＵの合成画像は、３ＤモデルＤＢ１２１の３次元モデル（３Ｄモデル）に含まれる。対象ユニットＵの合成画像の画像データは、上記の３Ｄモデルの座標系の位置に対応付けるための情報が関連付けられている。３Ｄモデルの座標系の位置に対応付けるための情報とは、上記の３Ｄモデルの座標系の位置情報であってもよく、３Ｄモデル内に配置された装置の識別情報及びその装置の側面の何れかを特定可能な識別情報を有するデータであってもよい。

例えば、移動量取得部１１３は、加速度検出部１５０の検出結果に基づいて算出される作業者の移動量の推定結果を取得する。移動量取得部１１３は、位置の初期化処理を行った際の、作業者の位置と、上記の作業者の移動量の推定値とに基づいて、現在の作業者の位置を推定し、この推定結果を上記の３Ｄモデルの座標系の位置に対応付けるとよい。
演算処理部１１１は、上記の３Ｄモデルの座標系の位置に対応付けるための情報等を用いて対象ユニットＵの合成画像を、３Ｄモデル内の対象ユニットＵの位置に表示させるためのデータを生成する。
これにより、作業者が、頭を旋回させて違う方向を見た場合も、移動して位置を代えた場合も、表示デバイス１０は、作業者と対象ユニットＵの位置関係を逐次捕捉し続ける。

（表示する合成画像の補正機能）
表示デバイス１０は、表示する合成画像を、作業者と対象ユニットＵとの位置関係と、作業者の姿勢とに基づいて補正する。

例えば、作業者が対象ユニットＵから離れれば、それに応じて表示する対象ユニットＵの画像を小さくする。作業者が首を横に向くような姿勢をとれば、それに応じて対象ユニットＵの画像を表示する位置を横に変更する。上下に向ける場合も同様である。

演算処理部１１１は、上記に関する合成画像の補正演算を実施して、補正後の合成画像を出力する。上記の補正により、表示デバイス１０は、実際の作業者の位置と姿勢、対象ユニットの位置に対応する情報を用いて、仮想空間内の作業者の視点から見た合成画像を生成することができる。

（表示する合成画像の補正量の調整機能）
表示デバイス１０は、表示する合成画像の補正量を調整する調整処理を実施する。
上記の調整処理は、作業者の操作をきっかけに自動的に補正量を調整する処理と、自動的に調整された補正量を操作者がマニュアルで微調整するための処理の双方を含む。これらの詳細については後述する。

（画像と音声の再生機能）
表示デバイス１０は、予め記憶部１２０に格納されているデータに基づいて画像と音声を再生する。
例えば、記憶部１２０の３ＤモデルＤＢ１２１と、ガイダンスＤＢ１２２と、動画像ＤＢ１２３に格納されているデータは、画像と音声のデータである。
或いは、記憶部１２０に格納されている上記のデータは、画像と音声を選択するための識別データであってよい。この場合、表示デバイス１０は、他の装置に識別データを送って、画像と音声のデータを取得してもよい。

再生処理部１１７は、３ＤモデルＤＢ１２１と動画像ＤＢ１２３に格納されているデータに基づいて再生した画像を、表示部１４０に表示させる。再生処理部１１７は、ガイダンスＤＢ１２２に格納されているデータに基づいて再生した音声を、スピーカ１９０から出力させる。

（連携制御）
表示デバイス１０は、他の表示デバイスである表示デバイス２０と連携して動作することにより、表示デバイス１０と表示デバイス２０（図１）における画像と音声の再生を互いに同期させてもよい。その際に、再生する画像と音声の種類は、同一であってもよく、予め対応付けられたものであれば、少なくとも一部が互いに異なるものであってもよい。

（作業履歴の管理）
表示デバイス１０は、作業者による記録開始の操作を検出して、作業期間中にした作業の履歴を管理する。
作業者の操作とは、作業者が表示されたボタンを注視しながら、当該作業者が所定のジェスチャーを実施することであって良い。このような方法であれば、作業者が操作のための道具を用いることなく、表示デバイス１０に操作を識別させることができる。

履歴処理部１１８は、関連する操作が検出されるとカメラ１７０からの画像の録画を開始して、作業中の作業者が選択したボタンの操作履歴を履歴ＤＢ１２８に追加する。履歴処理部１１８は、作業者による作業終了（作業完了）、作業中断、記録中断などの操作が検出されるまで、上記の録画と記録の処理を継続する。

上記のように記録された画像と操作履歴を、所定の作業の完了後に当該作業の報告、解析などに利用することができる。

なお、履歴処理部１１８は、作業中に上記のカメラ１７０からの画像と操作履歴を、通信によって他の装置に送信してもよい。この場合、これらを受信した装置が、記録に残すとよい。

（各種情報の管理機能）
上記の通り、表示デバイス１０として機能させるための各種情報には、対象ユニットＵが配置された位置の位置情報、作業者の識別情報、作業者の属性情報、作業の内容と手順に関するシナリオデータ、表示デバイス１０の位置などの検出結果、表示用の各種情報などの情報が含まれる。

データ管理部１１９は、表示デバイス１０として機能させるための各種情報を、入力部１３０又は無線通信部１６０から取得すると、記憶部１２０に格納する。これに係る情報には、作業の内容に関する説明表示画像と、作業の作業要領に関する動画像と、作業者を所望の作業に導くための誘導表示画像とが含まれる複数種類のデータがある。さらに、データ管理部１１９は、上記の複数種類のデータを表示させる順序を規定するシナリオデータを記憶部１２０に格納させる。

図５と図６を参照して、実施形態の作業者が作業の内容を確認し、その作業を進行させるための操作にについて説明する。

図５は、実施形態の作業者に提供される表示について説明するための図である。
表示デバイス１０は、透過型であり、「複合現実」と呼ばれる実空間に仮想現実を融合させる技術を用いて、実空間に存在しない情報を実空間の対象ユニットＵに対応付けるように提供する。

実空間に対する作業者の視野は、表示デバイス１０の構造によって死角が生じる範囲を除けば、基本的には制限されることがない。例えば、表示部１４０の範囲を超える範囲が作業者の視野に含まれる。これに対し、仮想現実を提供するための合成画像が表示される範囲は、少なくとも表示部１４０の範囲に制限される。

（ナビゲーション表示）
次に表示部１４０の表示について説明する。
符号２１０は、表示部１４０に表示させる画像を示す。表示部１４０には、この範囲の一部又は全部が表示される。領域２１０は、中央に位置する領域２１０ａと、領域２１０ａの右側の領域２１０ｂと、領域２１０ａの左側の領域２１０ｃに大別される。領域２１０ａから領域２１０ｃは、そこに表示される情報の種類が異なるように規定されている。

領域２１０ａから領域２１０ｃの範囲とは独立して範囲が規定される領域２１０ｔがある。領域２１０ｔは、少なくとも領域２１０ａに重なるように設けられ、そこには、対象ユニットＵに関する仮想の像が表示される。対象ユニットＵに関する仮想の像には、各ユニットの輪郭と、各ユニットの盤面に配置されている部品の輪郭の像などが含まれる。

領域２１０ａは、対象ユニットＵに関する仮想の像の像を示す他に、主に作業の手順などを示すために利用される。この領域２１０ａは、作業者が対象ユニットＵに対する作業中に、作業者の視野の中心近傍に位置するように表示される。

領域２１０ａ内の上段には、作業者に注目させる位置を示す領域２１１が設けられている。領域２１１は、「対象エリア」の一例である。領域２１１には、上記の位置を含むように規定された枠の四隅を示す図形２１１ｃが表示される。「対象エリア」を、四隅に図形２１１ｃが配置された四角形の枠内に規定してもよい。例えば、「対象エリア」の大きさは、作業の操作対象になる部品が１つだけ含まれるように規定するとよい。配線用遮断器（ＭＣＣＢ）のように操作対象がある程度の大きさを持っている場合には、「対象エリア」は、上記に従い１つだけを囲うように規定される。確認対象になるＬＥＤランプなどの表示器は、比較的小さいことがあり「対象エリア」の枠の中に複数のＬＥＤランプが入ることがある。このような場合には、該当のＬＥＤランプをハイライトさせて、他のＬＥＤランプと識別できるように表示するとよい。

領域２１１の下段には、領域２１２（図６）が設けられることがある。領域２１２を「詳細表示エリア」と呼ぶ。これについては後述する。

領域２１０ｂと２１０ｃは、主に作業に関連する各種情報を示すために利用される。ここに示す各種情報には、対象ユニットＵの図面、保守点検の履歴などの関連情報が含まれる。

ここで、「詳細表示エリア」について説明する。
図６は、実施形態の「詳細表示エリア」に表示する画像について説明するための図である。「詳細表示エリア」には、作業者が作業工程の作業を励行する際に必要とされる情報が順に示され、それに対する応答をするために利用される領域である。

なお、表示デバイス１０では、機械的なポインティングデバイス（マウス等）を用いることなく、作業者の視線カーソルを用いて作業者の操作を検出する。以下の説明では、視線カーソルを用いて操作ボタンを選択することを、単に「操作する」という。

図６に示す画像の領域２１２内に、テキスト表示領域ＤＳＰと、操作ボタンＯＢＪ１からＯＢＪ１０とが含まれる。

テキスト表示領域ＤＳＰには、当該作業の詳細な内容がテキスト等で示される。例えば、図６に示すテキスト表示領域ＤＳＰ内に、ＬＥＤのランプ状態（点灯状態）の確認を促す情報が表示されている。

テキスト表示領域ＤＳＰの範囲に設けられた操作ボタンＯＢＪ１とＯＢＪ２は、当該作業で作業者が対象ユニットＵについて確認した状況を登録するために利用される操作ボタンである。作業者は、確認した状況がテキスト表示領域ＤＳＰに示された内容に対して肯定的な回答（「はい」）を選択する場合には、操作ボタンＯＢＪ１を操作し、否定的な回答（「いいえ」）を選択する場合には、操作ボタンＯＢＪ２を操作する。操作検出部１１６が操作ボタンＯＢＪ１又はＯＢＪ２の操作を検出すると、履歴処理部１１８は、その検出の結果を履歴ＤＢ１２８の作業履歴に追加する。

以下に示す各操作ボタンは、テキスト表示領域ＤＳＰの枠外に設けられている。
操作ボタンＯＢＪ３とＯＢＪ４は、作業工程を遷移させるために利用される操作ボタンである。作業者は、現在の作業工程から次の作業工程に進める場合（「次に進む」場合）には、操作ボタンＯＢＪ３を操作し、現在の作業工程の前の作業工程に戻る場合（「前に戻る」場合）には、操作ボタンＯＢＪ４を操作する。操作検出部１１６が操作ボタンＯＢＪ３又はＯＢＪ４の操作を検出すると、再生処理部１１７は、その検出の結果に応じて作業工程を遷移させる。

操作ボタンＯＢＪ５は、現在の作業工程における作業を確認するために利用される操作ボタンである。作業者は、現在の作業工程の動画像が表示された後などに、現在の作業工程の内容を再確認する場合（「リプレイ」する場合）には、操作ボタンＯＢＪ５を操作する。操作検出部１１６が操作ボタンＯＢＪ５の操作を検出すると、再生処理部１１７は、その検出の結果に応じて作業工程の作業の内容を示す画像を再生させる。

操作ボタンＯＢＪ６は、対象ユニットＵと表示デバイス１０との位置関係を再調整するために利用される操作ボタンである。作業者は、対象ユニットＵと表示デバイス１０との位置関係を再調整する場合などに、操作ボタンＯＢＪ６を操作する。操作検出部１１６が操作ボタンＯＢＪ６の操作を検出すると、位置情報処理部１１２は、基準位置と基準方向を決定する初期化処理を実施する。

操作ボタンＯＢＪ７は、表示デバイス１０に表示されている画像を、実空間の対象ユニットＵの像に対して位置合わせを実施するために利用される操作ボタンである。作業者は、表示デバイス１０に表示されている画像が、実空間の対象ユニットＵの像に対してずれていて、そのずれが許容できない場合などに、操作ボタンＯＢＪ６を操作する。操作検出部１１６が操作ボタンＯＢＪ６の操作を検出すると、位置情報処理部１１２は、上記の位置合わせの処理の結果を調整する。

操作ボタンＯＢＪ８は、表示デバイス１０に設定されている各種情報を確認するために利用される操作ボタンである。作業者は、表示デバイス１０に設定されている各種情報を確認する場合などに、操作ボタンＯＢＪ８を操作する。操作検出部１１６が操作ボタンＯＢＪ８の操作を検出すると、再生処理部１１７は、記憶部１２０に格納されている各種情報を表示部１４０に表示させる。

操作ボタンＯＢＪ９は、表示デバイス１０に設定されている各種情報を設定（変更）するために利用される操作ボタンである。作業者は、表示デバイス１０に設定されている各種情報を変更する場合、又は新たに設定する場合などに、操作ボタンＯＢＪ９を操作する。操作検出部１１６は、操作ボタンＯＢＪ９の操作を検出すると、記憶部１２０に格納されている各種情報を、新たに指定される情報に更新して、記憶部１２０の属性ＤＢ１２４などに追加する。

操作ボタンＯＢＪ１０は、現在の作業工程の作業を中断するために利用される操作ボタンである。作業者は、予定外の状態が発生して予定の作業の継続が困難な場合、当日の作業時間内に作業工程で予定されている作業を完了できない場合、作業工程の順序を当初の予定から入れ替えて実施する場合などに、操作ボタンＯＢＪ１０を操作する。操作検出部１１６が操作ボタンＯＢＪ１０の操作を検出すると、再生処理部１１７は、当該作業工程を途中で中断させる。さらに、履歴処理部１１８は、当該作業工程の途中までの作業の結果を、履歴ＤＢ１２８に追加して、作業中断のフラグを立てる。

図７を参照して、実施形態の作業支援処理について説明する。図７は、実施形態の作業支援処理のフローチャートである。

この作業工程に携わる作業者は、作業の際に表示デバイス１０を利用するにあたり、下記する項目に関する情報を登録する。
・作業者の識別情報（表示デバイス１０を利用する作業者を識別するための情報）
・作業者の属性情報（作業担当、作業リーダーなどの作業における役割を選択）
・予定の作業工程（１又は複数用意された作業工程の中から１つを選択）
・作業開始の条件（新規の作業工程を開始するのか、中断した作業工程を再開するのかを選択）

例えば、上記の各種情報の登録を、以下に示す手順で行い、上記の設定に基づいた作業工程の作業を開始するとよい。

作業者は、表示デバイス１０を頭部に装着して、表示デバイス１０を活性化させる。その際に、表示デバイス１０の制御部１１０は、作業支援処理に係る所定のプログラムの処理を開始する（ステップＳ１０）。

制御部１１０は、作業者が携わる作業における役割を登録させるための画面（役割登録画面）を表示させる。役割登録画面が表示されたのち、作業者は、自身の役割に対応するボタンを選択する。制御部１１０は、作業者による操作を検出して、作業者が携わる作業における役割を取得する（ステップＳ１１）。なお、上記の役割に代えて、分担された作業の種別情報であってもよい。

制御部１１０は、予定される作業を登録させるための画面（予定作業登録画面）を表示させる。予定作業登録画面が表示されたのち、作業者は、予定作業に対応するボタンを選択する。制御部１１０は、作業者による操作を検出して、予定される作業を選択する（ステップＳ１１）。

制御部１１０は、過去の作業において、作業が中断された履歴が残っているか否かを判定し（ステップＳ１２）、中断の履歴が残っている場合（中断フラグが立っている場合）には、中断した作業から開始するか、シナリオデータの最初から開始するかを選択するための画面を表示部に表示させる。制御部１１０は、作業者による作業を開始する位置の指定操作を検出して、中断した作業から開始するか、シナリオデータの最初から開始するかを選択する（ステップＳ１３）。

中断の履歴が残っていない場合（中断フラグが立っていない場合）には、又は作業を開始する位置を選択した後に、制御部１１０は、作業者が携わる作業における役割を登録させるための画面（役割登録画面）を表示させる。役割登録画面が表示されたのち、作業者は、自身の役割に対応するボタンを選択する。制御部１１０は、作業者による操作を検出して、作業者が携わる作業における役割を取得する（ステップＳ１４）。なお、上記の役割に代えて、分担された作業の種別情報であってもよい。なお、複数の作業者が連携して作業を行う場合には、制御部１１０は、複数の作業者が利用する表示デバイス同士が通信するように、通信機能の設定を行ってもよい。

制御部１１０は、ステップＳ１３において決定された作業の開始位置に基づいて、予定作業の開始位置を調整する（ステップＳ１５）。これにより、中断した作業から開始するか、シナリオデータの最初から開始するかの何れかに決定される。

制御部１１０は、表示する画像の位置合わせ処理を実施する（ステップＳ１６）。これにより、制御部１１０は、作業者の位置と対象物の位置の相対的な関係に基づいて、対象物の像と、表示する画像との位置を整合させる。

制御部１１０は、今回の作業が途中で中断された場合に、その時点を特定するための履歴(中段履歴)の情報を記憶部１２０に残す処理を開始する（ステップＳ１７）。

制御部１１０は、作業の開始を促す画面（作業開始登録画面）を表示させる。作業開始登録画面が表示されたのち、作業者は、作業開始に対応するボタンを選択する。制御部１１０は、作業開始を指示する操作を検出して、予定される作業の支援に関する処理を開始する（ステップＳ２０）。

制御部１１０は、作業の中断を指定するボタンが操作されたか否かを判定する（ステップＳ２１）。作業の中断を指定するボタンの操作を検出した場合、制御部１１０は、次の作業に移るために、本作業工程に係る処理を終えて、中断に関する処理に進める。

作業の中断を指定するボタンの操作を検出しなかった場合、制御部１１０は、現在の一連の作業の中で、現在実施中の作業工程に関する処理を中断して、処理をステップＳ３２に進める。

次に、作業者は、次の作業工程に遷移するためのボタンを選択する。例えば、次の作業工程に遷移するためのボタンには、ひとつ前の作業工程と、ひとつ後ろの作業構成とをそれぞれ選択するためのボタンが含まれてよい。制御部１１０は、作業者による次の作業工程に遷移するためのボタンの操作を検出すると、上記の操作の検出結果に応じた作業工程を開始させる（ステップＳ２２）。この場合には、制御部１１０は、上記の操作の検出結果に応じた作業工程について、前述のステップＳ２０の処理を実施する。

制御部１１０は、作業者による次の作業工程に遷移するためのボタンの操作を検出しなければ、作業者が作業を終了することを、作業リーダーの表示デバイス２０（図１）、上位装置などに通知する。

制御部１１０は、上記の一連の処理を終えると、作業支援のためのプログラムによる処理を終了させる。

表示デバイス１０は、以上の手順に従った処理を実施することにより、作業者による作業の遂行を支援する。

なお、表示デバイス１０が表示する画像は、予め記憶部１２０に格納したデータに基づいて生成するとよい。このように画像の生成を表示デバイス１０側で実施することにより、表示デバイス１０が外部装置と通信する処理の負荷を低減させることができる。

上記の予定される作業の支援に関する処理（ステップＳ２０）では、シナリオデータに基づいた各種情報が作業者に提供される。そのシナリオデータを利用して、作業者の特定の作業工程内に表示する情報の順序を規定することができる。

図８から図１３を参照して、実施形態の特定の作業工程における情報を表示する処理について説明する。図８は、実施形態の特定の作業に係る警報・注意喚起画像の表示について説明するための図である。図９は、実施形態の特定の作業に係る動画像の表示について説明するための図である。図１０は、実施形態の特定の作業に係る説明表示画像の表示について説明するための図である。図１１は、実施形態の特定の作業に係る誘導表示画像の表示について説明するための図である。図１２は、実施形態の特定の作業工程における情報を表示する処理のフローチャートである。図１３は、実施形態の特定の作業工程における誘導表示画像を表示する処理のフローチャートである。

ここで利用されるシナリオデータには、少なくとも特定の作業に係る動画像、説明表示画像、及び誘導表示画像を、記載の順に表示させるための情報が含まれる。シナリオデータには、さらに警報・注意喚起画像（注意喚起画像）を表示させるための情報が含まれていてもよい。

再生処理部１１７は、シナリオデータを参照して、警報・注意喚起の画像を表示部１４０に表示させる（ステップＳＡ５）。図８に示す画像は、当該作業工程が、警報・注意喚起画像にあたる作業（「危険工程作業」）の場合に、視野の中央部分に表示されるものである。それゆえ、当該作業工程が、警報・注意喚起画像にあたらない作業の場合には、その表示を省略する。

次に、再生処理部１１７は、ステップＳＡ５において警報・注意喚起画像を表示した場合には、本作業工程の作業を開始するための誘導表示画像（第１誘導表示画像）を表示部１４０に表示させる（ステップＳＡ１０）。図５に示す画像は、第１誘導表示画像の一例である。図５に示すように、「対象エリア」に向かう矢印ＡＳ１が、視線を誘導するための表示である。再生処理部１１７は、ステップＳＡ５において警報・注意喚起画像を表示しない場合には、誘導表示画像（第１誘導表示画像）の表示も省略する。なお、誘導表示画像の表示方法の詳細については、後に図１３を用いて説明する。

次に、再生処理部１１７は、特定の作業に係る上記の動画像（図９）を表示部１４０に表示させる（ステップＳＡ１１）。動画像の表示を終えた後、上記の表示に続けて説明表示画像（図１０）を表示部１４０に表示させる（ステップＳＡ１２）。上記の表示を確認した後に、作業者は、上記の特定の作業を実施する。

ここで、操作検出部１１６は、当該作業工程の作業の実施状況を推定するために、作業者の視線の位置に基づいた処理を選択する（ステップＳＡ１３）。なお、操作検出部１１６は、下記する何れかの操作が選択されるまでは、当該作業の準備中と判定して待機する。

操作検出部１１６は、視線カーソルが「対象エリア」におかれたことを検出した場合に、作業中であると判定する（ステップＳＡ１４）。作業中と判定された後に、操作検出部１１６は、操作ボタンＯＢＪ３が操作されたことを検出した場合には、作業が終了したと判定する（ステップＳＡ１５）。この後、次の作業工程に遷移させるために処理をステップＳＡ２１に進める。

操作検出部１１６は、操作ボタンＯＢＪ４が操作されたことを検出した場合には、当該作業工程の実施が保留されたと判定して（ステップＳＡ１６）、前の作業工程に移るための誘導表示画像を表示部１４０に表示させて、前の作業工程に戻る（ステップＳＡ１７）。図１１に示す矢印ＡＳ２がある画像は、上記の誘導表示画像の一例である。

操作検出部１１６は、操作ボタンＯＢＪ６から操作ボタンＯＢＪ９が操作されたことを検出した場合には、当該作業工程の実施が保留されたと判定して、当該作業工程に係る情報の提示を一旦中断させる（ステップＳＡ１８）。操作ボタンＯＢＪ６から操作ボタンＯＢＪ９に関する処理を終えた後、処理をステップＳＡ１３に進める。

操作検出部１１６は、操作ボタンＯＢＪ５が操作されたことを検出した場合には、当該作業工程の動画像の再生要求（リプレイ操作）があったと判定して（ステップＳＡ１８）、処理をステップＳＡ１１に進める。

操作検出部１１６は、操作ボタンＯＢＪ１０が操作されたことを検出した場合には、当該作業工程を中断すると判定して、中断フラグを立てて当該作業工程に係る情報の提示を中断させる（ステップＳＡ２０）。この後、中断処理を開始するために処理をステップＳＡ２１に進める。

次に、再生処理部１１７は、操作ボタンＯＢＪ３が操作されたことを検出した場合には、次の作業工程に移るための誘導表示画像（第２誘導表示画像）を表示部１４０に表示させて（ステップＳＡ２１）、次の作業工程の表示に遷移させる。ここで表示する誘導表示画像は、前述の図１１に示す矢印ＡＳ２がある画像と同様のものであってよい。

図１３に示す第１誘導表示画像（ナビゲーション表示）の表示に関する処理について説明する。図１３に示すように、再生処理部１１７は、所定の位置に「対象エリア」の枠を表示する（ステップＳ１０１）。

操作検出部１１６は、視線カーソルが「対象エリア」におかれたことを検出する(ステップＳＡ１０２)。視線カーソルが「対象エリア」内におかれた場合には、操作検出部１１６は、その後も視線カーソルが「対象エリア」内におかれた状態にあり、その状態の継続時間が所定時間Ｔ１を超えたか否かを判定する（ステップＳＡ１０３）。継続時間が所定時間Ｔ１を超えた場合には、再生処理部１１７は、上記の第１誘導表示画像（ナビゲーション表示）の矢印ＡＳ１（図５）を表示部１４０に表示させる（ステップＳＡ１０４）。

上記の継続時間が所定時間Ｔ１を超えずに視線カーソルが「対象エリア」から移動した場合、又は、ステップＳＡ１０４の処理を終えた場合には、再生処理部１１７は、処理をステップＳＡ１０２に進める。

視線カーソルが「対象エリア」におかれた場合には、上記の一連の処理を終える。なお、上記の処理の間には、「対象エリア」の枠と、第１誘導表示画像と、視線カーソルが、表示部１４０に表示される。

上記の手順の中で提供される各画像の特徴について説明する。
図９に示す動画像には、作業の要領を示す動画像データが含まれている。図に示す例は、対象となるスイッチを示し、そのスイッチの状態を切り替える作業を作業者に実施させる際に、動画像データの中の１シーンとして提示するものである。例えば、レバー部分の状態を下から上に挙げる操作、つまりスイッチを遮断状態から導通状態に切り替える作業の要領（手順）を、上記のレバー部分の動きをアニメーションで示すものである。図９に示す動画像には、上記の作業に関わる「対象エリア」の表示画像が並列に表示される。

図１０に示す説明表示画像には、作業の内容を説明するための詳細な文字情報（文字列、文章などのテキスト）が含まれている。
上記の手順は、提供する情報の難易度（詳細さ）によって、２段階に分けて情報を提供するものである。この手順によれば、先に作業の内容の概要を習得した後に、作業の内容の詳細を作業者に習得してもらうことができる。

作業者は、先に提供される画像による情報に基づいて作業の内容の概略を習得することができ、その後テキストの記載を読むことで作業の内容の詳細を習得することができる。このような方法をとることで、作業者は、２段階に分けた予習を作業の直前に行うことにより、これまでの手順書の記載を読み返すことなく、作業に必要な知見を獲得することができる。

図１０に示す説明表示画像には、テキスト表示領域ＤＳＰの下段にプログレスバーＢが設けられている。プログレスバーＢは、当該作業工程における作業の進捗状況を示す。プログレスバーＢにおいて、バーが伸びているほど作業が進んでいる状況にあることを示す。プログレスバーＢによって示される当該作業工程における作業の進捗状況は、予定される作業工程の件数と、完了した作業工程の件数とに基づいて算出してもよい。
テキスト表示領域ＤＳＰ内の円Ｃは、視線カーソルの一例である。この画像は、作業者がテキスト表示領域ＤＳＰ内のテキストを確認している状況を示す一例である。

図１１に示す誘導表示画像は、作業者が次に見るべき位置を、作業者に示すための表示（誘導表示）の一例である。この誘導表示は、作業者の視線が、作業者が見るべき位置に移るように表示される。誘導表示として表示された画像を目で追えば作業者が見るべき位置に、作業者の視線が移るように構成されている。その一例が、図１１に示すような矢印ＡＳ２を、次の作業工程に移る方向に移動する動きを加えた動画像である。なお、作業者が見るべき位置は、シナリオデータによって規定される。これにより、作業者は、次の作業工程に係る地点の位置を獲得することができ、次の作業を速やかに開始することが可能になる。図１１に示す誘導表示画像は、上記の第２誘導表示画像に関するものであるが、第２誘導表示画像についても同様である。

これにより表示デバイス１０は、上記の手順に従って、上記の警報・注意喚起画像、動画像、説明表示画像、及び誘導表示画像を、作業者に提供することができる。

なお、再生処理部１１７は、特定の作業工程内の予め定められる期間に、上記のシナリオデータに基づいて動画像の表示を制限するとよい。特定の作業工程内の予め定められる期間とは、作業者が実際に作業を実施する期間を含むように規定する。これによって、作業者は、集中して自身の作業を遂行できる。

再生処理部１１７は、特定の作業工程の任意の期間において、作業者が実施する作業に関する情報を非表示にして、さらに、その後再表示にしてもよい。特定の作業工程の任意の期間として、例えば、操作検出部１１６が作業中であると判定（ステップＳＡ１４）してから、作業が終了したと判定（ステップＳＡ１５）までの期間を含めた範囲を規定してもよい。これによれば、視野の中央部に位置する表示を、作業中に控えることが可能になる。

表示デバイス１０は、作業者の視線に連動する視線カーソルが、当該作業の「対象エリア」内におかれたか否かを検出する。例えば、視線カーソルが、「対象エリア」内におかれるまで、或いは上記の検出を開始してから所定時間待機する。上記のように、視線カーソルが、「対象エリア」内におかれた状態にあれば、そこを起点にして所望の方向に作業者の視線を誘導することが可能である。

表示デバイス１０は、視線カーソルが、「対象エリア」内におかれたことを検出すると、動画像表示を再生する。

動画像の中で、「対象エリア」の位置が移動する場合には、表示デバイス１０は、「対象エリア」の位置への変更を示すような誘導表示を行うとよい。

例えば、次の作業工程に移る場合には、表示デバイス１０は、先に表示されていた第１の「対象エリア」の位置から、次の作業工程の第２の「対象エリア」の位置に向かう方向の矢印ＡＳ２（図１１）を表示する。これによって、表示デバイス１０は、作業における所望のタイミングで第２の「対象エリア」を作業者に注視させることができる。

上記のように、作業者が注視していた「対象エリア」から次の「対象エリア」に視線を移動させるような作業が含まれていても、作業者は、次の「対象エリア」を見失うことなく捕捉することが容易になる。

仮に、作業者が「対象エリア」の位置を見失ったとしても、表示デバイス１０は、これを検出して、目標とする「対象エリア」に向けての誘導（矢印）を表示する。作業者は、表示された誘導に従い、視線を矢印の先の方向に移動させれば、目標の「対象エリア」の位置の方向を向くことができる。図５に示す画像は、上記の誘導により、視線がちょうど目標の「対象エリア」までたどり着いた状況の画像の一例である。なお、図５に示す画像には、操作に用いられる各操作ボタンは表示されていない。

次に、図１４から図１８までを参照して、作業者が作業を開始する場合などに実施する画像の位置合わせ処理について説明する。表示デバイス１０は、表示する画像の位置の精度を高める画像の位置合わせ処理を実施することにより、上記の表示デバイス１０の位置を初期化する。

図１４は、実施形態の画像の位置合わせ処理について説明するための図である。
図１４（ａ１）に示す図は、原点Ｏを通るＸＹＺの軸を持つ３次元空間内で、原点以外の任意の位置にカメラＣＡＭ１が配置された状況を示している。このカメラＣＡＭ１の光軸ＯＸ１は、原点Ｏを通る。カメラＣＡＭ１の３次元の直交座標系をＯＸ１軸、ＯＹ１軸、ＯＺ１軸を用いて規定する。ＯＺ１軸は、撮像された画像の上下方向と平行になるように規定され、上方向を正にとる。ＯＹ１軸は、撮像された画像の左右方向と平行に規定され、左方向を正にとる。

図１４（ａ２）に示す図は、上記のカメラＣＡＭ１が撮像した画像の一例である。撮像された画像の範囲を四角形で示す。Ｈ軸とＶ軸は、画像の中心を通る２次元座標の座標軸である。この画像の中心（Ｈ軸とＶ軸の交点）に、図１４（ａ１）に示した３次元空間の原点Ｏが配置された画像が表示されている。Ｘ１、Ｙ１、Ｚ１は、カメラＣＡＭ１によって撮影された画像内に示された前述のＸＹＺ軸にそれぞれ対応する。なお、カメラＣＡＭ１のＯＹ１軸が水平方向に向けられていれば、Ｈ軸が水平方向に平行になる。カメラＣＡＭ１の光軸ＯＸ１とＯＹ１軸とが水平方向に向けられていれば、Ｖ軸が鉛直方向に平行になる。

図１４（ｂ１）に示す図は、図１４（ａ１）の３次元空間に、さらにカメラＣＡＭ２が配置された状況を示している。例えば、カメラＣＡＭ１とカメラＣＡＭ２の画角が等しいと仮定する。カメラＣＡＭ２がカメラＣＡＭ１の近傍に配置されているが、カメラＣＡＭ２の光軸ＯＸ２は、カメラＣＡＭ１の光軸ＯＸ１の方向に概ね向けられていても、互いに異なる画像が撮影される。

図１４（ｂ２）に示す図は、上記のカメラＣＡＭ１とカメラＣＡＭ２が撮像した画像を、画像の外枠を合わせて重ねて示したものである。Ｘ２、Ｙ２、Ｚ２は、カメラＣＡＭ２によって撮影された画像内に示された前述のＸＹＺ軸にそれぞれ対応する。図１４（ａ２）に示す画像と同様に、この画像の中心（Ｈ軸とＶ軸の交点）に、図１４（ａ１）に示した３次元空間の原点Ｏが配置された画像が表示されているため、Ｘ２、Ｙ２、Ｚ２の交点は、この画像の中心からずれている。

このような画像のずれは、カメラＣＡＭ１とカメラＣＡＭ２が配置された位置の差、各カメラの光軸の方向と画角の差によって生じる。上記の差を低減させれば、画像を揃えることができる。

上記の説明では、カメラＣＡＭ１とカメラＣＡＭ２を例示して説明したが、２つのカメラの関係を、本実施形態の複合現実を表示するシステムに置き換える。図１４（ｂ１）と（ｂ２）は、仮想空間の画像（合成画像）と、実画像とがずれた状態を示す。

カメラＣＡＭ１の画像は、Ｘ１Ｙ１Ｚ１の軸で規定される３次元の仮想空間を、カメラ仮想空間内のＣＡＭ１が撮影した画像とする。カメラＣＡＭ２の画像は、Ｘ２Ｙ２Ｚ２の軸で規定される３次元の実空間を、作業者の視界に入る画像に対応させる。

上記のカメラＣＡＭ１が配置された位置と、カメラＣＡＭ１の光軸と方向を調整することで、このような画像のずれを軽減させることができる。

図１４（ｂ３）は、本実施形態の方法で調整した結果の一例を示す。
作業者が、原点Ｏを通るＸＹＺの軸を持つ３次元空間の原点Ｏを見つめた際に、原点Ｏが見える位置が、表示デバイス１０の表示部１４０に表示する範囲の中心（Ｈ軸とＶ軸の交点）からずれている状況を示す。

本実施形態の手法によれば、位置合わせが完了した段階でマーカＭＫが表示部に表示される位置は、作業者が見やすい位置に配置される。そのため、マーカＭＫを利用して位置合わせが完了した段階であっても、必ずしも表示デバイス１０の表示部１４０に表示する範囲の中心に、そのマーカＭＫが配置されるとは限らない。

比較例の場合、表示デバイスに表示する範囲の中心、又は予め定められて位置に、状況によらずに固定的にそのマーカＭＫを配置するように位置合わせを実施するものがあるが、本実施形態はこれとは異なる。

本実施形態では、作業者の操作を軽減させるため、表示デバイス１０が推奨する状態に自動的に調整するステップと、その後に作業者が操作によって微調整するステップに分けて実施する事例について説明する。

図１５は、実施形態の表示デバイス１０のブロック図である。図１５に示すブロック図は、合成画像の位置合わせに関する部分を中心に示したものである。先の図４に示した各部と共通するブロックには、同じ符号を付し、上記の説明との相違点を中心に説明する。

同図には、表示デバイス１０と、表示デバイス１０を利用する作業者の視覚を示すブロックＶが記載されている。

表示デバイス１０を利用する作業者の視野には、表示部１４０を透過して確認する実空間画像と、表示部１４０が表示する合成画像の双方が入る。作業者は、実空間画像と合成画像の双方を合わせた像による複合現実を認識する。同時に、作業者は、実空間画像と合成画像にずれが生じていることを認識することがある。

本実施形態では、実空間画像と合成画像のずれを少なくするための合成画像の位置合わせに、作業者の視覚を利用する。より具体的は、表示デバイス１０は、作業者が合成画像の位置合わせに利用するマーカＭＫを注視している間に、合成画像の位置合わせの処理を実施する。以下、これについて説明する。

カメラ１７０は、作業者の基準位置と基準方向を決定するための位置の初期化処理の段階で、作業者の頭部の位置を間接的に検出するために利用される。上記の段階では、作業者が合成画像の位置合わせに利用するマーカＭＫを注視しているため、カメラ１７０の撮像範囲に、対象のマーカＭＫが含まれる。カメラ１７０は、対象ユニットＵに添付されているマーカＭＫを撮影し、マーカＭＫの画像を生成する。

位置情報処理部１１２は、カメラ１７０によって生成されたマーカＭＫの画像に基づいて、カメラ１７０から、マーカＭＫの画像に基づいて定まる特徴点までの距離と方向を特定する。例えば、マーカＭＫにＱＲコード（登録商標）を用いる場合、ＱＲコードの特徴点までの距離と方向の算出には、既知の手法を利用してよい。マーカＭＫにＱＲコード以外を用いる場合も、位置関係が予め定められている３つ以上の特徴点を含むマーカＭＫを利用することで、同様の手法を適用できる。以下、マーカＭＫの画像に基づいて定まる特徴点のことを、単に「マーカＭＫの画像」と呼ぶ。位置情報処理部１１２は、マーカの画像までの距離と方向に基づいて、位置の初期化処理を実施させる。位置情報処理部１１２は、マーカの画像までの距離と方向に基づいて、位置の初期化処理を実施させる。

移動量取得部１１３は、加速度検出部１５０の検出結果に基づいて、位置の初期化処理を行った際の作業者の頭部の位置に対する作業者の頭部の移動量の推定値を出力する。

動き検出部１１４は、加速度検出部１５０の検出結果に基づいて、頭部の傾き（動きの推定値）を算出する。

視線推定部１１５は、推定された作業者の視線に基づいて算出される位置に視線カーソルを配置して、表部１４０に表示させる。視線推定部１１５は、推定された作業者の視線に基づいて算出される位置を操作検出部１１６に出力する。操作検出部１１６は、操作ボタンＯＢＪ６の操作が検出されたことに応じて、位置の初期化処理の実施を各部に通知する。

位置情報補正部１１６ａは、位置の初期化処理において、詳細設定処理を実施する場合に設定される補正量を出力する。位置情報補正部１１６ａは、操作検出部１１６から位置の初期化処理の実施の通知を受けると、その補正量を０に初期化する。位置情報補正部１１６ａは、その後に、詳細設定処理の実施によって補正量を決定し、その値を保持する。

演算処理部１１１は、例えば、座標変換部１１１１と、仮想カメラ１１１２と、演算子１１１３と、演算子１１１４とを備える。

座標変換部１１１１は、位置情報処理部１１２による設定と再生処理部１１７の制御により、記憶部１２０に格納されている各種データに対して、仮想空間における各種座標変換処理を実施する。例えば、位置情報処理部１１２によるマーカＭＫの画像の識別結果からマーカＭＫの画像の位置が特定される。座標変換部１１１１は、そのマーカＭＫの画像の位置に仮想空間の３次元座標の原点を配置する。座標変換部１１１１は、仮想空間の３次元座標の原点を配置に伴い、再生処理部１１７の制御により決定される上記の各種データについて、その位置情報が変換される。

仮想カメラ１１１２は、仮想空間内の状況を撮影する仮想のカメラである。この仮想カメラ１１１２が出力する画像が、演算処理部１１１から出力される合成画像になる。仮想カメラ１１１２が仮想空間内に配置される位置と光軸の方向と撮像範囲とが適正に設定されていて、仮想空間の原点Ｏの方向に光軸を向ければ、作業者がマーカＭＫを利用して位置の初期化処理をしたときに見えた実空間の像と同様の範囲の合成画像を得ることができる。

作業者が頭部を移動させた場合は、仮想カメラ１１１２を移動させた場合に対応する。そこで、仮想カメラ１１１２の位置を、移動量取得部１１３が出力する頭部の移動量を用いて決定する。演算子１１１３は、移動量取得部１１３が出力する頭部の移動量を積分して位置を算出する。演算子１１１３は、移動量取得部１１３が出力する頭部の移動量に基づいた位置と、位置情報補正部１１６ａが出力する補正量のうち移動に関する成分とを加算する。演算子１１１３の出力値は、仮想カメラ１１１２の位置を示す。

仮想カメラ１１１２の光軸の方向を、動き検出部１１４が出力する頭部の傾きを用いて決定する。演算子１１１４は、動き検出部１１４が出力する頭部の傾きと、位置情報補正部１１６ａが出力する補正量のうち回転に関する成分とを加算する。演算子１１１４の出力値は、仮想カメラ１１１２の光軸の方向を示す。

なお、上記の説明では、仮想カメラ１１１２を定義して概要を説明しているが、仮想カメラ１１１２が撮像して画像を生成する過程を、行列式を用いた演算処理で書き換えることができる。

表示部１４０は、演算処理部１１１によって、位置の初期化処理によって調整された位置情報などを用いて生成された合成画像を表示する。

表示デバイス１０は、図７のステップＳ１４の処理を終えた場合に、或いは、操作検出部１１６が操作ボタンＯＢＪ６の操作が検出された場合に、以下のマーカを用いた位置の初期化処理を実施する。

図１６から図１８までを参照して、実施形態の位置合わせ処理について説明する。
まず、「位置合わせ処理の操作画面」について説明する。
図１６は、実施形態の位置合わせ処理に利用する操作画面に表示する画像について説明するための図である。図１６に示す操作画面には、作業者が位置合わせ処理の実施を選択するために利用される各種操作ボタンが配置されている。

各操作ボタンは、操作ボタンＯＢＪＲＥＴ（「リトライ」）、操作ボタンＯＢＪＡＢＴ（「戻る」）、操作ボタンＯＢＪＤＥＦ（「詳細設定」）、及び操作ボタンＯＢＪＣＭＰ（「完了」）が記載されている。作業者は、これらの操作ボタンを操作することで、位置合わせ処理の結果を確認して、次に実施する処理を適宜選択することができる。

図１７は、実施形態の位置情報の初期値、位置情報の初期値に対する補正値等の一例を説明するための図である。

記憶部１２０に格納される上記の暫定値と、位置情報の初期値と、位置情報の初期値に対する補正値とには、それぞれ左右方向の移動量、上下方向の移動量、奥行方向の移動量、左右方向の回転量、上下方向の回転量、画像の左右方向の傾き量などが含まれる。

図１８は、実施形態の位置合わせ処理のフローチャートである。
制御部１１０の操作検出部１１６が操作ボタンＯＢＪ６の操作を検出すると、再生処理部１１７は、位置合わせ処理に利用する操作画面を表示部１４０に表示させる（ステップＳＢ１０）。

制御部１１０は、マーカを用いた位置の初期化処理を実施して（ステップＳＢ１１）、暫定詳細設定フラグを倒して、初期化処理の実施の結果を記憶部１２０に格納する。例えば、格納される実施の結果には、上記の暫定値と、暫定詳細設定フラグの更新値が含まれる。マーカを用いた位置の初期化処理については、後述する。

制御部１１０は、作業者が要求する次の処理を判定する（ステップＳＢ１２）。
上記の判定の結果により、再び位置の初期化処理を実施すると判定された場合には、制御部１１０は、暫定値を破棄して、処理をステップＳＢ１１の位置の初期化処理に進める（ステップＳＢ１３）。

上記の判定の結果により、位置の初期化処理を実施する前に戻ると判定された場合には、制御部１１０は、暫定値を破棄して位置の初期化処理の結果の適用を保留して（ステップＳＢ１４）、一連の処理を終える。

上記の判定の結果により、さらに詳細設定処理を実施すると判定された場合には、制御部１１０は、詳細設定処理を実施（ステップＳＢ１５）して、詳細設定処理を実施した後に、処理をステップＳＢ１２に進める。なお、制御部１１０は、詳細設定処理の実施により、上記の暫定値の他、上記暫定値に対する補正値を決定し、詳細設定フラグを立てる。この詳細設定処理については、後述する。

上記の判定の結果により、処理を終了すると判定された場合には、制御部１１０は、暫定値と、暫定値に対する補正値と、詳細設定フラグに基づいて位置情報の初期値と、位置情報の初期値に対する補正値と、詳細設定フラグを更新して（ステップＳＢ１６）、記憶部１２０に格納させて、一連の処理を終える。

なお、図１６に示す操作画面と、図１８に示す処理の手順は、一例を示すものでありこれに制限されない。例えば、制御部１１０は、図１６の操作画面を表示させることなく、マーカを用いた位置の初期化処理を実施して（図１８のステップＳＢ１１）、その後、詳細設定処理（図１８のステップＳＢ１５）を実施するようにしてもよい。上記のように処理の手順を見直すと、作業者による操作の数を軽減させることができる。この際、作業者は、上記の処理による位置合わせの結果を利用することができ、作業者が最初から手動操作で実施する場合よりも、調整に要する時間を短縮させることができる。

なお、上記のように仮想空間の３次元座標の原点は、上記の位置の初期化処理がなされるごとに再配置される。これにより、カメラ１７０の位置と方向が、仮想空間の原点を基準に規定される。

図１９を参照して、マーカを用いた位置の初期化処理について説明する。図１９は、実施形態のマーカを用いた位置の初期化処理のフローチャートである。

以下の処理は、作業者が表示部１４０越しにマーカを見て、マーカＭＫに視線を置いている状態で実施する。作業者が表示部１４０越しにマーカを見て、マーカＭＫに視線を置いている状態を安定させるには、作業者がマーカを注視しているとよい。注視する場合には、単に視界に入る状況に比べて、作業者の眼球の動きと頭部の動きが減少する傾向がある。

制御部１１０の位置情報補正部１１６ａは、実空間の対象ユニットＵに係止されているマーカＭＫの画像をカメラ１７０に撮像させる（ステップＳＣ１１）。

位置情報補正部１１６ａは、カメラ１７０（撮像部）によって撮影されたマーカＭＫの画像に基づいてマーカＭＫとカメラ１７０との位置関係を、位置情報処理部１１２に検出させる（ステップＳＣ１２）。

位置情報補正部１１６ａは、作業者の姿勢を動き検出部１１４に機械的に検出させる（ステップＳＣ１３）。機械的に検出するとは、頭部の動きを力学的に検出することをいう。なお、頭部の動きを検出する手法に、上記に代えて、カメラ１７０によって撮影した画像に基づいて頭部の動きを検出する手法を用いてもよいが、機械的な検出の手法の方が好ましい。

位置情報補正部１１６ａは、上記のマーカの画像の検出結果と、作業者の姿勢を機械的に検出した検出結果とに基づいて、仮想空間の画像の表示を制御する（ステップＳＣ１４）。演算処理部１１１は、位置情報補正部１１６ａの指示に従い、位置情報補正部１１６ａによって保持されていた補正量に基づいて、仮想空間の画像の表示を調整する。

以上が位置の初期化処理の手順の一例である。なお、上記の処理の中で制御部１１０の各部が実施する処理の詳細は、前述の通りである。

図２０を参照して、マーカを用いて設定された位置を補正するための詳細設定処理について説明する。図２０は、実施形態のマーカを用いて設定された位置を補正するための詳細設定処理のフローチャートである。

位置情報補正部１１６ａは、詳細設定処理に実施が選択されると、まず、詳細設定操作画面を表示部１４０に表示させる（ステップＳＤ１１）。操作検出部１１６は、各操作ボタンに対する操作を検出する（ステップＳＤ１２）。位置情報補正部１１６ａは、検出された操作ボタンに対する補正量を決定する（ステップＳＤ１３）。ステップＳＤ１２とステップＳＤ１３は、適宜繰り返し実施してよい。補正処理の項目とその内容については、後述する。
上記において、操作ボタンＯＢＪＯＫ（後述する図２１）が操作された場合には、詳細設定に係る一連の処理を終了する（ステップＳＤ１４）。

以上が実施形態の詳細設定処理の手順の一例である。

ここで、「詳細調整操作画面」について説明する。
図２１は、実施形態の「詳細調整操作画面」に表示する画像について説明するための図である。「詳細調整操作画面」には、作業者が表示部１４０に表示される合成画像の表示を調整するために利用される各種操作ボタンが配置されている。

各操作ボタンは、「移動」に関する操作と、「回転」に関する操作の２つに大別される。
「移動」に関する操作に属する操作ボタンには、操作ボタンＯＢＪＭＬ（左に移動）、操作ボタンＯＢＪＭＲ（右に移動）、操作ボタンＯＢＪＭＵ（上に移動）、操作ボタンＯＢＪＭＤ（下に移動）、操作ボタンＯＢＪＭＢ（奥に移動）、及び操作ボタンＯＢＪＭＦ（前に移動）の６つが含まれる。これらの操作ボタンを操作すると、合成画像の対象物が指定の方向に移動するように表示部１４０への表示が調整される。

例えば、実空間の像に比べて、合成画像が向かって右方向（Ｖ軸正方向）にずれている場合には、作業者は、操作ボタンＯＢＪＭＬ（左に移動）の操作を選択する。操作検出部１１６が操作ボタンＯＢＪＭＬ（左に移動）の操作を検出すると、その検出の結果に応じて、位置情報補正処理部１１６ａは、仮想空間における現在の頭部の位置（例えば、カメラＣＡＭ１の位置。）を、仮想空間座標の原点を向かって、右方向（ＯＹ１軸負の方向）に所定量（＋ΔＹ）ほど移動させる。

これに対して実空間の像に比べて、合成画像が向かって左方向（Ｖ軸負方向）にずれている場合には、作業者は、操作ボタンＯＢＪＭＲ（右に移動）の操作を選択する。この場合、上記と同様の手順に従い、位置情報補正処理部１１６ａは、仮想空間における現在の頭部の位置を、仮想空間座標の原点を向かって、左方向（ＯＹ１軸正の方向）に所定量（−ΔＹ）ほど移動させる。

同様に、実空間の像に比べて、合成画像が向かって上方向（Ｈ軸正方向）にずれている場合には、作業者は、操作ボタンＯＢＪＤ（下に移動）の操作を選択する。この場合には上記と同様の手順に従い、位置情報補正処理部１１６ａは、仮想空間における現在の頭部の位置を、仮想空間座標の原点を向かって、左方向（ＯＺ１軸正の方向）に所定量（＋ΔＺ）ほど移動させる。

これに対して実空間の像に比べて、合成画像が向かって下方向（Ｈ軸負方向）にずれている場合には、作業者は、操作ボタンＯＢＪＵ（上に移動）の操作を選択する。この場合には、位置情報補正処理部１１６ａは、上記の操作ボタンＯＢＪＤの場合とは逆の右方向に（ＯＺ１軸負の方向）所定量（−ΔＺ）ほど移動させる。

同様に、実空間の像に比べて、合成画像が大きい場合には、作業者は、操作ボタンＯＢＪＢ（奥に移動）の操作を選択する。この場合には上記と同様の手順に従い、位置情報補正処理部１１６ａは、仮想空間における現在の頭部の位置を、仮想空間座標の原点を向かって、反対方向（ＯＸ１軸負の方向）に所定量（−ΔＸ）ほど移動させる。

これに対して実空間の像に比べて、合成画像が小さい場合には、作業者は、操作ボタンＯＢＪＦ（前に移動）の操作を選択する。この場合には、位置情報補正処理部１１６ａは、上記の操作ボタンＯＢＪＢの場合とは逆方向（ＯＸ１軸正の方向）に所定量（＋ΔＸ）ほど移動させる。

「回転」に関する操作に属する操作ボタンには、操作ボタンＯＢＪＲＬ（左に回転）、操作ボタンＯＢＪＲＲ（右に回転）、操作ボタンＯＢＪＲＵ（上に回転）、操作ボタンＯＢＪＲＤ（下に回転）、操作ボタンＯＢＪＴＬ（左に傾く）、及び操作ボタンＯＢＪＴＲ（右に傾く）の６つが含まれる。これらの操作ボタンを操作すると、合成画像の対象物が指定の方向に回転するように表示部１４０への表示が調整される。

例えば、実空間の像に比べて、合成画像の向かって右側（Ｈ軸正側）が左側（Ｈ軸負側）よりも相対的に大きい場合には、作業者は、操作ボタンＯＢＪＲＬ（左に回転）の操作を選択する。これに対して実空間の像に比べて、合成画像の向かって右側（Ｈ軸正側）が左側（Ｈ軸負側）よりも相対的に小さい場合には、作業者は、操作ボタンＯＢＪＲＲ（右に回転）の操作を選択する。

同様に、実空間の像に比べて、合成画像の上側（Ｖ軸正側）が下側（Ｖ軸負側）よりも相対的に大きい場合には、作業者は、操作ボタンＯＢＪＲＤ（下に回転）の操作を選択する。これに対して実空間の像に比べて、合成画像の上側（Ｖ軸正側）が下側（Ｖ軸負側）よりも相対的に小さい場合には、作業者は、操作ボタンＯＢＪＲＵ（上に回転）の操作を選択する。

同様に、実空間の像に比べて、合成画像が右に傾いている場合には、作業者は、操作ボタンＯＢＪＴＬ（左に傾く）の操作を選択する。これに対して実空間の像に比べて、合成画像が左に傾いている場合には、作業者は、操作ボタンＯＢＪＴＲ（右に回転）の操作を選択する。

操作検出部１１６が回転系の各操作ボタンの操作を検出すると、位置情報補正処理部１１６ａは、仮想空間内の対象物を、操作に応じた補正量を増やして、補正すべき状態が軽減する方向に所定量回転させる。この場合の補正量は、仮想空間の座標軸の回転量として規定してもよく、仮想カメラの座標軸の回転量として規定してもよく、処理によって、仮想空間の座標軸の回転量と仮想カメラの座標軸の回転量を使い分けてもよい。

作業者が上記の操作を行うことにより、表示部１４０に表示する立体像（ホログラム）の表示を変えることができる。

上記の実施形態によれば、作業支援システム１は、表示デバイス１０を用いて、作業者（ユーザ）の作業の実施を支援する。作業者の頭部に装着される表示デバイス１０は、少なくとも作業者の視野の中心部に位置する実空間の像を透過させる表示部であって、前記実空間に対応する仮想空間の画像を表示する表示部１４０と、作業者の視野の中心部を含む範囲を撮影するカメラ１７０とを備える。作業支援システム１の位置情報処理部１１２は、実空間の対象ユニットＵ（第１対象ユニット）に係止されているマーカＭＫの画像がカメラ１７０によって撮像され、撮影されたマーカＭＫの画像に基づいてマーカＭＫとカメラ１７０との位置関係を検出する。再生処理部（表示制御部）１１７は、作業者が表示部１４０越しにマーカＭＫを見て、マーカＭＫに視線を置いている状態で検出されたマーカＭＫの画像の検出結果と、作業者の姿勢を機械的に検出した検出結果とに基づいて、仮想空間の画像の表示を制御する。これにより、作業支援システム１は、仮想空間の画像情報を適正な位置に表示して作業を円滑に進めることを支援できる。

（第１の実施形態の変形例）
第１の実施形態の変形例について説明する。第１の実施形態では、図１９のステップＳＣ１３に示すように作業者の姿勢を、位置の初期化処理において検出するものとして説明したが、この処理を削除してもよい。以下、これについて説明する。

作業者は、マーカＭＫを注視している状況で、位置の初期化処理が実施される。この場合に、作業者の頭部とマーカＭＫの位置関係が所望の条件を満たす範囲に収まるように、作業者が位置を調整する。例えば、上記の所望の条件とは、マーカＭＫの略正面に作業者の頭部が位置して、かつ、表示デバイス１０のカメラ１７０がマーカＭＫを撮像可能であることである。

これにより、作業者の頭部とマーカＭＫの位置に関する自由度が減り、位置の初期化設定時における作業者の頭部からマーカＭＫの方向を検出する処理（図１９のステップＳＣ１３）を削除することができる。この場合、位置の初期化設定時における作業者の頭部の姿勢に関するデータの値を、これに代えて、予め規定される定数に置き換えれば、上記の第１の実施形態の処理を適用できる。

上記の事例は、図１９のステップＳＣ１３を削除する場合の一例であり、これに制限されない。上記の事例に係る処理に代えて、位置の初期化設定時における作業者の頭部の姿勢に関するデータの値を用いない処理に置き換えてもよい。

（第２の実施形態）
第２の実施形態では、第１の実施形態の作業支援システム１を利用した応用例について説明する。本実施形態の作業者は、対象ユニットＵにマーカＭＫを貼付する作業を実施する。作業支援システム１は、この作業を支援する。

例えば、実空間の第１対象ユニットＵ１にマーカＭＫ１が係止されていて、第２対象ユニットＵ２にマーカＭＫ２が係止されていない場合がある。第１対象ユニットＵ１と第２対象ユニットＵ２の一例である。マーカＭＫ１とマーカＭＫ２は、前述のマーカＭＫの一例である。

このような場合、第１対象ユニットＵ１にマーカＭＫ１が係止されていることから、作業者は、上記の第１の実施形態に示した規定の作業を同様に行うことができる。

上記の通り、第２対象ユニットＵ２にマーカＭＫ２が係止されていないことから、作業者は、第２対象ユニットＵ２について、上記の第１の実施形態に示した手順で規定の作業を行うことができない。

これに対して、本実施形態のシナリオデータには、第２対象ユニットＵ２にマーカＭＫ２を貼付する作業に関する作業工程が、作業者の作業工程に組み込まれている。

上記の場合、上記の作業を行う段階で、第２対象ユニットＵ２にはマーカＭＫ２及びマーカＭＫ２に代わるマーカが貼付されていないため、マーカＭＫ２を利用した位置の初期化処理が行えない。

このような場合、第１対象ユニットＵ１のマーカＭＫ１を利用するとよい。例えば、第２対象ユニットＵ２が、第１対象ユニットＵ１の比較的近傍にあれば、第１対象ユニットＵ１のマーカＭＫ１を利用して、表示デバイス１０の位置の初期化処理を実施することで、表示デバイス１０を利用した作業が可能になる。この状態で、マーカＭＫ２を貼付させる作業工程に移る。

マーカＭＫ２を貼付させる作業工程について説明する。
シナリオデータに規定される作業工程には、マーカＭＫ２（追加マーカ）を第２対象ユニットＵ２に貼付する作業の工程が含まれる。このシナリオデータには、実空間の第２対象ユニットＵ２の所定に位置にマーカＭＫ２を貼付するためのデータが含まれる。例えば、第２対象ユニットＵ２の筐体の平面には、マーカＭＫ２を貼付するための所定の位置が規定され、それを示す３Ｄデータが設けられている。

表示デバイス１０の再生処理部１１７は、上記のシナリオデータによって規定される画像を表示部１４０に表示させるように制御する。例えば、再生処理部１１７は、そのシナリオデータと３Ｄデータとを利用して、マーカＭＫ２を貼付する位置を示すガイドを仮想空間の情報として表示部１４０に表示させる。

これにより、表示デバイス１０を利用する作業者は、表示部１４０越しに見る第２対象ユニットＵ２の表面には、マーカＭＫ２を貼付する予定の位置が上記のガイドとして確認することができる。上記のガイドは、上記の合成画像の一例である。

表示デバイス１０を利用して、上記のような作業支援を受ける作業者は、第２対象ユニットＵ２の表面に墨だし処理を施すことなく、作業対象の位置を識別できる。作業者は、表示されているガイドを利用して、そのガイドの位置にマーカＭＫ２を貼付するとよい。

上記の実施形態によれば、マーカＭＫ２が貼付されていない第２対象ユニットＵ２に、マーカＭＫ２を貼付する作業を支援することができる。

（実施形態に共通する変形例）
上記の実施形態において、位置の初期化処理に起動する要因として、操作ボタンＯＢＪ６の操作を挙げたが、これに制限されない。例えば、より位置合わせ精度を作業中に高めたいという要求が生じた場合などに、マーカＭＫを所定時間以上注視する状態を保つことで、制御部１１０は、位置の初期化処理の要求を受け付けてもよい。

なお、作業支援システム１を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより作業支援システム１が所定の処理動作を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、或いは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、ネットワークや通信回線のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

なお、再生処理部１１７は、シナリオデータに振動を出力させることが規定されている場合には、例えば、注意喚起画像を表示する期間に合わせて、シナリオデータに基づいた振動を、スピーカ１９０から出力させてもよい。これにより画像に基づいた注意喚起だけではなく、振動（音）に基づいて注意喚起を促すことができる。

１…作業支援システム、１０…表示デバイス、１１０…制御部、１２０…記憶部、１３０…入力部、１４０…表示部、１５０…加速度検出部、１６０…無線通信部、１７０…カメラ、１８０…マイク、１９０…スピーカ、１１１…演算処理部、１１２…位置情報処理部、１１３…移動量取得部、１１４…動き検出部、１１５…視線推定部、１１６…操作検出部、１１６ａ…位置情報補正部、１１７…再生処理部（表示制御部）、１１８…履歴処理部、１１９…データ管理部

Claims (8)

1. ユーザの頭部に装着される表示デバイスであって、少なくとも前記ユーザの視野の中心部に位置する実空間の像を透過させる表示部であって、前記実空間に対応する仮想空間の画像を表示する表示部と、前記ユーザの視野の中心部を含む範囲を撮影する撮像部とを備える表示デバイスを用いて、前記ユーザの作業の実施を支援する作業支援システムであって、
   前記実空間の第１対象ユニットに係止されているマーカの画像が前記撮像部によって撮像され、前記撮影された前記マーカの画像に基づいて前記マーカと前記撮像部との位置関係を検出する位置情報検出部と、
   前記ユーザが前記表示部越しに前記マーカを見て、前記マーカに視線を置いている状態で検出された前記マーカの画像の検出結果と、前記ユーザの姿勢を機械的に検出した検出結果とに基づいて、前記仮想空間の画像の表示を制御する表示制御部と、
   を備える作業支援システム。
2. 前記表示制御部は、
   前記マーカの画像の検出結果と前記ユーザの操作に基づいた前記仮想空間の画像の補正量とに基づいて、前記仮想空間の画像の表示を制御する、
   請求項１に記載の作業支援システム。
3. 前記表示制御部は、
   前記マーカの画像の検出結果と、前記マーカの画像の検出結果に対する前記仮想空間の画像の補正量とに基づいて、前記仮想空間の画像の表示を制御する、
   請求項１又は請求項２に記載の作業支援システム。
4. 前記表示制御部は、
   前記実空間の第２対象ユニットにマーカが係止されていない場合には、前記ユーザが前記表示部越しに見るための追加マーカを前記第２対象ユニットに貼付する予定の位置を含む前記仮想空間の画像を前記表示部に表示させる、
   請求項３に記載の作業支援システム。
5. 前記表示制御部は、
   シナリオデータによって規定される画像を前記表示部に表示させるように制御し、
   前記シナリオデータに規定される作業工程には、前記追加マーカを前記第２対象ユニットに貼付する作業の工程が含まれる、
   請求項４に記載の作業支援システム。
6. 前記仮想空間の画像データと、前記マーカの画像の検出結果と、前記仮想空間の画像の補正量とに基づいて、前記仮想空間の画像を生成する画像処理部
   を備える請求項１から請求項５の何れか１項に記載の作業支援システム。
7. ユーザの頭部に装着される表示デバイスであって、少なくとも前記ユーザの視野の中心部に位置する実空間の像を透過させる表示部であって、前記実空間に対応する仮想空間の画像を表示する表示部と、前記ユーザの視野の中心部を含む範囲を撮影する撮像部とを備える表示デバイスを用いて、前記ユーザの作業の実施を支援する作業支援方法であって、
   前記実空間の第１対象ユニットに係止されているマーカの画像を前記撮像部によって撮像させ、
   前記撮影された前記マーカの画像に基づいて前記マーカと前記撮像部との位置関係を検出させ、
   前記ユーザが前記表示部越しに前記マーカを見て、前記マーカに視線を置いている状態で検出された前記マーカの画像の検出結果と、前記ユーザの姿勢を機械的に検出した検出結果とに基づいて、前記仮想空間の画像の表示を制御するステップ
   を含む作業支援方法。
8. ユーザの頭部に装着される表示デバイスであって、少なくとも前記ユーザの視野の中心部に位置する実空間の像を透過させる表示部であって、前記実空間に対応する仮想空間の画像を表示する表示部と、前記ユーザの視野の中心部を含む範囲を撮影する撮像部とを備える表示デバイスを用いて、前記ユーザの作業の実施を支援する作業支援システムのコンピュータであって、
   前記実空間の第１対象ユニットに係止されているマーカの画像を前記撮像部によって撮像させるステップと、
   前記撮影された前記マーカの画像に基づいて前記マーカと前記撮像部との位置関係を検出させるステップと、
   前記ユーザが前記表示部越しに前記マーカを見て、前記マーカに視線を置いている状態で検出された前記マーカの画像の検出結果と、前記ユーザの姿勢を機械的に検出した検出結果とに基づいて、前記仮想空間の画像の表示を制御するステップと
   を実行させるためのプログラム。