JP2020149142A - 作業支援システム、作業支援方法、及びプログラム - Google Patents

Abstract

【課題】作業を記録する際の利便性をより高める作業支援システム、作業支援方法、及びプログラムを提供する。【解決手段】実施形態の作業支援システムは、ユーザの頭部に装着された状態で前記ユーザに実世界を視認可能にしながら情報を表示可能な表示部を備える表示装置を用いて、作業工程を支援する作業支援システムであって、前記作業工程に係る画像を撮像する撮像部と、前記ユーザの第１所定動作に応じて、前記撮像部に撮像を行わせ、前記撮像した画像を前記記憶部に記憶させる撮像制御部と、前記記憶部に記憶された画像に、前記画像が記録された時刻を表す時刻情報と、前記画像が撮像された時に表示されていたガイダンス情報についてのガイダンス情報表示記録と、前記画像が撮像された時に前記ユーザによって行われていた前記作業工程を示す作業工程記録とを関連付けて、前記記憶部に記憶させる記録管理部とを備える。【選択図】図４

Description

本発明は、作業支援システム、作業支援方法、及びプログラムに関する。

透過型のヘッドマウント型デバイスを用いることにより、実空間の状況を見ながら、実空間に対応する仮想空間の情報を確認することが可能になる。ユーザが作業を実施する際にヘッドマウント型デバイスを用いることで、その作業に関する情報をユーザに提供する施工支援情報システム（作業支援システム）が知られている（例えば特許文献１参照）。

特開２０００−１５５８５５号公報

従来、作業状況を記録する場合は、紙媒体に記録したり、別途用意した撮影機材で記録していた。このため、作業中に記録方法の使い分けが発生し、作業効率が低下する場合があった。また、作業実施後に作業を振り返る場合においても、紙媒体や別途用意した撮影機材での記録は、利用者目線からの全記録ではないため、必要な情報が不足する場合があった。

本発明は、このような事情を鑑みてなされたものであり、作業を記録する際の利便性をより高める作業支援システム、作業支援方法、及びプログラムを提供することを目的とする。

上記の課題を解決するための本発明の一態様は、ユーザの頭部に装着され、前記ユーザの頭部に装着された状態で前記ユーザに実世界を視認可能にしながら、前記ユーザに対して情報を表示可能な表示部を備える表示装置を用いて、前記ユーザに対して作業工程の実施を支援する作業支援システムであって、前記作業工程の実施を支援するために前記表示部の第１領域に表示されたガイダンス情報に従って前記ユーザによって行われる前記作業工程に係る画像を撮像する撮像部と、前記ユーザの第１所定動作に応じて、前記撮像部に撮像を行わせ、前記撮像した画像を記憶部に記憶させる撮像制御部と、前記記憶部に記憶された画像に、前記画像が記録された時刻を表す時刻情報と、前記画像が撮像された時に表示されていたガイダンス情報についてのガイダンス情報表示記録と、前記画像が撮像された時に前記ユーザによって行われていた前記作業工程を示す作業工程記録とを関連付けて、前記記憶部に記憶させる記録管理部とを備える作業支援システム。

前記作業支援システムにおいて、前記撮像部は、前記ユーザの手を含む範囲を撮像し、前記撮像制御部は、前記撮像された手で特定のジェスチャーがされたことを、前記ユーザの前記第１所定動作として検出し、前記撮像制御部は、前記ユーザの前記第１所定動作が検出されてから所定時間経過後に、前記撮像部に撮像を行わせ、前記撮像した画像を前記記憶部に記憶させる。

前記作業支援システムにおいて、前記撮像制御部は、前記撮像した画像を、前記表示部の前記第１領域に対して水平方向にずれた位置にある第２領域にプレビュー画像として表示させ、前記撮像制御部は、前記ユーザの第２所定動作に応じて、前記撮像した画像を前記記憶部に記憶させる。

前記作業支援システムにおいて、前記撮像制御部は、前記撮像した画像の中心付近を拡大した拡大画像を、前記表示部の前記第１領域にプレビュー画像として表示させ、前記撮像制御部は、前記ユーザの第２所定動作に応じて、前記撮像した画像を前記記憶部に記憶させる。

前記作業支援システムにおいて、加速度センサを備え、前記加速度センサによって導出された前記ユーザの頭部の動きに基づいて前記ユーザの視線の位置を推定し、前記表示部に視線カーソルを表示する視線推定部を備え、前記拡大画像は、前記画像の撮像時における視線カーソルを基準として定めた位置を中心とする矩形領域を、縦横方向に所定の倍率で拡大した画像である。

前記作業支援システムにおいて、前記撮像制御部は、前記ユーザの第３所定動作に応じて、前記撮像された画像を廃棄し、前記撮像部に再度撮像を行わせる。

前記作業支援システムにおいて、前記ガイダンス情報は、前記作業工程に関する文字情報を含む説明表示画像と、前記作業工程に関するアニメーションを含む動画像と、前記説明表示画像と前記動画像とを所定の順に表示させるためのシナリオデータとに基づく情報である。

前記作業支援システムは、前記記憶部から、前記撮像した画像と、前記時刻情報と、前記ガイダンス情報表示記録と、前記作業工程記録とを読み出して、関連付けて表示する表示管理部を備える。

上記の課題を解決するための本発明の一態様は、ユーザの頭部に装着され、前記ユーザの頭部に装着された状態で前記ユーザに実世界を視認可能にしながら、前記ユーザに対して情報を表示可能な表示部を備える表示装置を用いて、前記ユーザに対して作業工程の実施を支援する作業支援システムのコンピュータが、前記作業工程の実施を支援するために前記表示部の第１領域に表示されたガイダンス情報に従って前記ユーザによって行われる前記作業工程に係る画像を、前記ユーザの第１所定動作に応じて、撮像部に撮像を行わせ、前記撮像した画像を記憶部に記憶させ、前記記憶部に記憶された画像に、前記画像が記録された時刻を表す時刻情報と、前記画像が撮像された時に表示されていたガイダンス情報についてのガイダンス情報表示記録と、前記画像が撮像された時に前記ユーザによって行われていた前記作業工程を示す作業工程記録とを関連付けて、前記記憶部に記憶させる作業支援方法である。

上記の課題を解決するための本発明の一態様は、ユーザの頭部に装着され、前記ユーザの頭部に装着された状態で前記ユーザに実世界を視認可能にしながら、前記ユーザに対して情報を表示可能な表示部を備える表示装置を用いて、前記ユーザに対して作業工程の実施を支援する作業支援システムのコンピュータに、前記作業工程の実施を支援するために前記表示部の第１領域に表示されたガイダンス情報に従って前記ユーザによって行われる前記作業工程に係る画像を、前記ユーザの第１所定動作に応じて、撮像部に撮像を行わせ、前記撮像した画像を記憶部に記憶させ、前記記憶部に記憶された画像に、前記画像が記録された時刻を表す時刻情報と、前記画像が撮像された時に表示されていたガイダンス情報についてのガイダンス情報表示記録と、前記画像が撮像された時に前記ユーザによって行われていた前記作業工程を示す作業工程記録とを関連付けて、前記記憶部に記憶させるプログラムである。

本発明によれば、作業を記録する際の利便性をより高めることができる。

本発明の実施形態に係る作業支援システム１の概要について説明するための図である。 実施形態の対象ユニットＵを示す図である。 実施形態の表示装置１０が表示する画像を説明するための図である。 実施形態に係る表示装置１０の概略構成図である。 実施形態の通信設定（ペアリング）における画面を説明する図である。 実施形態の通信設定（ペアリング）における画面を説明する図である。 実施形態の通信設定（ペアリング）における画面を説明する図である。 実施形態の通信設定（ペアリング）における画面を説明する図である。 実施形態の権限情報ＤＢ１２９に記憶される内容について説明するための図である。 実施形態のユーザ権限選択画面２００を説明するための図である。 実施形態の中断箇所情報が無い場合の予定作業選択画面２２５Ａを説明するための図である。 実施形態の中断箇所情報が無い場合の予定作業選択画面２２５Ｂを説明するための図である。 実施形態の中断再開設定ダイヤログ２３０を説明するための図である。 実施形態のシステムエラー中断再開設定ダイヤログ２３０Ａを説明するための図である。 実施形態の表示部１４０に表示させる画像について説明するための図である。 実施形態の作業主任者用工程確認画面２１０Ａを説明するための図である。 実施形態の操作者用工程確認画面２１０Ｂを説明するための図である。 実施形態の作業工程撮像制御画面２４０を説明するための図である。 実施形態の撮像画像プレビュー画面２４５を説明するための図である。 実施形態の撮像画像拡大プレビュー画面２５０を説明するための図である。 実施形態の撮像画像拡大再生画面２６０Ａを説明するための図である。 実施形態の撮像画像標準再生画面２６０Ｂを説明するための図である。 実施形態の単独作業者用作業工程支援処理のフローチャートである。 実施形態の複数人モード用作業工程支援処理のフローチャートである。 実施形態のシステムエラー中断記録部１１９ｂによって行われるシステムエラー中断記録処理を説明するための図である。 実施形態の撮像制御部１１９ｄによって行われる撮像処理を説明するための図である。 実施形態の撮像画像表示処理を説明するための図である。

以下、図を参照して、実施形態に係る作業支援システム、作業支援方法、及びプログラムについて説明する。
実施形態における「動画像」とは、時間軸方向の情報の連続性が保たれた画像（動画像）の他、時間軸方向の情報を間引いた準動画像、複数種類の静止画を連続して表示する画像などを含む。
また、下記説明において同様の構成要素には、同じ参照符号を付してその説明を省略する場合がある。

［作業支援システムの概要］
実施形態に係る作業支援システム１の概要について説明する。
図１は、実施形態に係る作業支援システム１の概要について説明するための図である。作業支援システム１は、ユーザに予定の作業を円滑に実施させるように、予定の作業に関する情報を、そのユーザに提供する。

（適用する作業と対象ユニットＵの例）
ここで具体的な作業の一例を挙げる。例示する作業は、作業対象の装置（以下、対象ユニットＵという。）の保守・点検作業である。対象ユニットＵは、例えば、通信装置、サーバ装置などのＩＣＴ（Information and Communication Technology）装置、電力変換装置等であってよい。このような対象ユニットＵは、主に通信機械室などに配置されるが、通信機械室には同じ形の装置（収納筐体）が多数配置されていることがある。１つの収納筐体に、同種或いは異種のユニットが複数搭載されていることがある。

ここで、対象ユニットＵの一例を図２に示す。図２は、実施形態の対象ユニットＵを示す図である。図２に示す対象ユニットＵは、１つの収納筐体に、同種或いは異種のユニットとともに搭載されている。対象ユニットＵの作業対象の面には、同一形状の複数のコネクタ、スイッチ、表示素子などが並んで配置されている。そのため、対象ユニットＵそのものや、コネクタ、スイッチ、表示素子などを誤ることなく作業を実施する必要がある。

また、収納筐体内の一部のユニットを稼働させた状態で、収納筐体内の特定のユニットに対する給電を停止して、当該ユニットの稼働を停止させて作業を実施することがある。このような作業の場合、操作するスイッチを誤ると、稼働中のユニットを予定外に停止させることになる。

これまで上記の作業を実施する際には、作業計画が記載された手順書を確認し、作業主任者（作業リーダー）とユーザが連携して作業にあたるなどの方法を励行することにより、上記の誤りが生じることを防いでいた。ただし、作業が複雑になるほど、上記の手順書が複雑になる。また、ユーザが手順書を確認するために、対象ユニットＵから目を離すことがあった。

これに対し、作業支援システム１は、図１に示すような作業形態をとることで、表示装置１０を利用するユーザ（例えば、操作者）等の作業を支援する。

例えば、表示装置１０は、透過型のヘッドマウントディスプレイ（ＨＭＤ）である。表示装置１０は、ユーザの頭部に装着された状態で利用される作業支援装置の一例である。

図３を参照して、作業支援システム１がユーザに示す情報の一例について説明する。図３は、実施形態の表示装置１０が表示する画像を説明するための図である。

ユーザは、表示装置１０を頭部に装着していると、表示装置１０を透過して実空間の対象ユニットＵ等の像を確認できる。表示装置１０は、図３に示すような対象ユニットＵに関する仮想の像を表示する。ユーザは、実空間に存在する対象ユニットＵの像と、表示装置１０が表示した画像とを、作業中に確認することができる。表示装置１０が表示する画像には、対象ユニットＵの輪郭の他、領域ＺＩに示される作業の内容と手順に関する情報が含まれる。表示装置１０は、ユーザが実空間の対象ユニットＵの像と対象ユニットＵに関する仮想の像が重なった像として確認できるように、表示する画像を調整する。

このような作業支援システム１は、ユーザが手順書を確認するために、ユーザが対象ユニットＵから目を離すことなく当該ユーザの作業を続けることを可能にする。以下、この詳細について説明する。

図４を参照して、実施形態に係る表示装置１０について説明する。図４は、実施形態に係る表示装置１０の概略構成図である。尚、後述する表示装置２０も、表示装置１０と同様の構成を有するので、表示装置２０についての説明は省略する。

表示装置１０は、制御部１１０と、記憶部１２０と、入力部１３０と、表示部１４０と、加速度検出部１５０と、無線通信部１６０と、カメラ１７０と、マイク１８０と、スピーカ１９０とを備える。

制御部１１０は、ソフトウエアプログラムを実行するプロセッサ等を含む。制御部１１０は、ソフトウエアプログラムを実行することにより各種処理の機能部として作用する。例えば制御部１１０は、演算処理部１１１と、位置情報処理部１１２と、操作入力部１１３、ユーザ権限設定部１１３ａ、動き検出部１１４と、視線推定部１１５と、操作検出部１１６と、再生処理部１１７と、同期情報取得部１１７ａと、操作オブジェクト表示制御部１１７ｂと、履歴処理部１１８と、データ管理部１１９と、中断記録部１１９ａと、システムエラー中断記録部１１９ｂと、中断再開設定部１１９ｃと、撮像制御部１１９ｄと、記録管理部１１９ｅとを備える。その詳細は後述する。再生処理部１１７は、第１表示制御部の一例である。

記憶部１２０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等で実現される。プロセッサが実行するソフトウエアプログラムは、予め記憶部１２０に格納されていてもよいし、外部装置や可搬型記憶媒体などから、或いは通信回線を介してダウンロードされてもよい。

記憶部１２０は、表示装置１０を通信端末として機能させるための各種設定情報と、ＯＳ（Operating System）などの基本プログラムを格納する。さらに、記憶部１２０は、上記の他、実施形態の表示装置１０としての機能を実現させるための各種データとアプリケーションプログラムとを格納する。各種データの例について後述する。

入力部１３０は、ユーザの操作を検出する操作検出部を含む。操作検出部は、機械的に検出する機構部を備えていてもよく、電気的に検出する検出部を備えていてもよい。

表示部１４０は、各種情報を表示する透過型又は半透過型の表示器を含む。表示部１４０の表示器は、ユーザの片目又は両目の視野に収まるような位置に、所望の画像を表示させるように配置されている。例えば、表示部１４０は、両目の視差を調整した画像を、両目の視野内に夫々表示することにより、立体視可能な像を表示することができる。

加速度検出部１５０は、加速度センサー（又はジャイロ）を含み、ユーザの頭部に作用する力を、表示装置１０に掛かる力として検出する。ユーザの頭部に作用する力は、ユーザの行動と姿勢によって変化する。加速度検出部１５０の検出結果を利用することにより、間接的にユーザの行動と姿勢を検出することができる。

無線通信部１６０は、図示されないアンテナを備えており、電波を利用して通信する。例えばこの通信方式として、近距離通信方式、セルラー方式、無線ＬＡＮ方式などの各種方式を適用できる。近距離通信方式の場合、比較的近傍に位置する他の表示装置１０などと消費電力を抑えて通信することができる。無線通信部１６０は、通信部の一例である。

無線通信部１６０が使用する無線通信方式は、例えば、3G、LTE、4Gなどのセルラー通信、Wi-Fi、Bluetooth（登録商標） Classic、Bluetooth LE GATT（登録商標）、Bluetooth LE Advertisement（登録商標）などであってよい。表示装置１０は、Wi-Fi等の通信環境が用意されていない場所でも使用されることを考慮すると、Peer-to-Peerで接続可能なBluetooth（登録商標）を使用することが好ましい。Bluetooth（登録商標）の中でも、低電力で動作可能なBluetooth LE GATT（登録商標）が特に好ましい。

無線通信部１６０が使用する無線通信方式がBluetooth（登録商標）である場合には、無線通信部１６０は、データ通信を行う前に、表示装置２０の無線通信部と通信することにより通信設定（ペアリング）を行う。無線通信部１６０が使用する無線通信方式がBluetooth（登録商標）ではない場合には、表示装置１０と表示装置２０とは、作業を連携して実施するための共通のグループＩＤと、認証のための認証鍵の設定とを共有する通信設定を行ってもよい。表示装置１０と表示装置２０とは、ペアリングの結果、グループＩＤや認証鍵などを用いて互いの認証を行ってもよい。または、Near field communication（NFC）などの他の無線通信方式などを用いて通信設定が行われてもよい。

図５Ａ〜図５Ｄは、実施形態の無線通信部１６０が使用する無線通信方式がBluetooth（登録商標）である場合における、通信設定（ペアリング）の手順において表示装置１０と表示装置２０の表示部１４０に表示される画面を説明する図である。例えば、表示装置２０と表示装置２０との間でペアリングを行う場合、ペアリングを受ける側は、図５Ａのようなペアリング待機画面を表示して、接続を待ち受ける。一方、ペアリングをする側においては、ユーザは、図５Ｂのようにペアリングを待ち受けている表示装置の一覧から、ペアリングを行う表示装置を選択する。この結果、ペアリングが成功すると、図５Ｃのようなペアリング成功の画面が表示される。ペアリングが失敗すると、図５Ｄのようなペアリング成功の画面が表示される。

カメラ１７０は、光学系と撮像素子を含み、光学系の光軸方向を撮像する。例えば、カメラ１７０は、表示装置１０の筐体の内部又は外部に設けられていて、ユーザが、その頭部に表示装置１０を規定の方法で装着すると、ユーザの顔の前方にカメラ１７０の光軸が向くように形成されている。制御部１１０は、カメラ１７０によって撮像された画像を用いることで、表示装置１０を装着したユーザの姿勢を検出したり、ユーザの位置を検出したりするために利用する。また、カメラ１７０は、後述のガイダンス情報に従ってユーザによって行われる前記作業工程に係る画像を撮像する。

マイク１８０とスピーカ１９０は、例えば、図示されない所望のアンプを含み、表示装置１０を通話用の装置として利用する際に利用される。また、制御部１１０は、マイク１８０を、表示装置１０の周囲の音を収集するためのセンサとして利用してもよく、スピーカ１９０から、警報音やユーザに対する音声ガイドを提供してもよい。なおスピーカ１９０は、イヤホン、ヘッドホン、骨伝導型振動体などあってもよい。以下の説明では、スピーカ１９０を、それらを代表するものとして説明する。マイク１８０とスピーカ１９０は、表示装置１０に内蔵されていてもよく、表示装置１０に付帯されるものであってもよい。

なお、表示装置１０には、ＨＭＤ型に代えて、スマートフォン、タブレット型端末、パーソナルコンピュータ等の携帯型の装置を適用することができる。上記の場合、表示部１４０が透過型でなくなるが、同様の用途に利用することができる。スマートフォンなどの場合、入力部１３０と表示部１４０は、互いに組み合わされたタッチパネルとして構成されていてもよい。

次に、記憶部１２０に格納されるデータについて説明する。
記憶部１２０には、例えば、３ＤモデルＤＢ１２１と、音源ＤＢ１２２と、動画像ＤＢ１２３と、属性ＤＢ１２４と、マーカＤＢ１２５と、作業計画ＤＢ１２６と、補正量ＤＢ１２７と、履歴ＤＢ１２８と、撮像画像ＤＢ１２８ａと、権限情報ＤＢ１２９が格納される。

３ＤモデルＤＢ１２１には、３次元の仮想空間に構築したモデルのデータが含まれる。上記のモデルは、実空間の対象ユニットＵなどを含む領域に対応するものである。例えば、上記のモデルのデータには、対象ユニットＵの輪郭像のデータ、作業工程ごとの作業の内容に関するデータ（説明表示画像）などが含まれてもよい。

音源ＤＢ１２２には、作業手順のガイダンスとして再生するための音源データが含まれる。

動画像ＤＢ１２３には、作業手順のガイダンスとして再生するための動画像データが含まれる。上記の動画像データには、対象ユニットＵにおいてユーザの操作によって視覚上の変化が生じる部分のデータが含まれる。例えば、スイッチの操作をガイダンスする場合であれば、対象となるスイッチを特定することができ、スイッチのレバー部分の状態をどのように変えるかなどのように、作業の要領（動き）が示されればよい。

属性ＤＢ１２４には、表示装置１０の装置ＩＤ、表示装置１０のユーザのユーザＩＤ、ユーザの権限を示すユーザ権限情報などが含まれる。

マーカＤＢ１２５には、表示装置１０の位置合わせ処理に利用されるマーカの特徴と、実空間に配置されている位置に関するデータが含まれる。例えばマーカは、ＱＲコード（登録商標）などの二次元コードである。

作業計画ＤＢ１２６には、表示装置１０を用いて支援する作業の作業計画のデータが含まれる。このデータは、作業の手順を示すシナリオのデータとして用いられる。

補正量ＤＢ１２７には、表示装置１０の表示の精度を高めるための各種補正データなどが含まれる。例えば、各補正データには、表示装置１０の位置合わせ処理の精度を高めるためのデータが含まれていてもよい。

履歴ＤＢ１２８には、実施された作業結果のデータが含まれる。例えば、このデータには、カメラ１７０によって撮像された画像データ、操作の履歴データなどが含まれる。

撮像画像ＤＢ１２８ａは、撮像制御部１１９ｄの制御に従って、カメラ１７０により撮像された画像を含む。また、撮像画像ＤＢ１２８ａは、更に、記憶された画像に関連付けて、画像が記録された時刻を表す時刻情報と、画像が撮像された時に表示されていたガイダンス情報についてのガイダンス情報表示記録と、画像が撮像された時に前記ユーザによって行われていた前記作業工程を示す作業工程記録と、前記作業工程における作業の対象である対象ユニットＵを示す撮像対象装置情報とを記憶する。

図６Ａは、実施形態の権限情報ＤＢ１２９に記憶される内容について説明するための図である。権限情報ＤＢ１２９は、ユーザ権限と、ユーザ権限に対して許される操作を示す操作許可情報とを互いに関連付けて記憶する。

なお、各種ＤＢのデータは互いに関連付けられていて、ユーザが予定する作業のマニュアルとして機能する情報を含む。マニュアルとは、一般的な作業の手順書に関する情報に加えて、予定する作業の対象ユニットＵに関するＣＧ画像データ、予定する作業を、動画像を用いて説明するための動画像データ、などが含まれる。

次に、制御部１１０がプログラムを実行することで実現する表示装置１０の主な機能を挙げる。以下、これについて順に説明する。
・表示装置１０の初期設定機能
・表示装置１０の位置検出機能
・表示装置１０の操作入力機能
・表示装置１０による視線の動き検出機能
・表示装置１０による対象ユニットＵの合成画像の表示機能
・表示装置１０が表示する合成画像の補正機能
・表示装置１０による画像と音声の再生機能
・表示装置１０による操作オブジェクトの表示制御機能
・表示装置１０を利用した作業の作業履歴の管理機能
・表示装置１０による各種情報の管理機能
・表示装置１０による中断記録と中断再開設定機能
・表示装置１０による同期制御機能
・表示装置１０による撮像機能
・表示装置１０によるナビゲーション表示機能
・表示装置１０によるユーザ権限に応じた表示機能

（表示装置１０の初期設定機能）
表示装置１０の制御部１１０は、入力部１３０による操作の検出結果に基づき、表示装置１０を機能させるための各種情報を生成して、それを記憶部１２０の属性ＤＢ１２４に格納させる。例えば、上記の各種情報には、表示装置１０のユーザが登録するユーザＩＤ、役割を示す役割情報などが含まれる。

（位置検出機能）
位置情報処理部１１２は、例えば、表示装置１０の位置の検出に、規定のマーカの検出結果と、表示装置１０の動き検出の結果とを利用して、表示装置１０の位置と表示装置１０が向けられた方向を検出する。前述の図２に示す符号ＭＫは規定のマーカの一例である。規定のマーカは、対象ユニットＵの側面に添付されている。

なお、表示装置１０は、自表示装置１０の位置を検出する位置検出機能を有効化する前に、次に示す初期化処理を実施することによって表示装置１０の位置と表示装置１０が向けられた方向の初期値を決定する。表示装置１０の位置の初期値を基準位置と呼ぶ。

（操作入力機能）
操作入力部１１３は、ユーザから操作入力を受け付ける。例えば、ユーザが、表示装置１０が表示する画像において、後述する視線カーソルを所定の操作オブジェクトまで動かし、所定のジェスチャーを行うと、操作入力部１１３は、所定の操作オブジェクトに関する操作入力を受け付ける。

操作入力部１１３は、例えば、カメラ１７０で撮像した画像を認識することにより、ユーザが所定のジェスチャーを行ったことを検出することができる。視線カーソルとジェスチャーによって、一般的なコンピュータにおけるマウスの移動とクリックに対応する操作を可能にする。尚、操作入力部１１３は、ジェスチャーの代わりに、マイク１８０で検出した音声による音声入力を用いることもできる。また、操作入力部１１３は、ジェスチャーの代わりに、入力部１３０への入力を用いることもできるし、表示装置１０に有線または無線で接続されるスイッチやキー等を含む入力デバイスへの入力を用いることもできる。以下の説明では、上記のような様々な方法で、所定の操作オブジェクトを選択（操作）することを、単に「操作する」という。

（ユーザ権限設定機能）
図６Ｂは、実施形態のユーザ権限選択画面２００を説明するための図である。例えば、ユーザが表示装置１０を起動して作業工程支援処理に係る所定のプログラムを実行すると、ユーザ権限設定部１１３ａは、例えば、表示部１４０において領域ＺＩ（図３参照）に、ユーザ権限選択画面２００を表示する。ユーザは、視線カーソルを選択するオブジェクトにあわせて所定のジェスチャーをすると、ユーザ権限設定部１１３ａは、そのオブジェクトの権限を選択する。

ユーザ権限選択画面２００は、例えば、操作者オブジェクト２０２と、作業主任者オブジェクト２０４と、単独作業者オブジェクト２０６とを含む。例えば、操作者オブジェクト２０２は、ユーザが作業を行う操作者である場合のための操作者権限を選ぶオブジェクトである。操作者権限においては、ユーザは、作業支援システム１によって示されるガイダンスに従って、作業を行う。作業主任者オブジェクト２０４は、操作者を監督する作業主任者のための作業主任者権限を選ぶオブジェクトである。作業主任者権限においては、ユーザは、作業工程支援処理に係る所定のプログラムの操作を行い、操作者によってされた作業工程の状態確認を行う。単独作業者オブジェクト２０６は、単独で操作者と操作者を監督する作業主任者とを兼任するための単独作業権限を選ぶオブジェクトである。単独作業権限においては、ユーザは、作業工程支援処理に係る所定のプログラムの操作を行い、更に、実際の作業を行う。操作者権限は、第１権限の一例である。作業主任者権限は、第２権限の一例である。単独作業権限を選択すると、表示装置１０は単独モードで動作する。例えば、操作者権限または作業主任者権限を選択すると、表示装置１０は複数人モードで動作する。

（視線の動き検出機能）
動き検出部１１４は、加速度検出部１５０の検出結果に基づいて算出されるユーザの頭部の動きの推定結果を取得する。
例えば、作業者が視線を移動させると、それに伴い作業者の頭部も動く。作業者の頭部の動きを検出することで、間接的に作業者の視線の動きを検出することができる。例えば、視線推定部１１５は、作業者の頭部の動きに基づいて視線の位置を算出する。これに基づいて、表示装置１０は、算出された視線の位置に視線カーソルを表示部１４０に表示する。

視線推定部１１５は、動き検出部１１４によって算出され、演算処理部１１１によって中継される、頭部の動きの推定結果と、視線の動きの推定結果を取得してもよい。或いは、演算処理部１１１は、加速度検出部１５０の検出結果に基づいた頭部の動きの推定結果と視線の動きの推定結果を算出する。動き検出部１１４は、演算処理部１１１から、演算処理部１１１によって算出された頭部の動きの推定結果と視線の動きの推定結果を取得してもよい。なお、加速度検出部１５０の検出結果である加速度データから、頭部の動きと視線の動きを算出する方法は、上記に限らず既知の方法を用いてよい。

上記の通り、表示装置１０は、作業支援システム１において、ユーザの位置のセンサと姿勢のセンサとして機能して、ユーザの位置と姿勢の情報を取得する。

（対象ユニットＵの合成画像の表示機能）
表示装置１０は、実空間内に配置された対象ユニットＵの像の位置に整合するように、対象ユニットＵの合成画像を表示する。

例えば、表示装置１０に表示される対象ユニットＵの合成画像は、３ＤモデルＤＢ１２１の３次元モデル（３Ｄモデル）に含まれる。対象ユニットＵの合成画像の画像データは、上記の３Ｄモデルの座標系の位置に対応付けるための情報が関連付けられている。３Ｄモデルの座標系の位置に対応付けるための情報とは、上記の３Ｄモデルの座標系の位置情報であってもよく、３Ｄモデル内に配置された装置の識別情報及びその装置の側面の何れかを特定可能な識別情報を有するデータであってもよい。

演算処理部１１１は、上記の３Ｄモデルの座標系の位置に対応付けるための情報等を用いて対象ユニットＵの合成画像を、３Ｄモデル内の対象ユニットＵの位置に表示させるためのデータを生成する。
これにより、ユーザが、頭を旋回させて違う方向を見た場合も、移動して位置を代えた場合も、表示装置１０は、ユーザと対象ユニットＵの位置関係を逐次捕捉し続ける。

（表示する合成画像の補正機能）
表示装置１０は、表示する合成画像を、ユーザと対象ユニットＵとの位置関係に基づいて補正する。

例えば、ユーザが対象ユニットＵから離れれば、それに応じて表示する対象ユニットＵの画像を小さくする。ユーザが首を横に向ければ、それに応じて対象ユニットＵの画像を表示する位置を横に変更する。上下に向ける場合も同様である。

演算処理部１１１は、上記に関する合成画像の補正演算を実施して、補正後の合成画像を出力する。

（画像と音声の再生機能）
表示装置１０は、予め記憶部１２０に格納されているデータに基づいて画像と音声を再生する。
例えば、記憶部１２０の３ＤモデルＤＢ１２１と、音源ＤＢ１２２と、動画像ＤＢ１２３に格納されているデータは、画像と音声のデータである。
或いは、記憶部１２０に格納されている上記のデータは、画像と音声を選択するための識別データであってよい。この場合、表示装置１０は、他の装置に識別データを送って、画像と音声のデータを取得してもよい。

再生処理部１１７は、３ＤモデルＤＢ１２１と動画像ＤＢ１２３に格納されているデータに基づいて再生した作業手順のガイダンスを、表示部１４０に表示させる。また、再生処理部１１７は、音源ＤＢ１２２に格納されているデータに基づいて再生した作業手順のガイダンスの音声を、スピーカ１９０から出力させる。以下の説明では、再生処理部１１７が作業手順のガイダンスを、表示部１４０に表示させ、作業手順のガイダンスの音声を、スピーカ１９０から出力させることを、単に「作業手順のガイダンスを表示させる」という場合があるが、このように表現した場合でも、動画像の表示に合わせて、音声も適宜出力されてもよい。作業手順のガイダンスは、ガイダンス情報の一例である。

例えば、ユーザ権限設定部１１３ａによって操作者権限または作業主任者権限が設定された場合には、再生処理部１１７は、作業に関する情報である作業情報と、表示装置２０に対する所定の操作を示す操作オブジェクトとを、後述する同期情報に基づいて同期して表示部１４０に表示させるように制御を行う。

なお、再生処理部１１７は、特定の作業工程内の予め定められる期間に、上記のシナリオデータに基づいて動画像の表示を制限するとよい。特定の作業工程内の予め定められる期間とは、作業者が実際に作業を実施する期間を含むように規定する。これによって、作業者は、集中して自身の作業を遂行できる。

再生処理部１１７は、特定の作業工程の任意の期間において、作業者が実施する作業に関する情報を非表示にして、さらに、その後再表示にしてもよい。特定の作業工程の任意の期間として、例えば、操作検出部１１６が作業中であると判定してから、作業が終了したと判定までの期間を含めた範囲を規定してもよい。これによれば、視野の中央部に位置する表示を、作業中に控えることが可能になる。尚、操作検出部１１６によって検出された作業工程終了を通知する同期情報は、無線通信部１６０を介して他の表示装置２０に送信してもよい。

同期情報取得部１１７ａは、無線通信部１６０を介して表示装置２０と通信することにより、表示装置２０との同期に関する同期情報を取得する。同期情報は、例えば、表示装置２０において行われた操作に関する情報を含む。

尚、本願明細書における「同期」とは、表示装置１０と表示装置２０のうち一方が、他方からオブジェクトの操作結果等を受け取り、アプリケーションレベルで、他方の作業工程の進行に合わせることをいう。本願明細書における「同期」は、通信のプロトコルの下層レイヤーで、電気信号がシンクロナイズすることを要しない。

例えば、同期情報は、シナリオデータ中の再生箇所を示すシーケンス情報を含んでいてもよく、例えば、シナリオデータに付された連番やタイムスタンプ等であってよい。シナリオデータについては後述する。同期情報取得部１１７ａは、シナリオデータ中の再生箇所を示すシーケンス情報を表示装置２０から取得することにより、第２表示装置２０において行われた工程決定操作によって決定された作業工程に対して同期を取る。

尚、同期情報取得部１１７ａが取得する同期情報は、２０バイト以下のサイズとなっている。このため、１回の送信におけるデータの大きさが２０バイト以下に制限されているBluetooth LE GATT（登録商標）においても、同期情報を送受信することができる。表示装置１０と表示装置２０の間では同期情報のみが送受信され、データサイズの大きい３Ｄモデルや動画像は、それぞれの表示装置１０、２０のローカルにある記憶部１２０から読み出される。従って、サイズの小さな同期情報を送受信するだけで、データサイズの大きい３Ｄモデルや動画像の同期再生を実現することができる。

操作オブジェクト表示制御部１１７ｂは、ユーザ権限設定部１１３ａによって設定されたユーザ権限に基づいて、表示部に１４０表示させる操作オブジェクトを制限する。再生処理部１１７と操作オブジェクト表示制御部１１７ｂの詳細については、後述する。

（操作オブジェクト表示制御部）
操作オブジェクト表示制御部１１７ｂは、ユーザ権限設定部１１３ａによって設定されたユーザ権限に基づいて、表示部１４０に表示させる操作オブジェクトを制限する。例えば、ユーザ権限設定部１１３ａによって操作者権限が設定されると、操作オブジェクト表示制御部１１７ｂは、操作オブジェクトＯＢＪ１からＯＢＪ４が表示されない操作者用工程確認画面２１０Ｂを表示部１４０に表示させる。

例えば、ユーザ権限設定部１１３ａによって作業主任者権限または単独作業権限が設定された場合には、操作オブジェクト表示制御部１１７ｂは、表示部１４０に表示させる操作オブジェクトを制限しない。例えば、ユーザ権限設定部１１３ａによって作業主任者権限または単独作業者権限が設定されると、操作オブジェクト表示制御部１１７ｂは、操作オブジェクトＯＢＪ１からＯＢＪ４が表示される作業主任者用工程確認画面２１０Ａを表示部１４０に表示させる。操作オブジェクト表示制御部１１７ｂは、ユーザ権限と、ユーザ権限に対して許される操作を示す操作許可情報とを互いに関連付けて記憶した権限情報ＤＢ１２９を参照することにより、表示部１４０に表示させる操作オブジェクトを制限する。

（作業履歴の管理）
表示装置１０は、ユーザによる記録開始の操作を検出して、作業期間中にした作業の履歴を管理する。

履歴処理部１１８は、関連する操作が検出されるとカメラ１７０からの画像の録画を開始して、作業中のユーザが選択したオブジェクトの操作履歴を履歴ＤＢ１２８に追加する。履歴処理部１１８は、ユーザによる作業終了（作業完了）、作業中断、記録中断などの操作が検出されるまで、上記の録画と記録の処理を継続する。

上記のように記録された画像と操作履歴を、所定の作業の完了後に当該作業の報告、解析などに利用することができる。

なお、履歴処理部１１８は、作業中に上記のカメラ１７０からの画像と操作履歴を、通信によって他の装置に送信してもよい。この場合、これらを受信した装置が、記録に残すとよい。

（各種情報の管理機能）
上記の通り、表示装置１０として機能させるための各種情報には、対象ユニットＵが配置された位置の位置情報、ユーザの識別情報、ユーザの属性情報、作業の内容と手順に関するシナリオデータ、表示装置１０の位置などの検出結果、表示用の各種情報などの情報が含まれる。

データ管理部１１９は、表示装置１０として機能させるための各種情報を、入力部１３０又は無線通信部１６０から取得すると、記憶部１２０に格納する。各種情報には、例えば、作業手順のガイダンスを含む。作業手順のガイダンスは、例えば、作業に関する文字情報を含む説明表示画像と、前記作業に関するアニメーションを含む動画像と、前記説明表示画像と前記動画像とを所定の順に表示させるためのシナリオデータとを含む。

（中断記録と中断再開設定機能）
中断記録部１１９ａは、表示装置１０のユーザによる中断要求によってガイダンス情報の表示が中断された場合に、表示が中断された中断箇所に関する中断箇所情報を記憶部１２０に記憶させる。中断記録部１１９ａは、第１中断記録部の一例である。

システムエラー中断記録部１１９ｂは、作業支援システム１のシステムエラーによってガイダンス情報の表示が中断された場合に、表示が中断された中断箇所に関するシステムエラー中断箇所情報を記憶部１２０に記憶させる。システムエラー中断記録部１１９ｂは、第１システムエラー中断記録部の一例である。

中断箇所情報とシステムエラー中断箇所情報とのそれぞれは、例えば、シナリオデータ中における中断箇所を示す情報を含んでいてもよく、例えば、シナリオデータに付された連番やタイムスタンプ等であってよい。これらの情報は、ＯＳ（Operating System）などの基本プログラムや、実施形態の表示装置１０としての機能を実現させるためのアプリケーションプログラムなどのシステムログから取得される情報であってもよい。システムログから取得される情報は、システムログとして記録される情報の一部であってもよく、全部でもよい。システムログとして記録される情報は、FATAL, ERROR，WARN，INFO，DEBUGなどのようにその要因や結果などによりレベル分けされていてもよい。以下の説明では、エラー（ERROR）を中断の要因の一例として説明するが、これに制限されず、取得した情報のうちから選択してよい。

図７Ａは、実施形態の中断箇所情報が無い場合の予定作業選択画面２２５Ａを説明するための図である。予定作業選択画面２２５は、第１シナリオ２２６Ａ〜第３シナリオ２２８Ａを含む。

図７Ｂは、実施形態の中断箇所情報が無い場合の予定作業選択画面２２５Ｂを説明するための図である。予定作業選択画面２２５は、第１シナリオ２２ＡＢ〜第３シナリオ２２８Ｂを含む。予定作業選択画面２２５Ｂにおいては、第３シナリオ２２８Ｂの右に「中断マーク」が表示されており、第３シナリオ２２８Ｂには、中断箇所情報またはシステムエラー中断箇所情報があることを示している。

図８Ａは、実施形態の中断再開設定ダイヤログ２３０を説明するための図である。中断再開設定部１１９ｃは、図示されるような中断再開設定ダイヤログ２３０を表示部１４０に表示させる。ユーザが、「はい」を示す操作オブジェクト２３２を選択すると、中断再開設定部１１９ｃは、記憶部１２０に記憶させられた中断箇所情報とシステムエラー中断箇所情報とのいずれか１つ基づいて、ガイダンス情報の表示が中断された中断箇所よりも時間的に前の表示再開箇所から表示を再開するように設定を行う。

図８Ｂは、実施形態のシステムエラー中断再開設定ダイヤログ２３０Ａを説明するための図である。中断再開設定部１１９ｃは、システムエラー中断箇所情報が記憶部１２０に記憶されている場合は、例えば、図８Ｂのシステムエラー中断再開設定ダイヤログ２３０Ａのように、前記システムエラーによって前記ガイダンス情報の表示が中断された旨を表示部１４０に表示させる。中断再開設定部１１９ｃは、第１中断再開設定部の一例である。

ガイダンス情報の表示が中断された中断箇所よりも時間的に前の表示再開箇所とは、例えば、ガイダンス情報の表示が中断された中断箇所が含まれる作業工程の１つ前の作業工程の開始箇所であってよい。または、ガイダンス情報の表示が中断された中断箇所よりも時間的に前の表示再開箇所とは、例えば、ガイダンス情報の表示が中断された中断箇所が含まれる作業工程の開始箇所であってよい。

（同期制御）
表示装置１０は、他の表示装置である表示装置２０と同期して動作することにより、表示装置１０と表示装置２０（図１）における画像と音声の再生を互いに同期させることができる。その際に、再生する画像と音声の種類は、同一であってもよく、予め対応付けられたものであれば、少なくとも一部が互いに異なるものであってもよい。

表示装置１０は、透過型であり、「複合現実」と呼ばれる実空間に仮想現実を融合させる技術を用いて、実空間に存在しない情報を実空間の対象ユニットＵに対応付けるように提供する。

実空間に対するユーザの視野は、表示装置１０の構造によって死角が生じる範囲を除けば、基本的には制限されることがない。例えば、表示部１４０の範囲を超える範囲がユーザの視野に含まれる。これに対し、仮想現実を提供するための合成画像が表示される範囲は、少なくとも表示部１４０の範囲に制限される。

（ナビゲーション表示）
次に表示部１４０の表示について説明する。

図９は、実施形態の表示部１４０に表示させる画像について説明するための図である。符号２１０は、表示部１４０に表示させる画像を示す。表示部１４０には、この範囲の一部又は全部が表示される。領域２１０は、中央に位置する領域２１０ａと、領域２１０ａの右側の領域２１０ｂと、領域２１０ａの左側の領域２１０ｃに大別される。領域２１０ａから領域２１０ｃは、そこに表示される情報の種類が異なるように規定されている。

領域２１０ａから領域２１０ｃの範囲とは独立して範囲が規定される領域２１０ｔがある。領域２１０ｔは、少なくとも領域２１０ａに重なるように設けられ、そこには、対象ユニットＵに関する仮想の像が表示される。対象ユニットＵに関する仮想の像には、各ユニットの輪郭と、各ユニットの盤面に配置されている部品の輪郭の像などが含まれる。

領域２１０ａは、対象ユニットＵに関する仮想の像の像を示す他に、主に作業の手順などを示すために利用される。この領域２１０ａは、作業者が対象ユニットＵに対する作業中に、作業者の視野の中心近傍に位置するように表示される。

領域２１０ａ内の上段には、作業者に注目させる位置を示す領域２１１が設けられている。領域２１１は、「対象エリア」の一例である。領域２１１には、上記の位置を含むように規定された枠の四隅を示す図形２１１ｃが表示される。「対象エリア」を、四隅に図形２１１ｃが配置された四角形の枠内に規定してもよい。

領域２１１の下段には、詳細表示エリア２１２（図１０Ａ）が設けられることがある。詳細表示エリア２１２は、作業者が作業工程の作業を励行する際に必要とされる情報が順に示され、それに対する応答をするために利用される領域である。

領域２１０ｂと２１０ｃは、主に作業に関連する各種情報を示すために利用される。ここに示す各種情報には、対象ユニットＵの図面、保守点検の履歴などの関連情報が含まれる。

（ユーザ権限に応じた表示）
図１０Ａは、実施形態の作業主任者用工程確認画面２１０Ａを説明するための図である。作業主任者用工程確認画面２１０Ａは、上述した詳細表示エリア２１２に表示される。作業主任者用工程確認画面２１０Ａは、ユーザが作業主任者オブジェクト２０４を選択した場合（ユーザ権限設定部１１３ａによって作業主任者権限が設定された場合）に表示される画面である。尚、ユーザが単独作業者オブジェクト２０６を選択した場合（ユーザ権限設定部１１３ａによって単独作業者権限が設定された場合）に表示される単独作業者用工程確認画面は、作業主任者用工程確認画面２１０Ａと同様であるので説明を省略する。

図示されるように、作業主任者用工程確認画面２１０Ａは、例えば、テキスト表示領域ＤＳＰと、操作オブジェクトＯＢＪ１からＯＢＪ１０とを含む。

テキスト表示領域ＤＳＰには、当該作業の詳細な内容がテキスト等で示される。例えば、図１０Ａに示すテキスト表示領域ＤＳＰ内に、ＬＥＤのランプ状態（点灯状態）の確認を促す情報が表示されている。

テキスト表示領域ＤＳＰの範囲に設けられた操作オブジェクトＯＢＪ１とＯＢＪ２は、当該作業でユーザが対象ユニットＵについて確認した状況を登録するために利用される操作オブジェクトである。ユーザは、確認した状況がテキスト表示領域ＤＳＰに示された内容に対して肯定的な回答（「はい」）を選択する場合には、操作オブジェクトＯＢＪ１を操作し、否定的な回答（「いいえ」）を選択する場合には、操作オブジェクトＯＢＪ２を操作する。操作検出部１１６が操作オブジェクトＯＢＪ１又はＯＢＪ２の操作を検出すると、履歴処理部１１８は、その検出の結果を履歴ＤＢ１２８の作業履歴に追加する。操作オブジェクトＯＢＪ１〜４のうちいずれか１つを操作することは、工程決定操作の一例である。

以下に示す各操作オブジェクトは、テキスト表示領域ＤＳＰの枠外に設けられている。
操作オブジェクトＯＢＪ３とＯＢＪ４は、作業工程を遷移させるために利用される操作オブジェクトである。ユーザは、現在の作業工程から次の作業工程に進める場合（「次に進む」場合）には、操作オブジェクトＯＢＪ３を操作し、現在の作業工程の前の作業工程に戻る場合（「前に戻る」場合）には、操作オブジェクトＯＢＪ４を操作する。操作検出部１１６が操作オブジェクトＯＢＪ３又はＯＢＪ４の操作を検出すると、再生処理部１１７は、その検出の結果に応じて作業工程を遷移させる。

操作オブジェクトＯＢＪ５は、現在の作業工程における作業を確認するために利用される操作オブジェクトである。ユーザは、現在の作業工程の動画像が表示された後などに、現在の作業工程の内容を再確認する場合（「リプレイ」する場合）には、操作オブジェクトＯＢＪ５を操作する。操作検出部１１６が操作オブジェクトＯＢＪ５の操作を検出すると、再生処理部１１７は、その検出の結果に応じて作業工程の作業の内容を示す画像を再生させる。操作オブジェクトＯＢＪ５は、第１操作オブジェクトの一例である。操作オブジェクトＯＢＪ１〜操作オブジェクトＯＢＪ４は、第２操作オブジェクトの一例である。

操作オブジェクトＯＢＪ６は、対象ユニットＵと表示装置１０との位置関係を再調整するために利用される操作オブジェクトである。ユーザは、対象ユニットＵと表示装置１０との位置関係を再調整する場合などに、操作オブジェクトＯＢＪ６を操作する。操作検出部１１６が操作オブジェクトＯＢＪ６の操作を検出すると、位置情報処理部１１２は、基準位置と基準方向を決定する初期化処理を実施する。

操作オブジェクトＯＢＪ７は、表示装置１０に表示されている画像を、実空間の対象ユニットＵの像に対して位置合わせを実施するために利用される操作オブジェクトである。ユーザは、表示装置１０に表示されている画像が、実空間の対象ユニットＵの像に対してずれていて、そのずれが許容できない場合などに、操作オブジェクトＯＢＪ６を操作する。操作検出部１１６が操作オブジェクトＯＢＪ６の操作を検出すると、位置情報処理部１１２は、上記の位置合わせの処理の結果を調整する。

操作オブジェクトＯＢＪ８は、表示装置１０に設定されている各種情報を確認するために利用される操作オブジェクトである。ユーザは、表示装置１０に設定されている各種情報を確認する場合などに、操作オブジェクトＯＢＪ８を操作する。操作検出部１１６が操作オブジェクトＯＢＪ８の操作を検出すると、再生処理部１１７は、記憶部１２０に格納されている各種情報を表示部１４０に表示させる。

操作オブジェクトＯＢＪ９は、表示装置１０に設定されている各種情報を設定（変更）するために利用される操作オブジェクトである。ユーザは、表示装置１０に設定されている各種情報を変更する場合、又は新たに設定する場合などに、操作オブジェクトＯＢＪ９を操作する。操作検出部１１６は、操作オブジェクトＯＢＪ９の操作を検出すると、記憶部１２０に格納されている各種情報を、新たに指定される情報に更新して、記憶部１２０の属性ＤＢ１２４などに追加する。

操作オブジェクトＯＢＪ１０は、現在の作業工程の作業を中断するために利用される操作オブジェクトである。ユーザは、予定外の状態が発生して予定の作業の継続が困難な場合、当日の作業時間内に作業工程で予定されている作業を完了できない場合、作業工程の順序を当初の予定から入れ替えて実施する場合などに、操作オブジェクトＯＢＪ１０を操作する。操作検出部１１６が操作オブジェクトＯＢＪ１０の操作を検出すると、再生処理部１１７は、当該作業工程を途中で中断させる。さらに、履歴処理部１１８は、当該作業工程の途中までの作業の結果を、履歴ＤＢ１２８に追加して、作業中断のフラグを立てる。

図１０Ｂは、実施形態の操作者用工程確認画面２１０Ｂを説明するための図である。操作者用工程確認画面２１０Ｂは、上述した詳細表示エリア２１２に表示される。操作者用工程確認画面２１０Ｂは、ユーザが操作者オブジェクト２０２を選択した場合（ユーザ権限設定部１１３ａによって操作者権限が設定された場合）に表示される画面である。

図示されるように、操作者用工程確認画面２１０Ｂは、例えば、テキスト表示領域ＤＳＰと、操作オブジェクトＯＢＪ５からＯＢＪ１０とを含む。

操作者用工程確認画面２１０Ｂと作業主任者用工程確認画面２１０Ａとの違いは、操作者用工程確認画面２１０Ｂには、操作オブジェクトＯＢＪ１からＯＢＪ４が表示されないことである。つまり、ユーザ権限設定部１１３ａによって操作者権限が設定されると、ユーザは、工程の確認を行うオブジェクト（ＯＢＪ１、ＯＢＪ２）と、工程を進めたり戻したりするオブジェクト（ＯＢＪ３、ＯＢＪ４）とを操作することができない。

（撮像）
図１１は、実施形態の作業工程撮像制御画面２４０を説明するための図である。作業工程撮像制御画面２４０は、操作オブジェクトＯＢＪ１からＯＢＪ１１を備える。操作オブジェクトＯＢＪ１からＯＢＪ１０については、図１０Ａと図１０Ｂと同様であるので、その説明を省略する。

操作オブジェクトＯＢＪ１１は、進捗率を示すバーグラフである。進捗率は、例えば、作業（シナリオ）の全作業工程における現在まで終わっている作業工程の比率である。図１１では、全作業工程に対して、現在までに１３％の作業工程が終わっていることを示す。

図１１の作業工程撮像制御画面２４０では、例えば、ユーザに表示装置１０を対象ユニットＵの表示ディスプレイに向けてハンドジェスチャーＨＧ（第１所定動作の一例）をするように促す表示を行っている。撮像制御部１１９ｄは、ユーザのハンドジェスチャーＨＧに応じて、カメラ１７０に撮像を行わせ、撮像した画像を記憶部１２０に記憶させる。ハンドジェスチャーＨＧとは、例えば、人差し指を立てて、まっすぐ下に折るように倒すジェスチャーである。

撮像制御部１１９ｄは、ユーザによって行われたハンドジェスチャーＨＧが検出されてから所定時間経過後に、カメラ１７０に撮像を行わせ、撮像した画像を記憶部１２０に記憶させる。例えば、撮像制御部１１９ｄは、ユーザによって行われたハンドジェスチャーＨＧが検出されてから５秒後にカメラ１７０に撮像を行わせ、撮像した画像を記憶部１２０に記憶させる。これによって、撮像の瞬間にジェスチャーが行われないので、画像がブレにくくなる。

表示装置１０は、入力部１３０が備えるシャッターボタンによって画像の撮像を行うこともできるが、上記の理由により、作業工程撮像制御画面２４０においては、撮像制御部１１９ｄは入力部１３０が備えるシャッターボタンによる撮像は行わない。

図１１の作業工程撮像制御画面２４０では、ユーザが行っている作業工程において撮像して記録に残しておくべき事項が、ユーザが行っている作業工程と関連づけられて表示されている。ユーザが行っている作業工程において撮像して記録に残しておくべき事項とは、例えば、対象ユニットＵの表示ディスプレイに表示されている事項である。

図１２は、実施形態の撮像画像プレビュー画面２４５を説明するための図である。撮像制御部１１９ｄは、カメラ１７０が撮像した画像を、表示部１４０の領域２１０（第１領域）に対して水平方向にずれた位置にある撮像画像プレビュー画面２４５のプレビュー領域ＰＲＶにプレビュー画像として表示させ、撮像制御部１１９ｄは、前記ユーザのハンドジェスチャーＨＧ（第２所定動作）に応じて、撮像した画像を記憶部１２０に記憶させる。図示されるように、例えば、プレビュー領域ＰＲＶは、ユーザが対象ユニットＵに正対したときにユーザの視界の左手側にある。また、例えば、プレビュー領域ＰＲＶを含む平面は、領域２１０を含む平面に対して、ユーザの位置を回転軸として上方から見て反時計方向に３０度程度回転した位置にある。尚、第１の所定動作と第２の所定動作は、上記ではハンドジェスチャーＨＧであると記載したが、第１の所定動作と第２の所定動作は、互いに異なるジェスチャーであってもよい。例えば、第２の所定動作は、操作オブジェクトＯＢＪ１４または図示されない操作オブジェクトの操作であってもよい。

撮像画像プレビュー画面２４５は、更に、操作オブジェクトＯＢＪ１２、ＯＢＪ１３を含む。操作オブジェクトＯＢＪ１２は、次の画像を表示させる操作オブジェクトである。操作オブジェクトＯＢＪ１３は、前の画像を表示させる操作オブジェクトである。

図１３は、実施形態の撮像画像拡大プレビュー画面２５０を説明するための図である。撮像画像拡大プレビュー画面２５０は、例えば、拡大プレビュー領域２５２と、拡大プレビュー確認ダイヤログボックス２５４を含む。拡大プレビュー確認ダイヤログボックス２５４は、操作オブジェクトＯＢＪ１４、ＯＢＪ１５を含む。操作オブジェクトＯＢＪ１４は、拡大プレビューしている画像を記憶部１２０に記憶する操作オブジェクトである。操作オブジェクトＯＢＪ１５は、撮像を再度やりなおす操作オブジェクトである。操作オブジェクトＯＢＪ１５を操作することは、第３所定動作の一例である。

撮像制御部１１９ｄは、撮像した画像の中心付近を拡大した拡大画像を、表示部１４０の領域２１０にプレビュー画像として表示させ、撮像制御部１１９ｄは、ユーザのハンドジェスチャーＨＧに応じて、撮像した画像を記憶部１２０に記憶させる。撮像画像拡大プレビュー画面２５０の拡大プレビュー領域２５２に表示された拡大プレビュー画像は、図１２の撮像画像プレビュー画面２４５のプレビュー領域ＰＲＶに表示されたプレビュー画像の中心付近を拡大した画像である。

視線推定部１１５は、加速度検出部１５０によって導出されたユーザの頭部の動きに基づいてユーザの視線の位置を推定し、表示部１４０に視線カーソルを表示し、拡大画像は、画像の撮像時における視線カーソルを基準として定めた位置を中心とする矩形領域を、縦横方向に所定の倍率で拡大した画像である。

記録管理部１１９ｅは、記憶部１２０に記憶された画像を、画像が記録された時刻を表す時刻情報と、画像が撮像された時に表示されていたガイダンス情報についてのガイダンス情報表示記録と、画像が撮像された時にユーザによって行われていた作業工程を示す作業工程記録と、作業工程における作業の対象である対象ユニットＵを示す撮像対象装置情報とに関連付けて、記憶部１２０に記憶させる。時刻情報は、例えば、2019/03/04 10:50のような、タイムスタンプであってよい。ガイダンス情報表示記録は、例えば、図１１の作業工程撮像制御画面２４０において、ユーザが行っている作業工程において撮像して記録に残しておくべき事項として表示されたものであってよく、この例では、例えば以下のような事項である。
・ＯＵＴ（総合出力電圧）
・ＯＵＴ（総合出力電流）
・ＩＮＶ（ＩＮＶ出力電圧）
・ＩＮＶ（ＩＮＶ出力周波数）
・ＢＰＳ（バイパス出力電圧）
・ＢＰＳ（バイパス出力周波数）
作業工程記録は、例えば、「作業工程１−６」のようにシナリオデータにおける作業工程の位置を示す情報である。
撮像対象装置情報は、例えば、対象ユニットＵに割り当てられた名称、略称、型式記号、シリアル番号等であってよい。

記録管理部１１９ｅは、更に、ユーザによる表示装置１０の操作ログと、表示装置１０の上述したシステムログを記録してもよい。

図１４は、実施形態の撮像画像拡大再生画面２６０Ａを説明するための図である。撮像画像拡大再生画面２６０Ａは、例えば、拡大再生領域２６２Ａと、進捗率バーグラフ２６４Ａと、ガイダンス情報表示記録表示領域２６６Ａと、操作オブジェクト２６８Ａとを含む。

撮像画像拡大再生画面２６０Ａは、ユーザによって所定の操作が行われたときに、表示装置１０に表示されてもよいし、図示しないタブレット型端末、パーソナルコンピュータ等のホスト装置に表示されてもよい。拡大再生領域２６２Ａには、画像の中心付近を拡大した拡大画像が表示される。拡大画像は、例えば、図１３の撮像画像拡大プレビュー画面２５０の拡大プレビュー領域２５２に表示さえる拡大プレビュー画像と同様であってよい。

進捗率バーグラフ２６４Ａは、操作オブジェクトＯＢＪ１１と同様の、進捗率を示すバーグラフである。進捗率バーグラフ２６４Ａは、例えば、拡大再生領域２６２Ａに表示される画像が撮像された時にユーザによって行われていた作業工程の、作業（シナリオ）の全作業工程に対しての進捗率を示す。

ガイダンス情報表示記録表示領域２６６Ａには、拡大再生領域２６２Ａに表示される画像に関してのガイダンス情報表示記録が表示される。ガイダンス情報表示記録は、例えば、図１１の作業工程撮像制御画面２４０のテキスト表示領域ＤＳＰに示したガイダンス情報表示記録と同様である。

操作オブジェクト２６８Ａがユーザによって操作されると、表示部１４０には、後述する撮像画像標準再生画面２６０Ｂが表示される。

図１５は、実施形態の撮像画像標準再生画面２６０Ｂを説明するための図である。撮像画像拡大再生画面２６０Ａでは、撮像画像を拡大して表示したが、撮像画像標準再生画面２６０Ｂでは、撮像画像は拡大されず撮像画像全体が表示される。撮像画像標準再生画面２６０Ｂにおける、標準再生領域２６２Ｂと、進捗率バーグラフ２６４Ｂと、ガイダンス情報表示記録表示領域２６６Ｂと、操作オブジェクト２６８Ｂとは、それぞれ、拡大再生領域２６２Ａと、進捗率バーグラフ２６４Ａと、ガイダンス情報表示記録表示領域２６６Ａと、操作オブジェクト２６８Ａとに対応する。操作オブジェクト２６８Ｂがユーザによって操作されると、表示部１４０には、上記の撮像画像拡大再生画面２６０Ａが表示される。

再生処理部１１７は、記憶部１２０から、撮像した画像と、時刻情報と、ガイダンス情報表示記録と、作業工程記録とを読み出して、例えば、撮像画像拡大再生画面２６０Ａに示されるように、関連付けて表示部１４０に表示する。これによって、ユーザが行っている作業工程において撮像して記録に残しておくべき事項と、その事項を撮像した画像が、関連づけられて表示されるので、作業工程の写真の撮影に失敗することがなく、また写真の整理をする手間もかからない。従って、作業工程の記録にかかる利便性を向上させることが可能である。

尚、撮像画像拡大再生画面２６０Ａと撮像画像標準再生画面２６０Ｂとには図示していないが、撮像画像拡大再生画面２６０Ａと撮像画像標準再生画面２６０Ｂとのそれぞれは、次の画像に進む操作オブジェクト、前の画像に進む操作オブジェクト、画像表示を終了する操作オブジェクトなどが備えられており、必要に応じて、前後の画像表示や、再生画面の終了をすることができる。

次に、図１６を参照して、実施形態の作業工程支援処理について説明する。図１６は、実施形態の単独作業者用作業工程支援処理のフローチャートである。

この作業工程に携わるユーザは、作業の際に表示装置１０を利用するにあたり、下記する項目に関する情報を登録する。
・ユーザの識別情報（表示装置１０を利用するユーザを識別するための情報）
・予定の作業工程（１又は複数用意された作業工程の中から１つを選択）
・中断箇所からの作業再開（新規の作業工程を開始するのか、中断した作業工程を再開するのかを選択）
・ユーザの属性情報（作業担当、ユーザ権限）

例えば、上記の各種情報の登録を、以下に示す手順で行い、上記の設定に基づいた作業工程の作業を開始するとよい。

ユーザは、表示装置１０を頭部に装着して、表示装置１０を活性化させる。その際に、表示装置１０の制御部１１０は、作業工程支援処理に係る所定のプログラムの処理を開始する（ステップＳ１０）。

次に、制御部１１０は、図７Ａ、７Ｂに示されるような、予定される作業工程を登録させるための画面（予定作業（シナリオ）選択画面）を表示させる。予定作業（シナリオ）選択画面が表示されたのち、ユーザは、予定作業（シナリオ）に対応するオブジェクトを選択する。制御部１１０は、ユーザによる操作を検出して、予定される作業工程を選択する（ステップＳ１１）。

次に、制御部１１０は、選択された予定作業（シナリオ）について、記憶部１２０に中断の履歴（例えば、中断箇所情報とシステムエラー中断箇所情報）が記憶されているか判定する（ステップＳ１２）。ステップＳ１２において、記憶部１２０に中断の履歴が記憶されていると判定される場合は、制御部１１０は、ステップＳ１３に進み、記憶部１２０にシステムエラー中断箇所情報が記憶されているかどうかに基づいて、表示装置１０がシステムエラーによる中断中かどうか判定する。

ステップＳ１３において、記憶部１２０にシステムエラー中断箇所情報が記憶されており、表示装置１０がシステムエラーによる中断中であると判定されると、表示装置１０がシステムエラーによる中断中である旨を表示部１４０に表示させる。本実施形態では、「システムエラーによる中断中である旨」は、図８Ｂのシステムエラー中断再開設定ダイヤログ２３０Ａに示されるように、ステップＳ１５における中断箇所から再生を再開するかどうか確認とともに表示されるものとしているが、別途表示してもよい。

ステップＳ１３において、記憶部１２０にシステムエラー中断箇所情報が記憶されておらず、表示装置１０がシステムエラーによる中断中ではないと判定されると、制御部１１０は、ステップＳ１５に進む。

ステップＳ１５では、制御部１１０は、図８Ａの中断再開設定ダイヤログ２３０を表示部１４０に表示させることにより、ユーザに中断箇所から再生を再開するかどうか確認する。ステップＳ１５において、「はい」を表す操作オブジェクト２３２が選択された場合には、制御部１１０は、作業開始位置フラグに「中断箇所」を表す情報を代入して記憶部１２０に記憶させ（ステップＳ１６）、ステップＳ１９に進む。

ステップＳ１５において、「いいえ」を表す操作オブジェクト２３４が選択された場合には、制御部１１０は、作業開始位置フラグに「作業工程の最初」を表す情報を代入して記憶部１２０に記憶させ（ステップＳ１７）、ステップＳ１９に進む。

ステップＳ１２において、記憶部１２０に中断の履歴が記憶されていないと判定される場合は、制御部１１０は、作業開始位置フラグに「作業工程の最初」を表す情報を代入して記憶部１２０に記憶させ（ステップＳ１８）、ステップＳ１９に進む。

ステップＳ１９において、制御部１１０は、ユーザが携わる作業工程における権限を登録させるための画面（図６Ｂのユーザ権限選択画面２００）を表示させる。ユーザ権限選択画面２００が表示されたのち、ユーザは、自身の役割に対応するユーザ権限を表す操作オブジェクトを選択する。制御部１１０は、ユーザによる操作を検出して、ユーザが選択したユーザ権限を取得する（ステップＳ１９）。

ステップＳ２０において、制御部１１０は、ステップＳ１９でユーザが選択したユーザ権限が単独作業者権限であると判定すると、ステップＳ２２に進む。制御部１１０は、ステップＳ１２でユーザが選択したユーザ権限が単独作業者権限ではないと判定すると、後述する図１７に示される複数人モードに入る。

ステップＳ２２において、制御部１１０は、記憶部１２０に記憶された作業開始位置フラグに従って、予定作業工程の再生開始位置を調整する。

次に、制御部１１０は、表示する画像の位置合わせ処理を実施する（ステップＳ２３）。これにより、制御部１１０は、ユーザの位置と対象物の位置の相対的な関係に基づいて、対象物の像と、表示する画像との位置を整合させる。

次に、制御部１１０は、記憶部１２０に対して、今回の作業工程の履歴の記録を開始する。（ステップＳ２４）。

次に、制御部１１０は、ガイダンス情報を表示部で再生させることにより、作業工程支援処理を開始する（ステップＳ２５）。

制御部１１０は、作業工程の中断を指定するオブジェクトＯＢＪ１０の操作を検出する（ステップＳ２６）。尚、作業工程支援処理の途中で、作業工程の中断を指定するオブジェクトＯＢＪ１０の操作がなされた場合には、制御部１１０は、ガイダンス情報の再生を終了し、ステップＳ２７に進む。

制御部１１０は、作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が検出されたか否か判定する（ステップＳ２７）。ステップＳ２７において、作業工程の中断を指定するオブジェクトＯＢＪ１０の操作を検出した場合、制御部１１０は、作業工程支援処理を終了させる。

ステップＳ２７において、作業工程の中断を指定するオブジェクトＯＢＪ１０の操作を検出しなかった場合、制御部１１０は、現在の一連の作業の中で、現在実施中の作業工程に関する処理を中断して、処理をステップＳ２８に進める。

次に、ユーザは、次の作業工程に遷移するためのオブジェクトを選択する。例えば、次の作業工程に遷移するためのオブジェクトには、ひとつ前の作業工程と、ひとつ後ろの作業構成とをそれぞれ選択するためのオブジェクトが含まれてよい。制御部１１０は、ユーザによる次の作業工程に遷移するためのオブジェクトの操作を検出すると、上記の操作の検出結果に応じた作業工程を開始させる（ステップＳ２８）。この場合には、制御部１１０は、上記の操作の検出結果に応じた作業工程について、前述のステップＳ２５のガイダンス情報の再生処理を実施する。

制御部１１０は、ユーザによる次の作業工程に遷移するためのオブジェクトの操作を検出しなければ、ユーザが作業を終了することを、作業リーダーの表示装置２０（図１）、上位装置などに通知する。

制御部１１０は、上記の一連の処理を終えると、作業工程支援処理を終了させる。表示装置１０は、以上の手順に従った処理を実施することにより、ユーザによる作業の遂行を支援する。

なお、表示装置１０が表示する画像は、予め記憶部１２０に格納したデータに基づいて生成するとよい。このように画像の生成を表示装置１０側で実施することにより、表示装置１０が外部装置と通信する処理の負荷を低減させることができる。

上記の予定される作業工程支援処理（ステップＳ２５）では、シナリオデータに基づいた各種情報がユーザに提供される。そのシナリオデータを利用して、ユーザの特定の作業工程内に表示する情報の順序を規定することができる。

図１７を参照して、実施形態の複数人モード用作業工程支援処理について説明する。図１７は、実施形態の複数人モード用作業工程支援処理のフローチャートである。

図１７の単独作業者用作業工程支援処理におけるステップＳ２０において、制御部１１０が、ユーザ権限が単独作業者権限ではないと判定すると（つまり、ユーザ権限が、操作者権限または作業主任者権限であると判定すると）、図１７の複数人モード用作業工程支援処理を開始する。図１７の例では、操作者権限が表示装置１０に設定され、作業主任者権限が表示装置２０に設定されるものとする。

図１７の複数人モードの説明においては、操作者権限が設定される表示装置１０の制御部１１０を、制御部１１１０と呼び、作業主任者権限が設定される制御部２１１０を、制御部２１１０と呼ぶものとする。

まず、制御部１１１０は、図７Ａ〜７Ｄに示した手順で、表示装置１０の無線通信部１６０が表示装置２０と通信することにより、表示装置１０と表示装置２０との間のペアリングを行わせる（ステップＳＡ１１）。

次に、制御部１１１０は、図１６の単独作業者用作業工程支援処理のステップＳ１１で選択された作業工程を示す同期情報を表示装置１０から表示装置２０に送信することにより、表示装置２０を表示装置１０に同期させる（ステップＳＡ１５）。

その後、ステップＳＡ１７〜ＳＡ２１は、図１６の単独作業者用作業工程支援処理におけるステップＳ２２〜Ｓ２６と同様であるので、詳細な説明は省略する。ただし、複数人モード用作業工程支援処理におけるステップＳＡ２０とステップＳＢ２０においては、表示装置２０と表示装置１０との間で同期が行われる点が異なる。ステップＳＡ２０とステップＳＢ２０については後述する。

ステップＳＡ２０の全ての作業工程が終わると、制御部１１１０は、作業工程の中断を指定するオブジェクトＯＢＪ１０の操作を検出し、表示装置２０に検出結果を同期情報として送信する。また、制御部１１１０は、表示装置２０において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作を検出されたか否かを示す同期情報を取得する（ステップＳＡ２１）。そして、制御部１１１０は、表示装置１０において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われ、且つ、表示装置２０において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたか否かを判定する（ステップＳＡ２２）。表示装置１０と表示装置２０の双方において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたと判定される場合、制御部１１１０は、ステップＳ１１に戻る。

一方、表示装置１０と表示装置２０の双方において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたと判定されない場合、制御部１１１０は、ステップＳＡ２３に進む。

次に、制御部１１１０は、ユーザによる次の作業工程に遷移するためのオブジェクトの操作を検出すると、上記の操作の検出結果に応じた作業工程を開始させる（ステップＳＡ２３）。この場合には、制御部１１１０は、上記の操作の検出結果に応じた作業工程について、前述のステップＳＡ２０のガイダンス情報の再生処理を実施する。
制御部１１１０は、ユーザによる次の作業工程に遷移するためのオブジェクトの操作を検出しなければ、ユーザが作業工程を終了することを、作業リーダーの表示装置２０（図１）、上位装置などに通知する。

制御部１１１０は、上記の一連の処理を終えると、複数人モード用作業工程支援処理による処理を終了させる。

一方、表示装置２０におけるステップＳＢ１１〜ステップＳＢ２３は、それぞれ、表示装置１０におけるステップＳＡ１１〜ステップＳＡ２３に対応する。以下の説明では、ステップＳＡ１１〜ステップＳＡ２３と同様の内容については、説明を省略する。

表示装置２０においては、ステップＳＢ１５において、制御部２１１０が表示装置１０から表示装置１０で選択された作業工程を示す同期情報を取得する。

ステップＳＢ１７〜ステップＳＢ２０については、ステップＳＡ１７〜ステップＳＡ２０と同様である。

尚、ＳＢ２１の中断操作の検出で表示装置２０の表示部１４０に表示される操作オブジェクトＯＢＪ１０は、表示装置１０の表示部１４０に表示される操作オブジェクトＯＢＪ１０とは異なるものであってもよい。

一方、表示装置２０と表示装置１０の双方において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたと判定されない場合、制御部２１１０は、現在の一連の作業の中で、現在実施中の作業工程に関する処理を中断して、処理をステップＳＢ２３に進める。ステップＳＢ２３は、ステップＳＡ２３と同様であるので説明を省略する。

図１８は、実施形態のシステムエラー中断記録部１１９ｂによって行われるシステムエラー中断記録処理を説明するための図である。図１８のシステムエラー中断記録処理は、ＯＳ（Operating System）などの基本プログラムや、実施形態の表示装置１０としての機能を実現させるためのアプリケーションプログラムによって、エラーが検出されると呼び出されて実行されるサブルーチンである。

システムエラー中断記録処理において、まず、制御部１１０は、システムエラーに関するログを記憶部１２０に書き込む（ステップＳ１００）。次に、制御部１１０は、表示が中断された中断箇所に関するシステムエラー中断箇所情報を記憶部１２０に記憶させる（ステップＳ１１０）。

制御部１１０は、上記の一連の処理を終えると、システムエラー中断記録処理を終了させる。

上述した図１７の実施形態の複数人モード用作業工程支援処理においては、ステップＳＡ２２とＳＢ２２では、表示装置１０と表示装置２０の双方において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたと判定される場合、制御部１１１０、２１１０は、作業工程を中止した。しかしながら、なんらかの理由、例えば、バッテリー切れや突然のＯＳダウンなどによって、表示装置２０においてユーザがオブジェクトＯＢＪ１０の操作を行うことができないうちに作業を終了せざるを得ない場合は、表示装置１０と表示装置２０の双方において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われなくとも、表示装置１０のみにおいて作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたことによって、制御部１１１０は、作業工程を中止してもよい。ステップＳＡ２２とＳＢ２２において、表示装置１０と表示装置２０との通信ができない場合であって、表示装置１０において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたと判定される場合は、制御部１１１０は、作業工程を中止し、ステップＳ１１に戻る。これにより、複数人モード用作業工程支援処理において、突然のシステムトラブルが発生しても、適切な処理継続が可能となり、作業支援システム１の可用性と安全性とが向上する。

表示装置１０が表示装置２０と通信することができなくなった場合には、表示装置２０の作業主任者権限を、表示装置１０、２０と同様の構成を備える表示装置３０（不図示）に設定し、表示装置３０が表示装置２０と同様の処理を行ってよい。ステップＳＡ２２とＳＢ２２において、表示装置１０と表示装置２０との通信ができない場合であって、表示装置１０において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたと判定される場合に、表示装置１０、２０と同様の構成を備える表示装置３０（不図示）に作業主任者権限が設定されて、制御部１１１０は、表示装置３０と同期を行って、表示装置３０において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたかどうか判定してもよい。この場合、表示装置１０と表示装置３０の双方において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたと判定される場合、制御部１１１０と表示装置３０の制御部は、作業工程を中止する。これにより、複数人モード用作業工程支援処理において、突然のシステムトラブルが発生しても、別の表示装置である表示装置３０が、引き続き、表示装置２０の処理を担うことができるので、作業支援システム１の可用性と安全性とが更に向上する。

表示装置１０が表示装置２０と通信することができなくなった場合には、表示装置１０は、作業モードを複数人モードから単独モードに切り替えて、表示装置１０と表示装置２０の双方において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われなくとも、表示装置１０のみにおいて作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたことによって、制御部１１１０は、作業工程を中止してもよい。ステップＳＡ２２とＳＢ２２において、表示装置１０と表示装置２０との通信ができない場合であって、表示装置１０において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたと判定される場合に、制御部１１１０は、複数人モードから単独モードに設定を切り替えて作業を続行し、図１１の単独作業者用作業工程支援処理のステップＳ２８に進んでもよい。これにより、複数人モード用作業工程支援処理において、突然のシステムトラブルが発生しても、表示装置１０は、単独モードで作業継続することができるので、作業支援システム１の可用性と安全性とが更に向上する。

尚、図１７においては、表示装置１０に操作者権限が設定されて、表示装置２０に作業主任者権限が設定されている場合について例示した。しかしながら、表示装置１０に作業主任者権限が設定されて、表示装置２０に操作者権限が設定されている場合にも、図１７の作業工程支援処理を同様に適用することができる。この場合、上記の説明において、表示装置２０を表示装置１０と読み替え、表示装置１０を表示装置２０と読み替えればよい。

図１９は、実施形態の撮像制御部１１９ｄによって行われる撮像処理を説明するための図である。図１９の撮像処理は、図１６のステップＳ２５における作業工程支援処理または図１７のステップＳＡ２０、ＳＢ２０における作業工程支援処理において、作業工程の記録を残すために撮像する必要があるときに適宜呼び出されて実行される。

まず、制御部１１０は、図１１に示される作業工程撮像制御画面２４０を表示部１４０に表示する（ステップＳ２００）。制御部１１０は、ユーザによるジェスチャーを検出する（ステップＳ２１０）。制御部１１０は、検出されたジェスチャーがハンドジェスチャーＨＧであるかどうか判定する（ステップＳ２２０）。

ステップＳ２２０で、検出されたジェスチャーがハンドジェスチャーＨＧではないと判定された場合は、制御部１１０は、ステップＳ２１０に戻り、ジェスチャーの検出を繰り返す。

ステップＳ２２０で、検出されたジェスチャーがハンドジェスチャーＨＧであると判定された場合は、制御部１１０は、ステップＳ２３０に進み、所定時間待機する（ステップＳ２３０）。所定時間待機後、制御部１１０は、カメラ１７０に撮像を行わせる（ステップＳ２４０）。撮像が終わると、制御部１１０は、図１２の撮像画像プレビュー画面２４５と、図１３の撮像画像拡大プレビュー画面２５０とを表示する（ステップＳ２５０）。

ステップＳ２６０において、制御部１１０は、図１２の撮像画像プレビュー画面２４５において操作オブジェクトＯＢＪ１４（「保存する」）と操作オブジェクトＯＢＪ１５（「再撮影」）のとちらが操作されたか判定する。

ステップＳ２７０において、制御部１１０は、画像と、時刻情報と、ガイダンス情報表示記録と、作業工程記録とに関連付けて記憶部１２０に記憶させる。

制御部１１０は、上記の一連の処理を終えると、撮像処理を終了させる。

図２０は、実施形態の撮像画像表示処理を説明するための図である。撮像画像表示処理は、表示装置１０で実行されてもよいし、表示装置１０の記憶部１２０の撮像画像などが、図示しないタブレット型端末、パーソナルコンピュータ等のホスト装置にコピーされてから、像画像表示処理が、ホスト装置で実行されてもよい。

以下では、撮像画像表示処理は、表示装置１０で実行されるものとする。撮像画像表示処理は、表示装置１０においてユーザが特定の操作を行うと開始される。

まず、制御部１１０は、図１４の撮像画像拡大再生画面２６０Ａを表示部１４０に表示する（ステップＳ３００）。次に、制御部１１０は、ユーザによる操作を検出する（ステップＳ３１０）。ステップＳ３１０において、ユーザによって操作オブジェクト２６８Ａが操作されたと判定される場合は、制御部１１０は、ステップＳ３３０に進み、撮像画像標準再生画面２６０Ｂを表示する。ステップＳ３１０において、ユーザによって操作オブジェクト２６８Ａが操作されたと判定されない場合は、制御部１１０は、ステップＳ３２０を繰り返す。

次に、制御部１１０は、ユーザによる操作を検出する（ステップＳ３４０）。ステップＳ３４０において、ユーザによって操作オブジェクト２６８Ｂが操作されたと判定される場合は、制御部１１０は、ステップＳ３００に進み、撮像画像拡大再生画面２６０Ａを表示する。ステップＳ３４０において、ユーザによって操作オブジェクト２６８Ｂが操作されたと判定されない場合は、制御部１１０は、ステップＳ３５０を繰り返す。

上述したように、図２０のフローチャートでは、次の画像に進む操作オブジェクト、前の画像に進む操作オブジェクト、画像表示を終了する操作オブジェクトなどの一般的な処理は省略している。それらの操作オブジェクトが操作された場合は、適宜、他のルーチンへ処理が移る。

上記では、表示装置１０または表示装置２０において、撮像処理が行われるものとしたが、表示装置１０が撮像を行い、表示装置１０は表示装置１０で撮像した画像を表示装置２０に送信し、表示装置２０のユーザである作業主任者は、表示装置２０に表示された図１３の撮像画像拡大プレビュー画面２５０において、表示装置１０によって適切な画像が撮影できたかどうかを判断して、操作オブジェクトＯＢＪ１４を操作して画像を記録させる、または、操作オブジェクトＯＢＪ１５を操作して画像を破棄し再度撮像をやりなおさせてもよい。この場合、操作者が撮影し、作業主任者が承認するという形で、撮像画像チェックをするので、撮像のミスを減らすことができる。または、表示装置１０または表示装置２０の双方で、撮像画像のダブルチェックをするようなフローを採用してもよい。この場合、操作者と作業主任者の双方が撮像画像チェックをするので、撮像のミスを減らすことができる。

また、表示装置１０が撮像を行い、プレビュー画像をリアルタイムで表示装置２０に送信し、表示装置２０のユーザである作業主任者が、表示装置２０に表示された図１１の作業工程撮像制御画面２４０において、ハンドジェスチャーＨＧを行って表示装置１０に撮像を行わせてもよい。この場合、撮像方向は、表示装置１０のユーザである操作者が調整を行い、表示装置２０のユーザである作業主任者が、ハンドジェスチャーＨＧによってシャッターを切ることになるので、撮像を分担して行うことができ、それぞれの作業負荷を減らすことができる。表示装置１０と表示装置２０が連携して、撮像を行う際は、撮像された画像は、表示装置１０の記憶部１２０と表示装置２０の記憶部１２０のいずれか一方または両方に記憶されてよい。両方に記憶される場合は、冗長性を高めることができる。

実施形態の作業支援システム１は、ユーザの頭部に装着され、ユーザの頭部に装着された状態でユーザに実世界を視認可能にしながら、ユーザに対して情報を表示可能な表示部１４０を備える表示装置１０を用いて、ユーザに対して作業工程の実施を支援する作業支援システム１であって、作業工程の実施を支援するために表示部１４０の第１領域２１０に表示されたガイダンス情報に従ってユーザによって行われる作業工程に係る画像を撮像するカメラ１７０と、ユーザのハンドジェスチャーＨＧに応じて、カメラ１７０に撮像を行わせ、撮像した画像を記憶部１２０に記憶させる撮像制御部１１９ｄと、記憶部１２０に記憶された画像に、画像が記録された時刻を表す時刻情報と、画像が撮像された時に表示されていたガイダンス情報についてのガイダンス情報表示記録と、画像が撮像された時にユーザによって行われていた作業工程を示す作業工程記録とを関連付けて、記憶部１２０に記憶させる記録管理部１１９ｅとを備える作業支援システム１である。この構成によれば、撮像画像を、時刻情報と、ガイダンス情報表示記録と、作業工程記録と関連づけて記憶させることができるので、作業効率を向上させることができ、作業実施後に振り返りを行うことができる。これによれば、作業を記録する際の利便性をより高めることができる。

作業支援システム１において、カメラ１７０は、ユーザの手を含む範囲を撮像し、撮像制御部１１９ｄは、撮像された手で特定のジェスチャーがされたことを、ユーザの第１所定動作として検出し、撮像制御部１１９ｄは、ユーザの第１所定動作が検出されてから所定時間経過後に、カメラ１７０に撮像を行わせ、撮像した画像を記憶部１２０に記憶させる。この構成によれば、撮像の瞬間にジェスチャーが行われないので、画像がブレにくくなる。これによれば、作業を記録する際の利便性を更に高めることができる。

作業支援システム１において、撮像制御部１１９ｄは、撮像した画像を、表示部１４０の第１領域に対して水平方向にずれた位置にある第２領域にプレビュー画像として表示させ、撮像制御部１１９ｄは、ユーザの第２所定動作に応じて、撮像した画像を記憶部１２０に記憶させる。ここの構成によれば、ユーザは表示装置１０を装着したまま撮像と撮像画像のプレビューができ、プレビューは対象ユニットＵを視認するのに邪魔にならない、左側か右側に表示される。これによれば、作業を記録する際の安全性をより高めることができる。

作業支援システム１において、撮像制御部１１９ｄは、撮像した画像の中心付近を拡大した拡大画像を、表示部１４０の第１領域にプレビュー画像として表示させ、撮像制御部１１９ｄは、ユーザの第２所定動作に応じて、撮像した画像を記憶部１２０に記憶させる。この構成によれば、撮像画像において記録に残すべき重要な情報である、対象ユニットＵの表示ディスプレイの表示内容を、自動的に拡大してプレビュー表示することができる。これによれば、作業を記録する際の安全性を更に高めることができる。

作業支援システム１において、加速度センサを備え、加速度センサによって導出されたユーザの頭部の動きに基づいてユーザの視線の位置を推定し、表示部１４０に視線カーソルを表示する視線推定部を備え、拡大画像は、画像の撮像時における視線カーソルを基準として定めた位置を中心とする矩形領域を、縦横方向に所定の倍率で拡大した画像である。この構成によれば、視線カーソルの位置に基づいてプレビュー画像を拡大表示することができる。これによれば、操作の手間を抑えつつ、作業を記録する際の利便性を更に高めることができる。

作業支援システム１において、撮像制御部１１９ｄは、ユーザの操作オブジェクトＯＢＪ１５の操作に応じて、撮像された画像を廃棄し、カメラ１７０に再度撮像を行わせる。この構成によれば、ユーザは簡易な操作によって、再度の撮像を行うことができる。これによれば、作業を記録する際の利便性や操作性を更に高めることができる。

作業支援システム１において、ガイダンス情報は、作業工程に関する文字情報を含む説明表示画像と、作業工程に関するアニメーションを含む動画像と、説明表示画像と動画像とを所定の順に表示させるためのシナリオデータとに基づく情報である。この構成によれば、シナリオデータに基づくガイダンス情報の記録と、撮像画像とが結び付けられて記録される。これによれば、作業を記録する際の利便性を更に高めることができる。

作業支援システム１において、表示管理部は、記憶部１２０から、撮像した画像と、時刻情報と、ガイダンス情報表示記録と、作業工程記録とを読み出して、関連付けて表示する。これによれば、作業を再生する際の利便性を更に高めることができる。

上述の実施形態においては、撮像制御部１１９ｄはカメラ１７０で静止画を取るものとしたが、動画を撮影してもよい。また、静止画の撮影に加えて、全作業工程を通して、動画撮影を行い、図１１の作業工程撮像制御画面２４０は、撮影中の動画の撮像内容の確認を行うものであってもよい。この場合、上記と同様の効果を奏することができる。

上述の実施形態においては、記憶部１２０が作業手順のガイダンス（説明表示画像、動画像、及びシナリオデータ）を記憶しているものとした。しかしながら、記憶部１２０が作業手順のガイダンスを記憶する代わりに、再生処理部１１７は、図示しないサーバから作業手順のガイダンスをストリーミング再生してもよい。また、表示装置２０の記憶部１２０が作業手順のガイダンスを記憶し、表示装置１０の再生処理部１１７が、無線通信部１６０を介して表示装置２０と通信することにより、表示装置２０の記憶部１２０から作業手順のガイダンスをストリーミング再生してもよい。

なお、表示装置１０と２０を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより作業支援システム１が所定の処理動作を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、或いは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、ネットワークや通信回線のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

尚、表示装置１０と表示装置２０とにおいて共通する用途のオブジェクトを同じものとして説明したが、形状、表示される位置（配置）を、表示装置１０と表示装置２０とにおいて互いに異なるものとしてもよい。

１…作業支援システム、１０、２０…表示装置、１１０、１１１０、２１１０…制御部、１２０…記憶部、１３０…入力部、１４０…表示部、１５０…加速度検出部、１６０…無線通信部、１７０…カメラ、１８０…マイク、１９０…スピーカ、１１１…演算処理部、１１２…位置情報処理部、１１３…操作入力部、１１３ａ…ユーザ権限設定部、１１４…動き検出部、１１５…視線推定部、１１６…操作検出部、１１７…再生処理部（表示制御部）、１１７ａ…同期情報取得部、１１７ｂ…操作オブジェクト表示制御部、１１８…履歴処理部、１１９…データ管理部、１１９ａ…中断記録部、１１９ｂ…システムエラー中断記録部、１１９ｃ…中断再開設定部、１１９ｄ…撮像制御部、１１９ｅ…記録管理部

Claims (10)

1. ユーザの頭部に装着され、前記ユーザの頭部に装着された状態で前記ユーザに実世界を視認可能にしながら、前記ユーザに対して情報を表示可能な表示部を備える表示装置を用いて、前記ユーザに対して作業工程の実施を支援する作業支援システムであって、
   前記作業工程の実施を支援するために前記表示部の第１領域に表示されたガイダンス情報に従って前記ユーザによって行われる前記作業工程に係る画像を撮像する撮像部と、
   前記ユーザの第１所定動作に応じて、前記撮像部に撮像を行わせ、前記撮像した画像を記憶部に記憶させる撮像制御部と、
   前記記憶部に記憶された画像に、前記画像が記録された時刻を表す時刻情報と、前記画像が撮像された時に表示されていたガイダンス情報についてのガイダンス情報表示記録と、前記画像が撮像された時に前記ユーザによって行われていた前記作業工程を示す作業工程記録と、前記作業工程における作業の対象である対象ユニットＵを示す撮像対象装置情報とを関連付けて、前記記憶部に記憶させる記録管理部と
   を備える作業支援システム。
2. 前記撮像部は、前記ユーザの手を含む範囲を撮像し、
   前記撮像制御部は、前記撮像された手で特定のジェスチャーがされたことを、前記ユーザの前記第１所定動作として検出し、
   前記撮像制御部は、前記ユーザの前記第１所定動作が検出されてから所定時間経過後に、前記撮像部に撮像を行わせ、前記撮像した画像を前記記憶部に記憶させる
   請求項１に記載の作業支援システム。
3. 前記撮像制御部は、前記撮像した画像を、前記表示部の前記第１領域に対して水平方向にずれた位置にある第２領域にプレビュー画像として表示させ、
   前記撮像制御部は、前記ユーザの第２所定動作に応じて、前記撮像した画像を前記記憶部に記憶させる
   請求項１または２に記載の作業支援システム。
4. 前記撮像制御部は、前記撮像した画像の中心付近を拡大した拡大画像を、前記表示部の前記第１領域にプレビュー画像として表示させ、
   前記撮像制御部は、前記ユーザの第２所定動作に応じて、前記撮像した画像を前記記憶部に記憶させる
   請求項１〜３のいずれか１項に記載の作業支援システム。
5. 加速度センサを備え、前記加速度センサによって導出された前記ユーザの頭部の動きに基づいて前記ユーザの視線の位置を推定し、前記表示部に視線カーソルを表示する視線推定部
   を備え、
   前記拡大画像は、前記画像の撮像時における視線カーソルを基準として定めた位置を中心とする矩形領域を、縦横方向に所定の倍率で拡大した画像である
   請求項４に記載の作業支援システム。
6. 前記撮像制御部は、前記ユーザの第３所定動作に応じて、前記撮像された画像を廃棄し、前記撮像部に再度撮像を行わせる
   請求項１〜５のいずれか１項に記載の作業支援システム。
7. 前記ガイダンス情報は、前記作業工程に関する文字情報を含む説明表示画像と、前記作業工程に関するアニメーションを含む動画像と、前記説明表示画像と前記動画像とを所定の順に表示させるためのシナリオデータとに基づく情報である
   請求項１〜６のいずれか１項に記載の作業支援システム。
8. 前記記憶部から、前記撮像した画像と、前記時刻情報と、前記ガイダンス情報表示記録と、前記作業工程記録とを読み出して、関連付けて表示する表示管理部を備える
   請求項１〜７のいずれか１項に記載の作業支援システム。
9. ユーザの頭部に装着され、前記ユーザの頭部に装着された状態で前記ユーザに実世界を視認可能にしながら、前記ユーザに対して情報を表示可能な表示部を備える表示装置を用いて、前記ユーザに対して作業工程の実施を支援する作業支援システムのコンピュータが、
   前記作業工程の実施を支援するために前記表示部の第１領域に表示されたガイダンス情報に従って前記ユーザによって行われる前記作業工程に係る画像を、前記ユーザの第１所定動作に応じて、撮像部に撮像を行わせ、前記撮像した画像を記憶部に記憶させ、
   前記記憶部に記憶された画像に、前記画像が記録された時刻を表す時刻情報と、前記画像が撮像された時に表示されていたガイダンス情報についてのガイダンス情報表示記録と、前記画像が撮像された時に前記ユーザによって行われていた前記作業工程を示す作業工程記録とを関連付けて、前記記憶部に記憶させる
   作業支援方法。
10. ユーザの頭部に装着され、前記ユーザの頭部に装着された状態で前記ユーザに実世界を視認可能にしながら、前記ユーザに対して情報を表示可能な表示部を備える表示装置を用いて、前記ユーザに対して作業工程の実施を支援する作業支援システムのコンピュータに、
    前記作業工程の実施を支援するために前記表示部の第１領域に表示されたガイダンス情報に従って前記ユーザによって行われる前記作業工程に係る画像を、前記ユーザの第１所定動作に応じて、撮像部に撮像を行わせ、前記撮像した画像を記憶部に記憶させ、
    前記記憶部に記憶された画像に、前記画像が記録された時刻を表す時刻情報と、前記画像が撮像された時に表示されていたガイダンス情報についてのガイダンス情報表示記録と、前記画像が撮像された時に前記ユーザによって行われていた前記作業工程を示す作業工程記録とを関連付けて、前記記憶部に記憶させる
    プログラム。