JP2020149143A - 作業支援システム、作業支援方法、及びプログラム - Google Patents

Abstract

【課題】柔軟に作業を進めることを支援する作業支援システム、作業支援方法、及びプログラムを提供する。【解決手段】実施形態の作業支援システムは、実世界を視認可能にしながら情報を表示可能な第１表示部を備える第１表示装置を用いて、作業工程の実施を支援する作業支援システムであって、前記第１表示装置は、ガイダンス情報を前記第１表示部に表示させる第１表示管理部と、中断箇所に関する中断箇所情報を第１記憶部に記憶させる第１中断記録部と、中断箇所に関するシステムエラー中断箇所情報を前記第１記憶部に記憶させる第１システムエラー中断記録部と、前記ガイダンス情報の表示が中断された中断箇所よりも時間的に前の表示再開箇所から表示を再開するように設定を行う第１中断再開設定部と、を備え、前記第１中断再開設定部は、前記システムエラーによる中断を前記第１表示部に表示させる作業支援システムである。【選択図】図４

Description

本発明は、作業支援システム、作業支援方法、及びプログラムに関する。

透過型のヘッドマウント型デバイスを用いることにより、実空間の状況を見ながら、実空間に対応する仮想空間の情報を確認することが可能になる。ユーザが作業を実施する際にヘッドマウント型デバイスを用いることで、その作業に関する情報をユーザに提供する施工支援情報システム（作業支援システム）が知られている（例えば特許文献１参照）。

特開２０００−１５５８５５号公報

しかしながら、従来は、作業開始から終了まで一気通貫で行うことが想定されており、途中で作業を中断することが考慮されていない場合があった。また、作業中にシステムエラーが発生した際も、作業開始から再開しなければならないことがあった。

本発明は、このような事情を鑑みてなされたものであり、柔軟に作業を進めることを支援する作業支援システム、作業支援方法、及びプログラムを提供することを目的とする。

上記の課題を解決するための本発明の一態様は、第１ユーザの頭部に装着され、前記第１ユーザの頭部に装着された状態で前記第１ユーザに実世界を視認可能にしながら、前記第１ユーザに対して情報を表示可能な第１表示部を備える第１表示装置を用いて、前記第１ユーザに対して作業工程の実施を支援する作業支援システムであって、前記作業工程に関する文字情報を含む説明表示画像と、前記作業工程に関するアニメーションを含む動画像と、前記説明表示画像と前記動画像とを所定の順に表示させるためのシナリオデータとに基づくガイダンス情報を前記第１表示部に表示させる第１表示管理部と、前記ユーザによる中断要求によって前記ガイダンス情報の表示が中断された場合に、前記表示が中断された中断箇所に関する中断箇所情報を第１記憶部に記憶させる第１中断記録部と、前記作業支援システムのシステムエラーによって前記ガイダンス情報の表示が中断された場合に、前記表示が中断された中断箇所に関するシステムエラー中断箇所情報を前記第１記憶部に記憶させる第１システムエラー中断記録部と、前記記憶部に記憶させられた前記中断箇所情報と前記システムエラー中断箇所情報とのいずれか１つに基づいて、前記ガイダンス情報の表示が中断された中断箇所よりも時間的に前の表示再開箇所から表示を再開するように設定を行う第１中断再開設定部と、を備え、前記第１中断再開設定部は、前記システムエラー中断箇所情報が前記第１記憶部に記憶されている場合は、前記システムエラーによって前記ガイダンス情報の表示が中断された旨を前記第１表示部に表示させる作業支援システムである。

前記作業支援システムにおいて、前記第１表示管理部は、前記第１表示部に、前記作業工程を中断させるための操作を受け付ける第１の中断要求オブジェクトを表示させ、前記第１表示部に表示された前記第１の中断要求オブジェクトの操作が検出された場合に、前記第１表示管理部は、前記第１表示部における前記作業工程に関するガイダンス情報の表示を中断させる。

前記作業支援システムにおいて、前記第１表示装置には、前記作業工程の工程決定操作を行うことが許されない第１権限が設定されており、前記作業支援システムは、更に、第２ユーザの頭部に装着され、前記第２ユーザの頭部に装着された状態で前記第２ユーザに実世界を視認可能にしながら、前記第２ユーザに対して情報を表示可能な第２表示部を備え、前記ガイダンス情報を前記第２表示部に表示させる第２表示管理部を備え、前記作業工程の工程決定操作を行うことが許される第２権限が設定された第２表示装置を備え、前記第２表示管理部は、前記第２表示部に、前記作業工程を中断させるための操作を受け付ける第２の中断要求オブジェクトを表示させ、前記第２表示部に表示された前記第２の中断要求オブジェクトの操作が検出された場合に、前記第２表示管理部は、前記第２表示部における前記作業工程に関するガイダンス情報の表示を中断させる。

前記作業支援システムにおいて、前記第１表示管理部は、前記第１表示部に、前記作業工程を中断させるための操作を受け付ける第１の中断要求オブジェクトを表示させ、前記第１表示部に表示された前記第１の中断要求オブジェクトの操作が検出された場合に、前記第１表示管理部は、前記第１表示部における前記作業工程に関するガイダンス情報の表示を中断させる。

前記作業支援システムにおいて、前記第１表示装置には、前記作業工程の工程決定操作を行うことが許されない第１権限が設定されており、前記作業支援システムは、更に、第２ユーザの頭部に装着され、前記第２ユーザの頭部に装着された状態で前記第２ユーザに実世界を視認可能にしながら、前記第２ユーザに対して情報を表示可能な第２表示部を備え、前記作業工程の工程決定操作を行うことが許される第２権限が設定された第２表示装置を備え、前記第１表示管理部は、前記第１表示部に、前記作業工程を中断させるための操作を受け付ける第１の中断要求オブジェクトを表示させ、前記第２表示管理部は、前記第２表示部に、前記作業工程を中断させるための操作を受け付ける第２の中断要求オブジェクトを表示させ、前記第１表示部に表示された前記第１の中断要求オブジェクトの操作が検出され、且つ、前記第２表示部に表示された前記第２の中断要求オブジェクトの操作が検出された場合に、前記第１表示管理部は、前記第１表示部における前記作業工程に関するガイダンス情報の表示を中断させ、前記第２表示管理部は、前記第２表示部における前記作業工程に関するガイダンス情報の表示を中断させる。

前記作業支援システムにおいて、前記第１の中断要求オブジェクトと、前記第２の中断要求オブジェクトとは、同様の形状を有する。

前記作業支援システムにおいて、前記表示再開箇所は、前記ガイダンス情報の表示が中断された前記中断箇所が含まれる前記作業工程の開始箇所である。

前記作業支援システムにおいて、前記ガイダンス情報は、前記作業工程の注意喚起を促すための注意喚起画像を含み、前記表示再開箇所は、前記中断された作業工程についての前記ガイダンス情報の前記注意喚起画像の開始箇所である。

前記作業支援システムにおいて、前記記憶部に記憶させられた前記中断箇所情報と前記システムエラー中断箇所情報とのいずれか１つは、前記シナリオデータ中における前記ガイダンス情報の表示が中断された中断箇所を示す情報を含む。

上記の課題を解決するための本発明の一態様は、第１ユーザの頭部に装着され、前記第１ユーザの頭部に装着された状態で前記第１ユーザに実世界を視認可能にしながら、前記第１ユーザに対して情報を表示可能な第１表示部を備える第１表示装置を用いて、前記第１ユーザに対して作業工程の実施を支援する作業支援システムのコンピュータが、前記作業工程に関する文字情報を含む説明表示画像と、前記作業工程に関するアニメーションを含む動画像と、前記説明表示画像と前記動画像とを所定の順に表示させるためのシナリオデータとに基づくガイダンス情報を前記第１表示部に表示させ、前記ユーザによる中断要求によって前記ガイダンス情報の表示が中断された場合に、前記表示が中断された中断箇所に関する中断箇所情報を第１記憶部に記憶させ、前記作業支援システムのシステムエラーによって前記ガイダンス情報の表示が中断された場合に、前記表示が中断された中断箇所に関するシステムエラー中断箇所情報を前記第１記憶部に記憶させ、前記第１記憶部に記憶させられた前記中断箇所情報と前記システムエラー中断箇所情報とのいずれか１つに基づいて、前記ガイダンス情報の表示が中断された中断箇所よりも時間的に前の表示再開箇所から表示を再開するように設定し、前記システムエラー中断箇所情報が前記第１記憶部に記憶されている場合は、前記システムエラーによって前記ガイダンス情報の表示が中断された旨を前記第１表示部に表示させる作業支援方法。

上記の課題を解決するための本発明の一態様は、第１ユーザの頭部に装着され、前記第１ユーザの頭部に装着された状態で前記第１ユーザに実世界を視認可能にしながら、前記第１ユーザに対して情報を表示可能な第１表示部を備える第１表示装置を用いて、前記第１ユーザに対して作業工程の実施を支援する作業支援システムのコンピュータに、前記作業工程に関する文字情報を含む説明表示画像と、前記作業工程に関するアニメーションを含む動画像と、前記説明表示画像と前記動画像とを所定の順に表示させるためのシナリオデータとに基づくガイダンス情報を前記第１表示部に表示させ、前記ユーザによる中断要求によって前記ガイダンス情報の表示が中断された場合に、前記表示が中断された中断箇所に関する中断箇所情報を第１記憶部に記憶させ、前記作業支援システムのシステムエラーによって前記ガイダンス情報の表示が中断された場合に、前記表示が中断された中断箇所に関するシステムエラー中断箇所情報を前記第１記憶部に記憶させ、前記第１記憶部に記憶させられた前記中断箇所情報と前記システムエラー中断箇所情報とのいずれか１つに基づいて、前記ガイダンス情報の表示が中断された中断箇所よりも時間的に前の表示再開箇所から表示を再開するように設定させ、前記システムエラー中断箇所情報が前記第１記憶部に記憶されている場合は、前記システムエラーによって前記ガイダンス情報の表示が中断された旨を前記第１表示部に表示させるプログラム。

本発明によれば、柔軟に作業を進めることを支援することができる。

本発明の実施形態に係る作業支援システム１の概要について説明するための図である。 実施形態の対象ユニットＵを示す図である。 実施形態の表示装置１０が表示する画像を説明するための図である。 実施形態に係る表示装置１０の概略構成図である。 実施形態の通信設定（ペアリング）の手順を示す図である。 実施形態の通信設定（ペアリング）の手順を示す図である。 実施形態の通信設定（ペアリング）の手順を示す図である。 実施形態の通信設定（ペアリング）の手順を示す図である。 実施形態の権限情報ＤＢ１２９に記憶される内容について説明するための図である。 実施形態のユーザ権限選択画面２００を説明するための図である。 実施形態の中断箇所情報が無い場合の予定作業選択画面２２５Ａを説明するための図である。 実施形態の中断箇所情報が無い場合の予定作業選択画面２２５Ｂを説明するための図である。 実施形態の中断再開設定ダイヤログ２３０を説明するための図である。 実施形態のシステムエラー中断再開設定ダイヤログ２３０Ａを説明するための図である。 実施形態の表示部１４０に表示させる画像について説明するための図である。 実施形態の作業主任者用工程確認画面２１０Ａを説明するための図である。 実施形態の操作者用工程確認画面２１０Ｂを説明するための図である。 実施形態の単独作業者用作業工程支援処理のフローチャートである。 実施形態の複数人モード用作業工程支援処理のフローチャートである。 実施形態のシステムエラー中断記録部１１９ｂによって行われるシステムエラー中断記録処理を説明するための図である。

以下、図を参照して、実施形態に係る作業支援システム、作業支援方法、及びプログラムについて説明する。
実施形態における「動画像」とは、時間軸方向の情報の連続性が保たれた画像（動画像）の他、時間軸方向の情報を間引いた準動画像、複数種類の静止画を連続して表示する画像などを含む。

［作業支援システムの概要］
実施形態に係る作業支援システム１の概要について説明する。
図１は、実施形態に係る作業支援システム１の概要について説明するための図である。作業支援システム１は、ユーザに予定の作業を円滑に実施させるように、予定の作業に関する情報を、そのユーザに提供する。

（適用する作業と対象ユニットＵの例）
ここで具体的な作業の一例を挙げる。例示する作業は、作業対象の装置（以下、対象ユニットＵという。）の保守・点検作業である。対象ユニットＵは、例えば、通信装置、サーバ装置などのＩＣＴ（Information and Communication Technology）装置、電力変換装置等であってよい。このような対象ユニットＵは、主に通信機械室などに配置されるが、通信機械室には同じ形の装置（収納筐体）が多数配置されていることがある。１つの収納筐体に、同種或いは異種のユニットが複数搭載されていることがある。

ここで、対象ユニットＵの一例を図２に示す。図２は、実施形態の対象ユニットＵを示す図である。図２に示す対象ユニットＵは、１つの収納筐体に、同種或いは異種のユニットとともに搭載されている。対象ユニットＵの作業対象の面には、同一形状の複数のコネクタ、スイッチ、表示素子などが並んで配置されている。そのため、対象ユニットＵそのものや、コネクタ、スイッチ、表示素子などを誤ることなく作業を実施する必要がある。

また、収納筐体内の一部のユニットを稼働させた状態で、収納筐体内の特定のユニットに対する給電を停止して、当該ユニットの稼働を停止させて作業を実施することがある。このような作業の場合、操作するスイッチを誤ると、稼働中のユニットを予定外に停止させることになる。

これまで上記の作業を実施する際には、作業計画が記載された手順書を確認し、作業主任者（作業リーダー）とユーザが連携して作業にあたるなどの方法を励行することにより、上記の誤りが生じることを防いでいた。ただし、作業が複雑になるほど、上記の手順書が複雑になる。また、ユーザが手順書を確認するために、対象ユニットＵから目を離すことがあった。

これに対し、作業支援システム１は、図１に示すような作業形態をとることで、表示装置１０を利用するユーザ（例えば、操作者）等の作業を支援する。

例えば、表示装置１０は、透過型のヘッドマウントディスプレイ（ＨＭＤ）である。表示装置１０は、ユーザの頭部に装着された状態で利用される作業支援装置の一例である。

図３を参照して、作業支援システム１がユーザに示す情報の一例について説明する。図３は、実施形態の表示装置１０が表示する画像を説明するための図である。

ユーザは、表示装置１０を頭部に装着していると、表示装置１０を透過して実空間の対象ユニットＵ等の像を確認できる。表示装置１０は、図３に示すような対象ユニットＵに関する仮想の像を表示する。ユーザは、実空間に存在する対象ユニットＵの像と、表示装置１０が表示した画像とを、作業中に確認することができる。表示装置１０が表示する画像には、対象ユニットＵの輪郭の他、領域ＺＩに示される作業の内容と手順に関する情報が含まれる。表示装置１０は、ユーザが実空間の対象ユニットＵの像と対象ユニットＵに関する仮想の像が重なった像として確認できるように、表示する画像を調整する。

このような作業支援システム１は、ユーザが手順書を確認するために、ユーザが対象ユニットＵから目を離すことなく当該ユーザの作業を続けることを可能にする。以下、この詳細について説明する。

図４を参照して、実施形態に係る表示装置１０について説明する。図４は、実施形態に係る表示装置１０の概略構成図である。尚、後述する表示装置２０も、表示装置１０と同様の構成を有するので、表示装置２０についての説明は省略する。

表示装置１０は、制御部１１０と、記憶部１２０と、入力部１３０と、表示部１４０と、加速度検出部１５０と、無線通信部１６０と、カメラ１７０と、マイク１８０と、スピーカ１９０とを備える。

制御部１１０は、ソフトウエアプログラムを実行するプロセッサ等を含む。制御部１１０は、ソフトウエアプログラムを実行することにより各種処理の機能部として作用する。例えば制御部１１０は、演算処理部１１１と、位置情報処理部１１２と、操作入力部１１３、ユーザ権限設定部１１３ａ、動き検出部１１４と、視線推定部１１５と、操作検出部１１６と、再生処理部１１７と、同期情報取得部１１７ａと、操作オブジェクト表示制御部１１７ｂと、履歴処理部１１８と、データ管理部１１９と、中断記録部１１９ａと、システムエラー中断記録部１１９ｂと、中断再開設定部１１９ｃとを備える。その詳細は後述する。再生処理部１１７は、第１表示制御部の一例である。

記憶部１２０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等で実現される。プロセッサが実行するソフトウエアプログラムは、予め記憶部１２０に格納されていてもよいし、外部装置や可搬型記憶媒体などから、或いは通信回線を介してダウンロードされてもよい。

記憶部１２０は、表示装置１０を通信端末として機能させるための各種設定情報と、ＯＳ（Operating System）などの基本プログラムを格納する。さらに、記憶部１２０は、上記の他、実施形態の表示装置１０としての機能を実現させるための各種データとアプリケーションプログラムとを格納する。各種データの例について後述する。

入力部１３０は、ユーザの操作を検出する操作検出部を含む。操作検出部は、機械的に検出する機構部を備えていてもよく、電気的に検出する検出部を備えていてもよい。

表示部１４０は、各種情報を表示する透過型又は半透過型の表示器を含む。表示部１４０の表示器は、ユーザの片目又は両目の視野に収まるような位置に、所望の画像を表示させるように配置されている。例えば、表示部１４０は、両目の視差を調整した画像を、両目の視野内に夫々表示することにより、立体視可能な像を表示することができる。

加速度検出部１５０は、加速度センサー（又はジャイロ）を含み、ユーザの頭部に作用する力を、表示装置１０に掛かる力として検出する。ユーザの頭部に作用する力は、ユーザの行動と姿勢によって変化する。加速度検出部１５０の検出結果を利用することにより、間接的にユーザの行動と姿勢を検出することができる。

無線通信部１６０は、図示されないアンテナを備えており、電波を利用して通信する。例えばこの通信方式として、近距離通信方式、セルラー方式、無線ＬＡＮ方式などの各種方式を適用できる。近距離通信方式の場合、比較的近傍に位置する他の表示装置１０などと消費電力を抑えて通信することができる。無線通信部１６０は、通信部の一例である。

無線通信部１６０が使用する無線通信方式は、例えば、3G、LTE、4Gなどのセルラー通信、Wi-Fi、Bluetooth（登録商標） Classic、Bluetooth LE GATT（登録商標）、Bluetooth LE Advertisement（登録商標）などであってよい。表示装置１０は、Wi-Fi等の通信環境が用意されていない場所でも使用されることを考慮すると、Peer-to-Peerで接続可能なBluetooth（登録商標）を使用することが好ましい。Bluetooth（登録商標）の中でも、低電力で動作可能なBluetooth LE GATT（登録商標）が特に好ましい。

無線通信部１６０が使用する無線通信方式がBluetooth（登録商標）である場合には、無線通信部１６０は、データ通信を行う前に、表示装置２０の無線通信部と通信することにより通信設定（ペアリング）を行う。無線通信部１６０が使用する無線通信方式がBluetooth（登録商標）ではない場合には、表示装置１０と表示装置２０とは、作業を連携して実施するための共通のグループＩＤと、認証のための認証鍵の設定とを共有する通信設定を行ってもよい。表示装置１０と表示装置２０とは、ペアリングの結果、グループＩＤや認証鍵などを用いて互いの認証を行ってもよい。または、Near field communication（NFC）などの他の無線通信方式などを用いて通信設定が行われてもよい。

図５Ａ〜図５Ｄは、実施形態の無線通信部１６０が使用する無線通信方式がBluetooth（登録商標）である場合における、通信設定（ペアリング）の手順を示す図である。例えば、表示装置２０と表示装置２０との間でペアリングを行う場合、ペアリングを受ける側は、図５Ａのようなペアリング待機画面を表示して、接続を待ち受ける。一方、ペアリングをする側においては、ユーザは、図５Ｂのようにペアリングを待ち受けている表示装置の一覧から、ペアリングを行う表示装置を選択する。この結果、ペアリングが成功すると、図５Ｃのようなペアリング成功の画面が表示される。ペアリングが失敗すると、図５Ｄのようなペアリング成功の画面が表示される。

カメラ１７０は、光学系と撮像素子を含み、光学系の光軸方向を撮像する。例えば、カメラ１７０は、表示装置１０の筐体の内部又は外部に設けられていて、ユーザが、その頭部に表示装置１０を規定の方法で装着すると、ユーザの顔の前方にカメラ１７０の光軸が向くように形成されている。制御部１１０は、カメラ１７０によって撮像された画像を用いることで、表示装置１０を装着したユーザの姿勢を検出したり、ユーザの位置を検出したりするために利用する。

マイク１８０とスピーカ１９０は、例えば、図示されない所望のアンプを含み、表示装置１０を通話用の装置として利用する際に利用される。また、制御部１１０は、マイク１８０を、表示装置１０の周囲の音を収集するためのセンサとして利用してもよく、スピーカ１９０から、警報音やユーザに対する音声ガイドを提供してもよい。なおスピーカ１９０は、イヤホン、ヘッドホン、骨伝導型振動体などあってもよい。以下の説明では、スピーカ１９０を、それらを代表するものとして説明する。マイク１８０とスピーカ１９０は、表示装置１０に内蔵されていてもよく、表示装置１０に付帯されるものであってもよい。

なお、表示装置１０には、ＨＭＤ型に代えて、スマートフォン、タブレット型端末、パーソナルコンピュータ等の携帯型の装置を適用することができる。上記の場合、表示部１４０が透過型でなくなるが、同様の用途に利用することができる。スマートフォンなどの場合、入力部１３０と表示部１４０は、互いに組み合わされたタッチパネルとして構成されていてもよい。

次に、記憶部１２０に格納されるデータについて説明する。
記憶部１２０には、例えば、３ＤモデルＤＢ１２１と、音源ＤＢ１２２と、動画像ＤＢ１２３と、属性ＤＢ１２４と、マーカＤＢ１２５と、作業計画ＤＢ１２６と、補正量ＤＢ１２７と、履歴ＤＢ１２８と、権限情報ＤＢ１２９が格納される。

３ＤモデルＤＢ１２１には、３次元の仮想空間に構築したモデルのデータが含まれる。上記のモデルは、実空間の対象ユニットＵなどを含む領域に対応するものである。例えば、上記のモデルのデータには、対象ユニットＵの輪郭像のデータ、作業工程ごとの作業の内容に関するデータ（説明表示画像）などが含まれてもよい。

音源ＤＢ１２２には、作業手順のガイダンスとして再生するための音源データが含まれる。

動画像ＤＢ１２３には、作業手順のガイダンスとして再生するための動画像データが含まれる。上記の動画像データには、対象ユニットＵにおいてユーザの操作によって視覚上の変化が生じる部分のデータが含まれる。例えば、スイッチの操作をガイダンスする場合であれば、対象となるスイッチを特定することができ、スイッチのレバー部分の状態をどのように変えるかなどのように、作業の要領（動き）が示されればよい。

属性ＤＢ１２４には、表示装置１０の装置ＩＤ、表示装置１０のユーザのユーザＩＤ、ユーザの権限を示すユーザ権限情報などが含まれる。

マーカＤＢ１２５には、表示装置１０の位置合わせ処理に利用されるマーカの特徴と、実空間に配置されている位置に関するデータが含まれる。例えばマーカは、ＱＲコード（登録商標）などの二次元コードである。

作業計画ＤＢ１２６には、表示装置１０を用いて支援する作業の作業計画のデータが含まれる。このデータは、作業の手順を示すシナリオのデータとして用いられる。

補正量ＤＢ１２７には、表示装置１０の表示の精度を高めるための各種補正データなどが含まれる。例えば、各補正データには、表示装置１０の位置合わせ処理の精度を高めるためのデータが含まれていてもよい。

履歴ＤＢ１２８には、実施された作業結果のデータが含まれる。例えば、このデータには、カメラ１７０によって撮像された画像データ、操作の履歴データなどが含まれる。

図６Ａは、実施形態の権限情報ＤＢ１２９に記憶される内容について説明するための図である。権限情報ＤＢ１２９は、ユーザ権限と、ユーザ権限に対して許される操作を示す操作許可情報とを互いに関連付けて記憶する。

なお、各種ＤＢのデータは互いに関連付けられていて、ユーザが予定する作業のマニュアルとして機能する情報を含む。マニュアルとは、一般的な作業の手順書に関する情報に加えて、予定する作業の対象ユニットＵに関するＣＧ画像データ、予定する作業を、動画像を用いて説明するための動画像データ、などが含まれる。

次に、制御部１１０がプログラムを実行することで実現する表示装置１０の主な機能を挙げる。以下、これについて順に説明する。
・表示装置１０の初期設定機能
・表示装置１０の位置検出機能
・表示装置１０の操作入力機能
・表示装置１０による視線の動き検出機能
・表示装置１０による対象ユニットＵの合成画像の表示機能
・表示装置１０が表示する合成画像の補正機能
・表示装置１０による画像と音声の再生機能
・表示装置１０による操作オブジェクトの表示制御機能
・表示装置１０を利用した作業の作業履歴の管理機能
・表示装置１０による各種情報の管理機能
・表示装置１０による中断記録と中断再開設定機能
・表示装置１０による同期制御機能
・表示装置１０によるナビゲーション表示機能
・表示装置１０によるユーザ権限に応じた表示機能

（表示装置１０の初期設定機能）
表示装置１０の制御部１１０は、入力部１３０による操作の検出結果に基づき、表示装置１０を機能させるための各種情報を生成して、それを記憶部１２０の属性ＤＢ１２４に格納させる。例えば、上記の各種情報には、表示装置１０のユーザが登録するユーザＩＤ、役割を示す役割情報などが含まれる。

（位置検出機能）
位置情報処理部１１２は、例えば、表示装置１０の位置の検出に、規定のマーカの検出結果と、表示装置１０の動き検出の結果とを利用して、表示装置１０の位置と表示装置１０が向けられた方向を検出する。前述の図２に示す符号ＭＫは規定のマーカの一例である。規定のマーカは、対象ユニットＵの側面に添付されている。

なお、表示装置１０は、自表示装置１０の位置を検出する位置検出機能を有効化する前に、次に示す初期化処理を実施することによって表示装置１０の位置と表示装置１０が向けられた方向の初期値を決定する。表示装置１０の位置の初期値を基準位置と呼ぶ。

（操作入力機能）
操作入力部１１３は、ユーザから操作入力を受け付ける。例えば、ユーザが、表示装置１０が表示する画像において、後述する視線カーソルを所定の操作オブジェクトまで動かし、所定のジェスチャーを行うと、操作入力部１１３は、所定の操作オブジェクトに関する操作入力を受け付ける。

操作入力部１１３は、例えば、カメラ１７０で撮像した画像を認識することにより、ユーザが所定のジェスチャーを行ったことを検出することができる。視線カーソルとジェスチャーによって、一般的なコンピュータにおけるマウスの移動とクリックに対応する操作を可能にする。尚、操作入力部１１３は、ジェスチャーの代わりに、マイク１８０で検出した音声による音声入力を用いることもできる。また、操作入力部１１３は、ジェスチャーの代わりに、入力部１３０への入力を用いることもできるし、表示装置１０に有線または無線で接続されるスイッチやキー等を含む入力デバイスへの入力を用いることもできる。以下の説明では、上記のような様々な方法で、所定の操作オブジェクトを選択（操作）することを、単に「操作する」という。

（ユーザ権限設定機能）
図６Ｂは、実施形態のユーザ権限選択画面２００を説明するための図である。例えば、ユーザが表示装置１０を起動して作業工程支援処理に係る所定のプログラムを実行すると、ユーザ権限設定部１１３ａは、例えば、表示部１４０において領域ＺＩ（図３参照）に、ユーザ権限選択画面２００を表示する。ユーザは、視線カーソルを選択するオブジェクトにあわせて所定のジェスチャーをすると、ユーザ権限設定部１１３ａは、そのオブジェクトの権限を選択する。

ユーザ権限選択画面２００は、例えば、操作者オブジェクト２０２と、作業主任者オブジェクト２０４と、単独作業者オブジェクト２０６とを含む。例えば、操作者オブジェクト２０２は、ユーザが作業を行う操作者である場合のための操作者権限を選ぶオブジェクトである。操作者権限においては、ユーザは、作業支援システム１によって示されるガイダンスに従って、作業を行う。作業主任者オブジェクト２０４は、操作者を監督する作業主任者のための作業主任者権限を選ぶオブジェクトである。作業主任者権限においては、ユーザは、作業工程支援処理に係る所定のプログラムの操作を行い、操作者によってされた作業工程の状態確認を行う。単独作業者オブジェクト２０６は、単独で操作者と操作者を監督する作業主任者とを兼任するための単独作業権限を選ぶオブジェクトである。単独作業権限においては、ユーザは、作業工程支援処理に係る所定のプログラムの操作を行い、更に、実際の作業を行う。操作者権限は、第１権限の一例である。作業主任者権限は、第２権限の一例である。単独作業権限を選択すると、表示装置１０は単独モードで動作する。例えば、操作者権限または作業主任者権限を選択すると、表示装置１０は複数人モードで動作する。

（視線の動き検出機能）
動き検出部１１４は、加速度検出部１５０の検出結果に基づいて算出されるユーザの頭部の動きの推定結果を取得する。
例えば、作業者が視線を移動させると、それに伴い作業者の頭部も動く。作業者の頭部の動きを検出することで、間接的に作業者の視線の動きを検出することができる。例えば、視線推定部１１５は、作業者の頭部の動きに基づいて視線の位置を算出する。これに基づいて、表示装置１０は、算出された視線の位置に視線カーソルを表示部１４０に表示する。

視線推定部１１５は、動き検出部１１４によって算出され、演算処理部１１１によって中継される、頭部の動きの推定結果と、視線の動きの推定結果を取得してもよい。或いは、演算処理部１１１は、加速度検出部１５０の検出結果に基づいた頭部の動きの推定結果と視線の動きの推定結果を算出する。動き検出部１１４は、演算処理部１１１から、演算処理部１１１によって算出された頭部の動きの推定結果と視線の動きの推定結果を取得してもよい。なお、加速度検出部１５０の検出結果である加速度データから、頭部の動きと視線の動きを算出する方法は、上記に限らず既知の方法を用いてよい。

上記の通り、表示装置１０は、作業支援システム１において、ユーザの位置のセンサと姿勢のセンサとして機能して、ユーザの位置と姿勢の情報を取得する。

（対象ユニットＵの合成画像の表示機能）
表示装置１０は、実空間内に配置された対象ユニットＵの像の位置に整合するように、対象ユニットＵの合成画像を表示する。

例えば、表示装置１０に表示される対象ユニットＵの合成画像は、３ＤモデルＤＢ１２１の３次元モデル（３Ｄモデル）に含まれる。対象ユニットＵの合成画像の画像データは、上記の３Ｄモデルの座標系の位置に対応付けるための情報が関連付けられている。３Ｄモデルの座標系の位置に対応付けるための情報とは、上記の３Ｄモデルの座標系の位置情報であってもよく、３Ｄモデル内に配置された装置の識別情報及びその装置の側面の何れかを特定可能な識別情報を有するデータであってもよい。

演算処理部１１１は、上記の３Ｄモデルの座標系の位置に対応付けるための情報等を用いて対象ユニットＵの合成画像を、３Ｄモデル内の対象ユニットＵの位置に表示させるためのデータを生成する。
これにより、ユーザが、頭を旋回させて違う方向を見た場合も、移動して位置を代えた場合も、表示装置１０は、ユーザと対象ユニットＵの位置関係を逐次捕捉し続ける。

（表示する合成画像の補正機能）
表示装置１０は、表示する合成画像を、ユーザと対象ユニットＵとの位置関係に基づいて補正する。

例えば、ユーザが対象ユニットＵから離れれば、それに応じて表示する対象ユニットＵの画像を小さくする。ユーザが首を横に向ければ、それに応じて対象ユニットＵの画像を表示する位置を横に変更する。上下に向ける場合も同様である。

演算処理部１１１は、上記に関する合成画像の補正演算を実施して、補正後の合成画像を出力する。

（画像と音声の再生機能）
表示装置１０は、予め記憶部１２０に格納されているデータに基づいて画像と音声を再生する。
例えば、記憶部１２０の３ＤモデルＤＢ１２１と、音源ＤＢ１２２と、動画像ＤＢ１２３に格納されているデータは、画像と音声のデータである。
或いは、記憶部１２０に格納されている上記のデータは、画像と音声を選択するための識別データであってよい。この場合、表示装置１０は、他の装置に識別データを送って、画像と音声のデータを取得してもよい。

再生処理部１１７は、３ＤモデルＤＢ１２１と動画像ＤＢ１２３に格納されているデータに基づいて再生した作業手順のガイダンスを、表示部１４０に表示させる。また、再生処理部１１７は、音源ＤＢ１２２に格納されているデータに基づいて再生した作業手順のガイダンスの音声を、スピーカ１９０から出力させる。以下の説明では、再生処理部１１７が作業手順のガイダンスを、表示部１４０に表示させ、作業手順のガイダンスの音声を、スピーカ１９０から出力させることを、単に「作業手順のガイダンスを表示させる」という場合があるが、このように表現した場合でも、動画像の表示に合わせて、音声も適宜出力されてもよい。作業手順のガイダンスは、ガイダンス情報の一例である。

例えば、ユーザ権限設定部１１３ａによって操作者権限または作業主任者権限が設定された場合には、再生処理部１１７は、作業に関する情報である作業情報と、表示装置２０に対する所定の操作を示す操作オブジェクトとを、後述する同期情報に基づいて同期して表示部１４０に表示させるように制御を行う。

なお、再生処理部１１７は、特定の作業工程内の予め定められる期間に、上記のシナリオデータに基づいて動画像の表示を制限するとよい。特定の作業工程内の予め定められる期間とは、作業者が実際に作業を実施する期間を含むように規定する。これによって、作業者は、集中して自身の作業を遂行できる。

再生処理部１１７は、特定の作業工程の任意の期間において、作業者が実施する作業に関する情報を非表示にして、さらに、その後再表示にしてもよい。特定の作業工程の任意の期間として、例えば、操作検出部１１６が作業中であると判定してから、作業が終了したと判定までの期間を含めた範囲を規定してもよい。これによれば、視野の中央部に位置する表示を、作業中に控えることが可能になる。尚、操作検出部１１６によって検出された作業工程終了を通知する同期情報は、無線通信部１６０を介して他の再生装置２０に送信してもよい。

同期情報取得部１１７ａは、無線通信部１６０を介して表示装置２０と通信することにより、表示装置２０との同期に関する同期情報を取得する。同期情報は、例えば、表示装置２０において行われた操作に関する情報を含む。

尚、本願明細書における「同期」とは、表示装置１０と表示装置２０のうち一方が、他方からオブジェクトの操作結果等を受け取り、アプリケーションレベルで、他方の作業工程の進行に合わせることをいう。本願明細書における「同期」は、通信のプロトコルの下層レイヤーで、電気信号がシンクロナイズすることを要しない。

例えば、同期情報は、シナリオデータ中の再生箇所を示す情報を含んでいてもよく、例えば、情報は、例えば、シナリオデータに付された連番やタイムスタンプ等であってよい。シナリオデータについては後述する。同期情報取得部１１７ａは、シナリオデータ中の再生箇所を示す情報を表示装置２０から取得することにより、第２表示装置２０において行われた工程決定操作によって決定された作業工程に対して同期を取る。

尚、同期情報取得部１１７ａが取得する同期情報は、２０バイト以下のサイズとなっている。このため、１回の送信におけるデータの大きさが２０バイト以下に制限されているBluetooth LE GATT（登録商標）においても、同期情報を送受信することができる。表示装置１０と表示装置２０の間では同期情報のみが送受信され、データサイズの大きい３Ｄモデルや動画像は、それぞれの表示装置１０、２０のローカルにある記憶部１２０から読み出される。従って、サイズの小さな同期情報を送受信するだけで、データサイズの大きい３Ｄモデルや動画像の同期再生を実現することができる。

操作オブジェクト表示制御部１１７ｂは、ユーザ権限設定部１１３ａによって設定されたユーザ権限に基づいて、表示部に１４０表示させる操作オブジェクトを制限する。再生処理部１１７と操作オブジェクト表示制御部１１７ｂの詳細については、後述する。

（操作オブジェクト表示制御部）
操作オブジェクト表示制御部１１７ｂは、ユーザ権限設定部１１３ａによって設定されたユーザ権限に基づいて、表示部１４０に表示させる操作オブジェクトを制限する。例えば、ユーザ権限設定部１１３ａによって操作者権限が設定されると、操作オブジェクト表示制御部１１７ｂは、操作オブジェクトＯＢＪ１からＯＢＪ４が表示されない操作者用工程確認画面２１０Ｂを表示部１４０に表示させる。

例えば、ユーザ権限設定部１１３ａによって作業主任者権限または単独作業権限が設定された場合には、操作オブジェクト表示制御部１１７ｂは、表示部１４０に表示させる操作オブジェクトを制限しない。例えば、ユーザ権限設定部１１３ａによって作業主任者権限または単独作業者権限が設定されると、操作オブジェクト表示制御部１１７ｂは、操作オブジェクトＯＢＪ１からＯＢＪ４が表示される作業主任者用工程確認画面２１０Ａを表示部１４０に表示させる。操作オブジェクト表示制御部１１７ｂは、ユーザ権限と、ユーザ権限に対して許される操作を示す操作許可情報とを互いに関連付けて記憶した権限情報ＤＢ１２９を参照することにより、表示部１４０に表示させる操作オブジェクトを制限する。

（作業履歴の管理）
表示装置１０は、ユーザによる記録開始の操作を検出して、作業期間中にした作業の履歴を管理する。

履歴処理部１１８は、関連する操作が検出されるとカメラ１７０からの画像の録画を開始して、作業中のユーザが選択したオブジェクトの操作履歴を履歴ＤＢ１２８に追加する。履歴処理部１１８は、ユーザによる作業終了（作業完了）、作業中断、記録中断などの操作が検出されるまで、上記の録画と記録の処理を継続する。

上記のように記録された画像と操作履歴を、所定の作業の完了後に当該作業の報告、解析などに利用することができる。

なお、履歴処理部１１８は、作業中に上記のカメラ１７０からの画像と操作履歴を、通信によって他の装置に送信してもよい。この場合、これらを受信した装置が、記録に残すとよい。

（各種情報の管理機能）
上記の通り、表示装置１０として機能させるための各種情報には、対象ユニットＵが配置された位置の位置情報、ユーザの識別情報、ユーザの属性情報、作業の内容と手順に関するシナリオデータ、表示装置１０の位置などの検出結果、表示用の各種情報などの情報が含まれる。

データ管理部１１９は、表示装置１０として機能させるための各種情報を、入力部１３０又は無線通信部１６０から取得すると、記憶部１２０に格納する。各種情報には、例えば、作業手順のガイダンスを含む。作業手順のガイダンスは、例えば、作業に関する文字情報を含む説明表示画像と、前記作業に関するアニメーションを含む動画像と、前記説明表示画像と前記動画像とを所定の順に表示させるためのシナリオデータとを含む。

（中断記録と中断再開設定機能）
中断記録部１１９ａは、表示装置１０のユーザによる中断要求によってガイダンス情報の表示が中断された場合に、表示が中断された中断箇所に関する中断箇所情報を記憶部１２０に記憶させる。中断記録部１１９ａは、第１中断記録部の一例である。

システムエラー中断記録部１１９ｂは、作業支援システム１のシステムエラーによってガイダンス情報の表示が中断された場合に、表示が中断された中断箇所に関するシステムエラー中断箇所情報を記憶部１２０に記憶させる。システムエラー中断記録部１１９ｂは、第１システムエラー中断記録部の一例である。

中断箇所情報とシステムエラー中断箇所情報とのそれぞれは、例えば、シナリオデータ中における中断箇所を示す時間情報などの情報を含んでいてもよく、例えば、シナリオデータに付された連番やタイムスタンプ等であってよい。これらの情報は、ＯＳ（Operating System）などの基本プログラムや、実施形態の表示装置１０としての機能を実現させるためのアプリケーションプログラムなどのシステムログから取得される情報であってもよい。システムログから取得される情報は、FATAL, ERROR，WARN，INFO，DEBUGなどのログレベルから選択されて出力される情報であってよい。

図７Ａは、実施形態の中断箇所情報が無い場合の予定作業選択画面２２５Ａを説明するための図である。予定作業選択画面２２５Ａは、第１シナリオ２２６Ａ〜第３シナリオ２２８Ａを含む。

図７Ｂは、実施形態の中断箇所情報が無い場合の予定作業選択画面２２５Ｂを説明するための図である。予定作業選択画面２２５Ｂは、第１シナリオ２２６Ｂ〜第３シナリオ２２８Ｂを含む。予定作業選択画面２２５Ｂにおいては、第３シナリオ２２８Ｂの右に「中断マーク」が表示されており、第３シナリオ２２８Ｂには、中断箇所情報またはシステムエラー中断箇所情報があることを示している。

図８Ａは、実施形態の中断再開設定ダイヤログ２３０を説明するための図である。中断再開設定部１１９ｃは、図示されるような中断再開設定ダイヤログ２３０を表示部１４０に表示させる。ユーザが、「はい」を示す操作オブジェクト２３２を選択すると、中断再開設定部１１９ｃは、記憶部１２０に記憶させられた中断箇所情報とシステムエラー中断箇所情報とのいずれか１つ基づいて、ガイダンス情報の表示が中断された中断箇所よりも時間的に前の表示再開箇所から表示を再開するように設定を行う。

図８Ｂは、実施形態のシステムエラー中断再開設定ダイヤログ２３０Ａを説明するための図である。中断再開設定部１１９ｃは、システムエラー中断箇所情報が記憶部１２０に記憶されている場合は、例えば、図８Ｂのシステムエラー中断再開設定ダイヤログ２３０Ａのように、前記システムエラーによって前記ガイダンス情報の表示が中断された旨を表示部１４０に表示させる。中断再開設定部１１９ｃは、第１中断再開設定部の一例である。

ガイダンス情報の表示が中断された中断箇所よりも時間的に前の表示再開箇所とは、例えば、ガイダンス情報の表示が中断された中断箇所が含まれる作業工程の１つ前の作業工程の開始箇所であってよい。または、ガイダンス情報の表示が中断された中断箇所よりも時間的に前の表示再開箇所とは、例えば、ガイダンス情報の表示が中断された中断箇所が含まれる作業工程の開始箇所であってよい。

（同期制御）
表示装置１０は、他の表示装置である表示装置２０と同期して動作することにより、表示装置１０と表示装置２０（図１）における画像と音声の再生を互いに同期させることができる。その際に、再生する画像と音声の種類は、同一であってもよく、予め対応付けられたものであれば、少なくとも一部が互いに異なるものであってもよい。

表示装置１０は、透過型であり、「複合現実」と呼ばれる実空間に仮想現実を融合させる技術を用いて、実空間に存在しない情報を実空間の対象ユニットＵに対応付けるように提供する。

実空間に対するユーザの視野は、表示装置１０の構造によって死角が生じる範囲を除けば、基本的には制限されることがない。例えば、表示部１４０の範囲を超える範囲がユーザの視野に含まれる。これに対し、仮想現実を提供するための合成画像が表示される範囲は、少なくとも表示部１４０の範囲に制限される。

（ナビゲーション表示）
次に表示部１４０の表示について説明する。

図９は、実施形態の表示部１４０に表示させる画像について説明するための図である。符号２１０は、表示部１４０に表示させる画像を示す。表示部１４０には、この範囲の一部又は全部が表示される。領域２１０は、中央に位置する領域２１０ａと、領域２１０ａの右側の領域２１０ｂと、領域２１０ａの左側の領域２１０ｃに大別される。領域２１０ａから領域２１０ｃは、そこに表示される情報の種類が異なるように規定されている。

領域２１０ａから領域２１０ｃの範囲とは独立して範囲が規定される領域２１０ｔがある。領域２１０ｔは、少なくとも領域２１０ａに重なるように設けられ、そこには、対象ユニットＵに関する仮想の像が表示される。対象ユニットＵに関する仮想の像には、各ユニットの輪郭と、各ユニットの盤面に配置されている部品の輪郭の像などが含まれる。

領域２１０ａは、対象ユニットＵに関する仮想の像の像を示す他に、主に作業の手順などを示すために利用される。この領域２１０ａは、作業者が対象ユニットＵに対する作業中に、作業者の視野の中心近傍に位置するように表示される。

領域２１０ａ内の上段には、作業者に注目させる位置を示す領域２１１が設けられている。領域２１１は、「対象エリア」の一例である。領域２１１には、上記の位置を含むように規定された枠の四隅を示す図形２１１ｃが表示される。「対象エリア」を、四隅に図形２１１ｃが配置された四角形の枠内に規定してもよい。

領域２１１の下段には、詳細表示エリア２１２（図１０Ａ）が設けられることがある。詳細表示エリア２１２は、作業者が作業工程の作業を励行する際に必要とされる情報が順に示され、それに対する応答をするために利用される領域である。

領域２１０ｂと２１０ｃは、主に作業に関連する各種情報を示すために利用される。ここに示す各種情報には、対象ユニットＵの図面、保守点検の履歴などの関連情報が含まれる。

（ユーザ権限に応じた表示）
図１０Ａは、実施形態の作業主任者用工程確認画面２１０Ａを説明するための図である。作業主任者用工程確認画面２１０Ａは、上述した詳細表示エリア２１２に表示される。作業主任者用工程確認画面２１０Ａは、ユーザが作業主任者オブジェクト２０４を選択した場合（ユーザ権限設定部１１３ａによって作業主任者権限が設定された場合）に表示される画面である。尚、ユーザが単独作業者オブジェクト２０６を選択した場合（ユーザ権限設定部１１３ａによって単独作業者権限が設定された場合）に表示される単独作業者用工程確認画面は、作業主任者用工程確認画面２１０Ａと同様であるので説明を省略する。

図示されるように、作業主任者用工程確認画面２１０Ａは、例えば、テキスト表示領域ＤＳＰと、操作オブジェクトＯＢＪ１からＯＢＪ１０とを含む。

テキスト表示領域ＤＳＰには、当該作業の詳細な内容がテキスト等で示される。例えば、図１０Ａに示すテキスト表示領域ＤＳＰ内に、ＬＥＤのランプ状態（点灯状態）の確認を促す情報が表示されている。

テキスト表示領域ＤＳＰの範囲に設けられた操作オブジェクトＯＢＪ１とＯＢＪ２は、当該作業でユーザが対象ユニットＵについて確認した状況を登録するために利用される操作オブジェクトである。ユーザは、確認した状況がテキスト表示領域ＤＳＰに示された内容に対して肯定的な回答（「はい」）を選択する場合には、操作オブジェクトＯＢＪ１を操作し、否定的な回答（「いいえ」）を選択する場合には、操作オブジェクトＯＢＪ２を操作する。操作検出部１１６が操作オブジェクトＯＢＪ１又はＯＢＪ２の操作を検出すると、履歴処理部１１８は、その検出の結果を履歴ＤＢ１２８の作業履歴に追加する。操作オブジェクトＯＢＪ１〜４のうちいずれか１つを操作することは、工程決定操作の一例である。

以下に示す各操作オブジェクトは、テキスト表示領域ＤＳＰの枠外に設けられている。
操作オブジェクトＯＢＪ３とＯＢＪ４は、作業工程を遷移させるために利用される操作オブジェクトである。ユーザは、現在の作業工程から次の作業工程に進める場合（「次に進む」場合）には、操作オブジェクトＯＢＪ３を操作し、現在の作業工程の前の作業工程に戻る場合（「前に戻る」場合）には、操作オブジェクトＯＢＪ４を操作する。操作検出部１１６が操作オブジェクトＯＢＪ３又はＯＢＪ４の操作を検出すると、再生処理部１１７は、その検出の結果に応じて作業工程を遷移させる。

操作オブジェクトＯＢＪ５は、現在の作業工程における作業を確認するために利用される操作オブジェクトである。ユーザは、現在の作業工程の動画像が表示された後などに、現在の作業工程の内容を再確認する場合（「リプレイ」する場合）には、操作オブジェクトＯＢＪ５を操作する。操作検出部１１６が操作オブジェクトＯＢＪ５の操作を検出すると、再生処理部１１７は、その検出の結果に応じて作業工程の作業の内容を示す画像を再生させる。操作オブジェクトＯＢＪ５は、第１操作オブジェクトの一例である。操作オブジェクトＯＢＪ１〜操作オブジェクトＯＢＪ４は、第２操作オブジェクトの一例である。

操作オブジェクトＯＢＪ６は、対象ユニットＵと表示装置１０との位置関係を再調整するために利用される操作オブジェクトである。ユーザは、対象ユニットＵと表示装置１０との位置関係を再調整する場合などに、操作オブジェクトＯＢＪ６を操作する。操作検出部１１６が操作オブジェクトＯＢＪ６の操作を検出すると、位置情報処理部１１２は、基準位置と基準方向を決定する初期化処理を実施する。

操作オブジェクトＯＢＪ７は、表示装置１０に表示されている画像を、実空間の対象ユニットＵの像に対して位置合わせを実施するために利用される操作オブジェクトである。ユーザは、表示装置１０に表示されている画像が、実空間の対象ユニットＵの像に対してずれていて、そのずれが許容できない場合などに、操作オブジェクトＯＢＪ６を操作する。操作検出部１１６が操作オブジェクトＯＢＪ６の操作を検出すると、位置情報処理部１１２は、上記の位置合わせの処理の結果を調整する。

操作オブジェクトＯＢＪ８は、表示装置１０に設定されている各種情報を確認するために利用される操作オブジェクトである。ユーザは、表示装置１０に設定されている各種情報を確認する場合などに、操作オブジェクトＯＢＪ８を操作する。操作検出部１１６が操作オブジェクトＯＢＪ８の操作を検出すると、再生処理部１１７は、記憶部１２０に格納されている各種情報を表示部１４０に表示させる。

操作オブジェクトＯＢＪ９は、表示装置１０に設定されている各種情報を設定（変更）するために利用される操作オブジェクトである。ユーザは、表示装置１０に設定されている各種情報を変更する場合、又は新たに設定する場合などに、操作オブジェクトＯＢＪ９を操作する。操作検出部１１６は、操作オブジェクトＯＢＪ９の操作を検出すると、記憶部１２０に格納されている各種情報を、新たに指定される情報に更新して、記憶部１２０の属性ＤＢ１２４などに追加する。

操作オブジェクトＯＢＪ１０は、現在の作業工程の作業を中断するために利用される操作オブジェクトである。ユーザは、予定外の状態が発生して予定の作業の継続が困難な場合、当日の作業時間内に作業工程で予定されている作業を完了できない場合、作業工程の順序を当初の予定から入れ替えて実施する場合などに、操作オブジェクトＯＢＪ１０を操作する。操作検出部１１６が操作オブジェクトＯＢＪ１０の操作を検出すると、再生処理部１１７は、当該作業工程を途中で中断させる。さらに、履歴処理部１１８は、当該作業工程の途中までの作業の結果を、履歴ＤＢ１２８に追加して、作業中断のフラグを立てる。

図１０Ｂは、実施形態の操作者用工程確認画面２１０Ｂを説明するための図である。操作者用工程確認画面２１０Ｂは、上述した詳細表示エリア２１２に表示される。操作者用工程確認画面２１０Ｂは、ユーザが操作者オブジェクト２０２を選択した場合（ユーザ権限設定部１１３ａによって操作者権限が設定された場合）に表示される画面である。

図示されるように、操作者用工程確認画面２１０Ｂは、例えば、テキスト表示領域ＤＳＰと、操作オブジェクトＯＢＪ５からＯＢＪ１０とを含む。

操作者用工程確認画面２１０Ｂと作業主任者用工程確認画面２１０Ａとの違いは、操作者用工程確認画面２１０Ｂには、操作オブジェクトＯＢＪ１からＯＢＪ４が表示されないことである。つまり、ユーザ権限設定部１１３ａによって操作者権限が設定されると、ユーザは、工程の確認を行うオブジェクト（ＯＢＪ１、ＯＢＪ２）と、工程を進めたり戻したりするオブジェクト（ＯＢＪ３、ＯＢＪ４）とを操作することができない。

図１１を参照して、実施形態の作業工程支援処理について説明する。図１１は、実施形態の単独作業者用作業工程支援処理のフローチャートである。

この作業工程に携わるユーザは、作業の際に表示装置１０を利用するにあたり、下記する項目に関する情報を登録する。
・ユーザの識別情報（表示装置１０を利用するユーザを識別するための情報）
・予定の作業工程（１又は複数用意された作業工程の中から１つを選択）
・中断箇所からの作業再開（新規の作業工程を開始するのか、中断した作業工程を再開するのかを選択）
・ユーザの属性情報（作業担当、ユーザ権限）

例えば、上記の各種情報の登録を、以下に示す手順で行い、上記の設定に基づいた作業工程の作業を開始するとよい。

ユーザは、表示装置１０を頭部に装着して、表示装置１０を活性化させる。その際に、表示装置１０の制御部１１０は、作業工程支援処理に係る所定のプログラムの処理を開始する（ステップＳ１０）。

次に、制御部１１０は、図７Ａ、７Ｂに示されるような、予定される作業工程を登録させるための画面（予定作業（シナリオ）選択画面）を表示させる。予定作業（シナリオ）選択画面が表示されたのち、ユーザは、予定作業（シナリオ）に対応するオブジェクトを選択する。制御部１１０は、ユーザによる操作を検出して、予定される作業工程を選択する（ステップＳ１１）。

次に、制御部１１０は、選択された予定作業（シナリオ）について、記憶部１２０に中断の履歴（例えば、中断箇所情報とシステムエラー中断箇所情報）が記憶されているか判定する（ステップＳ１２）。ステップＳ１２において、記憶部１２０に中断の履歴が記憶されていると判定される場合は、制御部１１０は、ステップＳ１３に進み、記憶部１２０にシステムエラー中断箇所情報が記憶されているかどうかに基づいて、表示装置１０がシステムエラーによる中断中かどうか判定する。

ステップＳ１３において、記憶部１２０にシステムエラー中断箇所情報が記憶されており、表示装置１０がシステムエラーによる中断中であると判定されると、表示装置１０がシステムエラーによる中断中である旨を表示部１４０に表示させる。本実施形態では、「システムエラーによる中断中である旨」は、図８Ｂのシステムエラー中断再開設定ダイヤログ２３０Ａに示されるように、ステップＳ１５における中断箇所から再生を再開するかどうか確認とともに表示されるものとしているが、別途表示してもよい。

ステップＳ１３において、記憶部１２０にシステムエラー中断箇所情報が記憶されておらず、表示装置１０がシステムエラーによる中断中ではないと判定されると、制御部１１０は、ステップＳ１５に進む。

ステップＳ１５では、制御部１１０は、図８Ａの中断再開設定ダイヤログ２３０を表示部１４０に表示させることにより、ユーザに中断箇所から再生を再開するかどうか確認する。ステップＳ１５において、「はい」を表す操作オブジェクト２３２が選択された場合には、制御部１１０は、作業開始位置フラグに「中断箇所」を表す情報を代入して記憶部１２０に記憶させ（ステップＳ１６）、ステップＳ１９に進む。

ステップＳ１５において、「いいえ」を表す操作オブジェクト２３４が選択された場合には、制御部１１０は、作業開始位置フラグに「作業工程の最初」を表す情報を代入して記憶部１２０に記憶させ（ステップＳ１７）、ステップＳ１９に進む。

ステップＳ１２において、記憶部１２０に中断の履歴が記憶されていないと判定される場合は、制御部１１０は、作業開始位置フラグに「作業工程の最初」を表す情報を代入して記憶部１２０に記憶させ（ステップＳ１８）、ステップＳ１９に進む。

ステップＳ１９において、制御部１１０は、ユーザが携わる作業工程における権限を登録させるための画面（図６Ｂのユーザ権限選択画面２００）を表示させる。ユーザ権限選択画面２００が表示されたのち、ユーザは、自身の役割に対応するユーザ権限を表す操作オブジェクトを選択する。制御部１１０は、ユーザによる操作を検出して、ユーザが選択したユーザ権限を取得する（ステップＳ１９）。

ステップＳ２０において、制御部１１０は、ステップＳ１９でユーザが選択したユーザ権限が単独作業者権限であると判定すると、ステップＳ２２に進む。制御部１１０は、ステップＳ１２でユーザが選択したユーザ権限が単独作業者権限ではないと判定すると、後述する図１２に示される複数人モードに入る。

ステップＳ２２において、制御部１１０は、記憶部１２０に記憶された作業開始位置フラグに従って、予定作業工程の再生開始位置を調整する。

次に、制御部１１０は、表示する画像の位置合わせ処理を実施する（ステップＳ２３）。これにより、制御部１１０は、ユーザの位置と対象物の位置の相対的な関係に基づいて、対象物の像と、表示する画像との位置を整合させる。

次に、制御部１１０は、記憶部１２０に対して、今回の作業工程の履歴の記録を開始する。（ステップＳ２４）。

次に、制御部１１０は、ガイダンス情報を表示部で再生させることにより、作業工程支援処理を開始する（ステップＳ２５）。

制御部Ｓ２７は、作業工程の中断を指定するオブジェクトＯＢＪ１０の操作を検出する（ステップＳ２６）。尚、作業工程支援処理の途中で、作業工程の中断を指定するオブジェクトＯＢＪ１０の操作がなされた場合には、制御部１１０は、ガイダンス情報の再生を終了し、ステップＳ２７に進む。

制御部１１０は、作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が検出されたか否か判定する（ステップＳ２７）。ステップＳ２７において、作業工程の中断を指定するオブジェクトＯＢＪ１０の操作を検出した場合、制御部１１０は、作業工程支援処理を終了させる。

ステップＳ２７において、作業工程の中断を指定するオブジェクトＯＢＪ１０の操作を検出しなかった場合、制御部１１０は、現在の一連の作業の中で、現在実施中の作業工程に関する処理を中断して、処理をステップＳ２８に進める。

次に、ユーザは、次の作業工程に遷移するためのオブジェクトを選択する。例えば、次の作業工程に遷移するためのオブジェクトには、ひとつ前の作業工程と、ひとつ後ろの作業構成とをそれぞれ選択するためのオブジェクトが含まれてよい。制御部１１０は、ユーザによる次の作業工程に遷移するためのオブジェクトの操作を検出すると、上記の操作の検出結果に応じた作業工程を開始させる（ステップＳ２８）。この場合には、制御部１１０は、上記の操作の検出結果に応じた作業工程について、前述のステップＳ２５のガイダンス情報の再生処理を実施する。

制御部１１０は、ユーザによる次の作業工程に遷移するためのオブジェクトの操作を検出しなければ、ユーザが作業を終了することを、作業リーダーの表示装置２０（図１）、上位装置などに通知する。

制御部１１０は、上記の一連の処理を終えると、作業工程支援処理を終了させる。表示装置１０は、以上の手順に従った処理を実施することにより、ユーザによる作業の遂行を支援する。

なお、表示装置１０が表示する画像は、予め記憶部１２０に格納したデータに基づいて生成するとよい。このように画像の生成を表示装置１０側で実施することにより、表示装置１０が外部装置と通信する処理の負荷を低減させることができる。

上記の予定される作業工程支援処理（ステップＳ２５）では、シナリオデータに基づいた各種情報がユーザに提供される。そのシナリオデータを利用して、ユーザの特定の作業工程内に表示する情報の順序を規定することができる。

図１２を参照して、実施形態の複数人モード用作業工程支援処理について説明する。図１２は、実施形態の複数人モード用作業工程支援処理のフローチャートである。

図１２の単独作業者用作業工程支援処理におけるステップＳ２０において、制御部１１０が、ユーザ権限が単独作業者権限ではないと判定すると（つまり、ユーザ権限が、操作者権限または作業主任者権限であると判定すると）、図１２の複数人モード用作業工程支援処理を開始する。図１２の例では、操作者権限が表示装置１０に設定され、作業主任者権限が表示装置２０に設定されるものとする。

図１２の複数人モードの説明においては、操作者権限が設定される表示装置１０の制御部１１０を、制御部１１１０と呼び、作業主任者権限が設定される制御部２１１０を、制御部２１１０と呼ぶものとする。

まず、制御部１１１０は、図７Ａ〜７Ｄに示した手順で、表示装置１０の無線通信部１６０が表示装置２０と通信することにより、表示装置１０と表示装置２０との間のペアリングを行わせる（ステップＳＡ１１）。

次に、制御部１１１０は、図１１の単独作業者用作業工程支援処理のステップＳ１１で選択された作業工程を示す同期情報を表示装置１０から表示装置２０に送信することにより、表示装置２０を表示装置１０に同期させる（ステップＳＡ１５）。

その後、ステップＳＡ１７〜ＳＡ２１は、図１１の単独作業者用作業工程支援処理におけるステップＳ２２〜Ｓ２６と同様であるので、詳細な説明は省略する。ただし、複数人モード用作業工程支援処理におけるステップＳＡ２０とステップＳＢ２０においては、表示装置２０と表示装置１０との間で同期が行われる点が異なる。ステップＳＡ２０とステップＳＢ２０については後述する。

ステップＳＡ２０の全ての作業工程が終わると、制御部１１１０は、作業工程の中断を指定するオブジェクトＯＢＪ１０の操作を検出し、表示装置２０に検出結果を同期情報として送信する。また、制御部１１１０は、表示装置２０において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作を検出されたか否かを示す同期情報を取得する（ステップＳＡ２１）。そして、制御部１１１０は、表示装置１０において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われ、且つ、表示装置２０において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたか否かを判定する（ステップＳＡ２２）。表示装置１０と表示装置２０の双方において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたと判定される場合、制御部１１１０は、ステップＳ１１に戻る。

一方、表示装置１０と表示装置２０の双方において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたと判定されない場合、制御部１１１０は、ステップＳＡ２３に進む。

次に、制御部１１１０は、ユーザによる次の作業工程に遷移するためのオブジェクトの操作を検出すると、上記の操作の検出結果に応じた作業工程を開始させる（ステップＳＡ２３）。この場合には、制御部１１１０は、上記の操作の検出結果に応じた作業工程について、前述のステップＳＡ２０のガイダンス情報の再生処理を実施する。
制御部１１１０は、ユーザによる次の作業工程に遷移するためのオブジェクトの操作を検出しなければ、ユーザが作業工程を終了することを、作業リーダーの表示装置２０（図１）、上位装置などに通知する。

制御部１１１０は、上記の一連の処理を終えると、複数人モード用作業工程支援処理による処理を終了させる。

一方、表示装置２０におけるステップＳＢ１１〜ステップＳＢ２３は、それぞれ、表示装置１０におけるステップＳＡ１１〜ステップＳＡ２３に対応する。以下の説明では、ステップＳＡ１１〜ステップＳＡ２３と同様の内容については、説明を省略する。

表示装置２０においては、ステップＳＢ１５において、制御部２１１０が表示装置１０から表示装置１０で選択された作業工程を示す同期情報を取得する。

ステップＳＢ１７〜ステップＳＢ２０については、ステップＳＡ１７〜ステップＳＡ２０と同様である。

尚、ＳＢ２１の中断操作の検出で表示装置２０の表示部１４０に表示される操作オブジェクトＯＢＪ１０は、表示装置１０の表示部１４０に表示される操作オブジェクトＯＢＪ１０とは異なるものであってもよい。

一方、表示装置２０と表示装置１０の双方において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたと判定されない場合、制御部２１１０は、現在の一連の作業の中で、現在実施中の作業工程に関する処理を中断して、処理をステップＳＢ２３に進める。ステップＳＢ２３は、ステップＳＡ２３と同様であるので説明を省略する。

図１３は、実施形態のシステムエラー中断記録部１１９ｂによって行われるシステムエラー中断記録処理を説明するための図である。図１３のシステムエラー中断記録処理は、ＯＳ（Operating System）などの基本プログラムや、実施形態の表示装置１０としての機能を実現させるためのアプリケーションプログラムによって、エラーが検出されると呼び出されて実行されるサブルーチンである。

システムエラー中断記録処理において、まず、制御部１１０は、システムエラーに関するログを記憶部１２０に書き込む（ステップＳ１００）。次に、制御部１１０は、表示が中断された中断箇所に関するシステムエラー中断箇所情報を記憶部１２０に記憶させる（ステップＳ１１０）。

制御部１１０は、上記の一連の処理を終えると、システムエラー中断記録処理を終了させる。

上述した図１２の実施形態の複数人モード用作業工程支援処理においては、ステップＳＡ２２とＳＢ２２では、表示装置１０と表示装置２０の双方において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたと判定される場合、制御部１１１０、２１１０は、作業工程を中止した。しかしながら、なんらかの理由、例えば、バッテリー切れや突然のＯＳダウンなどによって、表示装置２０においてユーザがオブジェクトＯＢＪ１０の操作を行うことができないうちに作業を終了せざるを得ない場合は、表示装置１０と表示装置２０の双方において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われなくとも、表示装置１０のみにおいて作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたことによって、制御部１１１０は、作業工程を中止してもよい。ステップＳＡ２２とＳＢ２２において、表示装置１０と表示装置２０との通信ができない場合であって、表示装置１０において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたと判定される場合は、制御部１１１０は、作業工程を中止し、ステップＳ１１に戻る。これにより、複数人モード用作業工程支援処理において、突然のシステムトラブルが発生しても、適切な処理継続が可能となり、作業支援システム１の可用性と安全性とが向上する。

表示装置１０が表示装置２０と通信することができなくなった場合には、表示装置２０の作業主任者権限を、表示装置１０、２０と同様の構成を備える表示装置３０（不図示）に設定し、表示装置３０が表示装置２０と同様の処理を行ってよい。ステップＳＡ２２とＳＢ２２において、表示装置１０と表示装置２０との通信ができない場合であって、表示装置１０において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたと判定される場合に、表示装置１０、２０と同様の構成を備える表示装置３０（不図示）に作業主任者権限が設定されて、制御部１１１０は、表示装置３０と同期を行って、表示装置３０において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたかどうか判定してもよい。この場合、表示装置１０と表示装置３０の双方において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたと判定される場合、制御部１１１０と表示装置３０の制御部は、作業工程を中止する。これにより、複数人モード用作業工程支援処理において、突然のシステムトラブルが発生しても、別の表示装置である表示装置３０が、引き続き、表示装置２０の処理を担うことができるので、作業支援システム１の可用性と安全性とが更に向上する。

表示装置１０が表示装置２０と通信することができなくなった場合には、表示装置１０は、作業モードを複数人モードから単独モードに切り替えて、表示装置１０と表示装置２０の双方において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われなくとも、表示装置１０のみにおいて作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたことによって、制御部１１１０は、作業工程を中止してもよい。ステップＳＡ２２とＳＢ２２において、表示装置１０と表示装置２０との通信ができない場合であって、表示装置１０において作業工程の中断を指定するオブジェクトＯＢＪ１０の操作が行われたと判定される場合に、制御部１１１０は、複数人モードから単独モードに設定を切り替えて作業を続行し、図１１の単独作業者用作業工程支援処理のステップＳ２８に進んでもよい。これにより、複数人モード用作業工程支援処理において、突然のシステムトラブルが発生しても、表示装置１０は、単独モードで作業継続することができるので、作業支援システム１の可用性と安全性とが更に向上する。

尚、図１２においては、表示装置１０に操作者権限が設定されて、表示装置２０に作業主任者権限が設定されている場合について例示した。しかしながら、表示装置１０に作業主任者権限が設定されて、表示装置２０に操作者権限が設定されている場合にも、図１２の作業工程支援処理を同様に適用することができる。この場合、上記の説明において、表示装置２０を表示装置１０と読み替え、表示装置１０を表示装置２０と読み替えればよい。

実施形態の作業支援システム１は、操作者（第１ユーザ）の頭部に装着され、操作者の頭部に装着された状態で操作者に実世界を視認可能にしながら、操作者に対して情報を表示可能な表示部１４０（第１表示部）を備える表示装置１０を用いて、操作者に対して作業工程の実施を支援する作業支援システム１であって、作業工程に関する文字情報を含む説明表示画像と、作業工程に関するアニメーションを含む動画像と、説明表示画像と動画像とを所定の順に表示させるためのシナリオデータとに基づくガイダンス情報を表示部１４０に表示させる第１表示管理部と、ユーザによる中断要求によってガイダンス情報の表示が中断された場合に、表示が中断された中断箇所に関する中断箇所情報を記憶部１２０に記憶させる中断記録部１１９ａ（第１中断記録部）と、作業支援システム１のシステムエラーによってガイダンス情報の表示が中断された場合に、表示が中断された中断箇所に関するシステムエラー中断箇所情報を記憶部１２０に記憶させるシステムエラー中断記録部１１９ｂ（第１システムエラー中断記録部）と、記憶部に記憶させられた中断箇所情報とシステムエラー中断箇所情報とのいずれか１つ基づいて、ガイダンス情報の表示が中断された中断箇所よりも時間的に前の表示再開箇所から表示を再開するように設定を行う中断再開設定部１１９ｃ（第１中断再開設定部）と、を備え、中断再開設定部１１９ｃは、システムエラー中断箇所情報が記憶部１２０に記憶されている場合は、システムエラーによってガイダンス情報の表示が中断された旨を表示部１４０に表示させる。この構成によれば、ユーザによる中断要求による中断箇所情報と、システムエラーによるシステムエラー中断箇所情報に基づいて、それらの中断箇所よりも時間的に前の表示再開箇所から表示を再開することができるので、中断が発生した時であってもユーザは、中断箇所よりも前から作業工程を再開することができる。また、中断が、任意の中断であるのか、システムエラーによる中断なのかを知ることができる。これによれば、柔軟に作業を進めることを支援することができる。表示装置１０の再生処理部１１７、同期情報取得部１１７ａ、操作オブジェクト表示制御部１１７ｂは、第１表示管理部の一例である。

実施形態の作業支援システム１によれば、第１表示管理部は、表示部１４０に、作業工程を中断させるための操作を受け付ける操作オブジェクトＯＢＪ１０を表示させ、表示部１４０に表示された操作オブジェクトＯＢＪ１０の操作が検出された場合に、第１表示管理部は、表示部１４０における作業工程に関するガイダンス情報の表示を中断させる。この構成によれば、表示装置１０と表示装置２０が独立して作業工程の中断を行うことができる。これによれば、作業支援システム１を柔軟に運用することができる。

実施形態の作業支援システム１によれば、表示装置１０には、作業工程の工程決定操作を行うことが許されない複数人モードが設定されており、作業支援システムは、更に、第２ユーザの頭部に装着され、第２ユーザの頭部に装着された状態で第２ユーザに実世界を視認可能にしながら、第２ユーザに対して情報を表示可能な第２表示部を備え、ガイダンス情報を第２表示部に表示させる第２表示管理部を備え、作業工程の工程決定操作を行うことが許される単独モードが設定された表示装置２０を備え、第２表示管理部は、第２表示部に、作業工程を中断させるための操作を受け付ける操作オブジェクトＯＢＪ１０を表示させ、第２表示部に表示された操作オブジェクトＯＢＪ１０の操作が検出された場合に、第２表示管理部は、第２表示部における作業工程に関するガイダンス情報の表示を中断させる。この構成によれば、表示装置１０と表示装置２０が独立して作業工程の中断を行うことができる。これによれば、作業支援システム１を更に柔軟に運用することができる。尚、表示装置２０の表示部１４０は、第２表示部の一例である。表示装置２０第１表示管理部は、第２表示管理部の一例である。操作オブジェクトＯＢＪ１０は、第１の中断要求オブジェクトと第２の中断要求オブジェクトとのそれぞれの一例である。

実施形態の作業支援システム１によれば、第１表示管理部は、表示部１４０に、作業工程を中断させるための操作を受け付ける操作オブジェクトＯＢＪ１０を表示させ、表示部１４０に表示された操作オブジェクトＯＢＪ１０の操作が検出された場合に、第１表示管理部は、表示部１４０における作業工程に関するガイダンス情報の表示を中断させる。この構成によれば、表示装置１０と表示装置２０が独立して作業工程の中断を行うことができる。これによれば、作業支援システム１を更に柔軟に運用することができる。

上述の作業支援システム１において、表示装置１０の表示部１４０に表示される前記操作オブジェクトＯＢＪ１０と、表示装置２０の表示部１４０に表示される前記操作オブジェクトＯＢＪ１０とは、同様の形状を有する。この構成によれば、操作者と作業主任者は、同様のアイコンを操作して、操作者と作業主任者の両者が中断の操作を行ったときに、作業工程が中断される。これにより、安全性を更に高めることができる。

上述の作業支援システム１において、表示再開箇所は、ガイダンス情報の表示が中断された中断箇所が含まれる作業工程の開始箇所である。この構成によれば、中断が発生した時であってもユーザは、中断時の作業工程の最初から作業を開始できるので、現在行っている作業工程を最初のところから把握することができる。これによれば、安全性を更に、高めることができる。

上述の作業支援システム１において、ガイダンス情報は、作業工程の注意喚起を促すための注意喚起画像を含み、表示再開箇所は、中断された作業工程についてのガイダンス情報の注意喚起画像の開始箇所である。この構成によれば、中断が発生した時であってもユーザは、中断時の作業工程の最初の注意喚起画像の開始箇所から作業を開始できるので、現在行っている作業工程を最初の注意喚起画像のところから把握することができる。これによれば、安全性を更に、高めることができる。

上述の作業支援システム１において、記憶部１２０に記憶させられた中断箇所情報とシステムエラー中断箇所情報とのいずれか１つは、シナリオデータ中におけるガイダンス情報の表示が中断された中断箇所を示す情報を含む。この構成によれば、シナリオデータ中における情報に基づいて、中断再開をすることができる。この構成によれば、安全性を更に、シナリオデータの時間に基づいてガイダンス情報の再開を行うことができる。これによれば、中断時におけるユーザの利便性を向上させることができる。

上述の実施形態においては、記憶部１２０が作業手順のガイダンス（説明表示画像、動画像、及びシナリオデータ）を記憶しているものとした。しかしながら、記憶部１２０が作業手順のガイダンスを記憶する代わりに、再生処理部１１７は、図示しないサーバから作業手順のガイダンスをストリーミング再生してもよい。また、表示装置２０の記憶部１２０が作業手順のガイダンスを記憶し、表示装置１０の再生処理部１１７が、無線通信部１６０を介して表示装置２０と通信することにより、表示装置２０の記憶部１２０から作業手順のガイダンスをストリーミング再生してもよい。

なお、表示装置１０と２０を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより作業支援システム１が所定の処理動作を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、或いは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、ネットワークや通信回線のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

尚、表示装置１０と表示装置２０とにおいて共通する用途のオブジェクトを同じものとして説明したが、形状、表示される位置（配置）を、表示装置１０と表示装置２０とにおいて互いに異なるものとしてもよい。

１…作業支援システム、１０、２０…表示装置、１１０、１１１０、２１１０…制御部、１２０…記憶部、１３０…入力部、１４０…表示部、１５０…加速度検出部、１６０…無線通信部、１７０…カメラ、１８０…マイク、１９０…スピーカ、１１１…演算処理部、１１２…位置情報処理部、１１３…操作入力部、１１３ａ…ユーザ権限設定部、１１４…動き検出部、１１５…視線推定部、１１６…操作検出部、１１７…再生処理部（表示制御部）、１１７ａ…同期情報取得部、１１７ｂ…操作オブジェクト表示制御部、１１８…履歴処理部、１１９…データ管理部、１１９ａ…中断記録部、１１９ｂ…システムエラー中断記録部、１１９ｃ…中断再開設定部

Claims (10)

1. 第１ユーザの頭部に装着され、前記第１ユーザの頭部に装着された状態で前記第１ユーザに実世界を視認可能にしながら、前記第１ユーザに対して情報を表示可能な第１表示部を備える第１表示装置を用いて、前記第１ユーザに対して作業工程の実施を支援する作業支援システムであって、
   前記第１表示装置は、
   前記作業工程に関する文字情報を含む説明表示画像と、前記作業工程に関するアニメーションを含む動画像と、前記説明表示画像と前記動画像とを所定の順に表示させるためのシナリオデータとに基づくガイダンス情報を前記第１表示部に表示させる第１表示管理部と、
   前記第１ユーザによる中断要求によって前記ガイダンス情報の表示が中断された場合に、前記表示が中断された中断箇所に関する中断箇所情報を第１記憶部に記憶させる第１中断記録部と、
   前記作業支援システムのシステムエラーによって前記ガイダンス情報の表示が中断された場合に、前記表示が中断された中断箇所に関するシステムエラー中断箇所情報を前記第１記憶部に記憶させる第１システムエラー中断記録部と、
   前記第１記憶部に記憶させられた前記中断箇所情報と前記システムエラー中断箇所情報とのいずれか１つに基づいて、前記ガイダンス情報の表示が中断された中断箇所よりも時間的に前の表示再開箇所から表示を再開するように設定を行う第１中断再開設定部と
   を備え、
   前記第１中断再開設定部は、前記システムエラー中断箇所情報が前記第１記憶部に記憶されている場合は、前記システムエラーによって前記ガイダンス情報の表示が中断された旨を前記第１表示部に表示させる
   作業支援システム。
2. 前記第１表示管理部は、前記第１表示部に、前記作業工程を中断させるための操作を受け付ける第１の中断要求オブジェクトを表示させ、
   前記第１表示部に表示された前記第１の中断要求オブジェクトの操作が検出された場合に、前記第１表示管理部は、前記第１表示部における前記作業工程に関するガイダンス情報の表示を中断させる
   請求項１に記載の作業支援システム。
3. 前記第１表示装置には、前記作業工程の工程決定操作を行うことが許されない第１権限が設定されており、
   前記作業支援システムは、更に、第２ユーザの頭部に装着され、前記第２ユーザの頭部に装着された状態で前記第２ユーザに実世界を視認可能にしながら、前記第２ユーザに対して情報を表示可能な第２表示部を備え、前記ガイダンス情報を前記第２表示部に表示させる第２表示管理部を備え、前記作業工程の工程決定操作を行うことが許される第２権限が設定された第２表示装置
   を備え、
   前記第２表示管理部は、前記第２表示部に、前記作業工程を中断させるための操作を受け付ける第２の中断要求オブジェクトを表示させ、
   前記第２表示部に表示された前記第２の中断要求オブジェクトの操作が検出された場合に、前記第２表示管理部は、前記第２表示部における前記作業工程に関するガイダンス情報の表示を中断させる
   請求項１に記載の作業支援システム。
4. 前記第１表示管理部は、前記第１表示部に、前記作業工程を中断させるための操作を受け付ける第１の中断要求オブジェクトを表示させ、
   前記第１表示部に表示された前記第１の中断要求オブジェクトの操作が検出された場合に、前記第１表示管理部は、前記第１表示部における前記作業工程に関するガイダンス情報の表示を中断させる
   請求項３に記載の作業支援システム。
5. 前記第１の中断要求オブジェクトと、前記第２の中断要求オブジェクトとは、同様の形状を有する
   請求項１〜４のいずれか１項に記載の作業支援システム。
6. 前記表示再開箇所は、前記ガイダンス情報の表示が中断された前記中断箇所が含まれる前記作業工程の開始箇所である
   請求項１〜５いずれか１項に記載の作業支援システム。
7. 前記ガイダンス情報は、前記作業工程の注意喚起を促すための注意喚起画像を含み、
   前記表示再開箇所は、前記中断された作業工程について前記注意喚起画像の開始箇所である
   請求項６に記載の作業支援システム。
8. 前記記憶部に記憶させられた前記中断箇所情報と前記システムエラー中断箇所情報とのいずれか１つは、前記シナリオデータ中における前記ガイダンス情報の表示が中断された中断箇所を示す情報を含む
   請求項１〜７いずれか１項に記載の作業支援システム。
9. 第１ユーザの頭部に装着され、前記第１ユーザの頭部に装着された状態で前記第１ユーザに実世界を視認可能にしながら、前記第１ユーザに対して情報を表示可能な第１表示部を備える第１表示装置を用いて、前記第１ユーザに対して作業工程の実施を支援する作業支援システムのコンピュータが、
   前記作業工程に関する文字情報を含む説明表示画像と、前記作業工程に関するアニメーションを含む動画像と、前記説明表示画像と前記動画像とを所定の順に表示させるためのシナリオデータとに基づくガイダンス情報を前記第１表示部に表示させ、
   前記ユーザによる中断要求によって前記ガイダンス情報の表示が中断された場合に、前記表示が中断された中断箇所に関する中断箇所情報を第１記憶部に記憶させ、
   前記作業支援システムのシステムエラーによって前記ガイダンス情報の表示が中断された場合に、前記表示が中断された中断箇所に関するシステムエラー中断箇所情報を前記第１記憶部に記憶させ、
   前記記憶部に記憶させられた前記中断箇所情報と前記システムエラー中断箇所情報とのいずれか１つに基づいて、前記ガイダンス情報の表示が中断された中断箇所よりも時間的に前の表示再開箇所から表示を再開するように設定し、
   前記システムエラー中断箇所情報が前記第１記憶部に記憶されている場合は、前記システムエラーによって前記ガイダンス情報の表示が中断された旨を前記第１表示部に表示させる
   作業支援方法。
10. 第１ユーザの頭部に装着され、前記第１ユーザの頭部に装着された状態で前記第１ユーザに実世界を視認可能にしながら、前記第１ユーザに対して情報を表示可能な第１表示部を備える第１表示装置を用いて、前記第１ユーザに対して作業工程の実施を支援する作業支援システムのコンピュータに、
    前記作業工程に関する文字情報を含む説明表示画像と、前記作業工程に関するアニメーションを含む動画像と、前記説明表示画像と前記動画像とを所定の順に表示させるためのシナリオデータとに基づくガイダンス情報を前記第１表示部に表示させ、
    前記ユーザによる中断要求によって前記ガイダンス情報の表示が中断された場合に、前記表示が中断された中断箇所に関する中断箇所情報を第１記憶部に記憶させ、
    前記作業支援システムのシステムエラーによって前記ガイダンス情報の表示が中断された場合に、前記表示が中断された中断箇所に関するシステムエラー中断箇所情報を前記第１記憶部に記憶させ、
    前記記憶部に記憶させられた前記中断箇所情報と前記システムエラー中断箇所情報とのいずれか１つに基づいて、前記ガイダンス情報の表示が中断された中断箇所よりも時間的に前の表示再開箇所から表示を再開するように設定させ、
    前記システムエラー中断箇所情報が前記第１記憶部に記憶されている場合は、前記システムエラーによって前記ガイダンス情報の表示が中断された旨を前記第１表示部に表示させる
    プログラム。