JP2019191675A - 透過型頭部装着型表示装置、支援システム、表示制御方法、およびコンピュータープログラム - Google Patents

Abstract

【課題】透過型の頭部装着型表示装置において、複数の作業者の連携度を向上する。【解決手段】透過型頭部装着型表示装置は、外景を透過し、該外景とともに視認できるように表示対象の画像を表示する画像表示部と、撮像部と、撮像部により撮像された撮像画像から透過型頭部装着型表示装置の使用者が実行すべきタスクとして予め定められたタスクの対象を特定する対象特定部と、撮像画像における対象の状態に基づいて、タスクが発生したか否かを特定するタスク発生特定部と、タスクが発生したと特定された場合に、タスクに関連する関連情報を画像表示部に表示させる表示制御部と、を備える。【選択図】図１１

Description

本発明は、透過型頭部装着型表示装置を利用した作業支援に関する。

頭部に装着されて使用者の視野領域内に画像等を表示する頭部装着型表示装置（ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ））として、装着時に表示画像とともに外界の風景を透過視認できる透過型の頭部装着型表示装置が知られている。従来、透過型の頭部装着型表示装置を利用した作業支援技術が種々提案されている。例えば、特許文献１には、商品の仕分作業を行う作業者および該作業者の管理者がそれぞれＨＭＤを装着し、作業者が装着しているＨＭＤの表示部に商品名等の商品情報を表示し、管理者が装着しているＨＭＤの表示部に作業者の視界空間を撮像した画像を表示することにより、両者の作業の効率化を図る技術が提案されている。また、例えば、特許文献２には、管理者が遠隔地にいる作業者の装着しているＨＭＤのカメラの向きおよびズームレンズの位置を制御して、かかるカメラにより撮像された画像を確認しながら作業者へ作業指示を行うことができる技術が開示されている。

特開２０１０−１３９５８９号公報 特開２００８−１１３３１７号公報

しかしながら、従来、透過型の頭部装着表示装置において、複数の作業者同士が互いに連携しあって作業を行う場合における作業支援に関して十分な工夫がなされていないのが実情である。例えば、特許文献１および２に記載の技術は、作業者が複数人存在する場合に関して何ら考慮がなされていない。

本発明の一実施形態によれば、透過型頭部装着型表示装置が提供される。この透過型頭部装着型表示装置は、外景を透過し、該外景とともに視認できるように表示対象の画像を表示する画像表示部と；撮像部と；前記撮像部により撮像された撮像画像から前記透過型頭部装着型表示装置の使用者が実行すべきタスクとして予め定められたタスクの対象を特定する対象特定部と；前記撮像画像における前記対象の状態に基づいて、前記タスクが発生したか否かを特定するタスク発生特定部と；前記タスクが発生したと特定された場合に、前記タスクに関連する関連情報を前記画像表示部に表示させる表示制御部と；を備える。

本発明の第１実施形態としての作業支援システムが実行される様子を模式的に示す説明図である。 作業支援システムおよび透過型頭部装着型表示装置の概略構成を示す説明図である。 第１画像表示部が備える光学系の構成を示す要部平面図である。 第１使用者から見た第１画像表示部の要部構成を示す図である。 カメラの画角を説明するための図である。 ＨＭＤの構成を機能的に示すブロック図である。 第１制御装置の構成を機能的に示すブロック図である。 第２制御装置の構成を機能的に示すブロック図である。 第３制御装置の構成を機能的に示すブロック図である。 拡張現実感表示の一例を示す説明図である。 第１ＨＭＤにおける作業支援処理の処理手順を示すフローチャートである。 第１ＨＭＤにおける作業支援処理の処理手順を示すフローチャートである。 ステップＳ１２５実行後の第１使用者の視界を模式的に示す説明図である。 第２ＨＭＤおよび第３ＨＭＤにおける作業支援処理の処理手順を示すフローチャートである。 ステップＳ２２５実行後の第３使用者の視界を模式的に示す説明図である。 第２実施形態における作業支援処理が実行される様子を模式的に示す説明図である。 第３実施形態における作業支援処理が実行される様子を模式的に示す説明図である。 ステップＳ１２５実行後の第１使用者の視界を模式的に示す説明図である。 タスクデータの一例を示す説明図である。 他の実施形態１７におけるステップＳ１２５実行後の第１使用者の視界を模式的に示す説明図である。

Ａ．第１実施形態：
Ａ１．作業支援システムの構成：
図１は、本発明の第１実施形態としての作業支援システムが実行される様子を模式的に示す説明図である。作業支援システムは、レストラン等の飲食店において、複数人のホールスタッフがそれぞれ後述の透過型頭部装着型表示装置を装着してスタッフ作業を行いつつ、互いの作業の状況に応じて、ホールスタッフ同士で互いの作業に対して支援を行う。例えば、図１に示すように、飲食店Ｒｓｔ内では、第１ホールスタッフＵＳ１は、透過型頭部装着型表示装置１００を装着して、食器の片付けを行っている。第２ホールスタッフＵＳ２は、透過型頭部装着型表示装置２００を装着して、料理の提供を行っている。第３ホールスタッフＵＳ３は、透過型頭部装着型表示装置３００を装着して、メニュー表を持って歩いている。

また、飲食店Ｒｓｔ内では、複数の客が食事や談話等をしている。複数の客のうち、客Ｔｇ１は、第１ホールスタッフＵＳ１に視線を向けて第１ホールスタッフＵＳ１を呼ぼうとしている。しかし、第１ホールスタッフＵＳ１は、客Ｔｇ１が第１ホールスタッフＵＳ１を見ている状態であることに気づいていない可能性があり、客Ｔｇ１への応対が遅れてしまうおそれがある。

そこで、本実施形態の作業支援システムでは、各透過型頭部装着型表示装置１００、２００および３００において、それぞれ後述の作業支援処理が実行されることにより、客Ｔｇ１に応対するという作業が発生したこと等の情報をホールスタッフＵＳ１、ＵＳ２およびＵＳ３同士で共有するとともに、各ホールスタッフＵＳ１、ＵＳ２およびＵＳ３の作業の負荷状況に応じて作業の実行者を決定し、決定された実行者に作業を実行させる。作業支援処理についての詳細な説明は後述し、先ず、透過型頭部装着型表示装置１００、２００および３００の構成を説明する。なお、以降の説明では、各ホールスタッフＵＳ１、ＵＳ２およびＵＳ３を、それぞれ使用者ＵＳ１、ＵＳ２およびＵＳ３と呼ぶ場合がある。

Ａ２．透過型頭部装着型表示装置の構成：
図２は、作業支援システムおよび透過型頭部装着型表示装置の概略構成を示す説明図である。本実施形態において、作業支援システム１は、３台の透過型頭部装着型表示装置１００、２００および３００を備える。透過型頭部装着型表示装置１００、２００および３００は、使用者の頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ）とも呼ばれる。ＨＭＤ１００、２００および３００は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型（透過型）の頭部装着型表示装置である。

第１ＨＭＤ１００は、第１使用者ＵＳ１に画像を視認させる第１画像表示部２０と、第１画像表示部２０を制御する第１制御装置（コントローラー）１０とを備えている。第２ＨＭＤ２００および第３ＨＭＤ３００は、第１ＨＭＤ１００と同様な構成である。このため、図２では、第２ＨＭＤ２００および第３ＨＭＤ３００の一部の構成に符号を付していない。また、３台のＨＭＤ１００、２００および３００は、それぞれ後述の無線通信部１１７を介して無線接続されている。

第１画像表示部２０は、第１使用者ＵＳ１の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。第１画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する支持体に、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。

右保持部２１および左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に第１画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、第１画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、第１画像表示部２０の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部２３は、前部フレーム２７の端部ＥＬから、第１画像表示部２０の装着状態における第１使用者ＵＳ１の左側頭部に対応する位置まで延伸して設けられている。

右導光板２６および左導光板２８は、前部フレーム２７に設けられている。右導光板２６は、第１画像表示部２０の装着状態における第１使用者ＵＳ１の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、第１画像表示部２０の装着状態における第１使用者ＵＳ１の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有する。この連結位置は、第１画像表示部２０の装着状態における第１使用者ＵＳ１の眉間の位置に対応する。前部フレーム２７には、右導光板２６と左導光板２８との連結位置において、第１画像表示部２０の装着状態において第１使用者ＵＳ１の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部２１と左保持部２３とによって、第１画像表示部２０を第１使用者ＵＳ１の頭部に保持できる。また、右保持部２１および左保持部２３に対して、第１画像表示部２０の装着状態において第１使用者ＵＳ１の後頭部に接するベルトを連結してもよい。この場合、ベルトによって第１画像表示部２０を第１使用者ＵＳ１の頭部に強固に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示を行う。右表示ユニット２２は、右保持部２１に設けられ、第１画像表示部２０の装着状態における第１使用者ＵＳ１の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を行う。左表示ユニット２４は、左保持部２３に設けられ、第１画像表示部２０の装着状態における第１使用者ＵＳ１の左側頭部の近傍に位置する。

本実施形態の右導光板２６および左導光板２８は、光透過性の樹脂等によって形成される光学部（例えばプリズム）であり、右表示ユニット２２および左表示ユニット２４が出力する画像光を第１使用者ＵＳ１の眼に導く。なお、右導光板２６および左導光板２８の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム２７の表面（第１使用者ＵＳ１の眼と対向する面とは反対側の面）を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６および左導光板２８に入射し、右導光板２６および左導光板２８を透過する外光の光量を調整できる。

第１画像表示部２０は、右表示ユニット２２および左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６および左導光板２８に導き、この画像光によって、自身を透過して視認される外界の風景ともに、画像（拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）画像）を第１使用者ＵＳ１に視認させる（これを「画像を表示する」とも呼ぶ）。第１使用者ＵＳ１の前方から右導光板２６および左導光板２８を透過して外光が第１使用者ＵＳ１の眼に入射する場合、第１使用者ＵＳ１の眼には、画像を構成する画像光と、外光とが入射する。このため、第１使用者ＵＳ１における画像の視認性は、外光の強さに影響を受ける。

このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、画像の視認のしやすさを調整することができる。典型的な例では、第１ＨＭＤ１００を装着した第１使用者ＵＳ１が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。また、太陽光を抑制して、画像の視認性を高めることができる。また、調光板を用いると、右導光板２６および左導光板２８を保護し、右導光板２６および左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、あるいは、右導光板２６および左導光板２８のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。

カメラ６１は、第１画像表示部２０の前部フレーム２７に配置されている。カメラ６１は、前部フレーム２７の前面において、右導光板２６および左導光板２８を透過する外光を遮らない位置に設けられる。図２の例では、カメラ６１は、前部フレーム２７の端部ＥＲ側に配置されている。カメラ６１は、前部フレーム２７の端部ＥＬ側に配置されていてもよく、右導光板２６と左導光板２８との連結部に配置されていてもよい。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラを採用してもよい。カメラ６１は、第１ＨＭＤ１００の表側方向、換言すれば、第１画像表示部２０の装着状態において第１使用者ＵＳ１が視認する視界方向の、少なくとも一部の外界（実空間）を撮像する。換言すれば、カメラ６１は、第１使用者ＵＳ１の視界と重なる範囲または方向を撮像し、第１使用者ＵＳ１が視認する方向を撮像する。カメラ６１の画角の広さは適宜設定できる。本実施形態では、カメラ６１の画角の広さは、第１使用者ＵＳ１が右導光板２６および左導光板２８を透過して視認可能な第１使用者ＵＳ１の視界の全体を撮像するように設定される。カメラ６１は、第１制御機能部１５０（図７）の制御に従って撮像を実行し、得られた撮像データを第１制御機能部１５０へ出力する。

第１ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する測距センサーを備えていてもよい。測距センサーは、例えば、前部フレーム２７の右導光板２６と左導光板２８との連結部分に配置することができる。測距センサーの測定方向は、第１ＨＭＤ１００の表側方向（カメラ６１の撮像方向と重複する方向）とすることができる。測距センサーは、例えば、ＬＥＤやレーザーダイオード等の発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。測距センサーは、例えば、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。測距センサーは、カメラ６１と同様に、第１制御機能部１５０の指示に従って測距し、検出結果を第１制御機能部１５０へ出力する。

図３は、第１画像表示部２０が備える光学系の構成を示す要部平面図である。説明の便宜上、図３には第１使用者ＵＳ１の右眼ＲＥおよび左眼ＬＥを図示する。図３に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成されている。

右眼ＲＥに画像（ＡＲ画像）を視認させる構成として、右表示ユニット２２は、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ユニット２２１と、右光学系２５１とを備える。ＯＬＥＤユニット２２１は、画像光を発する。右光学系２５１は、レンズ群等を備え、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６へと導く。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置されている。

ＯＬＥＤ駆動回路２２５は、後述の第１制御機能部１５０（図７）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択および通電を実行し、発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー２１７（図６）が実装される。なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加えて、Ｗ（白）の光を放射する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３が採用されてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射後、右導光板２６から右眼ＲＥへと射出され、この画像光Ｌが右眼ＲＥの網膜で像を結ぶことで、第１使用者ＵＳ１に画像を視認させる。

左眼ＬＥに画像（ＡＲ画像）を視認させる構成として、左表示ユニット２４は、ＯＬＥＤユニット２４１と、左光学系２５２とを備える。ＯＬＥＤユニット２４１は画像光を発する。左光学系２５２は、レンズ群等を備え、ＯＬＥＤユニット２４１が発する画像光Ｌを左導光板２８へと導く。ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５を有する。各部の詳細は、ＯＬＥＤユニット２２１、ＯＬＥＤパネル２２３、ＯＬＥＤ駆動回路２２５と同じである。ＯＬＥＤパネル２４３の裏面に固定される基板には、温度センサー２３９（図６）が実装される。また、左光学系２５２の詳細は上述の右光学系２５１と同じである。

以上説明した構成によれば、第１ＨＭＤ１００は、シースルー型の表示装置として機能することができる。すなわち第１使用者ＵＳ１の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。第１使用者ＵＳ１の左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、左導光板２８を透過した外光ＯＬとが入射する。このように、第１ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて第１使用者ＵＳ１の眼に入射させる。この結果、第１使用者ＵＳ１にとっては、右導光板２６および左導光板２８を透かして外界の風景（実世界）が見えると共に、この外界に重なるようにして画像光Ｌによる虚像（虚像画像、ＡＲ画像）が視認される。

なお、右光学系２５１および右導光板２６を総称して「右導光部」とも呼び、左光学系２５２および左導光板２８を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて第１使用者ＵＳ１の眼前に画像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。

図２において、第１制御装置１０と第１画像表示部２０とは、接続ケーブル４０によって接続される。接続ケーブル４０は、第１制御装置１０の下部に設けられるコネクターに着脱可能に接続され、左保持部２３の先端から、第１画像表示部２０内部の各種回路に接続する。接続ケーブル４０には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル４０にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル４０の途中には、コネクター４６が設けられている。

コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と第１制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図２に示す本実施形態の例では、コネクター４６には、ステレオヘッドホンを構成する右イヤホン３２および左イヤホン３４と、マイク６３を有するヘッドセット３０とが接続されている。

マイク６３は、例えば図２に示すように、マイク６３の集音部が第１使用者ＵＳ１の視線方向を向くように配置されている。マイク６３は、音声を集音し、音声信号を音声インターフェイス１８２（図６）に出力する。マイク６３は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。

第１制御装置１０は、第１ＨＭＤ１００を制御するための装置である。第１制御装置１０は、点灯部１２と、トラックパッド１４と、方向キー１６と、決定キー１７と、電源スイッチ１８とを含んでいる。点灯部１２は、第１ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を用いることができる。

トラックパッド１４は、トラックパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用することができる。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。決定キー１７は、押下操作を検出して、第１制御装置１０において操作された内容を決定するための信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、第１ＨＭＤ１００の電源の状態を切り替える。

図４は、第１使用者ＵＳ１から見た第１画像表示部２０の要部構成を示す図である。図４では、接続ケーブル４０、右イヤホン３２、左イヤホン３４の図示を省略している。図４の状態では、右導光板２６および左導光板２８の裏側が視認できると共に、右眼ＲＥに画像光を照射するためのハーフミラー２６１、および、左眼ＬＥに画像光を照射するためのハーフミラー２８１が略四角形の領域として視認できる。第１使用者ＵＳ１は、これらハーフミラー２６１、２８１を含む右導光板２６、左導光板２８の全体を透過して外界の風景を視認すると共に、ハーフミラー２６１、２８１の位置に矩形の表示画像を視認する。

図５は、カメラ６１の画角を説明するための図である。図５では、カメラ６１と、第１使用者ＵＳ１の右眼ＲＥおよび左眼ＬＥとを平面視で模式的に示すと共に、カメラ６１の画角（撮像範囲）をθで示す。なお、カメラ６１の画角θは図示のように水平方向に拡がっているほか、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。

上述のようにカメラ６１は、第１画像表示部２０において右側の端部に配置され、第１使用者ＵＳ１の視線の方向（すなわち使用者の前方）を撮像する。このためカメラ６１の光軸は、右眼ＲＥおよび左眼ＬＥの視線方向を含む方向とされる。第１使用者ＵＳ１が第１ＨＭＤ１００を装着した状態で視認できる外界の風景は、無限遠とは限らない。例えば、第１使用者ＵＳ１が両眼で対象物ＯＢを注視すると、第１使用者ＵＳ１の視線は、図中の符号ＲＤ、ＬＤに示すように、対象物ＯＢに向けられる。この場合、第１使用者ＵＳ１から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍであることがより多い。そこで、第１ＨＭＤ１００について、通常使用時における第１使用者ＵＳ１から対象物ＯＢまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められ第１ＨＭＤ１００にプリセットされていてもよいし、第１使用者ＵＳ１が設定してもよい。カメラ６１の光軸および画角は、このような通常使用時における対象物ＯＢまでの距離が、設定された上限および下限の目安に相当する場合において対象物ＯＢが画角に含まれるように設定されることが好ましい。

なお、一般的に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされる。そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５〜７０度程度とされている。この場合、注視点が対象物ＯＢ（図５）であるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５〜７０度程度が安定注視野である。第１使用者ＵＳ１が第１画像表示部２０を透過して右導光板２６および左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。

本実施形態のカメラ６１の画角θは、第１使用者ＵＳ１の視野より広い範囲を撮像可能に設定される。カメラ６１の画角θは、少なくとも第１使用者ＵＳ１の有効視野より広い範囲を撮像可能に設定されることが好ましく、実視野よりも広い範囲を撮像可能に設定されることがより好ましい。カメラ６１の画角θは、第１使用者ＵＳ１の安定注視野より広い範囲を撮像可能に設定されることがさらに好ましく、第１使用者ＵＳ１の両眼の視野角よりも広い範囲を撮像可能に設定されることが最も好ましい。このため、カメラ６１には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、カメラ６１には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。

図６は、第１ＨＭＤ１００の構成を機能的に示すブロック図である。第１制御装置１０は、プログラムを実行して第１ＨＭＤ１００を制御するメインプロセッサー１４０と、記憶部と、入出力部と、センサー類と、インターフェイスと、電源部１３０とを備える。メインプロセッサー１４０には、これらの記憶部、入出力部、センサー類、インターフェイス、電源部１３０がそれぞれ接続されている。メインプロセッサー１４０は、第１制御装置１０が内蔵しているコントローラー基板１２０に実装されている。

記憶部には、メモリー１１８と、不揮発性記憶部１２１とが含まれている。メモリー１１８は、メインプロセッサー１４０によって実行されるコンピュータープログラム、および、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄ）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するコンピュータープログラムや、メインプロセッサー１４０によって処理される各種のデータを記憶する。本実施形態において、これらの記憶部はコントローラー基板１２０に実装されている。

入出力部には、トラックパッド１４と、操作部１１０とが含まれている。操作部１１０には、第１制御装置１０に備えられた方向キー１６と、決定キー１７と、電源スイッチ１８とが含まれる。メインプロセッサー１４０は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。

センサー類には、６軸センサー１１１と、磁気センサー１１３と、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）レシーバー１１５とが含まれている。６軸センサー１１１は、３軸加速度センサーと３軸ジャイロ（角速度）センサーとを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、これらセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を採用してもよい。磁気センサー１１３は、例えば、３軸の地磁気センサーである。ＧＮＳＳレシーバー１１５は、ＧＮＳＳを構成する人工衛星から受信した航法信号に基づいて、第１制御装置１０の現在位置（経度・緯度）を測位する。これらセンサー類（６軸センサー１１１、磁気センサー１１３、ＧＮＳＳレシーバー１１５）は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー１４０へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー１４０からの指示に応じてもよい。

インターフェイスには、無線通信部１１７と、音声コーデック１８０と、外部コネクター１８４と、外部メモリーインターフェイス１８６と、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクター１８８と、センサーハブ１９２と、ＦＰＧＡ１９４と、インターフェイス１９６とが含まれている。これらは、外部とのインターフェイスとして機能する。

無線通信部１１７は、第１ＨＭＤ１００と外部機器との間における無線通信を実行する。無線通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）を含む無線ＬＡＮ等の規格に準拠した無線通信を行う。本実施形態において、無線通信部１１７は、ＨＭＤ１００とＨＭＤ２００およびＨＭＤ３００との間でＷｉ−Ｆｉ（登録商標）による無線通信を行う。

音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード／デコードを行う。音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。音声コーデック１８０は、アナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、および、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。本実施形態の第１ＨＭＤ１００は、音声を右イヤホン３２および左イヤホン３４から出力し、マイク６３により集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換し、音声インターフェイス１８２を介して出力する。また、音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。

外部コネクター１８４は、メインプロセッサー１４０に対して、メインプロセッサー１４０と通信する外部装置（例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等）を接続するためのコネクターである。外部コネクター１８４に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー１４０が実行するコンピュータープログラムのデバッグや、第１ＨＭＤ１００の動作ログの収集に使用できる。外部コネクター１８４は種々の態様を採用できる。外部コネクター１８４としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスや、無線ＬＡＮインターフェイス、Ｂｌｕｅｔｏｏｔｈインターフェイス等の無線接続に対応したインターフェイスを採用できる。

外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスである。外部メモリーインターフェイス１８６は、例えば、カード型記録媒体を装着してデータの読み書きを行うメモリーカードスロットと、インターフェイス回路とを含む。カード型記録媒体のサイズ、形状、規格等は適宜選択できる。ＵＳＢコネクター１８８は、ＵＳＢ規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェイスである。ＵＳＢコネクター１８８は、例えば、ＵＳＢ規格に準拠したコネクターと、インターフェイス回路とを含む。ＵＳＢコネクター１８８のサイズ、形状、ＵＳＢ規格のバージョン等は適宜選択できる。

また、第１ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー１４０の制御に従って振動を発生する。第１ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合や、第１ＨＭＤ１００の電源がオンオフされた場合等に所定の振動パターンでバイブレーター１９により振動を発生させる。バイブレーター１９は、第１制御装置１０に設ける構成に換えて、第１画像表示部２０側、例えば、第１画像表示部２０の右保持部２１（テンプルの右側部分）に設ける構成としてもよい。

センサーハブ１９２およびＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して第１画像表示部２０に接続されている。センサーハブ１９２は、第１画像表示部２０が備える各種センサーの検出値を取得して、メインプロセッサー１４０に出力する。ＦＰＧＡ１９４は、メインプロセッサー１４０と第１画像表示部２０の各部との間で送受信されるデータの処理およびインターフェイス１９６を介した伝送を実行する。インターフェイス１９６は、第１画像表示部２０の右表示ユニット２２と、左表示ユニット２４とに対してそれぞれ接続されている。本実施形態の例では、左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が第１画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４とのそれぞれが、第１制御装置１０のインターフェイス１９６に接続される。

電源部１３０には、バッテリー１３２と、電源制御回路１３４とが含まれている。電源部１３０は、第１制御装置１０が動作するための電力を供給する。バッテリー１３２は、充電可能な電池である。電源制御回路１３４は、バッテリー１３２の残容量の検出と、ＯＳ１４３（図７）への充電の制御を行う。電源制御回路１３４は、メインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値や、バッテリー１３２の電圧の検出値をメインプロセッサー１４０へと出力する。なお、電源部１３０が供給する電力に基づいて、第１制御装置１０から第１画像表示部２０へと電力を供給してもよい。電源部１３０から第１制御装置１０の各部および第１画像表示部２０への電力の供給状態を、メインプロセッサー１４０により制御可能な構成としてもよい。

右表示ユニット２２は、表示ユニット基板２０９と、ＯＬＥＤユニット２２１と、カメラ６１と、照度センサー６５と、ＬＥＤインジケーター６７と、温度センサー２１７とを備える。表示ユニット基板２０９には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１と、受信部（Ｒｘ）２１３と、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）２１５とが実装されている。受信部２１３は、インターフェイス２１１を介して第１制御装置１０から入力されるデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２２５（図３）へと出力する。

ＥＥＰＲＯＭ２１５は、各種のデータをメインプロセッサー１４０が読み取り可能な態様で記憶する。ＥＥＰＲＯＭ２１５は、例えば、第１画像表示部２０のＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４のセンサー特性に関するデータ等を記憶する。具体的には、例えば、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、後述する温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、第１ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。出荷後は、メインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを読み込んで各種の処理に利用する。

カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データあるいは撮像結果を表す信号を第１制御装置１０へと出力する。照度センサー６５は、図２に示すように、前部フレーム２７の端部ＥＲに設けられ、第１画像表示部２０を装着する第１使用者ＵＳ１の前方からの外光を受光するように配置される。照度センサー６５は、受光量（受光強度）に対応した検出値を出力する。ＬＥＤインジケーター６７は、図２に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

温度センサー２１７は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図３）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は主としてＯＬＥＤパネル２２３の温度を検出する。なお、温度センサー２１７は、ＯＬＥＤパネル２２３あるいはＯＬＥＤ駆動回路２２５（図３）に内蔵されてもよい。例えば、ＯＬＥＤパネル２２３がＳｉ−ＯＬＥＤとしてＯＬＥＤ駆動回路２２５と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２１７を実装してもよい。

左表示ユニット２４は、表示ユニット基板２３０と、ＯＬＥＤユニット２４１と、温度センサー２３９とを備える。表示ユニット基板２３０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１と、受信部（Ｒｘ）２３３と、６軸センサー２３５と、磁気センサー２３７とが実装されている。受信部２３３は、インターフェイス２３１を介して第１制御装置１０から入力されるデータを受信する。受信部２３３は、ＯＬＥＤユニット２４１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２４５（図３）へと出力する。

６軸センサー２３５は、３軸加速度センサーおよび３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。６軸センサー２３５と磁気センサー２３７は、第１画像表示部２０に設けられているため、第１画像表示部２０が第１使用者ＵＳ１の頭部に装着されているときには、第１使用者ＵＳ１の頭部の動きを検出する。検出された頭部の動きから第１画像表示部２０の向き、すなわち、第１使用者ＵＳ１の視界が特定される。

温度センサー２３９は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図３）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は主としてＯＬＥＤパネル２４３の温度を検出する。温度センサー２３９は、ＯＬＥＤパネル２４３あるいはＯＬＥＤ駆動回路２４５（図３）に内蔵されてもよい。詳細は温度センサー２１７と同様である。

右表示ユニット２２のカメラ６１、照度センサー６５、温度センサー２１７と、左表示ユニット２４の６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、第１制御装置１０のセンサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２および左表示ユニット２４が備える各センサーの検出値をメインプロセッサー１４０へ出力する。センサーハブ１９２は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ１９２は、各センサーの検出値の信号形式やデータ形式の変換機能（例えば、統一形式への変換機能）を備えてもよい。センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始および停止させることで、ＬＥＤインジケーター６７を点灯または消灯させる。

図７は、第１制御装置１０の構成を機能的に示すブロック図である。第１制御装置１０は、機能的には、記憶機能部１２２と、第１制御機能部１５０とを備える。記憶機能部１２２は、不揮発性記憶部１２１（図６）により構成される論理的な記憶部である。記憶機能部１２２は、記憶機能部１２２のみを使用する構成に代えて、不揮発性記憶部１２１に組み合わせてＥＥＰＲＯＭ２１５やメモリー１１８を使用する構成としてもよい。第１制御機能部１５０は、メインプロセッサー１４０がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。

記憶機能部１２２には、第１制御機能部１５０における処理に供する種々のデータが記憶されている。具体的には、本実施形態の記憶機能部１２２は、設定データ格納部１２３と、コンテンツデータ格納部１２４と、タスクデータ格納部１２５とを備える。設定データ格納部１２３には、第１ＨＭＤ１００の動作に係る各種の設定値が格納されている。例えば、設定データ格納部１２３には、第１制御機能部１５０が第１ＨＭＤ１００を制御する際のパラメーター、行列式、演算式、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）等が格納されている。

コンテンツデータ格納部１２４には、第１制御機能部１５０の制御によって第１画像表示部２０が表示する画像や映像を含むコンテンツのデータ（画像データ、映像データ、音声データ等）が格納されている。なお、コンテンツデータ格納部１２４には、双方向型のコンテンツのデータが格納されていてもよい。双方向型のコンテンツとは、操作部１１０によって使用者の操作を取得して、取得した操作内容に応じた処理を第１制御機能部１５０が実行し、処理内容に応じたコンテンツを第１画像表示部２０に表示するタイプのコンテンツを意味する。この場合、コンテンツのデータには、使用者の操作を取得するためのメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理を定めるデータ等を含みうる。

タスクデータ格納部１２５には、作業支援システム１において、各使用者ＵＳ１、ＵＳ２およびＵＳ３が実行すべきタスクに関する種々のデータが格納されている。本実施形態において、「タスク」とは、作業支援システム１が実行される飲食店Ｒｓｔにおけるホールスタッフの作業として予め定められている作業を意味する。例えば、「注文をとる」、「料理を運ぶ」、「食器を下げる」等の作業がタスクに該当する。タスクデータ格納部１２５には、タスクの実行場所、タスクの対象、タスクの動作、対象の状態、タスクの負荷、タスクの習熟度、および関連情報等の各データがタスクと対応づけられて格納されている。これらの各データは、後述の作業支援処理において利用される。後述するように、タスクと使用者とは対応づけられている。すなわち、第１使用者ＵＳ１が実行するタスクとして第１タスクが定められ、第１使用者ＵＳ１以外が実行するタスクとして第２タスクが定められている。

本実施形態において、「タスクの実行場所」とは、作業支援システム１が実行される場所を意味する。例えば、本実施形態の飲食店Ｒｓｔの他、デパート、サッカー場等の複数の作業者が協働して作業を行う場所が該当する。また、「タスクの対象」とは、タスクが実行される際の実行対象（相手）を意味し、タスクの実行場所およびタスクに応じて予め定められている。例えば、上述の「注文をとる」タスクの場合、タスクの対象は「客」であり、「料理を運ぶ」タスクや、「食器を下げる」タスクの場合、タスクの対象は「食器」である。また、「タスクの動作」とは、タスクを実行する際に行われる身体の動きを意味し、タスクに応じて予め定められている。例えば、上述の「注文をとる」タスクの場合、タスクの動作は、テーブルまで移動する、客の顔を見る、注文を聞く、ハンディー端末に入力する、メニュー表を下げる等の一連の動きが該当する。本実施形態では、タスクの動作にかかる種々の動きを実際に行った場合における６軸センサー１１１の検出結果が予め実験により算出され、「タスクの動作」としてタスクデータ格納部１２５に格納されている。

「対象の状態」とは、カメラ６１により撮像される撮像画像におけるタスクの対象の状態や様子を意味する。例えば、「対象の状態」は、タスクの対象である「客」がホールスタッフを見ている状態、タスクの対象である「食器」に料理が盛りつけられた状態、タスクの対象である「食器」が不足している状態等が該当する。

本実施形態において、「対象の状態」は、第１タスクの開始条件として、第１タスクに応じて予め定められている。「第１タスク」とは、第１使用者ＵＳ１が実行すべきタスクを意味する。例えば、第１タスクが上述の「注文をとる」タスクである場合、第１タスクの開始条件は、タスクの対象である「客」が所定時間の間、第１使用者ＵＳ１すなわちホールスタッフを見ている状態として定められている。また、例えば、第１タスクが上述の「料理を運ぶ」タスクの場合、第１タスクの開始条件は、タスクの対象である「食器」に料理が盛りつけられた後、所定時間経過した状態として定められている。また、例えば、第１タスクが上述の「食器を下げる」タスクの場合、第１タスクの開始条件は、タスクの対象である「皿」が所定枚数を下回っている状態として定められている。なお、本実施形態において上述の所定時間とは、３秒を意味する。なお、所定時間は、３秒に代えて、他の任意の時間を設定してもよい。また、上述の所定枚数は、３枚を意味する。なお、所定枚数は、３枚に代えて、他の任意の枚数を設定してもよい。

「タスクの負荷」とは、タスクの実行に要する処理負荷および難易度を意味し、タスクの複雑さ、必要な習熟度に応じて所定の重み付けで予め点数化されている。例えば、「注文をとる」タスク、「料理を運ぶ」タスクは、「食器を下げる」タスクに比べて複雑であるので、点数が高くなるように設定されている。「タスクの習熟度」とは、ホールスタッフのタスクの習熟度を意味し、タスクおよびホールスタッフごとに所定の重み付けで予め点数化されている。例えば、経験年数が多いホールスタッフの習熟度は、経験年数が少ないホールスタッフの習熟度に比べて点数が高くなるように設定されている。本実施形態では、第１使用者ＵＳ１、第２使用者ＵＳ２、第３使用者ＵＳ３の順に点数が低くなるように設定されている。

「関連情報」とは、タスクに関連する情報を意味し、タスクが発生したことを示す情報、タスクの対象の位置を示す情報、タスクの実行手順を示す情報等、タスクに応じて予め定められている。例えば、上述の「注文をとる」タスクの場合、飲食店Ｒｓｔ内におけるタスクの対象の位置、注文をとる手順、注文をとる際にタスクの対象に対して発する言葉等の情報が該当する。また、例えば、上述の「料理を運ぶ」タスクの場合、料理を運ぶテーブルの位置、料理名等の情報が該当する。また、例えば、上述の「食器を下げる」タスクの場合、食器の不足枚数、不足食器が使われるメニュー等の情報が該当する。

第１制御機能部１５０は、記憶機能部１２２が記憶しているデータを利用して各種処理を実行することにより、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）１４３、画像処理部１４５、第１表示制御部１４７、撮像制御部１４９、入出力制御部１５１、対象特定部１５３、第１タスク発生特定部１５５、第１タスク完了特定部１５７、関連情報提供部１５９、視線検出部１６１、対象位置特定部１６３、第１動作検出部１６５、第２タスク発生特定部１６７、第２タスク完了特定部１６９、位置取得部１７１、負荷状況取得部１７３、実行者決定部１７５としての機能を実行する。本実施形態では、ＯＳ１４３以外の各機能部は、ＯＳ１４３上で実行されるコンピュータープログラムとして構成されている。

画像処理部１４５は、第１画像表示部２０により表示する画像／映像の画像データに基づいて、右表示ユニット２２および左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１４５は、メインプロセッサー１４０がコンピュータープログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で構成してもよい。

なお、画像処理部１４５は、必要に応じて、解像度変換処理、画像調整処理、２Ｄ／３Ｄ変換処理等を実行してもよい。解像度変換処理は、画像データの解像度を右表示ユニット２２および左表示ユニット２４に適した解像度へと変換する処理である。画像調整処理は、画像データの輝度や彩度を調整する処理である。２Ｄ／３Ｄ変換処理は、三次元画像データから二次元画像データを生成し、あるいは、二次元画像データから三次元画像データを生成する処理である。画像処理部１４５は、これらの処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成し、接続ケーブル４０を介して第１画像表示部２０へと送信する。

第１表示制御部１４７は、右表示ユニット２２および左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２および左表示ユニット２４のそれぞれによる画像光の生成と射出とを制御する。具体的には、第１表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。第１表示制御部１４７は、画像処理部１４５が出力する信号に基づいて、ＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。また、第１表示制御部１４７は、後述の作業支援処理において、関連情報を第１画像表示部２０に表示させる。

撮像制御部１４９は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶機能部１２２に一時的に記憶させる。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は、撮像画像データをカメラ６１から取得して、記憶機能部１２２に一時的に記憶させる。また、撮像制御部１４９は、後述の作業支援処理において、第１画像表示部２０を透過して視認される外景を繰り返し撮像して撮像画像を取得する。取得された撮像画像は、タスクの対象および対象の状態を特定する際に利用される。

入出力制御部１５１は、トラックパッド１４（図２）と、方向キー１６と、決定キー１７とを適宜、制御して、これらから入力指令を受け付ける。受け付けられた入力指令は、ＯＳ１４３、またはＯＳ１４３と共にＯＳ１４３上で動作するコンピュータープログラムに出力される。

対象特定部１５３は、カメラ６１により撮像された撮像画像を解析して、タスクの対象を特定する。対象特定部１５３は、顔認識およびパターンマッチング等の公知の技術を利用して、撮像画像中のタスクの対象となり得る人物や物体を検出する。

第１タスク発生特定部１５５は、撮像画像における対象の状態に基づいて、第１タスクが発生したか否かを特定する。第１タスク発生特定部１５５は、後述の視線検出部１６１により特定されるタスクの対象の状態と、タスクデータ格納部１２５に格納されている「対象の状態」とが一致する場合に、第１タスクが発生したと特定する。

第１タスク完了特定部１５７は、第１タスクが完了したか否かを特定する。具体的には、第１タスク完了特定部１５７は、対象位置特定部１６３により特定される第１タスクの対象の位置において、第１使用者ＵＳ１が、第１タスクと対応づけられてタスクデータ格納部１２５に格納されている第１タスクの動作と同じ動作をした場合に、第１タスクが完了したと特定する。

関連情報提供部１５９は、無線通信部１１７を介して、第２ＨＭＤ２００および第３ＨＭＤ３００に関連情報を提供する。

視線検出部１６１は、撮像画像におけるタスク対象の視線を検出する。かかる視線の検出によりタスクの対象の状態、すなわち、客が使用者（ホールスタッフ）を見ており、ホールスタッフに注文したい状態であることを特定する。

対象位置特定部１６３は、タスク対象の位置を特定する。対象位置特定部１６３は、カメラ６１の画角、撮像画像におけるタスクの対象の写り方、および３Ｄオブジェクトマッピング等を利用して、カメラ６１からタスクの対象までの距離を算出することにより、タスクの対象の位置を特定する。第１動作検出部１６５は、６軸センサー１１１の検出結果を利用して、第１使用者ＵＳ１の身体の動きを検出する。

第２タスク発生特定部１６７は、第２タスクが発生したか否かを特定する。「第２タスク」とは、作業支援システム１内におけるＨＭＤの使用者のうち、第１使用者ＵＳ１を除く使用者が実行すべきタスクを意味する。本実施形態では、第２使用者ＵＳ２または第３使用者ＵＳ３が実行すべきタスクを意味する。なお、第２タスクの実行者は、後述の作業支援処理において、使用者ＵＳ２およびＵＳ３の位置と負荷状況とに基づいて決定される。第２タスク発生特定部１６７は、第１タスクが完了したか否かを特定することにより、第２タスクが発生したか否かを特定する。

第２タスク完了特定部１６９は、無線通信部１１７を介して、第２タスクの実行者のＨＭＤから第２タスクが完了した旨の通知（以下、「第２タスク完了通知」と呼ぶ）を取得することによって、第２タスクが完了したか否かを特定する。

位置取得部１７１は、無線通信部１１７を介して、第２ＨＭＤ２００および第３ＨＭＤ３００から各使用者ＵＳ２およびＵＳ３の現在の位置を取得する。取得された各位置は、第２タスクの実行者を決定する際に利用される。

負荷状況取得部１７３は、タスクデータ格納部１２５を参照して、各使用者ＵＳ１、ＵＳ２およびＵＳ３の負荷状況を取得する。取得された各負荷状況は、第２タスクの実行者を決定する際に利用される。

実行者決定部１７５は、取得された各使用者の現在の位置と負荷状況とに基づいて第２タスクの実行者を決定する。

図２に示すように、第２ＨＭＤ２００は、第２画像表示部２２０と、第２制御装置２１０とを備えている。第２ＨＭＤ２００における構成要素は、第２制御装置２１０の制御機能部を除いては、上述の第１ＨＭＤ１００の構成と同様であるので、その詳細な説明は省略する。

図８は、第２制御装置２１０の構成を機能的に示すブロック図である。第２制御装置２１０は、第１制御機能部１５０に代えて第２制御機能部４５０を備える点において、図７に示す第１制御装置１０と異なる。第２制御装置２１０におけるその他の構成は、第１制御装置１０と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明は省略する。

第２表示制御部４５５は、第１表示制御部１４７と同様の構成であり、画像光の生成と射出とを制御して第２画像表示部２２０に表示対象の画像を表示させる。また、第２表示制御部４５５は、後述の関連情報取得部４５７により取得される関連情報を、第２画像表示部２２０に表示させる。

関連情報取得部４５７は、無線通信部１１７による通信によって、第１ＨＭＤ１００から第１関連情報を取得する。本実施形態において、「第１関連情報」とは、第１タスクに関する関連情報である。位置提供部４５９は、Ｗｉ−Ｆｉ（登録商標）の電波強度を利用して第２ＨＭＤ２００の位置を特定し、特定された位置を、無線通信部１１７を介して第１ＨＭＤ１００に提供する。負荷状況提供部４６１は、タスクデータ格納部１２５を参照して、第２使用者ＵＳ２が実行中のタスクの負荷を特定し、特定された負荷状況を、無線通信部１１７を介して第１ＨＭＤ１００に提供する。

図２に示すように、第３ＨＭＤ３００は、第３画像表示部３２０と、第３制御装置３１０とを備えている。第３ＨＭＤ３００における構成要素は、第３制御装置３１０の制御機能部を除いては、上述の第１ＨＭＤ１００の構成と同様であるので、その詳細な説明は省略する。

図９は、第３制御装置３１０の構成を機能的に示すブロック図である。第３制御装置３１０は、第１制御機能部１５０に代えて第３制御機能部５５０を備える点において、図７に示す第１制御装置１０と異なる。第３制御装置３１０におけるその他の構成は、第１制御装置１０と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明は省略する。

第３表示制御部５５５は、第１表示制御部１４７と同様の構成であり、画像光の生成と射出とを制御して第３画像表示部３２０に表示対象の画像を表示させる。また、第３表示制御部５５５は、第２ＨＭＤ２００の第２表示制御部４５５と同様に、後述の関連情報取得部５５７により取得される関連情報を、第３画像表示部３２０に表示させる。

関連情報取得部５５７は、第２ＨＭＤ２００の関連情報取得部４５７と同様に、無線通信部１１７による通信によって、第１ＨＭＤ１００から第１関連情報を取得し、これに加えて第２関連情報を取得する。本実施形態において、「第２関連情報」とは、第２タスクに関連する関連情報である。位置提供部５５９は、第２ＨＭＤ２００の位置提供部４５９と同様の構成であり、Ｗｉ−Ｆｉ（登録商標）の電波強度を利用して第３ＨＭＤ３００の位置を特定し、特定された位置を、無線通信部１１７を介して第１ＨＭＤ１００に提供する。負荷状況提供部５６１は、第２ＨＭＤ２００の負荷状況提供部４６１と同様の構成であり、タスクデータ格納部１２５を参照して、第３使用者ＵＳ３が実行中のタスクの負荷を特定し、特定された負荷状況を、無線通信部１１７を介して第１ＨＭＤ１００に提供する。

第２動作検出部５６３は、６軸センサー１１１の検出結果を利用して、第３使用者ＵＳ３の身体の動きを検出する。第２タスク完了特定部５６５は、第２タスクが完了したか否かを特定する。具体的には、第２タスク完了特定部５６５は、第１ＨＭＤ１００の第１タスク完了特定部１５７と同様の手順、すなわち、第２タスクの対象の位置において、第３使用者ＵＳ３が、第２タスクと対応づけられてタスクデータ格納部１２５に格納されている第２タスクの動作と同じ動作をした場合に、第２タスクが完了したと特定する。

本実施形態において、カメラ６１は、他の形態における撮像部の下位概念に相当する。無線通信部１１７は、他の形態における通信部の下位概念に相当する。第１動作検出部１６５は、他の形態における動作検出部の下位概念に相当する。関連情報取得部４５７および関連情報取得部５５７は、他の形態における第１関連情報取得部および第２関連情報取得部の下位概念に相当する。

Ａ３．拡張現実感表示：
図１０は、拡張現実感表示の一例を示す説明図である。図１０では、第１使用者ＵＳ１の視界ＶＴを例示している。上述のようにして、第１使用者ＵＳ１の両眼に導かれた画像光が使用者の網膜に結像することにより、第１使用者ＵＳ１は、表示領域ＰＮ内において、表示対象の対象画像ＡＩを拡張現実感（ＡＲ）として視認する。図１０に示す例では、対象画像ＡＩは、第１ＨＭＤ１００のＯＳのメニュー画面である。メニュー画面には、例えば、「アナログ時計」、「メッセージ」、「ミュージック」、「作業支援」、「カメラ」、「ブラウザー」、「カレンダー」、「電話」の各アプリケーションプログラムを起動するためのアイコン画像が含まれる。また、右導光板２６、左導光板２８が外界からの光を透過することで、第１使用者ＵＳ１は外景ＳＣを視認する。このように、第１使用者ＵＳ１は、視界ＶＴのうち対象画像ＡＩが表示された部分については、外景ＳＣに重なるようにして対象画像ＡＩを見ることができる。また、視界ＶＴのうち対象画像ＡＩが表示されていない部分については、外景ＳＣだけを見ることができる。

Ａ４．作業支援処理：
図１１および図１２は、第１ＨＭＤ１００における作業支援処理の処理手順を示すフローチャートである。第１ＨＭＤ１００における作業支援処理は、図１０に示す「作業支援」メニューが実行されて、「作業支援」アプリケーションが起動すると開始される。撮像制御部１４９は、カメラ６１に第１使用者ＵＳ１の視界方向を撮像させて、撮像画像を取得する（ステップＳ１００）。このとき、撮像制御部１４９は、カメラ６１に所定の時間の間、繰り返し撮像させて、複数の撮像画像を取得する。なお、以降の説明では、ステップＳ１００において、図１に示す客Ｔｇ１が第１使用者ＵＳ１を所定時間（３秒間）注視している撮像画像が取得されたものとして説明する。

図１１に示すように、対象特定部１５３は、撮像画像からタスクの対象を特定する（ステップＳ１０５）。具体的には、対象特定部１５３は、撮像画像に現れる人物、物体と、タスクデータ格納部１２５に格納されている「タスクの対象」とをパターンマッチング等により解析、照合することにより、タスクの対象を特定する。上述のように、本実施形態では、タスクの対象は「客」（人物）または「食器」（物体）であるため、対象特定部１５３は、撮像画像に現れる人物や食器を検出する。図１に示す例では、第１使用者ＵＳ１の装着している第１ＨＭＤ１００のカメラ６１により客Ｔｇ１を含む画像が撮像された場合、客Ｔｇ１がタスクの対象として特定される。

図１１に示すように、視線検出部１６１は、タスクの対象の状態を特定する（ステップＳ１１０）。具体的には、視線検出部１６１は、カメラ６１により繰り返し撮像される複数の撮像画像からタスクの対象が見ている方向を特定することにより、タスクの対象の視線を検出する。このとき、視線検出部１６１は、検出された視線の経時的な変化もあわせて検出し、例えば、何秒間の間、視線を向けているかを検出する。図１に示す例では、タスクの対象である客Ｔｇ１が第１使用者ＵＳ１に視線を向けて注視していることから、ステップＳ１１０では、タスクの対象が所定時間の間、第１使用者ＵＳ１を見ている状態がタスクの対象の状態として特定される。このように、作業支援システム１では、第１使用者ＵＳ１がホールスタッフ作業を行いつつ自動的に第１タスクが発生したか否かを特定する。すなわち、第１タスクが発生したか否かを特定するために第１使用者ＵＳ１が特別な作業を行うことを要しない。

図１１に示すように、第１タスク発生特定部１５５は、第１タスクが発生したか否かを特定する（ステップＳ１１５）。具体的には、第１タスク発生特定部１５５は、上述のステップＳ１１０において特定された対象の状態と、タスクデータ格納部１２５に格納されている「対象の状態」とが一致するか否かを特定することにより、第１タスクが発生したか否かを特定する。具体的には、特定された対象の状態と、タスクデータ格納部１２５の「対象の状態」とが一致しない場合、第１タスク発生特定部１５５は、第１タスクが発生していないと特定し（ステップＳ１１５：ＮＯ）、図１１および図１２に示すように、上述のステップＳ１００が実行される。他方、特定された対象の状態と、タスクデータ格納部１２５の「対象の状態」とが一致する場合、第１タスク発生特定部１５５は、第１タスクが発生したと特定し（ステップＳ１１５：ＹＥＳ）、後述のステップＳ１２０が実行される。

図１に示す例では、上述のステップＳ１１０で特定された対象の状態は、タスクの対象が所定時間の間、第１使用者ＵＳ１を見ている状態である。また、上述のように、タスクデータ格納部１２５の「対象の状態」は、タスクの対象である「客」が所定時間の間ホールスタッフを見ている状態であり、かかる状態は、「注文をとる」タスクの対象の状態である。したがって、第１タスク発生特定部１５５は、「注文をとる」タスク（以下、「第１タスク」と呼ぶ）が発生したと特定する。

図１１に示すように、対象位置特定部１６３は、第１タスクの対象の位置を特定する（ステップＳ１２０）。具体的には、対象位置特定部１６３は、３Ｄオブジェクトマッピング等の公知技術を利用して、カメラ６１から第１タスクの対象までの距離を算出することにより、対象の位置を特定する。第１表示制御部１４７は、第１関連情報を表示させる（ステップＳ１２５）。具体的には、第１表示制御部１４７は、タスクデータ格納部１２５に格納されている「関連情報」を参照し、第１関連情報を示す表示画像（以下、「関連情報画像」と呼ぶ）を第１画像表示部２０に表示させる。

図１３は、ステップＳ１２５実行後の第１使用者ＵＳ１の視界ＶＴ１を模式的に示す説明図である。図１３では、第１ＨＭＤ１００の第１画像表示部２０を示している。図１３では、視界ＶＴ１のうち、外景ＳＣの図示を省略している。図１３に示すように、表示領域ＰＮ１には、飲食店Ｒｓｔの店内マップ画像Ｍｐと、関連情報画像ＫＩ１、ＫＩ２およびＫＩ３とが表示されている。店内マップ画像Ｍｐは、図１に示す飲食店Ｒｓｔを天井側から見た地図の画像であり、コンテンツデータ格納部１２４に予め格納されている。

関連情報画像ＫＩ１は、第１タスクの対象である客Ｔｇ１の位置を矢印で示す画像である。関連情報画像ＫＩ２は、第１タスクの実行者である第１使用者ＵＳ１の位置を円で示す画像である。関連情報画像ＫＩ３は、第１タスクの内容を示す画像である。図１３に示す例では、関連情報画像ＫＩ３は、第１タスク（「注文をとる」タスク）を模して、メニュー表を持って客の元に行く様子を表した画像である。このように、第１使用者ＵＳ１の第１画像表示部２０に関連情報画像ＫＩ１、ＫＩ２およびＫＩ３を表示させることによって、第１タスクが発生したことを第１使用者ＵＳ１に知らしめることができる。

図１１に示すように、関連情報提供部１５９は、無線通信部１１７を介して第２ＨＭＤ２００および第３ＨＭＤ３００に第１関連情報を提供する（ステップＳ１３０）。なお、第２ＨＭＤ２００および第３ＨＭＤ３００に提供する第１関連情報は、上述のステップＳ１２５において第１画像表示部２０に表示された第１関連情報と同じであるが、例えば、第１タスクの内容を示す情報のみでもよいし、第１タスクの内容を示す情報および第１タスクの対象の位置を示す情報であってもよいし、関連情報提供部１５９は、上記以外の他の関連情報を追加して提供してもよい。

第１動作検出部１６５は、第１ＨＭＤ１００の６軸センサー１１１の検出結果を利用して、第１使用者ＵＳ１の動作を取得する（ステップＳ１３５）。また、このとき、第１動作検出部１６５は、Ｗｉ−Ｆｉ（登録商標）の電波強度を利用して第１ＨＭＤ１００の位置、すなわち、第１使用者ＵＳ１の位置を特定する。第１使用者ＵＳ１の位置の特定にＷｉ−Ｆｉ（登録商標）の電波強度を利用するのは、飲食店Ｒｓｔのような室内においてはＧＮＳＳレシーバー１１５が電波を受信できない場合があるからである。

第１タスク完了特定部１５７は、所定時間内に第１タスクが完了したか否かを特定する（ステップＳ１４０）。具体的には、第１タスク完了特定部１５７は、対象の位置と第１使用者の位置とが一致するか否かを特定する。また、第１タスク完了特定部１５７は、第１使用者ＵＳ１の動作が、タスクデータ格納部１２５の「タスクの動作」に格納されている第１タスクの動作と同じであるか否かを特定する。そして、対象の位置と第１使用者の位置とが一致し、かつ、第１使用者ＵＳ１の動作が第１タスクの動作と同じである場合、第１タスク完了特定部１５７は、第１タスクが完了したと特定し（ステップＳ１４０：ＹＥＳ）、図１１および図１２に示すように、上述のステップＳ１００が実行される。

他方、上述のステップＳ１４０において、対象の位置と第１使用者ＵＳ１の位置とが一致せず、または、第１使用者ＵＳ１の動作が第１タスクの動作と同じでない場合、第１タスク完了特定部１５７は、第１タスクが完了していないと特定し（ステップＳ１４０：ＮＯ）、後述のステップＳ１４５が実行される。第１タスクが完了していない場合、第１使用者ＵＳ１以外の使用者が第１タスクを実行する必要がある。そこで、本実施形態では、この場合、第１使用者ＵＳ１以外の使用者が実行すべきタスク（第２タスク）が発生したものとして扱う。したがって、ステップＳ１４０は、第２タスク発生特定部１６７による第２タスクが発生したか否かの特定処理であると捉えることができる。すなわち、第１タスクが完了していると特定された場合（ステップＳ１４０：ＮＯ）、第２タスクが発生していないと特定され、第１タスクが完了していると特定された場合（ステップＳ１４０：ＹＥＳ）、第２タスクが発生したと特定される。なお、第２タスクの対象および動作等は、第１タスクと同じである。

位置取得部１７１は、無線通信部１１７を介して第２使用者および第３使用者の位置を取得し、負荷状況取得部１７３は、無線通信部１１７を介して第２使用者および第３使用者の負荷状況を取得する（ステップＳ１４５）。

実行者決定部１７５は、各使用者の位置および負荷状況を利用して、第２タスクの実行者を決定する（ステップＳ１５０）。具体的には、実行者決定部１７５は、位置と負荷とを所定の重み付けにより点数化し、点数の最も低い使用者を第２タスクの実行者として決定する。例えば、位置の重み付けとしては、使用者の位置が対象の位置に近ければ近いほど、点数が高くなるように設定されている。また、例えば、使用者の負荷が低ければ低いほど、点数が高くなるように設定されている。図１に示す例では、第２使用者ＵＳ２の位置は、第３使用者ＵＳ３の位置に比べて、第２タスクの対象である客Ｔｇ１の位置に近い。また、第２使用者ＵＳ２は「料理を運ぶ」のタスクを実行中であり、第３使用者ＵＳ３はタスクを実行していない。したがって、ステップＳ１５０では、第３使用者ＵＳ３が第２タスクの実行者として決定される。

図１２に示すように、関連情報提供部１５９は、第２タスクの実行者に第２関連情報を提供する（ステップＳ１５５）。ステップＳ１５５は、上述のステップＳ１３０と同様の処理内容である。第２タスク完了特定部１６９は、無線通信部１１７を介して、第２タスクの実行者から第２タスク完了通知を取得する（ステップＳ１６０）。第２タスク完了特定部１６９は、第２タスクが完了したか否か特定する（ステップＳ１６５）。具体的には、第２タスク完了特定部１６９は、第２タスク完了通知を取得していない場合、第２タスクが完了していないと特定し（ステップＳ１６５：ＮＯ）、上述のステップＳ１６０が実行される。他方、第２タスク完了特定部１６９は、第２タスク完了通知を取得している場合、第２タスクが完了していると特定し（ステップＳ１６５：ＹＥＳ）、図１１および図１２に示すように、上述のステップＳ１００が実行される。

図１４は、第２ＨＭＤ２００および第３ＨＭＤ３００における作業支援処理の処理手順を示すフローチャートである。第２ＨＭＤ２００および第３ＨＭＤ３００における作業支援処理は、図１０に示す「作業支援」メニューが実行されて、「作業支援」アプリケーションが起動すると開始される。第２ＨＭＤ２００において、関連情報取得部４５７は、無線通信部１１７を介して、第１ＨＭＤ１００から第１関連情報を取得する（ステップＳ２００）。同様に、第３ＨＭＤ３００において、関連情報取得部５５７は、無線通信部１１７を介して、第１ＨＭＤ１００から第１関連情報を取得する（ステップＳ２００）。

第２ＨＭＤ２００において、第２表示制御部４５５は、第１関連情報を表示させる（ステップＳ２０５）。同様に、第３ＨＭＤ３００において、第３表示制御部５５５は、第１関連情報を表示させる（ステップＳ２０５）。なお、ステップＳ２０５は、上述のステップＳ１０５と同様の処理内容である。

第２ＨＭＤ２００において、位置提供部４５９および負荷状況提供部４６１は、第２使用者ＵＳ２の位置および負荷状況をそれぞれ取得し、無線通信部１１７を介して、第１ＨＭＤ１００に提供する（ステップＳ２１０）。同様に、第３ＨＭＤ３００において、位置提供部５５９および負荷状況提供部５６１は、第３使用者ＵＳ３の位置および負荷状況をそれぞれ取得し、無線通信部１１７を介して、第１ＨＭＤ１００に提供する（ステップＳ２１０）。

第２ＨＭＤ２００において、関連情報取得部４５７は、第１ＨＭＤ１００から第２関連情報を取得したか否かを判定する（ステップＳ２１５）。第１ＨＭＤ１００において第２タスクが発生している場合、第１ＨＭＤ１００では第２タスクの実行者が決定され（図１１に示す上述のステップＳ１５０）、決定された実行者に対して第２関連情報が提供される（図１２に示す上述のステップＳ１５５）。したがって、関連情報取得部４５７は、第２関連情報を取得したか否かを判定することにより、第２ＨＭＤ２００の第２使用者ＵＳ２が第２タスクの実行者であるか否かを判定する。同様に、第３ＨＭＤ３００において、関連情報取得部５５７は、第１ＨＭＤ１００から第２関連情報を取得したか否かを判定する（ステップＳ２１５）。

本実施形態では、上述のように、第２タスクの実行者は、第３使用者ＵＳ３に決定されている。したがって、第２ＨＭＤ２００には第２関連情報が提供されておらず、第３ＨＭＤ３００には第２関連情報が提供されている。このため、第２ＨＭＤ２００においては、上述のステップＳ２１５において第２関連情報を取得していないと判定され（ステップＳ２１５：ＮＯ）、上述のステップＳ２００が実行される。他方、第３ＨＭＤ３００においては、第２関連情報を取得したと判定され（ステップＳ２１５：ＹＥＳ）、後述のステップＳ２２０が実行される。なお、第２タスクの実行者が、第２使用者ＵＳ２に決定されている場合には、第２ＨＭＤ２００においても後述のステップＳ２２０以降の処理が実行される。

第３表示制御部５５５は、第２関連情報を表示させる（ステップＳ２２０）。ステップＳ２２０は、上述のステップＳ２００と同様の処理内容である。

図１５は、ステップＳ２２５実行後の第３使用者ＵＳ３の視界ＶＴ２を模式的に示す説明図である。図１５では、第３ＨＭＤ３００の第３画像表示部３２０を示している。図１５では、視界ＶＴ２のうち、外景ＳＣの図示を省略している。図１５に示すように、表示領域ＰＮ２には、図１３に示す第１ＨＭＤ１００の表示領域ＰＮ１に表示されている飲食店Ｒｓｔの店内マップ画像Ｍｐおよび関連情報画像ＫＩ１に加えて、関連情報画像ＫＩ４、ＫＩ５およびＫＩ６が表示されている。

図１５に示すように、関連情報画像ＫＩ４は、第２タスクの実行者である第３使用者ＵＳ３の位置を円で示す画像である。関連情報画像ＫＩ５は、第２タスクの内容を示すテキスト画像である。関連情報画像ＫＩ５は、図１３に示す関連情報画像ＫＩ３とは異なり、第２タスクの内容と、第３使用者ＵＳ３が実際に行うべき行動とが文字で表されており、「お客様が呼んでいます。すぐに対応してください。」と表示されている。関連情報画像ＫＩ６は、第２タスク（「注文をとる」タスク）を実際に行う場合に、タスクの対象である客Ｔｇ１に対して発する言葉が表されており、「お待たせしました。ご注文お決まりでしょうか。」と表示されている。

上述のように、第３使用者ＵＳ３の習熟度は、第１使用者ＵＳ１の習熟度に比べて低い。このため、タスクを実行する者の習熟度に応じて関連情報の表示態様を異ならせることによって、習熟度が比較的低い使用者は、容易にタスクを実行でき、また、習熟度が比較的高い使用者は、不必要な情報で視界が遮られることを抑制できる。

図１４に示すように、第２動作検出部５６３は、第２タスクの実行者である第３使用者ＵＳ３の動作を取得する（ステップＳ２２５）。具体的には、上述のステップＳ１３５と同様に、第２動作検出部５６３は、第３ＨＭＤ３００の６軸センサー１１１の検出結果を利用して第３使用者ＵＳ３の動作を取得する。また、第２動作検出部５６３は、Ｗｉ−Ｆｉ（登録商標）の電波強度を利用して、第３ＨＭＤ３００の位置、すなわち、第３使用者ＵＳ３の位置を特定する。

第２タスク完了特定部５６５は、第２タスクが完了したか否かを特定する（ステップＳ２３０）。具体的には、上述のステップＳ１４０と同様に、第２タスク完了特定部５６５は、第２タスクの対象の位置、すなわち、第１タスクの対象の位置における第３使用者ＵＳ３の動作が、タスクデータ格納部１２５に格納されている第２タスクの動作と同じ動作であるか否かを特定する。第１タスクの対象の位置における第３使用者ＵＳ３の動作が第２タスクの動作と同じでない場合、第２タスク完了特定部５６５は、第２タスクが完了していないと特定し（ステップＳ２３０：ＮＯ）、上述のステップＳ２２５が実行される。他方、第１タスクの対象の位置における第３使用者ＵＳ３の動作が第２タスクの動作と同じである場合、第２タスク完了特定部５６５は、第２タスクが完了したと特定し（ステップＳ２３０：ＹＥＳ）、第２タスク完了特定部５６５は、第２タスク完了通知を、無線通信部１１７を介して第１ＨＭＤ１００に通知する（ステップＳ２３５）。

以上説明した本実施形態の第１ＨＭＤ１００によれば、第１ＨＭＤ１００において、第１タスクが発生したと特定された場合に、関連情報画像ＫＩ１、ＫＩ２およびＫＩ３が表示される。また、第２ＨＭＤ２００および第３ＨＭＤ３００に関連情報が提供され、第２ＨＭＤ２００および第３ＨＭＤ３００において、取得された関連情報が表示される。このため、第１ＨＭＤ１００の使用者ＵＳ１、第２ＨＭＤ２００の使用者ＵＳ２及び第３ＨＭＤ３００の使用者ＵＳ３は、第１タスクが発生したことを容易に認識できる。

また、特定された第１タスクの対象である客Ｔｇ１の位置における第１使用者ＵＳ１の動作が予め定められた動作と同じ動作である場合に、第１タスクが完了したと特定されるので、第１タスクが完了したか否かを容易に特定できる。加えて、第１タスクが完了していないと特定された場合に第２タスクが発生したと特定されるので、第２タスクが発生したか否かを容易に特定でき、また、精度よく特定できる。また、第２使用者ＵＳ２および第３使用者ＵＳ３の位置と、第２使用者ＵＳ２および第３使用者ＵＳ３の負荷状況と、に基づいて、第２タスクの実行者が決定されるので、作業支援システム１内において適切な使用者を実行者として決定できる。加えて、第２タスクの実行者である第３使用者ＵＳ３の装着している第３ＨＭＤ３００の第３画像表示部３２０に関連情報画像ＫＩ１、ＫＩ４、ＫＩ５およびＫＩ６を表示させるので、第２タスクの実行者に第２タスクの情報を知らしめることができる。

Ｂ．第２実施形態：
第２実施形態における作業支援システム１および透過型頭部装着型表示装置１００、２００および３００は、第１実施形態における作業支援システム１および透過型頭部装着型表示装置１００、２００および３００と同様であるので、その詳細な説明は省略する。第２実施形態における作業支援処理は、第１実施形態における作業支援処理の処理手順と同じである。

図１６は、第２実施形態における作業支援処理が実行される様子を模式的に示す説明図である。第２実施形態では、作業支援システム１は、レンタルビデオショップＢＳにおいて実行されている。図１６に示すように、３人の店員Ａ、ＢおよびＣは、レジ１、２および３で会計作業をしている。第２実施形態において、店員Ａは、第１実施形態における第３使用者ＵＳ３に、店員Ｂは第１実施形態における第１使用者ＵＳ１に、店員Ｃは、第１実施形態における第２使用者ＵＳ２に、それぞれ相当する。なお、図１６では、図示を省略しているが、各店員Ａ、ＢおよびＣはＨＭＤを装着しており、店員Ａは第３ＨＭＤ３００を、店員Ｂは第１ＨＭＤ１００を、店員Ｃは第２ＨＭＤ２００をそれぞれ装着している。

図１６に示すように、店員Ａは、レジ１をレジ休止中にして、「伝票整理」のタスクを実行している。店員Ｂは、レジ２において客Ａの「会計」タスクを実行している。店員Ｃは、レジ３において客Ｃの「会計」タスクを実行している。なお、第２実施形態において、「会計」タスクと「伝票整理」タスクとでは、「会計」タスクの負荷が高く設定されている。図１６に示すように、客Ｂは、客Ａの後ろに並んでいる。実線矢印に示すように、客Ｂは、店員Ａに対して視線を向けており、破線矢印に示すように、店員Ｂの視界方向には、客Ｂが店員Ａを見ている状態が映っている。

ここで、第２実施形態では、「会計」タスクは、「対象の状態」として、タスクの対象である客が所定時間の間、店員を見ている状態が予め定められている。したがって、店員Ｂの装着している第１ＨＭＤ１００において、図１１および図１２に示す作業支援処理が実行されると、上述のステップＳ１００からステップＳ１１５において、第１ＨＭＤ１００のカメラ６１により取得された撮像画像から、客Ｂが所定時間の間、店員Ａを見ている状態が特定されて、「会計」タスク（第１タスク）が発生したと特定される。その後、上述のステップＳ１２５が実行されて、第１ＨＭＤ１００の第１画像表示部２０に第１関連情報が表示される。上述のように、店員Ｂは、客Ａの「会計」タスクを実行中であり、第１タスクを実行できない。したがって、上述のステップＳ１４０において、第１タスクが完了していないと特定される（ステップＳ１４０：ＮＯ）とともに、第２タスク（「会計」タスク）が発生する。

その後、上述のステップＳ１５０が実行されて、店員Ａおよび店員Ｃの位置、負荷状況に基づいて、第２タスクの実行者が決定される。具体的には、図１６に示すように、店員Ａの位置は、店員Ｃの位置に比べて、タスクの対象である客Ｂの位置に近い。また、店員Ｃは、客Ｃの「会計」タスクを実行中であり、店員Ａに比べて負荷が高い。したがって、第２タスクの実行者は店員Ａに決定される。

図１４に示すように、店員Ａの装着している第３ＨＭＤ３００において、上述のステップＳ２１５およびステップＳ２２０が実行されて、第３ＨＭＤ３００の第３画像表示部３２０に第２関連情報が表示される。その後、店員Ａは、表示された第２関連情報を利用して、客Ｂの「会計」タスクを実行し得る。

以上説明した第２実施形態のＨＭＤ１００によれば、第１実施形態と同様な効果を奏する。

Ｃ．第３実施形態：
第３実施形態における作業支援システム１および透過型頭部装着型表示装置１００、２００および３００は、第１実施形態における作業支援システム１および透過型頭部装着型表示装置１００、２００および３００と同様であるので、その詳細な説明は省略する。第３実施形態における作業支援処理は、第１実施形態における作業支援処理の処理手順と同じである。

図１７は、第３実施形態における作業支援処理が実行される様子を模式的に示す説明図である。第３実施形態では、作業支援システム１は、第１実施形態と同様に、飲食店Ｒｓｔ内で実行されている。図１７では、上述のステップＳ１００において、第１使用者ＵＳ１の装着している第１ＨＭＤ１００で取得される撮像画像ＣＩを模式的に示している。図１７に示すように、撮像画像ＣＩには、食器棚Ｓｈに格納されている３種類の皿ｄ１、ｄ２およびｄ３が写っている。皿ｄ３は、残数が１枚である。

第３実施形態では、皿の枚数が所定の枚数以下である状態が検出されると、「皿の回収」タスクが発生したと特定される。「所定の枚数」とは、例えば、３枚である。なお、所定の枚数は、３枚に代えて、他の任意の枚数が設定されていてもよい。なお、第３実施形態では、メニューごとに使用する皿の種類、皿の総数、上述の所定枚数がタスクデータ格納部１２５に予め格納されている。

図１１に示すように、第１ＨＭＤ１００において上述のステップＳ１０５からステップＳ１１５が実行されて、「皿の回収」タスクが発生したと特定されると、第１ＨＭＤ１００の第１画像表示部２０に第１関連情報が表示される（上述のステップＳ１２５）。

図１８は、ステップＳ１２５実行後の第１使用者ＵＳ１の視界ＶＴ３を模式的に示す説明図である。図１８では、第１ＨＭＤ１００の第１画像表示部２０を示している。図１８では、視界ＶＴ３のうち、外景ＳＣの図示を省略している。図１８に示すように、表示領域ＰＮ３には、飲食店Ｒｓｔの店内マップ画像Ｍｐと、関連情報画像ＫＩ７、ＫＩ８、ＫＩ９およびＫＩ０とが表示されている。関連情報画像ＫＩ７は、不足している皿に対応するメニューを注文した客の位置を矢印で示す画像である。関連情報画像ＫＩ８は、第１使用者ＵＳ１の位置を円で示す画像である。なお、関連情報画像ＫＩ８は、図１３に示す関連情報画像ＫＩ２と同じである。関連情報画像ＫＩ９は、皿の不足枚数を示す画像である。関連情報画像ＫＩ１０は、「皿の回収」タスクを示す画像であり、「皿が不足しています。空いている皿を下げてください。」と表示されている。

図１１に示すように、第１ＨＭＤ１００において、上述のステップＳ１３５およびステップＳ１４０が実行されて、第１使用者ＵＳ１が「皿の回収」タスクが実行されたか否かが特定される。このとき、例えば、第１ＨＭＤ１００のカメラ６１の撮像画像に回収すべき皿が検出されるか否か、および第１使用者ＵＳ１が回収すべき皿を洗い場所まで持って行く動作が検出されるか否かを特定することにより、第１使用者ＵＳ１により「皿の回収」タスクが実行されたか否かを特定できる。

第１使用者ＵＳ１により「皿の回収」タスクが完了していないと特定されると（上述のステップＳ１４０：ＮＯ）、上述のステップＳ１４５およびステップＳ１５０が実行されて、第２使用者ＵＳ２および第３使用者ＵＳ３から「皿の回収」タスクの実行者が決定される。その後、実行者の装着しているＨＭＤの画像表示部に第２関連情報が表示され、実行者は、表示された第２関連情報を利用して、「皿の回収」タスクを実行し得る。

以上説明した第３実施形態のＨＭＤ１００によれば、第１実施形態と同様な効果を奏する。

Ｄ．他の実施形態：
Ｄ１．他の実施形態１：
上記各実施形態において、タスク、タスクの実行場所、タスクの対象、対象の状態および関連情報は、上述の例に限定されない。タスクの実行場所やタスクの対象に応じて、種々の対象の状態、関連情報を採用してもよい。

図１９は、タスクデータの一例を示す説明図である。タスクデータＴＬは、タスクデータ格納部１２５に予め格納されている各データのうち、タスクの実行場所、タスクの対象、対象の状態、および関連情報を示している。図１９の上段に示すように、タスクの実行場所が「サッカー場（入場時）」である場合、タスクの対象は「観客」であり、対象の状態は「何かを探している」状態であり、関連情報は「予約シートの案内」である。図１９の上から２段目に示すように、タスクの実行場所が「サッカー場（ハーフタイム時）」である場合、タスクの対象は「観客」であり、対象の状態は「何かを探している」状態であり、関連情報は「トイレ場所の案内」である。上記２つの例のように、タスクの実行場所が同じであっても時間帯によって実行場所の使われ方が変化する場合、関連情報を異ならせてもよい。このようにすることで、より適切な関連情報を使用者に提供できる。

図１９の上から３段目に示すように、タスクの実行場所が「食堂」である場合、タスクの対象は「接客場所にいる利用者」であり、対象の状態は「皿を片付けている」状態であり、関連情報は「皿の配膳場所案内」である。図１９の上から４段目に示すように、タスクの実行場所が「食堂」である場合、タスクの対象は「接客場所にいる利用者」であり、対象の状態は「皿を片付けている」状態であり、関連情報は「皿の洗い方」や「皿の収納場所案内」である。図１９の上から５段目に示すように、タスクの実行場所が「飲食店」である場合、タスクの対象は「入店時の客」であり、対象の状態は「客の数」であり、関連情報は「空きテーブル案内」である。

図１９の上から６段目に示すように、タスクの実行場所が「電気屋」である場合、タスクの対象は「エアコン売り場の客」であり、対象の状態は「商品を見ている」状態であり、関連情報は「対象商品のセールスポイント案内」である。図１９の上から７段目に示すように、タスクの実行場所が「電気屋」である場合、タスクの対象は「エアコン売り場の客」であり、対象の状態は「商品を見ている」状態であり、関連情報は価格、何畳用、電気代等の「客への質問ポイント」である。

図１９の上から８段目に示すように、タスクの実行場所が「学習塾」である場合、タスクの対象は「生徒」であり、対象の状態は「ノートの上で手が止まっている」状態であり、関連情報は解き方等の「指導生徒へのヒント」である。図１９の上から９段目に示すように、タスクの実行場所が「野球場」である場合、タスクの対象は「観客」であり、対象の状態は「ビールを片手にきょろきょろしている」状態であり、関連情報はポップコーンを勧める等の「おつまみ案内」である。

図１９の上から１０段目に示すように、タスクの実行場所が「デパート」である場合、タスクの対象は「衣類売り場の客」であり、対象の状態は「商品と財布を手に持って何かを探している」状態であり、関連情報は「会計場所案内」である。なお、対象の状態が「商品のみを手に持って何かを探している」状態である場合、関連情報は「試着室案内」であってもよい。図１９の上から１１段目に示すように、タスクの実行場所が「松本城」である場合、タスクの対象は「大手門にいる観光客」であり、対象の状態は「地図を見ている」状態や「観光客の移動方向」であり、関連情報は「入場券売り場案内」である。

上述の例のように、タスクの実行場所において実行すると予想される種々のタスクについて、タスクの対象、対象の状態、関連情報の内容等を任意に定めておいてもよい。また、上述の例の他、例えば、各使用者の習熟度に応じて、タスクの対象の状態を異ならせてもよい。具体的には、上記第１実施形態において、第１使用者ＵＳ１が習熟度の比較的高くベテランであり、撮像画像から客Ｔｇ１が所定時間の間、第１使用者ＵＳ１を見ている状態が検出された場合に、第１タスクが発生したと特定しなくてもよい。かかる構成では、各使用者ＵＳ１、ＵＳ２およびＵＳ３のスキル習得度に応じて、タスクデータ格納部１２５に格納されている習熟度を変更してもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ２．他の実施形態２：
上記第１実施形態において、第２関連情報は第２タスクの実行者である第３使用者ＵＳ３の第３画像表示部３２０にのみ表示されていたが、これに加えて、第１使用者ＵＳ１の第１画像表示部２０および第２使用者ＵＳ２の第２画像表示部２２０に表示させてもよい。このような構成においても、上記第１実施形態と同様な効果を奏する。

Ｄ３．他の実施形態３：
上記各実施形態において、カメラ６１は、第１画像表示部２０の前部フレーム２７に配置され、第１使用者ＵＳ１が視認する視界方向の、少なくとも一部の外界（実空間）を撮像していたが、本発明はこれに限定されない。例えば、カメラ６１は、第１ＨＭＤ１００の端部ＥＬおよびＥＲに配置され、第１使用者ＵＳ１が視認する方向とは反対方向を撮像してもよい。かかる構成では、第１使用者ＵＳ１が視認しない方向においてタスクが発生している場合にも、タスクが発生したことを検出できる。また、例えば、カメラ６１は、単眼カメラに代えて、３６０度カメラであってもよい。かかる構成では、カメラ６１が単眼カメラである構成に比べて、一回の撮像でより多くの情報を得ることができる。また、カメラ６１は、明るさ、距離および温度を検出する撮像装置であってもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ４．他の実施形態４：
上記第１実施形態において、第２タスクの実行者は、第２使用者ＵＳ２および第３使用者ＵＳ３の位置、負荷状況に基づいて決定されていたが、本発明はこれに限定されない。例えば、第２タスクの実行者は、各使用者ＵＳ２およびＵＳ３の第２タスクの習熟度に基づいて決定されてもよい。具体的には、各使用者ＵＳ２、ＵＳ３の位置および負荷の重み付け（点数）が同じである場合、第２タスクの実行者は、第２タスクの習熟度が高い使用者に決定されてもよい。また、例えば、第２タスクの実行者は、タスクの対象の性別、年齢等に応じて決定されてもよい。具体的には、タスクの対象が女性や子供である場合、第２タスクの実行者は、女性の使用者に決定されてもよい。このような構成においても、上記第１実施形態と同様な効果を奏する。

Ｄ５．他の実施形態５：
上記各実施形態において、第１タスク発生特定部１５５は、第１タスクの対象が第１使用者ＵＳ１から予め定められた距離以上離れている状態の場合に、第１タスクが発生していないと特定してもよい。例えば、上記第１実施形態において、第１使用者ＵＳ１と客Ｔｇ１との間の距離が予め定められた距離以上離れている場合、第１タスクが発生していないと特定してもよいし、第１タスクが発生していると特定してもよい。上述の「予め定められた距離」は、例えば、３メートルである。なお、予め定められた距離は、３メートルに代えて、他の任意の距離であってもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ６．他の実施形態６：
上記各実施形態において、各使用者ＵＳ１、ＵＳ２およびＵＳ３の位置は、Ｗｉ−Ｆｉ（登録商標）の電波強度を利用して特定していたが、本発明はこれに限定されない。例えば、第１実施形態では、飲食店Ｒｓｔ内に設置されている監視カメラの撮像画像を利用して、各使用者ＵＳ１、ＵＳ２およびＵＳ３の位置が特定されてもよい。また、例えば、ＧＮＳＳレシーバー１１５の電波を受信可能な場所の場合、ＧＮＳＳレシーバー１１５から取得される緯度および経度を利用して、各使用者ＵＳ１、ＵＳ２およびＵＳ３が特定されてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ７．他の実施形態７：
上記各実施形態において、第１関連情報および第２関連情報をＨＭＤ１００、２００および３００とは異なる表示装置に表示させてもよい。例えば、第１実施形態では、飲食店Ｒｓｔにおけるホールスタッフの管理者がタブレット端末を利用して、各ホールスタッフのタスクの実行状況を管理している場合、かかるタブレット端末の表示画面に第１関連情報および第２関連情報を表示させてもよい。かかる構成では、管理者は、各タスクの実行状況や、各ホールスタッフのタスクの熟度を容易に確認できる。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ８．他の実施形態８：
上記各実施形態において、作業支援システム１は、３台のＨＭＤ１００、２００および３００を備えていたが、作業支援システム１が備えるＨＭＤの数は、３台に代えて、他の任意の数であってもよい。すなわち、一般には、作業支援システム１が、第１使用者に装着される第１透過型頭部装着型表示装置と、第１使用者とは異なる１以上の第２使用者に装着される１以上の第２透過型頭部装着型表示装置と、を含む複数の透過型頭部装着型表示装置を備える構成であれば、上記各実施形態と同様な効果を奏する。

Ｄ９．他の実施形態９：
上記第２実施形態において、タスクの対象である客Ｃの「会計」タスクが完了したか否かの特定は、ＰＯＳシステムと連動させることにより特定してもよい。具体的には、各ＨＭＤ１００、２００および３００の各制御装置１０、２１０および３１０と、ＰＯＳシステムとを無線通信可能な構成とし、ＰＯＳシステムへの入力を各制御機能部１５０、４５０および５５０が受け付け可能な構成とし、ＰＯＳシステムへの入力が客Ｃの会計入力であることを照合することにより、「会計」タスクが完了したか否かを特定できる。このような構成においても、上記第２実施形態と同様な効果を奏する。

Ｄ１０．他の実施形態１０：
上記各実施形態において、第１ＨＭＤ１００と第２ＨＭＤ２００とを同じ構成としてもよい。具体的には、第１ＨＭＤ１００の第１制御機能部１５０は、第２表示制御部４５５、関連情報取得部４５７、位置提供部４５９、および負荷状況提供部４６１を有していてもよい。第２ＨＭＤ２００の第２制御機能部４５０は、第１表示制御部１４７、対象特定部１５３、第１タスク発生特定部１５５、第１タスク完了特定部１５７、関連情報提供部１５９、視線検出部１６１、対象位置特定部１６３、第１動作検出部１６５、第２タスク発生特定部１６７、第２タスク完了特定部１６９、位置取得部１７１、負荷状況取得部１７３、および実行者決定部１７５を有していてもよい。

また、例えば、第１ＨＭＤ１００と第３ＨＭＤ３００とを同じ構成としてもよい。具体的には、第１ＨＭＤ１００の第１制御機能部１５０は、第３表示制御部５５５、関連情報取得部５５７、位置提供部５５９、負荷状況提供部５６１、第２動作検出部５６３、および第２タスク完了特定部５６５を有していてもよい。第３ＨＭＤ３００の第３制御機能部５５０は、第１表示制御部１４７、対象特定部１５３、第１タスク発生特定部１５５、第１タスク完了特定部１５７、関連情報提供部１５９、視線検出部１６１、対象位置特定部１６３、第１動作検出部１６５、第２タスク発生特定部１６７、第２タスク完了特定部１６９、位置取得部１７１、負荷状況取得部１７３、および実行者決定部１７５を有していてもよい。

この他にも、例えば、第２ＨＭＤ２００と第３ＨＭＤ３００とを同じ構成としてもよいし、第１ＨＭＤ１００、第２ＨＭＤ２００、および第３ＨＭＤ３００のいずれも全く同じ構成としてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ１１．他の実施形態１１：
上記各実施形態において、第２タスクは、第１タスクとはタスクの実行者が異なっていたが、これに代えて、または、これに加えて、第２タスクは、第１タスクとはタスクの内容が異なっていてもよい。例えば、第１タスクが「注文をとる」タスクである場合、第２タスクは、「予め定められた手順にしたがって注文をとる」タスクであってもよい。すなわち、一般には、第２タスクは、第１タスクと異なるタスクであれば、上記各実施形態と同様な効果を奏する。

Ｄ１２．他の実施形態１２：
上記各実施形態において、実行者決定部１７５は、予め定められているタスクの優先度を利用して第２タスクの実行者を決定してもよい。「優先度」とは、第２タスクの発生頻度に応じて定めることができ、例えば、第２タスクの発生頻度が比較的低い場合に優先度が低く、第２タスクの発生頻度が比較的高い場合に優先度が高く設定してもよい。かかる優先度は、予めタスクデータ格納部１２５に格納されている。例えば、上述のステップＳ１５０において、実行者決定部１７５は、第２タスクの優先度が低い場合には、第２タスクの実行者を決定せず、第１使用者ＵＳ１に第２タスクを実行させてもよい。また、例えば、実行者決定部１７５は、第２タスクの優先度と各使用者の負荷状況との両方を利用して、実行者を決定してもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ１３．他の実施形態１３：
上記各実施形態において、第１関連情報および第２関連情報の表示態様は、図１３、図１５および図１８に示す例に限定されない。例えば、関連情報は、３Ｄ（立体）表示させてもよい。また、例えば、関連情報は、動きのある表示、動画的なフラッシュ表示をさせてもよいし、点滅させて表示させてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ１４．他の実施形態１４：
上記各実施形態において、ＨＭＤ１００、２００および３００は、透過型の頭部装着型表示装置であったが、これに代えて、ビデオシースルー型のＨＭＤであってもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ１５．他の実施形態１５：
上記各実施形態において、ＯＬＥＤユニット２２１、２４１は、ＯＬＥＤパネル２２３、２４３と、ＯＬＥＤパネル２２３、２４３を駆動するＯＬＥＤ駆動回路２２５、２４５とを有し、ＯＬＥＤパネル２２３、２４３は、有機エレクトロルミネッセンスにより発光し、それぞれ発する発光素子により構成される自発光型の表示パネルであったが、本発明はこれに限定されない。また、ＯＬＥＤパネル２２３、２４３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置されていたが、本発明はこれに限定されない。例えば、右表示ユニット２２および左表示ユニット２４は、それぞれ、光源部としてのＯＬＥＤパネルと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子と、を備える映像素子として構成されてもよい。なお、ＯＬＥＤパネルが発する光を変調する変調装置は、透過型液晶パネルが採用される構成に限定されない。例えば、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよいし、レーザースキャン方式のレーザー網膜投影型のＨＭＤとしてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ１６．他の実施形態１６：
上記各実施形態において、第１タスクが発生したと特定された場合に、第２ＨＭＤ２００および第３ＨＭＤ３００に対して第１関連情報を提供していたが、第２ＨＭＤ２００および第３ＨＭＤ３００に対して第１関連情報を提供しなくてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ１７．他の実施形態１７：
図２０は、他の実施形態１７におけるステップＳ１２５実行後の第１使用者ＵＳ１の視界ＶＴ４を模式的に示す説明図である。図２０に示す例では、第１タスクとして「注文をとる」タスクが発生した場合における視界ＶＴ４を示している。図２０では、図１３と同様に、第１ＨＭＤ１００の第１画像表示部２０を示している。図２０に示すように、視界ＶＴ４のうち、外景ＳＣには飲食店Ｒｓｔの様子が映っており、表示領域ＰＮ４には関連情報画像ＫＩ１１が表示されている。関連情報画像ＫＩ１１は、第１タスクの発生場所を矢印で示す画像である。なお、第１タスクの発生場所は、Ｂｌｕｅｔｏｏｔｈ（登録商標）ビーコン、ＡＲマーカー、およびＷｉ−Ｆｉ（登録商標）の電波強度等の公知技術を利用することにより特定できる。関連情報画像ＫＩ１１を現実空間に重畳させて表示させるのは、第１使用者ＵＳ１に対して、第１タスクの発生場所や、タスクの対象をより分かりやすく提示できるという理由からである。なお、関連情報画像ＫＩ１１に加えて、タスクの対象、対象の状態、タスクの負荷、タスクの習熟度等を示す関連情報画像を、第１使用者ＵＳ１の視界を遮らない程度に表示させてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ１８．他の実施形態１８：
上記各実施形態において、支援システムは、飲食店、レンタルビデオショップにおける作業支援に適用されていたが、本発明はこれに限定されない。例えば、支援システムは、知的な共同作業の会議、共同での学習、課題解決のための共同作業、およびエレクトロニックスポーツの練習等に適用されてもよい。エレクトロニックスポーツの練習においては、例えば、タスクの対象を使用者のチームの選手に予め定めておき、かかる選手の視線を対象の状態として特定することにより、パスのタイミングを練習させてもよいし、タスクの対象を対戦相手のチームの選手に予め定めておき、かかる選手の動き（位置の変化）を対象の状態として特定することにより、使用者の最適な動きを練習させてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ１９．他の実施形態１９：
上記第１実施形態および第２実施形態において、対象の状態は、撮像画像におけるタスクの対象の視線を検出することにより特定されていたが、本発明はこれに限定されない。例えば、視線の検出に代えて、または、視線の検出に加えて、撮像画像をパターンマッチングすることにより対象の状態が特定されてもよい。この場合、所定時間における対象の変化を特定することにより対象の状態が特定されてもよい。また、例えば、動画データから所定時間ごとの静止画像を切り出し、かかる静止画像における対象をパターンマッチングすることにより対象の状態が特定されてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ２０．他の実施形態２０：
上記各実施形態において、タスクに関する種々のデータ（以下、「タスクデータ」と呼ぶ）は、タスクデータ格納部１２５に格納されていたが、本発明はこれに限定されない。例えば、タスクデータは、無線通信部１１７を介して取得してもよい。具体的には、ＨＭＤ１００の使用者のスマートフォンや、サーバ装置等から取得してもよい。かかる構成では、無線通信部１１７を介して取得したタスクデータを利用して、タスクの対象、対象の状態、およびタスクの発生等が特定されてもよい。また、タスクデータ格納部１２５に格納されているタスクデータと、無線通信部１１７を介して取得したタスクデータとの両方のデータを利用して、タスクの対象、対象の状態、およびタスクの発生等が特定されてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ２１．他の実施形態２１：
上記各実施形態において、第１タスク発生特定部は、撮像画像における対象の状態に代えて、または、撮像画像における対象の状態に加えて、外部情報を取得するセンサーの検出結果を利用して第１タスクの発生を特定してもよい。「外部情報を取得するセンサー」とは、ＨＭＤ１００の使用者の視覚、嗅覚、聴覚等の五感の少なくともいずれかを介して、対象の状態を検出可能なセンサーを意味する。例えば、マイク６３を、外部情報を取得するセンサーとして用いてもよい。この場合、マイク６３に入力される音声として、タスクの対象である客が「すみませ〜ん」と呼ぶ声や、タスクの対象であるホールスタッフチーフが「こちらを手伝って」と呼ぶ声が検出された場合に、第１タスクが発生したと特定されてもよい。また、例えば、ＨＭＤ１００がサーモグラフィを備える構成とし、かかるサーモグラフィを、外部情報を取得するセンサーとして用いてもよい。具体的には、料理や飲み物の温度をサーモグラフィで検出し、所定の温度を下回る場合に第１タスクが発生したと特定されてもよい。このようにすることで、料理が冷める前に「料理を提供する」タスクを実行し得るという理由からである。このような構成においても、上記各実施形態と同様な効果を奏する。

本発明は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

Ｅ．他の形態：
（１）本発明の一実施形態によれば、透過型頭部装着型表示装置が提供される。この透過型頭部装着型表示装置は、外景を透過し、該外景とともに視認できるように表示対象の画像を表示する画像表示部と；撮像部と；前記撮像部により撮像された撮像画像から前記透過型頭部装着型表示装置の使用者が実行すべきタスクとして予め定められたタスクの対象を特定する対象特定部と；前記撮像画像における前記対象の状態に基づいて、前記タスクが発生したか否かを特定するタスク発生特定部と；前記タスクが発生したと特定された場合に、前記タスクに関連する関連情報を前記画像表示部に表示させる表示制御部と；を備える。
この形態の透過型頭部装着型表示装置によれば、撮像画像から使用者が実行すべきタスクの対象が特定され、撮像画像における対象の状態に基づいて、タスクが発生したか否かが特定され、タスクが発生したと特定された場合に関連情報が表示されるので、使用者はタスクが発生したことを容易に認識できる。

（２）上記形態の透過型頭部装着型表示装置において、通信部と；前記タスクが発生したと特定された場合に前記通信部を介して前記関連情報を提供する関連情報提供部と；をさらに備えていてもよい。この形態の透過型頭部装着型表示装置によれば、タスクが発生したと特定された場合に通信部を介して関連情報が提供されるので、透過型頭部装着型表示装置とは異なる装置の使用者は、容易に関連情報を取得できる。

（３）上記形態の透過型頭部装着型表示装置において、前記撮像画像における前記対象の視線を検出する視線検出部を；さらに備え；前記タスク発生特定部は、前記対象が前記使用者を見ている状態である場合に、前記タスクが発生したと特定してもよい。この形態の透過型頭部装着型表示装置によれば、撮像画像における対象の視線が検出され、対象が使用者を見ている状態である場合にタスクが発生したと特定されるので、タスクが発生したか否かを容易に特定できる。

（４）上記形態の透過型頭部装着型表示装置において、前記対象の位置を特定する対象位置特定部と；前記使用者の位置を特定する使用者位置特定部と；をさらに備え；前記タスク発生特定部は、前記対象が前記使用者から予め定められた距離以上離れている状態の場合に、前記タスクが発生していないと特定してもよい。この形態の透過型頭部装着型表示装置によれば、対象が使用者から予め定められた距離以上離れている状態の場合にタスクが発生していないと特定されるので、タスクが発生したか否かを精度よく特定できる。

（５）上記形態の透過型頭部装着型表示装置において、前記対象の位置を特定する対象位置特定部を；さらに備え；前記関連情報は、前記対象の位置を示す情報を含んでもよい。この形態の透過型頭部装着型表示装置によれば、関連情報は、対象の位置を示す情報を含むので、使用者が対象を探す手間を低減できる。

（６）本発明の他の実施形態によれば、支援システムが提供される。この支援システムは、第１使用者に装着される第１透過型頭部装着型表示装置；前記第１使用者とは異なる１以上の第２使用者に装着される１以上の第２透過型頭部装着型表示装置と；を含む複数の透過型頭部装着型表示装置を備え；前記第１透過型頭部装着型表示装置は、外景を透過し、該外景とともに視認できるように表示対象の画像を表示する第１画像表示部と；第１通信部と；撮像部と；前記撮像部により撮像された撮像画像から前記第１使用者が実行すべきタスクとして予め定められた第１タスクの対象を特定する対象特定部と；前記撮像画像における前記対象の状態に基づいて、前記第１タスクが発生したか否かを特定する第１タスク発生特定部と；前記第１タスクが発生したと特定された場合に、前記タスクに関連する第１関連情報を前記第１画像表示部に表示させる第１表示制御部と；前記第１タスクが発生したと特定された場合に、前記第１通信部を介して前記第１関連情報を提供する関連情報提供部と；を有し；前記第２透過型頭部装着型表示装置は、前記外景を透過し、前記外景とともに視認できるように表示対象の画像を表示する第２画像表示部と；第２通信部と；前記第２通信部による通信によって前記第１関連情報を取得する第１関連情報取得部と；取得された前記第１関連情報を前記第２画像表示部に表示させる第２表示制御部と；を有する。

この形態の支援システムによれば、第１透過型頭部装着型表示装置において、第１タスクが発生したと特定された場合に、第１関連情報が表示され、第１関連情報が提供され、第２透過型頭部装着型表示装置において、取得された第１関連情報が表示されるので、第１透過型頭部装着型表示装置の使用者および第２透過型頭部装着型表示装置の使用者は、第１タスクが発生したことを容易に認識できる。

（７）上記形態の支援システムにおいて、前記第１透過型頭部装着型表示装置は、前記対象の位置を特定する対象位置特定部と；前記第１使用者の動作を検出する動作検出部と；前記第１タスクが完了したか否かを特定する第１タスク完了特定部と；を備え；前記第１タスク完了特定部は、特定された前記対象の位置における前記第１使用者の動作が予め定められた動作と同じ動作である場合に、前記第１タスクが完了したと特定してもよい。
この形態の支援システムによれば、特定された対象の位置における第１使用者の動作が予め定められた動作と同じ動作である場合に、第１タスクが完了したと特定されるので、第１タスクが完了したか否かを容易に特定できる。

（８）上記形態の支援システムにおいて、前記第１透過型頭部装着型表示装置は、前記第２使用者の実行すべき前記タスクであって、前記第１タスクとは異なる第２タスクが発生したか否かを特定する第２タスク発生特定部を；さらに備え；前記第２タスク発生特定部は、前記第１タスクが完了していないと特定された場合に、前記第２タスクが発生したと特定してもよい。
この形態の支援システムによれば、第１タスクが完了していないと特定された場合に第２タスクが発生したと特定されるので、第２タスクが発生したか否かを容易に、また、精度よく特定できる。

（９）上記形態の支援システムにおいて、複数の前記第２使用者に装着される複数の前記第２透過型頭部装着型表示装置を備え；前記第１透過型頭部装着型表示装置は、各前記第２使用者の位置を前記第１通信部による通信によって取得する位置取得部と；各前記第２使用者の負荷状況を前記第１通信部による通信によって取得する負荷状況取得部と；複数の前記第２使用者のうちのいずれかの前記第２使用者が実行すべき前記タスクであって、前記第１タスクとは異なる第２タスクの実行者を決定する実行者決定部と；をさらに備え；前記実行者決定部は、取得された各前記第２使用者の位置と、取得された各前記第２使用者の負荷状況と、に基づいて、前記実行者を決定してもよい。
この形態の支援システムによれば、取得された各第２使用者の位置と取得された各第２使用者の負荷状況とに基づいて実行者が決定されるので、支援システム内において適切な使用者を実行者として決定できる。

（１０）上記形態の支援システムにおいて、前記実行者決定部は、予め定められた前記第２タスクの優先度と、各前記第２使用者の予め定められた習熟度と、を利用して、前記実行者を決定してもよい。この形態の支援システムによれば、予め定められた第２タスクの優先度と各第２使用者の予め定められた習熟度とを利用して、実行者が決定されるので、タスクが実行される場所や使用者の習熟度に応じて適切な使用者を実行者として決定できる。

（１１）上記形態の支援システムにおいて、前記第２透過型頭部装着型表示装置は、前記第２通信部による通信によって前記第２タスクに関連する第２関連情報を取得する第２関連情報取得部を；さらに備え；前記第２表示制御部は、取得された前記第２関連情報を前記第２画像表示部に表示させてもよい。この形態の支援システムによれば、第２関連情報を第２画像表示部に表示させるので、第２タスクの実行者に第２関連情報を知らしめることができる。

（１２）上記形態の支援システムにおいて、前記第２表示制御部は、前記実行者の前記第２タスクの習熟度に応じて前記第２関連情報を異ならせて表示させてもよい。この形態の支援システムによれば、実行者の第２タスクの習熟度に応じて第２関連情報を異ならせて表示させるので、第２タスクの習熟度の低い実行者にはより多くの第２関連情報を表示させることができ、また、第２タスクの習熟度の高い実行者にはより少ない第２関連情報を表示させることができ、第２タスクの実行者に適切な情報を表示できる。

本発明は、種々の形態で実現することも可能である。例えば、透過型頭部装着型表示装置における表示制御方法、支援システム、これらの方法およびシステムの機能を実現するためのコンピュータープログラム、かかるコンピュータープログラムを記録した記録媒体等の形態で実現できる。

１…作業支援システム、１０…第１制御装置、１２…点灯部、１４…トラックパッド、１６…方向キー、１７…決定キー、１８…電源スイッチ、１９…バイブレーター、２０…第１画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、６１…カメラ、６３…マイク、６５…照度センサー、６７…ＬＥＤインジケーター、１００…第１透過型頭部装着型表示装置、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＮＳＳレシーバー、１１７…無線通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶機能部、１２３…設定データ格納部、１２４…コンテンツデータ格納部、１２５…タスクデータ格納部、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４５…画像処理部、１４７…第１表示制御部、１４９…撮像制御部、１５０…第１制御機能部、１５１…入出力制御部、１５３…対象特定部、１５５…第１タスク発生特定部、１５７…第１タスク完了特定部、１５９…関連情報提供部、１６１…視線検出部、１６３…対象位置特定部、１６５…第１動作検出部、１６７…第２タスク発生特定部、１６９…第２タスク完了特定部、１７１…位置取得部、１７３…負荷状況取得部、１７５…実行者決定部、１８０…音声コーデック、１８２…音声インターフェイス、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９６…インターフェイス、２００…第２透過型頭部装着型表示装置、２０９…表示ユニット基板、２１０…第２制御装置、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２０…第２画像表示部、２２１…ＯＬＥＤユニット、２２３…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２３０…表示ユニット基板、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、２４３…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２５１…右光学系、２５２…左光学系、２６１…ハーフミラー、２８１…ハーフミラー、３００…第３透過型頭部装着型表示装置、３１０…第３制御装置、３２０…第３画像表示部、４５０…第２制御機能部、４５５…第２表示制御部、４５７…関連情報取得部、４５９…位置提供部、４６１…負荷状況提供部、５５０…第３制御機能部、５５５…第３表示制御部、５５７…関連情報取得部、５５９…位置提供部、５６１…負荷状況提供部、５６３…第２動作検出部、５６５…第２タスク完了特定部、ＡＩ…対象画像、ＢＳ…レンタルビデオショップ、ＣＩ…撮像画像、ＥＬ…端部、ＥＲ…端部、ＫＩ１…関連情報画像、ＫＩ２…関連情報画像、ＫＩ３…関連情報画像、ＫＩ４…関連情報画像、ＫＩ５…関連情報画像、ＫＩ６…関連情報画像、ＫＩ７…関連情報画像、ＫＩ８…関連情報画像、ＫＩ９…関連情報画像、ＫＩ１０…関連情報画像、ＫＩ１１…関連情報画像、Ｌ…画像光、ＬＥ…左眼、Ｍｐ…店内マップ画像、ＯＢ…対象物、ＯＬ…外光、ＰＮ…表示領域、ＰＮ１…表示領域、ＰＮ２…表示領域、ＰＮ３…表示領域、ＰＮ４…表示領域、ＲＤ…視線、ＲＥ…右眼、Ｒｓｔ…飲食店、ＳＣ…外景、Ｓｈ…食器棚、ＴＬ…タスクデータ、Ｔｇ１…客、ＵＳ１…第１使用者、ＵＳ２…第２使用者、ＵＳ３…第３使用者、ＶＴ…視界、ＶＴ１…視界、ＶＴ２…視界、ＶＴ３…視界、ＶＴ４…視界、ｄ１…皿、ｄ２…皿、ｄ３…皿

Claims (14)

1. 透過型頭部装着型表示装置であって、
   外景を透過し、該外景とともに視認できるように表示対象の画像を表示する画像表示部と、
   撮像部と、
   前記撮像部により撮像された撮像画像から前記透過型頭部装着型表示装置の使用者が実行すべきタスクとして予め定められたタスクの対象を特定する対象特定部と、
   前記撮像画像における前記対象の状態に基づいて、前記タスクが発生したか否かを特定するタスク発生特定部と、
   前記タスクが発生したと特定された場合に、前記タスクに関連する関連情報を前記画像表示部に表示させる表示制御部と、
   を備える、
   透過型頭部装着型表示装置。
2. 請求項１に記載の透過型頭部装着型表示装置であって、
   通信部と、
   前記タスクが発生したと特定された場合に前記通信部を介して前記関連情報を提供する関連情報提供部と、
   をさらに備える、
   透過型頭部装着型表示装置。
3. 請求項１または請求項２に記載の透過型頭部装着型表示装置であって、
   前記撮像画像における前記対象の視線を検出する視線検出部を、さらに備え、
   前記タスク発生特定部は、前記対象が前記使用者を見ている状態である場合に、前記タスクが発生したと特定する、
   透過型頭部装着型表示装置。
4. 請求項１から請求項３までのいずれか一項に記載の透過型頭部装着型表示装置であって、
   前記対象の位置を特定する対象位置特定部と、
   前記使用者の位置を特定する使用者位置特定部と、
   をさらに備え、
   前記タスク発生特定部は、前記対象が前記使用者から予め定められた距離以上離れている状態の場合に、前記タスクが発生していないと特定する、
   透過型頭部装着型表示装置。
5. 請求項１から請求項４までのいずれか一項に記載の透過型頭部装着型表示装置であって、
   前記対象の位置を特定する対象位置特定部を、さらに備え、
   前記関連情報は、前記対象の位置を示す情報を含む、
   透過型頭部装着型表示装置。
6. 支援システムであって、
   第１使用者に装着される第１透過型頭部装着型表示装置と、
   前記第１使用者とは異なる１以上の第２使用者に装着される１以上の第２透過型頭部装着型表示装置と、
   を含む複数の透過型頭部装着型表示装置を備え、
   前記第１透過型頭部装着型表示装置は、
   外景を透過し、該外景とともに視認できるように表示対象の画像を表示する第１画像表示部と、
   第１通信部と、
   撮像部と、
   前記撮像部により撮像された撮像画像から前記第１使用者が実行すべきタスクとして予め定められた第１タスクの対象を特定する対象特定部と、
   前記撮像画像における前記対象の状態に基づいて、前記第１タスクが発生したか否かを特定する第１タスク発生特定部と、
   前記第１タスクが発生したと特定された場合に、前記タスクに関連する第１関連情報を前記第１画像表示部に表示させる第１表示制御部と、
   前記第１タスクが発生したと特定された場合に、前記第１通信部を介して前記第１関連情報を提供する関連情報提供部と、
   を有し、
   前記第２透過型頭部装着型表示装置は、
   前記外景を透過し、前記外景とともに視認できるように表示対象の画像を表示する第２画像表示部と、
   第２通信部と、
   前記第２通信部による通信によって前記第１関連情報を取得する第１関連情報取得部と、
   取得された前記第１関連情報を前記第２画像表示部に表示させる第２表示制御部と、
   を有する、
   支援システム。
7. 請求項６に記載の支援システムであって、
   前記第１透過型頭部装着型表示装置は、
   前記対象の位置を特定する対象位置特定部と、
   前記第１使用者の動作を検出する動作検出部と、
   前記第１タスクが完了したか否かを特定する第１タスク完了特定部と、
   を備え、
   前記第１タスク完了特定部は、特定された前記対象の位置における前記第１使用者の動作が予め定められた動作と同じ動作である場合に、前記第１タスクが完了したと特定する、
   支援システム。
8. 請求項６または請求項７に記載の支援システムであって、
   前記第１透過型頭部装着型表示装置は、
   前記第２使用者の実行すべき前記タスクであって、前記第１タスクとは異なる第２タスクが発生したか否かを特定する第２タスク発生特定部を、さらに備え、
   前記第２タスク発生特定部は、前記第１タスクが完了していないと特定された場合に、前記第２タスクが発生したと特定する、
   支援システム。
9. 請求項６から請求項８までのいずれか一項に記載の支援システムであって、
   複数の前記第２使用者に装着される複数の前記第２透過型頭部装着型表示装置を備え、
   前記第１透過型頭部装着型表示装置は、
   各前記第２使用者の位置を前記第１通信部による通信によって取得する位置取得部と、
   各前記第２使用者の負荷状況を前記第１通信部による通信によって取得する負荷状況取得部と、
   複数の前記第２使用者のうちのいずれかの前記第２使用者が実行すべき前記タスクであって、前記第１タスクとは異なる第２タスクの実行者を決定する実行者決定部と、
   をさらに備え、
   前記実行者決定部は、取得された各前記第２使用者の位置と、取得された各前記第２使用者の負荷状況と、に基づいて、前記実行者を決定する、
   支援システム。
10. 請求項９に記載の支援システムであって、
    前記実行者決定部は、予め定められた前記第２タスクの優先度と、各前記第２使用者の予め定められた習熟度と、を利用して、前記実行者を決定する、
    支援システム。
11. 請求項９または請求項１０に記載の支援システムであって、
    前記第２透過型頭部装着型表示装置は、
    前記第２通信部による通信によって前記第２タスクに関連する第２関連情報を取得する第２関連情報取得部を、さらに備え、
    前記第２表示制御部は、取得された前記第２関連情報を前記第２画像表示部に表示させる、
    支援システム。
12. 請求項１１に記載の支援システムであって、
    前記第２表示制御部は、前記実行者の前記第２タスクの習熟度に応じて前記第２関連情報を異ならせて表示させる、
    支援システム。
13. 外景を透過し、該外景とともに視認できるように表示対象の画像を表示する画像表示部と、撮像部と、を備える透過型頭部装着型表示装置における表示制御方法であって、
    前記撮像部により撮像された撮像画像から前記透過型頭部装着型表示装置の使用者が実行すべきタスクとして予め定められたタスクの対象を特定する工程と、
    前記撮像画像における前記対象の状態に基づいて、前記タスクが発生したか否かを特定する工程と、
    前記タスクが発生したと特定された場合に、前記タスクに関連する関連情報を前記画像表示部に表示させる工程と、
    を備える、
    表示制御方法。
14. 外景を透過し、該外景とともに視認できるように表示対象の画像を表示する画像表示部と、撮像部と、を備える透過型頭部装着型表示装置における表示制御を実現するためのコンピュータープログラムであって、
    前記撮像部により撮像された撮像画像から前記透過型頭部装着型表示装置の使用者が実行すべきタスクとして予め定められたタスクの対象を特定する機能と、
    前記撮像画像における前記対象の状態に基づいて、前記タスクが発生したか否かを特定する機能と、
    前記タスクが発生したと特定された場合に、前記タスクに関連する関連情報を前記画像表示部に表示させる機能と、
    をコンピューターに実現させるための、
    コンピュータープログラム。

Images