JP2018112809A - 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム - Google Patents

Abstract

【課題】移動体の操作性を高める。
【解決手段】透過型の頭部装着型表示装置は、使用者の頭部に装着された状態において、外景を透過させて使用者に外景を視認させるとともに、外景に虚像画像を重畳させて使用者に視認させる画像表示部と、画像表示部を制御する制御部と、画像表示部が装着された使用者の位置を検出する位置検出部と、使用者の視界を検出する視界検出部と、外部の機器と無線通信を行なう無線通信部と、を備える。制御部は、無線通信部を介して、使用者の操作対象物としての移動体である自機の位置を含む状態情報を取得する状態情報取得部と、使用者の位置及び視界と自機の位置との関係に基づいて、自機の操作のための支援情報を含む支援画像を作成して虚像画像として画像表示部に表示させる支援情報作成部と、を備える。
【選択図】図１２

Description

本発明は、頭部装着型表示装置と、頭部装着型表示装置の制御方法と、コンピュータープログラムと、に関する。

近年、ドローン（Drone）のように、遠隔操縦または自律飛行が可能な無人機（無人航空機）の開発が進んでいる。無人機は、機体に搭載されているＧＰＳセンサーやＩＭＵセンサー、画像センサー等の各種センサーにより飛行位置や機体の状態を把握しつつ飛行することができる。この際、遠隔操縦を行なう操縦者は、自機を肉眼で把握しながら飛行させることにより、自機のおおよその高度及び位置を把握しながら操縦することが可能である。また、自律飛行を監視し、場合によっては制御を行なう者や、遠隔操縦の操縦者は、自機から送信されてくる、画像や、位置及び高度の情報、等を、監視及び制御用のＰＣ、タブレットや、遠隔操縦用のコントローラー、等の自機と無線通信可能な機器で取得して、機体の状態を把握することが可能である。なお、以下では、自機と無線通信可能な機器を「遠隔制御装置」とも呼ぶ。また、遠隔操縦の操縦者や、自律飛行の監視等を行なう者を単に「操作者」とも呼び、操縦や監視、制御等を単に「操作」とも呼ぶ。

なお、特許文献１には、ユーザー（操縦者）が、機体を見て、遠隔制御装置の傾斜を変化させることにより、直感的に機体の操縦を可能と制御方法が開示されている。

特開２０１３−１４４５３９号公報

ここで、複数の無人機が飛行している状況において、操縦者の視界に複数の無人機が見える状態となった場合に、自機を見失う恐れがある。例えば、無人機による空撮画像の確認や、遠隔制御装置の操作等のために、一端、自機から目を離した隙に、操縦している自機がどの機体であるか判らなくなってしまうことがある。特に、高速で上空を移動する機体から目を離した場合、高速に移動しているために、自機を見失いやすい。一端見失った機体を探している時間においては、機体の操作は可能であるものの、操作者による制御や操縦がなされているわけではなく、他機との接触や、建造物や自然物との接触等の種々の不都合が発生する恐れがある。そこで、操作者の操作する自機の識別性を高めることや、自機の操作性を高めることが望まれている。なお、このような課題は、無人機に限らず、遠隔操作や自動運転される種々の無人の移動体に共通する課題であった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、使用者の頭部に装着された状態において、外景を透過させて前記使用者に前記外景を視認させるとともに、前記外景に虚像画像を重畳させて前記使用者に視認させる画像表示部と；前記画像表示部を制御する制御部と；前記画像表示部が装着された前記使用者の位置を検出する位置検出部と；前記使用者の視界を検出する視界検出部と；外部の機器と無線通信を行なう無線通信部と；を備える。前記制御部は、前記無線通信部を介して、前記使用者の操作対象物としての移動体である自機の位置を含む状態情報を取得する状態情報取得部と；前記使用者の位置及び視界と前記自機の位置との関係に基づいて、前記自機の操作のための支援情報を含む支援画像を作成して前記虚像画像として前記画像表示部に表示させる支援情報作成部と；を備える。
この形態の頭部装着型表示装置によれば、使用者の位置及び視界と自機の位置との関係に基づいて、自機の操作のための支援情報を含む支援画像を作成して虚像画像として外景に重畳して画像表示部に表示させることができるので、使用者は支援画像を参照しながら自機の操作を行なうことが可能であり、自機の操作性を高めることが可能である。

（２）上記形態の頭部装着型表示装置において、前記状態情報取得部は、前記自機を制御するために使用される遠隔制御装置に対して前記自機から送信されてくる前記状態情報を、前記無線通信部を含む無線通信経路を介して取得する、ようにしてもよい。
この形態の頭部装着型表示装置によれば、自機の状態情報を容易に取得して、支援画像の作成に利用することができる。

（３）上記形態の頭部装着型表示装置において、前記状態情報取得部は、さらに、前記自機以外の１つ以上の移動体である他機をそれぞれ制御するために使用される１つ以上の遠隔制御装置のそれぞれに対して前記他機から送信されてくる前記他機の状態情報を、前記無線通信経路を介して取得する、ようにしてもよい。
この形態の頭部装着型表示装置によれば、自機の状態情報及び他機の状態情報を容易に取得して、支援画像の作成に利用することができる。

（４）上記形態の頭部装着型表示装置において、前記支援情報作成部は、前記使用者の位置及び視界と前記自機の位置との関係に基づいて、前記使用者の視界に前記自機が含まれていないことが特定された場合において、前記自機の位置する方向を示す指示画像を前記虚像画像として前記画像表示部に表示させる、ようにしてもよい。
この形態の頭部装着型表示装置によれば、前記使用者の視界に自機が存在しない場合に、自機が存在する方向を使用者に認識させて、使用者の視界に自機が入るように導くことができる。

（５）上記形態の頭部装着型表示装置において、前記支援情報作成部は、前記使用者の位置及び視界と前記自機の位置との関係に基づいて、前記使用者の視界に前記自機が含まれていることが特定された場合において、前記自機を識別させるマーカー画像を前記虚像画像として前記画像表示部に表示させる、ようにしてもよい。
この形態の頭部装着型表示装置によれば、使用者は、視界内に存在する自機を容易に識別することができる。

（６）上記（２）の形態における上記（５）の形態の頭部装着型表示装置において、前記支援情報作成部は、さらに、前記使用者の視界に含まれる前記自機に対して、前記自機の状態情報に含まれる移動方向を示す移動方向情報を前記虚像画像として前記画像表示部に表示させる、ようにしてもよい。
この形態の頭部装着型表示装置によれば、使用者が自機の移動方向を容易に把握することができる。

（７）上記（３）の形態における上記（５）の形態の頭部装着型表示装置において、前記支援情報作成部は、さらに、前記使用者の視界に含まれる前記自機に対して、前記自機の状態情報に含まれる移動方向を示す移動方向情報を前記虚像画像として前記画像表示部に表示させるとともに、前記使用者の視界に含まれる前記他機に対して、前記他機の状態情報に含まれる移動方向を示す移動方向情報を前記虚像画像として前記画像表示部に表示させる、ようにしてもよい。
この形態の頭部装着型表示装置によれば、使用者が視界内にある自機及び他機の移動方向を容易に把握することができる。

（８）上記（３）の形態における上記（５）〜（７）の形態の頭部装着型表示装置において、前記支援情報作成部は、さらに、前記自機に対して予め定めた第１接近条件を満たす他機が存在する場合に、前記自機の状態情報に含まれる前記自機の位置及び予め定めた時間経過後の予測位置と、前記第１接近条件を満たす他機の状態情報に含まれる前記他機の位置及びおよび予め定めた時間経過後の予測位置と、に基づいて、前記自機と前記他機とが予め定めた第２接近条件を満たす場合に、前記他機の接近状態を示す情報を前記虚像画像として前記画像表示部に表示させる、ようにしてもよい。
この形態の頭部装着型表示装置によれば、使用者に自機に接近する他機の接近状態を容易に把握することができる。

（９）上記形態の頭部装着型表示装置において、前記支援情報作成部は、前記外景に対して前記支援画像が識別容易となるように、前記外景の状態に応じて前記支援画像の状態を変化させる、ようにしてもよい。
この形態の頭部装着型表示装置によれば、外景に対して支援画像が識別容易となるように、外景の状態に応じて支援画像の状態を変化させることができるので、外景に対して支援画像の識別性を向上させることができる。例えば、外景（空、雲、風景等）に応じて支援画像の色や線や文字の太さ等を変更することにより、外景に対して支援画像の識別性を向上させることができる。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示装置の備える各構成要素の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等で実現できる。

第１実施形態における操作支援システムの概略構成を示す説明図。 画像表示部が備える光学系の構成を示す要部平面図。 使用者から見た画像表示部の要部構成を示す図。 カメラの画角を説明するための図。 ＨＭＤの構成を機能的に示すブロック図。 制御装置の構成を機能的に示すブロック図。 遠隔制御装置の構成を機能的に示すブロック図。 遠隔制御装置における状態情報取得処理を示すフローチャート。 機体操作支援処理のうちの状態情報取得処理を示すフローチャート。 機体操作支援処理のうちの支援情報作成処理を示すフローチャート。 指示画像の表示の一例を示す説明図。 マーカー画像及び参考画像の表示の一例を示す説明図。 自機のマーカー画像の変形例を示す説明図。 支援画像としてマップ画像を表示した変形例を示す説明図。 第２実施形態における操作支援システムの概略構成を示す説明図。 制御装置の構成を機能的に示すブロック図。 遠隔制御装置の構成を機能的に示すブロック図。 管理サーバーの構成を機能的に示すブロック図。 機体状態データベースの一例を示す説明図。 状態情報取得部による状態情報取得処理を示すフローチャート。 支援情報作成部による支援情報作成処理を示すフローチャート。 自機へのマーカー画像及び参考画像の表示と、他機への参考画像の表示の一例を示す説明図。 支援画像としてマップ画像を表示した変形例を示す説明図。 変形例の画像表示部が備える光学系の構成を示す要部平面図。

Ａ．第１実施形態：
Ａ１．操作支援システムの構成：
図１は、本発明の第１実施形態における操作支援システムの概略構成を示す説明図である。操作支援システム１０００は、頭部装着型表示装置１００と、無人機４００と、遠隔制御装置５００と、を備えている。

頭部装着型表示装置１００は、後述するように、無人機４００の操作を支援するために、無人機４００の状態に関する情報（状態情報）を頭部装着型表示装置１００の使用者に提供する。

頭部装着型表示装置１００は、使用者の頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型（透過型）の頭部装着型表示装置である。ここで、使用者は、無人機４００を操作する操作者である。

ＨＭＤ１００は、使用者に画像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置（コントローラー）１０とを備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。

右保持部２１および左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部２３は、前部フレーム２７の端部ＥＬから、画像表示部２０の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。

右導光板２６および左導光板２８は、前部フレーム２７に設けられている。右導光板２６は、画像表示部２０の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有する。この連結位置は、画像表示部２０の装着状態における使用者の眉間の位置に対応する。前部フレーム２７には、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部２１と左保持部２３とによって、画像表示部２０を使用者の頭部に保持できる。また、右保持部２１および左保持部２３に対して、画像表示部２０の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部２０を使用者の頭部に強固に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示を行う。右表示ユニット２２は、右保持部２１に設けられ、画像表示部２０の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を行う。左表示ユニット２４は、左保持部２３に設けられ、画像表示部２０の装着状態における使用者の左側頭部の近傍に位置する。なお、右表示ユニット２２および左表示ユニット２４を総称して「表示駆動部」とも呼ぶ。

本実施形態の右導光板２６および左導光板２８は、光透過性の樹脂等によって形成される光学部（例えばプリズム）であり、右表示ユニット２２および左表示ユニット２４が出力する画像光を使用者の眼に導く。なお、右導光板２６および左導光板２８の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム２７の表面（使用者の眼と対向する面とは反対側の面）を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６および左導光板２８に入射し、右導光板２６および左導光板２８を透過する外光の光量を調整できる。

画像表示部２０は、右表示ユニット２２および左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６および左導光板２８に導き、この画像光によって画像（拡張現実感（Augmented Reality、ＡＲ）画像）を使用者に視認させる（これを「画像を表示する」とも呼ぶ）。使用者の前方から右導光板２６および左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、画像を構成する画像光と、外光とが重畳して入射する。このため、使用者における画像の視認性は、外光の強さに影響を受ける。

このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、画像の視認のしやすさを調整することができる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。また、太陽光を抑制して、画像の視認性を高めることができる。また、調光板を用いると、右導光板２６および左導光板２８を保護し、右導光板２６および左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、あるいは、右導光板２６および左導光板２８のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。

カメラ６１は、画像表示部２０の前部フレーム２７に配置されている。カメラ６１は、前部フレーム２７の前面において、右導光板２６および左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１は、前部フレーム２７の端部ＥＲ側に配置されている。カメラ６１は、前部フレーム２７の端部ＥＬ側に配置されていてもよく、右導光板２６と左導光板２８との連結部に配置されていてもよい。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラを採用してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、画像表示部２０の装着状態において使用者が視認する視界の、少なくとも一部の外景（実空間）を撮像する。換言すれば、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。カメラ６１の画角の広さは適宜設定できる。本実施形態では、カメラ６１の画角の広さは、使用者が右導光板２６および左導光板２８を透過して視認可能な使用者の視界の全体を撮像するように設定される。カメラ６１は、制御機能部１５０（図５）の制御に従って撮像を実行し、得られた撮像データを制御機能部１５０へ出力する。

ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する測距センサーを備えていてもよい。測距センサーは、例えば、前部フレーム２７の右導光板２６と左導光板２８との連結部分に配置することができる。測距センサーの測定方向は、ＭＤ１００の表側方向（カメラ６１の撮像方向と重複する方向）とすることができる。測距センサーは、例えば、ＬＥＤやレーザーダイオード等の発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。測距センサーは、例えば、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。測距センサーはカメラ６１と同様に、制御機能部１５０により制御され、検出結果を制御機能部１５０へ出力する。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。説明の便宜上、図２には使用者の右眼ＲＥおよび左眼ＬＥを図示する。図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成されている。

右眼ＲＥに画像（ＡＲ画像）を視認させる構成として、右表示ユニット２２は、ＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、右光学系２５１とを備える。ＯＬＥＤユニット２２１は、画像光を発する。右光学系２５１は、レンズ群等を備え、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６へと導く。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置されている。

ＯＬＥＤ駆動回路２２５は、制御機能部１５０（図５）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択および通電を実行し、発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー２１７（図５）が実装される。なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加えて、Ｗ（白）の光を放射する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３が採用されてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射後、右導光板２６から右眼ＲＥへと射出され、この画像光Ｌが右眼ＲＥの網膜で像を結ぶことで、使用者に画像を視認させる。

左眼ＬＥに画像（ＡＲ画像）を視認させる構成として、左表示ユニット２４は、ＯＬＥＤユニット２４１と、左光学系２５２とを備える。ＯＬＥＤユニット２４１は画像光を発する。左光学系２５２は、レンズ群等を備え、ＯＬＥＤユニット２４１が発する画像光Ｌを左導光板２８へと導く。ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５を有する。各部の詳細は、ＯＬＥＤユニット２２１、ＯＬＥＤパネル２２３、ＯＬＥＤ駆動回路２２５と同じである。ＯＬＥＤパネル２４３の裏面に固定される基板には、温度センサー２３９（図５）が実装される。また、左光学系２５２の詳細は右光学系２５１と同じである。

以上説明した構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。使用者の左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、左導光板２８を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板２６および左導光板２８を透かして外景（実世界）が見えると共に、この外景に重なるようにして画像光Ｌによる虚像（虚像画像、ＡＲ画像）が視認される。

なお、ハーフミラー２６１およびハーフミラー２８１は、右表示ユニット２２および左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す「画像取り出し部」として機能する。また、右光学系２５１および右導光板２６を総称して「右導光部」とも呼び、左光学系２５２および左導光板２８を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に画像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。

図１において、制御装置１０と画像表示部２０とは、接続ケーブル４０によって接続される。接続ケーブル４０は、制御装置１０の下部に設けられるコネクターに着脱可能に接続され、左保持部２３の先端から、画像表示部２０内部の各種回路に接続する。接続ケーブル４０には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル４０にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル４０の途中には、コネクター４６が設けられている。

コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図１に示す本実施形態の例では、コネクター４６には、ステレオヘッドホンを構成する右イヤホン３２および左イヤホン３４と、マイク６３を有するヘッドセット３０とが接続されている。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置されている。マイク６３は、音声を集音し、音声信号を音声インターフェース１８２（図５）に出力する。マイク６３は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。

制御装置１０は、ＨＭＤ１００を制御するための装置である。制御装置１０は、点灯部１２と、タッチパッド１４と、方向キー１６と、決定キー１７と、電源スイッチ１８とを含んでいる。点灯部１２は、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。

タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。決定キー１７は、押下操作を検出して、制御装置１０において操作された内容を決定するための信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源の状態を切り替える。

図３は、使用者から見た画像表示部２０の要部構成を示す図である。図３では、接続ケーブル４０、右イヤホン３２、左イヤホン３４の図示を省略している。図３の状態では、右導光板２６および左導光板２８の裏側が視認できると共に、右眼ＲＥに画像光を照射するためのハーフミラー２６１、および、左眼ＬＥに画像光を照射するためのハーフミラー２８１が略四角形の領域として視認できる。使用者は、これらハーフミラー２６１、２８１を含む左右の導光板２６、２８の全体を透過して外景を視認すると共に、ハーフミラー２６１、２８１の位置に矩形の表示画像を視認する。

図４は、カメラ６１の画角を説明するための図である。図４では、カメラ６１と、使用者の右眼ＲＥおよび左眼ＬＥとを平面視で模式的に示すと共に、カメラ６１の画角（撮像範囲）をθで示す。なお、カメラ６１の画角θは図示のように水平方向に拡がっているほか、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。

上述のようにカメラ６１は、画像表示部２０において右側の端部に配置され、使用者の視線の方向（すなわち使用者の前方）を撮像する。このためカメラ６１の光軸は、右眼ＲＥおよび左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で対象物ＯＢを注視すると、使用者の視線は、図中の符号ＲＤ、ＬＤに示すように、対象物ＯＢに向けられる。この場合、使用者から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍであることがより多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物ＯＢまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められＨＭＤ１００にプリセットされていてもよいし、使用者が設定してもよい。カメラ６１の光軸および画角は、このような通常使用時における対象物ＯＢまでの距離が、設定された上限および下限の目安に相当する場合において対象物ＯＢが画角に含まれるように設定されることが好ましい。

なお、一般的に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされる。そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５〜７０度程度とされている。この場合、注視点が対象物ＯＢ（図４）であるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５〜７０度程度が安定注視野である。使用者が画像表示部２０を透過して右導光板２６および左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。なお、この実視野が「視界」に相当する。

本実施形態のカメラ６１の画角θは、使用者の視野より広い範囲を撮像可能に設定される。カメラ６１の画角θは、少なくとも使用者の有効視野より広い範囲を撮像可能に設定されることが好ましく、実視野よりも広い範囲を撮像可能に設定されることがより好ましい。カメラ６１の画角θは、使用者の安定注視野より広い範囲を撮像可能に設定されることがさらに好ましく、使用者の両眼の視野角よりも広い範囲を撮像可能に設定されることが最も好ましい。このため、カメラ６１には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、カメラ６１には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。

図５は、ＨＭＤ１００の構成を機能的に示すブロック図である。制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０と、記憶部と、入出力部と、センサー類と、インターフェースと、電源部１３０とを備える。メインプロセッサー１４０には、これらの記憶部、入出力部、センサー類、インターフェース、電源部１３０がそれぞれ接続されている。メインプロセッサー１４０は、制御装置１０が内蔵しているコントローラー基板１２０に実装されている。

記憶部には、メモリー１１８と、不揮発性記憶部１２１とが含まれている。メモリー１１８は、メインプロセッサー１４０によって実行されるコンピュータープログラム、および、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するコンピュータープログラムや、メインプロセッサー１４０によって処理される各種のデータを記憶する。本実施形態において、これらの記憶部はコントローラー基板１２０に実装されている。

入出力部には、タッチパッド１４と、操作部１１０とが含まれている。操作部１１０には、制御装置１０に備えられた方向キー１６と、決定キー１７と、電源スイッチ１８とが含まれる。メインプロセッサー１４０は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。

センサー類には、６軸センサー１１１と、磁気センサー１１３と、ＧＰＳ（Global Positioning System）レシーバー１１５とが含まれている。６軸センサー１１１は、３軸加速度センサーと３軸ジャイロ（角速度）センサーとを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、これらセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。磁気センサー１１３は、例えば、３軸の地磁気センサーである。ＧＰＳレシーバー１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。これらセンサー類（６軸センサー１１１、磁気センサー１１３、ＧＰＳレシーバー１１５）は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー１４０へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー１４０からの指示に応じてもよい。なお、ＧＰＳレシーバー１１５は、制御機能部１５０と協調することにより、ＨＭＤ１００を装着した使用者の現在位置を特定する「位置検出部」として機能する。

インターフェースには、無線通信部１１７と、音声コーデック１８０と、外部コネクター１８４と、外部メモリーインターフェース１８６と、ＵＳＢ（Universal Serial Bus）コネクター１８８と、センサーハブ１９２と、ＦＰＧＡ１９４と、インターフェース１９６とが含まれている。これらは、外部とのインターフェースとして機能する。無線通信部１１７は、ＨＭＤ１００と外部機器との間における無線通信を実行する。無線通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）を含む無線ＬＡＮ等の規格に準拠した無線通信を行う。

音声コーデック１８０は、音声インターフェース１８２に接続され、音声インターフェース１８２を介して入出力される音声信号のエンコード／デコードを行う。音声インターフェース１８２は、音声信号を入出力するインターフェースである。音声コーデック１８０は、アナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、および、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。本実施形態のＨＭＤ１００は、音声を右イヤホン３２および左イヤホン３４から出力し、マイク６３により集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換し、音声インターフェース１８２を介して出力する。また、音声コーデック１８０は、音声インターフェース１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。

外部コネクター１８４は、メインプロセッサー１４０に対して、メインプロセッサー１４０と通信する外部装置（例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等）を接続するためのコネクターである。外部コネクター１８４に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー１４０が実行するコンピュータープログラムのデバッグや、ＨＭＤ１００の動作ログの収集に使用できる。外部コネクター１８４は種々の態様を採用できる。外部コネクター１８４としては、例えば、ＵＳＢインターフェース、マイクロＵＳＢインターフェース、メモリーカード用インターフェース等の有線接続に対応したインターフェースや、無線ＬＡＮインターフェース、Ｂｌｕｅｔｏｏｔｈインターフェース等の無線接続に対応したインターフェースを採用できる。

外部メモリーインターフェース１８６は、可搬型のメモリーデバイスを接続可能なインターフェースである。外部メモリーインターフェース１８６は、例えば、カード型記録媒体を装着してデータの読み書きを行うメモリーカードスロットと、インターフェース回路とを含む。カード型記録媒体のサイズ、形状、規格等は適宜選択できる。ＵＳＢコネクター１８８は、ＵＳＢ規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェースである。ＵＳＢコネクター１８８は、例えば、ＵＳＢ規格に準拠したコネクターと、インターフェース回路とを含む。ＵＳＢコネクター１８８のサイズ、形状、ＵＳＢ規格のバージョン等は適宜選択できる。

また、ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー１４０の制御に従って振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合や、ＨＭＤ１００の電源がオンオフされた場合等に所定の振動パターンでバイブレーター１９により振動を発生させる。バイブレーター１９は、制御装置１０に設ける構成に換えて、画像表示部２０側、例えば、画像表示部の右保持部２１（テンプルの右側部分）に設ける構成としてもよい。

センサーハブ１９２およびＦＰＧＡ１９４は、インターフェース（Ｉ／Ｆ）１９６を介して画像表示部２０に接続されている。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得して、メインプロセッサー１４０に出力する。ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信されるデータの処理およびインターフェース１９６を介した伝送を実行する。インターフェース１９６は、画像表示部２０の右表示ユニット２２と、左表示ユニット２４とに対してそれぞれ接続されている。本実施形態の例では、左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４とのそれぞれが、制御装置１０のインターフェース１９６に接続される。

電源部１３０には、バッテリー１３２と、電源制御回路１３４とが含まれている。電源部１３０は、制御装置１０が動作するための電力を供給する。バッテリー１３２は、充電可能な電池である。電源制御回路１３４は、バッテリー１３２の残容量の検出と、ＯＳ１４３への充電の制御を行う。電源制御回路１３４は、メインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値や、バッテリー１３２の電圧の検出値をメインプロセッサー１４０へと出力する。なお、電源部１３０が供給する電力に基づいて、制御装置１０から画像表示部２０へと電力を供給してもよい。電源部１３０から制御装置１０の各部および画像表示部２０への電力の供給状態を、メインプロセッサー１４０により制御可能な構成としてもよい。

右表示ユニット２２は、表示ユニット基板２１０と、ＯＬＥＤユニット２２１と、カメラ６１と、照度センサー６５と、ＬＥＤインジケーター６７と、温度センサー２１７とを備える。表示ユニット基板２１０には、インターフェース１９６に接続されるインターフェース（Ｉ／Ｆ）２１１と、受信部（Ｒｘ）２１３と、ＥＥＰＲＯＭ（Electrically Erasable Programmable ReadーOnly Memory）２１５とが実装されている。受信部２１３は、インターフェース２１１を介して制御装置１０から入力されるデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２２５（図２）へと出力する。

ＥＥＰＲＯＭ２１５は、各種のデータをメインプロセッサー１４０が読み取り可能な態様で記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０のＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４のセンサー特性に関するデータ等を記憶する。具体的には、例えば、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、後述する温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。出荷後は、メインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを読み込んで各種の処理に利用する。

カメラ６１は、インターフェース２１１を介して入力される信号に従って撮像を実行し、撮像画像データあるいは撮像結果を表す信号を制御装置１０へと出力する。照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するように配置される。照度センサー６５は、受光量（受光強度）に対応した検出値を出力する。ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

温度センサー２１７は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図３）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は主としてＯＬＥＤパネル２２３の温度を検出する。なお、温度センサー２１７は、ＯＬＥＤパネル２２３あるいはＯＬＥＤ駆動回路２２５に内蔵されてもよい。例えば、ＯＬＥＤパネル２２３がＳｉ−ＯＬＥＤとしてＯＬＥＤ駆動回路２２５と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２１７を実装してもよい。

左表示ユニット２４は、表示ユニット基板２３０と、ＯＬＥＤユニット２４１と、温度センサー２３９とを備える。表示ユニット基板２３０には、インターフェース１９６に接続されるインターフェース（Ｉ／Ｆ）２３１と、受信部（Ｒｘ）２３３と、６軸センサー２３５と、磁気センサー２３７とが実装されている。受信部２３３は、インターフェース２３１を介して制御装置１０から入力されるデータを受信する。受信部２３３は、ＯＬＥＤユニット２４１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２４５（図２）へと出力する。

６軸センサー２３５は、３軸加速度センサーおよび３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵセンサーを採用してもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。６軸センサー２３５と磁気センサー２３７は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された頭部の動きから画像表示部２０の向きが特定され、使用者の視界が特定される。上述したように、６軸センサー２３５と磁気センサー２３７は、後述する制御機能部１５０と協働することにより使用者の視界を特定する「視界検出部」として機能する。なお、制御機能部１５０が、カメラ６１による撮像結果や、無人機４００からの無線通信の電波強度等を利用して、画像表示部２０の向きを特定し、使用者の視界を特定することも可能である。

温度センサー２３９は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図３）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は主としてＯＬＥＤパネル２４３の温度を検出する。温度センサー２３９は、ＯＬＥＤパネル２４３あるいはＯＬＥＤ駆動回路２４５に内蔵されてもよい。詳細は温度センサー２１７と同様である。

右表示ユニット２２のカメラ６１、照度センサー６５、温度センサー２１７と、左表示ユニット２４の６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、制御装置１０のセンサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２および左表示ユニット２４が備える各センサーの検出値をメインプロセッサー１４０へ出力する。センサーハブ１９２は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ１９２は、各センサーの検出値の信号形式やデータ形式の変換機能（例えば、統一形式への変換機能）を備えてもよい。センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始および停止させることで、ＬＥＤインジケーター６７を点灯または消灯させる。

図６は、制御装置１０の構成を機能的に示すブロック図である。制御装置１０は、機能的には、記憶機能部１２２と、制御機能部１５０とを備える。記憶機能部１２２は、不揮発性記憶部１２１（図５）により構成される論理的な記憶部である。記憶機能部１２２は、記憶機能部１２２のみを使用する構成に替えて、不揮発性記憶部１２１に組み合わせてＥＥＰＲＯＭ２１５やメモリー１１８を使用する構成としてもよい。制御機能部１５０は、メインプロセッサー１４０がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。なお、制御機能部１５０は「制御部」に相当する。

記憶機能部１２２には、制御機能部１５０における処理に供する種々のデータが記憶されている。具体的には、本実施形態の記憶機能部１２２には、設定データ１２３と、コンテンツデータ１２４と、地図データ１２５と、支援画像データ１２６と、ＨＭＤ状態データ１２７と、自機状態データ１２８と、が記憶されている。設定データ１２３は、ＨＭＤ１００の動作に係る各種の設定値を含む。例えば、設定データ１２３には、制御機能部１５０がＨＭＤ１００を制御する際のパラメーター、行列式、演算式、ＬＵＴ（Look Up Table）等が含まれている。

コンテンツデータ１２４には、制御機能部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータ（画像データ、映像データ、音声データ等）が含まれている。例えば、後述する操作支援のために予め用意されている操作支援画像データが含まれている。なお、コンテンツデータ１２４には、双方向型のコンテンツのデータが含まれてもよい。双方向型のコンテンツとは、操作部１１０によって使用者の操作を取得して、取得した操作内容に応じた処理を制御機能部１５０が実行し、処理内容に応じたコンテンツを画像表示部２０に表示するタイプのコンテンツを意味する。この場合、コンテンツのデータには、使用者の操作を取得するためのメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理を定めるデータ等を含みうる。

地図データ１２５には、使用者の操作対象物としての無人機（以下、「自機」とも呼ぶ）４００が飛行している位置を把握するために用いられる地図データが含まれる。ＨＭＤ状態データ１２７には、位置検出部によって特定される使用者の現在位置の座標データや視界検出部によって特定される視界のデータが含まれる。自機状態データ１２８には、後述する自機４００の状態データが含まれる。

制御機能部１５０は、記憶機能部１２２が記憶しているデータを利用して各種処理を実行することにより、ＯＳ１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、入出力制御部１５１、通信制御部１５３、位置検出部１５５、視界検出部１５７、機体操作支援部１５９としての機能を実行する。本実施形態では、ＯＳ１４３以外の各機能部は、ＯＳ１４３上で実行されるコンピュータープログラムとして構成されている。

画像処理部１４５は、画像表示部２０により表示する画像／映像の画像データに基づいて、右表示ユニット２２および左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１４５は、メインプロセッサー１４０がコンピュータープログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。

なお、画像処理部１４５は、必要に応じて、解像度変換処理、画像調整処理、２Ｄ／３Ｄ変換処理等を実行してもよい。解像度変換処理は、画像データの解像度を右表示ユニット２２および左表示ユニット２４に適した解像度へと変換する処理である。画像調整処理は、画像データの輝度や彩度を調整する処理である。２Ｄ／３Ｄ変換処理は、三次元画像データから二次元画像データを生成し、あるいは、二次元画像データから三次元画像データを生成する処理である。画像処理部１４５は、これらの処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成し、接続ケーブル４０を介して画像表示部２０へと送信する。

表示制御部１４７は、右表示ユニット２２および左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２および左表示ユニット２４のそれぞれによる画像光の生成と射出とを制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づいて、ＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。

撮像制御部１４９は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶機能部１２２に一時的に記憶させる。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は、撮像画像データをカメラ６１から取得して、記憶機能部１２２に一時的に記憶させる。

入出力制御部１５１は、タッチパッド１４（図１）と、方向キー１６と、決定キー１７とを適宜、制御して、これらから入力指令を取得する。取得した指令は、ＯＳ１４３、またはＯＳ１４３と共にＯＳ１４３上で動作するコンピュータープログラムに出力される。通信制御部１５３は、無線通信部１１７を制御して遠隔制御装置５００との間で無線通信を行う。

位置検出部１５５は、ＨＭＤ１００を装着した使用者の現在位置の座標をＧＰＳレシーバー１１５から随時取得し、取得した現在位置のデータを記憶機能部１２２のＨＭＤ状態データ１２７に含めて記憶する。視界検出部１５７は、６軸センサー２３５と磁気センサー２３７によって随時検出される頭部の動きから、使用者の視界を特定し、特定した視界のデータをＨＭＤ状態データ１２７に含めて記憶する。

機体操作支援部１５９は、通信制御部１５３と協調して、遠隔制御装置５００から自機４００の位置や高度、速度、移動方向等の機体の状態に関する状態情報を取得する機能と、取得した自機４００の状態情報（状態データ）に応じて、自機４００の操作を支援するための支援情報を含む支援画像を作成して画像表示部２０に表示させる機能と、を有する。前者の自機４００の状態情報を取得する機能は状態情報取得部１５９ａによって実現され、後者の支援情報を示す支援画像を設定する機能は支援情報作成部１５９ｂによって実現される。

図７は、遠隔制御装置５００の構成を機能的に示すブロック図である。遠隔制御装置５００は、プロセッサー５１０と、記憶部５３０と、操作部５４０と、表示部５５０と、機体通信部５６０と、無線通信部５７０とを備える。プロセッサー５１０には、これらの記憶部５３０、操作部５４０、表示部５５０、機体通信部５６０、無線通信部５７０がそれぞれ接続されている。

プロセッサー５１０は、不図示のメモリーに格納されているコンピュータープログラムを実行することにより、各制御部５１１，５１３，５１５，５１７，基本制御部５１１、操作制御部５１３、表示制御部５１５、機体制御部５１７、通信制御部５１９として機能する。

基本制御部５１１は、遠隔制御装置５００の基本的な動作を制御する機能制御部である。操作制御部５１３は、不図示の入出力部を含む操作部５４０による入出力動作を制御する機能制御部である。表示制御部５１５は、不図示の表示装置を含む表示部５５０による表示動作を制御する機能制御部である。表示部５５０には、自機４００の状態情報や制御情報が表示される。機体制御部５１７は、自機４００との間で機体通信部５６０を介して無線通信を行なって、自機４００の動作を制御する機能制御部である。機体制御部５１７は、操作部５４０を介して使用者が入力する操作指示に応じた制御データを、機体通信部５６０を介して自機４００に送信し、自機４００の飛行を制御する。また、機体制御部５１７は、あらかじめ、プログラムして記憶部５３０に記憶しておいた飛行制御データに従って、自機４００の飛行を制御することも可能である。また、飛行プログラムを予め自機４００に記憶させておき、自機４００を自律的に飛行させ、その飛行状態を監視することも可能である。機体通信部５６０は、例えば、ラジオコントロール用電波による無線通信を行なう。通信制御部５１９は、ＨＭＤ１００の制御装置１０との間で無線通信部５７０を介して無線通信を行なう。無線通信部５７０は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）を含む無線ＬＡＮ等の規格に準拠した無線通信を行う。なお、制御装置１０の無線通信部１１７（図５）と、遠隔制御装置５００の無線通信部５７０との間で実行される無線通信の経路が本実施形態における「無線通信経路」に相当する。

記憶部５３０には、各制御部５１１、５１３、５１５、５１７、５１９の基本的な設定データ５３１、操作制御部５１３で利用される操作データ５３３、表示制御部５１５で利用される表示データ５３５、機体制御部５１７で利用される制御データ５３７が記憶されている。また、機体通信部５６０を介して随時送られてくる自機４００の自機状態データ５３９が記憶されている。

遠隔制御装置５００によって制御される無人機４００は、図示及び詳細な説明は省略するが、遠隔制御装置５００からの遠隔操縦により飛行が可能な無人航空機である。また、無人機４００は、搭載されている記憶部に予め記憶された飛行制御データに従って自律飛行が可能な無人航空機である。また、無人機４００は、ＧＰＳセンサー（ＧＰＳレシーバー）や高度センサー、ＩＭＵセンサー、画像センサー等の各種センサーを搭載しており、現在位置、高度、速度、移動方向、姿勢、空撮画像等、搭載するセンサーに応じた情報を、遠隔制御装置５００に無線通信により随時送信する。

Ａ２．操作支援処理：
以下では、まず、遠隔制御装置５００において実行される自機４００からの状態情報取得処理について説明し、その後、ＨＭＤ１００における機体操作支援処理について説明する。

図８は、遠隔制御装置５００における状態情報取得処理を示すフローチャートである。状態情報取得処理は、機体制御部５１７（図７）によって実行される処理の一つであり、定期的に繰り返し実行される。まず、対象となる機体（自機４００）に対して機体状態情報の取得を要求し（ステップＳ５０２）、自機４００から返信されてくる機体状態情報を取得する（ステップＳ５０４）。取得した機体状態情報は、自機状態データ５３９として記憶部５３０に記憶される。機体状態情報には、現在位置、高度、速度、移動方向、姿勢、バッテリー残量等の情報が含まれている。そして、機体制御部５１７では、得られた現在位置、高度、速度および移動方向の情報からｔｓ秒後の予測位置（以下、単に「予測位置」と略す場合もある）を計算する（ステップＳ５０６）。求められた予測位置のデータは、自機状態データ５３９に含められる。そして、自機状態データ５３９の表す自機状態情報（機体状態情報）をＨＭＤ１００の制御装置１０へ無線通信により送信する（ステップＳ５０８）。こうして、遠隔制御装置５００からＨＭＤ１００の制御装置１０に対して、定期的に自機４００から取得した機体状態情報（自機状態情報）の送信が行われる。なお、ｔｓ秒の値は、あらかじめ任意の値に設定可能である。通常は、定期的に繰り返される自機４００と遠隔制御装置５００との間の機体状態情報の送信の間隔に設定されることが好ましい。このようにすれば、予測位置と実際位置とのずれを容易に修正して、後述する支援情報の精度を高めることが可能である。

図９は、ＨＭＤ１００における機体操作支援処理のうちの状態情報取得処理を示すフローチャートである。図１０は、ＨＭＤ１００における機体操作支援処理のうちの支援情報作成処理を示すフローチャートである。ＨＭＤ１００において実行される機体操作支援処理は、制御機能部１５０（図６）の機体操作支援部１５９に対応し、状態情報取得処理は機体操作支援部１５９に含まれる状態情報取得部１５９ａに対応し、支援情報作成処理は支援情報作成部１５９ｂに対応している。上述したように、機体操作支援部１５９は、不揮発性記憶部１２１（図５）に格納されている操作支援用のコンピュータープログラム（アプリケーションプログラム）がＨＭＤ１００のメインプロセッサー１４０によって実行されることによって機能する制御部である。例えば、画像表示部２０で外景に重ねて表示されるメニュー画面（不図示）の中から「機体操作支援」のアイコンが方向キー１６（図１）と決定キー１７（図１）によって指示されたことを受けて、実行開始される。これにより、ＨＭＤ１００と、遠隔制御装置５００及び操作対象となる無人機（自機）４００とのペアリングが実行される。そして、状態情報取得部１５９ａによる状態情報取得処理及び支援情報作成部１５９ｂによる支援情報作成処理は、機体操作支援部１５９による処理が終了シーケンスによって終了するまで、繰り返し実行される。

図９に示すように、状態情報取得処理を開始すると、状態情報取得部１５９ａは、遠隔制御装置５００からの機体状態情報の送信を待ち（ステップＳ１０２）、遠隔制御装置５００から送信されてきた機体状態情報を取得する（ステップＳ１０４）。取得した機体状態情報（自機状態情報）は、自機状態データ１２８（図６）として記憶機能部１２２に記憶される。

図１０に示すように、支援情報作成処理を開始すると、支援情報作成部１５９ｂは、ＨＭＤ状態データ１２７に含まれる使用者の位置及び視界のデータと、自機状態データ１２８に含まれる自機４００の位置のデータから、使用者と自機４００との位置関係を求めるとともに、使用者の視界に対する自機４００の位置関係を求める（ステップＳ１１２）。視界に対する自機４００の位置関係とは、視界に対する自機４００の位置を意味している。

そして、使用者の視界に対する自機４００の位置関係から、使用者の視界に対応する外景に自機４００が無いと判断された場合には（ステップＳ１１４：Ｎｏ）、自機４００の方向を示す指示画像を支援画像として作成し、画像表示部２０において外景にＡＲ画像としての指示画像を重畳して表示させる（ステップＳ１１６ａ）。

図１１は、指示画像の表示の一例を示す説明図である。図１１は、使用者の視界に対応する外景ＳＣに、その視界よりも右方向に自機４００が存在することを示す指示画像ＤＶ１が重畳して表示されている状態を示している。使用者はこの指示画像ＤＶ１に従って右方向を向くことにより、自機４００が自身の視界内に容易に入るようにすることができる。すなわち、使用者は、自身の視界に対応する外景に重畳して表示される指示画像に従って画像表示部２０を装着した頭部の向きを変更すれば、自機４００を容易に自身の視界内で捉えることができる。

一方、使用者の視界に対応する外景に自機４００が有ると判断された場合には（図１０のステップＳ１１４：Ｙｅｓ）、自機４００の識別を容易にするマーカー画像を支援画像として作成し、画像表示部２０において外景にＡＲ画像としてのマーカー画像を重畳して表示させ（ステップＳ１１６ｂ）、自機の状態情報に基づいて参考画像を支援画像として作成し、画像表示部２０において外景にＡＲ画像としての参考画像を重畳して表示させる（ステップＳ１１８）。なお、ステップＳ１１８は省略してもよい。

図１２は、マーカー画像及び参考画像の表示の一例を示す説明図である。図１２は、外景ＳＣ中の自機４００（ＫＡ）を実線で囲む楕円枠形状のマーカー画像ＤＭ１と、参考画像としての、自機ＫＡの状態情報を示す参考情報画像ＤＳ１、自機ＫＡの移動方向を示す移動方向情報である移動方向画像ＤＤ１、及びｔｓ秒後の予測位置を示す破線の楕円枠形状の予測位置画像ＤＰ１と、が重畳して表示されている状態を示している。なお、本例の参考情報画像ＤＳ１としては、高度、速度、バッテリー残量、機体の平行度、機体が上昇中であることを示す情報が例として示されている。予測位置画像ＤＰ１は、使用者の現在位置と自機ＫＡとの位置関係に応じて画像の大きさが変化することが好ましい。これにより、使用者は、予測位置画像の大きさによって、使用者に対して自機ＫＡが離れていく方向か近付く方向かを容易に視覚的に把握させることができる。使用者は、マーカー画像ＤＭ１によって、自機ＫＡの位置を容易に識別することが可能である。また、使用者は参考情報画像ＤＳ１に含まれる情報によって、視線を自機ＫＡから離すことなく、自機ＫＡの状態を容易に把握することができる。また、移動方向画像ＤＤ１によって自機ＫＡの移動方向を視覚的に容易に把握することができる。また、使用者は、予測位置画像ＤＰ１によって自機ＫＡのｔｓ秒後の予測位置を視覚的に容易に把握することができる。すなわち、使用者は、マーカー画像によって自機を容易に識別することが可能となり、参考画像の示す参考情報によって自機の状態を容易に把握することが可能となる。これにより、使用者の操作性を高めることができる。

なお、参考情報画像ＤＳ１として、高度、速度、バッテリー残量、機体の平行度、機体が上昇中であることを示す情報が例として示されているが、参考情報画像として表示される情報は、これらの情報に限定されるものではなく、取得される機体状態情報に応じて操作の支援に寄与する種々の情報が適宜含まれるものとしてもよい。例えば、取得される機体状態情報に無線通信の電波強度が含まれるものとし、参考情報画像として無線通信の電波強度や遠隔操作可能領域、遠隔操作可能距離の情報が表示されるようにしてもよい。また、参考画像の一つとして遠隔操作可能領域を示す画像が表示されるようにしてもよい。

図１３は、自機のマーカー画像の変形例を示す説明図である。図１２に示したマーカー画像ＤＭ１は、自機４００（ＫＡ）を囲む楕円枠形状の画像であったが、これに限定されるものではない。図１３に示したマーカー画像ＤＭ１ａ、ＤＭ１ｂ等の種々の形状の画像としてもよい。図１３に示したマーカー画像ＤＭ１ｃのように、拡大イメージ画像としても良い。すなわち、自機を容易に識別することが可能な形状であれば特に限定はない。

また、支援画像データ１２６（図６）に予め複数のマーカー画像を含めて用意しておき、複数のマーカー画像の中から、使用者が識別しやすい好みのマーカー画像を選択できるようにしても良い。さらにまた、形状だけでなく、色や線形状（実線、破線、太さ等）も、使用者の識別性を高めるために種々選択できるようにしても良い。また、夜間における識別性を高めるためにマーカー画像を点滅表示させるようにしても良い。また、外景（空、雲、風景等）との識別性を確保するために、例えば、外景の色に応じて自動調整するようにしてもよい。この自動調整は、例えば、カメラ６１による撮像画像を画像解析することにより自機４００の有る位置の外景の色を識別することにより、実行することができる。また、太陽光に対しては、上述したように、右導光板２６および左導光板２８（図２）の表面に設けられた調光板によって調光を行なうことにより、自機４００の識別性を高めることができる。

同様に、図１２に示した移動方向画像ＤＤ１は、方向を示す矢印を例に示しているがこれに限定されるものではない。例えば、飛行機雲や後方に付加した影のような航跡画像等の移動方向を示す種々の付加画像を移動方向画像として用いるようにしてもよい。移動方向画像は、マーカー画像と同様に、あらかじめ複数の移動方向画像を用意しておき、使用者が識別しやすい移動方向画像を選択できるようにしてもよい。

図１４は、支援画像としてマップ画像を表示した変形例を示す説明図である。自機４００（ＫＡ）を操作する使用者の位置からの平面的な位置関係を把握するために、図１４に示すように、マップ画像ＤＭＰ１を外景ＳＣに重ねて表示させるようにしてもよい。マップ画像ＤＭＰ１は、使用者の位置を中心とする同心円地図を用いて、使用者の位置とマーカー画像ＤＭ１ｂによる自機ＫＡの位置との位置関係を示した例である。マップ画像ＤＭＰ１によって、使用者と自機ＫＡとの位置関係を容易に把握することができるので、使用者の操作性を高めることができる。

なお、外景に重畳して表示される支援画像としては、図１２〜図１４を用いて説明したマーカー画像や参考画像に限定されるものではない。自機の操作の支援に役立つ種々の情報を表す画像を支援画像として適用してもよい。

また、図示及び詳細な説明は省略するが、自機４００に搭載された画像センサー（カメラ）で撮像された撮像画像を遠隔制御装置５００から取得して、取得した撮像画像を参考画像として外景に重畳表示させるようにしてもよい。

なお、自機４００の状態説明情報である参考情報画像ＤＳ１（図１２）のように、テキスト表示されるような情報を示す画像は、２次元（two dimensions、２Ｄ）画像とされることが好ましい。また、指示画像ＤＶ１（図１１）や、移動方向画像ＤＤ１（図１２）、予測位置画像ＤＰ１のように、自機４００の位置に応じて変化する情報を示す画像は、透過度調整や視差角調整が施された３次元（three dimensions）画像とされることが好ましい。また、３Ｄの状態、例えば、視差角は、自機４００の状態（位置、速度、移動方向等）の変化に応じて変化させるようにしてもよい。３Ｄ画像とすれば、現実感や臨場感を高めることができ、遠隔操作の操作性の向上を図ることが可能である。また、外景に重畳表示される、各支援画像は、外景の明るさや重畳される外景の状態に応じて輝度や色、透過度等を自動制御あるいは手動で調整して、各支援画像の視認性を高めるようにするようにしてもよい。このようにすれば、遠隔操作の操作性向上を図ることが可能である。また、２Ｄと３Ｄとを支援画像毎に切り替え可能としてもよい。

Ｂ．第２実施形態：
Ｂ１．操作支援システムの構成：
図１５は、本発明の第２実施形態における操作支援システムの概略構成を示す説明図である。操作支援システム１０００Ａは、頭部装着型表示装置（ＨＭＤ）１００Ａと、無人機（自機）４００と、遠隔制御装置５００Ａと、管理サーバー３００と、を備えている。ＨＭＤ１００Ａ及び遠隔制御装置５００Ａは、それぞれ、無線通信で接続されたアクセスポイントＡＰを介してインターネットＩＮＴに接続されている。この結果、ＨＭＤ１００Ａ及び遠隔制御装置５００Ａは、それぞれ、管理サーバー３００とインターネットＩＮＴによって互いに接続されている。

ＨＭＤ１００Ａは、ＨＭＤ１００（図１）の制御装置１０が制御装置１０Ａに置き換えられている。ＨＭＤ１００Ａは、制御装置１０Ａの機能的構成が制御装置１０の機能的構成（図６）と異なっている点を除いて、ＨＭＤ１００と同じである。

図１６は、制御装置１０Ａの構成を機能的に示すブロック図である。制御装置１０Ａは、制御装置１０（図６）の制御機能部１５０及び記憶機能部１２２が制御機能部１５０Ａ及び記憶機能部１２２Ａとなっている。記憶機能部１２２Ａには、記憶機能部１２２に記憶されている各種データ１２３〜１２８に加えて、後述する他機状態データ１２９が記憶されている。

制御機能部１５０Ａは、制御機能部１５０の通信制御部１５３が通信制御部１５３Ａに置き換えられており、状態情報取得部１５９ａ及び支援情報作成部１５９ｂを含む機体操作支援部１５９が状態情報取得部１５９Ａａ及び支援情報作成部１５９Ａｂを含む機体操作支援部１５９Ａに置き換えられている。

通信制御部１５３Ａは、無線通信部１１７を制御して遠隔制御装置５００Ａとの間で無線通信を行なうだけでなく、無線通信部１１７を制御してアクセスポイントＡＰとの間でも無線通信を行なう。

機体操作支援部１５９Ａは、後述するように、通信制御部１５３と協調して、管理サーバー３００から、状態情報取得部１５９Ａａによって自機４００の状態情報及び自機４００の周囲に存在する他機の状態情報を取得し、支援情報作成部１５９Ａｂによって自機の状態情報及び他機の状態情報を利用して支援画像を設定する。

図１７は、遠隔制御装置５００Ａの構成を機能的に示すブロック図である。遠隔制御装置５００Ａは、遠隔制御装置５００（図７）の機体制御部５１７及び通信制御部５１９がが、機体制御部５１７Ａ及び通信制御部５１９Ａとなっている。

通信制御部５１９Ａは、遠隔制御装置５００の通信制御部５１９がＨＭＤ１００の制御装置１０との間で無線通信部５７０を介して無線通信を行なっていたのに加えて、アクセスポイントＡＰとの間で無線通信を行なう。

遠隔制御装置５００の機体制御部５１７（図７）では、図８で示した状態情報取得処理のステップＳ５０８において、自機４００から取得した自機４００の状態情報をＨＭＤ１００の制御装置１０に送信していた。これに対して、機体制御部５１７Ａは、取得した自機４００の状態情報を、通信制御部５１９Ａと協調して、管理サーバー３００に送信する。なお、管理サーバー３００への送信に加えて、ＨＭＤ１００Ａの制御装置１０Ａに送信してもよい。

図１８は、管理サーバー３００の構成を機能的に示すブロック図である。管理サーバー３００は、ＣＰＵ３１０と、記憶部３２０と、ＲＯＭ３３０と、ＲＡＭ３４０と、通信インターフェース（Ｉ／Ｆ）３５０と、を備え、各部はバス３６０により相互に接続されている。

ＣＰＵ３１０は、記憶部３２０やＲＯＭ３３０に格納されているコンピュータープログラムをＲＡＭ３４０に展開して実行することにより、管理サーバー３００の各部を制御する。そのほか、ＣＰＵ３１０は、機体情報管理部３１２としても機能する。機体情報管理部３１２は、あらかじめ登録されている各無人機に対応する各遠隔制御装置から随時（通常は定期的に）送られてくる機体の状態情報を取得し、機体状態データベース３２４として記憶部３２０に記憶して管理する。

図１９は、機体状態データベース３２４の一例を示す説明図である。図１９に示すように、機体状態データベース３２４には、予め登録されている各機体ＩＤについて、送信されてきた現在位置、高度、速度、方向、ｔｓ秒後の予測位置等の情報、及び、通知すべき情報、並びに、情報送信先の情報が記憶されている。なお、各機体の送信先情報は、例えば、上述したよう、ＨＭＤ１００Ａと対応する無人機４００及び遠隔制御装置５００Ａとがペアリングされた際に、遠隔制御装置５００Ａから管理サーバー３００への状態情報の送信に含めて送信されるようにすればよい。但し、これに限定されるものではなく、予め登録されていても良く、ペアリング後に、ＨＭＤ１００Ａから管理サーバー３００に送信するようにしても良く、状態情報の送信先としてペアリングされたＨＭＤ１００Ａが登録されるようにすれば、その方法に特に限定は無い。

また、機体情報管理部３１２は、各機体とペアリングされているＨＭＤ１００Ａの制御装置１０Ａに対して、自機の状態情報及び他機の状態情報を送信する。状態情報を送信する他機としては、例えば、自機を中心として、予め定めた範囲の空間内に存在する機体が選択される。なお、状態情報を送信する他機のうち、予め定めた第１接近条件を満たす機体が存在する場合には、その自機及び他機の状態情報には、図１９に示したように、通知すべき情報として、接近する他機がある旨の情報が設定される。第１接近条件は、例えば、自機に対して予め定めた半径の範囲内に存在すること、及び、ｔｓ秒後の予測位置が自機に対して予め定めた半径の範囲内となること、設定される。但し、これに限定されるものではなく、自機の位置、高度、速度及び移動方向と他機の位置、高度、速度及び移動方向との関係から求められる自機と他機の現在の位置関係及びｔｓ秒後の予測位置の位置関係から判断される接近度合を考慮して任意の条件を設定可能である。

記憶部３２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部３２０には、オペレーティングシステム（ОＳ）をはじめとする種々のコンピュータープログラムが格納されている。また、記憶部３２０には、地図データベース３２２と、上述した機体状態データベース３２４とが記憶されている。

通信インターフェース（Ｉ／Ｆ）３５０は、インターネットＩＮＴ及びアクセスポイントＡＰを介して、遠隔制御装置５００Ａの無線通信部５７０Ａ（図１７）及び制御装置１０Ａの無線通信部１１７（図５）との間で無線通信を行なう。なお、制御装置１０Ａの無線通信部１１７と、遠隔制御装置５００Ａの無線通信部５７０Ａと、アクセスポイントＡＰとの間で実行される無線通信の経路が本実施形態における「無線通信経路」に相当する。

Ｂ２．操作支援処理：
図２０は、状態情報取得部１５９Ａａによる状態情報取得処理を示すフローチャートである。状態情報取得処理を開始すると、状態情報取得部１５９Ａａは、管理サーバー３００（図１８）からの機体状態情報の送信を待ち（ステップＳ１０２ａ）、管理サーバー３００から送信されてきた機体状態情報を取得する（ステップＳ１０４ａ）。取得した機体状態情報は、自機状態データ１２８及び他機状態データ１２９として記憶機能部１２２（図１６）に記憶される。本例では、機体状態情報として、図１９に示したように、現在位置、高度、速度、方向、予測位置、通知等の情報が取得され、後述するように、支援情報を示す支援画像としてのマーカー画像や参考画像の作成および表示に利用される。

図２１は、支援情報作成部１５９Ａｂによる支援情報作成処理を示すフローチャートである。このフローチャートでは、図１０に示した支援情報作成部１５９ｂによる支援情報作成処理のステップＳ１１２、Ｓ１１８がＳ１１２Ａ、Ｓ１１８Ａとされ、さらに、ステップＳ１１８Ａの後に、ステップＳ１２０、Ｓ１２２、Ｓ１２４が追加されている。

ステップＳ１１２Ａにおいて、支援情報作成部１５９Ａｂは、ステップＳ１１２（図１０）と同様に、ＨＭＤ状態データ１２７に含まれる使用者の位置及び視界のデータと、自機状態データ１２８に含まれる自機４００の位置のデータから、使用者と自機４００との位置関係を求めるとともに、使用者の視界に対する自機４００の位置関係を求める。また、ステップＳ１１２Ａでは、支援情報作成部１５９Ａｂは、ＨＭＤ状態データ１２７に含まれる使用者の位置のデータと、他機状態データ１２９に含まれる他機の位置のデータから、使用者と他機との位置関係を求める。

そして、使用者の視界に対応する外景における自機４００の有無に応じて、画像表示部２０において、指示画像をＡＲ画像として表示させ（ステップＳ１１６ａ）、あるいは、マーカー画像をＡＲ画像として表示させる（ステップＳ１１６ｂ）。

ステップＳ１１８Ａにおいては、支援情報作成部１５９Ａｂは、ステップＳ１１８（図１０）と同様に、自機の状態情報に基づく参考画像を支援画像として設定するとともに、他機の状態情報に基づく参考画像を支援画像として作成し、画像表示部２０において参考画像をＡＲ画像として表示させる。なお、ステップＳ１１８Ａは省略してもよい。

図２２は、自機へのマーカー画像及び参考画像の表示と、他機への参考画像の表示の一例を示す説明図である。図２２は、自機４００（ＫＡ）へのマーカー画像として、図１２と同様に、外景ＳＣ中の自機ＫＡを実線で囲む楕円枠形状のマーカー画像ＤＭ１が表示されている状態を示している。また、参考画像として、自機ＫＡの状態情報を示す参考情報画像ＤＳ１、自機ＫＡの移動方向を示す移動方向画像ＤＤ１、及びｔｓ秒後の予測位置を示す予測位置画像ＤＰ１が重畳して表示されている状態を示している。さらにまた、使用者の視界に対応する外景ＳＣ中に存在する３つの他機ＫＢ、ＫＣ、ＫＤに対して、参考画像として、それぞれの移動方向を示す移動方向画像ＤＤ２、ＤＤ３、ＤＤ４が重畳して表示されている状態を示している。これらの移動方向指示画像は、速度に応じて長さを変化させるようにしてもよい。

そして、ステップＳ１２０では、管理サーバー３００から取得した自機の状態情報中に、第１接近条件を満たして接近する他機がある旨の通知の有無を判断する。通知が無い場合には、そのまま処理を終了する。通知が有った場合には、自機の位置及び予測位置と、通知対象の他機の位置及び予測位置とから、自機と他機の接近状態を判断する（ステップＳ１２４）。自機と他機の接近状態が予め定めた第２接近条件を満たす場合には、他機の接近状態を示す情報を示す画像を参考画像として作成し、画像表示部２０において外景に重畳して表示させる（ステップＳ１２６）。なお、第２接近条件は、例えば、自機に対して予め定めた接近の度合いに応じて短く設定された半径の範囲内に存在するか、ｔｓ秒後の予測位置が自機に対してその半径の範囲内となる、という条件に設定される。設定する半径の長さに応じて、「単に接近機体があることを示す情報」「接近に注意すべきであることを示す情報」、「衝突の可能性があることを警告する情報」、「衝突回避を警告する情報」等の種々の画像が考えらえる。

図２２には、他機ＫＢが自機ＫＡに接近している状態が例に示されており、通知画像ＤＡ１として「（！）他機接近中」が表示されている例が示されている。また、接近する他機が存在する場合、その他機についての参考画像としてその他機の予測位置画像を設定して、画像表示部２０において外景に重畳して表示させるようにしてもよい。図２２には、接近中の他機ＫＢの予測位置画像ＤＰ２が表示されている例が示されている。このように、他機の接近に関する通知画像を画像表示部２０に表示させることにより、使用者は、自機から目を離すことなく、接近する他機の存在を容易に認識することができ、操作性を高めることができる。また、自機の現在位置及び予測位置に加え接近する他機の予測位置も画像表示部２０に表示させることにより、接近の度合を視覚的、直観的に把握することでき、操作性を高めることができる。

なお、第２実施形態においても、自機ＫＡの支援画像として、第１実施形態の場合と同様のマーカー画像ＤＭ１、移動方向画像ＤＤ１、予測位置画像ＤＰ１、参考情報画像ＤＳ１を表示する場合を例に説明したが、これに限定されるものではなく、第１実施形態で説明した種々の変形例を適用可能である。また、第２実施形態では、他機ＫＢ〜ＫＤの支援画像として、移動方向画像ＤＤ２〜ＤＤ４や予測位置画像ＤＰ２を表示する場合を例に説明したが、これらも、自機ＫＡと同様に第１実施形態で説明した動方向画像ＤＤ１や予測位置画像ＤＰ１についての変形例を適用可能である。

図２３は、支援画像としてマップ画像を表示した変形例を示す説明図である。自機と他機との平面的な位置関係を把握するために、図２３に示すように、マップ画像ＤＭＰ２を外景ＳＣに重ねて表示させるようにしてもよい。マップ画像ＤＭＰ２は、自機を中心とする同心円地図を用いて、自機ＫＡと周囲に存在する３つの他機ＫＢ、ＫＣ、ＫＤとの位置関係を示した例である。自機ＫＡおよび他機ＫＢ、ＫＣ、ＫＤを区別するために、各機についてそれぞれ異なったマーカー画像を割り当てて、マップ画像ＤＭＰ２中に、各機の位置をマーカー画像で示している。これにより、自機ＫＡを中心として他機ＫＢ、ＫＣ、ＫＤがどのような位置関係にあるかを容易に把握することができるので、使用者の操作性を高めることができる。

Ｃ．変形例：
なお、この発明は第１、第２実施形態およびそれらの変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｃ１．変形例１：
上記第２実施形態では、インターネットＩＮＴを介して管理サーバー３００に接続される構成を例に説明した。しかしながら、インターネットＩＮＴではなくＬＡＮを介して管理サーバー３００に接続される構成としてもよい。

Ｃ２．変形例２：
上記第２実施形態では、自機のみにマーカー画像を表示する場合を例に説明した。しかしながら、例えば、複数の無人機を同時に飛行させて優劣を競う競技大会の場合に、複数の無人機のそれぞれに異なったマーカー画像を割り当てて、それぞれの使用者が自機のみならず他機及び他機の使用者が区別できるようにしてもよい。

また、接近する機体の使用者間において、それぞれの装着したＨＭＤを介して無線通信を行なって、衝突回避の要求等の情報交換を行なうようにしてもよい。

Ｃ３．変形例３：
上記実施形態では、透過して視認される外景に支援画像を重畳表示させる場合について説明した。しかしながら、外景を非透過として、ＨＭＤのカメラで撮像した画像と自機の状態に関する種々の支援画像とを重畳表示させるようにしてもよい。また、外景を非透過として、自機に搭載された画像センサー（カメラ）による撮像画像と自機の状態に関する種々の参考情報とを重畳表示させるようにしてもよい。

Ｃ４．変形例４：
上記実施形態では、ＨＭＤを装着した使用者が無人機（自機）を視認しながら、遠隔制御装置を用いて操縦する場合に、自機の識別性及び操作性を高めるために、ＨＭＤに支援画像を表示させる場合を例に説明した。しかし、無人機をあらかじめ設定した飛行制御データに基づいて自律飛行させる場合においても適用可能である。例えば、監視する監視者がＨＭＤを装着して、監視する無人機を視認しながら、ＨＭＤの画像表示部に表示される支援画像を参照して、種々の制御を無人機に対して行なうことができる。

Ｃ５．変形例５：
各実施形態および変形例において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。

Ｃ６．変形例６：
上記実施形態では、ＨＭＤの構成について例示した。しかし、ＨＭＤの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

上記実施形態では、制御装置１０および画像表示部２０の機能部について説明したが、これらは任意に変更することができる。例えば、次のような態様を採用してもよい。制御装置１０に記憶機能部１２２および制御機能部１５０を搭載し、画像表示部２０には表示機能のみを搭載する態様。制御装置１０と画像表示部２０との両方に、記憶機能部１２２および制御機能部１５０を搭載する態様。制御装置１０と画像表示部２０とを一体化した態様。この場合、例えば、画像表示部２０に制御装置１０の構成要素が全て含まれ、眼鏡型のウェアラブルコンピューターとして構成される。制御装置１０の代わりにスマートフォンや携帯型ゲーム機器を使用する態様。制御装置１０と画像表示部２０とを無線通信により接続し、接続ケーブル４０を配した態様。この場合、例えば、制御装置１０や画像表示部２０に対する給電についても無線で実施してよい。

Ｃ７．変形例７：
上記実施形態では、制御装置の構成について例示した。しかし、制御装置の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

上記実施形態では、制御機能部１５０は、メインプロセッサー１４０が記憶機能部１２２内のコンピュータープログラムを実行することにより動作するとした。しかし、制御機能部１５０は種々の構成を採用することができる。例えば、コンピュータープログラムは、記憶機能部１２２に代えて、または記憶機能部１２２と共に、不揮発性記憶部１２１、ＥＥＰＲＯＭ２１５、メモリー１１８、他の外部記憶装置（各種インターフェースに挿入されているＵＳＢメモリー等の記憶装置、ネットワークを介して接続されているサーバー等の外部装置を含む）に格納されていてもよい。また、制御機能部１５０の各機能は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit）を用いて実現されてもよい。

Ｃ８．変形例８：
上記実施形態では、画像表示部の構成について例示した。しかし、画像表示部の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

図２４は、変形例の画像表示部が備える光学系の構成を示す要部平面図である。変形例の画像表示部では、使用者の右眼ＲＥに対応したＯＬＥＤユニット２２１ａと、左眼ＬＥに対応したＯＬＥＤユニット２４１ａと、が設けられている。右眼ＲＥに対応したＯＬＥＤユニット２２１ａは、白色で発色するＯＬＥＤパネル２２３ａと、ＯＬＥＤパネル２２３ａを駆動して発光させるＯＬＥＤ駆動回路２２５とを備えている。ＯＬＥＤパネル２２３ａと右光学系２５１との間には、変調素子２２７（変調装置）が配置されている。変調素子２２７は、例えば、透過型液晶パネルで構成され、ＯＬＥＤパネル２２３ａが発する光を変調して画像光Ｌを生成する。変調素子２２７を透過して変調された画像光Ｌは、右導光板２６によって右眼ＲＥに導かれる。

左眼ＬＥに対応したＯＬＥＤユニット２４１ａは、白色で発光するＯＬＥＤパネル２４３ａと、ＯＬＥＤパネル２４３ａを駆動して発光させるＯＬＥＤ駆動回路２４５とを備えている。ＯＬＥＤパネル２４３ａと左光学系２５２との間には、変調素子２４７（変調装置）が配置されている。変調素子２４７は、例えば、透過型液晶パネルで構成され、ＯＬＥＤパネル２４３ａが発する光を変調して画像光Ｌを生成する。変調素子２４７を透過して変調された画像光Ｌは、左導光板２８によって左眼ＬＥに導かれる。変調素子２２７、２４７は、図示しない液晶ドライバー回路に接続される。この液晶ドライバー回路（変調装置駆動部）は、例えば変調素子２２７、２４７の近傍に配置される基板に実装される。

変形例の画像表示部によれば、右表示ユニット２２および左表示ユニット２４は、それぞれ、光源部としてのＯＬＥＤパネル２２３ａ、２４３ａと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子２２７、２４７と、を備える映像素子として構成される。なお、ＯＬＥＤパネル２２３ａ、２４３ａが発する光を変調する変調装置は、透過型液晶パネルが採用される構成に限定されない。例えば、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよいし、レーザー網膜投影型のＨＭＤ１００としてもよい。

上記実施形態では、眼鏡型の画像表示部２０について説明したが、画像表示部２０の態様は任意に変更することができる。例えば、画像表示部２０を帽子のように装着する態様としてもよく、ヘルメット等の身体防護具に内蔵された態様としてもよい。また、画像表示部２０を、自動車や飛行機等の車両、またはその他の交通手段に搭載されるＨＵＤ（Head Up Display）として構成してもよい。

上記実施形態では、画像光を使用者の眼に導く光学系として、右導光板２６および左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。しかし、この構成は任意に変更することができる。たとえば、右導光板２６および左導光板２８の全面（または大部分）を占める領域に虚像が形成されてもよい。この場合、画像の表示位置を変化させる動作によって画像を縮小してもよい。また、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６および左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品（例えば、回折格子、プリズム、ホログラフィー等）を用いる限り任意の態様を採用できる。

Ｃ９．変形例９：
上記第２実施形態では、第１接近条件を満たす他機の有無の判断を管理サーバー３００にて行ない、第２接近条件を満たす他機がある場合に、他機の接近状態を示す情報を画像表示部２０に表示あせる場合を例に説明した。しかしながら、第１接近条件を満たす他機の有無の判断をＨＭＤ１００Ａの制御装置１０Ａで行なうようにしてもよい。また、第２接近条件を満たす他機の判断を管理サーバー３００側で行なって、その通知を状態情報に含まて、管理サーバー３００から制御装置１０Ａに送信するようにしてもよい。

Ｃ１０．変形例１０：
上記実施形態では、ドローンのような遠隔操縦または自律飛行が可能な無人機（無人航空機）を例として説明したが、これに限定されるものではなく、ヘリコプター、飛行機、ロケット、気球、電車、潜水艦、船、人工衛星、バスなどの業務用車両、自動車、ロボット、これらの玩具等の遠隔操作や自動運転される種々の移動体に対しても適用可能である。また、移動体の他に、トラック付随のクレーン、シャベルカーやブルドーザーなどの建設現場用機器、除雪車、草刈機、トラクターやコンバイン、耕運機、田植え機、農薬散布機などの農業用機器、各種林業用機器、各種漁業用機器、各種砿業用機器等を遠隔操作する場合に適用可能である。

Ｃ１１．変形例１１：
上記実施形態では、支援情報を示す支援画像として、自機（無人機）の位置する方向を示す指示画像や、自機の位置を示すマーカー画像、移動方向を示す移動方向画像、予測位置を示す予測位置画像、機体状態に関する情報を示す参考情報画像を表示する場合を例に説明している。そして、参考情報画像として、第１実施形態では、高度や、速度、バッテリー残量、機体の平行度、機体が上昇中であることを示す情報が例示され、第２実施形態では、さらに、他機との接近を通知する情報を示す通知画像が例示されている。支援情報としては、これらの実施形態の例に限定されるものではなく、使用者の操作性を向上させるための種々の情報、例えば、運転モードの選択案内、風向きの変化、今後の天候、低気圧の接近などの飛行や操作場所に関わる情報等を適用し、適宜、支援画像として表示するようにしてもよい。また、上記変形例１０に示したように、無人機以外の機器においては、それぞれ、操作性を高めるために適した種々の情報が適宜支援情報として適用されるようにすればよい。例えば、クレーンの場合、クレーンの移動範囲、クレーンの吊り上げるフックの位置等の情報が支援情報として適用されてもよい。

本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０、１０Ａ…制御装置、１２…点灯部、１４…タッチパッド、１６…方向キー、１７…決定キー、１８…電源スイッチ、１９…バイブレーター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、６１…カメラ、６３…マイク、６５…照度センサー、６７…ＬＥＤインジケーター、１００、１００Ａ…頭部装着型表示装置（ＨＭＤ）、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳレシーバー、１１７…無線通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２、１２２Ａ…記憶機能部、１２３…設定データ、１２４…コンテンツデータ、１２５…地図データ、１２６…支援画像データ、１２７…ＨＭＤ状態データ、１２８…自機状態データ、１２９…他機状態データ、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４３…ＯＳ、１４５…画像処理部、１４７…表示制御部、１４９…撮像制御部、１５０，１５０Ａ…制御機能部、１５１…入出力制御部、１５３、１５３Ａ…通信制御部、１５５…位置検出部、１５７…視界検出部、１５９、１５９Ａ…機体操作支援部、１５９ａ、１５９Ａａ…状態情報取得部、１５９ｂ、１５９Ａｂ…支援情報作成部、１８０…音声コーデック、１８２…音声インターフェース、１８４…外部コネクター、１８６…外部メモリーインターフェース、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９４…ＦＰＧＡ、１９６…インターフェース、２１０…表示ユニット基板、２１１…インターフェース、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１、２２１ａ…ＯＬＥＤユニット、２２３、２２３ａ…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２２７…変調素子、２３０…表示ユニット基板、２３１…インターフェース、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１、２４１ａ…ＯＬＥＤユニット、２４３、２４３ａ…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２４７…変調素子、２５１…右光学系、２５２…左光学系、２６１…ハーフミラー、２８１…ハーフミラー、３００…管理サーバー、３１０…ＣＰＵ、３１２…機体情報管理部、３２０…記憶部、３２２…地図データベース、３２４…機体状態データベース、３３０…ＲＯＭ、３４０…ＲＡＭ、３５０…通信インターフェース、３６０…バス、４００…無人機、５００、５００Ａ…遠隔制御装置、５１０…プロセッサー、５１１…基本制御部、５１３…操作制御部、５１５…表示制御部、５１７、５１７Ａ…機体制御部、５１９、５１９Ａ…通信制御部、５３０…記憶部、５３１…設定データ、５３３…操作データ、５３５…表示データ、５３７…制御データ、５３９…自機状態データ、５４０…操作部、５５０…表示部、５６０…機体通信部、５７０…無線通信部、１０００、１０００Ａ…操作支援システム、ＡＰ…アクセスポイント、ＤＡ１…通知画像、ＤＤ１、ＤＤ２、ＤＤ３、ＤＤ４…移動方向画像、ＤＭ１、ＤＭ１ａ、ＤＭ１ｂ、ＤＭ１ｃ…マーカー画像、ＤＭＰ１、ＤＭＰ２…マップ画像、ＤＰ１、ＤＰ２…予測位置画像、ＤＳ１…参考情報画像、ＤＶ１…指示画像、ＥＬ、ＥＲ…端部、ＩＮＴ…インターネット、ＫＡ…無人機（自機）、ＫＢ、ＫＣ、ＫＤ…無人機（他機）、Ｌ…画像光、ＬＥ…左目、ＲＥ…右眼、ＯＬ…外光、ＯＢ…対象物、ＲＤ、ＬＤ…視線、ＳＣ…外景

Claims (11)

1. 透過型の頭部装着型表示装置であって、
   使用者の頭部に装着された状態において、外景を透過させて前記使用者に前記外景を視認させるとともに、前記外景に虚像画像を重畳させて前記使用者に視認させる画像表示部と、
   前記画像表示部を制御する制御部と、
   前記画像表示部が装着された前記使用者の位置を検出する位置検出部と、
   前記使用者の視界を検出する視界検出部と、
   外部の機器と無線通信を行なう無線通信部と、
   を備え、
   前記制御部は、
   前記無線通信部を介して、前記使用者の操作対象物としての移動体である自機の位置を含む状態情報を取得する状態情報取得部と、
   前記使用者の位置及び視界と前記自機の位置との関係に基づいて、前記自機の操作のための支援情報を含む支援画像を作成して前記虚像画像として前記画像表示部に表示させる支援情報作成部と、
   を備える、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記状態情報取得部は、前記自機を制御するために使用される遠隔制御装置に対して前記自機から送信されてくる前記状態情報を、前記無線通信部を含む無線通信経路を介して取得する、頭部装着型表示装置。
3. 請求項２に記載の頭部装着型表示装置であって、
   前記状態情報取得部は、さらに、前記自機以外の１つ以上の移動体である他機をそれぞれ制御するために使用される１つ以上の遠隔制御装置のそれぞれに対して前記他機から送信されてくる前記他機の状態情報を、前記無線通信経路を介して取得する、頭部装着型表示装置。
4. 請求項１から請求項３までのいずれか一項に記載の頭部装着型表示装置であって、
   前記支援情報作成部は、前記使用者の位置及び視界と前記自機の位置との関係に基づいて、前記使用者の視界に前記自機が含まれていないことが特定された場合において、前記自機の位置する方向を示す指示画像を前記虚像画像として前記画像表示部に表示させる、頭部装着型表示装置。
5. 請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
   前記支援情報作成部は、前記使用者の位置及び視界と前記自機の位置との関係に基づいて、前記使用者の視界に前記自機が含まれていることが特定された場合において、前記自機を識別させるマーカー画像を前記虚像画像として前記画像表示部に表示させる、頭部装着型表示装置。
6. 請求項２に従属する請求項５に記載の頭部装着型表示装置であって、
   前記支援情報作成部は、さらに、前記使用者の視界に含まれる前記自機に対して、前記自機の状態情報に含まれる移動方向を示す移動方向情報を前記虚像画像として前記画像表示部に表示させる、頭部装着型表示装置。
7. 請求項３に従属する請求項５に記載の頭部装着型表示装置であって、
   前記支援情報作成部は、さらに、前記使用者の視界に含まれる前記自機に対して、前記自機の状態情報に含まれる移動方向を示す移動方向情報を前記虚像画像として前記画像表示部に表示させるとともに、前記使用者の視界に含まれる前記他機に対して、前記他機の状態情報に含まれる移動方向を示す移動方向情報を前記虚像画像として前記画像表示部に表示させる、頭部装着型表示装置。
8. 請求項３に従属する請求項５から請求項７のいずれか一項に記載の頭部装着型表示装置であって、
   前記支援情報作成部は、さらに、前記自機に対して予め定めた第１接近条件を満たす他機が存在する場合に、前記自機の状態情報に含まれる前記自機の位置及び予め定めた時間経過後の予測位置と、前記第１接近条件を満たす他機の状態情報に含まれる前記他機の位置及びおよび予め定めた時間経過後の予測位置と、に基づいて、前記自機と前記他機とが予め定めた第２接近条件を満たす場合に、前記他機の接近状態を示す情報を前記虚像画像として前記画像表示部に表示させる、頭部装着型表示装置。
9. 請求項１から請求項８までのいずれか一項に記載の頭部装着型表示装置であって、
   前記支援情報作成部は、前記外景に対して前記支援画像が識別容易となるように、前記外景の状態に応じて前記支援画像の状態を変化させる、頭部装着型表示装置。
10. 使用者の頭部に装着された状態において、外景を透過させて前記使用者に視認させるとともに、前記外景に虚像画像を重畳させて前記使用者に視認させる画像表示部を有する透過型の頭部装着型表示装置の制御方法であって、
    前記使用者の操作対象物としての移動体である自機の位置を含む状態情報を取得する工程と、
    前記使用者の位置及び視界と前記自機の位置との関係に基づいて、前記自機の操作のための支援情報を作成して前記虚像画像として前記画像表示部に表示させる工程と、
    を備える、制御方法。
11. 使用者の頭部に装着された状態において、外景を透過させて前記使用者に視認させるとともに、前記外景に虚像画像を重畳させて前記使用者に視認させる画像表示部を有する透過型の頭部装着型表示装置を制御するためのコンピュータープログラムであって、
    前記使用者の操作対象物としての移動体である自機の位置を含む状態情報を取得する機能と、
    前記使用者の位置及び視界と前記自機の位置との関係に基づいて、前記自機の操作のための支援情報を作成して前記虚像画像として前記画像表示部に表示させる機能と、
    をコンピューターに実現させる、コンピュータープログラム。

Images