JP2019124849A - 頭部装着型表示装置、表示システム、及び、頭部装着型表示装置の制御方法 - Google Patents

Abstract

【課題】撮像画像を利用するシステムや装置において、撮像すべきでない事物の画像を含んでいる可能性がある撮像画像を、適切に利用する。【解決手段】使用者の頭部に装着され、画像を表示する画像表示部２０Ａと、画像表示部２０Ａに設けられ、画像表示部２０Ａに対する所定方向の画像を撮像するカメラ６１と、カメラ６１の撮像範囲における非表示領域を特定し、カメラ６１の撮像画像データに対し非表示領域の明瞭度を低下させる処理を行い、処理後の撮像画像データを出力する制御部と、を備えるＨＭＤ１Ａ。【選択図】図２

Description

本発明は、頭部装着型表示装置、表示システム、及び、頭部装着型表示装置の制御方法に関する。

従来、カメラの撮像画像をインターネット等により送信する装置やシステムが知られている。一例として、特許文献１には、人を監視する監視カメラで撮像した映像をインターネットでテレビモニターやコンピューターに送信する構成が開示されている。

特開２００２−１４２２１４号公報

ところで、撮像すべきでない事物が写っている撮像画像や、写っている可能性がある撮像画像を利用する場合には、配慮が必要である。例えば、特許文献１には、プライバシー保護のため、モザイク処理等により人物部分の映像をマスクすることが記載されている。特許文献１に記載されたシステムは、いわゆる監視カメラを用いているので、撮像範囲や被写体が固定的である。従って、撮像画像においてマスクすべき部分を特定できる。これに対し、装置構成や環境により、撮像範囲、撮像する方向、或いは、撮像される被写体が変化する場合には、撮像すべきでない事物が写っている可能性がある画像を、適切に利用することは困難であった。このため、例えば、人間が目視によって、撮像すべきでない事物が写っているか否かを判断するなど、負担の大きい作業を必要としていた。
本発明は上記事情に鑑みてなされたものであり、撮像画像を利用するシステムや装置において、撮像すべきでない事物の画像を含んでいる可能性がある撮像画像を、適切に利用することを目的とする。

上記課題を解決するため、本発明の頭部装着型表示装置は、使用者の頭部に装着され、画像を表示する表示部と、前記表示部に設けられ、前記表示部に対する所定方向の画像を撮像する撮像部と、前記撮像部の撮像範囲における非表示領域を特定し、前記撮像部の撮像画像データに対し前記非表示領域の明瞭度を低下させる処理を行い、処理後の前記撮像画像データを出力する制御部と、を備える。
本発明によれば、撮像部の撮像画像データに撮像すべきでない事物が写っている領域を非表示領域とすることにより、非表示領域の明瞭度を低下させる処理が行われる。これにより、撮像すべきでない事物の画像の明瞭度を低下させた撮像画像データを得ることができる。従って、撮像すべきでない事物の画像を含んでいる可能性がある撮像画像を、適切に利用できる。

また、本発明は、非表示対象を特定する非表示情報を記憶する記憶部を備え、前記制御部は、前記非表示情報に基づいて前記非表示領域を特定する。
この構成によれば、明瞭度を低下させる処理の対象である非表示領域を、記憶部に記憶した非表示情報に基づいて特定する。これにより、撮像すべきでない事物の画像を含む可能性のある非表示領域を、適切に特定できる。

また、本発明は、前記制御部は、前記撮像部の撮像範囲において、前記撮像部の撮像画像データに前記非表示対象の画像が含まれる領域を、前記非表示領域として特定する。
この構成によれば、撮像画像データに非表示対象が写る領域を、明瞭度を低下させる処理の対象とするので、撮像すべきでない事物の画像を適切に秘匿し、保護できる。

また、本発明は、前記記憶部が記憶する前記非表示情報は、前記非表示対象の位置及び方向の少なくともいずれかを示す情報を含む。
この構成によれば、非表示対象の位置および／または方向を示す情報に基づき、撮像画像データにおいて、非表示領域を適切に特定できる。

また、本発明は、前記記憶部が記憶する前記非表示情報は、前記非表示対象の前記撮像部からの距離を指定する情報を含む。
この構成によれば、撮像部からの距離を基準として、非表示領域を適切に特定できる。

また、本発明は、前記非表示対象は、予め設定された物体であり、前記記憶部が記憶する前記非表示情報は、前記撮像部の撮像画像データから前記非表示対象の外観を検出するための情報を含む。
この構成によれば、予め非表示対象として設定された物体の外観が撮像画像データに含まれる場合に、撮像画像データの非表示対象の明瞭度を低下させるので、非表示対象の視認を防止または抑制できる。例えば、秘匿すべき情報が印刷された印刷物、掲示物、書物、コンピューターのディスプレイ等を非表示対象としてもよい。秘匿すべき情報として、人のプライバシーに関する情報情報や個人情報が挙げられ、具体的には、人の顔、身体、服装、名札、名刺、個人名が掲載された掲示物等がある。また、例えば、機密情報として保護される非表示対象として、機械や設備そのもの、或いは、設計図面等が挙げられる。

また、本発明は、通信部を備え、前記制御部は、外部の装置から前記通信部によって前記非表示情報を受信し、前記記憶部に記憶させる。
この構成によれば、撮像画像データの処理に適した非表示情報を利用できる。

また、本発明は、前記表示部の位置を検出する検出部を備え、前記制御部は、前記検出部の検出結果から前記表示部の位置を特定し、前記表示部の位置と前記非表示情報とに基づいて、前記撮像画像データにおける前記非表示領域を検出する。
この構成によれば、撮像すべきでない事物の画像を含む可能性のある非表示領域を、表示部の位置に対応して特定できる。このため、撮像部が移動可能な構成において、撮像すべきでない事物の画像を含む可能性のある撮像画像を適切に利用できる。

また、本発明は、前記撮像部は、第１撮像解像度で撮像した第１撮像画像データと、前記第１撮像解像度より低い第２撮像解像度で撮像した第２撮像画像データと、を出力し、前記制御部は、前記非表示領域の明瞭度を低下させる処理において、前記第１撮像画像データにおける前記非表示領域を、前記第２撮像画像データで対応する領域の画像と置き換える。
この構成によれば、画像を部分的に置換する処理により、非表示領域の明瞭度を低下させることができる。

また、本発明は、前記表示部が移動可能な範囲の少なくとも一部を含むマップデータを有し、前記制御部は、前記マップデータにおける前記非表示領域を特定する。
この構成によれば、マップデータを利用して、非表示領域を容易に特定できる。

また、本発明は、前記制御部は、前記表示部が移動可能な範囲の前記マップデータを作成し、作成した前記マップデータにおける前記非表示領域を特定する。
この構成によれば、必要に応じてマップデータを作成し、このマップデータを利用して、非表示領域を容易に特定できる。

また、本発明は、前記撮像部は、第１撮像解像度で撮像した第１撮像画像データと、前記第１撮像解像度より低い第２撮像解像度で撮像した第２撮像画像データと、を出力し、前記制御部は、前記非表示領域の明瞭度を低下させる処理において、前記非表示対象の画像を含む前記第１撮像画像データを前記第２撮像画像データと置き換える。
この構成によれば、画像を置換する処理により、非表示領域を含む撮像画像全体の明瞭度を低下させることができる。

また、本発明は、前記制御部は、前記非表示領域の明瞭度を低下させる処理において、前記撮像部の撮像条件を制御して前記撮像部に撮像を実行させ、明瞭度が異なる部分を有する撮像画像データを生成させる。
この構成によれば、撮像部が撮像する条件を制御することで撮像画像データの明瞭度を低下させるので、撮像画像データの画像処理を簡易化、或いは省略できる。このため、処理負荷を軽減できる。

また、本発明は、操作を受け付ける操作部を備え、前記制御部は、前記操作部が受け付けた操作により、前記撮像部の撮像範囲において前記非表示対象が指定された場合に、指定された前記非表示対象の位置および方向の少なくともいずれかに基づいて、前記非表示情報を生成する。
この構成によれば、操作に応じて非表示情報を生成するので、撮像画像データにおいて明瞭度を低下させる処理の対象を適切に設定できる。

また、上記課題を解決するため、本発明の表示システムは、頭部装着型表示装置と、サーバーとを備え、前記サーバーは、非表示対象を特定する非表示情報を記憶するサーバー記憶部と、前記サーバー記憶部に記憶された前記非表示情報を前記頭部装着型表示装置に送信する送信部と、を備え、前記頭部装着型表示装置は、使用者の頭部に装着され、画像を表示する表示部と、前記表示部に設けられ、前記表示部に対する所定方向の画像を撮像する撮像部と、通信部と、前記通信部により前記サーバーから受信される前記非表示情報を記憶する記憶部と、前記記憶部に記憶された前記非表示情報に基づいて、前記撮像部の撮像範囲における非表示領域を特定し、前記撮像部の撮像画像データに対し前記非表示領域の明瞭度を低下させる処理を行い、処理後の前記撮像画像データを出力する制御部と、を備える。
この構成によれば、頭部装着型表示装置により、撮像部の撮像画像データに撮像すべきでない事物が写っている領域を非表示領域とすることにより、非表示領域の明瞭度を低下させる処理が行われる。このため、撮像すべきでない事物の画像の明瞭度を低下させた撮像画像データを得ることができる。また、頭部装着型表示装置はサーバーから非表示情報を受信できるため、撮像画像データの処理に適した非表示情報を利用できる。これにより、撮像すべきでない事物の画像を含んでいる可能性がある撮像画像を、適切に利用できる。

また、上記課題を解決するため、本発明の頭部装着型表示装置の制御方法は、使用者の頭部に装着され、画像を表示する表示部を備える頭部装着型表示装置の制御方法であって、前記表示部に設けられる撮像部によって、前記表示部に対する所定方向の画像を撮像し、前記撮像部の撮像範囲における非表示領域を特定し、前記撮像部の撮像画像データに対し前記非表示領域の明瞭度を低下させる処理を行い、処理後の前記撮像画像データを出力する。
本発明によれば、撮像部の撮像画像データに撮像すべきでない事物が写っている領域を非表示領域とすることにより、非表示領域の明瞭度を低下させる処理が行われる。これにより、撮像すべきでない事物の画像の明瞭度を低下させた撮像画像データを得ることができる。従って、撮像すべきでない事物の画像を含んでいる可能性がある撮像画像を、適切に利用できる。

本発明は、上述した頭部装着型表示装置、表示システム、及び、頭部装着型表示装置の制御方法以外の種々の形態で実現することも可能である。例えば、上記の制御方法をコンピューターにより実行するためのプログラム、上記プログラムを記録した記録媒体、上記プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等の形態で実現できる。

第１実施形態の表示システムの構成図。 ＨＭＤの外観構成を示す説明図。 画像表示部と撮像範囲の対応を示す模式図。 ＨＭＤのブロック図。 ＨＭＤの制御部および記憶部の機能ブロック図。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。 撮像画像データに対する処理の説明図。 ＨＭＤの動作を示すフローチャート。 第２実施形態のＨＭＤの動作を示すフローチャート。 第２実施形態におけるＨＭＤの動作の説明図。

［１．第１実施形態］
［１−１．表示システムの構成］
図１は、本発明を適用した実施形態に係る表示システム１００の概略構成図である。
表示システム１００は、複数のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１と、サーバー２００とを備え、ＨＭＤ１とサーバー２００とは通信ネットワーク２により通信可能に接続される。

表示システム１００に含まれるＨＭＤ１の数に制限はなく、図１には一例として、３つのＨＭＤ１Ａ、１Ｂ、１Ｃを示す。表示システム１００のＨＭＤ１Ａ、１Ｂ、１Ｃは、いずれも共通する構成を有する。ＨＭＤ１Ａ、１Ｂ、１Ｃを区別する必要のない場合はＨＭＤ１と表記する。

ＨＭＤ１Ａ、１Ｂ、１Ｃは、図１に示すように使用者が頭部に装着する頭部装着型表示装置であり、使用者が虚像を視認すると同時に外景も直接視認可能な光学透過型である。以下の説明では、ＨＭＤ１Ａ、１Ｂ、１Ｃによって使用者が視認する虚像を便宜的に「表示画像」と呼ぶ。また、画像データに基づく画像光を射出することを「画像を表示する」という。ここで、画像とは、静止画像に限らず、動画像（映像）を含む。

典型的な表示システム１００の使用形態では、複数の使用者Ｕが、それぞれＨＭＤ１を装着する。図１には３台のＨＭＤ１Ａ、１Ｂ、１Ｃを、３人の使用者Ｕ１、Ｕ２、Ｕ３が装着する例を示すが、使用者Ｕの数はＨＭＤ１の数と同様に限定されない。また、複数の使用者Ｕが、１台のＨＭＤ１を交代して使用することも勿論可能である。以下、使用者Ｕ１、Ｕ２、Ｕ３の各々を区別しない場合は使用者Ｕと表記する。

表示システム１００の使用例として、本実施形態では、使用者Ｕ１が装着するＨＭＤ１Ａが、使用者Ｕ１の視野を撮像し、撮像画像を、通信ネットワーク２を介して送信する。ＨＭＤ１Ａが送信する撮像画像は、サーバー２００に一時的に記憶され、サーバー２００からＨＭＤ１Ｂ、１Ｃに配信される。ＨＭＤ１Ｂ、１Ｃは、サーバー２００により配信される撮像画像データを受信して表示する。このように、表示システム１００は、ＨＭＤ１Ａが撮像した画像を使用者Ｕ１とともに使用者Ｕ２、Ｕ３が共有する共有システムとして機能する。

表示システム１００では、ＨＭＤ１Ａ、１Ｂ、１Ｃがそれぞれ、相互に無線通信を実行し、画像データ、音声データ、制御データ等を含む各種のデータを送受信できる。本実施形態では、ＨＭＤ１Ａの撮像画像データを送受信する例を説明する。
サーバー２００は、いわゆるクラウドサーバーとして構成され、具体的なハードウェア構成は任意である。すなわち、サーバー２００を１台のサーバー装置で構成する例に限定されず、サーバー２００の機能を複数のサーバー装置に分散して実行する構成であってもよい。

サーバー２００は、ＨＭＤ１に対して外部の装置に相当する。サーバー２００は、サーバー記憶部２１０、及び、サーバー通信部２２０（送信部）を有する。サーバー記憶部２１０は、ＨＭＤ１Ａ、１Ｂ、１Ｃ等と送受信する各種データを記憶する。例えば、サーバー２００は、後述する非表示情報やマップデータを、サーバー記憶部２１０に記憶しており、ＨＭＤ１Ａから要求を受信した場合に、要求された非表示情報やマップデータをＨＭＤ１Ａに送信する。サーバー通信部２２０は、通信ネットワーク２を介してＨＭＤ１Ａ、１Ｂ、１Ｃ等とデータ通信を行う装置であり、例えば、ネットワークインターフェース基板等で構成される。

通信ネットワーク２は、公衆回線網、専用線、携帯電話回線を含む無線通信回線、及び、これらの回線のバックボーン通信回線など、各種の通信回線、或いは、各種通信回線の組合せで実現され、具体的構成は限定されない。通信ネットワーク２は、遠隔地を接続できる広域通信回線網であってもよいし、特定の施設や建物内に敷設されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。また、通信ネットワークは、上記各種通信回線を接続するサーバー装置、ゲートウェイ装置、ルーター装置等のネットワーク機器を含んでもよい。また、通信ネットワークが複数の通信回線で構成されてもよい。

通信ネットワーク２には、無線アクセスポイント２Ａ、２Ｂ、２Ｃが接続される。無線アクセスポイント２Ａ、２Ｂ、２Ｃはいずれも、無線ＬＡＮ等の規格に準じた無線通信を実行し、ＨＭＤ１Ａ、１Ｂ、１Ｃのそれぞれを通信ネットワーク２に接続する。
使用者Ｕ１がいる場所と、使用者Ｕ２、Ｕ３がいる場所とは、通信ネットワークに接続可能であれば地理的制約はなく、遠隔地であってもよいし、近接した場所であってもよい。従って、ＨＭＤ１Ａ、１Ｂ、１Ｃは、近接した位置で使用されてもよいし、遠く離れた状態で使用されてもよい。

ＨＭＤ１は、後述するように、使用者Ｕが実空間の景色（外景）を視認できるように、画像表示部２０（表示部）により画像を表示するので、使用者Ｕは、外景と、画像表示部２０が表示する画像とを重ねて視認できる。画像表示部２０の具体的構成は任意であるが、本実施形態では、外部から入射する光（外光）を透過する透過型の画像表示部２０を例示する。

ＨＭＤ１Ａは、使用者Ｕ１が頭部に装着する画像表示部２０Ａ（表示部）、及び、画像表示部２０を制御するコントローラー１０Ａを備える。画像表示部２０Ａは、使用者Ｕ１の頭部に装着された状態で使用者に虚像を視認させる。コントローラー１０Ａは、使用者Ｕ１がＨＭＤ１Ａを操作する制御装置としても機能する。

ＨＭＤ１Ｂ、１Ｃは、画像表示部２０Ａと同様に構成される画像表示部２０Ｂ、２０Ｃ、及び、コントローラー１０Ａと同様に構成されるコントローラー１０Ｂ、１０Ｃを備える。以下、画像表示部２０Ａ、２０Ｂ、２０Ｃを区別しない場合は画像表示部２０と表記し、コントローラー１０Ａ、１０Ｂ、１０Ｃを区別しない場合はコントローラー１０と表記する。

［１−２．ＨＭＤの構成］
ここで、ＨＭＤ１Ａを例に挙げて、ＨＭＤ１の構成を説明する。ＨＭＤ１Ｂ、１Ｃについては図示及び説明を省略する。

図２は、ＨＭＤ１Ａの外観構成を示す図である。
コントローラー１０Ａは、箱形の本体１１に、使用者Ｕ１の操作を受け付ける各種のスイッチや操作パッド１４等を備える。画像表示部２０Ａは、本実施形態では眼鏡形状を有し、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６、及び左導光板２８を備える。

右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者Ｕ１の頭部に画像表示部２０Ａを保持する。前部フレーム２７の両端部のうち画像表示部２０Ａの装着時に使用者Ｕ１の右側に位置する端部を端部ＥＲとし、左側に位置する端部を端部ＥＬとする。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。画像表示部２０Ａの装着状態において、右導光板２６は使用者Ｕ１の右眼の眼前に位置し、左導光板２８は使用者Ｕ１の左眼の眼前に位置する。

右表示ユニット２２及び左表示ユニット２４は、光学ユニット及び周辺回路をユニット化したモジュールであり、画像光を出射する。右表示ユニット２２は、右保持部２１に取り付けられ、左表示ユニット２４は、左保持部２３に取り付けられる。
右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部品である。例えば、右導光板２６及び左導光板２８はプリズムである。右導光板２６は、右表示ユニット２２が出力する画像光を使用者Ｕ１の右眼に向けて導き、左導光板２８は、左表示ユニット２４が出力する画像光を使用者の左眼に導く。これにより、使用者Ｕ１の両眼に画像光が入射し、使用者Ｕ１が画像を視認できる。

ＨＭＤ１Ａはシースルー型の表示装置であり、使用者Ｕの右眼ＲＥには、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。同様に、左眼ＬＥには、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射する。このように、ＨＭＤ１Ａは、内部で処理した画像に対応する画像光と外光とを重ねて使用者Ｕの眼に入射させ、使用者Ｕにとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光による画像が視認される。

右導光板２６及び左導光板２８の表面に、調光機能を有する電子シェード（図示略）を設けてもよい。電子シェードは、後述する制御部１５０（図５）の制御により光の透過率（透光率）が変化する板状の電子デバイスであり、例えば液晶パネルを備える。画像表示部２０Ａに電子シェードを設けた場合、画像表示部２０Ａを装着する使用者の右眼ＲＥ及び左眼ＬＥには、電子シェードを透過した外光が入射するので、電子シェードの透過率により、使用者の眼に入射する外光の光量を調整できる。

画像表示部２０Ａの前部フレーム２７には、照度センサー６５が配置される。照度センサー６５は、画像表示部２０Ａを装着する使用者Ｕ１の前方からの外光を受光する。
カメラ６１（撮像部）は、画像表示部２０Ａの前部フレーム２７に配設される。カメラ６１の撮像範囲および撮像方向については後述する。カメラ６１は、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図２の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置されているが、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、制御部１５０の制御に従って撮像を実行し、撮像画像データを制御部１５０に出力する。

前部フレーム２７には、ＬＥＤインジケーター６７が配置される。ＬＥＤインジケーター６７は、端部ＥＲにおいてカメラ６１の近傍に配置され、カメラ６１の動作中に点灯して、撮像中であることを報知する。

距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。本実施形態では、距離センサー６４は前部フレーム２７に設けられ、使用者Ｕ１の前方に位置する測定対象物までの距離を検出する。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する光反射式距離センサーであってもよい。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える超音波式の距離センサーであってもよい。また、距離センサー６４は、レーザーレンジスキャナー（測域センサー）を用いてもよく、この場合、画像表示部２０Ａの前方を含む広範囲の領域に対し測域を行える。

コントローラー１０Ａと画像表示部２０Ａとは、接続ケーブル４０により接続される。接続ケーブル４０は、本体１１のコネクター４２に着脱可能に接続される。
接続ケーブル４０は、オーディオコネクター４６を備え、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が、オーディオコネクター４６に接続される。
マイク６３は、音声を集音して、音声信号を音声インターフェイス１８２（図４）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

コントローラー１０Ａは、使用者Ｕ１により操作される被操作部として、ホイール操作部１２、中央キー１３、操作パッド１４、上下キー１５、ＬＥＤ表示部１７、及び電源スイッチ１８を備える。これらの被操作部は本体１１の表面に配置される。これらの被操作部は、例えば、使用者Ｕ１の手指により操作される。

本体１１にはＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）表示部１７が設置される。ＬＥＤ表示部１７は、光を透過可能な透過部（図示略）を有し、透過部の直下に設置されるＬＥＤが点灯することで、透過部に形成された文字、記号、模様等を視認可能な状態とする。ＬＥＤ表示部１７に対する使用者Ｕ１の手指の接触操作は、タッチセンサー１７２（図４）により検出される。このため、ＬＥＤ表示部１７とタッチセンサー１７２との組合せはソフトウェアキーとして機能する。
電源スイッチ１８は、ＨＭＤ１Ａの電源のオン／オフを切り替えるスイッチである。また、本体１１は、コントローラー１０Ａを、外部の装置に接続するインターフェイスとして、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクター１９を備える。

図３は、画像表示部２０Ａの要部構成を示す図であり、カメラ６１の位置を、使用者Ｕ１の右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す。
図３に、カメラ６１の画角（撮像範囲）をＣで示す。カメラ６１は、使用者Ｕ１の両眼が向く方向、すなわち使用者Ｕ１にとって前方を撮像する。なお、カメラ６１の実際の画角は一般的なデジタルカメラと同様に上下方向にも拡がる。

カメラ６１は、ＨＭＤ１Ａを装着した状態における使用者Ｕ１の視界方向の少なくとも一部の外景（実空間）を撮像し、カメラ６１の画角Ｃは、使用者Ｕ１の正面方向を向き、使用者Ｕ１が画像表示部２０Ａを透過して視認する外景と重複する。画角Ｃは、使用者Ｕ１が画像表示部２０を透過して視認する視界の全体を含むことが、より好ましい。

カメラ６１は無限遠にフォーカスする構成であってもよいが、制御部１５０の制御によりフォーカス調整が可能なものであってもよい。
図３に示すように、使用者Ｕ１が両眼で対象物ＯＢを注視すると、使用者Ｕ１の視線は、図中符号ＲＤ、ＬＤに示すように対象物ＯＢに向けられる。この場合、使用者Ｕ１から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることが、より多い。そこで、ＨＭＤ１Ａについて、通常使用時における使用者Ｕ１から対象物ＯＢまでの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者Ｕ１が設定してもよい。カメラ６１の光軸、及び画角Ｃは、通常使用時における対象物ＯＢまでの距離が、設定された上限の目安に相当する場合、及び、下限の目安に相当する場合に、この対象物ＯＢが画角に含まれるように、設定されることが好ましい。

また、一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。この場合、注視点が、図３の対象物ＯＢであるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者Ｕ１が画像表示部２０Ａを透過して右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）と呼ぶことができる。図２に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者Ｕ１が視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。

そこで、カメラ６１の画角Ｃは、使用者Ｕ１の有効視野よりも広いことが好ましい。より好ましくは、画角Ｃは使用者Ｕ１の実視野よりも広く、さらに好ましくは、画角Ｃは使用者Ｕ１の安定注視野よりも広い。最も好ましくは、画角Ｃは使用者Ｕ１の両眼の視野角よりも広い。

カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。

また、上述のように、カメラ６１は端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。この場合、カメラ６１の左右方向における位置は図４の位置とは異なり、カメラ６１の光軸および画角Ｃは、カメラ６１の設置位置に応じて適宜に設定される。
なお、以下の説明では、画角Ｃに対応するカメラ６１の撮像範囲を、単に撮像範囲とする。

図３には、使用者Ｕ１の輻輳角を符号ＰＡで示す。輻輳角ＰＡは、使用者Ｕ１が注視する対象物ＯＢまでの距離に対応する。すなわち、使用者Ｕ１が立体的に画像や物体を視認する場合、視認する対象までの距離に対応して、右眼ＲＥ及び左眼ＬＥの輻輳角が定まる。従って、輻輳角を検出することで、使用者Ｕ１が注視する距離を求めることができる。また、使用者Ｕ１の輻輳角を誘導するように画像を表示することにより、立体視を誘導できる。

使用者Ｕ１は、右眼ＲＥの視線方向ＲＡを、右表示ユニット２２の画像の左右方向における表示位置に応じて調整し、左眼ＬＥの視線方向ＬＡを、左表示ユニット２４の画像の左右方向における表示位置に応じて調整する。このため、右表示ユニット２２、左表示ユニット２４の画像の表示位置を制御することで、使用者Ｕ１の右眼ＲＥと左眼ＬＥの視線を誘導し、画像表示部２０Ａの表示画像を視認する際の輻輳角ＰＡを制御できる。
従って、使用者Ｕ１が、画像表示部２０Ａの表示画像を認識し、知覚する距離を、ＨＭＤ１Ａの機能により調整可能である。

カメラ６１が撮像する撮像方向（本発明の所定方向）の具体例として、使用者Ｕ１の視線方向を含む方向が挙げられるが、画像表示部２０を装着した使用者Ｕ１の前方であってもよい。また、画像表示部２０を装着した使用者Ｕ１の移動方向をカメラ６１の撮像方向とする構成であってもよい。また、使用者Ｕ１が、後述する非表示対象を見る方向であってもよい。カメラ６１の画角は上述したように任意であり、広角であってもよく、例えば全方位カメラのように、３６０°を撮像可能なカメラであってもよく、複数の撮像素子や複数のレンズ等を備えて広角の撮像を可能とした複合デバイスであってもよい。

［１−３．ＨＭＤの制御系］
図４は、ＨＭＤ１Ａを構成する各部の構成を示すブロック図である。
コントローラー１０Ａは、プログラムを実行してＨＭＤ１Ａを制御するメインプロセッサー１２５を備える。メインプロセッサー１２５には、メモリー１１８及び不揮発性記憶部１２１が接続される。メインプロセッサー１２５には、入力装置として操作部１７０が接続される。
メインプロセッサー１２５には、センサー類として、６軸センサー１１１、磁気センサー１１３、及び、ＧＰＳ１１５が接続される。

メインプロセッサー１２５には、通信部１１７、音声コーデック１８０、外部メモリーインターフェイス１８６、ＵＳＢコネクター１９、センサーハブ１９２、及び、ＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。

メインプロセッサー１２５は、コントローラー１０Ａが内蔵するコントローラー基板１２０に実装される。本実施形態では、コントローラー基板１２０に、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声コーデック１８０等がコントローラー基板１２０に実装される。また、外部メモリーインターフェイス１８６、ＵＳＢコネクター１９、センサーハブ１９２、ＦＰＧＡ１９４、及びインターフェイス１９６をコントローラー基板１２０に実装してもよい。また、コネクター４２、及びＵＳＢコネクター１９を、コントローラー基板１２０に実装してもよい。

メモリー１１８は、メインプロセッサー１２５により実行されるプログラム、及び、メインプロセッサー１２５が処理するデータ等を一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄ）で構成される。不揮発性記憶部１２１は、メインプロセッサー１２５が実行するプログラムや、メインプロセッサー１２５が処理するデータを記憶する。

操作部１７０は、ＬＥＤ表示部１７、タッチセンサー１７２、及びスイッチ１７４を含む。タッチセンサー１７２は、使用者Ｕ１によるタッチ操作を検出し、操作位置を特定し、メインプロセッサー１２５に対して操作信号を出力する。スイッチ１７４は、上下キー１５、及び、電源スイッチ１８の操作に応じて、メインプロセッサー１２５に操作信号を出力する。ＬＥＤ表示部１７は、メインプロセッサー１２５の制御に従って、ＬＥＤを点灯、点滅、消灯させる。操作部１７０は、例えば、ＬＥＤ表示部１７、タッチセンサー１７２、スイッチ１７４、及び、これらを制御する回路が実装されたスイッチ基板であり、本体１１に収容される。

６軸センサー１１１は、コントローラー１０Ａの動きを検出するモーションセンサー（慣性センサー）の一例である。６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備える。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を採用してもよい。

磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信する受信機である。ＧＰＳ１１５は、ＧＰＳ信号に基づき、コントローラー１０Ａの現在位置の座標を検出または算出する。

６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、予め指定されたサンプリング周期に従ってメインプロセッサー１２５に出力値を出力する。また、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１２５の要求に応じて、メインプロセッサー１２５により指定されたタイミングで、検出値をメインプロセッサー１２５に出力する構成であってもよい。

通信部１１７は、外部の機器との間で無線通信を実行する通信装置である。通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備え、これらが統合されたデバイスであってもよい。また、各種回路が実装された通信モジュール基板であってもよい。通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格に準拠した無線通信を行う。通信部１１７は、無線アクセスポイント２Ａ（図１）と無線データ通信を行う。

音声信号を入出力する音声インターフェイス１８２は、オーディオコネクター４６（図２）に接続され、音声信号の入出力および音声信号のエンコード／デコードを行う。音声コーデック１８０はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及び、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。

外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。

コントローラー１０Ａは、バイブレーター１７６を搭載する。バイブレーター１７６は、モーター（図示略）、偏心した回転子（図示略）等を備え、メインプロセッサー１２５の制御に従って振動を発生する。例えば、操作部１７０に対する操作や、ＨＭＤ１Ａの電源のオン／オフに応じて、所定の振動パターンでバイブレーター１７６が振動を発生する。

インターフェイス（Ｉ／Ｆ）１９６は、センサーハブ１９２及びＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）１９４を、画像表示部２０Ａに接続する。
センサーハブ１９２は、画像表示部２０Ａが備える各種センサーの検出値を取得してメインプロセッサー１２５に出力する。ＦＰＧＡ１９４は、メインプロセッサー１２５と画像表示部２０Ａの各部との間で送受信するデータの処理、及び、インターフェイス１９６を介した伝送を実行する。

接続ケーブル４０、及び、図示しない画像表示部２０Ａ内部の配線により、コントローラー１０Ａに、右表示ユニット２２と、左表示ユニット２４とが個別に接続される。
右表示ユニット２２は、画像光を発するＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ユニット２２１を備える。ＯＬＥＤユニット２２１が発する画像光は、レンズ群等を含む光学系により、右導光板２６に導かれる。左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１を備える。ＯＬＥＤユニット２４１が発する画像光は、レンズ群等を含む光学系により、左導光板２８に導かれる。

ＯＬＥＤユニット２２１、２４１は、ＯＬＥＤパネルやＯＬＥＤパネルを駆動する駆動回路を有する。ＯＬＥＤパネルは、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネルは、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。駆動回路は、制御部１５０の制御に従って、ＯＬＥＤパネルの発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネルの発光素子を発光させる。これにより、ＯＬＥＤユニット２２１、２４１に形成された画像の画像光が、右導光板２６及び左導光板２８に導かれ、右眼ＲＥ及び左眼ＬＥに入射する。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介してコントローラー１０Ａから入力されるデータを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５が実装される。インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー６９、カメラ６１、照度センサー６５、および、ＬＥＤインジケーター６７を、コントローラー１０Ａに接続する。

ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）２１５は、メインプロセッサー１２５が読み取り可能にデータを記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０Ａが備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー６９、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１Ａの工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１２５がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。

カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号をインターフェイス２１１に出力する。
照度センサー６５は、受光量（受光強度）に対応する検出値を、インターフェイス２１１に出力する。ＬＥＤインジケーター６７は、インターフェイス２１１を介して入力される信号に従って点灯および消灯する。

温度センサー６９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値としてインターフェイス２１１に出力する。温度センサー６９は、ＯＬＥＤユニット２２１が有するＯＬＥＤパネルの裏面側、或いは、ＯＬＥＤパネルを駆動する駆動回路と同一の基板に実装され、ＯＬＥＤパネルの温度を検出する。また、ＯＬＥＤパネルがＳｉ−ＯＬＥＤとして、駆動回路等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー６９を実装してもよい。

受信部２１３は、インターフェイス２１１を介してメインプロセッサー１２５が送信するデータを受信する。受信部２１３は、インターフェイス２１１から画像データを受信した場合に、受信した画像データを、ＯＬＥＤユニット２２１に出力する。

左表示ユニット２４は、表示ユニット基板２３０を有する。表示ユニット基板２３０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介してコントローラー１０Ａから入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２３０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、コントローラー１０Ａに接続する。

６軸センサー２３５は、画像表示部２０Ａの動きを検出するモーションセンサーの一例である。６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロセンサーを備える。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵであってもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。

温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値としてインターフェイス２３１に出力する。温度センサー２３９は、ＯＬＥＤユニット２４１が有するＯＬＥＤパネルの裏面側、或いは、ＯＬＥＤパネルを駆動する駆動回路と同一の基板に実装され、ＯＬＥＤパネルの温度を検出する。また、ＯＬＥＤパネルがＳｉ−ＯＬＥＤとして、駆動回路等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。

カメラ６１、照度センサー６５、温度センサー６９、６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、コントローラー１０Ａのセンサーハブ１９２に接続される。

センサーハブ１９２は、メインプロセッサー１２５の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９２は、予め設定されたタイミングで、各センサーの検出値をメインプロセッサー１２５に出力する。センサーハブ１９２は、メインプロセッサー１２５に対する出力のタイミングに合わせて、各センサーの検出値を一時的に保持する機能を備えてもよい。また、センサーハブ１９２は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１２５に出力する機能を備えてもよい。
また、センサーハブ１９２は、メインプロセッサー１２５の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯または点滅させる。

コントローラー１０Ａは、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及び、バッテリー１３２の残容量の検出およびバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。

ＵＳＢコントローラー１９８は、ＵＳＢデバイスコントローラーとして機能し、ＵＳＢコネクター１９に接続されるＵＳＢホスト装置との間で通信を確立し、データ通信を行う。また、ＵＳＢコントローラー１９８は、ＵＳＢデバイスコントローラーとしての機能に加え、ＵＳＢホストコントローラーとしての機能を有してもよい。

図５は、ＨＭＤ１Ａのコントローラー１０Ａの制御系を構成する記憶部１４０、及び制御部１５０の機能ブロック図である。図５に示す記憶部１４０は、不揮発性記憶部１２１（図４）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。制御部１５０、及び、制御部１５０が有する各種の機能部は、メインプロセッサー１２５がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１２５、メモリー１１８、及び不揮発性記憶部１２１により構成される。

記憶部１４０は、メインプロセッサー１２５が実行する各種のプログラム、及び、これらのプログラムにより処理されるデータを記憶する。記憶部１４０は、オペレーティングシステム（ＯＳ）１４１、アプリケーションプログラム１４２、設定データ１４３、アプリケーション設定データ１４４、コンテンツデータ１４５、マップデータ１４６、及び、非表示情報１４７を記憶する。
制御部１５０は、記憶部１４０が記憶するプログラムを実行することにより、記憶部１４０が記憶するデータを処理して、ＨＭＤ１Ａを制御する。

オペレーティングシステム１４１は、メインプロセッサー１２５が実行するＨＭＤ１Ａの基本制御プログラムである。メインプロセッサー１２５は、電源スイッチ１８の操作によってＨＭＤ１Ａの電源がオンに切り替わると、オペレーティングシステム１４１をロードして実行する。メインプロセッサー１２５がオペレーティングシステム１４１を実行することで、制御部１５０の各種機能が実現される。制御部１５０の機能とは、基本制御部１５１、通信制御部１５２、画像処理部１５３、表示制御部１５４、撮像制御部１５５、検出制御部１５６、位置検出部１５７、及び、非表示情報処理部１５８を含む。また、オペレーティングシステム１４１が実現する機能は、アプリケーション実行部１５９を含む。

アプリケーションプログラム１４２は、メインプロセッサー１２５がオペレーティングシステム１４１を実行した状態で、メインプロセッサー１２５が実行するプログラムである。アプリケーションプログラム１４２は、制御部１５０の各種機能を利用する。記憶部１４０が記憶するアプリケーションプログラム１４２は１つではなく複数であってもよい。例えば、アプリケーションプログラム１４２は、画像コンテンツ再生、音声コンテンツ再生、ゲーム、カメラ撮影、文書作成、ウェブブラウジング、スケジュール管理、電話（音声通信を含む）、画像通信、経路ナビゲーション等の機能を実現する。

設定データ１４３は、ＨＭＤ１Ａの動作に係る各種の設定値を含む。また、制御部１５０がＨＭＤ１Ａを制御する際にパラメーター、行列式、演算式、ＬＵＴ（ＬｏｏｋＵｐ Ｔａｂｌｅ）等を用いる場合、これらを設定データ１４３に含めてもよい。

アプリケーション設定データ１４４は、ＨＭＤ１Ａにおいてアプリケーションプログラム１４２を実行する場合に使用されるデータである。詳細には、アプリケーションプログラム１４２に含まれる各種プログラムを実行する場合の実行条件等のデータを含む。例えば、アプリケーションプログラム１４２の実行時の画像表示サイズ、画面の向き、アプリケーションプログラム１４２が使用する制御部１５０の機能部あるいはＨＭＤ１Ａのセンサー類等を示すデータを含む。

ＨＭＤ１Ａでは、アプリケーションプログラム１４２を導入する際に、制御部１５０の機能によりインストール処理を実行する。インストール処理は、アプリケーションプログラム１４２を記憶部１４０に記憶するだけでなく、アプリケーションプログラム１４２の実行条件の設定等を含む処理である。インストール処理により、記憶部１４０に、アプリケーションプログラム１４２に対応するアプリケーション設定データ１４４が生成または記憶されると、アプリケーション実行部１５９がアプリケーションプログラム１４２を起動できる。

コンテンツデータ１４５は、制御部１５０の制御によって画像表示部２０Ａが表示する画像や映像を含むコンテンツのデータである。コンテンツデータ１４５は、静止画像データ、映像（動画像）データ、音声データ等を含む。コンテンツデータ１４５は複数のコンテンツのデータを含んでもよい。コンテンツデータ１４５は、双方向型のコンテンツのデータであってもよい。例えば、画像表示部２０Ａがコンテンツを表示した場合に、コントローラー１０Ａに対する使用者Ｕの操作に応じて、コンテンツの表示形態やコンテンツ自体が切り替えられる。この場合、コンテンツデータ１４５は、コンテンツのデータとともに、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を含んでもよい。

マップデータ１４６は、ＨＭＤ１Ａが使用される範囲の位置情報を含むデータである。マップデータ１４６には、後述する非表示対象などの物体の位置を、位置情報に対応付けるためのデータである。マップデータ１４６は２Ｄ（２次元）のデータであってもよいし３Ｄ（３次元）のデータであってもよい。非表示対象の位置を示す情報は、マップデータ１４６に合わせた情報であればよく、２Ｄの位置情報であってもよいし、３Ｄの位置情報であってもよい。また、マップデータ１４６は、指定されたＨＭＤ１Ａを使用可能な、閉鎖された領域のデータであってもよい。この場合、マップデータ１４６に含まれる位置情報は、閉鎖された領域における位置を示す情報であればよく、汎用性のない情報であってもよい。また、マップデータ１４６は、緯度、経度、海抜（高度）を位置情報として用いた汎用的なマップデータ１４６であってもよい。

制御部１５０は、マップデータ１４６を利用してＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）を実行してもよい。この場合、マップデータ１４６は、ＨＭＤ１Ａが使用される領域の位置情報を記録するためのテンプレート、或いは、プラットホームとすることができる。

ＳＬＡＭを実行する場合、制御部１５０は、画像表示部２０を装着した使用者Ｕ１が移動する場合に、画像表示部２０の移動範囲でマップを作成する処理を行う。ＳＬＡＭは、カメラ６１の撮像画像データから物体を検出し、検出した物体の形状をもとに位置検出を行う技術である。マップを作成する処理で、制御部１５０は、画像表示部２０の移動中にカメラ６１により複数回の撮像を実行し、撮像画像データから同一形状を検出した場合に、同一形状の位置を同一位置とする対応付けを行う。この処理を継続して実行することで、制御部１５０は、画像表示部２０の周囲の閉じたマップを作成する。作成されたマップは、例えば、制御部１５０が磁気センサー１１３、ＧＰＳ１１５、通信部１１７、６軸センサー２３５、磁気センサー２３７等の検出値に基づき検出した位置の座標と対応付けられ、或いは、ＨＭＤ１の移動範囲の座標と対応付けられて、マップデータ１４６とすることができる。また、マップデータ１４６は、座標と対応づけられていない状態であってもよい。公知のＳＬＡＭ技術は空間地図を作成することが可能であるため、マップデータ１４６は、３次元のマップとすることができる。また、制御部１５０は、公知のＭｏｎｔｅ Ｃａｒｌｏ法でマップデータ１４６を作成してもよい。

非表示情報１４７は、ＨＭＤ１Ａがカメラ６１により撮像した撮像画像データにおいて、非表示とすべき対象物（以下、非表示対象とする）を示すデータを含む。非表示対象とは、ＨＭＤ１Ａからサーバー２００に送信する画像に含まれることが望ましくない事物を指す。非表示対象は、プライバシー保護の観点、或いは、機密情報保護の観点から決定される。つ具体的には、個人を特定し得る非表示対象として、人の顔、身体、服装、名札、名刺、個人名が掲載された掲示物等が挙げられる。また、機密情報として保護される非表示対象として、機械や設備、設計図面、コンピューターのディスプレイに表示された情報等が挙げられる。別の表現では、非表示対象は、秘匿すべき情報を含む印刷物、掲示物、書物、コンピューターのディスプレイ等とすることもできる。秘匿すべき情報は、人のプライバシーに関する情報情報や個人情報が挙げられ、具体的には、人の顔、身体、服装、名札、名刺、個人名が掲載された掲示物等がある。また、秘匿すべき情報は、機密情報であってもよく、機械や設備の設計図面やプログラムコード等、またはその他の著作物が挙げられる。

非表示情報１４７は、非表示対象がカメラ６１の撮像画像データに含まれるか否かを判定するための情報である。例えば、非表示情報１４７は、使用者Ｕ１の行動範囲、すなわちＨＭＤ１Ａが使用される地理的範囲における非表示対象の位置を特定するデータである。この場合、非表示情報１４７は、マップデータ１４６と、マップ上における非表示対象の位置を示す情報とを含む情報であってもよいし、マップデータ１４６に対応付けられる情報であってもよい。例えば、非表示情報１４７は、特定のマップデータ１４６と組み合わせて使用される情報であってもよい。

非表示情報１４７が非表示対象の位置に係る情報を含む場合、ＨＭＤ１Ａ（特に、画像表示部２０Ａ）と非表示対象との相対位置、及び、非表示情報１４７に基づいて、カメラ６１の撮像範囲に非表示対象が含まれるか否かを判定できる。さらに、非表示情報１４７は、カメラ６１の撮像範囲における非表示対象の位置を特定可能な情報であることが好ましい。

制御部１５０が、上記のＳＬＡＭ技術等によりマップデータ１４６を作成する場合、非表示情報１４７は、制御部１５０が作成したマップデータ１４６における非表示対象の位置を示す情報であってもよい。

また、制御部１５０は、マップデータ１４６において非表示対象の位置を特定する情報を生成してもよい。例えば、カメラ６１の撮像画像データから非表示対象の外観の画像を検出するための情報を、非表示情報１４７として記憶部１４０に記憶している場合に、制御部１５０は、マップデータ１４６を生成する処理でカメラ６１の撮像画像データから形状を検出する際に、非表示対象の外観を検出する。或いは、制御部１５０は、カメラ６１の撮像画像データにより作成されたマップデータ１４６から、非表示対象の外観の画像を検出する。これにより、制御部１５０は、撮像画像データからの画像検出技術により、マップデータ１４６における非表示対象の特定を行える。制御部１５０は、非表示対象の位置に基づき、非表示領域を設定すればよい。

また、非表示情報１４７は、マップデータ１４６上で特定される位置から非表示対象を見る場合に、非表示対象の視認を妨げる障害物に関する情報を含んでもよい。障害物は、マップデータ１４６の範囲に設置される建物や建造物、壁、設備、機械、山や樹木などの自然物などが挙げられ、視認を妨げるものであれば限定されない。この場合、ＨＭＤ１Ａと非表示対象との相対位置、及び、非表示情報１４７に基づいて、カメラ６１の含まれる非表示対象が視認可能か否かを判定できる。

また、非表示情報１４７は、非表示対象の位置に関する情報を含んでいなくてもよい。例えば、非表示情報１４７は、カメラ６１の撮像画像データから非表示対象を検出するための情報であればよく、非表示対象の画像（非表示対象の外観の画像）の特徴量を含んでもよい。この場合、カメラ６１の撮像画像データを解析し、例えばパターンマッチングにより、撮像画像データから非表示対象の画像を検出し、撮像画像データにおける非表示対象の画像の位置を特定できる。この場合、非表示情報１４７は、マップデータ１４６と対応付けられる必要がないので、記憶部１４０がマップデータ１４６を記憶していなくてもよい。また、非表示情報１４７は、マップデータ１４６と組み合わされる非表示対象の位置を示す情報と、非表示対象の画像の画像特徴量との両方を含んでもよい。また、非表示情報１４７は、非表示対象がテキスト（文字）を含む場合に、このテキストを示す情報を含んでもよい。この場合、非表示情報１４７は、カメラ６１の撮像画像データに含まれる文字を認識し、認識した文字または文字列が、非表示情報１４７に含まれる文字と同一または類似する文字または文字列を含む場合に、これらの文字または文字列を非表示情報として検出する。

基本制御部１５１は、ＨＭＤ１Ａの各部を制御する基本機能を実行する。基本制御部１５１は、ＨＭＤ１Ａの電源がオンされたときに起動処理を実行し、ＨＭＤ１Ａの各部を初期化し、アプリケーション実行部１５９がアプリケーションプログラムを実行可能な状態にする。基本制御部１５１は、コントローラー１０Ａの電源をオフにする際のシャットダウン処理を実行し、アプリケーション実行部１５９を終了し、記憶部１４０が記憶する各種データを更新し、ＨＭＤ１Ａを停止させる。シャットダウン処理では画像表示部２０Ａに対する電源供給も停止し、ＨＭＤ１Ａ全体がシャットダウンされる。

基本制御部１５１は、電源部１３０による電源供給を制御する機能を有する。基本制御部１５１は、シャットダウン処理で、電源部１３０からＨＭＤ１Ａの各部への電源供給を個別にオフに切り替える。

通信制御部１５２は、通信部１１７によるデータ通信を実行する。通信制御部１５２は、通信部１１７が備える通信機能を制御して、指定された通信先の機器との間でデータ通信を実行する。通信制御部１５２の機能により、基本制御部１５１及びアプリケーション実行部１５９は、他の装置との間でデータを送受信し、例えば受信したデータを利用できる。

画像処理部１５３は、画像表示部２０Ａにより表示する画像または映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部１５３が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１５３は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１５３は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１５３は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、画像表示部２０Ａに送信する。

画像処理部１５３は、メインプロセッサー１２５がオペレーティングシステム１４１を実行して実現される構成のほか、メインプロセッサー１２５とは別のハードウェアで構成してもよい。このハードウェアとしては、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が挙げられる。

表示制御部１５４は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。例えば、表示制御部１５４は、ＯＬＥＤパネルによる画像の表示を実行させ、ＯＬＥＤパネルの描画タイミングの制御、輝度の制御等を行う。

撮像制御部１５５は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１４０に一時的に記憶する。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１５５は撮像画像データをカメラ６１から取得して、記憶部１４０に一時的に記憶する。

検出制御部１５６は、検出制御部１５６は、操作部１７０が出力する操作信号に基づき、使用者Ｕ１のＨＭＤ１Ａに対する操作を検出する。また、検出制御部１５６は、ＨＭＤ１Ａが搭載する各種センサーの検出を制御する。検出制御部１５６は、ＦＰＧＡ１９４から入力される各種センサーの検出値を取得する。検出制御部１５６は、各種センサーの検出値に基づき、ＨＭＤ１Ａの周辺環境に関する検出を行ってもよい。例えば、検出制御部１５６は、カメラ６１の撮像画像または照度センサー６５の検出値から、ＨＭＤ１Ａの周辺の明るさを検出する。

検出制御部１５６は、使用者Ｕの視線方向を検出する。例えば、検出制御部１５６は、内側カメラ６８の撮像画像から使用者Ｕの右眼ＲＥ及び左眼ＬＥの各々の画像を検出する。具体的には、撮像画像から、右眼ＲＥ、左眼ＬＥの瞳孔または眼球表面に反射する反射光を検出することにより、公知の技術を利用して視線方向を検出できる。視線検出部１５８は、カメラ６１の撮像画像から、使用者Ｕの頭部の向きを検出することにより、使用者Ｕの視線方向を検出してもよい。また、カメラ６１の撮像画像から検出される視線方向と、内側カメラ６８の撮像画像から検出される視線方向との両方に基づき、視線方向を検出してもよい。視線検出部１５８が検出する視線方向は、右眼ＲＥ及び左眼ＬＥの各々の向きであってもよいし、右眼ＲＥと左眼ＬＥを合わせて、使用者Ｕが注視する方向であってもよい。

また、検出制御部１５６は、使用者Ｕ１のジェスチャー操作による操作を検出する。ジェスチャー操作は、アクションＵＩ（ユーザーインターフェース）とも呼ばれ、使用者Ｕ１が指示体を動かす操作や指示体の形状を特定の形状とする操作であり、これらの操作をＨＭＤ１Ａが光学的に検出する。指示体は、使用者Ｕ１の手、指、足などの身体の一部であるが、棒状やボール状のデバイスであってもよい。カメラ６１の撮像範囲内でジェスチャー操作が行われた場合、カメラ６１により操作される指示体を撮像できる。検出制御部１５６は、カメラ６１の撮像画像データから、パターン認識処理等により指示体の画像を抽出し、抽出した画像から、指示体の形状、指示体の形状や位置の変化を求める。検出制御部１５６は、求めた指示体の形状、指示体の形状や位置の変化が、予め設定されたジェスチャー操作の態様に適合する場合に、操作を検出する。

位置検出部１５７（検出部）は、ＧＰＳ１１５の検出値に基づきＨＭＤ１Ａの現在位置を特定し、現在位置を示す位置情報を生成する。また、位置検出部１５７は、通信部１１７により、予め設定された位置に配置される無線アクセスポイント（図示略）や無線ビーコン（図示略）から無線信号を受信させ、受信信号に含まれるＩＤや受信強度に基づき、ＨＭＤ１Ａの位置を特定してもよい。また、位置検出部１５７は、カメラ６１の撮像画像データを用いてＨＭＤ１Ａの位置を特定してもよい。例えば、位置検出部１５７は、カメラ６１の撮像画像データから、ＨＭＤ１Ａの行動範囲内に設置された位置検出用のマーカーの画像を検出し、検出したマーカーの画像の位置に基づき、マーカーと画像表示部２０Ａとの相対位置を求めてもよい。この場合、１または複数のマーカーと画像表示部２０Ａとの相対位置と、マーカーの設置位置とをもとに、画像表示部２０Ａの位置を特定できる。

また、位置検出部１５７は、距離センサー６４により距離検出や領域検出を行った処理結果から位置を検出してもよい。また、ＨＭＤ１Ａが、位置検出用のエンコーダーを利用可能な構成である場合、エンコーダーによる検出結果を利用して自己位置を検出してもよい。また、位置検出部１５７は、マイク６３により集音した音声に基づく位置検出を行ってもよい。

位置検出部１５７は、画像表示部２０Ａの方向を特定する。位置検出部１５７は、６軸センサー２３５、磁気センサー２３７、６軸センサー１１１、磁気センサー１１３の少なくともいずれかの検出値をもとに、画像表示部２０Ａが向いている方向を算出する。位置検出部１５７は、算出した方向と、画像表示部２０Ａとカメラ６１の撮像範囲との既知の位置関係とに基づき、カメラ６１の撮像範囲の方向を算出する。

非表示情報処理部１５８は、カメラ６１の撮像画像データに非表示対象の画像が含まれ得る場合に、撮像画像データを加工する。非表示情報処理部１５８は、撮像画像データにおける非表示対象の画像の位置を特定し、非表示対象の画像を含む非表示領域を設定する。非表示情報処理部１５８は、非表示領域の明瞭度を低下させる処理を行う。この処理により、カメラ６１の撮像画像データに含まれる非表示対象の外観の画像が、視認できないように、或いは視認しにくくなるように、処理される。カメラ６１の撮像画像データは、非表示情報処理部１５８により処理された後で、サーバー２００に送信される。このため、非表示対象が明瞭に写っている撮像画像データがサーバー２００やＨＭＤ１Ｂ、１Ｃに送信されることがなく、非表示対象を保護できる。

また、非表示情報処理部１５８が撮像画像データを処理した場合、処理後の撮像画像データに基づき、画像表示部２０が表示を行うようにしてもよい。例えば、画像表示部２０がカメラ６１の撮像画像データに基づく画像をリアルタイム（完全にリアルタイムでなくてもよく、遅延を含んでもよい）表示すれば、画像表示部２０をバーチャルシースルー式の表示装置とすることができる。この構成において、非表示情報処理部１５８が処理した撮像画像データに基づく画像を画像表示部２０が表示すれば、画像表示部２０を装着する使用者Ｕも、非表示情報を視認しない。例えば、非表示対象を、使用者Ｕにも視認させないことが適切な場合に、非表示情報の機密性を保持できる。

非表示領域は、カメラ６１の撮像画像データを非表示情報処理部１５８が処理する場合に、処理対象となる領域である。カメラ６１の撮像画像データが平面（２Ｄ）画像である場合、非表示領域は、撮像画像データ中の領域であり、撮像画像データにおける座標で表現できる。また、非表示領域は、カメラ６１の撮像範囲に対する位置や範囲として指定することもできる。この場合、非表示領域を示す情報は、カメラ６１の光軸や画角に対する方向、カメラ６１の撮像面からの距離、或いは相対位置とすることができる。また、非表示領域は、画像表示部２０や、画像表示部２０を装着する使用者Ｕの頭部の中心に対する相対的な位置や範囲であってもよい。この場合、カメラ６１の撮像範囲や、使用者Ｕの視界を、画像表示部２０や、画像表示部２０を装着する使用者Ｕの頭部の中心に対する相対的な位置や範囲で表すデータを用いれば、カメラ６１の撮像範囲と非表示領域との位置関係を特定できる。

非表示領域は、平面的な領域に限定されない。例えば、奥行を含む３Ｄ空間を非表示領域として設定してもよい。この場合、非表示領域を規定する情報は、画像表示部２０を基準とする距離、及び／または画像表示部２０の正面方向を基準とする方向（角度）等を採用できる。

アプリケーション実行部１５９は、メインプロセッサー１２５が、オペレーティングシステム１４１を実行する状態で、アプリケーションプログラム１４２を実行する機能に相当する。アプリケーション実行部１５９は、アプリケーションプログラム１４２を実行して、アプリケーションプログラム１４２の各種機能を実現する。アプリケーションプログラム１４２の機能は、例えば上に例示した通りである。アプリケーション実行部１５９は、アプリケーションプログラム１４２の実行中に、制御部１５０の各部の機能を利用する。

また、非表示情報処理部１５８は、通信制御部１５２の機能を利用して、サーバー２００に対して非表示情報の送信を要求し、サーバー２００から送信される非表示情報を受信して、記憶部１４０に非表示情報１４７として記憶させる。例えば、非表示情報処理部１５８は、位置検出部１５７により検出されたＨＭＤ１Ａの位置に対応する非表示情報１４７が、記憶部１４０に記憶されていない場合に、サーバー２００に対して、ＨＭＤ１Ａの位置に対応する非表示情報の送信を要求する。また、非表示情報処理部１５８は、非表示情報１４７を適切な状態に維持するため、予め設定された周期で、或いは、サーバー記憶部２１０に記憶された非表示情報の更新が通知された場合に、サーバー２００に対し非表示情報の送信を要求してもよい。

また、非表示情報処理部１５８は、サーバー２００に対し、非表示情報１４７を生成するもととなるマップデータの送信を要求し、サーバー２００から送信されるマップデータを受信して、記憶部１４０にマップデータ１４６として記憶させる。

非表示情報処理部１５８は、非表示情報１４７を生成する機能を有する。この機能により、非表示情報処理部１５８は、記憶部１４０に記憶された非表示情報１４７に非表示対象に関する情報を追加して、非表示情報１４７を更新することができる。また、非表示情報処理部１５８は、サーバー２００から取得したマップデータに、非表示対象の位置に関する情報を追加して、非表示情報１４７を生成し、記憶部１４０に記憶させてもよい。

［１−４．ＨＭＤの動作］
図６は、ＨＭＤ１Ａの動作を示すフローチャートであり、ＨＭＤ１Ａにより非表示情報１４７を生成する処理を示す。

制御部１５０は、非表示情報処理部１５８により、非表示情報１４７の生成処理を開始し（ステップＳ１１）、マップデータ１４６を取得する（ステップＳ１２）。ステップＳ１２で、非表示情報処理部１５８は、記憶部１４０からマップデータ１４６を読み出してもよいし、サーバー２００からマップデータを受信してもよい。例えば、非表示情報処理部１５８は、ステップＳ１１の前に位置検出部１５７が検出したＨＭＤ１Ａの位置に対応するマップデータを、サーバー２００に要求して、サーバー２００から受信してもよい。また、制御部１５０がＳＬＡＭ処理を実行する場合、上述のように、マップデータ１４６として、ＨＭＤ１Ａが検出した自己位置を記録するためのテンプレート等を用いることができる。

制御部１５０は、位置検出部１５７により、位置検出を開始する（ステップＳ１３）。位置検出部１５７は、ＨＭＤ１Ａの位置および／または画像表示部２０Ａの位置を検出するが、カメラ６１の撮像範囲に関する処理を行うため、ステップＳ１３では画像表示部２０Ａの位置を検出する。

ここで、使用者Ｕ１により、非表示対象を指定する操作が行われ、この操作を検出制御部１５６が検出する（ステップＳ１４）。

非表示対象を指定する操作は、例えば、使用者Ｕ１が、画像表示部２０Ａを透過する視野における非表示対象の位置を指し示す操作である。ＨＭＤ１Ａが、操作パッド１４の操作に対応してポインターを動かすＧＵＩを提供する場合、使用者Ｕ１はポインターを動かして非表示対象を指定する。また、使用者Ｕ１は、ジェスチャー操作により非表示対象を指定してもよい。非表示対象の指定方法は、非表示対象の事物に重なる位置を指定する位置指定操作や、非表示対象の外縁を指定する領域指定操作等、適宜に設定できる。例えば、使用者Ｕ１は、画像表示部２０Ａを透過する視野において、非表示対象とする物体の周縁をなぞるジェスチャー操作を行い、検出制御部１５６は、ジェスチャー操作の操作位置を、画像表示部２０Ａに対する相対位置として検出する。

また、ステップＳ１４で、非表示情報処理部１５８は、非表示対象に付されたマーカーをカメラ６１の撮像画像データから検出することで、非表示対象の位置を特定してもよい。また、非表示情報処理部１５８は、位置検出を行える外部の電子デバイス（例えば、ジャイロリモコン）から送信される位置情報に基づき、非表示対象の位置を特定してもよい。

また、ステップＳ１４で、非表示情報処理部１５８は、使用者Ｕ１の視線方向を検出し、視線方向に位置する物体または視線方向を中心とする所定範囲を、非表示対象として検出してもよい。

非表示情報処理部１５８は、ステップＳ１４で指定された非表示対象について、ＨＭＤ１Ａに対する相対位置を検出する（ステップＳ１５）。非表示情報処理部１５８は、画像表示部２０Ａに対する非表示対象の相対位置を検出してもよい。

非表示情報処理部１５８は、ステップＳ１５で検出した位置に基づき、マップデータ１４６における非表示対象の位置を特定する（ステップＳ１６）。ステップＳ１６で、非表示情報処理部１５８は、非表示対象の位置と、非表示対象のサイズを特定してもよいし、非表示対象の外縁の位置を特定してもよい。非表示情報処理部１５８は、ステップＳ１６で特定した位置に基づき非表示情報を生成し、非表示情報１４７として記憶部１４０に記憶させる（ステップＳ１７）。

また、非表示情報処理部１５８は、ステップＳ１７で生成した非表示情報を、サーバー２００に送信してもよい（ステップＳ１８）。ステップＳ１８の処理は必須ではないが、例えば、複数のＨＭＤ１が非表示情報を共有できるという利点がある。例えば、ＨＭＤ１ＢやＨＭＤ１Ｃがサーバー２００から非表示情報をダウンロードすれば、ＨＭＤ１Ａが使用する非表示情報１４７と同じ非表示情報を利用できる。この機能は、サーバー２００が、ＨＭＤ１Ｂ、１Ｃが非表示情報を要求した場合に非表示情報を送信する機能を備えていれば実現できる。

図６の例は、非表示対象を使用者Ｕが指定した場合に（ステップＳ１４）、非表示対象の位置を検出して、マップデータ１４６に非表示対象の位置を反映させる処理である。本発明はこれに限定されず、非表示対象の外観を、カメラ６１の撮像画像データから検出するための情報を、非表示情報１４７として生成してもよい。

この場合、非表示情報処理部１５８は、ステップＳ１６の処理に代えて、ステップＳ１５で検出した位置に基づき、カメラ６１の撮像画像データから非表示対象の外観の画像を抽出する。非表示情報処理部１５８は、抽出した画像から、非表示対象の外観の画像を検出するための非表示情報を生成する。例えば、非表示情報処理部１５８は、カメラ６１の撮像画像データから抽出した画像の画像特徴量を求め、非表示情報としてもよい。また、非表示情報処理部１５８は、抽出した画像がテキスト（文字）を含む場合、テキストを認識し、認識したテキストデータを含む非表示情報を生成してもよい。

また、さらに別の動作例として、非表示情報処理部１５８は、ステップＳ１５の処理に代えて、ステップＳ１４で指定された非表示対象の外観の画像を、カメラ６１の撮像画像データから抽出してもよい。すなわち、非表示対象の位置の検出を省略して、非表示対象の外観の画像を検出するための非表示情報を生成してもよい。この場合の非表示情報は、上述した例と同様の情報とすることができる。

図７は、ＨＭＤ１Ａの動作を示すフローチャートであり、ＨＭＤ１Ａがカメラ６１により撮像を行い、撮像画像データをサーバー２００に送信する一連の動作を示す。
制御部１５０は、非表示情報処理部１５８により、マップデータ１４６を取得し（ステップＳ３１）、非表示情報１４７を取得する（ステップＳ３２）。ここで、非表示情報処理部１５８は、サーバー２００から非表示情報およびマップデータを取得してもよい。

制御部１５０は、撮像制御部１５５により、カメラ６１を制御して撮像を開始させる（ステップＳ３３）。撮像開始後は、カメラ６１から制御部１５０に、撮像画像データが出力される。

制御部１５０は、位置検出部１５７により、ＨＭＤ１Ａの画像表示部２０Ａの位置を検出する（ステップＳ３４）。制御部１５０は、非表示情報処理部１５８により、位置検出部１５７が検出した位置および非表示情報１４７に基づき、カメラ６１の撮像範囲に非表示対象が含まれるか否かを判定する（ステップＳ３５）。

カメラ６１の撮像範囲に非表示対象が含まれると判定した場合（ステップＳ３５；ＹＥＳ）、非表示情報処理部１５８は、撮像範囲における非表示対象の位置を特定する（ステップＳ３６）。さらに、非表示情報処理部１５８は、カメラ６１の撮像画像データにおいて、非表示対象の画像が含まれる非表示領域を特定する（ステップＳ３７）。

非表示情報処理部１５８は、カメラ６１の撮像画像データを取得し（ステップＳ３８）、取得した撮像画像データに対し、ステップＳ３７で特定した非表示領域の明瞭度を低下させるマスク処理を実行する（ステップＳ３９）。カメラ６１が動画像データを出力する場合、非表示情報処理部１５８は、動画像データを構成する各フレームに対してマスク処理を施す。

非表示情報処理部１５８は、ステップＳ３９で処理された後の撮像画像データを、記憶部１４０に一時的に記憶させる（ステップＳ４０）。
制御部１５０は、ステップＳ４０で一時記憶された撮像画像データを、通信制御部１５２により、サーバー２００に送信する（ステップＳ４１）。カメラ６１が出力する撮像画像データが動画像データであって、連続して出力される場合、制御部１５０は、所定時間毎に動画像データを区切ってステップＳ４１の処理を実行してもよい。また、制御部１５０は、記憶部１４０の記憶領域の一部またはメモリー１１８にバッファーメモリーを形成し、ステップＳ４０でバッファーメモリーに動画像データを一時記憶してもよい。この場合、制御部１５０は、一時記憶した動画像データをステップＳ４１でストリーミング送信してもよい。

また、非表示情報処理部１５８は、カメラ６１の撮像範囲に非表示対象がないと判定した場合（ステップＳ３５；ＮＯ）、撮像画像データを取得し（ステップＳ４３）、ステップＳ４０に移行する。

制御部１５０は、操作部１７０に対する操作により停止が指示されたか否かを判定し（ステップＳ４２）、停止が指示された場合は（ステップＳ４２；ＹＥＳ）、本処理を終了する。また、停止が指示されない場合は（ステップＳ４２；ＮＯ）、ステップＳ３４に戻る。

ステップＳ３５で、制御部１５０は、カメラ６１の撮像範囲に非表示対象が含まれる階中を判定するものとしたが、非表示対象がカメラ６１の撮像範囲の外であっても、ステップＳ３６に移行してもよい。例えば、カメラ６１の撮像範囲が非表示対象から所定範囲に接近した場合、または、カメラ６１の撮像範囲が非表示対象に近づいている場合に、ステップＳ３６に移行してもよい。これらの場合、カメラ６１の撮像画像データに非表示対象の画像が含まれないので、非表示情報処理部１５８は、非表示領域として、撮像画像データにおいて非表示対象に近い側の端部を、非表示領域として特定してもよい。

図８は、カメラ６１の撮像画像データに対する処理の説明図である。
図８において符号Ａは、カメラ６１の撮像画像データの一例として、撮像画像データ３０１を示し、符号Ｂは、撮像画像データ３０１に対しマスク処理を施した処理後画像データ３１１を示す。

撮像画像データ３０１は、一例として、工場において作業用車両を撮像したデータである。この例では、人の顔、及び、作業用車両により運搬される荷物が、非表示対象に設定される。制御部１５０は、撮像画像データ３０１から人の顔の画像を検出して、対応する非表示領域３０３を特定する。また、制御部１５０は、撮像画像データ３０１から作業用車両の画像を検出し、作業用車両の荷台に対応する非表示領域３０５を特定する。

制御部１５０は、非表示情報処理部１５８により、非表示領域３０３、３０５にマスク処理を行う。マスク処理は、非表示領域３０３、３０５に写っている被写体を判別できない程度に、明瞭度を低下させる処理である。
マスク処理で明瞭度を低下させる具体的な方法としては、次の（１）〜（３）が挙げられる。

（１）非表示領域にモザイク処理を施す方法。非表示情報処理部１５８は、非表示領域の画像をモザイク化する画像処理を行い、モザイクを含む撮像画像データを生成する。
（２）非表示領域を塗りつぶす方法。非表示情報処理部１５８は、非表示領域を予め設定された単色で塗りつぶす処理、或いは、設定された幾何学模様等を重畳する画像処理を行う。

（３）非表示領域を低解像度化する方法。制御部１５０は、撮像制御部１５５によりカメラ６１を制御して、カメラ６１により２通りの解像度で撮像を実行させる。一例として、カメラ６１が、第１解像度（１９２０×１０８０）と、第２解像度（３２０×２４０）とで撮像を行うものとする。解像度の具体的な数値やアスペクト比は任意であり、第１解像度が第２解像度より高解像度であればよい。

この方法では、カメラ６１は、第１解像度による撮像と、第２解像度による撮像とを交互に、或いは組み合わせて実行する。このため、カメラ６１が動画像データを出力する場合、この動画像データを構成するフレームは、第１解像度のフレームと、第２解像度のフレームとを含む。好ましくは、第１解像度のフレームと、第２解像度のフレームとが、交互に、或いは、所定枚数ごとに、切り替わる。典型的な例として、３０ｆｐｓの動画像データが、１秒あたり１５枚の第１解像度のフレームと、１５枚の第２解像度のフレームとを含む。

撮像制御部１５５は、カメラ６１が撮像した撮像画像データのうち、第１解像度のフレームのみを含む動画像データを出力する。非表示情報処理部１５８は、撮像画像データに非表示領域を特定した後、第２解像度のフレームから非表示領域の画像を切り出し、切り出した画像を、第１解像度のフレームにおいて非表示領域の位置に重畳して合成する。ここで、第２解像度のフレームから切り出した非表示領域の画像の画素数は、第１解像度の非表示領域の画素数よりも少ないため、非表示情報処理部１５８は、切り出した画像の解像度を変換して、画像を合成する。この場合、非表示情報処理部１５８は、単純に画素数を所定倍する処理を行うことで、非表示領域の低解像度化を、軽い処理負荷で実現できる。非表示情報処理部１５８は、合成したフレームで構成される動画像データを、撮像画像データとして一時記憶する。

（３）の方法によれば、カメラ６１により撮像された撮像画像データをほぼリアルタイムでサーバー２００に送信する処理において、画像処理の負荷を抑え、大きな遅延を生じることなく動画像データを出力できる。この方法では、結果的に動画像データのデータ量が圧縮されるため、通常のリアルタイムデータ送信を行うよりもデータ量が少なく、かつ、プライバシー保護や機密情報保護が可能な動画像データを、リアルタイムに配信できる。撮像画像データが配信されるサーバー２００、ＨＭＤ１Ｂ、１Ｃ等の機器では、非表示領域以外を高解像度で再生することができる。また、非表示領域は情報量が少ないため、プライバシー保護や機密情報保護が実現される。さらに、（１）や（２）の方法に比べて、撮像画像データ全体における非表示領域が目立たず、使用者Ｕ２、Ｕ３に違和感を抱かせにくいという利点もある。

また、非表示情報処理部１５８は、上記（３）の方法で、撮像画像データ（動画像データのフレーム）が非表示対象の画像を含む場合に、高解像度のフレーム全体を、低解像度のフレームと置き換えてもよい。この方法を（４）とする。方法（４）によれば、フレーム全体の解像度が低下するが、動画像データを再生する装置が解像度を変換する処理を行うことができるので、非表示情報処理部１５８の処理負荷をより一層、軽減できる。また、方法（３）と同様に、非表示対象の画像を、違和感なく、明瞭度の低い画像とすることができる。

明瞭度を低下させる処理における「明瞭度」は、画像が使用者Ｕ１または他の人物に視認される際の明瞭度を指すが、これに限定されない。例えば、明瞭度の変化は、画像をコンピューターにより処理する際の処理結果の変化を招くような変化であってもよい。明瞭度を低下させる処理は、例えば、画像の解像度、輝度、明度、彩度、モザイク度等のいずれか１以上を変化させる処理であってもよい。また、画像に含まれる輪郭を不明瞭にする処理、いわゆるエッジ強調処理の逆に相当する処理、画像の階調を少なくする処理、コントラストを低下させる処理、シャープネスを低下させる処理、等であってもよい。また、明瞭度を低下させる処理では、撮像画像データの全部または一部において、特定の輝度や周波数範囲の信号を増大または低減させて、撮像画像データに含まれる画像の視認性や、画像の輪郭の視認性または明瞭度を低下させてもよい。これらの処理のうち２以上を組み合わせて、明瞭度を低下させる処理としてもよい。

また、制御部１５０は、照度センサー６５またはカメラ６１によりＨＭＤ１の使用環境の明るさを測定（検出）し、測定した明るさに応じて、カメラ６１の撮像条件や、カメラ６１の撮像画像データに対する処理のパラメーターを変化させてもよい。カメラ６１の撮像条件は、ホワイトバランス、シャッター速度、シャッター開時間、オートフォーカス、絞り値等である。カメラ６１の撮像条件を、撮像画像データを不明瞭にするよう変更または調整することで、明瞭度を低下させてもよい。また、カメラ６１の撮像条件を、撮像画像データを明瞭にするよう変更または調整し、その後に、撮像画像データの明瞭度を低下させる処理を行ってもよい。

図８において、処理後画像データ３１１では、マスク処理された部分をハッチングで示しているが、実際には、（１）〜（３）の処理が施された状態である。
マスク処理が施された処理後画像データ３１１では、非表示領域３０３に対応する領域３１３、及び、非表示領域３０５に対応する領域３１５が、マスク処理によって明瞭度が低下した状態となっている。このため、プライバシー保護や機密情報の保護を確保した上で、ＨＭＤ１Ａから、カメラ６１の撮像画像データをサーバー２００やＨＭＤ１Ｂ、１Ｃに送信することができる。

図９は、ＨＭＤ１Ａの動作を示すフローチャートであり、上述した（３）の処理を示す。
撮像制御部１５５がカメラ６１を制御することにより、カメラ６１は、第１解像度で撮像を行い（ステップＳ６１）、撮像画像データをバッファーに記憶する（ステップＳ６２）。バッファーは、メモリー１１８や不揮発性記憶部１２１の記憶領域に形成することができる。カメラ６１は、撮像制御部１５５の制御により、第２解像度で撮像を実行し（ステップＳ６３）、撮像画像データをバッファーに記憶する（ステップＳ６４）。

非表示情報処理部１５８は、撮像画像データに対しマスク処理を行うか否かを判定する（ステップＳ６５）。マスク処理を行う場合（ステップＳ６５）、非表示情報処理部１５８は非表示領域の位置やサイズの情報を取得し（ステップＳ６６）、第２解像度で撮像したフレームから非表示領域の画像を切り出す（ステップＳ６７）。非表示情報処理部１５８は、切り出した画像を、第１解像度で撮像したフレームに合成し（ステップＳ６８）、合成したフレームをバッファーに記憶する（ステップＳ６９）。非表示情報処理部１５８は、バッファーに記憶した動画像データを出力する（ステップＳ７０）。

また、非表示情報処理部１５８は、マスク処理を行わないと判定した場合（ステップＳ６５；ＮＯ）、ステップＳ７０に移行する。

制御部１５０は、操作部１７０に対する操作により停止が指示されたか否かを判定し（ステップＳ７１）、停止が指示された場合は（ステップＳ７１；ＹＥＳ）、本処理を終了する。また、停止が指示されない場合は（ステップＳ７１；ＮＯ）、ステップＳ６１に戻る。

以上説明したように、本発明を適用したＨＭＤ１は、使用者の頭部に装着され、画像を表示する画像表示部２０と、画像表示部２０に設けられ、画像表示部２０に対する所定方向の画像を撮像するカメラ６１とを備える。ＨＭＤ１は、カメラ６１の撮像範囲における非表示領域を特定し、カメラ６１の撮像画像データに対し非表示領域の明瞭度を低下させる処理を行い、処理後の撮像画像データを出力する制御部１５０を備える。
これにより、カメラ６１の撮像画像データに撮像すべきでない事物が写っている領域を非表示領域とすることにより、非表示領域の明瞭度を低下させる処理が行われる。これにより、撮像すべきでない事物の画像の明瞭度を低下させた撮像画像データを得ることができる。従って、撮像すべきでない事物の画像を含んでいる可能性がある撮像画像を、適切に利用できる。

また、ＨＭＤ１は、非表示対象を特定する非表示情報１４７を記憶する記憶部１４０を備える。制御部１５０は、非表示情報１４７に基づいて非表示領域を特定する。これにより、明瞭度を低下させる処理の対象である非表示領域を、記憶部１４０に記憶した非表示情報１４７に基づいて特定する。これにより、撮像すべきでない事物の画像を含む可能性のある非表示領域を、適切に特定できる。

また、制御部１５０は、カメラ６１の撮像範囲において、カメラ６１の撮像画像データに非表示対象の画像が含まれる領域を、非表示領域として特定する。このため、撮像画像データに非表示対象が写る領域を、明瞭度を低下させる処理の対象とし、撮像すべきでない事物の画像を適切に秘匿し、保護できる。

また、記憶部１４０が記憶する非表示情報１４７は、非表示対象の位置及び方向の少なくともいずれかを示す情報を含む。これにより、非表示対象の位置および／または方向を示す情報に基づき、カメラ６１の撮像画像データにおいて、非表示領域を適切に特定できる。

また、非表示対象は、予め設定された物体であり、非表示情報１４７は、カメラ６１の撮像画像データから非表示対象の外観を検出するための情報を含む。この場合、予め非表示対象として設定された物体の外観が撮像画像データに含まれる場合に、撮像画像データの非表示対象の明瞭度を低下させるので、非表示対象の視認を防止または抑制できる。

また、ＨＭＤ１は、通信部１１７を備え、制御部１５０は、外部の装置であるサーバー２００から通信部１１７によって非表示情報を受信し、記憶部１４０に記憶させる。これにより、撮像画像データの処理に適した非表示情報１４７を利用できる。

また、ＨＭＤ１は、画像表示部２０の位置を検出する位置検出部１５７を備える。制御部１５０は、位置検出部１５７の検出結果から画像表示部２０の位置を特定し、画像表示部２０の位置と非表示情報１４７とに基づいて、撮像画像データにおける非表示領域を検出する。これにより、撮像すべきでない事物の画像を含む可能性のある非表示領域を、画像表示部２０の位置に対応して特定できる。このため、カメラ６１が移動可能な構成において、撮像すべきでない事物の画像を含む可能性のある撮像画像を適切に利用できる。

また、ＨＭＤ１は、画像表示部２０が移動可能な範囲の少なくとも一部を含むマップデータ１４６を有し、制御部１５０は、マップデータ１４６における非表示領域を特定してもよく、この場合、マップデータ１４６を利用して非表示領域を容易に特定できる。

また、制御部１５０は、画像表示部２０が移動可能な範囲のマップデータ１４６を作成し、作成したマップデータ１４６における非表示領域を特定してもよい。この場合、必要に応じてマップデータ１４６を作成し、このマップデータ１４６を利用して、非表示領域を容易に特定できる。

また、カメラ６１は、第１撮像解像度で撮像した第１撮像画像データと、第１撮像解像度より低い第２撮像解像度で撮像した第２撮像画像データと、を出力する。制御部１５０は、上述した明瞭度を低下させる処理（３）で、第１撮像画像データにおける非表示領域を、第２撮像画像データで対応する領域の画像と置き換えて合成する。これにより、画像を部分的に置換する処理により、非表示領域の明瞭度を低下させることができる。

また、カメラ６１は、第１撮像解像度で撮像した第１撮像画像データと、第１撮像解像度より低い第２撮像解像度で撮像した第２撮像画像データと、を出力する。制御部１５０は、上述した明瞭度を低下させる処理（４）で、非表示対象の画像を含む第１撮像画像データを第２撮像画像データと置き換える。これにより、画像を置換する処理により、非表示領域を含む撮像画像全体の明瞭度を低下させることができる。

また、ＨＭＤ１は、操作を受け付ける操作部１７０を備える。制御部１５０は、操作部１７０が受け付けた操作により、カメラ６１の撮像範囲において非表示対象が指定された場合に、指定された非表示対象の位置および方向の少なくともいずれかに基づいて、非表示情報１４７を生成する。これにより、操作に応じて非表示情報１４７を生成するので、撮像画像データにおいて明瞭度を低下させる処理の対象を適切に設定できる。

また、非表示領域は、平面的な領域に限定されない。例えば、奥行を含む３Ｄ空間を非表示領域として設定してもよい。この場合、マップデータ１４６において非表示領域を規定する情報は、画像表示部２０を基準とする距離、及び／または画像表示部２０の正面方向を基準とする方向（角度）等が挙げられる。この場合、ＨＭＤ１は、画像表示部２０を装着した使用者Ｕ１が移動する間にカメラ６１により撮像された撮像画像データに基づき、使用者Ｕ１の移動中に、撮像対象までの距離及び／または使用者Ｕ１の移動速度に対応して、明瞭度を変化させる処理を行ってもよい。これにより、カメラ６１の撮像画像データに含まれる画像のうち、画像表示部２０から遠方に位置する物体や人の画像であって、撮像画像データにおける視認性が低い画像について、さらに明瞭度を低下させる処理を書略できる等の利点がある。

また、表示システム１００は、ＨＭＤ１と、サーバー２００とを備える。サーバー２００は、非表示対象を特定する非表示情報１４７を記憶するサーバー記憶部２１０と、サーバー記憶部２１０に記憶された非表示情報１４７をＨＭＤ１に送信するサーバー通信部２２０と、を備える。ＨＭＤ１は、使用者の頭部に装着され、画像を表示する画像表示部２０と、画像表示部２０に設けられ、画像表示部２０に対する所定方向の画像を撮像するカメラ６１と、通信部１１７とを備える。また、ＨＭＤ１は、通信部１１７によりサーバー２００から受信される非表示情報１４７を記憶する記憶部１４０を備える。また、ＨＭＤ１は、制御部１５０を備える。制御部１５０は、記憶部１４０に記憶された非表示情報１４７に基づいて、カメラ６１の撮像範囲における非表示領域を特定し、カメラ６１の撮像画像データに対し非表示領域の明瞭度を低下させる処理を行い、処理後の撮像画像データを出力する。これにより、ＨＭＤ１によって、カメラ６１の撮像画像データに撮像すべきでない事物が写っている領域を非表示領域とすることにより、非表示領域の明瞭度を低下させる処理が行われる。このため、撮像すべきでない事物の画像の明瞭度を低下させた撮像画像データを得ることができる。また、ＨＭＤ１はサーバー２００から非表示情報１４７を受信できるため、撮像画像データの処理に適した非表示情報１４７を利用できる。これにより、撮像すべきでない事物の画像を含んでいる可能性がある撮像画像を、適切に利用できる。

［第２実施形態］
図１０は、第２実施形態におけるＨＭＤ１Ａの動作を示すフローチャートであり、ＨＭＤ１Ａがカメラ６１により撮像を行い、撮像画像データをサーバー２００に送信する一連の動作を示す。
第２実施形態における表示システム１００およびＨＭＤ１Ａの構成は、上記第１実施形態と同様であるため、構成について図示及び説明を省略する。

第２実施形態では、非表示情報１４７は、画像表示部２０Ａから非表示対象までの距離を示す情報を含む。

制御部１５０は、非表示情報処理部１５８により、マップデータ１４６を取得し（ステップＳ９１）、非表示情報１４７を取得する（ステップＳ９２）。ここで、非表示情報処理部１５８は、サーバー２００から非表示情報およびマップデータを取得してもよい。

制御部１５０は、撮像制御部１５５により、カメラ６１を制御して撮像を開始させる（ステップＳ９３）。撮像開始後は、カメラ６１から制御部１５０に、撮像画像データが出力される。

制御部１５０は、位置検出部１５７により、ＨＭＤ１Ａの画像表示部２０Ａの位置を検出する（ステップＳ９４）。制御部１５０は、非表示情報処理部１５８により、位置検出部１５７が検出した位置および非表示情報１４７に基づき、カメラ６１の撮像範囲に非表示対象が含まれるか否かを判定する（ステップＳ９５）。

カメラ６１の撮像範囲に非表示対象が含まれると判定した場合（ステップＳ９５；ＹＥＳ）、非表示情報処理部１５８は、非表示情報１４７に含まれる距離の情報に基づいて、非表示領域を特定する（ステップＳ９６）。具体的には、非表示情報処理部１５８は、画像表示部２０Ａから、カメラ６１の撮像範囲に含まれる非表示対象までの距離を取得し、この距離よりも遠い領域が撮像される領域を、非表示領域とする。ステップＳ９６では、非表示対象、及び、非表示対象よりも遠くに位置する事物と、それより画像表示部２０Ａの近くにある事物とが区分されることになる。

撮像制御部１５５は、ステップＳ９７で特定された非表示領域に対応するカメラ６１の撮像条件を設定する（ステップＳ９８）。ステップＳ９８で設定される撮像条件は、非表示領域が不明瞭な画像となるようにする撮像条件であり、詳細は後述する。

非表示情報処理部１５８は、カメラ６１の撮像画像データを取得して、記憶部１４０に一時的に記憶させる（ステップＳ９８）。
制御部１５０は、ステップＳ９８で一時記憶された撮像画像データを、通信制御部１５２により、サーバー２００に送信する（ステップＳ９９）。カメラ６１が出力する撮像画像データが動画像データであって、連続して出力される場合、制御部１５０は、所定時間毎に動画像データを区切ってステップＳ９９の処理を実行してもよい。また、制御部１５０は、記憶部１４０の記憶領域の一部またはメモリー１１８にバッファーメモリーを形成し、ステップＳ１００でバッファーメモリーに動画像データを一時記憶してもよい。この場合、制御部１５０は、一時記憶した動画像データをステップＳ１０１でストリーミング送信してもよい。

また、非表示情報処理部１５８は、カメラ６１の撮像範囲に非表示対象がないと判定した場合（ステップＳ９５；ＮＯ）、ステップＳ９８に移行する。

制御部１５０は、操作部１７０に対する操作により停止が指示されたか否かを判定し（ステップＳ１００）、停止が指示された場合は（ステップＳ１００；ＹＥＳ）、本処理を終了する。また、停止が指示されない場合は（ステップＳ１００；ＮＯ）、ステップＳ９４に戻る。

ステップＳ９５で、制御部１５０は、カメラ６１の撮像範囲に非表示対象が含まれる階中を判定するものとしたが、非表示対象がカメラ６１の撮像範囲の外であっても、ステップＳ９６に移行してもよい。例えば、カメラ６１の撮像範囲が非表示対象から所定範囲に接近した場合、または、カメラ６１の撮像範囲が非表示対象に近づいている場合に、ステップＳ９６に移行してもよい。これらの場合、カメラ６１の撮像画像データに非表示対象の画像が含まれないので、非表示情報処理部１５８は、非表示領域として、撮像画像データにおいて非表示対象に近い側の端部を、非表示領域として特定してもよい。

ステップＳ９７で設定される撮像条件は、カメラ６１の焦点調整機能（オートフォーカス：ＡＦ）を使用し、非表示情報１４７が示す距離より遠い領域のピントがぼけるように設定される。

図１１は、カメラ６１の撮像画像データに対する処理の説明図である。
図１１に示す撮像画像データ３５１は、画像表示部２０Ａからの距離が、設定された所定距離より近い領域３５３が明瞭に撮像される一方、所定距離より遠い領域３５５が、焦点が適切でない画像となっている。このように、遠方の焦点状態が適切でない状態を、背景ぼけとも呼ぶ。

図１１に示すように背景ぼけを生じさせた撮像画像データ３５１は、画像表示部２０Ａに近い側が明瞭な画像であるため、例えば使用者Ｕ１が作業を行う場合に、作業対象物を撮像した撮像画像データをＨＭＤ１Ｂ、１Ｃに送信する際に有用である。また、領域３５５は不明瞭であるため、非表示対象に関する情報が欠落しており、非表示対象の秘匿性を維持できる。

背景ぼけを生じさせる構成は、ＡＦ機能による調整のほか、カメラ６１の絞り値（いわゆるＦ値）を設定する絞り調整によっても実現できる。また、複数のカメラ６１を搭載し、これら複数のカメラ６１の撮像画像データを合成して１つのカメラによる撮像画像データを得る構成として、各カメラ６１の撮像画像データの合成状態を調整し、絞り値に対応する背景ぼけを実現してもよい。

また、別の例として、非表示領域の画像を、非表示情報処理部１５８が画像処理によって不明瞭にする構成であってもよい。

非表示情報１４７は、画像表示部２０Ａから非表示対象までの正確な距離を含んでいなくてもよく、例えば、５０ｃｍ、１ｍ、２ｍ等の理解しやすい単位で区切られてもよく、使用者Ｕ１が操作部１７０の操作により指定してもよい。

このように、第２実施形態のＨＭＤ１によれば、記憶部１４０が記憶する非表示情報１４７は、非表示対象のカメラ６１からの距離を指定する情報を含む。これにより、カメラ６１からの距離を基準として、非表示領域を適切に特定できる。

また、制御部１５０は、非表示領域の明瞭度を低下させる処理において、カメラ６１の撮像条件を制御してカメラ６１に撮像を実行させ、明瞭度が異なる部分を有する撮像画像データを生成させる。これにより、カメラ６１が撮像する条件を制御することで撮像画像データの明瞭度を低下させるので、撮像画像データの画像処理を簡易化、或いは省略できる。このため、処理負荷を軽減できる。

なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者Ｕの左眼に対応して画像を表示する表示部と、使用者Ｕの右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者Ｕの身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

さらに、コントローラー１０と画像表示部２０とが一体に構成され、使用者Ｕの頭部に装着される構成とすることも可能である。また、コントローラー１０として、ノート型コンピューター、タブレット型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。

また、上記実施形態では、画像表示部２０とコントローラー１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明したが、コントローラー１０と画像表示部２０とが無線通信回線によって接続される構成であってもよい。

また、画像光を使用者Ｕ１の眼に導く光学系として、右導光板２６及び左導光板２８は、ハーフミラーを用いてもよいし、回折格子、プリズム等を用いてもよい。また、画像表示部２０は、ホログラフィー表示部を用いてもよい。

また、上記各実施形態では、画像表示部２０はＯＬＥＤユニット２２１、２４１により画像光を生成する構成として説明したが、本発明はこれに限定されない。ＯＬＥＤユニット２２１、２４１は、ＯＬＥＤパネルと、ＯＬＥＤパネルを駆動するＯＬＥＤ駆動回路とを有する構成を例示した。ここで、ＯＬＥＤパネルは、有機エレクトロルミネッセンスにより発光しそれぞれ発する発光素子により構成される自発光型の表示パネルである。より具体的な例として、ＯＬＥＤパネルは、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置された構成が挙げられる。変形例として、右表示ユニット２２及び左表示ユニット２４が、それぞれ、光源部としてのＯＬＥＤパネルと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子と、を備える映像素子として構成されてもよい。このように、右表示ユニット２２、左表示ユニット２４は、変調素子により変調された画像光を、投写光学系および導光板等を利用してユーザーの眼に導くことにより、ユーザーに虚像を認識させる構成とすることができる。この変形例の画像表示部において、ＯＬＥＤパネルが発する光を変調する変調装置は、透過型液晶パネルを用いてもよいし、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよい。光源はレーザー光源であってもよいし、ＬＥＤであってもよい。また、画像表示部２０は、例えば、レーザースキャン方式のレーザー網膜投影型のＨＭＤとしてもよい。

また、ブロック図に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１またはコントローラー１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムをＵＳＢコネクター１９、通信部１１７、外部メモリーインターフェイス１８６などを介して取得して実行する構成としてもよい。また、コントローラー１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１２５と同様のプロセッサーが画像表示部２０に配置されてもよいし、コントローラー１０が備えるメインプロセッサー１２５と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。

１、１Ａ、１Ｂ、１Ｃ…ＨＭＤ（頭部装着型表示装置）、１０、１０Ａ、１０Ｂ、１０Ｃ…コントローラー、１１…本体、１２…ホイール操作部、１３…中央キー、１４…操作パッド、１５…上下キー、１７…ＬＥＤ表示部、１８…電源スイッチ、１９…ＵＳＢコネクター、２０、２０Ａ、２０Ｂ、２０Ｃ…画像表示部（表示部）、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４２…コネクター、４６…オーディオコネクター、６１…カメラ（撮像部）、６３…マイク、６４…距離センサー、６５…照度センサー、６７…ＬＥＤインジケーター、６８…内側カメラ、６９…温度センサー、１００…表示システム、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２５…メインプロセッサー、１４０…記憶部、１４６…マップデータ、１５０…制御部、１５２…通信制御部、１５３…画像処理部、１５５…撮像制御部、１５６…検出制御部、１５７…位置検出部、１５８…視線検出部、１７０…操作部、１７２…タッチセンサー、１７４…スイッチ、１７６…バイブレーター、１８０…音声コーデック、１８２…音声インターフェイス、１８６…外部メモリーインターフェイス、１９２…センサーハブ、１９４…ＦＰＧＡ、２００…サーバー、２１０…サーバー記憶部、２２０…サーバー通信部（送信部）、２２１…ＯＬＥＤユニット、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、３０１…撮像画像データ、３１１…処理後画像データ、３１３、３１５…領域、３５１…撮像画像データ、３５３、３５５…領域、Ｃ…画角、Ｕ、Ｕ１、Ｕ２、Ｕ３…使用者。

Claims (16)

1. 使用者の頭部に装着され、画像を表示する表示部と、
   前記表示部に設けられ、前記表示部に対する所定方向の画像を撮像する撮像部と、
   前記撮像部の撮像範囲における非表示領域を特定し、前記撮像部の撮像画像データに対し前記非表示領域の明瞭度を低下させる処理を行い、処理後の前記撮像画像データを出力する制御部と、
   を備える頭部装着型表示装置。
2. 非表示対象を特定する非表示情報を記憶する記憶部を備え、
   前記制御部は、前記非表示情報に基づいて前記非表示領域を特定する、請求項１記載の頭部装着型表示装置。
3. 前記制御部は、前記撮像部の撮像範囲において、前記撮像部の撮像画像データに前記非表示対象の画像が含まれる領域を、前記非表示領域として特定する、請求項２記載の頭部装着型表示装置。
4. 前記記憶部が記憶する前記非表示情報は、前記非表示対象の位置及び方向の少なくともいずれかを示す情報を含む、請求項２または３記載の頭部装着型表示装置。
5. 前記記憶部が記憶する前記非表示情報は、前記非表示対象の前記撮像部からの距離を指定する情報を含む、請求項２または３記載の頭部装着型表示装置。
6. 前記非表示対象は、予め設定された物体であり、
   前記記憶部が記憶する前記非表示情報は、前記撮像部の撮像画像データから前記非表示対象の外観を検出するための情報を含む、請求項２または３記載の頭部装着型表示装置。
7. 通信部を備え、
   前記制御部は、外部の装置から前記通信部によって前記非表示情報を受信し、前記記憶部に記憶させる、請求項２から６のいずれか１項に記載の頭部装着型表示装置。
8. 前記表示部の位置を検出する検出部を備え、
   前記制御部は、前記検出部の検出結果から前記表示部の位置を特定し、前記表示部の位置と前記非表示情報とに基づいて、前記撮像画像データにおける前記非表示領域を検出する、請求項１から７のいずれか１項に記載の頭部装着型表示装置。
9. 前記表示部が移動可能な範囲の少なくとも一部を含むマップデータを有し、
   前記制御部は、前記マップデータにおける前記非表示領域を特定する、請求項１から８のいずれか１項に記載の頭部装着型表示装置。
10. 前記制御部は、前記表示部が移動可能な範囲の前記マップデータを作成し、作成した前記マップデータにおける前記非表示領域を特定する、請求項９記載の頭部装着型表示装置。
11. 前記撮像部は、第１撮像解像度で撮像した第１撮像画像データと、前記第１撮像解像度より低い第２撮像解像度で撮像した第２撮像画像データと、を出力し、
    前記制御部は、前記非表示領域の明瞭度を低下させる処理において、前記第１撮像画像データにおける前記非表示領域を、前記第２撮像画像データで対応する領域の画像と置き換える、請求項１から１０のいずれか１項に記載の頭部装着型表示装置。
12. 前記撮像部は、第１撮像解像度で撮像した第１撮像画像データと、前記第１撮像解像度より低い第２撮像解像度で撮像した第２撮像画像データと、を出力し、
    前記制御部は、前記非表示領域の明瞭度を低下させる処理において、前記非表示対象の画像を含む前記第１撮像画像データを前記第２撮像画像データと置き換える、請求項１から１０のいずれか１項に記載の頭部装着型表示装置。
13. 前記制御部は、前記非表示領域の明瞭度を低下させる処理において、前記撮像部の撮像条件を制御して前記撮像部に撮像を実行させ、明瞭度が異なる部分を有する撮像画像データを生成させる、請求項１から１０のいずれか１項に記載の頭部装着型表示装置。
14. 操作を受け付ける操作部を備え、
    前記制御部は、前記操作部が受け付けた操作により、前記撮像部の撮像範囲において前記非表示対象が指定された場合に、指定された前記非表示対象の位置および方向の少なくともいずれかに基づいて、前記非表示情報を生成する、請求項２から５のいずれか１項に記載の頭部装着型表示装置。
15. 頭部装着型表示装置と、サーバーとを備え、
    前記サーバーは、
    非表示対象を特定する非表示情報を記憶するサーバー記憶部と、
    前記サーバー記憶部に記憶された前記非表示情報を前記頭部装着型表示装置に送信する送信部と、を備え、
    前記頭部装着型表示装置は、
    使用者の頭部に装着され、画像を表示する表示部と、
    前記表示部に設けられ、前記表示部に対する所定方向の画像を撮像する撮像部と、
    通信部と、
    前記通信部により前記サーバーから受信される前記非表示情報を記憶する記憶部と、
    前記記憶部に記憶された前記非表示情報に基づいて、前記撮像部の撮像範囲における非表示領域を特定し、前記撮像部の撮像画像データに対し前記非表示領域の明瞭度を低下させる処理を行い、処理後の前記撮像画像データを出力する制御部と、を備える、
    表示システム。
16. 使用者の頭部に装着され、画像を表示する表示部を備える頭部装着型表示装置の制御方法であって、
    前記表示部に設けられる撮像部によって、前記表示部に対する所定方向の画像を撮像し、
    前記撮像部の撮像範囲における非表示領域を特定し、前記撮像部の撮像画像データに対し前記非表示領域の明瞭度を低下させる処理を行い、処理後の前記撮像画像データを出力する、
    頭部装着型表示装置の制御方法。

Images