JP2016208348A - 表示装置、表示装置の制御方法、及び、プログラム - Google Patents

Abstract

【課題】画像と音とを出力する装置において、利便性を損なうことなく、外部の環境音等の影響による聴取性の低下を防ぐ。【解決手段】ＨＭＤ１００は、使用者に画像を視認させるとともに外景を透過する画像表示部２０と、音を出力する右イヤホン３２及び左イヤホン３４とを備える。ＨＭＤ１００は、画像表示部２０により表示される画像に対応する音を右イヤホン３２及び左イヤホン３４により出力させる音出力処理と、右イヤホン３２及び左イヤホン３４により出力される音に対する音処理、または、画像表示部２０により表示される画像に対する処理を含み、右イヤホン３２及び左イヤホン３４が出力する音の聴取性を変化させる出力制御処理をＡＲ制御部１８５により実行する。【選択図】図３

Description

本発明は、表示装置、表示装置の制御方法、及び、プログラムに関する。

従来、視聴者の頭部に装着されるＨＭＤにおいて、映像と音とを出力するものが知られている（例えば、特許文献１参照）。特許文献１記載のＨＭＤは、視聴者の周囲を３６０°の範囲にわたって取り囲むような映像から切り出した映像と、視聴者の周囲を３６０°の範囲にわたって取り囲むような音響の音響信号の定位を変換した音響信号とを出力する。

特開２００２−１７１４６０号公報

特許文献１記載のように、映像等の画像と音とを出力する場合、これらの映像及び音と無関係な外部の環境音の影響で、装置が出力する音の聴取性が低下することがあった。この影響を排除するためには外部の環境音を遮断することが考えられるが、環境音が聞こえないことで利便性の低下が懸念される。
本発明は上記事情に鑑みてなされたものであり、画像と音とを出力する装置において、利便性を損なうことなく、外部の環境音等の影響による聴取性の低下を防ぐことができるようにすることを目的とする。

上記目的を達成するため、本発明は、使用者の頭部に装着される表示装置であって、画像を表示する表示部と、音を出力する音出力部と、前記音出力部により音を出力させる音出力処理と、前記音出力部により出力される音に対する音処理、または、前記表示部により表示される画像に対する処理を含み、前記音出力部が出力する音の聴取性を変化させる出力制御処理と、を実行する処理部と、を備えることを特徴とする。
本発明によれば、画像を表示し、画像に対応する音を出力する表示装置において、出力される音の聴取性を変化させることにより、外部の環境音等の聴取性を低下させる要因を遮断することなく、聴取性を高めることができる。これにより、利便性を損なわずに、視覚効果及び聴覚効果の向上を図ることができる。

また、本発明は、上記表示装置において、前記処理部は、前記音出力処理において、前記表示部により表示される画像に対応する音を前記音出力部により出力させること、を特徴とする。
本発明によれば、表示される画像に対応する音を出力する場合に、音の聴取性を変化させることで、より顕著な視覚効果及び聴覚効果の向上を図ることができる。

また、本発明は、上記表示装置において、前記使用者の頭部の位置、動き、及び方向の少なくともいずれかを検出する動作検出部を備え、前記処理部は前記動作検出部の検出結果に基づき前記出力制御処理を実行すること、を特徴とする。
本発明によれば、使用者の頭部の位置や動きに対応して、表示装置が出力する音の聴取性を高めることができ、より一層の聴覚効果の向上を図ることができる。

また、本発明は、上記表示装置において、前記使用者の頭部の動きを検出する動きセンサーを備え、前記動作検出部は、前記動きセンサーの検出値に基づいて、前記使用者の頭部の位置、動き、及び方向の少なくともいずれかを求めること、を特徴とする。
本発明によれば、使用者の頭部の位置、動き、及び方向を容易に検出できる。

また、本発明は、上記表示装置において、前記処理部は、外部の音と、前記外部の音の音源の位置とを特定する音特定処理を行い、特定した前記外部の音または前記音源の位置に基づき前記出力制御処理を実行すること、を特徴とする。
本発明によれば、外部から発される音の音源の位置に基づいて処理を行うことで、表示装置が出力する音の聴取性を高めることができる。

また、本発明は、上記表示装置において、前記外部の音を集音し検出するマイクを備え、前記処理部は、前記マイクにより前記使用者が注視する方向から検出された音、及び、前記動作検出部の検出結果に基づき、前記音特定処理を実行して、外部の音と、前記外部の音を発する音源の位置とを特定すること、を特徴とする。
本発明によれば、外部の音、及び外部の音源の位置を容易に検出できる。

また、本発明は、上記表示装置において、前記処理部は、前記出力制御処理において、前記マイクにより検出される外部の音に基づく音を前記音出力部により出力させること、を特徴とする。
本発明によれば、表示装置が出力する音の聴取性が外部の音の影響で低下することを防止でき、外部の音に基づく処理を行える。

また、本発明は、上記表示装置において、前記処理部は、前記動作検出部により検出される前記使用者の頭部の位置と、前記音特定処理により特定した前記音源の位置との相対位置を求め、求めた相対位置に基づき、前記出力制御処理を実行すること、を特徴とする。
本発明によれば、使用者の頭部の位置と音源の位置とに対応して、表示装置が出力する音の聴取性を確実に高めることができる。

また、本発明は、上記表示装置において、前記処理部は、前記使用者の頭部の位置と前記音源の位置との相対位置に加え、前記音特定処理により特定した前記音源の位置と、前記使用者の眼及び耳のそれぞれとの相対位置を求めること、を特徴とする。
本発明によれば、表示装置が出力する音の聴取性を、より確実に高めることができる。

また、本発明は、上記表示装置において、前記処理部は、前記使用者の頭部の位置と前記音源の位置との相対位置に基づいて前記使用者の聴感に係る聴覚情報を生成して、前記聴覚情報に基づき前記出力制御処理を実行し、前記動作検出部により検出される前記使用者の頭部の動きに基づいて、前記聴覚情報を更新すること、を特徴とする。
本発明によれば、使用者の頭部と音源との相対位置を適切に反映した処理を行うことができる。

また、本発明は、上記表示装置において、前記処理部は、前記出力制御処理において、前記音源の位置に対応する方向を前記使用者が見る場合の視認性を変化させるように、前記表示部により表示される画像に対する処理を行うこと、を特徴とする。
本発明によれば、表示画像の視覚効果により、使用者が音源の位置する方向を見る場合の視認性を変化させることで、効果的に聴覚への影響を与えることができる。

また、本発明は、上記表示装置において、前記使用者の視線方向を検出する視線検出部を備え、前記処理部は、前記視線検出部の検出結果から前記使用者が注視する方向を特定し、特定した方向に対応して前記出力制御処理を実行すること、を特徴とする。
本発明によれば、使用者が注視する方向を検出して、視覚効果及び聴覚効果をより一層高めることができる。

また、本発明は、上記表示装置において、前記処理部は、前記出力制御処理において、前記使用者が注視する方向に位置する対象物に重ねて画像を表示すること、を特徴とする。
本発明によれば、独自の視覚効果を得ることができる。

また、本発明の別の態様は、使用者の頭部に装着される表示装置であって、画像を表示する表示部を備え、前記使用者が注視する注視方向または注視する対象物を検出し、検出した注視方向または対象物の視認性を高める表示を前記表示部により行わせる処理部を備えること、を特徴とする。
本発明によれば、画像を表示する表示装置において、使用者が注視する方向の視認性を高めることによって、注視する方向に対し、より強い注意を喚起することにより、注視方向から聞こえる音の聴取性を高める効果が期待できる。このため、いわゆるカクテルパーティー効果を利用して、使用者が聴取を望む音の聴取性を高めることができる。

また、本発明の別の態様は、使用者の頭部に装着される表示装置であって、画像を表示する表示部と、音を出力する音出力部と、前記表示部により表示される画像に対応する音を前記音出力部により出力させる音出力処理と、前記音出力部により出力される音に対する音処理、または、前記表示部により表示される画像に対する処理を含み、前記音出力部が出力する音の聴取性を変化させる出力制御処理と、を実行する処理部と、を備え、前記処理部は、前記出力制御処理において、前記使用者が注視する注視方向または注視する対象物を検出し、検出した注視方向または対象物の方向から到達する音を選択し、選択した音の聴取性を高める音響処理を高めることを特徴とする。
本発明によれば、画像を表示し、画像に対応する音を出力する表示装置において、出力される音の聴取性を変化させることにより、外部の環境音等の聴取性を低下させる要因を遮断することなく、聴取性を高めることができる。これにより、利便性を損なわずに、視覚効果及び聴覚効果の向上を図ることができる。

また、本発明の別の態様は、使用者の頭部に装着される表示装置であって、画像を表示する表示部と、音を出力する音出力部と、前記表示部により表示される画像に対応する音を前記音出力部により出力させる音出力処理と、外部の音を集音し検出するマイクと、前記音出力部により出力される音に対する音処理、または、前記表示部により表示される画像に対する処理を含み、前記音出力部が出力する音の聴取性を変化させる出力制御処理と、を実行する処理部と、を備え、前記処理部は、前記マイクにより集音された音を言語として認識して翻訳する翻訳処理と、翻訳後の音声を前記音出力部により出力させる翻訳音声出力処理とを実行し、前記翻訳音声出力処理を行う際に、翻訳後の音声に対応する画像を前記表示部に表示させることを特徴とする。
本発明によれば、画像を表示し、画像に対応する音を出力する表示装置において、音声を集音して翻訳し、翻訳後の音声を出力することができ、この翻訳後の音声が視覚的な情報により識別しにくくなる事態を防止できる。このため、翻訳後の音声の聴取性を高めることができる。

また、上記目的を達成するため、本発明の表示装置の制御方法は、上記表示装置において、使用者の頭部に装着され、画像を表示する表示部と、音を出力する音出力部と、を有する表示装置を制御して、前記音出力部により音を出力させ、前記音出力部により出力される音に対する音処理、または、前記表示部により表示される画像に対する処理を含み、前記音出力部が出力する音の聴取性を変化させる出力制御処理を実行すること、を特徴とする。
本発明によれば、表示装置が出力する音の聴取性を変化させ、外部の環境音等の聴取性を低下させる要因を遮断することなく、聴取性を高めることができる。これにより、利便性を損なわずに、視覚効果及び聴覚効果の向上を図ることができる。

また、上記目的を達成するため、本発明は、使用者の頭部に装着され、画像を表示する表示部と、音を出力する音出力部と、を有する表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、前記音出力部により音を出力させる音出力処理と、前記音出力部により出力される音に対する音処理、または、前記表示部により表示される画像に対する処理を含み、前記音出力部が出力する音の聴取性を変化させる出力制御処理と、を実行する処理部として機能させるプログラムである。
本発明のプログラムをコンピューターが実行することにより、表示装置が出力する音の聴取性を変化させ、外部の環境音等の聴取性を低下させる要因を遮断することなく、聴取性を高めることができる。これにより、利便性を損なわずに、視覚効果及び聴覚効果の向上を図ることができる。

本発明の実施形態のＨＭＤの外観構成を示す説明図。 画像表示部の要部構成を示す図。 ＨＭＤを構成する各部の機能ブロック図。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明を適用した実施形態に係るＨＭＤ１００の外観構成を示す説明図である。ＨＭＤ１００は、使用者（視聴者、ユーザー）が頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display：頭部装着型表示装置）とも呼ばれる。本実施形態のＨＭＤ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の表示装置である。なお、本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備えている。制御装置１０は、使用者がＨＭＤ１００を操作するためのコントローラーとしても機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、右カメラ６１と、左カメラ６２と、マイク６３とを備える。右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続される。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）を備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。本実施形態では、少なくとも、ＨＭＤ１００を装着した使用者が外の景色を視認できる程度の光透過性を有する右光学像表示部２６及び左光学像表示部２８を用いる場合について説明する。

画像表示部２０には、後述する右カメラ６１及び左カメラ６２が配置される。右カメラ６１及び左カメラ６２は、制御装置１０の制御に従って、使用者の前方を撮像する。また、画像表示部２０には、距離センサー６４が設けられる。

画像表示部２０は、さらに、画像表示部２０を制御装置１０に接続するための接続部４０を有している。接続部４０は、制御装置１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６とを備える。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。

連結部材４６は、本体コード４８と、右コード４２及び左コード４４との分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２及び左イヤホン３４が延伸している。イヤホンプラグ３０の近傍にはマイク６３が設けられている。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がっている。
右イヤホン３２及び左イヤホン３４は、後述する音声処理部１８７（図３）とともに音出力部を構成する。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音を集音して、音声信号を制御部１４０に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。本実施形態のマイク６３は、図２（Ｂ）を参照して後述する使用者の視線方向を向くように配設される指向性のマイクである。従って、例えば、使用者の体や顔のほぼ正面からの音を最も良好に集音する。

右イヤホン３２及び左イヤホン３４が出力する音、マイク６３が集音し処理する音、及び、音声処理部１８７が処理する音は、人間が発する音声、または人間の声に類似する音声に限らず、自然音、人工音など音であればよい。本実施形態では「音声」と表記し、人間の声を含む場合を例として示すが、あくまで一例であって、本発明の適用範囲を人間の音声に限定するものではない。また、右イヤホン３２及び左イヤホン３４が出力する音、マイク６３が集音する音、及び、音声処理部１８７が処理する音の周波数帯についても特に制限はない。右イヤホン３２及び左イヤホン３４が出力する音、マイク６３が集音する音、及び、音声処理部１８７が処理する音の周波数帯がそれぞれ異なっていてもよいし、同一の周波数帯の音を処理する構成であってもよい。上記周波数帯の一例としては、使用者が聞くことが可能な音、すなわち、人間の可聴周波数帯の音としてもよいし、可聴周波数帯域外の周波数の音を含んでもよい。

また、右コード４２と左コード４４とを一本のコードにまとめることも可能である。具体的には、右コード４２の内部の導線を、画像表示部２０の本体内部を通して左保持部２３側に引き込み、左コード４４内部の導線とともに樹脂で被覆して、一本のコードにまとめてもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御装置１０とのそれぞれには、互いに嵌合するコネクター（図示略）が設けられている。本体コード４８のコネクターと制御装置１０のコネクターとの嵌合／嵌合解除により、制御装置１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御装置１０は、ＨＭＤ１００を制御する。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が手指で操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、ＬＥＤ（Light Emitting Diode）等の光源を備え、光源の点灯状態により、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー１５は、押下操作に応じて画像表示部２０の輝度の増減を指示する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ１８は、ＨＭＤ１００の電源オン／オフを切り替えるスイッチである。

図２は、画像表示部２０の要部構成を示す図であり、（Ａ）は画像表示部２０を使用者の頭部側から見た要部斜視図、（Ｂ）は右カメラ６１及び左カメラ６２の画角の説明図である。なお、図２（Ａ）では画像表示部２０に繋がる右コード４２、左コード４４等の図示を省略する。

図２（Ａ）は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右光学像表示部２６及び左光学像表示部２８の裏側が見えている。
図２（Ａ）の例では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１Ａ、及び、左眼ＬＥに画像光を照射するハーフミラー２６２Ａが、略四角形の領域として見える。ハーフミラー２６１Ａは右表示駆動部２２により生成される画像光を使用者の右眼に導く右導光板２６１が有する反射面である。ハーフミラー２６２Ａは、左表示駆動部２４により生成される画像光を使用者の左眼に導く左導光板２６２が有する反射面である。これらの反射面であるハーフミラー２６１Ａ、２６２Ａにより、使用者の右眼及び左眼に画像光が入射する。

ハーフミラー２６１Ａ、２６２Ａを含む右光学像表示部２６及び左光学像表示部２８の全体は、上述したように外光を透過する。このため、使用者には、右光学像表示部２６及び左光学像表示部２８の全体を透過して外景が視認され、ハーフミラー２６１Ａ、２６２Ａの位置に矩形の表示画像が視認される。

右カメラ６１は、ＨＭＤ１００の前面において右保持部２１側の端部に配置される。また、左カメラ６２は、ＨＭＤ１００の前面において左保持部２３側の端部に配置される。右カメラ６１、左カメラ６２は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、右カメラ６１と左カメラ６２とがステレオカメラを構成する。

右カメラ６１及び左カメラ６２は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。右カメラ６１及び左カメラ６２の画角の広さは適宜設定可能であるが、本実施形態では、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む画角である。右カメラ６１及び左カメラ６２は、制御部１４０の制御に従って撮像を実行し、撮像画像データを制御部１４０に出力する。

図２（Ｂ）は、右カメラ６１、左カメラ６２、及び距離センサー６４の位置を、使用者の右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す図である。右カメラ６１の画角（撮像範囲）をＣＲ、左カメラ６２の画角（撮像範囲）をＣＬで示す。なお、図２（Ｂ）には水平方向の画角ＣＲ、ＣＬを示すが、右カメラ６１及び左カメラ６２の実際の画角は、一般的なデジタルカメラと同様に上下方向に拡がる。

画角ＣＲと画角ＣＬとは、画像表示部２０の中央位置に対してほぼ左右対称であり、画角ＣＲと画角ＣＬは、いずれも画像表示部２０の中央位置の真正面方向を含む。このため、画像表示部２０の中央位置の正面で、画角ＣＲ、ＣＬが重なる。
例えば、図２（Ｂ）に示すように、画像表示部２０の正面方向に対象物ＯＢがある場合、対象物ＯＢは画角ＣＲ及び画角ＣＬのどちらにも含まれる。このため、右カメラ６１の撮像画像と、左カメラ６２の撮像画像のいずれも、対象物ＯＢが写る。ここで、使用者が対象物ＯＢを注視すると、使用者の視線は、図中符号ＲＤ、ＬＤに示すように対象物ＯＢに向けられる。一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。
従って、注視点が対象物ＯＢである場合、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野であり、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。

また、ＨＭＤ１００を装着する使用者が右光学像表示部２６及び左光学像表示部２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶ。実視野は、図２（Ｂ）を参照して説明した視野角及び安定注視野より狭いが、有効視野より広い。

右カメラ６１及び左カメラ６２は、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角ＣＲ、ＣＬの全体が、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角ＣＲ、ＣＬの全体が、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角ＣＲ、ＣＬの全体が、使用者の安定注視野よりも広く、最も好ましくは、画角ＣＲ、ＣＬの全体が使用者の視野角よりも広い。

このため、右カメラ６１及び左カメラ６２は、画角ＣＲと画角ＣＬとが、図２（Ｂ）に示すように画像表示部２０の前方で重なるように配置される。また、右カメラ６１及び左カメラ６２を広角カメラで構成してもよい。すなわち、右カメラ６１及び左カメラ６２が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群を右カメラ６１及び左カメラ６２が備えてもよい。また、右カメラ６１の画角ＣＲと左カメラ６２の画角ＣＬとは同じ角度でなくてもよい。また、右カメラ６１の撮像方向と左カメラ６２の撮像方向とは、完全に平行である必要はない。右カメラ６１の撮像画像と、左カメラ６２の撮像画像とを重ね合わせた場合に、使用者の視野よりも広い範囲が撮像されていればよい。

図２（Ｂ）には、距離センサー６４の検出方向を符号６４Ａで示す。本実施形態で、距離センサー６４は、画像表示部２０の中央位置から正面方向に位置する物体までの距離を検出可能に構成され、例えば対象物ＯＢまでの距離を検出する。ＨＭＤ１００を装着した使用者は、注視する方向に頭を向けるため、注視する対象は画像表示部２０の正面にあると考えることができる。このため、画像表示部２０の中央に配置された距離センサー６４が、画像表示部２０の正面を検出方向６４Ａとすれば、使用者が注視する対象までの距離を検出できる。

また、図２（Ａ）に示すように、画像表示部２０の使用者側には視線センサー６８が配置される。視線センサー６８は、使用者の右眼ＲＥ、及び、左眼ＬＥのそれぞれに対応するように、右光学像表示部２６と左光学像表示部２８との中央位置に一対、設けられる。
視線センサー６８は、例えば、使用者の右眼ＲＥと左眼ＬＥとをそれぞれ撮像する一対のカメラで構成される。視線センサー６８は、制御部１４０（図３）の制御に従って撮像を行い、制御部１４０が、撮像画像データから右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出し、視線方向を特定する。
なお、視線方向を検出する構成は、視線センサー６８に限定されず、例えば、使用者の眼の眼電位または眼筋の筋電位を計測して眼球運動を検出することにより、視線を推定する構成であってもよい。また、右カメラ６１及び左カメラ６２の撮像画像からＨＭＤ１００の向きを求めることにより、視線方向を特定してもよい。

図３は、ＨＭＤ１００を構成する各部の機能ブロック図である。
図３に示すように、ＨＭＤ１００は、インターフェイス１２５を介して外部機器ＯＡに接続される。インターフェイス１２５は、制御装置１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。インターフェイス１２５としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。
外部機器ＯＡは、ＨＭＤ１００に画像を供給する画像供給装置として用いられ、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等が用いられる。

ＨＭＤ１００の制御装置１０は、制御部１４０と、操作部１１１と、入力情報取得部１１０と、記憶部１２０と、送信部（Ｔｘ）５１及び送信部（Ｔｘ）５２とを有している。
入力情報取得部１１０は、操作部１１１に接続される。操作部１１１は、使用者による操作を検出する。操作部１１１は、図１に示した決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７及び電源スイッチ１８の各操作子を含む。入力情報取得部１１０は、操作部１１１から入力される信号に基づき、入力内容を取得する。また、制御装置１０は、制御装置１０及び画像表示部２０の各部に電源を供給する電源部１３０を備える。

記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラムを格納している。また、記憶部１２０には、ＨＭＤ１００の画像表示部２０に表示する画像データが格納されていても良い。例えば、記憶部１２０は、ＨＭＤ１００の動作に係る設定値等を含む設定データ１２１、及び、制御部１４０が画像表示部２０に表示させる文字や画像のデータを含むコンテンツデータ１２３を記憶する。

また、制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、３軸センサー１１３の検出値を制御部１４０が取得可能である。ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を求める。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御装置１０の制御部１４０が計時する時刻を修正させる機能を備えていてもよい。

通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））や、Ｍｉｒａｃａｓｔ（登録商標）等の無線通信の規格に準じた無線データ通信を実行する。また、通信部１１７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、Bluetooth Low Energy、ＲＦＩＤ、Ｆｅｌｉｃａ（登録商標）等の近距離無線通信の規格に準じた無線データ通信を実行することも可能である。
外部機器ＯＡが、通信部１１７に無線接続された場合には、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示するための制御を行う。一方、外部機器ＯＡが、インターフェイス１２５に有線接続された場合には、制御部１４０は、コンテンツデータをインターフェイス１２５より取得して、画像表示部２０に画像を表示するための制御を行う。よって、通信部１１７及びインターフェイス１２５を、以下総称してデータ取得部ＤＡと呼ぶ。
データ取得部ＤＡは、外部機器ＯＡからコンテンツデータを取得する。データ取得部ＤＡは、ＨＭＤ１００が表示する画像のデータを、外部機器ＯＡから取得する。

一方、画像表示部２０は、インターフェイス２５と、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、右カメラ６１と、左カメラ６２と、振動センサー６５と、９軸センサー６６（動きセンサー）とを備える。

振動センサー６５は、加速度センサーを利用して構成され、画像表示部２０の内部に配置される。振動センサー６５は、例えば、右保持部２１において右光学像表示部２６の端部ＥＲの近傍に内蔵される。振動センサー６５は、使用者が端部ＥＲを叩く操作（ノック操作）を行った場合に、この操作による振動を検出して、検出結果を制御部１４０に出力する。この振動センサー６５の検出結果により、制御部１４０は、使用者によるノック操作を検出する。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、制御部１４０の制御に従って検出を実行し、検出値を制御部１４０に出力する。

インターフェイス２５は、右コード４２と左コード４４とが接続されるコネクターを備える。インターフェイス２５は、送信部５１から送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）５３、５４に出力する。また、インターフェイス２５は、表示制御部１７０から送信される制御信号を、対応する受信部５３、５４、右バックライト制御部２０１又は左バックライト制御部２０２に出力する。
また、インターフェイス２５は、右カメラ６１、左カメラ６２、距離センサー６４、９軸センサー６６及び視線センサー６８を接続するインターフェイスである。右カメラ６１、左カメラ６２の撮像データ、距離センサー６４の検出結果、９軸センサー６６による加速度（３軸）、角速度（３軸）、地磁気（３軸）の検出結果、及び、視線センサー６８の検出結果は、インターフェイス２５を介して制御部１４０に送られる。

右表示駆動部２２は、受信部５３と、光源として機能する右バックライト（ＢＬ）制御部２０１及び右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１及び右ＬＣＤ２４１と、右投写光学系２５１とを備える。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａとに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って導光し、ハーフミラー２６１Ａに反射させて使用者の右眼ＲＥに導く。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４と、光源として機能する左バックライト（ＢＬ）制御部２０２及び左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２及び左ＬＣＤ２４２と、左投写光学系２５２と、を備える。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って導光し、ハーフミラー２６２Ａに反射させて使用者の左眼ＬＥに導く。

制御部１４０は、ハードウェアとして、ＣＰＵ、ＲＯＭ、ＲＡＭ（いずれも図示略）等を備える。制御部１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、表示制御部１７０、動作検出部１８１、視線検出部１８３、ＡＲ制御部１８５（処理部）、及び音声処理部１８７として機能する。

画像処理部１６０は、コンテンツを表示するための垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、クロック信号ＰＣＬＫ等、表示する画像の画像データ（図中、Ｄａｔａ）を出力する。
画像処理部１６０の処理によって表示されるコンテンツの画像データは、インターフェイス１２５や通信部１１７を介して受信する他、制御部１４０の処理によって生成される画像データであってもよい。例えば、ゲームのアプリケーションプログラムの実行中に、操作部１１１の操作に対応して画像データを生成して表示することができる。
なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａのそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１７０は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１７０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦを個別に制御する。また、表示制御部１７０は、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを個別に制御する。
これにより、表示制御部１７０は、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１７０は、右表示駆動部２２及び左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたりする。また、表示制御部１７０は、右表示駆動部２２及び左表示駆動部２４の両方共に画像光を生成させないようにすることもできる。
また、表示制御部１７０は、右ＬＣＤ制御部２１１に対する制御信号と、左ＬＣＤ制御部２１２に対する制御信号とのそれぞれを、送信部５１と送信部５２とを介して送信する。また、表示制御部１７０は、右バックライト制御部２０１に対する制御信号を右バックライト制御部２０１に送信し、左バックライト制御部２０２に対する制御信号を左バックライト制御部２０２により送信する。

動作検出部１８１は、９軸センサー６６の検出値を取得して、画像表示部２０を装着した使用者の頭部の動きを検出する。動作検出部１８１は、９軸センサー６６の検出値を、予め設定された周期で取得し、画像表示部２０の動きに関する加速度及び角速度を検出する。また、動作検出部１８１は、９軸センサー６６の地磁気の検出値に基づき、画像表示部２０の方向を検出できる。また、動作検出部１８１は、９軸センサー６６の加速度及び角速度の検出値を積算することにより、画像表示部２０の位置や方向を算出できる。この場合、動作検出部１８１は、検出開始時または指定された基準時における画像表示部２０の位置及び方向を基準位置として、この基準位置からの位置、及び方向の変化量を算出する。

また、動作検出部１８１は、右カメラ６１及び左カメラ６２により撮像を実行させ、撮像画像データを取得する。動作検出部１８１は、右カメラ６１及び左カメラ６２の撮像画像データから、画像表示部２０の位置及び方向の変化を検出してもよい。動作検出部１８１は、画像表示部２０の位置及び変化量を、予め設定された周期で検出することにより、画像表示部２０の位置及び方向を求めることができる。この場合、上記のように、基準位置からの位置及び方向の変化量を積算する方法を用いることができる。

視線検出部１８３は、図２（Ａ）に示したように画像表示部２０に配置される視線センサー６８を利用して、使用者の視線方向を特定する。視線検出部１８３は、左右一対の視線センサー６８の撮像画像に基づいて、使用者の右眼ＲＥ及び左眼ＬＥの視線を算出し、さらに、使用者が注視する方向を特定する。使用者が注視する方向は、例えば図２（Ｂ）に示したように、右眼ＲＥの視線方向ＲＤと左眼ＬＥの視線方向ＬＤとの中央として求めることができる。また、視線検出部１８３は、使用者の利き眼を設定するデータが設定データ１２１に含まれている場合、このデータに基づき、利き眼側に寄った位置を、使用者が注視する方向とすることができる。

ＡＲ制御部１８５は、画像表示部２０によりＡＲコンテンツを表示する。ＡＲコンテンツは、使用者が画像表示部２０を透過して、外景すなわち実空間の対象物（例えば、図２（Ｂ）の対象物ＯＢ）を見ている状態で、対象物が視認される位置に対応して表示される文字や画像を含む。また、対象物は物体であればよく、建物の壁面など移動不可能なものであってもよいし、自然物であってもよい。ＡＲ制御部１８５は、例えば、使用者に対象物ＯＢに重ねて見えるように、或いは対象物ＯＢを避ける位置に見えるように、ＡＲコンテンツを表示する。この種の表示方法をＡＲ表示と呼ぶ。ＡＲ制御部１８５は、文字や画像をＡＲ表示することで、対象物に関する情報を提供し、或いは、画像表示部２０越しに見える対象物の姿の見え方を変えることができる。

ＡＲコンテンツは、記憶部１２０に記憶されるコンテンツデータ１２３、または、制御部１４０の処理により生成されるデータに基づき表示される。これらのデータは画像データやテキストデータを含むことができる。

ＡＲ制御部１８５は、使用者が対象物を視認する位置を検出し、検出した位置に対応するようにＡＲコンテンツの表示位置を決定する。使用者が対象物を視認する位置を検出する方法は任意である。

本実施形態のＡＲ制御部１８５は、右カメラ６１及び左カメラ６２の撮像画像データから、使用者の視界に位置する対象物を検出する。ＡＲ制御部１８５は、対象物の画像の形状、色、大きさ等に関する特徴量のデータを用いて、撮像画像データを解析して対象物の画像を抽出あるいは検出する。この処理で用いられる特徴量及びその他のデータは、コンテンツデータ１２３に含めることができる。
ＡＲ制御部１８５は、撮像画像データから対象物の画像を検出した後、検出した対象物までの距離を求める。例えば、ＡＲ制御部１８５は、右カメラ６１の撮像画像データと左カメラ６２の撮像画像データとの差分から視差を求め、求めた視差に基づき画像表示部２０から対象物までの距離を求める。また、例えば、ＡＲ制御部１８５は、距離センサー６４の検出値に基づいて対象物までの距離を求める。また、ＡＲ制御部１８５は、右カメラ６１及び左カメラ６２の撮像画像データを利用する処理と、距離センサー６４の検出値を利用する処理とを併用して、対象物までの距離を求めてもよい。例えば、距離センサー６４の正面及び正面の近傍に位置する対象物までの距離を、距離センサー６４により検出し、距離センサー６４の正面から離れた位置にある対象物までの距離を、撮像画像データを解析することにより求めてもよい。

ＡＲ制御部１８５は、画像表示部２０と対象物との相対的位置関係（距離、方向など）を求め、求めた位置関係に基づき、対象物の位置に対応するＡＲコンテンツの表示位置を決定する。

ＡＲ制御部１８５は、音に関する処理を実行する。具体的には、コンテンツデータ１２３に含まれる音声データ、或いは、制御部１４０の制御によって生成する音声データに基づく音声を、音声処理部１８７の処理により、右イヤホン３２及び左イヤホン３４から出力させる。また、ＡＲ制御部１８５は、マイク６３により集音された音声の音声データを取得し、取得した音声データに対して所定の処理を実行し、出力音声データを生成する。ＡＲ制御部１８５は、出力音声データに基づく音声を、音声処理部１８７の処理により、右イヤホン３２及び左イヤホン３４から出力させる。ＡＲ制御部１８５及び音声処理部１８７が処理する音は、人間が発する音声、または人間の声に類似する音声に限らず、自然音、人工音など音であればよい。本実施形態では「音声」と表記し、人間の声を処理する場合についても説明するが、「音声」が人間の声に限られることを意味せず、自然音や人工音を含んでもよく、本発明の適用範囲を人間の音声に限定するものではない。ＡＲ制御部１８５が処理する音及び音声の周波数帯は制限されないが、例えば、使用者が聞くことが可能な音とすることができ、例えば人間の可聴周波数帯の音とすることができる。

ＡＲ制御部１８５は、マイク６３から制御部１４０に、集音した音声の音声信号が入力された場合に、この音声信号に基づくデジタル音声データを生成する。なお、マイク６３と制御部１４０との間にＡ／Ｄコンバーター（図示略）を設け、アナログ音声信号をデジタル音声データに変換して制御部１４０に入力する構成としてもよい。ＡＲ制御部１８５は、マイク６３が集音した音声が複数の音源からの音声（音）を含む場合に、音源毎に音声を識別し抽出することができる。例えば、ＡＲ制御部１８５は、マイク６３が集音した音声から、背景音、使用者が注視する方向に位置する音源が発する音、及び、それ以外の音を抽出できる。

ＡＲ制御部１８５は、マイク６３が集音した音声、または、この音声から抽出した音声に対して音声認識処理を実行してもよい。この処理は、マイク６３が集音した音が人間の声である場合等に有効である。この場合、ＡＲ制御部１８５は、マイク６３が集音した音声のデジタル音声データから特徴を抽出してモデル化し、音声をテキストに変換するテキスト変換を行う。ＡＲ制御部１８５は、変換後のテキストをテキストデータとして記憶してもよいし、テキストとして画像表示部２０に表示してもよく、このテキストを音声に変換して右イヤホン３２及び左イヤホン３４から出力してもよい。
また、ＡＲ制御部１８５は、マイク６３が集音した音声をテキスト化した後、異なる言語のテキストへの翻訳を実行し、翻訳後のテキストに基づく音声を出力してもよい。

音声処理部１８７は、ＡＲ制御部１８５が処理した出力音声データに基づきアナログ音声信号を生成して増幅し、右イヤホン３２内のスピーカー（図示略）及び左イヤホン３４内のスピーカー（図示略）に出力する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２及び左イヤホン３４のそれぞれから、例えば周波数等が変えられた異なる音が出力される。

図４は、ＨＭＤ１００の動作を示すフローチャートであり、特に、ＡＲ表示、及び、ＡＲ表示に対応する音声を出力する動作を示す。
制御部１４０は、制御装置１０に対する使用者の操作、または、制御部１４０が実行するアプリケーションプログラムの機能をトリガーとして、音声対応ＡＲ処理を開始する（ステップＳ１１）。音声対応ＡＲ処理は、ＡＲ表示と、音声の入力または出力とを関連付けて実行する処理である。

制御部１４０は、視線検出部１８３の機能により、画像表示部２０を装着した使用者の視線方向の検出を行い、動作検出部１８１の機能により使用者の頭部の位置及び方向を検出する（ステップＳ１２）。続いて、制御部１４０は、右カメラ６１及び左カメラ６２の撮像範囲の実空間に存在する対象物を検出する（ステップＳ１３）。
ステップＳ１３で、制御部１４０は、使用者の視線方向に位置する一つの対象物を検出して、ＡＲ表示の対象とする。また、制御部１４０は、右カメラ６１及び左カメラ６２の撮像画像に写る複数の対象物を検出してもよく、この場合、制御部１４０は複数の対象物からＡＲ表示の対象を選択する。

制御部１４０は、使用者が、画像表示部２０を透過して、ＡＲ表示の対象物を見る位置に合わせて、ＡＲコンテンツの画像を表示する処理、及び、ＡＲコンテンツに関連する音声を出力する処理を開始する（ステップＳ１４）。ステップＳ１４で音声を出力する処理は、音出力処理に相当する。
ここで、制御部１４０は、聴覚補助処理を実行する（ステップＳ１５）。聴覚補助処理は、ＡＲ表示に対応してＨＭＤ１００が出力する音声、または、ＡＲ表示の対象物に関連する音声を、使用者が聞き易くするための処理である。聴覚補助処理では、音声の出力の制御、及び、聴覚効果に影響を与える表示の制御が行われる。

制御部１４０は、ＡＲ表示を終了するか否かを判定し（ステップＳ１６）、表示を終了しない間は（ステップＳ１６；Ｎｏ）、ステップＳ１５の聴覚補助処理を継続する。また、表示を終了すると判定した場合（ステップＳ１６；Ｙｅｓ）、制御部１４０はステップＳ１４で開始した表示及び音声出力を停止し（ステップＳ１７）、本処理を終了する。

制御部１４０は、聴覚補助処理において、対象物に関連する音声の聴取性を高め、使用者が音声を聞き取りやすくなるように動作する。このため、制御部１４０は、聴覚及び／又は視覚について知られているカクテルパーティー効果、ドップラー効果、マガーク効果、及び、ハース効果を利用した処理を行う。

［第１の処理（カクテルパーティ効果を利用した音響処理）の説明］
図５は、ＨＭＤ１００の動作を示すフローチャートであり、聴覚補助処理として、制御部１４０がカクテルパーティー効果を利用した第１の処理を行う場合の動作例を示す。
カクテルパーティー効果は、多数の音が聞こえる状況において、音を選択的に聞き取る人間の能力をいい、例えば、複数の人間が発する音声を同時に聴取可能な状況で、特定の人が発する音声を聞き取ることができる。これは人間の感覚系における聴覚情景分析に関する能力として知られる。両耳で音声を聴取する（両耳聴する）場合に顕著であることから、音源の方向を知覚する能力が関与することが考えられる。

図５に示す第１の処理は、制御部１４０が、マイク６３で集音した音声を取得して、この集音した音声、または集音した音声に処理を施して生成した音声を、右イヤホン３２及び左イヤホン３４から出力する場合に実行される。従って、図４のステップＳ１４で、ＡＲ表示に関連する音声として、マイク６３で集音した音声または集音した音声に基づく音声を出力する場合を適用対象とする。

第１の処理で、制御部１４０は、カクテルパーティー効果のように複数の音源からの音が混在して聞こえる状況において、選択的に音を聴取する能力を補助する処理を行う。
制御部１４０は、マイク６３により集音された音声の音声データを取得し、音声を検出する（ステップＳ３１）。

例えば、ステップＳ３１で、制御部１４０は、マイク６３が集音した音声データに対しフーリエ変換を含む演算処理を実行して、集音した音声を周波数領域に変換し、人間の可聴周波数成分を抽出する。制御部１４０は、人間が発する声の周波数帯の成分を抽出することにより、人間の声と、それ以外の環境音とに分離する。また、マイク６３が集音した音声が複数の人間の声を含む場合、制御部１４０は、話者毎の音声を分離、検出する。

制御部１４０は、ステップＳ３１で検出した音声について、音源の方向を特定する処理を行う（ステップＳ３２）。ステップＳ３１で複数の音声（例えば、複数の人の声）を検出した場合、制御部１４０は、それぞれの音声の音源の方向を特定する。
また、制御部１４０は、ステップＳ３２で特定したそれぞれの音源と、画像表示部２０との相対的な位置関係を算出する（ステップＳ３３）。

例えば、制御部１４０は、ステップＳ３２及びＳ３３において、ステップＳ１３で撮像画像に基づいて対象物を特定する際に、対象物との相対位置を推定してもよい。また、制御部１４０は、ＨＭＤ１００の向きに対してステップＳ３１で検出した音源の音量等を比較して、音源の方向を推定してもよい。また、上記の方法で求めた対象物の位置と、上記の方法で求めた音源の方向とを対応付けして音源に対する画像表示部との相対的な位置関係を特定してもよい。

制御部１４０は、画像表示部２０を装着する使用者が注視する方向を検出する（ステップＳ３４）。使用者が注視する方向は、使用者の視線方向と言い換えることができる。ステップＳ３４で、制御部１４０は、視線検出部１８３により視線方向を特定する処理を行ってもよい。また、ステップＳ３４で、動作検出部１８１により画像表示部２０の動きを検出することにより、画像表示部２０の向きを検出し、この検出結果を、視線検出部１８３の処理の結果と組み合わせて、使用者が注視する方向を検出する。なお、ステップＳ３４では、ステップＳ１２〜Ｓ１３（図４）の処理結果を利用してもよい。

制御部１４０は、ステップＳ３２で特定した音源の方向と、ステップＳ３４で検出した注視方向とに基づき、使用者が注視する方向に位置する音源を特定し、この音源を、処理対象の音として設定する（ステップＳ３５）。これにより、使用者が注視する方向に位置する音源からの音と、それ以外の方向に位置する音源から画像表示部２０に到達する音声とを区別して処理できる。ステップＳ３５では、複数の音源を、対象音に設定してもよい。また、制御部１４０は、ステップＳ３５で設定した音源とは異なる音源からの音のうち、人間の声でない音を背景音として識別する（ステップＳ３６）。背景音は、例えば、ステップＳ３１で検出した、人間の声でない環境音として検出された音である。

制御部１４０は、マイク６３で集音した音声に対し、ステップＳ３５で設定した対象音の聴取性を高める音声調整処理を実行する（ステップＳ３７）。音声調整処理では、ステップＳ３６で識別した背景音をフィルタリングして、背景音の音量を低減させ、ステップＳ３５で設定した対象音の音量を増大させる。

この図５の処理により、複数の音源が発する音声が混在して聴取可能な状況において、使用者の視線方向の音源から画像表示部２０に到達する音声の音量を高め、その他の音声よりも聞き易くすることができる。
なお、図５の処理では、ステップＳ３１で人間の声と、それ以外の環境音とに分離し、人間の声のうち使用者が注視する方向に位置する音源を、ステップＳ３５で対象音に設定する例を説明した。本発明はこれに限定されず、人間の声でない音を対象音とすることができる。この場合、ステップＳ３１では、対象音となる可能性のある音声を環境音にしないよう処理が行われる。
図５に示す第１の処理は、画像表示部２０で表示する画像に対する処理を含まない場合、本発明の音処理を含む出力制御処理に対応する。図５の処理を、画像表示部２０で表示する画像を変化させる処理とともに実行することも可能である。例えば、画像表示部２０によって、ステップＳ３５で設定した音源の視認性を高めるように、テキストや画像等を表示してもよい。また、ステップＳ３７において音声調整処理を行う場合に、音声調整処理の内容に関するテキストや画像等を表示してもよい。

［第２の処理（カクテルパーティ効果を利用した処理）の説明］
図６は、ＨＭＤ１００の動作を示すフローチャートであり、聴覚補助処理として、制御部１４０がカクテルパーティー効果を利用した第２の処理を行う場合の動作例を示す。
図６に示す第１の処理は、制御部１４０が、マイク６３で集音した音声、及び集音した音声に処理を施して生成した音声のいずれも、右イヤホン３２及び左イヤホン３４から出力しない場合に実行される。従って、図６に示す第２の処理は、図４のステップＳ１４でＡＲ表示に関連する音声を出力せず、使用者が両耳で実空間の音を直接聴取する場合を適用対象とする。

第２の処理で、制御部１４０は、カクテルパーティー効果のように複数の音源からの音が混在して聞こえる状況において、選択的に音を聴取する能力を補助するため、画像表示部２０による表示を制御する。
図６のステップＳ３１〜Ｓ３５は、図５を参照して説明した処理と同一の処理であるため、同ステップ番号を付して説明を省略する。

ステップＳ３５において、制御部１４０は、使用者が注視する方向に位置する音源を特定し、この音源を、処理対象の音として設定する（ステップＳ３５）。その後、制御部１４０は、ステップＳ１３（図４）で検出した対象物のうち、ステップＳ３５で設定した音源と同じ方向に位置する対象物を選択して、この対象物の視認性を高めるＡＲ画像を、画像表示部２０により表示させる（ステップＳ４１）。

具体的には、制御部１４０は、ステップＳ１３（図４）で検出した対象物のうち、ステップＳ３５で設定した音源と同じ方向に位置する対象物を選択して、この対象物を聴覚補助処理の対象の対象物として設定する。制御部１４０は、設定した対象物が強調されて見えるように、画像表示部２０により画像やテキストを表示する。例えば、制御部１４０は、設定した対象物に重なる位置、或いは設定した対象物の周囲に、対象物を強調する文字や画像を配置してＡＲ画像として表示する。また、例えば、制御部１４０は、設定した対象物の画像を、右カメラ６１及び左カメラ６２の撮像画像から取得し、取得した画像を拡大して、実空間の対象物に重なって見える位置に表示する。
対象物の視認性を高める方法としては、対象物を強調する文字や画像をＡＲ表示するほか、対象物以外の物や空間の視認性を低くする画像等を表示する方法を採用できる。例えば、対象物以外の物や空間に重なるように、輝度の高い画像や幾何学パターンまたは単色の塗り潰し画像等、視認性を低下させる画像を表示すればよい。この視認性を低下させる画像は、右導光板２６１、左導光板２６２とは異なる電子シャッター等を画像表示部２０に設けることで実現してもよい。

これにより、使用者は、注視する方向に位置する対象物（音源）をより強く意識し、注視するので、カクテルパーティー効果がより顕著になることが期待できる。この結果、使用者には、使用者が注視する方向から来る音声を明瞭に聞き取ることが可能となり、使用者が意識的に選択する音声の聴取性を高めることができる。

図６に示す第２の処理は、画像表示部２０で表示する画像に対する処理を含み、本発明の出力制御処理に相当する。この第２の処理は、右イヤホン３２及び左イヤホン３４から音声（音）を出力する処理と並行して行ってもよい。例えば、右イヤホン３２及び左イヤホン３４から、予めＨＭＤ１００が記憶する音声データや外部機器ＯＡから入力される音声データに基づく音声を出力する処理とともに第２の処理を行ってもよい。或いは、マイク６３で集音した音声を音声処理部１８７で処理し、右イヤホン３２及び左イヤホン３４から出力する処理とともに第２の処理を行ってもよい。また、図５に示した第１の処理と、図６の第２の処理とを組み合わせて実行してもよい。

［第３の処理（ドップラー効果に対応する処理）の説明］
図７は、ＨＭＤ１００の動作を示すフローチャートであり、聴覚補助処理として、制御部１４０がドップラー効果に対応する第３の処理を行う場合の動作例を示す。
音声に関するドップラー効果は、音源が観測者（使用者）に対して相対的に移動する場合（使用者と音源との相対位置が変化する間）に、音の高さが異なって感知される現象をいう。例えば、音源が使用者に対して近づく間は音源が発する音が高い音に聞こえ、音源が使用者から遠ざかる間は音源が発する音が低い音に聞こえる。第３の処理で、制御部１４０は、使用者が注視する方向の音源が移動している場合に、ドップラー効果による周波数の変化（使用者が知覚する音の高さの変化）を低減するように音響処理を実行し、この音源からの音の聴取性を高める。

図７に示す第３の処理は、制御部１４０が、マイク６３で集音した音声を取得して、この集音した音声、または集音した音声に処理を施して生成した音声を、右イヤホン３２及び左イヤホン３４から出力する場合に実行される。従って、図４のステップＳ１４で、ＡＲ表示に関連する音声として、マイク６３で集音した音声または集音した音声に基づく音声を出力する場合を適用対象とする。

図７のステップＳ３１〜Ｓ３７は、図５を参照して説明した処理と同一の処理であるため、同ステップ番号を付して説明を省略する。

制御部１４０は、ステップＳ３５で処理対象の音として設定した音源が、移動中であるか否かを判定する（ステップＳ５１）。制御部１４０は、例えば、距離センサー６４の検出結果を利用して処理対象の音源までの距離を監視し、音源が移動中であるか否かを判定できる。或いは、制御部１４０は、右カメラ６１及び左カメラ６２の撮像画像データから対象の音源の画像を検出し、検出した画像のサイズの変化の有無に基づいて、音源が移動中であるか否かを判定できる。

音源が移動中でないと判定した場合（ステップＳ５１；Ｎｏ）、制御部１４０はステップＳ３７に移行する。また、音源が移動中であると判定した場合（ステップＳ５１；Ｙｅｓ）、制御部１４０は、移動する音源の音声を調整する移動音調整処理を実行する（ステップＳ５２）。移動音調整処理で、制御部１４０は、移動中の音源の移動速度を求め、この音源が発する音声の周波数を、音源の移動速度に基づき補正する。この音源の移動速度は、画像表示部２０に対する相対速度であり、特に、使用者またはＨＭＤ１００に接近または離れる方向の速度成分である。つまり、制御部１４０は、音源の移動速度それ自体ではなく、音源が使用者に接近する方向または離れる方向の速度を求める。さらに、制御部１４０は、音源の速度、及び、音源が使用者に近づいているか離れているかに基づいて、音源が発する音を補正する補正パラメーターを求める。この補正パラメーターは、音の周波数（振動数）を変化させる変化量であり、本発明の「聴覚情報」に相当する。制御部１４０は、マイク６３が集音した音のうち、移動中の音源が発する音を抽出し、抽出した音の周波数（振動数）を補正して異なる周波数（振動数）の音に変換する変換処理を行い、変換後の音を出力する。

これにより、使用者は、注視する方向に位置する対象物（音源）が発する音声を、ドップラー効果による周波数の変動のない状態、或いは変動が抑制された状態で聴取することができる。このため、音源が発する音声を、より自然な高さの音として聴取でき、聴取性の向上が期待できる。
図７に示す第３の処理は、本発明の音処理を含む出力制御処理に対応する。図７の処理は、画像表示部２０で表示する画像に対する処理を含まないが、画像表示部２０で表示する画像を変化させる処理とともに実行することも可能である。例えば、画像表示部２０によって、ステップＳ３５で設定した音源の視認性を高めるように、テキストや画像等を表示してもよい。また、ステップＳ３７において音声調整処理を行う場合に、音声調整処理の内容に関するテキストや画像等を表示してもよい。

［第４の処理（マガーク効果に対応する処理）の説明］
図８は、ＨＭＤ１００の動作を示すフローチャートであり、聴覚補助処理として、制御部１４０がマガーク効果に対応する第４の処理を行う場合の動作例を示す。
マガーク効果は、人間が発話する音声の聴取に関する効果であり、聴覚により識別した音韻と、視覚により識別した音韻とが異なる場合に、いずれの音韻とも異なる音韻が近くされる現象をいう。よく知られる例では、被験者が、「バ（ｂａ）」という音声が聴覚により聞き、かつ、「ガ（ｇａ）」と発話する人間の口元の映像を視認した場合、被験者が知覚する音韻は、「バ（ｂａ）」と「ガ（ｇａ）」が融合あるいは混同した「ダ（ｄａ）」になる。

上述のように、制御部１４０は、マイク６３により集音した音声をテキスト変換し、さらに、翻訳を行うことが可能である。この場合、制御部１４０は、翻訳を行った後のテキストの読み上げ処理を行い、右イヤホン３２及び左イヤホン３４から翻訳後の音声を出力する。この翻訳処理及び翻訳音声出力処理を実行すると、使用者には、実空間において翻訳前の音声を発話する人の顔を視覚により認識し、翻訳後の音声を聴覚により認識するので、マガーク効果により、翻訳後の音声を知覚しにくくなる可能性がある。
図８の第４の処理は、上記の翻訳処理及び翻訳音声出力処理を実行する場合に、画像表示部２０により表示する画像の表示を制御して、翻訳後の音声の聴取性を高めるために実行される。

図８のステップＳ３１〜Ｓ３５は、図５を参照して説明した処理と同一の処理であるため、同ステップ番号を付して説明を省略する。

制御部１４０は、ステップＳ３５で処理対象の音として設定した音源からの音声に対し、テキスト変換を行い、変換後のテキストを、例えば記憶部１２０に記憶した辞書に基づき翻訳する（ステップＳ６１）。ステップＳ６１で、制御部１４０は、翻訳後のテキストを生成して記憶部１２０等に一時的に記憶し、さらに、翻訳後のテキストを読み上げる音声データを生成する。

制御部１４０は、対象音の音源に重ねて表示する画像を合成する（ステップＳ６２）。制御部１４０は、対象音の音源の画像を右カメラ６１及び左カメラ６２の撮像画像データから抽出し、抽出した画像から人間の口元の画像を検出し、検出した口元の画像を翻訳後の音声に合わせて加工することで、重畳表示用の画像を合成する。合成する画像は、口元だけの画像であってもよいし、対象音の音源である発話者（人間）の顔全体の画像であってもよい。また、ステップＳ６２では、予め記憶部１２０に記憶した重畳表示用の画像を読み出してもよい。記憶部１２０に記憶される画像は、そのまま重畳表示に用いることが可能な画像であってもよいし、ステップＳ６２で制御部１４０が、読み出した画像を用いて合成又は編集処理を行うことにより、重畳表示用の画像を合成してもよい。

制御部１４０は、ステップＳ６１で翻訳した翻訳後のテキストを読み上げる音声を右イヤホン３２及び左イヤホン３４から出力し、同時に、ステップＳ６２で合成した画像を画像表示部２０により表示する（ステップＳ６３）。画像の表示位置は、ステップＳ６２で検出した口元の位置に合わせて調整される。

これにより、使用者は、注視する方向に位置する対象物（音源）としての人が発話する音声を翻訳した音声を聞き、かつ、翻訳された音声を発話する口元の画像を見るので、翻訳後の音声を正確に知覚し、認識できる。
図８に示す第４の処理は、画像表示部２０で表示する画像に対する処理を含み、本発明の出力制御処理に相当する。

［第５の処理（ハース効果（Haas effect）に対応する処理）の説明］
図９は、ＨＭＤ１００の動作を示すフローチャートであり、聴覚補助処理として、制御部１４０がハース効果に対応する第５の処理を行う場合の動作例を示す。
ハース効果は、人間の聴覚に関する効果であり、複数の異なる方向から同じ音が同じ音量または近い音量で聴覚器官に達した場合に、先に聴覚器官に達した音の音源方向に、定位が知覚される現象である。使用者にとって、同じ音が異なる複数の方向から聞こえ、かつ、これらの音が使用者の耳に達するタイミングに差が生じる状況は、例えば音の反射の影響により発生し得る。このため、例えば一つの音源が発した音が、反射音の影響で、実際に音源が位置する方向とは異なる方向から聞こえるように知覚される。

図９の第５の処理は、制御部１４０が、マイク６３で集音した音声を取得して、この集音した音声、または集音した音声に処理を施して生成した音声を、右イヤホン３２及び左イヤホン３４から出力する場合に実行される。従って、図４のステップＳ１４で、ＡＲ表示に関連する音声として、マイク６３で集音した音声または集音した音声に基づく音声を出力する場合を適用対象とする。

図９のステップＳ３１〜Ｓ３５は、図５を参照して説明した処理と同一の処理であるため、同ステップ番号を付して説明を省略する。

制御部１４０は、ステップＳ３５で処理対象の音として設定した音源が発した音と同じ音を、背景音から検出する（ステップＳ７１）。ステップＳ３５では使用者が注視する方向の音源を対象音の音源としているので、この音源とは異なる方向からマイク６３で集音される音声を背景音とする。この背景音に、対象音の音源の音と同じ音が含まれる場合に、制御部１４０は、この音を背景音から検出する。

制御部１４０は、マイク６３で集音した音声に対し、ステップＳ３５で設定した対象音の聴取性を高める音声調整処理を実行する（ステップＳ７２）。ステップＳ７２の音声調整処理では、ステップＳ７１で検出した音の聴取性を低くする処理を行う。例えば、ステップＳ７１で検出した音を打ち消す又は減衰させる波形及び位相の音を生成し、生成した音を、マイク６３で集音した音声に合成する。また、制御部１４０は、ステップＳ３５で設定した対象音の音量を増大させる処理を行う。

この図９の処理により、使用者が注視する方向から画像表示部２０に達する音声が、他の方向からも達する場合に、注視方向に定位を知覚させることができ、この音声を、より聞き易くすることができる。
なお、図９の処理は、人間の音声に限定されず、人間の声でない音を対象音とすることができる。また、ステップＳ７２において、背景音の一部をキャンセルする具体的な手法は任意である。例えば、背景音と、対象音の音源から来る音声とを識別して抽出可能な場合に、背景音において、対象音の周波数を減衰させるフィルタリングを行ってもよい。
図９に示す第５の処理は、画像表示部２０で表示する画像に対する処理を含まない場合、本発明の音処理を含む出力制御処理に対応する。図９の処理を、画像表示部２０で表示する画像を変化させる処理とともに実行することも可能である。例えば、画像表示部２０によって、ステップＳ３５で設定した音源の視認性を高めるように、テキストや画像等を表示してもよい。また、ステップＳ７２において音声調整処理を行う場合に、音声調整処理の内容に関するテキストや画像等を表示してもよい。

図５（第１の処理）、図６（第２の処理）、図７（第３の処理）、図８（第４の処理）、及び図９（第５の処理）のうち複数の処理を組み合わせて、図４のステップＳ１５で聴覚補助処理として実行してもよい。また、いずれか一つの処理を選択して実行してもよい。この場合、ステップＳ１４で実行するＡＲ処理の内容に応じて、聴覚補助処理を選択してもよいし、制御装置１０に対する使用者の入力操作、或いは、事前の設定に従って聴覚補助処理を選択してもよい。また、例えば、マイク６３が集音した音声に複数の音声が含まれる場合に、図５の第１の処理または図６の第２の処理を選択し、対象音の音源が移動していると判定した場合に図７の第３の処理を選択してもよい。また、音声の翻訳を行う場合に図８の第４の処理を選択し、対象音の音声が反射等により複数の音声として集音され検出される場合に、図９の第５の処理を選択してもよい。つまり、ＨＭＤ１００が、ステップＳ１４（図４）で実行する処理と、マイク６３で集音した音声の内容とに基づいて、自動的に処理を選択して実行してもよい。

以上説明したように、本発明を適用した実施形態のＨＭＤ１００は、使用者に画像を視認させるとともに外景を透過する画像表示部２０と、音声を出力する右イヤホン３２及び左イヤホン３４とを備える。ＨＭＤ１００は、右イヤホン３２及び左イヤホン３４により音声を出力させる音声出力処理（音出力処理）と、右イヤホン３２及び左イヤホン３４により出力される音声に対する音声処理（音処理）、または、画像表示部２０により表示される画像に対する処理を含み、右イヤホン３２及び左イヤホン３４が出力する音声の聴取性を変化させる出力制御処理と、を実行するＡＲ制御部１８５を備える。このため、ＨＭＤ１００において、出力される音声の聴取性を変化させることにより、外部の環境音等の聴取性を低下させる要因を遮断することなく、聴取性を高めることができる。これにより、利便性を損なわずに、視覚効果及び聴覚効果の向上を図ることができる。具体的には、ＡＲ制御部１８５は、音声を右イヤホン３２及び左イヤホン３４により出力させる音声出力処理をステップＳ１４で実行し、音処理を含む出力制御処理として、図５の第１の処理、図７の第３の処理、及び図９の第５の処理の少なくともいずれかを実行する。また、図５の第１の処理、図７の第３の処理、及び図９の第５の処理のいずれかと画像表示部２０で表示する画像の処理とを組み合わせて実行してもよい。或いは、画像表示部２０が表示する画像に対する処理を含む出力制御処理として、図６の第２の処理、及び／又は図８の第４の処理を実行する。

ＨＭＤ１００は、音声出力処理において、画像表示部２０により表示される画像に対応する音声を出力させてもよい。例えば、制御部１４０が、画像表示部２０によってＡＲ画像を表示し、このＡＲ画像に関連または連動する音声を右イヤホン３２及び左イヤホン３４で出力する場合に、上記の出力制御処理として、聴覚補助処理を実行してもよい。
また、音声出力処理では、画像表示部２０により表示される画像に対応しない音声を出力してもよい。例えば、制御部１４０が、ＡＲ画像を表示する第１のアプリケーションプログラムと、音声を出力する第２のアプリケーションプログラムとを実行する場合に、第２のアプリケーションプログラムが出力する音声またはマイク６３が集音する音声に関して音声処理を実行することができる。この場合、第１のアプリケーションプログラムで表示するＡＲ画像と、第２のアプリケーションプログラムの動作とが連動する必要はなく、第１及び第２のアプリケーションプログラムが互いに独立して実行されてもよい。また、第１及び第２のアプリケーションプログラムが連動し、例えば、第１のアプリケーションプログラムで表示するＡＲ画像に関連する音声を第２のアプリケーションプログラムが出力してもよい。第２のアプリケーションプログラムとしては、例えば、ＨＭＤ１００の位置をＧＰＳ１１５により検出し、検出した位置（座標）に基づき音声を出力するナビゲーションプログラムや、音楽再生プログラムが挙げられる。また、ラジオ放送、テレビ放送、インターネット放送等を受信して音声を出力する放送受信プログラムであってもよい。

また、ＨＭＤ１００は、使用者の頭部の位置、動き、及び方向の少なくともいずれかを検出する動作検出部１８１を備える。ＡＲ制御部１８５は動作検出部１８１の検出結果に基づき上記出力制御処理を実行するので、使用者の頭部の位置や動きに対応して、ＨＭＤ１００が出力する音声の聴取性を高めることができ、より一層の聴覚効果の向上を図ることができる。

また、ＨＭＤ１００は９軸センサー６６を備え、動作検出部１８１は、９軸センサー６６の検出値に基づいて、使用者の頭部の位置、動き、及び方向の少なくともいずれかを求める。
また、ＡＲ制御部１８５は、外部の音と、外部の音の音源の位置とを特定する音特定処理を、例えばステップＳ３２で実行し、特定した外部の音または音源の位置に基づき上記出力制御処理を実行する。これにより、外部から発される音声の音源の位置に基づいて処理を行うことで、ＨＭＤ１００が出力する音声の聴取性を高めることができる。

ＨＭＤ１００は、外部の音を集音し検出するマイク６３を備える。ＡＲ制御部１８５は、マイク６３により使用者が注視する方向から検出された音、及び、動作検出部１８１の検出結果に基づき、音特定処理を実行して、外部の音と、外部の音を発する音源の位置とを特定する。このため、外部の音、及び外部の音源の位置を容易に検出できる。

ＡＲ制御部１８５は、上記出力制御処理において、マイク６３により検出される外部の音声に基づく音声を右イヤホン３２及び左イヤホン３４により出力させるので、ＨＭＤ１００が出力する音声の聴取性が外部の音声の影響で低下することを防止できる。
ＡＲ制御部１８５は、動作検出部１８１により検出される使用者の頭部の位置と、音特定処理により特定した音源の位置との相対位置を求め、求めた相対位置に基づき、上記出力制御処理を実行する。このため、使用者の頭部の位置と音源の位置とに対応して、ＨＭＤ１００が出力する音声の聴取性を確実に高めることができる。

また、ＡＲ制御部１８５は、使用者の頭部の位置と音源の位置との相対位置に加え、音特定処理により特定した音源の位置と、使用者の眼及び耳のそれぞれとの相対位置を求める。このため、ＨＭＤ１００が出力する音声の聴取性を、より確実に高めることができる。

また、ＡＲ制御部１８５は、例えば図７の第３の処理で、使用者の頭部の位置と音源の位置との相対位置に基づいて使用者の聴感に係る聴覚情報を生成して、聴覚情報に基づき上記出力制御処理を実行し、動作検出部１８１により検出される使用者の頭部の動きに基づいて、聴覚情報を更新する。このため、使用者の頭部と音源との相対位置を適切に反映した処理を行うことができる。

また、ＨＭＤ１００は、使用者の視線方向を検出する視線検出部１８３を備え、ＡＲ制御部１８５は、視線検出部の検出結果から使用者が注視する方向を特定し、特定した方向に対応して上記出力制御処理を実行する。このため、使用者が注視する方向を検出して、視覚効果及び聴覚効果をより一層高めることができる。

また、例えば図６に示す第２の処理において、ＡＲ制御部１８５により、使用者が注視する注視方向または注視する対象物を検出し、検出した注視方向または対象物の視認性を高める表示を画像表示部２０により行わせる。このため、使用者が注視する方向の視認性を高めることによって、注視する方向に対し、より強い注意を喚起することにより、注視方向から聞こえる音声の聴取性を高める効果が期待できる。このため、いわゆるカクテルパーティー効果を利用して、使用者が聴取を望む音声の聴取性を高めることができる。

また、例えば図５に示す第１の処理において、ＡＲ制御部１８５により、使用者が注視する注視方向または注視する対象物を検出し、検出した注視方向または対象物の方向から到達する音声を選択し、選択した音声の聴取性を高める音響処理を高める。このため、画像を表示し、画像に対応する音声を出力するＨＭＤ１００において、出力される音声の聴取性を変化させることにより、外部の環境音等の聴取性を低下させる要因を遮断することなく、聴取性を高めることができる。これにより、利便性を損なわずに、視覚効果及び聴覚効果の向上を図ることができる。

また、例えば図８に示す第４の処理において、ＡＲ制御部１８５により、マイク６３により集音された音声を言語として認識して翻訳する翻訳処理と、翻訳後の音声を右イヤホン３２及び左イヤホン３４により出力させる翻訳音声出力処理とを実行する。ＡＲ制御部１８５は、翻訳音声出力処理を行う際に、翻訳後の音声に対応する画像を画像表示部２０に表示させる。このため、ＨＭＤ１００において、音声を集音して翻訳し、翻訳後の音声を出力することができ、この翻訳後の音声が視覚的な情報により識別しにくくなる事態を防止できる。このため、翻訳後の音声の聴取性を高めることができる。

なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態において、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよいし、自動車のフロントガラスに用いられるヘッドアップディスプレイ（Head-up Display；ＨＵＤ）であってもよい。

また、上述したように、ＨＭＤ１００が出力する音、マイク６３により集音し処理する音、及び、音声処理部１８７が処理する音は、人間が発する音声、または人間の声に類似する音声に限らず、自然音、人工音など音であればよい。上記実施形態では「音声」と表記し、人間の声を含む場合を例として示したが、あくまで一例であって、本発明の適用範囲を人間の音声に限定するものではない。例えば、ＡＲ制御部１８５や音声処理部１８７が、マイク６３で集音した音声または右イヤホン３２及び左イヤホン３４から出力する音声に対し、言語として認識可能な音声であるか否かを判定する構成としてもよい。また、右イヤホン３２及び左イヤホン３４が出力する音、マイク６３が集音する音、及び、音声処理部１８７が処理する音の周波数帯についても特に制限はない。右イヤホン３２及び左イヤホン３４が出力する音、マイク６３が集音する音、及び、音声処理部１８７が処理する音の周波数帯がそれぞれ異なっていてもよいし、同一の周波数帯の音を処理する構成であってもよい。上記周波数帯の一例としては、使用者が聞くことが可能な音、すなわち、人間の可聴周波数帯の音としてもよいし、可聴周波数帯域外の周波数の音を含んでもよい。さらに、ＨＭＤ１００において処理される音声データのサンプリング周波数及び量子化ビット数についても制限はない。

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明したが、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。

また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。

画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。

また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

また、本発明の表示装置は頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。本発明の表示装置は、外光とともに画像光により画像を視認させるものであればよく、例えば、外光を透過させる光学部材により画像光による画像を視認させる構成が挙げられる。具体的には、上記のヘッドマウントディスプレイにおいて外光を透過する光学部材を備えた構成の他、使用者から離れた位置に固定的に、又は可動に設置された透光性の平面や曲面（ガラスや透明なプラスチック等）に画像光を投射する表示装置にも適用可能である。一例としては、車両の窓ガラスに画像光を投射し、乗車している使用者や車両の外にいる使用者に、画像光による画像とともに、車両内外の景色を視認させる表示装置の構成が挙げられる。また、例えば、建物の窓ガラスなど固定的に設置された透明また半透明、或いは有色透明な表示面に画像光を投射し、表示面の周囲にいる使用者に、画像光による画像とともに、表示面を透かして景色を視認させる表示装置の構成が挙げられる。
また、上記実施形態では、外景を透過して視認可能な画像表示部２０を備える構成を例示したが、本発明はこれに限定されず、外界を観察できない非透過型の虚像表示装置や、外界を撮像する撮像素子による撮像画像を表示するビデオシースルー型の虚像表示装置に対しても、本発明を適用できる。例えば、撮像画像に対し、撮像画像に基づき生成した画像や他の画像を合成する処理等の編集処理を行い、編集処理した画像を表示することでＭＲ（Mixed Reality）表示を行う表示装置に本発明を適用してもよい。

また、図３に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図３に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０又は制御装置１０内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７又はインターフェイス１２５を介して取得して実行する構成としてもよい。
また、制御部１４０が実行するプログラムの機能、すなわち制御部１４０が備える各処理部（例えば、画像処理部１６０、表示制御部１７０、動作検出部１８１、視線検出部１８３、ＡＲ制御部１８５、音声処理部１８７、或いはその他の生成部、判定部、特定部等）を、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）やＳｏＣ（System on a Chip）を用いて構成してもよい。また、ＦＰＧＡ（Field-Programmable Gate Array）等のプログラマブルデバイスにより実現してもよい。
また、制御装置１０に形成された構成のうち、操作部１１１のみが単独の使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示す制御部１４０が制御装置１０と画像表示部２０との両方に形成されていてもよいし、制御装置１０に形成された制御部１４０と画像表示部２０に形成されたＣＰＵとが行う機能が別々に分けられている構成としてもよい。

１０…制御装置、１４、１４ａ、１４ｂ、１４ｃ、１４ｄ…トラックパッド（操作面）、２０…画像表示部（表示部）、２２…右表示駆動部、２４…左表示駆動部、３２…右イヤホン（音出力部）、３４…左イヤホン（音出力部）、６１…右カメラ、６２…左カメラ、６３…マイク、６６…９軸センサー（動きセンサー）、１００…ＨＭＤ（表示装置）、１１０…入力情報取得部、１１１…操作部、１２０…記憶部、１２１…設定データ、１２３…コンテンツデータ、１４０…制御部、１６０…画像処理部、１７０…表示制御部、１８１…動作検出部、１８３…視線検出部、１８５…ＡＲ制御部（処理部）、１８７…音声処理部（音出力部）、２６１…右導光板、２６２…左導光板。

Claims (15)

1. 使用者の頭部に装着される表示装置であって、
   画像を表示する表示部と、
   音を出力する音出力部と、
   前記音出力部により音を出力させる音出力処理と、前記音出力部により出力される音に対する音処理、または、前記表示部により表示される画像に対する処理を含み、前記音出力部が出力する音の聴取性を変化させる出力制御処理と、を実行する処理部と、
   を備えることを特徴とする表示装置。
2. 前記処理部は、前記音出力処理において、前記表示部により表示される画像に対応する音を前記音出力部により出力させること、
   を特徴とする請求項１記載の表示装置。
3. 前記使用者の頭部の位置、動き、及び方向の少なくともいずれかを検出する動作検出部を備え、
   前記処理部は前記動作検出部の検出結果に基づき前記出力制御処理を実行すること、
   を特徴とする請求項１または２記載の表示装置。
4. 前記使用者の頭部の動きを検出する動きセンサーを備え、前記動作検出部は、前記動きセンサーの検出値に基づいて、前記使用者の頭部の位置、動き、及び方向の少なくともいずれかを求めること、
   を特徴とする請求項３記載の表示装置。
5. 前記処理部は、外部の音と、前記外部の音の音源の位置とを特定する音特定処理を行い、特定した前記外部の音または前記音源の位置に基づき前記出力制御処理を実行すること、
   を特徴とする請求項３または４記載の表示装置。
6. 前記外部の音を集音し検出するマイクを備え、
   前記処理部は、前記マイクにより前記使用者が注視する方向から検出された音、及び、前記動作検出部の検出結果に基づき、前記音特定処理を実行して、外部の音と、前記外部の音を発する音源の位置とを特定すること、
   を特徴とする請求項５記載の表示装置。
7. 前記処理部は、前記出力制御処理において、前記マイクにより検出される外部の音に基づく音を前記音出力部により出力させること、
   を特徴とする請求項６記載の表示装置。
8. 前記処理部は、前記動作検出部により検出される前記使用者の頭部の位置と、前記音特定処理により特定した前記音源の位置との相対位置を求め、求めた相対位置に基づき、前記出力制御処理を実行すること、
   を特徴とする請求項５から７のいずれかに記載の表示装置。
9. 前記処理部は、前記使用者の頭部の位置と前記音源の位置との相対位置に加え、前記音特定処理により特定した前記音源の位置と、前記使用者の眼及び耳のそれぞれとの相対位置を求めること、
   を特徴とする請求項８記載の表示装置。
10. 前記処理部は、前記使用者の頭部の位置と前記音源の位置との相対位置に基づいて前記使用者の聴感に係る聴覚情報を生成して、前記聴覚情報に基づき前記出力制御処理を実行し、
    前記動作検出部により検出される前記使用者の頭部の動きに基づいて、前記聴覚情報を更新すること、
    を特徴とする請求項５から９のいずれかに記載の表示装置。
11. 前記処理部は、前記出力制御処理において、前記音源の位置に対応する方向を前記使用者が見る場合の視認性を変化させるように、前記表示部により表示される画像に対する処理を行うこと、
    を特徴とする請求項５から１０のいずれかに記載の表示装置。
12. 前記使用者の視線方向を検出する視線検出部を備え、
    前記処理部は、前記視線検出部の検出結果から前記使用者が注視する方向を特定し、特定した方向に対応して前記出力制御処理を実行すること、
    を特徴とする請求項１から１１のいずれかに記載の表示装置。
13. 前記処理部は、前記出力制御処理において、前記使用者が注視する方向に位置する対象物に重ねて画像を表示すること、
    を特徴とする請求項１２に記載の表示装置。
14. 使用者の頭部に装着され、画像を表示する表示部と、音を出力する音出力部と、を有する表示装置を制御して、
    前記音出力部により音を出力させ、
    前記音出力部により出力される音に対する音処理、または、前記表示部により表示される画像に対する処理を含み、前記音出力部が出力する音の聴取性を変化させる出力制御処理を実行すること、
    を特徴とする表示装置の制御方法。
15. 使用者の頭部に装着され、画像を表示する表示部と、音を出力する音出力部と、を有する表示装置を制御するコンピューターが実行可能なプログラムであって、
    前記コンピューターを、
    前記音出力部により音を出力させる音出力処理と、
    前記音出力部により出力される音に対する音処理、または、前記表示部により表示される画像に対する処理を含み、前記音出力部が出力する音の聴取性を変化させる出力制御処理と、を実行する処理部として機能させる、プログラム。

Images