JP2021175043A - 頭部装着型表示装置、音声画像出力システム、及び、音声画像出力方法 - Google Patents

Abstract

【課題】仮想物体が発する音を、現実空間の物体に対応して変化させる。【解決手段】ＨＭＤ１００は、使用者Ｕの頭部に装着され、実空間に位置する実物体を視認可能に、画像を表示する表示部２０と、音声を出力する右イヤホン３２及び左イヤホン３４と、実物体、及び、仮想オブジェクトの位置を特定する位置特定部と、仮想オブジェクトの位置を音源位置とする合成音声を生成し、右イヤホン３２及び左イヤホン３４から出力させる音声出力制御部と、を備え、音声出力制御部は、実物体ＲＯの位置が、仮想オブジェクトの位置と表示部２０の位置との間である場合に、合成音声が実物体を回り込んで聞こえる音声となるように合成音声を調整する。【選択図】図１

Description

本発明は、頭部装着型表示装置、音声画像出力システム、及び、音声画像出力方法に関する。

従来、ヘッドマウントディスプレイ等の表示装置において、仮想物体の画像を表示する技術が知られている。特許文献１に記載の装置は、現実空間の現実物体から発せられた音が、仮想物体によって遮蔽されたと判断した場合に、現実物体から発せられた音のボリュームを下げる。

特開２００９−１１６６９０号公報

ところで、仮想物体の画像を表示する場合、仮想物体が発したかのように音を出力することも考えられる。このような場合、仮想物体が発する音を、現実空間の物体に対応して変化させることが考えられるが、そのような提案は従来なかった。

上記課題を解決する一態様は、使用者の頭部に装着され、実空間に位置する実物体を視認可能に、画像を表示する表示部と、音声を出力する音声出力部と、前記実物体、及び、仮想オブジェクトの位置を特定する位置特定部と、前記仮想オブジェクトの位置を音源位置とする合成音声を生成し、音声出力部から出力させる音声出力制御部と、を備え、前記音声出力制御部は、前記実物体の位置が、前記仮想オブジェクトの位置と前記表示部の位置との間である場合に、前記合成音声を、前記実物体に応じて立体的に変化するように調整する、頭部装着型表示装置である。

上記課題を解決する別の一態様は、使用者の頭部に装着され、実空間に位置する実物体を視認可能に、画像を表示する頭部装着型の表示部と、音声を出力する音声出力部と、前記実物体、及び、仮想オブジェクトの位置を特定する位置特定部と、前記仮想オブジェクトの位置を音源位置とする合成音声を生成し、音声出力部から出力させる音声出力制御部と、前記位置特定部により特定された前記仮想オブジェクトの位置に基づいて、前記表示部に前記仮想オブジェクトの画像を表示させる表示制御部と、を備え、前記音声出力制御部は、前記実物体の位置が前記仮想オブジェクトの位置と前記表示部の位置との間である場合に、前記合成音声を、前記実物体に応じて立体的に変化するように調整する、音声画像出力システムである。

上記課題を解決する更に別の一態様は、使用者の頭部に装着され、実空間に位置する実物体を視認可能に、画像を表示する頭部装着型の表示部と、音声を出力する音声出力部と、を利用した音声画像出力方法であって、前記実物体、及び、仮想オブジェクトの位置を特定し、特定した前記仮想オブジェクトの位置に基づいて、前記表示部に前記仮想オブジェクトの画像を表示させ、前記仮想オブジェクトの位置を音源位置とする合成音声を生成し、前記実物体の位置が前記仮想オブジェクトの位置と前記表示部の位置との間である場合に、前記合成音声を、前記実物体に応じて立体的に変化するように調整し、調整した前記合成音声を音声出力部から出力させる、音声画像出力方法である。

表示システムの構成を示す図。 ＨＭＤのブロック図。 ＨＭＤの制御系の機能ブロック図。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作の説明図。 ＨＭＤの動作の説明図。 ＨＭＤの動作の説明図。 ＨＭＤの動作の説明図。

以下、図面を参照して実施形態について説明する。

［１．表示システムの全体構成］
図１は、表示システム１の概略構成を示す図である。
図１に示すように、表示システム１は、ＨＭＤ１００を備える。ＨＭＤ１００は、使用者Ｕが頭部に装着する頭部装着型表示装置である。ＨＭＤ１００は、使用者が虚像を視認すると同時に外景を直接視認可能な、光学透過型の表示装置である。ここで、外景は、ＨＭＤ１００を装着する使用者Ｕの外部の景色であり、使用者Ｕが表示部２０を装着していない状態でも肉眼により視認可能な、実空間の光景を指す。使用者Ｕは、ＨＭＤ１００のユーザーであり、操作者ということもできる。ＨＭＤは、Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙの略である。表示システム１は、音声画像出力システムの一例に対応する。

ＨＭＤ１００は、使用者Ｕが頭部に装着する表示部２０、及び、表示部２０を制御するコントローラー１０を備える。表示部２０は、使用者Ｕの頭部に装着された状態で使用者に虚像を視認させる。コントローラー１０は、使用者ＵがＨＭＤ１００を操作するための制御装置として機能する。表示部２０は、表示部の一例に対応する。

以下の説明では、表示部２０が使用者Ｕに視認させる虚像を、便宜的に、表示画像と呼ぶ。ＨＭＤ１００が、画像データに基づく画像光を表示部２０から射出することを、画像を表示すると表現する。画像とは、静止画像に限らず、動画像あるいは映像を含む。この構成は一例であり、たとえば、ＨＭＤ１００が、光学的に不透過であってもよい。この場合、ＨＭＤ１００は、外景を撮像し、撮像画像を表示することで、使用者Ｕに間接的に外景を視認させる、いわゆるビデオシースルー型の表示装置であってもよい。

コントローラー１０は、箱形の本体１１を有する。本体１１は、使用者Ｕの操作を受け付ける操作子として、各種のスイッチ等を備える。表示部２０は、本実施形態では眼鏡形状を有する。表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とで構成される本体を有する。表示部２０の本体には、右表示ユニット２２、左表示ユニット２４、右導光板２６、及び左導光板２８が設けられる。

右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者Ｕの頭部に表示部２０を保持する。前部フレーム２７の両端部のうち表示部２０の装着時に使用者Ｕの右側に位置する端部を端部ＥＲとし、左側に位置する端部を端部ＥＬとする。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。表示部２０の装着状態において、右導光板２６は使用者Ｕの右眼の前に位置する。左導光板２８は使用者Ｕの左眼の前に位置する。

右表示ユニット２２及び左表示ユニット２４は、光学ユニット及び周辺回路をユニット化したモジュールである。右表示ユニット２２は、右保持部２１に取り付けられ、左表示ユニット２４は、左保持部２３に取り付けられる。右表示ユニット２２及び左表示ユニット２４は、画像データに基づく画像光を出射する。

右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部品である。例えば、右導光板２６及び左導光板２８はプリズムである。右導光板２６は、右表示ユニット２２が出力する画像光を使用者Ｕの右眼に向けて導く。左導光板２８は、左表示ユニット２４が出力する画像光を使用者の左眼に導く。これにより、使用者Ｕの両眼に画像光が入射し、使用者Ｕが画像を視認できる。

使用者Ｕの右眼には、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。使用者Ｕの左眼には、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射する。つまり、ＨＭＤ１００は、内部で処理した画像に対応する画像光と外光とを重ねて使用者Ｕの眼に入射させる。使用者Ｕには、右導光板２６及び左導光板２８を透かして外景が見える。さらに、使用者Ｕは、外景に重ねて、画像光による画像を見ることができる。

右導光板２６及び左導光板２８の表面に、使用者Ｕの右眼及び左眼に入射する外光を減衰させるシェードを設けてもよい。このシェードは、電気的に光の透過率を調整可能な電子シェードであってもよい。

前部フレーム２７には、照度センサー６５が配置される。照度センサー６５は、表示部２０を装着する使用者Ｕの前方からの外光を受光する。
前部フレーム２７には、外側カメラ６１が配置される。図１の例では、外側カメラ６１が前部フレーム２７の端部ＥＲ側にある。外側カメラ６１は、使用者Ｕの正面を含む撮像範囲を撮像するデジタルカメラである。外側カメラ６１は、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。外側カメラ６１の位置は図１の例に制限されない。外側カメラ６１は、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。外側カメラ６１は、撮像部の一例に対応する。

外側カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。本実施形態の外側カメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。外側カメラ６１は、制御部１５０の制御に従って撮像を実行し、撮像画像データを制御部１５０に出力する。外側カメラ６１は撮像レンズを有する。外側カメラ６１の撮像レンズは、いわゆる広角レンズであってもよい。この広角レンズは、超広角レンズ、準広角レンズと呼ばれるレンズであってもよい。外側カメラ６１の撮像レンズは、単焦点レンズであってもよいし、ズームレンズであってもよいし、複数のレンズからなるレンズ群であってもよい。外側カメラ６１は、撮像部の一例に対応する。ＣＣＤはＣｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略である。ＣＭＯＳはＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略である。

前部フレーム２７には、ＬＥＤインジケーター６７が配置される。ＬＥＤインジケーター６７は、端部ＥＲにおいて外側カメラ６１の近傍に配置され、外側カメラ６１の動作中に点灯して、撮像中であることを報知する。ＬＥＤはＬｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅの略である。

前部フレーム２７には、距離センサー６４が設けられる。距離センサー６４は、使用者Ｕの前方に位置する測定対象物までの距離を検出する。測定対象物は、実空間に位する現実の物体や構造物である。距離センサー６４は、例えば、光反射式距離センサーであってもよい。具体的には、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有するセンサーが挙げられる。また、距離センサー６４は、超音波式の距離センサーであってもよい。すなわち、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成であってもよい。また、距離センサー６４は、測域センサーとも呼ばれるレーザーレンジスキャナーであってもよい。

コントローラー１０と表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、本体１１のコネクター４２に着脱可能に接続される。
接続ケーブル４０は、オーディオコネクター４６を備える。オーディオコネクター４６には、ヘッドセット３０が接続される。ヘッドセット３０は、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有する。

右イヤホン３２は、使用者Ｕの右耳に装着される。左イヤホン３４は、使用者Ｕの左耳に装着される。右イヤホン３２及び左イヤホン３４は、インナーイヤー型のイヤホン、或いは、カナル型のイヤホンである。右イヤホン３２及び左イヤホン３４は、イヤーマフを介して耳介に接触するオーバーヘッド型のヘッドホンであってもよい。右イヤホン３２及び左イヤホン３４は、後述する音声インターフェイス１８１が出力する音声信号に基づき音声を出力する。右イヤホン３２及び左イヤホン３４は音声出力部の一例に対応し、右イヤホン３２は第１音声出力部の一例に対応し、左イヤホン３４は第２音声出力部の一例に対応する。

マイク６３は、音声を集音して、音声信号を、音声インターフェイス１８１に出力する。マイク６３は、モノラルマイクであってもステレオマイクであってもよい。マイク６３は、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

コントローラー１０は、ホイール操作部１２、中央キー１３、操作パッド１４、上下キー１５、ＬＥＤ表示部１７、及び電源スイッチ１８を備える。これらは使用者Ｕにより操作される被操作部ということができる。これらの被操作部は本体１１の表面に配置される。これらの被操作部は、例えば、使用者Ｕの手指により操作される。

本体１１にはＬＥＤ表示部１７が設置される。ＬＥＤ表示部１７は、ＨＭＤ１００の動作状態を示すＬＥＤインジケーターである。ＬＥＤ表示部１７は、光を透過可能な透過部によりカバーされる。ＬＥＤ表示部１７のカバーは、本体１１の表面の一部を構成する。ＬＥＤ表示部１７が発光すると、この光が透過部を透過する。これにより、透過部に形成された文字、記号、模様等が視認可能となる。

ＬＥＤ表示部１７には、使用者Ｕの手指の接触を検出するタッチセンサーが、と浮かぶに重ねて配置される。ＬＥＤ表示部１７とタッチセンサーとの組合せはソフトウェアキーとして機能する。

電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチである。
本体１１は、コントローラー１０を、外部の装置に接続するインターフェイスとして、ＵＳＢコネクター１９を備える。ＵＳＢはＵｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。

図３には、ＨＭＤ１００が備える内側カメラ６８を示す。内側カメラ６８は、表示部２０において、使用者Ｕの顔に対向する位置に設置され、右眼及び左眼を向いて配置される。内側カメラ６８は、右眼、及び左眼を撮像する。内側カメラ６８の撮像画像により、ＨＭＤ１００は、右眼の視線、及び、左眼の視線の方向を特定できる。また、ＨＭＤ１００は、内側カメラ６８の撮像画像を解析することにより、右眼及び左眼の瞳孔のサイズを検出することができる。ＨＭＤ１００は、瞳孔のサイズの変化をもとに、使用者Ｕの瞳孔の縮瞳または散瞳の状態を特定してもよい。また、ＨＭＤ１００は、内側カメラ６８の撮像画像をもとに、右眼及び左眼のまぶたの開閉状態を検出してもよい。

［２．ＨＭＤの構成］
図４は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
コントローラー１０は、メインプロセッサー１２５を備える。メインプロセッサー１２５は、ＣＰＵ、マイコン等で構成される。メインプロセッサー１２５には、メモリー１１８及び不揮発性記憶部１２１が接続される。メインプロセッサー１２５には、入力装置として操作部１７０が接続される。メインプロセッサー１２５には、センサー類として、６軸センサー１１１、磁気センサー１１３、及び、ＧＰＳ受信部１１５が接続される。

メインプロセッサー１２５には、通信部１１７、音声処理部１８０、外部メモリーインターフェイス１９１、ＵＳＢコネクター１９、センサーハブ１９３、及び、ＦＰＧＡ１９４が接続される。これらのコンポーネントは外部とのインターフェイスとして機能する。以下の説明および図において、インターフェイスをＩ／Ｆと略する。ＦＰＧＡはＦｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。

コントローラー１０は、制御基板を備える。この制御基板には、メインプロセッサー１２５が実装される。制御基板に、６軸センサー１１１、磁気センサー１１３、ＧＰＳ受信部１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声処理部１８０等が実装されてもよい。制御基板に、外部メモリーインターフェイス１９１、ＵＳＢコネクター１９、センサーハブ１９３、ＦＰＧＡ１９４、及びインターフェイス１９７が実装されてもよい。さらに、制御基板に、コネクター４２、及びＵＳＢコネクター１９が実装されてもよい。

メモリー１１８は、メインプロセッサー１２５が実行するプログラム、及び、メインプロセッサー１２５が処理するデータ等を一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリー等の半導体メモリーデバイスで構成される。不揮発性記憶部１２１は、メインプロセッサー１２５が実行するプログラムや、メインプロセッサー１２５が処理するデータを記憶する。

操作部１７０は、ＬＥＤ表示部１７に配置されたタッチセンサー、ホイール操作部１２、中央キー１３、操作パッド１４、上下キー１５、及び電源スイッチ１８に対する操作を検出する。操作部１７０は、操作に対応する操作信号をメインプロセッサー１２５に出力する。操作部１７０は、メインプロセッサー１２５の制御に従って、ＬＥＤ表示部１７を点灯、点滅、消灯させる。

６軸センサー１１１は、コントローラー１０の動きを検出するモーションセンサーの一例である。モーションセンサーは、慣性センサーと言い換えることもできる。６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロセンサーを備える。磁気センサー１１３は、例えば、３軸の地磁気センサーである。６軸センサー１１１は、加速度センサーとジャイロセンサーがモジュール化されたＩＭＵであってもよい。ＩＭＵは、Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔの略である。また、６軸センサー１１１と磁気センサー１１３がモジュール化された構成であってもよい。

ＧＰＳ受信部１１５は、図示しないＧＰＳアンテナによってＧＰＳ信号を受信する。ＧＰＳ受信部１１５は、ＧＰＳ信号に基づき、コントローラー１０の現在位置の座標を検出または算出する。ＧＰＳは、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍの略である。

６軸センサー１１１、磁気センサー１１３及びＧＰＳ受信部１１５は、予め指定されたサンプリング周期に従ってメインプロセッサー１２５に出力値を出力する。また、６軸センサー１１１、磁気センサー１１３及びＧＰＳ受信部１１５は、メインプロセッサー１２５の要求に応じて、検出値をメインプロセッサー１２５に出力してもよい。

通信部１１７は、外部の機器との間で無線通信を実行する通信装置である。通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備える。通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉを含む無線ＬＡＮ等の規格に準拠した無線通信を行う。ＲＦはＲａｄｉｏ Ｆｒｅｑｕｅｎｃｙの略である。Ｂｌｕｅｔｏｏｔｈは登録商標である。Ｗｉ−Ｆｉは登録商標である。

音声インターフェイス１８１は、オーディオコネクター４６を介して右イヤホン３２、左イヤホン３４、及びマイク６３に接続される。音声インターフェイス１８１は、メインプロセッサー１２５の制御に従って、右イヤホン３２及び左イヤホン３４のそれぞれに音声信号を出力し、音声を出力させる。音声インターフェイス１８１は、マイク６３から入力される音声信号をメインプロセッサー１２５に出力する。音声インターフェイス１８１は、アナログ音声信号とデジタル音声データとを変換するコンバーターを備えてもよい。この場合、音声インターフェイス１８１とメインプロセッサー１２５との間でデジタル音声データが入出力される。

ＨＭＤ１００は、ステレオ音声を処理可能である。具体的には、音声インターフェイス１８１により、使用者Ｕの右耳と左耳のそれぞれに対応するチャンネルを含む２チャンネルのステレオ音声を、右イヤホン３２及び左イヤホン３４により出力させることができる。

外部メモリーインターフェイス１９１は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。

インターフェイス１９７は、センサーハブ１９３及びＦＰＧＡ１９４を、表示部２０に接続する。
センサーハブ１９３は、表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１２５に出力する。ＦＰＧＡ１９４は、メインプロセッサー１２５と表示部２０の各部との間で送受信するデータの処理、及び、インターフェイス１９７を介した伝送を実行する。

表示部２０は、右角度センサー１８３及び左角度センサー１８４を備える。
表示部２０は、上述したように眼鏡形状であり、右保持部２１及び左保持部２３は眼鏡のテンプルに類似する部材である。右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７に対して回動可能である。例えば、右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７に対しヒンジ構造により連結される。使用者Ｕが表示部２０を装着した状態で、右保持部２１及び左保持部２３は、使用者Ｕの頭部の大きさに合わせた角度で開く。

右角度センサー１８３は、前部フレーム２７と右保持部２１との連結部に設けられ、前部フレーム２７に対する右保持部２１の角度を検出する。左角度センサー１８４は、前部フレーム２７と左保持部２３との連結部に設けられ、前部フレーム２７に対する左保持部２３の角度を検出する。右角度センサー１８３、及び左角度センサー１８４の検出値は、メインプロセッサー１２５に出力される。

コントローラー１０には、接続ケーブル４０、及び、図示しない表示部２０内部の配線により、右表示ユニット２２と、左表示ユニット２４とが個別に接続される。
右表示ユニット２２は、画像光を発するＯＬＥＤユニット２２１を備える。ＯＬＥＤユニット２２１が発する画像光は、レンズ群等を含む光学系により、右導光板２６に導かれる。左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１を備える。ＯＬＥＤユニット２４１が発する画像光は、レンズ群等を含む光学系により、左導光板２８に導かれる。ＯＬＥＤは、Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅの略である。

ＯＬＥＤユニット２２１、２４１は、ＯＬＥＤパネルやＯＬＥＤパネルを駆動する駆動回路を有する。ＯＬＥＤパネルは、有機エレクトロルミネッセンスにより発光する自発光型の表示パネルである。ＯＬＥＤパネルは、例えば、赤、緑、青の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される。駆動回路は、メインプロセッサー１２５の制御に従って、ＯＬＥＤパネルの発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネルの発光素子を発光させる。これにより、ＯＬＥＤユニット２２１、２４１が画像光を形成し、この画像光が、右導光板２６及び左導光板２８を経由して、使用者Ｕの右眼及び左眼に入射する。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス２１１、受信部２１３、及び、ＥＥＰＲＯＭ２１５が実装される。インターフェイス２１１は、インターフェイス１９７に接続される。インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー６６、外側カメラ６１、照度センサー６５、および、ＬＥＤインジケーター６７を、コントローラー１０に接続する。受信部２１３は、インターフェイス２１１を介してコントローラー１０から入力されるデータを受信する。図では、受信部２１３をＲｘと略する。

ＥＥＰＲＯＭ２１５は、データを記憶する。ＥＥＰＲＯＭ２１５は、例えば、ＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。ＥＥＰＲＯＭ２１５が記憶するデータはメインプロセッサー１２５により読み取り可能である。ＥＥＰＲＯＭは、Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙの略である。

インターフェイス２１１には、外側カメラ６１から、撮像画像データ、或いは、外側カメラ６１の撮像結果を示す信号が入力される。インターフェイス２１１には、距離センサー６４から、距離センサー６４の検出範囲に位置する対象物までの距離を測定した測定結果が入力される。インターフェイス２１１には、照度センサー６５から、受光量、及び／または受光強度に対応する検出値が入力される。インターフェイス２１１には、温度センサー６６から、温度センサー６６が検出した温度に対応する電圧値あるいは抵抗値が入力される。温度センサー６６は、ＯＬＥＤユニット２２１が有するＯＬＥＤパネルの温度を検出する。ＯＬＥＤパネルが駆動回路等とともに統合半導体チップ上の集積回路に実装される場合、この半導体チップに温度センサー６６を実装してもよい。

ＬＥＤインジケーター６７は、インターフェイス２１１を介して入力される信号に従って点灯および消灯する。内側カメラ６８は、撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号をインターフェイス２１１に出力する。受信部２１３は、インターフェイス２１１を介してメインプロセッサー１２５が送信するデータを受信する。受信部２１３は、インターフェイス２１１を介して受信した画像データを、ＯＬＥＤユニット２２１に出力する。

左表示ユニット２４は、表示ユニット基板２３０を有する。表示ユニット基板２３０には、インターフェイス２３１及び受信部２３３が実装される。表示ユニット基板２３０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。インターフェイス２３１は、受信部２３３、６軸センサー２３５、及び、磁気センサー２３７を、コントローラー１０に接続する。受信部２３３はインターフェイス２３１を介してコントローラー１０から入力されるデータを受信する。

６軸センサー２３５は、表示部２０の動きを検出するモーションセンサーの一例である。６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロセンサーを備える。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵであってもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。６軸センサー２３５及び磁気センサー２３７は、検出値または検出データをインターフェイス２３１に出力する。これらの検出値または検出データはインターフェイス２３１を介してメインプロセッサー１２５に出力される。

外側カメラ６１、距離センサー６４、照度センサー６５、温度センサー６６、内側カメラ６８、６軸センサー２３５、及び、磁気センサー２３７は、コントローラー１０のセンサーハブ１９３に接続される。これらの各センサーには、センサーハブ１９３から制御信号が入力される。また、ＬＥＤインジケーター６７はセンサーハブ１９３に接続される。

センサーハブ１９３は、メインプロセッサー１２５の制御に従って、各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９３は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ１９３は、予め設定されたタイミングで、各センサーの検出値をメインプロセッサー１２５に出力する。センサーハブ１９３は、メインプロセッサー１２５の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、外側カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯または点滅させる。

［３．ＨＭＤの制御系］
図３は、ＨＭＤ１００の制御系の機能ブロック図である。ＨＭＤ１００の制御系は、記憶部１４０、及び制御部１５０で構成される。記憶部１４０は、不揮発性記憶部１２１により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。制御部１５０、及び、制御部１５０が有する各種の機能部は、メインプロセッサー１２５が制御プログラム１４１を実行することによって、ソフトウェアとハードウェアとの協働により構成される。

記憶部１４０は、制御プログラム１４１、設定データ１４２、基本映像データ１４３、位置履歴データ１４４、音響データ１４５、及び、基本音声データ１４６を記憶する。

設定データ１４２は、ＨＭＤ１００の動作に係る各種の設定値を含む。また、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ等を用いる場合、これらを設定データ１４２に含めてもよい。ＬＵＴはＬｏｏｋＵｐ Ｔａｂｌｅの略である。

基本映像データ１４３は、制御部１５０が表示部２０に表示させる映像あるいは画像のもととなるデータである。基本映像データ１４３は、使用者Ｕが表示部２０を透過して視認する実空間に重ねて表示される仮想オブジェクトのデータを含む。このデータは、画像データ、映像データ、或いは、仮想オブジェクトの画像データを生成するための３Ｄデータであってもよい。また、基本映像データ１４３は、例えば、表示部２０により表示する映像コンテンツのデータであってもよい。

仮想オブジェクトは、実空間に存在しない仮想の物体を表す画像である。ＨＭＤ１００は、実空間に仮想の物体の位置を設定する。ＨＭＤ１００は、設定した位置に仮想の物体が配置された状態を表す画像を表示部２０により表示する。仮想オブジェクトの位置は、例えば、使用者Ｕが表示部２０を透過して視認する範囲の実空間に設定される。

位置履歴データ１４４は、仮想オブジェクトの位置を含むデータである。位置履歴データ１４４は、制御部１５０が仮想オブジェクトの位置を更新する毎に蓄積されるデータである。例えば、位置履歴データ１４４は、時系列順に並べることが可能な複数の仮想オブジェクトの位置を含む。

音響データ１４５は、制御部１５０が音響処理を行う場合に利用されるデータである。例えば、音響データ１４５は、頭部伝達関数に基づく音響処理を行う場合に利用されるデータであり、モデル空間の音響特性を示す各種のデータを含む。頭部伝達関数は、Ｈｅａｄ−Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎの訳であり、ＨＲＴＦと略される。

基本音声データ１４６は、制御部１５０が音響処理を行うもとになる音声データである。基本音声データ１４６は、モノラル音声データであってもよい。本実施形態では、基本音声データ１４６は、２チャンネルのステレオ音声データである。
基本音声データ１４６に基づく音声、及び、基本音声データ１４６に対して音響処理を行った音声は、単なる音を含む。音楽等の音声のほか、雑音、足音、風の音等の音や、ＡＲゲーム等のＡＲソフトウェアで使用される効果音、背景音等であってもよい。ここで、ＡＲはＡｒｇｕｍｅｎｔ Ｒｅａｌｉｔｙの略であり、拡張現実とも呼ばれる。

制御部１５０は、基本制御部１５１、撮像制御部１５２、位置特定部１５３、基本音声データ取得部１５４、音声出力制御部１５５、基本映像データ取得部１５６、映像出力制御部１５７、及び、センサー制御部１５８を有する。映像出力制御部１５７は、表示制御部の一例に対応する。

基本制御部１５１は、ＨＭＤ１００の各部を制御する基本機能を実行する。基本制御部１５１は、ＨＭＤ１００の電源がオンされたときに起動処理を実行し、ＨＭＤ１００の各部を初期化する。基本制御部１５１は、コントローラー１０の電源をオフにする場合に、シャットダウン処理を実行し、ＨＭＤ１００を停止させる。

撮像制御部１５２は、外側カメラ６１及び内側カメラ６８を制御して、撮像を実行させる。撮像制御部１５２は、撮像画像を取得して、記憶部１４０に一時的に記憶させる。

位置特定部１５３は、外側カメラ６１の撮像画像を解析することにより、外側カメラ６１の撮像範囲に位置する実物体の位置を特定する。また、位置特定部１５３は、表示部２０により表示する仮想オブジェクトの位置を特定する。

基本音声データ取得部１５４は、記憶部１４０が記憶する基本音声データ１４６を取得する。本実施形態では、記憶部１４０が基本音声データ１４６を記憶している構成を例示するが、ＨＭＤ１００は、基本音声データ１４６を外部の装置やデバイスから取得する構成であってもよい。例えば、基本音声データ取得部１５４は、音声データが記録されたメモリーデバイスから、外部メモリーインターフェイス１９１を介して基本音声データ１４６を取得してもよい。また、基本音声データ取得部１５４は、通信部１１７が外部の装置から受信する音声データを取得してもよい。

音声出力制御部１５５は、基本音声データ取得部１５４が取得した基本音声データ１４６に対する音響処理を実行する。音声出力制御部１５５は、音響処理によって合成音声を生成し、合成音声の音声信号を音声インターフェイス１８１により出力させる。

基本映像データ取得部１５６は、記憶部１４０が記憶する基本映像データ１４３を取得する。
映像出力制御部１５７は、基本映像データ１４３に基づいて仮想オブジェクトの映像データを生成する。映像出力制御部１５７は、仮想オブジェクトの映像データに基づき、表示部２０を制御して、仮想オブジェクトの映像を表示部２０に表示させる。

センサー制御部１５８は、ＨＭＤ１００が備える各種センサーを動作させ、センサーの検出値を取得する。

［４．表示システムの動作］
図４及び図５は、ＨＭＤ１００の動作を示すフローチャートである。図６−図９は、ＨＭＤ１００の動作の説明図である。図６は、表示システム１が動作する状況の一例を示す図である。図７及び図８は、ＨＭＤ１００が実行する音響処理の例を示す図である。図９は、表示システム１が動作する状況の別の例を示す図である。
以下、これらの図を参照して、表示システム１の動作を説明する。

図６には、表示部２０を装着した使用者Ｕが、実空間ＲＡにいる状態を示す。実物体ＲＯには、現実の物体である実物体ＲＯが配置されている。実空間ＲＡには、位置検出用のマーカーＭが配置される。マーカーＭの数に制限はなく、１カ所であってもよいし、複数箇所であってもよい。マーカーＭは、外側カメラ６１の撮像画像において検出可能であればよい。マーカーＭは現実の物体であってもよいし、実空間ＲＡの壁や床が着色された箇所をマーカーＭとしてもよい。マーカーＭは指標物の一例に対応する。

図６には、外側カメラ６１の撮像範囲を符号ＰＲで示す撮像範囲ＰＲは、表示部２０の向きにより移動する。
使用者Ｕは、実物体ＲＯを含む実空間ＲＡを、表示部２０を透過して視認できる。ＨＭＤ１００は、表示部２０により、実空間ＲＡの景色に重ねて仮想オブジェクトＶＯを表示する。仮想オブジェクトＶＯは、表示部２０が表示する画像であるが、使用者Ｕには実空間ＲＡに物体が存在するかのように見える仮想現実である。図に示す基準点ＶＰは、仮想オブジェクトＶＯの位置の基準となる点である。基準点ＶＰを示す黒点は実際には表示されない。

ＨＭＤ１００は、合成音声を、右イヤホン３２及び左イヤホン３４から出力する。合成音声は、仮想オブジェクトＶＯから発せられる音声を模した音声である。合成音声は、ＨＭＤ１００により、仮想オブジェクトＶＯの基準点ＶＰから聞こえるように音響処理が施された音声である。本実施形態で行う音響処理は、使用者Ｕの耳から基準点ＶＰまでの距離と、使用者Ｕの頭部を基準とした基準点ＶＰの方向とに基づく処理である。

図４の処理において、映像出力制御部１５７は、仮想オブジェクトＶＯを表示するための基本映像データ１４３を取得する（ステップＳＴ１１）。
撮像制御部１５２は、外側カメラ６１に撮像を実行させ、撮像画像を取得する（ステップＳＴ１２）。位置特定部１５３は、外側カメラ６１の撮像画像から、実物体ＲＯを検出する（ステップＳＴ１３）。ステップＳＴ１３で、位置特定部１５３は、撮像画像を解析することにより、撮像画像から撮像範囲ＰＲに位置する物体の画像を切り出す。例えば、ＨＭＤ１００は、実物体ＲＯの画像をパターンマッチングにより検出するためのデータやパラメーターを設定データ１４２として記憶する。この場合、位置特定部１５３は、パターンマッチングによって撮像画像から実物体ＲＯを検出する。位置特定部１５３は撮像画像から複数の実物体ＲＯを検出してもよい。また、位置特定部１５３は、予め設定された種類の実物体ＲＯを検出してもよいし、画像解析のアルゴリズムにより未知の実物体ＲＯを検出できるものであってもよい。レーザーレンジスキャナーを利用したＳＬＡＭ等の処理により空間認識および／または物体認識を行い、実物体ＲＯを検出してもよい。ＳＬＡＭは、Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇの略である。

位置特定部１５３は、ステップＳＴ１３で検出した実物体ＲＯの位置と使用者Ｕの位置とを特定する（ステップＳＴ１４）。位置特定部１５３は、例えば、撮像画像における実物体ＲＯの位置をもとに、表示部２０に対する実物体ＲＯの相対位置を求める。また、位置特定部１５３は、６軸センサー１１１、磁気センサー１１３、６軸センサー２３５、及び磁気センサー２３７の少なくともいずれかのセンサーの検出値に基づき、表示部２０の位置や角度を求めてもよい。この場合、位置特定部１５３は、求めた位置や角度を表示部２０に対する実物体ＲＯの位置を求める処理に利用してもよい。

ステップＳＴ１４で、位置特定部１５３は、例えば、実空間ＲＡにおける特定の位置を基準として実物体ＲＯの位置および使用者Ｕの位置を特定してもよい。また、例えば、位置特定部１５３は、使用者Ｕの位置を基準とする実物体ＲＯの相対位置を特定してもよい。位置の表現の方法は任意である。例えば、位置特定部１５３は、図６に示すＸＹＺ直交座標系における使用者Ｕの位置と実物体ＲＯの位置とを、ステップＳＴ１４で求めてもよい。この場合、座標系の原点位置が使用者Ｕの頭部であってもよい。具体的には、使用者Ｕが装着している表示部２０の中心や、ＨＭＤ１００が推定する使用者Ｕの両耳の位置を基準としてもよい。また、後述する頭部基準位置ＳＰを基準としてもよい。
位置特定部１５３は、例えば、右角度センサー１８３及び左角度センサー１８４の検出値から使用者Ｕの頭部の大きさを推定する。続いて、使用者Ｕの頭部の大きさを、人間の頭部サイズと耳の位置の基準モデルに当てはめることで、使用者Ｕの右耳および左耳の位置を特定できる。

位置特定部１５３は、極座標により使用者Ｕに対する実物体ＲＯの相対位置を表現してもよい。例えば、図６に例示したように、実物体ＲＯの位置Ｐを、Ｚ軸に対する角度θと、位置ＰをＸＹ平面に投影した位置Ｑに係る角度φと、位置Ｐまでの距離ｒとにより、位置Ｐを表現してもよい。この場合、原点は実空間ＲＡに固定された座標であってもよいし、使用者Ｕの頭部の位置を原点としてもよい。その他、位置特定部１５３が利用する位置の表現方法は任意である。

ステップＳＴ１４で、位置特定部１５３は、マーカーＭを利用して使用者Ｕの位置および実物体ＲＯの位置を特定してもよい。例えば、位置特定部１５３は、撮像画像をもとに、撮像範囲ＰＲに位置するマーカーＭの画像を検出する。この場合、実空間ＲＡにおけるマーカーＭの位置は事前に特定されていて、このマーカーＭの位置を示す情報が設定データ１４２に含まれる。ＨＭＤ１００は、位置特定部１５３は、撮像画像におけるマーカーＭの画像の位置をもとに、実空間ＲＡにおける使用者Ｕの位置を特定することができる。

また、ステップＳＴ１４において、位置特定部１５３は、上述した方法とは異なる方法により、使用者Ｕの位置や実物体ＲＯの位置を特定してもよい。例えば、実空間ＲＡに不図示の無線ビーコンが配置されている場合、通信部１１７が無線ビーコンからの信号を受信することにより、使用者Ｕの位置を特定し、さらに撮像画像をもとに実物体ＲＯの位置を特定してもよい。

位置特定部１５３は、実空間ＲＡにおける仮想オブジェクトＶＯの位置を特定する（ステップＳＴ１５）。仮想オブジェクトＶＯの位置は任意の位置に設定することができ、映像コンテンツとして使用者Ｕに視認させる内容に従って決定できる。仮想オブジェクトＶＯの位置は、ＸＹＺ直交座標系や極座標により表現され、実空間ＲＡにおける特定の位置を基準としてもよいし使用者Ｕの位置を基準としてもよい。例えば、飛翔するドローンの映像を使用者Ｕに視認させる場合、予めプログラムされたドローンの軌跡に沿って、仮想オブジェクトＶＯの位置が決定される。

基本音声データ取得部１５４は、記憶部１４０から、ステップＳＴ１１で取得した基本映像データ１４３に対応付けられた基本音声データ１４６を取得する（ステップＳＴ１６）。例えば、基本映像データ１４３が飛翔するドローンの映像である場合、基本音声データ取得部１５４は、ドローンのプロペラ音の基本音声データ１４６を取得する。

位置特定部１５３は、使用者Ｕの視野において仮想オブジェクトＶＯが実物体ＲＯに隠れる位置にあるか否かを判定する（ステップＳＴ１７）。位置特定部１５３は、ステップＳＴ１５で特定された仮想オブジェクトＶＯの位置と、ステップＳＴ１４で特定された使用者Ｕの位置及び実物体ＲＯの位置と、を比較することにより、ステップＳＴ１７の判定を行う。

例えば、仮想オブジェクトＶＯを表示している間に、仮想オブジェクトＶＯまたは使用者Ｕが移動した場合、図６に示すように、使用者Ｕから見て、仮想オブジェクトＶＯが実物体ＲＯの影に隠れることがある。この状態は、使用者Ｕと仮想オブジェクトＶＯとの間に実物体ＲＯが位置する状態である。

仮想オブジェクトＶＯが実物体ＲＯに隠れる位置であると判定した場合（ステップＳＴ１７；ＹＥＳ）、位置特定部１５３及び音声出力制御部１５５は、実物体ＲＯを音が回り込むことを反映した音響処理を実行する（ステップＳＴ１８）。ステップＳＴ１８の音響処理により、使用者Ｕの右耳用の合成音声と左耳用の合成音声とが生成される。右耳用の合成音声は右イヤホン３２から出力される音声であり、左耳用の合成音声は左イヤホン３４から出力される音声である。

仮想オブジェクトＶＯが実物体ＲＯに隠れる位置でないと判定した場合（ステップＳＴ１７；ＮＯ）、位置特定部１５３は、音源位置と距離とを設定する（ステップＳＴ１９）。詳細には、位置特定部１５３は、仮想オブジェクトＶＯの位置に基づき、音源位置と仮想オブジェクトＶＯから使用者Ｕの右耳および左耳までの距離とを設定する（ステップＳＴ１９）。音声出力制御部１５５は、ステップＳＴ１９で設定した音源位置および距離に基づき、基本音声データ１４６に対する音響処理を実行し、使用者Ｕの右耳用の合成音声と左耳用の合成音声とを生成する（ステップＳＴ２０）。

音声出力制御部１５５及び映像出力制御部１５７は、音声の出力および表示部２０における表示の更新を実行する（ステップＳＴ２１）。すなわち、音声出力制御部１５５は、ステップＳＴ１８またはステップＳＴ２０で生成した合成音声を、音声インターフェイス１８１により右イヤホン３２、左イヤホン３４から出力させる。映像出力制御部１５７は、表示部２０により表示する仮想オブジェクトＶＯの画像を更新する。

基本制御部１５１は、映像と音声の出力を終了するか否かを判定する（ステップＳＴ２２）。出力を終了しない場合は（ステップＳＴ２２；ＮＯ）、ステップＳＴ１２戻る。出力を終了する場合、本処理を終了する。

ここで、ステップＳＴ１８における音響処理と、ステップＳＴ１９−ＳＴ２０における音響処理とを詳細に説明する。

図７には、仮想オブジェクトＶＯが実物体ＲＯに隠れていない状態を示す。符号ＶＰＬは、仮想オブジェクトＶＯの基準点ＶＰと、使用者Ｕの頭部の基準位置である頭部基準位置ＳＰとを含む仮想の平面である。頭部基準位置ＳＰは、例えば、前部フレーム２７の中心に位置する。頭部基準位置ＳＰは、ＨＭＤ１００が推定する使用者Ｕの両耳の中心であってもよい。位置特定部１５３は、ステップＳＴ１４で頭部基準位置ＳＰと基準点ＶＰの相対位置または実空間ＲＡにおける位置を特定する。

位置特定部１５３は、基準点ＶＰから使用者Ｕの右耳までの距離Ｌｒ１、及び、左耳までの距離Ｌｌ１を算出する。ここで算出される距離Ｌｒ１、Ｌｌ１は、仮想面ＶＰＬにおける距離である。距離Ｌｒ１、Ｌｌ１を求めるまでの処理は、ステップＳＴ１９に相当する。

音声出力制御部１５５は、ステップＳＴ２０で、基準点ＶＰを音源位置として、基本音声データ１４６に基づく音声が出力されたことに対応する音響処理を行う。例えば、音声出力制御部１５５は、距離Ｌｒ１と距離Ｌｌ１との差に基づき、両耳間強度差、及び、両耳間時間差を算出する。両耳間強度差は、右耳用の合成音声と左耳用の合成音声との音量差である。両耳間時間差は、右耳用の合成音声と左耳用の合成音声との時間差である。音声出力制御部１５５は、基本音声データ１４６に両耳間強度差と両耳間時間差とを反映させる音響処理を実行し、右耳用の合成音声と左耳用の合成音声とを生成する。さらに、音声出力制御部１５５は、ＨＲＴＦに基づき、右耳用の合成音声と左耳用の合成音声とに周波数成分の差を持たせる処理を行ってもよい。周波数成分の差は、図６のＺ軸方向における頭部基準位置ＳＰと基準点ＶＰの相対位置に基づき算出される。これにより、仮想オブジェクトＶＯの位置を反映した臨場感のある音声を出力できる。

図８には、仮想オブジェクトＶＯが実物体ＲＯに隠れる位置である状態を示す。図８の状態は、ステップＳＴ１８の処理が適用される典型的な例である。音声出力制御部１５５は、仮想オブジェクトＶＯを音源位置とする合成音声が、実物体ＲＯの端部を回り込んで使用者Ｕの両耳に到達する音響状態を再現する。図８には、使用者Ｕの右耳の位置を符号ＲＲで示し、使用者Ｕの左耳の位置を符号ＬＬで示す。右耳位置ＲＲは、右イヤホン３２が装着される位置であり、左耳位置ＬＬは左イヤホン３４が装着される位置である。
この図８と、図５のフローチャートを参照して、ステップＳＴ１８の処理を説明する。

位置特定部１５３は、実物体ＲＯにおける第１端部ＲＰ１、及び、第２端部ＲＰ２を特定する（ステップＳＴ３１）。第１端部ＲＰ１及び第２端部ＲＰ２は、図６に示すように、実物体ＲＯの外縁部のうち、頭部基準位置ＳＰに近い左右の端部にある。図６では、第１端部ＲＰ１は、右側の端部Ｅ１上にあり、第２端部ＲＰ２は左側の端部Ｅ２上にある。端部Ｅ１は、実物体ＲＯの外縁において右側の端部であって、頭部基準位置ＳＰに最も近い位置である。端部Ｅ２は、実物体ＲＯの外縁において左側の端部であって、頭部基準位置ＳＰに最も近い位置である。ここで、右および左は使用者Ｕを基準とする。第１端部ＲＰ１は、端部Ｅ１において仮想面ＶＰＬ上の点であり、第２端部ＲＰ２は端部Ｅ２において仮想面ＶＰＬ上の点である。

基準点ＶＰから発した音が使用者Ｕの耳に到達する経路は複数存在する。詳細には、右耳位置ＲＲには、基準点ＶＰから第１端部ＲＰ１を回り込む音声が到達する。この音声を、第１右音声ＳＲ１とする。また、右耳位置ＲＲには、基準点ＶＰから第２端部ＲＰ２を回り込む音声が到達する。この音声を、第２右音声ＳＲ２とする。左耳位置ＬＬには、基準点ＶＰから第１端部ＲＰ１を回り込む音声が到達する。この音声を、第１左音声ＳＬ１とする。また、左耳位置ＬＬには、基準点ＶＰから第２端部ＲＰ２を回り込む音声が到達する。この音声を、第２左音声ＳＬ２とする。

基準点ＶＰから発した音が使用者Ｕの耳に到達する経路は、厳密には、第１端部ＲＰ１及び第２端部ＲＰ２に限らない。本実施形態では、使用者Ｕが左右の耳で聴取した場合の現実感を効果的に高めるため、実物体ＲＯの左右における端部で第１端部ＲＰ１及び第２端部ＲＰ２を特定し、これら第１端部ＲＰ１及び第２端部ＲＰ２の位置を基準として合成音声を調整する。

位置特定部１５３は、第１端部ＲＰ１、第２端部ＲＰ２から右耳位置ＲＲ、左耳位置ＬＬまでの距離を算出する（ステップＳＴ３２）。詳細には、第１端部ＲＰ１から右耳位置ＲＲまでの距離Ｌｒ２１、第２端部ＲＰ２から左耳位置ＬＬまでの距離Ｌｌ２１、第２端部ＲＰ２から右耳位置ＲＲまでの距離Ｌｒ２３、及び、第１端部ＲＰ１から左耳位置ＬＬまでの距離Ｌｌ２３を算出する。

位置特定部１５３は、基準点ＶＰから第１端部ＲＰ１までの距離Ｌｒ２２、及び、基準点ＶＰから第２端部ＲＰ２までの距離Ｌｌ２２を算出する（ステップＳＴ３３）。

位置特定部１５３は、第１右音声ＳＲ１及び第２右音声ＳＲ２の伝搬距離を算出する（ステップＳＴ３４）。第１右音声ＳＲ１の伝搬距離は、距離Ｌｒ２１と距離Ｌｒ２２の和である。第２右音声ＳＲ２の伝搬距離は、距離Ｌｒ２３と距離Ｌｌ２２との和である。

音声出力制御部１５５は、第１右音声ＳＲ１の音源位置を第１端部ＲＰ１に設定し、第２右音声ＳＲ２の音源位置を第２端部ＲＰ２に設定し、ステップＳＴ３４で算出した伝搬距離を設定する（ステップＳＴ３５）。第１右音声ＳＲ１は基準点ＶＰから発せられる音であるが、実物体ＲＯを回り込むため、第１端部ＲＰ１から右耳位置ＲＲに向かって伝搬する。このため、第１端部ＲＰ１を第１右音声ＳＲ１の音源の位置とみなすことにより、現実の物体から発する音声を適切に再現できる。第２右音声ＳＲ２についても同様に、音源位置を第２右音声ＳＲ２とすることが適切である。第１左音声ＳＬ１、第２左音声ＳＬ２についても同様である。

位置特定部１５３は、第１左音声ＳＬ１及び第２左音声ＳＬ２の伝搬距離を算出する（ステップＳＴ３６）。第１左音声ＳＬ１の伝搬距離は、距離Ｌｌ２３と距離Ｌｒ２２の和である。第２左音声ＳＬ２の伝搬距離は、距離Ｌｌ２１と距離Ｌｌ２２との和である。

音声出力制御部１５５は、第１左音声ＳＬ１の音源位置を第１端部ＲＰ１に設定し、第２左音声ＳＬ２の音源位置を第２端部ＲＰ２に設定し、ステップＳＴ３６で算出した伝搬距離を設定する（ステップＳＴ３７）。

音声出力制御部１５５は、ステップＳＴ３５で設定した音源位置及び伝搬距離に基づき、基本音声データ１４６に対する音響処理を実行し、右耳用及び左耳用の合成音声の音声データを生成する（ステップＳＴ３８）。

詳細には、音声出力制御部１５５は、ステップＳＴ３５、ＳＴ３７で設定した音源位置及び伝搬距離に基づいて、両耳間強度差および両耳間時間差を算出し、基本音声データ１４６に音響処理を施して右耳用の合成音声と左耳用の合成音声とを生成する。両耳間強度差および両耳間時間差に基づく処理は、耳に到達する音波の強度の差、および、音波が到達する時間差により音源の音像定位を再現する処理である。ここで、音声出力制御部１５５は、ＨＲＴＦに基づく周波数成分の差を持たせる処理を行ってもよい。これは、音波の伝達や遮蔽による周波数特性の変化により音源の音像定位を再現する処理である。また、音声出力制御部１５５は、基本音声データ１４６に対して位相を調整する処理を行うことにより、音波の伝達や遮蔽による位相の変化により音源の音像定位を再現する音響処理を行ってもよい。また、音声出力制御部１５５は、空間の残響特性を示すインパルス応答に基づいて、基本音声データ１４６に音響処理を施してもよい。

第１端部ＲＰ１を回り込む音声とは、実物体ＲＯに隠れる位置から、第１端部ＲＰ１を経由して、使用者Ｕの耳に到達する音声である。この音声が第１端部ＲＰ１を回り込むことにより、音の屈折、回折、干渉、反射等が発生し、これにより、音のうなり、共鳴、残響を含む音が使用者Ｕに聞こえる。第２端部ＲＰ２を回り込む音声も同様である。音声出力制御部１５５は、第１端部ＲＰ１を回り込む音声を再現する音響処理として、音の屈折、回折、干渉、反射等の少なくともいずれかが発生したことによる音のうなり、共鳴、残響の少なくともいずれかを含む音となるように、音響処理を行う。第２端部ＲＰ２を回り込む音声についても同様である。

以上説明したように、本発明を適用した実施形態に係るＨＭＤ１００は、使用者Ｕの頭部に装着され、実空間に位置する実物体ＲＯを視認可能に、画像を表示する表示部２０と、音声を出力する右イヤホン３２及び左イヤホン３４と、を備える。ＨＭＤ１００は、実物体ＲＯ、及び、仮想オブジェクトＶＯの位置を特定する位置特定部１５３と、仮想オブジェクトＶＯの位置を音源位置とする合成音声を生成し、右イヤホン３２及び左イヤホン３４から出力させる音声出力制御部１５５と、を備える。音声出力制御部１５５は、実物体ＲＯの位置が、仮想オブジェクトＶＯの位置と表示部２０の位置との間である場合に、合成音声を、実物体ＲＯに応じて立体的に変化するように合成音声を調整する。

表示システム１は、使用者Ｕの頭部に装着され、実空間に位置する実物体ＲＯを視認可能に、画像を表示する頭部装着型の表示部２０と、音声を出力する右イヤホン３２及び左イヤホン３４と、を備える。表示システム１は、実物体ＲＯ、及び、仮想オブジェクトＶＯの位置を特定する位置特定部１５３と、仮想オブジェクトＶＯの位置を音源位置とする合成音声を生成し、右イヤホン３２及び左イヤホン３４から出力させる音声出力制御部１５５と、を備える。また、位置特定部１５３により特定された仮想オブジェクトＶＯの位置に基づいて、表示部２０に仮想オブジェクトＶＯの画像を表示させる映像出力制御部１５７を備える。音声出力制御部１５５は、実物体ＲＯの位置が仮想オブジェクトＶＯの位置と表示部２０の位置との間である場合に、合成音声を、実物体ＲＯに応じて立体的に変化するように調整する。

ＨＭＤ１００が実行する音声画像出力方法は、実物体ＲＯ、及び、仮想オブジェクトＶＯの位置を特定する。また、特定した仮想オブジェクトＶＯの位置に基づいて、表示部２０に仮想オブジェクトＶＯの画像を表示させる。また、仮想オブジェクトＶＯの位置を音源位置とする合成音声を生成する。また、実物体ＲＯの位置が仮想オブジェクトＶＯの位置と表示部２０の位置との間である場合に、合成音声を、実物体ＲＯに応じて立体的に変化するように調整する。また、調整した合成音声を右イヤホン３２及び左イヤホン３４から出力させる。

ＨＭＤ１００、ＨＭＤ１００を用いた表示システム１、及び、ＨＭＤ１００が実行する音声画像出力方法によれば、仮想オブジェクトＶＯが発する音を模した音声を、仮想オブジェクトＶＯと実物体ＲＯとの位置関係に応じて調整できる。これにより、仮想オブジェクトＶＯが実際に出力しているかのような、現実感に富む音声を出力することができる。従って、表示部２０によって表示される仮想オブジェクトＶＯの画像と、調整された音声とにより、使用者Ｕに、現実感に富む拡張現実を体験させることができる。

音声出力制御部１５５は、合成音声が実物体ＲＯを回り込んで聞こえる音声となるように、合成音声を調整する。これにより、音声の回り込みを再現することができ、より現実感に富む音声を出力できる。

ＨＭＤ１００は、基本音声データ１４６を取得する基本音声データ取得部１５４を備え、音声出力制御部１５５は、基本音声データ１４６の音源位置を仮想オブジェクトＶＯの位置とする処理により、合成音声を生成する。この構成により、仮想オブジェクトＶＯが出力する状態を模した音声を、基本音声データ１４６を利用して速やかに生成できる。

ＨＭＤ１００は、音声出力部として右イヤホン３２と左イヤホン３４とを有し、合成音声は、第１音声としての右耳用の合成音声と、第２音声としての左耳用の合成音声とを含む。音声出力制御部１５５は、第１音声を右イヤホン３２から出力させ、第２音声を左イヤホン３４から出力させる。位置特定部１５３は、実物体ＲＯの外縁において第１端部ＲＰ１と第２端部ＲＰ２の位置を特定する。音声出力制御部１５５は、第１端部ＲＰ１、第２端部ＲＰ２、右イヤホン３２、及び、左イヤホン３４の位置に基づいて、右イヤホン３２から出力される合成音声と左イヤホン３４から出力される合成音声との間で、時間差および強度差を調整する。これにより、仮想オブジェクトＶＯが発した音声が実物体ＲＯを回り込む状態を、より正確に再現できる。従って、使用者Ｕが、実物体ＲＯに隠れる位置から回り込みを経て聞こえる音声を聞かせることができる。

ＨＭＤ１００は、外側カメラ６１を備える。位置特定部１５３は、外側カメラ６１の撮像画像から実物体ＲＯを検出し、実物体ＲＯの位置を特定する処理と、第１端部ＲＰ１の位置および第２端部ＲＰ２の位置を特定する処理とを実行する。これにより、実物体ＲＯの位置の特定と、音が回り込む位置の特定とを、撮像画像に基づき速やかに行うことができる。

位置特定部１５３は、外側カメラ６１の撮像画像から、実空間に配置されたマーカーＭを検出し、マーカーＭの位置を基準として仮想オブジェクトＶＯの位置を特定する。この構成によれば、マーカーＭを利用して、仮想オブジェクトＶＯの位置の特定を速やかに行うことができる。

音声出力制御部１５５は、位置特定部１５３により特定された仮想オブジェクトＶＯの位置から使用者Ｕまでの距離に応じて合成音声を調整する。これにより、仮想オブジェクトＶＯの位置から音声が使用者Ｕの耳に伝搬する状態を高精度で再現できる。従って、使用者Ｕに、より現実感に富む音声を聞かせることができる。

［５．他の実施形態］
本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。

例えば、映像出力制御部１５７は、音声出力制御部１５５が実行する音響処理に対応して、表示部２０により表示される映像に演出を加えてもよい。
図９は、ＨＭＤ１００の動作の例を示す図であり、音響処理に対応する表示演出を実行する例を示す。図９には、ドローンを模した仮想オブジェクトＶＯの画像が、基準点ＶＰに合わせて表示される。映像出力制御部１５７は、基準点ＶＰが実物体ＲＯに隠れる状態となる際に、位置特定部１５３が特定する実物体ＲＯの位置と、基準点ＶＰの位置と、使用者Ｕの位置とに合わせて、演出オブジェクトＰＯを表示する。演出オブジェクトＰＯは、音声出力制御部１５５が右イヤホン３２及び左イヤホン３４から出力させる音声を文字により示す画像であり、音響処理の様子を表現するように、文字サイズに変化を持たせている。この例では、音声出力制御部１５５が音響処理を施すとともに、音響処理に合わせて表示を演出することで、より臨場感に富む拡張現実体験を実現できる。

また、仮想オブジェクトＶＯに複数の音源位置が設定されてもよい。例えば、図９に示す仮想オブジェクトＶＯにおいて、４個のプロペラの各々の位置を音源位置としてもよい。この場合、位置特定部１５３は、各々の音源位置を特定し、各々の音源位置と実物体ＲＯとの位置を特定してもよい。音声出力制御部１５５は、複数の音源位置の各々から出力される音声を再現するため、個々の音源位置に対する音響処理を実行し、これらの音声を合成する処理を行ってもよい。

また、上記実施形態で音声出力制御部１５５が実行するＨＲＴＦに基づく周波数成分の音響処理は、空間特性のモデルを用いた近似的な処理であってよい。また、位置特定部１５３により実空間ＲＡの種類や状態を判別し、判別結果に応じて、音響処理を変化させてもよい。また、位置特定部１５３によって実物体ＲＯの形状を判別し、音声出力制御部１５５が実物体ＲＯの形状に合わせた処理を行ってもよい。

また、映像出力制御部１５７は、複数の仮想オブジェクトＶＯを表示させてもよい。この場合、位置特定部１５３は、複数の仮想オブジェクトＶＯの位置と、実物体ＲＯの位置と、使用者Ｕの位置とを特定してもよい。音声出力制御部１５５は、複数の仮想オブジェクトＶＯの相互の相対位置に基づいて、いずれかの仮想オブジェクトＶＯが発する合成音声に対し音響処理を施してもよい。

また、制御部１５０は、６軸センサー２３５及び／または磁気センサー２３７の検出結果に基づいて、表示部２０を装着した使用者Ｕの頭部の姿勢を特定してもよい。すなわち、制御部１５０は、姿勢特定部を有してもよい。この場合、音声出力制御部１５５は、姿勢特定部により特定された使用者Ｕの頭部の姿勢に応じて、合成音声を調整してもよい。

また、制御部１５０は、６軸センサー２３５及び／または磁気センサー２３７の検出結果、或いは、内側カメラ６８の撮像画像に基づいて、使用者Ｕの視線方向を特定してもよい。すなわち、制御部１５０は、視線特定部を備えてもよい。音声出力制御部１５５は、視線特定部により特定された使用者Ｕの視線方向に応じて、合成音声を調整してもよい。

表示部２０の表示画像及び／または、右イヤホン３２及び左イヤホン３４から出力する音声を処理する装置は、コントローラー１０に限定されない。ＨＭＤ１００が、コントローラー１０に替えて、外部の制御装置を利用してもよい。制御装置は、例えば、スマートフォン、ＰＤＡ端末、タブレット型パーソナルコンピューターでもよい。

また、上記実施形態では、コントローラー１０が表示部２０と有線接続される構成を例示したが、これに限定されず、コントローラー１０に対して表示部２０が無線接続される構成であってもよい。また、コントローラー１０を複数の装置により実現してもよい。また、コントローラー１０に代えて、使用者の身体、着衣、或いは、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。

また、上記実施形態では、表示部２０とコントローラー１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。これに限定されず、コントローラー１０と表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。

また、表示部２０は使用者Ｕの頭部に直接装着されるものに限らない。例えば、表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよい。

また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。これに限定されず、右導光板２６及び左導光板２８の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合には、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、上記各実施形態では、表示部２０はＯＬＥＤユニット２２１、２４１により画像光を生成する構成として説明したが、本発明はこれに限定されない。例えば、右表示ユニット２２及び左表示ユニット２４は、透過型液晶パネルを用いてもよいし、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよい。また、ＬＣＤパネルに代えてＬＣＯＳ技術を適用した構成を用いてもよい。ＬＣＯＳは、Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎの略である。

また、表示部２０は、ＬＥＤアレイ、レーザーアレイ、量子ドット発光型素子等に代表される自発光型の表示素子を利用した構成であってもよい。また、表示部２０は、例えば、レーザー光源とレーザースキャナーとを組み合わせたレーザースキャン方式のディスプレイであってもよい。

また、図２、図３等に示した機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。

また、図４及び図５に示すフローチャートの処理単位は、制御部１５０による処理を理解容易にするために、主な処理内容に応じて分割したものである。各フローチャートの処理単位の分割の仕方や名称によって実施形態が制限されることはない。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。

また、メインプロセッサー１２５が実行するプログラムは、外部の装置やデバイスに記憶され、通信部１１７等を介して取得されてもよい。また、コンピューターで読み取り可能に記録した記録媒体に記録しておくことも可能である。記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、各種の光ディスク、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、記録媒体は、画像表示装置が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。

１…表示システム（音声画像出力システム）、１０…コントローラー、２０…表示部、３０…ヘッドセット、３２…右イヤホン（第１音声出力部）、３４…左イヤホン（第２音声出力部）、４６…オーディオコネクター、６１…外側カメラ（撮像部）、６３…マイク、６８…内側カメラ、１００…ＨＭＤ（頭部装着型表示装置）、１１１…６軸センサー、１１３…磁気センサー、１１７…通信部、１１８…メモリー、１２１…不揮発性記憶部、１２５…メインプロセッサー、１４０…記憶部、１４１…制御プログラム、１４２…設定データ、１４３…基本映像データ、１４４…位置履歴データ、１４５…音響データ、１４６…基本音声データ、１５０…制御部、１５１…基本制御部、１５２…撮像制御部、１５３…位置特定部、１５４…基本音声データ取得部、１５５…音声出力制御部、１５６…基本映像データ取得部、１５７…映像出力制御部（表示制御部）、１５８…センサー制御部、１８０…音声処理部、１８１…音声インターフェイス、１８３…右角度センサー、１８４…左角度センサー、２３５…６軸センサー、２３７…磁気センサー、Ｍ…マーカー（指標物）、ＲＯ…実物体、ＲＰ１…第１端部、ＲＰ２…第２端部、ＳＬ１…第１左音声、ＳＬ２…第２左音声、ＳＰ…頭部基準位置、ＳＲ１…第１右音声、ＳＲ２…第２右音声、Ｕ…使用者、ＶＯ…仮想オブジェクト。

Claims (9)

1. 使用者の頭部に装着され、実空間に位置する実物体を視認可能に、画像を表示する表示部と、
   音声を出力する音声出力部と、
   前記実物体、及び、仮想オブジェクトの位置を特定する位置特定部と、
   前記仮想オブジェクトの位置を音源位置とする合成音声を生成し、音声出力部から出力させる音声出力制御部と、を備え、
   前記音声出力制御部は、前記実物体の位置が、前記仮想オブジェクトの位置と前記表示部の位置との間である場合に、前記合成音声を、前記実物体に応じて立体的に変化するように調整する、頭部装着型表示装置。
2. 前記音声出力制御部は、前記合成音声が前記実物体を回り込んで聞こえる音声となるように前記合成音声を調整する、請求項１記載の頭部装着型表示装置。
3. 基本音声データを取得する基本音声データ取得部を備え、
   前記音声出力制御部は、前記基本音声データの音源位置を前記仮想オブジェクトの位置とする処理により、前記合成音声を生成する、請求項１または２記載の頭部装着型表示装置。
4. 前記音声出力部として第１音声出力部と第２音声出力部とを有し、
   前記合成音声は、第１音声と第２音声とを含み、
   前記音声出力制御部は、前記第１音声を前記第１音声出力部から出力させ、前記第２音声を前記第２音声出力部から出力させ、
   前記位置特定部は、前記実物体の外縁において第１端部と第２端部の位置を特定し、
   前記音声出力制御部は、前記第１端部の位置、前記第２端部の位置、前記第１音声出力部の位置、及び、前記第２音声出力部の位置に基づいて、前記第１音声出力部から出力される前記合成音声と前記第２音声出力部から出力される前記合成音声との間で、時間差および強度差を調整する、請求項１から３のいずれか１項に記載の頭部装着型表示装置。
5. 撮像部を備え、
   前記位置特定部は、前記撮像部の撮像画像から前記実物体を検出し、前記実物体の位置を特定する処理と、前記第１端部の位置および前記第２端部の位置を特定する処理とを実行する、請求項４記載の頭部装着型表示装置。
6. 前記位置特定部は、前記撮像部の撮像画像から、実空間に配置された指標物を検出し、前記指標物の位置を基準として前記仮想オブジェクトの位置を特定する、請求項５記載の頭部装着型表示装置。
7. 前記音声出力制御部は、前記位置特定部により特定された前記仮想オブジェクトの位置から前記使用者までの距離に応じて前記合成音声を調整する、請求項１から６のいずれか１項に記載の頭部装着型表示装置。
8. 使用者の頭部に装着され、実空間に位置する実物体を視認可能に、画像を表示する頭部装着型の表示部と、
   音声を出力する音声出力部と、
   前記実物体、及び、仮想オブジェクトの位置を特定する位置特定部と、
   前記仮想オブジェクトの位置を音源位置とする合成音声を生成し、音声出力部から出力させる音声出力制御部と、
   前記位置特定部により特定された前記仮想オブジェクトの位置に基づいて、前記表示部に前記仮想オブジェクトの画像を表示させる表示制御部と、を備え、
   前記音声出力制御部は、前記実物体の位置が前記仮想オブジェクトの位置と前記表示部の位置との間である場合に、前記合成音声を、前記実物体に応じて立体的に変化するように調整する、音声画像出力システム。
9. 使用者の頭部に装着され、実空間に位置する実物体を視認可能に、画像を表示する頭部装着型の表示部と、音声を出力する音声出力部と、を利用した音声画像出力方法であって、
   前記実物体、及び、仮想オブジェクトの位置を特定し、
   特定した前記仮想オブジェクトの位置に基づいて、前記表示部に前記仮想オブジェクトの画像を表示させ、
   前記仮想オブジェクトの位置を音源位置とする合成音声を生成し、
   前記実物体の位置が前記仮想オブジェクトの位置と前記表示部の位置との間である場合に、前記合成音声を、前記実物体に応じて立体的に変化するように調整し、
   調整した前記合成音声を音声出力部から出力させる、音声画像出力方法。
   

Images