JP2020025275A - 映像音響再生装置およびその方法 - Google Patents

Abstract

【課題】ＶＲとＡＲの両方のコンテンツを視聴することが可能な映像音響再生装置を提供する。【解決手段】映像音響再生装置は、仮想現実コンテンツと拡張現実コンテンツとを再生可能な再生回路部と、仮想現実コンテンツおよび拡張現実コンテンツのいずれかを選択して再生回路部に再生させる制御回路部と、仮想現実コンテンツの画像を表示する第一のディスプレイ部と、拡張現実コンテンツの画像を表示する第二のディスプレイ部と、第一のディスプレイ部と第二のディスプレイ部とを着脱交換することが可能なヘッドマウント機構と、を備える。【選択図】図１

Description

本発明は、映像音響再生装置に関し、特に、ヘッドマウントディスプレイを利用した映像音響再生装置に関する。

仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、以下「ＶＲ」と称する。）とは、３６０度映像を表示するヘッドマウントディスプレイ（ＨＭＤ）と呼ばれるゴーグルタイプのディスプレイと接眼レンズおよび３Ｄ音響技術によって、ゲームや旅行、スポーツや映画などのコンテンツをあたかも現実のように再生させる技術であって、従来の平面的なテレビ映像に比べて飛躍的な没入感を得ることができる。

また拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、以下「ＡＲ」と称する。）は、現実世界と仮想現実を組み合わせた技術であって、例えば携帯ゲームソフト等としてアウトドアでも使用可能なコンテンツであることから、ＶＲよりも大きな市場になると期待されている。ＡＲは複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）とも呼ばれており、ヘッドマウントディスプレイ筐体部に環境認識用カメラと空間認識用カメラを配置して、カメラで撮影された現実の映像とコンピュータグラフィックによって作り出された映像とをリアルタイムで合成させて、マイクロディスプレイで再度ディスプレイ上に表示させるホログラフィック光学技術も実用化されている。

２０１４年７月３１日に公開された国際公開第２０１４／１１５３９３号「画像表示装置及び画像表示方法、並びに画像表示システム」では、画像表示装置がＶＲに用いられる遮光型とＡＲに用いられる透過型のＨＭＤの概要を理解することができる。

ＶＲの詳細の一例は、２０１６年１２月１５日に公開された米国特許出願公開第２０１６／０３６１６５８号「Ｅｘｐａｎｄｅｄ Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ ｒｅ−ｒｅｎｄｅｒｉｎｇ ｆｏｒ ＶＲ Ｓｐｅｃｔａｔｉｎｇ」でその全体を参照することができる。この発明では、ＨＭＤを装着したユーザがビデオゲームを実行する際に、動作によってビデオと音声の遅延（ｌａｔｅｎｃｙ）が発生しないように、ユーザの動作をカメラで検出し、新たにネットワーク上のビデオサーバを用いて、より広視野（ＦＯＶ）で映像を生成提供している。

またＡＲの詳細の一例は、２０１２年１２月１３日に出願された米国特許出願公開第２０１４／０１６８２６１号「Ｄｉｒｅｃｔ ｉｎｔｅｒａｃｔｉｏｎ ｓｙｓｔｅｍ ｍｉｘｅｄ ｒｅａｌｉｔｙ ｅｎｖｉｒｏｎｍｅｎｔｓ」でその全体を参照することができる。この発明によれば、複合現実環境において仮想オブジェクトと対話するためのシステムの構成は、ユーザの視野をキャプチャするカメラを含むヘッドマウントディスプレイデバイス（ＨＭＤ）によって生成された３次元シーンマップを追跡し、モバイル処理ユニットによってユーザの視野（ＦＯＶ）内の現実世界に仮想オブジェクトを表示することができる。ＨＭＤに透明度があることで、ユーザの視野内に仮想画像を投影して、仮想画像が現実の物体の横に表示されるようにする機能を提供する。またユーザがどこを探しているかを自動的に追跡し、ユーザのＦＯＶに仮想イメージを挿入する場所をシステムが判断できるようにする。システムが虚像を投影する場所を知ると、表示要素を用いて画像が投影される。

国際公開第２０１４／１１５３９３号 米国特許出願公開第２０１６／０３６１６５８号 米国特許出願公開第２０１４／０１６８２６１号

しかしながら、ＶＲは３６０度映像を楽しむために人間の視界がディスプレイで遮断されることから、安全面からも室内での使用が主体となる。一方、ＡＲは透過ディスプレイが採用され、安全ではあるが、視野角が限られるため３６０度のダイナミックな映像を見ることには不向きである。理由として、ＶＲはＦＯＶ１００度以上の高い没入感を求められるのに対し、ＡＲは現実世界に仮想現実を組み合わせるために、ＦＯＶ約５０度と視野は狭くても文字の認識等ＰＣ用途に使われることが多いために高い解像度が求められる。解像度の評価基準として１度当りのピクセル数が用いられるが、ＶＲの場合は、視野角が約１１０度なので、水平方向の解像度は２Ｋ有機ＥＬを使用する場合、約２０ピクセル／度（２１６０ピクセル／１１０度＝１９．６）となり、ＡＲまたはＭＲの場合は視野角が約５０度なので、水平方向の解像度は２Ｋの場合は約４３ピクセル／度（２１６０ピクセル／５０度＝４３．２）となり、ＡＲの解像度が高いことが分かる。つまり、用途が異なるために、使用するディスプレイの光学仕様や構成がＶＲとＡＲで異なることになる。

現段階では、より現実の世界に近づけるためには映像の解像度を向上させることが必要であるが、高解像度有機ＥＬディスプレイ（例えば８Ｋ，１２Ｋパネル）は量産性がなく、製造コストも高い。また、ユーザの頭の動きを検出して、高解像度パネルに映像を再生する場合は、映像の時間遅れ（Ｌａｔｅｎｃｙ）が発生するとＶＲ酔いと呼ばれる現象を引き起こし、長時間の視聴の妨げとなる。このため、９０Ｈｚ以上の高フレームレートを実現するためにパフォーマンスの高い信号処理能力が求められるが、信号処理半導体の負担が大きく、消費電力も増加するという、携帯型端末にとって大きな課題が発生する。

またＶＲとＡＲは再生するコンテンツも異なることから、視野角優先のＶＲ専用ヘッドマウントディスプレイ機と、解像度優先のＡＲ専用ヘッドマウントディスプレイ機を２台購入するのは、ユーザにとって負担が大きい。またＶＲとＡＲ技術を兼用した複合型ディスプレイも研究されているが、まだ実用化には至っていない。このような複合型ディスプレイは、仮に実現されたとしても、重量が重くなる可能性が高く、長時間の着用による疲労も考えられる。

本発明は、上記の問題を鑑み、ＶＲとＡＲの両方のコンテンツを視聴することが可能な映像音響再生装置を提供することを目的とする。

上記の目的を達成するために、本発明の映像音響再生装置は、
仮想現実コンテンツと拡張現実コンテンツとを再生可能な再生回路部と、
前記仮想現実コンテンツおよび前記拡張現実コンテンツのいずれかを選択して前記再生回路部に再生させる制御回路部と、
仮想現実コンテンツの画像を表示する第一のディスプレイ部と、
拡張現実コンテンツの画像を表示する第二のディスプレイ部と、
前記第一のディスプレイ部と前記第二のディスプレイ部とを着脱交換することが可能なヘッドマウント機構とを備えている。

本発明の構成によれば、ＶＲとＡＲの両方のコンテンツを視聴することが可能な映像音響再生装置を提供することができる。

第一の実施形態にかかるヘッドマウントディスプレイ（ＨＭＤ）の概念図 第一の実施形態のＶＲコンテンツを再生する場合のＨＭＤの外観構成の側面図 一実施形態のＡＲコンテンツを再生する場合のＨＭＤの外観構成の側面図 第一の実施形態のＨＭＤの機能的な構成要素を示すブロック図 ＨＭＤ装置に対してＡＲユニットを着脱する機構の一例を示す模式図 第二の実施形態のＨＭＤ装置の側面図 第二の実施形態のブロック図 イヤホンユニットの位置を検出する際の概念図 イヤホンに内蔵されたビーコン端末と信号検出部との間の距離と、電波強度ＲＳＳＩとの関係を表すグラフ ディスプレイにビーコンの信号源との距離をテキストで表示した例を示す模式図 ディスプレイにビーコンの信号源の方向をグラフィックで表示した例を示す模式図 第三の実施形態のＨＭＤの側面図 第三の実施形態のブロック図

本発明の第１の構成に係る映像音響再生装置は、
仮想現実コンテンツと拡張現実コンテンツとを再生可能な再生回路部と、
前記仮想現実コンテンツおよび前記拡張現実コンテンツのいずれかを選択して前記再生回路部に再生させる制御回路部と、
仮想現実コンテンツの画像を表示する第一のディスプレイ部と、
拡張現実コンテンツの画像を表示する第二のディスプレイ部と、
前記第一のディスプレイ部と前記第二のディスプレイ部とを着脱交換することが可能なヘッドマウント機構とを備えている。

この構成によれば、仮想現実コンテンツの画像を表示する第一のディスプレイ部と、拡張現実コンテンツの画像を表示する第二のディスプレイ部とを、再生しようとするコンテンツに応じて交換することにより、一つの装置でＶＲとＡＲの両方のコンテンツを視聴することが可能となる。

第２の構成に係る映像音響再生装置は、第１の構成においてさらに、
前記第一のディスプレイ部と前記第二のディスプレイ部とのどちらが前記ヘッドマウント機構に装着されたかを検出する検出手段をさらに備え、
前記第一のディスプレイ部が装着されたことを検出した場合は、前記制御回路部が、前記再生回路部で再生可能な仮想現実コンテンツの選択画面を前記第一のディスプレイ部に表示させ、
前記第二のディスプレイ部が装着されたことを検出した場合は、前記制御回路部が、前記再生回路部で再生可能な拡張現実コンテンツの選択画面を前記第二のディスプレイ部に表示させる。

この構成によれば、検出手段が、前記第一のディスプレイ部と前記第二のディスプレイ部とのどちらが前記ヘッドマウント機構に装着されたかを自動的に検出し、装着されたディスプレイ部に応じて、ＶＲコンテンツとＡＲコンテンツを選択する画面を表示することができる。これにより、ＶＲコンテンツとＡＲコンテンツとのどちらを再生するかをユーザが選択する手間が省かれる。

第３の構成に係る映像音響再生装置は、第１または第２の構成においてさらに、
左右少なくとも一方の耳介近傍または外耳道に配備することが可能な音響再生装置をさらに備え、
前記制御回路部が、前記音響再生装置に設けられている。

この構成によれば、制御回路部が音響再生装置に設けられていることにより、ヘッドマウント機構を軽量化することができる。これにより、長期間の視聴でも疲労感が少ない映像音響再生装置を提供できる。

第４の構成に係る映像音響再生装置は、第３の構成においてさらに、
前記音響再生装置が、前記制御回路部に対する操作指示を入力するための入力デバイスを備えている。

この構成によれば、左右少なくとも一方の耳介近傍または外耳道に配備することが可能な音響再生装置に入力デバイスが設けられることにより、例えば、別体のリモートコントローラを手に持つ等して操作する場合に比較して、両手の自由度が向上する。

第５の構成に係る映像音響再生装置は、第３または第４の構成においてさらに、
前記音響再生装置が、当該音響再生装置の現在位置を表す位置信号を発信する位置発信部をさらに備え、
前記映像音響再生装置が、前記位置発信部から発信された位置信号を検出する位置検出部をさらに備え、
前記制御回路部が、前記位置検出部で検出された位置信号に基づいて、前記音響再生装置の位置を、前記第一のディスプレイ部または第二のディスプレイ部に表示させる。

この構成によれば、音響再生装置を紛失した場合に、音響再生装置から発信される位置信号に基づいて、音響再生装置を検知し、その位置をディスプレイ部に表示させることができる。これにより、音響再生装置を紛失しても、容易に探し出すことができる。

第６の構成に係る映像音響再生装置は、第５の構成において、
前記位置発信部が、前記位置信号としてビーコン信号を発信する構成である。

第７の構成に係る映像音響再生装置は、第６の構成においてさらに、
前記位置検出部が、前記映像音響再生装置の左右両側に設けられた構成である。

第８の構成に係る映像音響再生装置は、第７の構成においてさらに、
前記映像音響再生装置の左側に設けられた位置検出部で検出された前記音響再生装置までの距離と、前記映像音響再生装置の右側に設けられた位置検出部で検出された前記音響再生装置までの距離との差を利用して、前記制御回路部が前記音響再生装置の位置を検出する。

この構成によれば、前記映像音響再生装置の左側で検出された前記音響再生装置までの距離と、前記映像音響再生装置の右側で検出された前記音響再生装置までの距離との差に基づいて、音響再生装置のある方向とそこまでの距離を求めることができる。

第９の構成に係る映像音響再生装置は、第６〜第８のいずれかの構成において、
前記制御回路部が、前記第一のディスプレイ部または第二のディスプレイ部に、前記位置信号の発信源である前記位置発信部までの距離をテキストで表示させる。

このように、音響再生装置の位置をテキストで表示させることにより、音響再生装置を容易に探し出すことができる。

第１０の構成に係る映像音響再生装置は、第６〜第９のいずれかの構成において、
前記制御回路部が、前記第一のディスプレイ部または第二のディスプレイ部に、前記位置信号の発信源である前記位置発信部の方向をグラフィックで表示させる。

このように、音響再生装置の位置をテキストで表示させることにより、音響再生装置を容易に探し出すことができる。

第１１の構成に係る映像音響再生装置は、第１〜第１０のいずれかの構成において、
外部ノイズ信号を検出可能な第一のマイクロフォンと、外部音声信号を検出可能な第二のマイクロフォンとをさらに備えている。

さらに、第１２の構成に係る映像音響再生装置は、第１１の構成においてさらに、
前記再生回路部が仮想現実コンテンツを再生しているときは、前記第一のマイクロフォンが優先的に動作し、
前記再生回路部が拡張現実コンテンツを再生しているときは、前記第二のマイクロフォンが優先的に動作する。

この構成によれば、ＶＲコンテンツを再生しているときは、第一のマイクロフォンで外部ノイズ信号を検出し、例えばノイズキャンセル処理を行うことにより、ＶＲコンテンツに没頭しやすい状況を作ることができる。また、ＡＲコンテンツを再生しているときは、第二のマイクロフォンで外部音声信号を検出することにより、現実世界の音響を取り込むことができる。

本発明の第１３の構成に係る音響再生装置は、
仮想現実コンテンツと拡張現実コンテンツとを再生可能な再生回路部を備えた映像音響再生装置と共に用いられ、左右少なくとも一方の耳介近傍または外耳道に配備することが可能な音響再生装置であって、
前記仮想現実コンテンツおよび前記拡張現実コンテンツのいずれかを選択して前記再生回路部に再生させる制御回路部を備えている。

この構成では、左右少なくとも一方の耳介近傍または外耳道に配備することが可能な音響再生装置に、再生回路部が設けられている。これにより、音響再生装置で映像音響再生装置を制御することができる。

第１４の構成に係る音響再生装置は、第１３の構成において、
前記映像音響再生装置の操作に用いられる制御回路およびセンサを備えている。

この構成によれば、制御回路部およびセンサが音響再生装置に設けられていることにより、ヘッドマウント機構を軽量化することができる。これにより、長期間の視聴でも疲労感が少ない映像音響再生装置を提供できる。

以下、本発明のより具体的な実施形態について、図面を参照しながら説明する。

［第一の実施形態］
図１は、本発明の一実施形態にかかるヘッドマウントディスプレイ（ＨＭＤ）の概念図であり、ＡＲユニットとＶＲユニットが交換可能であることを表す。図２は、第一の実施形態のＶＲユニット装着時のＨＭＤ装置の側面図である。図３は、第一の実施形態のＡＲ
ユニット装着時のＨＭＤ装置の側面図である。図４は、第一の実施形態のＨＭＤの機能的な構成要素を示すブロック図である。

図１は、本実施形態のＨＭＤの概念を示す。ＶＲユニット１１とＡＲユニット１２は、交換可能であり、ＡＲ・ＶＲ共通ユニット１０とユニット係合部１４ａ，１４ｂによって接合されている。ＶＲユニット１１とＡＲユニット１２は、主に光学モジュールで構成されており、ＡＲ・ＶＲ共通ユニット１０には、信号処理回路、バッテリ、姿勢検出センサ等が含まれる。ユニット係合部１４ａ，１４ｂは、コネクタによって電気的に結合される。

ユーザは、映画、スポーツ、コンサート、対戦型ゲーム等の没入感のあるコンテンツ（ＶＲコンテンツ）を視聴する際は、ＶＲユニット１１を装着する。また、仮想映像を立体表示しての製品開発や社内教育等の複数の人との共同作業を行うためのＡＲコンテンツ、あるいは、ナビゲーションタイプのゲーム等のＡＲコンテンツを視聴する際は、ＡＲユニット１２を交換装着する。ＶＲユニット１１およびＡＲユニット１２は、軽量に構成されているので、外出先でもキットとして持ち運ぶことができる。

図１の構成例では、ＡＲ用の画像キャプチャ用カメラ１０７ａはＡＲユニット１２に設けられ、ＶＲ用の画像キャプチャ用カメラ１０７ｂは、ＶＲユニット１１に設けられている。これは、映像の認識機能やカメラの数が、ＡＲとＶＲで異なるためである。しかし、画像キャプチャ用カメラを、ＶＲユニット１１およびＡＲユニット１２ではなく、ＡＲ・ＶＲ共通ユニット１０に設けるようにしても何ら問題はない。

ＡＲユニット１２には、深度カメラ部１０８が設けられている。深度カメラ部１０８は、深度情報を取り込むことが可能なＣＣＤセンサまたはＣＭＯＳセンサ等によって形成される。深度カメラ部１０８を備えることにより、現実の環境に虚像を立体的に配置することが可能となるとともに、ユーザの３次元空間上のジェスチャーも認識することができるため、コントローラの機能も持つことができる。

図２は、ＶＲユニット１１およびＡＲユニット１２をＡＲ・ＶＲ共通ユニット１０に対して着脱するための構成例を示す。なお、図２では、ＡＲユニット１２を取り付ける様子を例示しているが、ＶＲユニット１１も同様に構成することができる。

ＡＲユニット１２側のユニット係合部１４ａは、係合ヒンジ部１８を有する右側係合部１４ａＲと、コネクタ部１６ａを有する左側係合部１４ａＬとを備えている。ＡＲ・ＶＲ共通ユニット１０側のユニット係合部１４ｂは、ＡＲユニット１２の右側係合部１４ａＲと係合する右側係合部１４ｂＲと、ＡＲユニット１２の左側係合部１４ａＬと係合する左側係合部１４ｂＬとを備えている。右側係合部１４ｂＲは、係合ヒンジ部１８を受け入れるガイド空間１９を有する。左側係合部１４ｂＬは、コネクタ部１６ａと接続するコネクタ部１６ｂと、左側係合部１４ａＬを磁力で吸着するマグネット吸着部１５とを備えている。この構成により、ガイド空間１９に係合ヒンジ部１８を挿入し、左側係合部１４ａＬを左側係合部１４ｂＬに係合させると、マグネット吸着部１５によって係合状態が固定されるようになっている。なお、この例においては、コネクタ部およびマグネット吸着部を左側係合部のみに設けているが、コネクタ部およびマグネット吸着部を右側係合部にも設けた構成としても良い。また、ＶＲユニット１１およびＡＲユニット１２とＡＲ・ＶＲ共通ユニット１０との係合方法は、図２に示した例に限定されない。他にも、プラスチックの弾性力を利用して固定する方法や、ネジ等で両者を締結する方法等も考えられる。

図３は、ＶＲコンテンツを再生する場合のヘッドマウントディスプレイの外観構成の側面を示している。なお、図３は左側面のみを表示しているが、右側面も同様の構成を有し
ている。ヘッドマウントディスプレイは、ユーザが頭部に装着して用いられる。ＶＲユニット１１は、左右両方の眼にディスプレイ外部からの光が入らないように構成されているため、広い視野角を持ったディスプレイ部によってユーザの没入感を向上させる。ユーザは、現実の風景を直接見ることはできないが、カメラによってキャプチャされた外部の映像を間接的に見ることは可能である。

ＡＲ・ＶＲ共通ユニット１０には、信号処理等の電子回路が搭載された回路基板５、ＨＭＤ姿勢検出ユニット１０２、映像用バッテリ１０６を備えている。ＡＲ・ＶＲ共通ユニット１０は、ユーザの頭部に固定するために、眼鏡のようなフレーム構造によって両耳近傍で支持されることで安定させることができる。回路基板５には、図５にて後述する映像信号処理部、外部との通信部、ＡＲ・ＶＲ切替部、メモリ等が含まれる。ＶＲ映像コンテンツは、無線ＬＡＮ（ＩＥＥＥ ８０２．１１ａ／ｂ／ｇ／ｎ／ａｃ）やＢｌｕｅｔｏｏｔｈ（登録商標）４．０等によってインターネット等から映像信号や音声信号を受け取り、半導体メモリやｍｉｃｒｏＳＤカード等に保存することも可能である。ＨＭＤ姿勢検出ユニット１０２は、例えば、６軸検出センサ（３軸ジャイロ、３軸加速度）、３軸地磁気センサ等により、ユーザの頭部を中心とした位置状態を常にモニタリングする。

ＶＲユニット１１は、ＶＲディスプレイ部１４１、レンズ部１４２、画像キャプチャ用カメラ部１０７を備えている。ＶＲディスプレイ部１４１は、有機ＥＬまたは液晶ディスプレイで構成され、より現実の世界に近づけるためには、映像の解像度を４Ｋ以上に向上させることが好ましい。ＶＲディスプレイ部１４１は、眼鏡のレンズのように、ディスプレイ装置が左右それぞれに分離された構造、例えば３．５インチの有機ＥＬが２面で構成される場合や、スマートフォンのような５．５インチの有機ＥＬを使用した左右一体型の構造も可能である。

イヤホンユニット１３は、スピーカ部１２０、マイクロフォンＡ１２１、マイクロフォンＢ１２２、音声用バッテリ１２３、コントローラ用タッチパネル部１２４を備えている。図３では片側のイヤホンユニット１３のみを図示しているが、左右両方のイヤホンユニット１３が同機能を備えるようにしても良い。スピーカ部１２０は耳介に挿入することが可能であり、ワイヤレスでＡＲ・ＶＲ共通ユニット１０と接続されている。マイクロフォンＡ１２１はノイズキャンセル用であって、外部のノイズを収音して電気的に位相差信号を発生させることによって、外部の音を効果的に遮音することにより没入感を高める効果がある。そのため、ワイヤレス送信機能およびノイズキャンセル機能を具備する回路を動作させる音声用バッテリ１２３が、イヤホンユニット１３に内蔵される。マイクロフォンＢ１２２は、音声認識機能用として、ユーザの音声での指示命令、例えば映像の再生開始、中止、早送りを収音する。これにより、リモコンを使用しなくても操作が可能である。ＶＲコンテンツ１１を再生する際には、外部ノイズを検出して、ノイズキャンセリング機能を働かせることも可能である。

また、コントローラ用タッチパネル部１２４は、ＧＵＩ（グラフィックユーザインターフェース）としてＶＲディスプレイ部１４１のＶＲ再生画面に浮かび上がるグラフィックレイヤのカーソルやコマンドを実行するために、このタッチパネル上を指でタッチ操作することによって、簡単に操作することができる。ＶＲのゲーム機等に見られるような両手にリモコンを持って動作させる場合、短時間の視聴であれば問題はないが、リモコンが重くて疲れる、落下の恐れがある、家具と衝突する危険がある等、必ずしもユーザが満足するものにはなっていない。イヤホンユニット１３は、コントローラ用タッチパネル部１２４によって耳介近傍でコントロールできることから、ユーザは、最小限の動きで画面をコントロールすることができる。また、イヤホンユニット１３は軽量であることから、長時間の視聴にも適している。コントローラ用タッチパネル部１２４は、タッチ面を平面ではなく例えば半球状の形状とすれば、３６０度の立体空間の映像に重なって表示されるＧＵ
Ｉのカーソルやボタンの実行が視認しやすくなる。また、図３等においては、音響再生装置の具体例としてイヤホンユニット１３を例示しているが、耳全体を覆うヘッドホンタイプとして音響再生装置を実施しても良い。ヘッドホンタイプとすれば、コントローラ用タッチパネル部を比較的大きく形成することができるので、上記と同等の機能を持たせることが比較的容易に可能となる。

図４は、ＡＲユニット１２が取り付けられた場合のＨＭＤの外観構成の側面を示している。ＶＲユニット１１では、左右両方の眼に配置された映像表示部は透過型になっているため、実際の風景に仮想の物体映像を浮かび上がらせる複合体験をユーザに提供することができる。図３と同様、左側面を表示しているが、右側面も同様の構成を有している。

ＡＲユニット１２は、ＡＲディスプレイ部１３２、反射面１３３、導光板１３４、不透明フィルタ１３５、レンズ部１３６、画像キャプチャ用カメラ部１０７を備えている。

ＡＲディスプレイ部１３２は、虚像映像源を出射する。その映像は、反射面１３３で反射され、導光板１３４を介してユーザの眼に到達する。ＡＲディスプレイ部１３２としては、マイクロディスプレイとも呼ばれる高出力型ＬＥＤ、有機ＥＬ、ＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）ディスプレイ、または液晶と駆動回路を一体化したＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）等が用いられる。導光板１３４はほぼ透明であるが、表面にホログラフィックフィルム等の回折格子が設けられ、ＡＲディスプレイ部１３２からの光を拡大させることにより、映像プロジェクターのスクリーンの役割を果たす。

不透明フィルタ１３５は、仮想の物体映像の画像のコントラストを向上させるために自然光を除去する。不透明フィルタ１３５は、導光板１３４と位置合わせされることによって、画面全体またはピクセル毎に、ＨＭＤ前方からの自然光を選択的に透過または遮断して眼に導光させる。例えば、虚像をレンダリング処理する際に、虚像と実像との前後の位置関係に応じて不透明フィルタ１３５の透過度を調整することにより、あたかも虚像が実際に存在するかのように映像を表示することができる。レンズ部１３６は、一般的に眼鏡に使用されるような、標準的な透明型のレンズである。画像キャプチャ用カメラ部１０７は、環境認識機能を有する。

マイクロフォンＢ１２２は、音声入力機能としてユーザが指示する命令をマイクで収音することができる。また、マイクロフォンＢ１２２は、イヤホンユニット１３が耳介に挿入された状態でも外部の音声を聞き取れるようにするために、外部環境の音を積極的に取り込むことにも使用できる。なお、ＡＲコンテンツの再生を開始する際に、ＡＲコンテンツのメタデータを検出する等により、自動的にマイクロフォンＢ１２２を起動させるように構成しても良い。

図５は、本実施形態に係る映像音響再生装置の機能的な構成要素を示すブロック図である。ＡＲ・ＶＲ共通ユニット１０は、メモリ部１００、再生信号処理部１０１、ＨＭＤ姿勢検出用センサ部１０２、通信部１０４、ＡＲ・ＶＲ切替部１０５、映像用バッテリ１０６、画像キャプチャ用カメラ部１０７を備えている。

ＶＲユニット１１は、ＶＲ再生Ｉ／Ｆ（インタフェース）部１１３、ＶＲディスプレイ駆動部１４０、ＶＲディスプレイ部１４１を備えている。ＶＲコンテンツを再生する際は、図１に示したように、ＶＲユニット１１をＡＲ・ＶＲ共通ユニット１０に装着することで、没入感のある映像の世界をユーザが視聴体験することができる。

ＡＲ・ＶＲ切替部１０５は、再生すべきコンテンツがＡＲ・ＶＲのいずれであるかを判
断する。ここで、再生すべきコンテンツがＡＲ・ＶＲのいずれであるかの判断手法としては、例えば、（１）ＡＲ・ＶＲ共通ユニット１０にＡＲユニット１２またはＶＲユニット１１のいずれが装着されたかを検出する方法、（２）ユーザが、初期画面等において、ＡＲ・ＶＲコンテンツのいずれの再生を選択したかを検出する方法、等がある。すなわち、上記（１）の場合は、ＶＲユニット１１およびＡＲユニット１２に、ユニットを識別可能な信号を発生する機構を設けたり、ＶＲユニット１１およびＡＲユニット１２においてユニット係合部１４の形状を互いに異ならせたりすることにより、ＡＲ・ＶＲ共通ユニット１０側で、ＶＲユニット１１およびＡＲユニット１２のいずれが装着されたかを検出可能とすることが考えられる。

再生すべきコンテンツがＡＲ・ＶＲのいずれであるかが判断されると、ＶＲ再生Ｉ／Ｆ部１１３は、再生可能なＶＲコンテンツのサムネイルをＶＲディスプレイ部１４１に表示することによって、ＶＲコンテンツをユーザが選択することができる。そして、ＶＲユニット１１使用時は、メモリ部１００に格納されたコンテンツのうち、ＶＲコンテンツのみを選択して表示再生させることができる。

ＡＲユニット１２は、ＡＲ再生Ｉ／Ｆ部１１２、ＡＲディスプレイ駆動部１３０、不透明フィルタ制御部１３１、ＡＲディスプレイ部１３２を備えている。ＡＲコンテンツの再生時は、図４に示したように、ＡＲユニット１２をＡＲ・ＶＲ共通ユニット１０に装着することで、現実世界のユーザの視点に複数の仮想映像をシームレスに融合することによって、ユーザに複合現実体験を提供することができる。

メモリ部１００に記録された映像や通信部１０４から得られた虚像に関する指示を受け取り、ＨＭＤ姿勢検出用センサ部１０２から得られた３軸ジャイロ、３軸加速度、３軸地磁気センサにより、ユーザの頭部を中心とした位置情報が、信号処理部１０１に渡される。信号処理部１０１は、虚像をいつどこに提供するかを決定する。

画像キャプチャ用カメラ１０７から受信した画像をメモリ部１００に格納する。ＡＲディスプレイ駆動部１３０は、ＡＲディスプレイ部１３２（マイクロディスプレイ）を駆動する。ＡＲディスプレイ部１３２に表示されている仮想画像に関する情報を、不透明度フィルタを制御する不透明フィルタ制御部１３１に提供する。この際、システムのタイミングデータを提供するためにＡＲ再生Ｉ／Ｆ部１１２に映像がバッファされ、タイミング回路とバッファメモリ回路が構成される。

ＡＲ・ＶＲ切替部１０５によってＡＲ・ＶＲ共通ユニット１０にＡＲユニット１２が装着されたと識別された場合、または、ユーザがＡＲコンテンツの再生を選択した場合は、ＡＲ再生Ｉ／Ｆ部１１２は、再生可能なＡＲコンテンツのサムネイルをＡＲディスプレイ部１３２に表示することによって、再生すべきＡＲコンテンツをユーザが選択することができる。つまりＡＲユニット１２の使用時は、メモリ部１００に格納されたＡＲコンテンツのみを表示再生することができる。

イヤホンユニット１３は、オーディオアンプ・ＤＡＣ部１１０、音声処理部１１１、イヤホンスピーカ部１２０、マイクロフォンＡ１２１、マイクロフォンＢ１２２、音声用バッテリ１２３、コントローラ用タッチパネル部１２４で構成される。イヤホンユニット１３は、通信部１０４と無線通信が可能であるが、ワイヤーケーブルを介して接続することも可能である。

通信部１０４より伝送されたＡＡＣやａｐｔＸ等のＢｌｕｅｔｏｏｔｈコーデックが、オーディオアンプ・ＤＡＣ部１１０にてデコード処理され、イヤホンスピーカ部１２０で音声が出力される。音声処理部１１１は、ノイズキャンセル機能を働かせる場合は、マイ
クロフォンＡ１２１から外部のノイズを収音して電気的に位相差信号を発生させる。また、マイクロフォンＢ１２２は、音声認識機能としてユーザの指示する音声での指示命令を収音する。

ＡＲ・ＶＲ切替部１０５によってＡＲ・ＶＲ共通ユニット１０にＶＲユニット１１が装着されたことが検出された場合、または、ユーザがＶＲコンテンツの再生を選択した場合は、マイクロフォンＡ１２１が自動的に外部ノイズを検出してノイズキャンセリング機能を働かせることが可能である。ＡＲユニット１２を検出した場合は自動的にマイクロフォンＢ１２２を起動させることが可能である。

また、コントロールパネルは、ＧＵＩ（グラフィックユーザインターフェース）としてＶＲ再生画面に浮かび上がるグラフィックレイヤのカーソルやコマンドを実行するために、タッチパネル上を指でタッチ操作を行うことによって簡単に操作することができる。

［第二の実施形態］
図６は、第二の実施形態のＡＲユニット装着時のＨＭＤ装置の側面図である。図７は、第二の実施形態のＨＭＤの構成要素を示すブロック図である。

ＡＲ・ＶＲ共通ユニット１０には、ＨＭＤ姿勢検出用センサ１０２、画像キャプチャ用カメラ部１０７、映像用バッテリ１０６、ＡＲ・ＶＲ切替部１０５、メモリ部１００ａが設けられている。イヤホンユニット１３は、図６に示すように、回路基板５を備えている。回路基板５には、図７に示すように、通信部１０４、メモリ部１００ｂ、および再生信号処理部１０１が搭載されている。通信部１０４、メモリ部１００、および再生信号処理部１０１は、図５に示されているように、第一の実施形態においては、ＡＲ・ＶＲ共通ユニット１０に搭載されていた回路である。

ＡＲ・ＶＲユニット１０とイヤホンユニット１３とは無線で連結されるので、ＡＲ・ＶＲ共通ユニット１０のメモリ部１００ａは、通信用の映像データのバッファメモリ用として用いられる。イヤホンユニット１３のメモリ部１００ｂは、映像コンテンツを蓄積したｍｉｃｒｏＳＤカード等の外部メモリである。

ＡＲコンテンツの再生時には、イヤホンユニット１３の通信部１０４が、インターネット経由等で受信したＡＲ映像コンテンツを、メモリ部１００ｂにダウンロードして保存する。ダウンロードしたコンテンツは、再生信号処理部１０１でデコード処理を行う。デコードされた映像信号は、通信部１０４を経由してＡＲ・ＶＲ共通ユニット１０のメモリ部１００ａに送信され蓄積される。映像を再生するのに余裕のあるデータ量を確保された状態で、ＡＲユニット１２のＡＲ再生Ｉ／Ｆ部１１２を経由してＡＲディスプレイ部１３２にオブジェクト映像が表示される。オーディオ信号は、オーディオアンプ、ＤＡＣ部１１０を経由し、イヤホンスピーカ部１２０で映像信号と同期して再生される。

ＶＲコンテンツの再生時も同様に、イヤホンユニット１３のＡＲ・ＶＲ切替部１０５で判断された情報が再生信号処理部１０１から通信部１０４に送信され、ＶＲユニット１１のＶＲディスプレイ部１４１に表示される。ＨＭＤ姿勢検出用センサ部１０２や画像キャプチャ用カメラ部１０７の信号は、通信部１０４を経由してイヤホンユニット１３の再生信号処理部１０１で計算処理される。

つまり、本実施形態では、信号処理回路やメモリ回路等を集積した回路基板５をイヤホンユニット１３に内蔵することによって、ＡＲ・ＶＲ共通ユニット１０を軽量化することができる。これにより、長時間の視聴でも疲労することがない。

また、イヤホンユニット１３を紛失した場合は、通信部１０４が、ペアリングしたイヤホンユニット１３の位置情報を入手し、ＶＲユニット１１またはＡＲユニット１２のディスプレイに、イヤホンユニットの位置を３次元で表示することによって、捜査することが可能である。

図８は、イヤホンユニット１３の位置を検出する際の概念図である。イヤホンユニット１３は、図７に示した構成に加えて、ビーコン端末１５０（図７には図示せず）を備えている。また、ＡＲ・ＶＲ共通ユニット１０には、ユーザの顔の左右に対応する位置に、２個の検出部１５１，１５２（図７には図示せず）が備えられている。イヤホンユニット１３を紛失した場合は、イヤホンユニット１３の電源がＯＮになっている場合は、例えばＧＰＳ機能を使用して、通信部１０４が発信する位置情報をインターネット経由でスマートフォンやＰＣで位置を特定することもできる。しかし、多くの場合、室内等のＧＰＳ機能が働かない場所でイヤホンを紛失したり、イヤホン本体の電源がＯＦＦになっていたりすることも多い。ビーコン端末１５０はボタン電池でも１年間程度の使用が可能であり、イヤホンユニット１３に内蔵することによって近距離での検出が可能となる。本実施形態では、検出部１５１，１５２がＡＲ・ＶＲ共通ユニット１０の左右に２個配置されているので、検出部１５１，１５２で検出される信号の差分を算出することによって、ビーコン端末１５０の位置をより正確に特定することができる。特に、ユーザの頭部の左右に検出部１５１，１５２を配置することによって、ユーザの頭部による電波妨害の影響を受けるので、検出部１５１，１５２の片方がより強い信号強度を得ることができる。

図９はイヤホンユニット１３に内蔵されたビーコン端末１５０から、検出部１５１，１５２までの距離と、電波強度ＲＳＳＩ（Ｒｅｃｅｉｖｅｄ Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｉｃａｔｉｏｎ）との関係を表す。例えば、図９に示すように、右側の検出部１５２による検出値が、左側の検出部１５１による検出値よりも大きい場合、イヤホンユニット１３がユーザの頭部右側にあることが分かる。また、この状態から、ユーザが右側に頭部を向けることによって、検出部１５１による検出値と検出部１５２による検出値とが等しくなった場合は、ビーコン端末１５０がユーザの前方にあると判断することができる。また、この状態で、ビーコン信号の強度に基づいて、ビーコン端末１５０までの距離を算出することができる。

図１０は、ディスプレイに、ビーコン端末１５０を内蔵したイヤホンユニット１３との距離および方向を、テキストで表示した例を示す。方向と距離が表示されるために、ユーザは短時間でイヤホンユニット１３を見つけ出すことができる。

図１１は、ディスプレイに、ビーコン端末１５０を内蔵したイヤホンユニット１３との距離および方向を、グラフィックで表示した例を示す。矢印でイヤホンユニット１３の方向を示し、近接するとイヤホンユニット１３の位置を波紋のように表示することで、ユーザは感覚的にイヤホンユニット１３を見つけ出すことができる。

なお、図１０および図１１に示した表示態様は、あくまでも一例にすぎず、任意の表示態様をとることが可能である。

ここまでに図示したイヤホンユニット１３は、コードレスの完全ワイヤレスの形態であるが、回路基板５と音声用バッテリ１２３とをイヤホンユニット１３と分離して、ケーブルで接続することも考えられる。また更なる集積化によって、ＨＭＤ姿勢検出用センサ１０２等をイヤホンユニット１３に内蔵させることも考えられる。映像用バッテリ１０６も、無線給電の技術が可能になれば、イヤホンユニット１３の音声用バッテリ１２３と一体化することが可能となるので、ＨＭＤ装置の更なる軽量化が進み、快適な視聴環境を実現できる。

［第三の実施形態］
図１２は、第三の実施形態に係るＨＭＤ装置を示すものであって、ＡＲユニット１２が装着された状態を示す側面図である。図１３は、第三の実施形態の機能的構成を示すブロック図である。

本実施形態のイヤホンユニット１３は、ＶＲユニット１２およびＡＲユニット１１と、機械的および電気的に結合されている。このため、映像用と音響用のバッテリを一体化して、映像音響バッテリ１２５としてイヤホンユニット１３に格納することができる。つまり、本実施形態では、映像用バッテリ１０６および音声用バッテリ１２３を省略し、映像用と音声用のバッテリ１２５をイヤホンユニット１３に搭載したことにより、ＨＭＤ装置をさらに軽量化することができる。また、第二の実施形態と同様に、信号処理回路やメモリ回路等を集積した回路基板５や、ＨＭＤ姿勢検出用センサ部１０２も、イヤホンユニット１３に内蔵されている。これにより、ＨＭＤ装置を軽量化することができるので、長時間の視聴でも疲労することがない。また、ワイヤレスではないので、イヤホンユニット１３を紛失する心配が少ない。

左右のイヤホンユニット１３が、ＨＭＤ姿勢検出用センサ１０２、バッテリ１２５、メイン回路基板５、マイクロフォンＡ１２１、マイクロフォンＢ１２２、スピーカ部１２０、コントローラ用タッチパネル部１２４等を備える。左右のイヤホンユニット１３の部品構成が非対称でも、左右の重量配分を考えて構築すれば何ら問題はない。

また、イヤホンユニット１３はワイヤレスイヤホンではないので、Ｂｌｕｅｔｏｏｔｈ等のワイヤレスで音声を受信する前記の実施形態とは異なり、音声信号を通信部１０４でデコード処理する必要はない。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明した。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

例えば、入力デバイスは、イヤホンユニット１３のコントローラ用タッチパネル部１２４に限定されない。入力デバイスとして、マイクや赤外線センサを用いても良い。

１０ ＡＲ・ＶＲ共通ユニット
１１ ＶＲユニット
１２ ＡＲユニット
１３ イヤホンユニット
１４ ユニット係合部
１０７ 画像チャプター用カメラ部
１０８ 深度用カメラ部
１３６ レンズ部
１４１ ＶＲディスプレイ部

Claims (14)

1. 仮想現実コンテンツと拡張現実コンテンツとを再生可能な再生回路部と、
   前記仮想現実コンテンツおよび前記拡張現実コンテンツのいずれかを選択して前記再生回路部に再生させる制御回路部と、
   仮想現実コンテンツの画像を表示する第一のディスプレイ部と、
   拡張現実コンテンツの画像を表示する第二のディスプレイ部と、
   前記第一のディスプレイ部と前記第二のディスプレイ部とを着脱交換することが可能なヘッドマウント機構とを備えた、映像音響再生装置。
2. 前記第一のディスプレイ部と前記第二のディスプレイ部とのどちらが前記ヘッドマウント機構に装着されたかを検出する検出手段をさらに備え、
   前記第一のディスプレイ部が装着されたことを検出した場合は、前記制御回路部が、前記再生回路部で再生可能な仮想現実コンテンツの選択画面を前記第一のディスプレイ部に表示させ、
   前記第二のディスプレイ部が装着されたことを検出した場合は、前記制御回路部が、前記再生回路部で再生可能な拡張現実コンテンツの選択画面を前記第二のディスプレイ部に表示させる、請求項１に記載の映像音響再生装置。
3. 左右少なくとも一方の耳介近傍または外耳道に配備することが可能な音響再生装置をさらに備え、
   前記制御回路部が、前記音響再生装置に設けられた、請求項１または２に記載の映像音響再生装置。
4. 前記音響再生装置が、前記制御回路部に対する操作指示を入力するための入力デバイスを備えた、請求項３に記載の映像音響再生装置。
5. 前記音響再生装置が、当該音響再生装置の現在位置を表す位置信号を発信する位置発信部をさらに備え、
   前記映像音響再生装置が、前記位置発信部から発信された位置信号を検出する位置検出部をさらに備え、
   前記制御回路部が、前記位置検出部で検出された位置信号に基づいて、前記音響再生装置の位置を、前記第一のディスプレイ部または第二のディスプレイ部に表示させる、請求項３または４に記載の映像音響再生装置。
6. 前記位置発信部が、前記位置信号としてビーコン信号を発信する、請求項５に記載の映像音響再生装置。
7. 前記位置検出部が、前記映像音響再生装置の左右両側に設けられた、請求項６に記載の映像音響再生装置。
8. 前記映像音響再生装置の左側に設けられた位置検出部で検出された前記音響再生装置までの距離と、前記映像音響再生装置の右側に設けられた位置検出部で検出された前記音響再生装置までの距離との差を利用して、前記制御回路部が前記音響再生装置の位置を検出する、請求項７に記載の映像音響再生装置。
9. 前記制御回路部が、前記第一のディスプレイ部または第二のディスプレイ部に、前記位置信号の発信源である前記位置発信部までの距離をテキストで表示させる、請求項６〜８のいずれか一項に記載の映像音響再生装置。
10. 前記制御回路部が、前記第一のディスプレイ部または第二のディスプレイ部に、前記位置信号の発信源である前記位置発信部の方向をグラフィックで表示させる、請求項６〜９のいずれか一項に記載の映像音響再生装置。
11. 外部ノイズ信号を検出可能な第一のマイクロフォンと、外部音声信号を検出可能な第二のマイクロフォンとをさらに備えた、請求項１〜１０のいずれか一項に記載の映像音響再生装置。
12. 前記再生回路部が仮想現実コンテンツを再生しているときは、前記第一のマイクロフォンが優先的に動作し、
    前記再生回路部が拡張現実コンテンツを再生しているときは、前記第二のマイクロフォンが優先的に動作する、請求項１１に記載の映像音響再生装置。
13. 仮想現実コンテンツと拡張現実コンテンツとを再生可能な再生回路部を備えた映像音響再生装置と共に用いられ、左右少なくとも一方の耳介近傍または外耳道に配備することが可能な音響再生装置であって、
    前記仮想現実コンテンツおよび前記拡張現実コンテンツのいずれかを選択して前記再生回路部に再生させる制御回路部を備えた、音響再生装置。
14. 前記映像音響再生装置の操作に用いられる制御回路およびセンサを備えた、請求項１３に記載の音響再生装置。