JP2019129366A - 頭部装着型表示装置、音声伝送システム、及び頭部装着型表示装置の制御方法 - Google Patents

Abstract

【課題】頭部装着型表示装置の使い勝手を向上させる。【解決手段】使用者Ｕの頭部に装着され、画像を表示する画像表示部２０と、使用者Ｕの左右の耳に装着され、左耳用の左チャンネルと右耳用の右チャンネルの音声信号に基づいて音声を出力する右イヤホン３２及び左イヤホン３４と、音声信号を受信する第２通信部１１７と、画像表示部２０による表示画像に関連する音声の音声信号、及び第２通信部１１７で受信した音声信号を左チャンネル、及び右チャンネルにそれぞれ割り当てて、音声として出力させる制御部１５０と、を備えるＨＭＤ１００。【選択図】図４

Description

本発明は、頭部装着型表示装置、音声伝送システム、及び頭部装着型表示装置の制御方法に関する。

従来、使用者の頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）が知られている。

特許文献１は、第１のデバイス及び第２のデバイスに接続されたコントローラーを開示する。コントローラーは、無線技術によって生成された２つの信号を混合信号に統合し、統合した混合信号を第１のデバイスと第２のデバイスの間で伝送するように構成される。

特開２０１５−８０２１１号公報

ところで、頭部装着型表示装置は、種々のケースで使用されるようになってきた。使用ケースによっては、頭部装着型表示装置に、複数の音声信号を再生させることで使用者の使い勝手が向上する場面がある。
本発明は、頭部装着型表示装置の使い勝手を向上させることを目的とする。

上記課題を解決するため、本発明は、使用者の頭部に装着され、画像を表示する表示部と、右チャネルと左チャネルとに音声を出力する音声出力部と、音声信号を受信する通信部と、前記表示部による表示画像に関連する音声信号、及び前記通信部で受信した音声信号に基づく音声を左チャンネル、及び右チャンネルにそれぞれ割り当てて出力させる制御部と、を備える。
この構成によれば、使用者に、表示画像に関連する音声の音声信号と、通信部で受信した音声信号とを聞かせることができ、頭部装着型表示装置の使い勝手を向上させることができる。

また、本発明は、音声信号を伴う表示用のコンテンツデータを取得する取得部を備え、前記制御部は、前記取得部により取得された前記コンテンツデータに基づく画像を前記表示部により表示させ、前記コンテンツデータの前記音声信号に基づく音声、及び前記通信部で受信した音声信号に基づく音声を前記音声出力部により出力させる。
この構成によれば、コンテンツデータに基づく画像を表示部により表示させながら、コンテンツデータの音声信号に基づく音声と、通信部で受信した音声信号に基づく音声とを音声出力部から出力することができる。

また、本発明は、前記音声出力部により出力される音声信号のボリュームの変更の指示及びミュートの指示の少なくともいずれかを受け付けるユーザーインターフェイス部を備え、前記制御部は、前記ユーザーインターフェイス部により受け付けた指示に従って前記音声出力部により出力させる音声信号のボリューム変更又はミュートを実行させる。
この構成によれば、ユーザーインターフェイスの操作により、音声出力部により出力される音声信号のボリュームを変更又はミュートすることができる。

また、本発明は、前記ユーザーインターフェイス部は、前記音声出力部のチャネルごとに、音声信号のボリュームの変更の指示及びミュートの指示の少なくともいずれかを受け付ける。
この構成によれば、音声出力部のチャネルごとに、音声信号のボリュームの変更、又は音声信号をミュートすることができる。

また、本発明は、前記制御部は、前記コンテンツデータの前記音声信号に基づく音声を右チャネル及び左チャネルのうちのいずれか一方のチャネルから出力させ、前記通信部で受信した音声信号に基づく音声を、右チャネル及び左チャネルのうちの他方のチャネルから出力させる第１音声モードと、前記コンテンツデータの前記音声信号に基づく音声、及び前記通信部で受信した音声信号に基づく音声のいずれか一方を、右チャネル及び左チャネルから出力させる第２音声モードと、を切替可能であり、前記ユーザーインターフェイス部は、前記第１音声モードでは前記音声出力部のチャネルごとに前記指示を受け付け、前記第２音声モードでは音声信号を出力中のチャネルについて前記指示を受け付ける。
この構成によれば、音声モードを変更することで、ボリュームの変更又はミュートを設定可能なチャネルを変更することができる。

また、本発明は、 前記ユーザーインターフェイス部は、前記表示部が表示する画像を含むグラフィカルユーザーインターフェイスで構成される。
この構成によれば、表示部が表示する画像を視認しながら操作を行うことができるので、操作をより簡易に行うことができる。

また、本発明は、前記ユーザーインターフェイス部は、操作を受け付ける操作部を含み、前記操作部に対する接触、加圧、或いは衝撃のいずれかを含む操作により音声信号のボリュームの変更の指示及びミュートの指示の少なくともいずれかを受け付ける。
この構成によれば、操作部に対する接触、加圧、或いは衝撃のいずれかの操作により音声信号のボリュームの変更の指示及びミュートの指示を行うことができる。

また、本発明は、前記表示部は、外景を透過する表示領域に画像を表示する透過型の表示部である。
この構成によれば、外景を透過する表示領域に表示された画像を視認しながら、音声出力部により出力される音声信号のボリュームを変更する操作や、音声信号をミュートする操作を行うことができる。

また、本発明は、前記制御部は、前記通信部で受信した音声信号に基づく音声に対応するテキストを前記表示部に表示させる。
この構成によれば、音声信号に対応したテキストを表示部により表示させることができる。このため、音声信号が聞きにくい場所では、テキストにより音声の内容を把握することができる。

また、本発明は、前記制御部は、前記通信部で受信した音声信号に基づく音声の出力状態を変化させる場合に、前記表示部に表示させる前記テキストの表示状態を変化させる。
この構成によれば、音声信号の出力状態を変化させる場合に、表示部に表示させるテキストの表示状態が変化する。このため、テキストの表示状態により音声信号の出力状態の変化を認識させることができる。

また、本発明は、前記通信部は無線通信により前記音声信号を受信する。
この構成によれば、音声信号を無線通信により受信することができる。従って、音声信号を受信するために頭部装着型表示装置を有線で接続する必要がなくなり、音声信号を受信可能な範囲を、有線による接続の場合と比較して広げることができる。

上記課題を解決するため、本発明は、音声信号を送信する送信装置と、前記送信装置が送信する音声信号を受信する頭部装着型表示装置とを有する音声伝送システムであって、前記頭部装着型表示装置は、使用者の頭部に装着され、画像を表示する表示部と、右チャネルと左チャネルとに音声を出力する音声出力部と、音声信号を受信する通信部と、前記表示部による表示画像に関連する音声信号、及び前記通信部で受信した音声信号に基づく音声を左チャンネル、及び右チャンネルにそれぞれ割り当てて出力させる制御部と、を備える。
この構成によれば、使用者に、表示画像に関連する音声の音声信号と、通信部で受信した音声信号とを聞かせることができ、頭部装着型表示装置の使い勝手を向上させることができる。

上記課題を解決するため、本発明は、使用者の頭部に装着され、画像を表示する表示部と、右チャネルと左チャネルとに音声を出力する音声出力部と、通信部とを備える頭部装着型表示装置の制御方法であって、音声信号を前記通信部により受信し、前記表示部による表示画像に関連する音声の音声信号、及び前記通信部で受信した音声信号に基づく音声を左チャンネル、及び右チャンネルにそれぞれ割り当て、左チャネルに割り当てた音声信号と、右チャネルに割り当てた音声信号とを前記音声出力部により出力する。
この構成によれば、使用者に、表示画像に関連する音声の音声信号と、通信部で受信した音声信号とを聞かせることができ、頭部装着型表示装置の使い勝手を向上させることができる。

音声伝送システムのシステム構成図。 端末装置の構成図。 ＨＭＤの外観構成を示す説明図。 ＨＭＤのブロック図。 ＨＭＤの制御部及び記憶部の機能ブロック図。 ＨＭＤの音声処理系統の構成を示す図。 表示領域を示す図。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。

以下、添付図面を参照しながら本発明の実施形態について説明する。
図１には、実施携帯の音声伝送システム１のシステム構成図を示す。

［システム構成］
音声伝送システム１は、頭部装着型表示装置１００と、端末装置３００とを備え、これらの装置が無線通信によりデータ通信可能に接続される。端末装置３００は、本発明の「送信装置」に対応する装置である。端末装置３００は、携帯可能な小型の端末であり、例えば、スマートフォン、タブレット端末、ＰＤＡ（Personal Digital Assistants）等が用いられる。
頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（以下、ＨＭＤと略記する）とも呼ばれる。ＨＭＤ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の表示装置である。なお、本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」と呼ぶ。
また、図１には、１機のＨＭＤ１００を示すが、端末装置３００に無線接続されるＨＭＤ１００の台数は１台に限定されず任意である。また、以下の説明において、ＨＭＤ１００を使用する者を使用者Ｕといい、端末装置３００を使用する者を案内者Ｇという。

［端末装置の構成］
図２は、端末装置３００の構成図である。
端末装置３００は、第１通信部３１０、第２通信部３２０、操作部３３０、表示部３４０、音声出力部３５０、音声入力部３６０、記憶部３７０及び制御部３８０を備える。

第１通信部３１０は、ＨＭＤ１００を含む他の機器と無線通信を行うインターフェイスである。第１通信部３１０は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等（いずれも不図示）を備える。第１通信部３１０は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等が統合されたデバイスとして構成してもよいし、各種回路が実装された通信モジュール基板であってもよい。

第１通信部３１０の通信方式には、例えば、Ｗｉ−Ｆｉ（登録商標）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access、登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＢＬＥ（Bluetooth Low Energy）、ＤＥＣＴ（Digital Enhanced Cordless Telecommunications）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ultra Wide Band）等が用いられる。本実施形態では、第１通信部３１０が、Ｗｉ−Ｆｉ規格に従った無線通信を行う場合について説明する。

第２通信部３２０は、ＨＭＤ１００を含む他の機器と通信を行うインターフェイスであり、第１通信部３１０とは異なる通信方式により無線通信を行う。第２通信部３２０も、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等（いずれも不図示）を備える。
また、第２通信部３２０の通信方式には、例えば、Ｗｉ−Ｆｉ（登録商標）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＢｌｕｅＴｏｏｔｈ（登録商標）、ＢＬＥ（Bluetooth Low Energy）、ＤＥＣＴ（Digital Enhanced Cordless Telecommunications）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ultra Wide Band）等が用いられる。本実施形態では、第２通信部３２０が、Ｂｌｕｅｔｏｏｔｈ規格に従った無線通信を行う場合について説明する。

操作部３３０は、操作を受け付けるハードウェアのボタンを備える。ボタンには、例えば、電源ボタンや、ホームボタン、メニューボタン等が含まれる。操作部３３０は、ボタンの操作を受け付けると、操作を受け付けたボタンに対応した操作信号を制御部３８０に出力する。

表示部３４０は、表示パネル３４１と操作検出部３４３とを備える。表示パネル３４１には、例えば、液晶パネルや有機ＥＬディスプレイ等が用いられる。表示部３４０は、制御部３８０の制御により、表示パネル３４１に、ウインドウやアイコン、ボタン等のＧＵＩ（Graphical User Interface）画像を表示させる。また、制御部３８０によりコンテンツデータ３７３を再生する場合、表示パネル３４１には、コンテンツデータに基づく画像が表示される。

表示部３４０は、タッチ操作を検出するタッチセンサーを備える。タッチセンサーは、表示パネル３４１に重ねて、或いは一体に配置される。操作検出部３４３は、タッチセンサーの出力に基づき、案内者Ｇの指やペン等の操作子が接触した表示パネル３４１の接触位置を検出する。操作検出部３４３は、検出した接触位置を示す座標情報を制御部３８０に出力する。

音声出力部３５０は、Ｄ／Ａ変換器、増幅器、スピーカー等（いずれも不図示）を備える。音声出力部３５０には、音声信号が制御部３８０から入力される。音声出力部３５０は、入力された音声信号にＡ／Ｄ変換、増幅等の処理を施してスピーカーから出力する。

音声入力部３６０は、内蔵又は音声端子を介して接続されたマイクにより、端末装置３００の周辺の音声を集音し、Ａ／Ｄ変換、音声処理等を行って音声信号を生成する。音声入力部３６０は、生成した音声信号を制御部３８０に出力する。
本実施形態では、音声入力部３６０は、案内者Ｇが発した音声の音声信号を生成して制御部３８０に出力する。例えば、美術館や博物館等のガイドを行う案内者Ｇは、端末装置３００を所持し、使用者Ｕと共に美術館や博物館の館内を巡りながら、館内の展示物について使用者Ｕに案内や説明を行う。案内者Ｇの発した音声は、音声入力部３６０により集音され、音声信号として制御部３８０に入力される。音声入力部３６０により生成される音声信号を、以下では第２音声信号という。

記憶部３７０は、フラッシュメモリー、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）等の不揮発性の記憶装置である。記憶部３７０は、制御プログラム３７１、コンテンツデータ３７３、接続情報３７５を記憶する。制御プログラム３７１は、制御部３８０が実行するプログラムであって、ＯＳやアプリケーションプログラムが含まれる。

コンテンツデータ３７３は、制御部３８０の制御によって表示部３４０が表示する画像や映像を含むコンテンツのデータである。コンテンツデータ３７３は、静止画像データ、映像（動画像）データ、音声データ等を含む。コンテンツデータ３７３は複数コンテンツのデータを含んでもよい。各コンテンツデータ３７３には、識別情報が付されている。この識別情報は、ＨＭＤ１００の記憶部１４０（図５参照）が記憶するコンテンツデータ１４４に付された識別情報と同一の識別情報である。すなわち、ＨＭＤ１００の記憶部１４０と、ＨＭＤ１００の記憶部３７０とは同一のコンテンツデータを記憶し、対応するコンテンツデータ１４４及びコンテンツデータ３７３には、同一の識別情報が付されている。

接続情報３７５は、端末装置３００をアクセスポイント（図示省略）に接続するための情報である。接続情報３７５には、アクセスポイントを識別するＳＳＩＤ（Service Set Identifier）やパスワード等の情報が含まれる。また、接続情報３７５には、Ｂｌｕｅｔｏｏｔｈによる通信を実現するための接続情報が含まれる。具体的には、ＰＩＮコードやパスキー等のコード情報が含まれる。

制御部３８０は、ハードウェアとしてＣＰＵ（Central Processing Unit）や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）を備える。
ＣＰＵは、記憶部３７０に記憶された様々な制御プログラムをＲＡＭにロードして実行することによって、様々な処理を実行する。ＣＰＵの数は１つに限らず、端末装置３００が複数のＣＰＵを備える構成であってもよい。ＲＯＭは、ＯＳ等の制御プログラムを記憶する。ＲＡＭは、ＣＰＵの演算用のメモリーとして使用される。

制御部３８０は、機能ブロックとして、通信制御部３８１及びアプリケーション実行部３８３を備える。これらの機能ブロックは、ＣＰＵが制御プログラム３７１を実行することで実現される機能をブロックとして便宜的に表現したものであり、特定のアプリケーションや、ハードウェアを意味するものではない。

通信制御部３８１は、第１通信部３１０及び第２通信部３２０を制御して、ＨＭＤ１００を含む他の機器との無線通信を実現する。
通信制御部３８１は、第１通信部３１０を制御してアクセスポイント（図示略）との接続を確立する。通信制御部３８１は、アクセスポイントとの接続の確立の際に、アクセスポイントからの要求に従い、接続情報３７５に含まれるＳＳＩＤやパスワードを記憶部３７０から読み出してアクセスポイントに送信させる。通信制御部３８１は、アクセスポイントとの接続が確立されると、同じくアクセスポイントに接続したＨＭＤ１００等の他の機器との間でＷｉ−Ｆｉによる無線通信を行う。

また、通信制御部３８１は、第２通信部３２０を制御してＨＭＤ１００を含む他の機器とＢｌｕｅｔｏｏｔｈによる通信を確立する。例えば、通信制御部３８１は、端末装置３００の動作モードがペアリングモードであるときに、ＨＭＤ１００からペアリング要求を受信すると、ペアリングに必要な情報をＨＭＤ１００に送信する。そして、通信制御部３８１は、所定の認証方式に従ってお互いを認証し、ペアリングを行った相手の情報を記憶部３７０に記憶させてペアリングを完了する。

また、通信制御部３８１は、操作部３３０によりコンテンツデータ３７３の選択、及び再生指示を受け付けると、選択されたコンテンツデータ３７３の識別情報を含む再生指示を第１通信部３１０によりＨＭＤ１００に送信させる。
また、通信制御部３８１は、音声入力部３６０から第２音声信号が入力されると、入力された第２音声信号に対してエンコード等の処理を行って、データ通信可能な形式の音声データに変換する。通信制御部３８１は、変換した音声データを第２通信部３２０によりＨＭＤ１００に送信させる。音声データは、本発明の「第２音声信号」に相当する。

アプリケーション実行部３８３は、制御プログラム３７１に含まれるアプリケーションプログラムを実行することで実現される機能ブロックである。アプリケーション実行部３８３は、例えば、動画再生のアプリケーションプログラムを実行する場合、記憶部３７０に記憶されたコンテンツデータ３７３を再生し、コンテンツデータ３７３に含まれる映像信号に基づく画像を表示パネル３４１に表示させる。また、アプリケーション実行部３８３は、コンテンツデータ３７３に含まれる音声信号に基づく音声を音声出力部３５０に出力させる。

［ＨＭＤ１００の構成］
図３は、ＨＭＤ１００の外観構成を示す図である。
ＨＭＤ１００は、使用者Ｕが頭部に装着する画像表示部２０と、画像表示部２０を制御するコントローラー１０とを備える。画像表示部２０は、本発明の「表示部」に対応した動作を行う機能部であり、使用者Ｕの頭部に装着された状態で使用者Ｕに虚像を視認させる。コントローラー１０は、使用者ＵがＨＭＤ１００を操作する制御装置としても機能する。

コントローラー１０は、箱形の本体１１に、使用者Ｕの操作を受け付ける各種のスイッチや操作パッド１４等を備える。画像表示部２０は、本実施形態では眼鏡形状を有し、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６及び左導光板２８を備える。

右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者Ｕの頭部に画像表示部２０を保持する。前部フレーム２７の両端部のうち画像表示部２０の装着時に使用者Ｕの右側に位置する端部を端部ＥＲとし、左側に位置する端部を端部ＥＬとする。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。画像表示部２０の装着状態において、右導光板２６は使用者Ｕの右眼の眼前に位置し、左導光板２８は使用者Ｕの左眼の眼前に位置する。

右表示ユニット２２及び左表示ユニット２４は、光学ユニット及び周辺回路をユニット化したモジュールであり、画像光を出射する。右表示ユニット２２は、右保持部２１に取り付けられ、左表示ユニット２４は、左保持部２３に取り付けられる。
右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部品である。例えば、右導光板２６及び左導光板２８はプリズムである。右導光板２６は、右表示ユニット２２が出力する画像光を使用者Ｕの右眼に向けて導き、左導光板２８は、左表示ユニット２４が出力する画像光を使用者Ｕの左眼に導く。これにより、使用者Ｕの両眼に画像光が入射し、使用者Ｕが画像を視認できる。

ＨＭＤ１００はシースルー型の表示装置であり、使用者Ｕの右眼ＲＥには、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。同様に、左眼ＬＥには、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射する。このように、ＨＭＤ１００は、内部で処理した画像に対応する画像光と外光とを重ねて使用者Ｕの眼に入射させ、使用者Ｕにとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光による画像が視認される。

画像表示部２０の前部フレーム２７には、照度センサー６５が配置される。照度センサー６５は、画像表示部２０を装着する使用者Ｕの前方からの外光を受光する。
カメラ６１は、画像表示部２０の前部フレーム２７に配設される。カメラ６１の撮像範囲及び撮像方向については後述する。カメラ６１は、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図２の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置されているが、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００を装着した状態における使用者Ｕの視界方向の少なくとも一部の外景（実空間）を撮像し、カメラ６１の画角は、使用者Ｕの正面方向を向き、使用者Ｕが画像表示部２０を透過して視認する外景と重複する。カメラ６１の画角は、使用者Ｕが画像表示部２０を透過して視認する視界の全体を含むことがより好ましい。カメラ６１は、制御部１５０の制御に従って撮像を実行し、撮像画像データを制御部１５０に出力する。

前部フレーム２７には、ＬＥＤインジケーター６７が配置される。ＬＥＤインジケーター６７は、端部ＥＲにおいてカメラ６１の近傍に配置され、カメラ６１の動作中に点灯して、撮像中であることを報知する。

前部フレーム２７には、距離センサー６４が設けられる。距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。本実施形態では、距離センサー６４は、使用者Ｕの前方に位置する測定対象物までの距離を検出する。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する光反射式距離センサーであってもよい。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える超音波式の距離センサーであってもよい。また、距離センサー６４は、レーザーレンジスキャナー（測域センサー）を用いてもよく、この場合、画像表示部２０の前方を含む広範囲の領域に対し測域を行える。

コントローラー１０と画像表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、本体１１のコネクター４２に着脱可能に接続される。
接続ケーブル４０は、オーディオコネクター４６を備え、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が、オーディオコネクター４６に接続される。右イヤホン３２は、使用者Ｕの右耳に装着され、左イヤホン３４は、使用者Ｕの左耳に装着される。右イヤホン３２及び左イヤホン３４は、本発明の「音声出力部」に対応する機能部である。
マイク６３は、音声を集音して、音声信号を音声処理部１８０（図４）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

コントローラー１０は、使用者Ｕにより操作される被操作部として、ホイール操作部１２、中央キー１３、操作パッド１４、上下キー１５、ＬＥＤ表示部１７、及び電源スイッチ１８を備える。これらの被操作部は本体１１の表面に配置される。これらの被操作部は、例えば、使用者Ｕの手指により操作される。

操作パッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。操作パッド１４への接触（タッチ操作）は、例えば、タッチセンサー（不図示）により検出される。操作パッド１４は、接触が検出された操作面の位置を示す信号を制御部１５０に出力する。

本体１１にはＬＥＤ（Light Emitting Diode）表示部１７が設置される。ＬＥＤ表示部１７は、光を透過可能な透過部（不図示）を有し、透過部の直下に設置されるＬＥＤが点灯することで、透過部に形成された文字、記号、模様等を視認可能な状態とする。ＬＥＤ表示部１７に対する使用者Ｕの手指の接触操作は、タッチセンサー１７２（図４）により検出される。このため、ＬＥＤ表示部１７とタッチセンサー１７２との組合せはソフトウェアキーとして機能する。
電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチである。また、本体１１は、コントローラー１０を、外部の装置に接続するインターフェイスとして、ＵＳＢ（Universal Serial Bus）コネクター１９を備える。

［ＨＭＤの構成］
図４は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
コントローラー１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１２５を備える。メインプロセッサー１２５には、メモリー１１８及び不揮発性記憶部１２１が接続される。メインプロセッサー１２５には、入力装置として操作部１７０が接続される。また、メインプロセッサー１２５には、センサー類として、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５が接続される。

メインプロセッサー１２５には、第１通信部１１６、第２通信部１１７、音声処理部１８０、外部メモリーインターフェイス１９１、ＵＳＢコネクター１９、センサーハブ１９３及びＦＰＧＡ１９５が接続される。これらは外部とのインターフェイスとして機能する。

メインプロセッサー１２５は、コントローラー１０が内蔵するコントローラー基板１２０に実装される。本実施形態では、コントローラー基板１２０に、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、第１通信部１１６、第２通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声処理部１８０等が実装される。また、外部メモリーインターフェイス１９１、ＵＳＢコネクター１９、センサーハブ１９３、ＦＰＧＡ１９５及びインターフェイス１９７をコントローラー基板１２０に実装してもよい。また、コネクター４２、及びＵＳＢコネクター１９を、コントローラー基板１２０に実装してもよい。

メモリー１１８は、メインプロセッサー１２５により実行されるプログラム、及びメインプロセッサー１２５が処理するデータ等を一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１２５が実行するプログラムや、メインプロセッサー１２５が処理するデータを記憶する。

操作部１７０は、ＬＥＤ表示部１７、タッチセンサー１７２、及びスイッチ１７４を含む。タッチセンサー１７２は、使用者Ｕによるタッチ操作を検出し、操作位置を特定し、メインプロセッサー１２５に対して操作信号を出力する。スイッチ１７４は、上下キー１５、及び、電源スイッチ１８の操作に応じて、メインプロセッサー１２５に操作信号を出力する。ＬＥＤ表示部１７は、メインプロセッサー１２５の制御に従って、ＬＥＤを点灯、点滅、消灯させる。操作部１７０は、例えば、ＬＥＤ表示部１７、タッチセンサー１７２、スイッチ１７４、及び、これらを制御する回路が実装されたスイッチ基板であり、本体１１に収容される。操作部１７０は、本発明の「ユーザーインターフェイス部」に対応する機能部である。

６軸センサー１１１は、コントローラー１０の動きを検出するモーションセンサー（慣性センサー）の一例である。６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備える。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。

磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Global Positioning System）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信する受信機である。ＧＰＳ１１５は、ＧＰＳ信号に基づき、コントローラー１０の現在位置の座標を検出又は算出する。

６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、予め指定されたサンプリング周期に従ってメインプロセッサー１２５に出力値を出力する。また、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１２５の要求に応じて、メインプロセッサー１２５により指定されたタイミングで、検出値をメインプロセッサー１２５に出力する構成であってもよい。

第１通信部１１６は、端末装置３００を含む外部の機器との間で無線通信を実行する通信装置である。第１通信部１１６は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備える。第１通信部１１６は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等が統合されたデバイスであってもよいし、各種回路が実装された通信モジュール基板であってもよい。

第１通信部１１６の通信方式には、例えば、Ｗｉ−Ｆｉ（登録商標）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access、登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＢＬＥ（Bluetooth Low Energy）、ＤＥＣＴ（Digital Enhanced Cordless Telecommunications）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ultra Wide Band）等が用いられる。本実施形態では、第１通信部１１６が、Ｗｉ−Ｆｉ規格に従った無線通信を行う場合について説明する。すなわち、第１通信部１１６は、端末装置３００の第１通信部３１０との間でデータの送受信を行う。

第２通信部１１７は、ＨＭＤ１００を含む他の機器と通信を行うインターフェイスであり、第１通信部１１６とは異なる通信方式により無線通信を行う。第２通信部１１７も、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等（いずれも不図示）を備える。
また、第２通信部１１７の通信方式は、例えば、Ｗｉ−Ｆｉ（登録商標）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＢｌｕｅＴｏｏｔｈ（登録商標）、ＢＬＥ（Bluetooth Low Energy）、ＤＥＣＴ（Digital Enhanced Cordless Telecommunications）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ultra Wide Band）等が用いられる。本実施形態では、第２通信部１１７が、Ｂｌｕｅｔｏｏｔｈ規格に従った無線通信を行う場合について説明する。すなわち、第２通信部１１７は、端末装置３００の第２通信部３２０との間でデータの送受信を行う。

音声処理部１８０は、オーディオコネクター４６（図４）に接続され、音声信号の入出力及び音声信号のエンコード／デコードを行う。また、音声処理部１８０は、アナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及びその逆の変換を行うＤ／Ａコンバーターを備える。

外部メモリーインターフェイス１９１は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。

コントローラー１０は、バイブレーター１７６を搭載する。バイブレーター１７６は、モーター（不図示）、偏心した回転子（不図示）等を備え、メインプロセッサー１２５の制御に従って振動を発生する。例えば、操作部１７０に対する操作や、ＨＭＤ１００の電源のオン／オフに応じて、所定の振動パターンでバイブレーター１７６が振動を発生する。

インターフェイス（Ｉ／Ｆ）１９７は、センサーハブ１９３及びＦＰＧＡ（Field Programmable Gate Array）１９５を、画像表示部２０に接続する。
センサーハブ１９３は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１２５に出力する。ＦＰＧＡ１９５は、メインプロセッサー１２５と画像表示部２０の各部との間で送受信するデータの処理、及びインターフェイス１９７を介した伝送を実行する。

接続ケーブル４０、及び、図示しない画像表示部２０内部の配線により、コントローラー１０に、右表示ユニット２２と、左表示ユニット２４とが個別に接続される。
右表示ユニット２２は、画像光を発するＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１を備える。ＯＬＥＤユニット２２１が発する画像光は、レンズ群等を含む光学系により、右導光板２６に導かれる。左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１を備える。ＯＬＥＤユニット２４１が発する画像光は、レンズ群等を含む光学系により、左導光板２８に導かれる。

ＯＬＥＤユニット２２１、２４１は、ＯＬＥＤパネルやＯＬＥＤパネルを駆動する駆動回路を有する。ＯＬＥＤパネルは、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネルは、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。駆動回路は、制御部１５０の制御に従って、ＯＬＥＤパネルの発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネルの発光素子を発光させる。これにより、ＯＬＥＤユニット２２１、２４１に形成された画像の画像光が、右導光板２６及び左導光板２８に導かれ、右眼ＲＥ及び左眼ＬＥに入射する。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９７に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介してコントローラー１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５が実装される。インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー６９、カメラ６１、照度センサー６５、及び、ＬＥＤインジケーター６７を、コントローラー１０に接続する。

ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５は、メインプロセッサー１２５が読み取り可能にデータを記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２又は左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー６９、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１２５がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。

カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号をインターフェイス２１１に出力する。

照度センサー６５は、受光量（受光強度）に対応する検出値を、インターフェイス２１１に出力する。ＬＥＤインジケーター６７は、インターフェイス２１１を介して入力される信号に従って点灯及び消灯する。

温度センサー６９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値としてインターフェイス２１１に出力する。温度センサー６９は、ＯＬＥＤユニット２２１が有するＯＬＥＤパネルの裏面側、或いは、ＯＬＥＤパネルを駆動する駆動回路と同一の基板に実装され、ＯＬＥＤパネルの温度を検出する。また、ＯＬＥＤパネルがＳｉ−ＯＬＥＤとして、駆動回路等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー６９を実装してもよい。

受信部２１３は、インターフェイス２１１を介してメインプロセッサー１２５が送信するデータを受信する。受信部２１３は、インターフェイス２１１から画像データを受信した場合に、受信した画像データを、ＯＬＥＤユニット２２１に出力する。

左表示ユニット２４は、表示ユニット基板２３０を有する。表示ユニット基板２３０には、インターフェイス１９７に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介してコントローラー１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２３０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、コントローラー１０に接続する。

６軸センサー２３５は、画像表示部２０の動きを検出するモーションセンサーの一例である。６軸センサー２３５は、３軸加速度センサー、及び３軸ジャイロセンサーを備える。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ(inertial measurement unit)であってもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。

温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値としてインターフェイス２３１に出力する。温度センサー２３９は、ＯＬＥＤユニット２４１が有するＯＬＥＤパネルの裏面側、或いは、ＯＬＥＤパネルを駆動する駆動回路と同一の基板に実装され、ＯＬＥＤパネルの温度を検出する。また、ＯＬＥＤパネルがＳｉ−ＯＬＥＤとして、駆動回路等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。

カメラ６１、照度センサー６５、温度センサー６９、６軸センサー２３５、磁気センサー２３７及び温度センサー２３９は、コントローラー１０のセンサーハブ１９３に接続される。

センサーハブ１９３は、メインプロセッサー１２５の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９３は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９３は、予め設定されたタイミングで、各センサーの検出値をメインプロセッサー１２５に出力する。センサーハブ１９３は、メインプロセッサー１２５に対する出力のタイミングに合わせて、各センサーの検出値を一時的に保持する機能を備えてもよい。また、センサーハブ１９３は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１２５に出力する機能を備えてもよい。
また、センサーハブ１９３は、メインプロセッサー１２５の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯又は点滅させる。

コントローラー１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及び、バッテリー１３２の残容量の検出及びバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。

ＵＳＢコントローラー１９９は、ＵＳＢデバイスコントローラーとして機能し、ＵＳＢコネクター１９に接続されるＵＳＢホスト装置との間で通信を確立し、データ通信を行う。また、ＵＳＢコントローラー１９９は、ＵＳＢデバイスコントローラーとしての機能に加え、ＵＳＢホストコントローラーとしての機能を有してもよい。

［ＨＭＤの制御系の構成］
図５は、ＨＭＤ１００のコントローラー１０の制御系を構成する記憶部１４０、及び制御部１５０の機能ブロック図である。図５に示す記憶部１４０は、不揮発性記憶部１２１（図４）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。制御部１５０、及び制御部１５０が有する各種の機能部は、メインプロセッサー１２５がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１２５、メモリー１１８及び不揮発性記憶部１２１により構成される。

記憶部１４０は、メインプロセッサー１２５が実行する各種のプログラム、及びこれらのプログラムにより処理されるデータを記憶する。記憶部１４０は、オペレーティングシステム（ＯＳ）１４１、アプリケーションプログラム１４２、設定データ１４３及びコンテンツデータ１４４を記憶する。

制御部１５０は、記憶部１４０が記憶するプログラムを実行することにより、記憶部１４０が記憶するデータを処理して、ＨＭＤ１００を制御する。

オペレーティングシステム１４１は、メインプロセッサー１２５が実行するＨＭＤ１００の基本制御プログラムである。メインプロセッサー１２５は、電源スイッチ１８の操作によってＨＭＤ１００の電源がオンに切り替わると、オペレーティングシステム１４１をロードして実行する。メインプロセッサー１２５がオペレーティングシステム１４１を実行することで、制御部１５０の各種機能が実現される。制御部１５０の機能には、基本制御部１５１、通信制御部１５２、画像処理部１５３、撮像制御部１５４、表示制御部１５５、アプリケーション実行部１５６、音声制御部１５７及び音声認識部１５８を含む。

アプリケーションプログラム１４２は、メインプロセッサー１２５がオペレーティングシステム１４１を実行した状態で、メインプロセッサー１２５が実行するプログラムである。アプリケーションプログラム１４２は、制御部１５０の各種機能を利用する。記憶部１４０が記憶するアプリケーションプログラム１４２は１つではなく複数であってもよい。例えば、アプリケーションプログラム１４２は、画像コンテンツ再生、音声コンテンツ再生、ゲーム、カメラ撮影、文書作成、ウェブブラウジング、スケジュール管理、電話（音声通信を含む）、画像通信、経路ナビゲーション等の機能を実現する。

設定データ１４３は、ＨＭＤ１００の動作に関する各種の設定値を含む。また、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（ＬｏｏｋＵｐ Ｔａｂｌｅ）等を用いる場合、これらを設定データ１４３に含めてもよい。

また、設定データ１４３には、アプリケーションプログラム１４２を実行する場合に使用されるデータが含まれる。詳細には、アプリケーションプログラム１４２に含まれる各種プログラムを実行する場合の実行条件等のデータを含む。例えば、アプリケーションプログラム１４２の実行時の画像表示サイズ、画面の向き、アプリケーションプログラム１４２が使用する制御部１５０の機能部、或いはＨＭＤ１００のセンサー類等を示すデータを含む。

ＨＭＤ１００では、アプリケーションプログラム１４２を導入する際に、制御部１５０の機能によりインストール処理を実行する。インストール処理は、アプリケーションプログラム１４２を記憶部１４０に記憶するだけでなく、アプリケーションプログラム１４２の実行条件の設定等を含む処理である。インストール処理により、記憶部１４０に、アプリケーションプログラム１４２に対応した設定データ１４３が生成又は記憶されると、アプリケーション実行部１５６がアプリケーションプログラム１４２を起動できる。

コンテンツデータ１４４は、制御部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータである。コンテンツデータ１４４は、静止画像データ、映像（動画像）データ、音声データ等を含む。コンテンツデータ１４４は複数のコンテンツのデータを含んでもよい。コンテンツデータ１４４は、双方向型のコンテンツのデータであってもよい。また、各コンテンツデータ１４４には、識別情報が付されている。この識別情報は、端末装置３００の記憶部３７０が記憶するコンテンツデータ３７３に付された識別情報と同一の識別情報である。ＨＭＤ１００の記憶部１４０と、ＨＭＤ１００の記憶部３７０とは同一のコンテンツデータを記憶し、対応するコンテンツデータ１４４及びコンテンツデータ３７３には、同一の識別情報が付されている。

基本制御部１５１は、ＨＭＤ１００の各部を制御する基本機能を実行する。基本制御部１５１は、ＨＭＤ１００の電源がオンされたときに起動処理を実行し、ＨＭＤ１００の各部を初期化し、アプリケーション実行部１５６がアプリケーションプログラム１４２を実行可能な状態にする。基本制御部１５１は、コントローラー１０の電源をオフにする際のシャットダウン処理を実行し、アプリケーション実行部１５６を終了し、記憶部１４０が記憶する各種データを更新し、ＨＭＤ１００を停止させる。シャットダウン処理では画像表示部２０に対する電源供給も停止し、ＨＭＤ１００全体がシャットダウンされる。

基本制御部１５１は、電源部１３０による電源供給を制御する機能を有する。基本制御部１５１は、シャットダウン処理で、電源部１３０からＨＭＤ１００の各部への電源供給を個別にオフに切り替える。

通信制御部１５２は、第１通信部１１６及び第２通信部１１７が備える通信機能を制御して、端末装置３００との間でデータ通信を行う。
通信制御部１５２は、コンテンツデータ１４４の識別情報を含む再生指示を第１通信部１１６により受信する。また、通信制御部１５２は、端末装置３００から送信される音声データを第２通信部１１７により受信する。通信制御部１５２は、第２通信部１１７が受信した音声データに対してデコード等の処理を施して第２音声信号を取り出す。通信制御部１５２は、取り出した第２音声信号を音声制御部１５７に出力する。
通信制御部１５２の機能により、基本制御部１５１及びアプリケーション実行部１５６は、他の装置との間でデータを送受信し、例えば受信したデータを利用できる。

画像処理部１５３は、画像表示部２０により表示する画像又は映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部１５３が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１５３は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１５３は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１５３は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、画像表示部２０に送信する。

画像処理部１５３は、メインプロセッサー１２５がオペレーティングシステム１４１を実行して実現される構成のほか、メインプロセッサー１２５とは別のハードウェアで構成してもよい。このハードウェアとしては、例えば、ＤＳＰ（Digital Signal Processor）が挙げられる。

撮像制御部１５４は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１４０に一時的に記憶する。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１５４は撮像画像データをカメラ６１から取得して、記憶部１４０に一時的に記憶する。

表示制御部１５５は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。例えば、表示制御部１５５は、ＯＬＥＤパネルによる画像の表示を実行させ、ＯＬＥＤパネルの描画タイミングの制御、輝度の制御等を行う。

アプリケーション実行部１５６は、メインプロセッサー１２５が、オペレーティングシステム１４１を実行する状態で、アプリケーションプログラム１４２を実行する機能に相当する。アプリケーション実行部１５６は、アプリケーションプログラム１４２を実行して、アプリケーションプログラム１４２の各種機能を実現する。アプリケーションプログラム１４２の機能は、上述の通りである。アプリケーション実行部１５６は、アプリケーションプログラム１４２の実行中に、制御部１５０の各部の機能を利用する。

また、アプリケーション実行部１５６には、端末装置３００から送信される識別情報を含む再生指示が入力される。第１通信部１１６は、端末装置３００から識別情報を含む再生指示を受信すると、受信した再生指示を制御部１５０に出力する。アプリケーション実行部１５６は、再生指示が入力されると、再生指示に含まれる識別情報を取り出し、識別情報に対応したコンテンツデータ１４４を記憶部１４０から取得する。つまり、アプリケーション実行部１５６は、本発明の「取得部」に対応した動作を行う。アプリケーション実行部１５６は、読み出したコンテンツデータ１４４に含まれる音声データを取り出して音声制御部１５７に出力する。また、アプリケーション実行部１５６は、コンテンツデータ１４４に含まれる画像又は映像の画像データを画像処理部１５３に処理させる。

ＨＭＤ１００は、音声モードとして第１音声モードと第２音声モードとを備える。第１音声モードは、右チャネル及び左チャネルのそれぞれから異なる音声信号を出力するモードである。音声モードが第１音声モードの場合、第１音声信号と第２音声信号とが出力される。右チャネルは、ヘッドセット３０の右イヤホン３２に音声信号を出力する右耳用のチャネルである。また、左チャネルは、ヘッドセット３０の左イヤホン３４に音声信号を出力する左耳用のチャネルである。また、第２音声モードは、右チャネル、左チャネル、又は右チャネル及び左チャネルのいずれかのチャネルに１の音声信号を出力するモードである。音声モードが第２音声モードの場合、第１音声信号又は第２音声信号が出力される。

音声制御部１５７は、音声モードが第１音声モードである場合、音声処理部１８０を制御して、右イヤホン３２及び左イヤホン３４から異なる音声の音声信号を出力させる。また、音声制御部１５７は、音声モードが第２音声モードである場合、音声処理部１８０を制御して、右イヤホン３２、左イヤホン３４、又は右イヤホン３２及び左イヤホン３４に１の音声信号を出力させる。

音声制御部１５７は、アプリケーション実行部１５６がコンテンツデータ１４４を再生中に、第２通信部１１７が案内者Ｇの発する音声の音声データを受信した場合、音声モードを第２音声モードから第１音声モードに変更する。また、音声制御部１５７は、アプリケーション実行部１５６がコンテンツデータ１４４を再生中であっても、第２通信部１１７が案内者Ｇの音声データを受信していない場合には、音声モードは変更せずに第２音声モードのままとする。音声制御部１５７は、この他に、操作部１７０の操作により第１音声モードと第２音声モードとの切り替えを行ってもよい。

音声制御部１５７には、第２通信部１１７が音声データを受信した場合、第２音声信号が入力される。また、音声制御部１５７には、アプリケーション実行部１５６がコンテンツデータ１４４から取得した音声データが入力される。音声制御部１５７は、入力された音声データを処理して、音声信号を生成する。コンテンツデータ１４４から取得した音声データに基づく音声が、本発明の「表示画像に関連する音声」に相当する。コンテンツデータ１４４から取得した音声データから取り出した音声信号を、以下では第１音声信号という。表示画像に関連する音声の音声信号の他の例として、ライブ動画、テレビ画像等を含めることができる。

音声制御部１５７は、音声信号の周波数を必要に応じて変換する。例えば、音声制御部１５７は、第１音声信号の周波数と、第２音声信号の周波数とが一致しない場合、第１音声信号に対してリサンプリングを行い、第１音声信号の周波数を第２音声信号の周波数に一致させる。音声制御部１５７は、第１音声信号の周波数と、第２音声信号の周波数とが一致する場合には、周波数の変換は行わない。リサンプリングを行って、第１音声信号の周波数を第２音声信号の周波数に一致させることで、第１音声信号と第２音声信号の出力レベルの調整が容易になり、例えば、１回の操作で、第１音声信号と第２音声信号との両方をミュートすることができる。

音声制御部１５７は、音声モードが第１音声モードである場合、第１音声信号と、第２音声信号とを音声処理部１８０に出力する。また、音声制御部１５７は、音声モードが第２音声モードである場合、第１音声信号と、第２音声信号とのいずれか一方を音声処理部１８０に出力する。

音声認識部１５８は、第２通信部１１７が受信した第２音声信号を音声認識処理して、テキストデータを生成する。音声認識部１５８は、生成したテキストデータを表示制御部１５５に出力する。表示制御部１５５は、画像表示部２０を制御して、テキストデータを表示領域ＶＲに表示させる。

［ＨＭＤの音声処理系統の構成］
図６は、ＨＭＤ１００の音声処理系統の構成を示す図である。
音声処理部１８０は、処理部１８１、チャネル設定部１８３、右チャネル用Ｄ／Ａコンバーター１８５及び左チャネル用Ｄ／Ａコンバーター１８７を備える。

処理部１８１は、入力される音声信号の音量調整、すなわち、音声信号の増幅処理等を行う。処理部１８１は、制御部１５０から第１音声信号及び第２音声信号が入力された場合、第１音声信号及び第２音声信号の少なくともいずれか一方の音量を調整する。例えば、処理部１８１は、第１音声信号の音量と、第２音声信号の音量との差が所定値以上ある場合、いずれか一方の音声信号を増幅して音量の差が所定値以内となるように調整する。

音声モードが第１音声モードである場合、処理部１８１には、第１音声信号と第２音声信号とが入力される。音声制御部１５７は、音声モードが第１音声モードであり、コンテンツデータ１４４に含まれる第１音声信号がステレオ信号である場合、処理部１８１に、第１音声信号の信号形式を変換させる。処理部１８１は、音声制御部１５７の制御に従い、第１音声信号の信号形式をモノラルに変換する。又は、処理部１８１は、第１音声信号がステレオ信号である場合、左チャネルと右チャネルのうちのいずれか一方のチャネルの出力（音声信号）をカットして、他方のチャネルの出力（音声信号）をチャネル設定部１８３に出力する。

また、音声モードが第２音声モードである場合、処理部１８１には、第１音声信号と第２音声信号とのうち、いずれか一方の音声信号が入力される。処理部１８１は、音声モードが第２音声モードである場合、入力された第１音声信号又は第２音声信号をチャネル設定部１８３に出力する。

また、処理部１８１は、入力される音声信号の音量を音声制御部１５７の制御に従って調整する。
音声制御部１５７は、音声モードが第１音声モードの場合、右チャネル、左チャネル、又は右チャネル及び左チャネルのいずれかのチャネルに対するミュート操作、又は音量を変更（ボリューム変更）する操作を操作部１７０により受け付ける。また、音声制御部１５７は、音声モードが第２音声モードの場合、音声信号を出力中のチャネルに対するミュート操作、又は音量を変更する操作を操作部１７０により受け付ける。例えば、音声制御部１５７は、音声モードが第２音声モードであり、第２音声信号を右チャネル及び左チャネルに出力している場合、右チャネル、左チャネル、又は右チャネル及び左チャネルに対するミュート操作、又は音量を変更する操作を受け付ける。また、音声制御部１５７は、音声モードが第２音声モードであり、第２音声信号を左チャネルだけに出力している場合、左チャネルに対するミュート操作、又は音量を変更する操作を受け付ける。

また、コンテンツデータ１４４の音声が外国語である場合、使用者Ｕは、案内者Ｇの発する音声だけを聞きたいと考える場合がある。このような場合、使用者Ｕは、操作部１７０を操作して、コンテンツデータ１４４の映像と音声の出力をミュートさせることも可能である。制御部１５０は、映像及び音声をミュートさせる操作を操作部１７０により受け付けると、第１音声信号の出力と、映像の再生とをミュートする。
また、使用者Ｕが絵画鑑賞をしている場合であって、鑑賞している絵画について説明したコンテンツデータ１４４に基づくコンテンツが不要である場合、制御部１５０は、操作部１７０等の操作を受け付けた場合にコンテンツの再生をスキップしてもよい。この場合、制御部１５０は、次の絵画について説明するコンテンツにスキップさせる。

音声制御部１５７は、ミュート操作を受け付けた場合、遮断指示と、遮断するチャネルの指定とを含む制御信号を処理部１８１に出力する。また、音声制御部１５７は、音量を変更する操作を受け付けた場合、音量の変更指示と、音量を変更するチャネルの指定と、変更する音量とを含む制御信号を処理部１８１に出力する。

処理部１８１は、音声制御部１５７から入力された制御信号に遮断指示が含まれる場合、制御信号により指定されたチャネルへの音声信号の出力を停止する。処理部１８１は、制御信号により指定されたチャネルに対応付けられた音声信号のチャネル設定部１８３への出力を停止する。これにより、操作部１７０により受け付けた操作に対応したチャネルの音声がミュートされる。
また、処理部１８１は、音声制御部１５７から入力された制御信号に音量の変更指示が含まれる場合、制御信号により指定されたチャネルに出力する音声信号の音量を、制御信号により指定された音量に変更し、変更後の音声信号をチャネル設定部１８３に出力する。

チャネル設定部１８３には、第１音声信号と第２音声信号との少なくともいずれかが入力される。
音声モードが第１音声モードである場合、チャネル設定部１８３には、第１音声信号及び第２音声信号が入力される。チャネル設定部１８３は、例えば、第１音声信号の出力チャネルを右チャネルに割り当て、第２音声信号の出力チャネルを左チャネルに割り当てる。第１音声信号を左チャネルに割り当て、第２音声信号を右チャネルに割り当ててもよい。

また、左右の両方のチャネルから第１音声信号及び第２音声信号を出力するようにしてもよい。この場合、左右の両方のチャネルで、第１音声信号及び第２音声信号の出力比率を変更してもよい。例えば、左チャネルは、第１音声信号の出力比率を９０％、第２音声信号の出力比率を１０％とし、右チャネルは、第１音声信号の出力比率を１０％、第２音声信号の出力比率を９０％とする。
また、左右の両方のチャネルから第１音声信号及び第２音声信号を出力する場合に、使用者Ｕと、案内者Ｇとの位置関係に応じて、左チャネルに出力する第１音声信号及び第２音声信号の出力比率と、右チャネルに出力する第１音声信号及び第２音声信号の出力比率とを変更してもよい。例えば、案内者Ｇの方向から音声が聞こえるように左チャネルに出力する第１音声信号及び第２音声信号の出力比率と、右チャネルに出力する第１音声信号及び第２音声信号の出力比率とを変更する。また、ＨＭＤ１００を美術館において使用する場合、使用者Ｕが鑑賞している絵画の方向から音声が聞こえるように左チャネルに出力する第１音声信号及び第２音声信号の出力比率と、右チャネルに出力する第１音声信号及び第２音声信号の出力比率とを変更してもよい。

また、音声モードが第２音声モードである場合、チャネル設定部１８３には、第１音声信号及び第２音声信号のいずれか一方が入力される。チャネル設定部１８３は、入力された音声信号を、左チャネル及び右チャネルに割り当てる。また、チャネル設定部１８３は、入力された音声信号を、左チャネル及び右チャネルのいずれか一方のチャネルに割り当ててもよい。
第２音声モードである場合に、１の音声信号を左チャネル及び右チャネルに割り当てるか、左チャネル又は右チャネルに割り当てるかの設定は、使用者Ｕの事前に設定に応じて変更可能である。

チャネル設定部１８３は、右チャネルに設定した音声信号を右チャネル用Ｄ／Ａコンバーター１８５に出力する。また、チャネル設定部１８３は、左チャネルに設定した音声信号を左チャネル用Ｄ／Ａコンバーター１８７に出力する。

右チャネル用Ｄ／Ａコンバーター１８５は、入力された音声信号をＤ／Ａ変換し、変換したアナログの音声信号を右イヤホン３２に出力する。すなわち、チャネル設定部１８３により出力チャネルが右チャネルに設定された音声信号が右イヤホン３２から出力される。
また、左チャネル用Ｄ／Ａコンバーター１８７は、入力された音声信号をＤ／Ａ変換し、変換したアナログの音声信号を左イヤホン３４に出力する。すなわち、チャネル設定部１８３により出力チャネルが左チャネルに設定された音声信号が左イヤホン３４から出力される。

図７は、表示領域ＶＲを示す図である。
表示領域ＶＲは、画像表示部２０を頭部に装着した使用者Ｕの視野範囲ＦＶにおいて、画像表示部２０が表示画像を表示可能な領域である。表示領域ＶＲは外景に重畳され、使用者Ｕは画像表示部２０が表示する表示画像と外景とを同時に視認することができる。図７に示す表示領域ＶＲには、画像表示部２０が表示する表示画像の一例として、自転車の画像４１０と、ポインター４２０とが表示された状態を示す。表示制御部１５５は、操作パッド１４により受け付けた操作により、ポインター４２０の表示位置を変更する。
表示制御部１５５は、画像表示部２０を制御して、音声認識部１５８から入力されたテキストデータを表示領域ＶＲに表示させる。図７には、テキストデータとして「自転車の色を選択してください。」の文字４３０が表示された状態を示す。

また、表示領域ＶＲには、第1音声信号の音量（ボリューム）を表示する図形４５０と、第２音声信号の音量（ボリューム）を表示する図形４７０とが表示される。図形４５０や４７０は、グラフィカルユーザーインターフェイスとして表示領域ＶＲに表示される。
図形４５０は、図形４７０とは形状が異なり、使用者Ｕが第1音声信号の音量を認識可能な図形であればよい。同様に、図形４７０は、図形４５０とは形状が異なり、使用者Ｕが第２音声信号の音量を認識可能な図形であればよい。また、図７には、形状が異なる図形４５０と図形４７０とを表示させた例を示すが、図形４５０と図形４７０とは、形状、色及びサイズのうちのいずれか少なくとも１つが異なればよい。

図７に示す表示例は、第１音声信号の音量に対応した数の図形４５０が表示され、同様に、第２音声信号の音量に対応した数の図形４７０が表示される。
表示制御部１５５は、例えば、操作部１７０により第１音声信号の音量をアップさせる操作を受け付けた場合、アップさせる音量に対応して図形４５０の数を増加させる。また、表示制御部１５５は、第１音声信号の音量をダウンさせる場合、ダウンさせた音量に対応して図形４５０の数を減少させる。
同様に、表示制御部１５５は、操作部１７０により第２音声信号の音量をアップさせる操作を受け付けた場合、アップさせる音量に対応して図形４７０の数を増加させる。また、表示制御部１５５は、第２音声信号の音量をダウンさせる場合、ダウンさせた音量に対応して図形４５０の数を減少させる。

表示制御部１５５は、音声モードが第１音声モードである場合には、第１音声信号の音量を示す図形４５０と、第２音声信号の音量を示す図形４７０とを表示領域ＶＲに表示させる。また、表示制御部１５５は、音声モードが第２音声モードである場合には、第１音声信号の音量を示す図形４５０と、第２音声信号の音量を示す図形４７０とのいずれか一方を表示領域ＶＲに表示させる。すなわち、出力中の音声信号に対応した図形４５０又は４７０を表示領域ＶＲに表示させる。

また、第１音声信号の音量に応じて図形４５０のサイズや、色の濃度を変更してもよい。表示制御部１５５は、第１音声信号の音量が大きくなるほど、図形４５０のサイズが大きくなるように図形４５０のサイズを変更したり、図形４５０の色の濃度が濃くなるように図形４５０の表示色を変更したりしてもよい。
同様に、第２音声信号の音量に応じて図形４７０のサイズや、色の濃度を変更してもよい。表示制御部１５５は、第２音声信号の音量が大きくなるほど、図形４７０のサイズが大きくなるように図形４７０のサイズを変更したり、図形４７０の色の濃度が濃くなるように図形４７０の表示色を変更したりしてもよい。

また、第１音声信号の音量に対応した図形４５０や、第２音声信号の音量に対応した図形４７０に代えて、第１音声信号の音量や、第２音声信号の音量を示すテキストを表示領域ＶＲに表示させてもよい。例えば、表示制御部１５５は、第１音声信号の音量を、０％以上、１００％以下の範囲の数値で表示してもよいし、第１音声信号の音量に対応した例えば、大、中、小の文字を表示させてもよい。第２音声信号についても同様である。

また、表示制御部１５５は、ポインター４２０をグラフィカルユーザーインターフェイスとして表示領域に表示させる。音声制御部１５７は、本発明の「操作部」に対応する機能部である操作パッド１４の操作面に対する操作を受け付けて、第１音声信号や第２音声信号の音量を変更する。

例えば、使用者Ｕは、操作パッド１４の操作面に対する操作を行って、音量を変更したい音声信号に対応する図形４５０又は４７０の表示位置にポインター４２０を移動させる。表示制御部１５５は、使用者Ｕによる操作面に対する操作を受け付け、表示領域ＶＲにおけるポインター４２０の表示位置を、受け付けた操作に対応して変更する。
使用者Ｕは、ポインター４２０が図形４５０又は図形４７０に重なると、操作パッド１４の操作面に対して操作を行う。この操作は、ポインター４２０の表示位置を移動させる操作とは異なる操作であり、例えば、操作パッド１４操作面への接触、加圧、或いは衝撃のいずれかの操作が含まれる。

例えば、音声制御部１５７は、操作面の同一位置を複数回叩く操作を受け付けた場合、ポインター４２０が重なる図形４５０又は４７０に対応する音声信号の音量を、叩く操作に対応して大きくする。また、音声制御部１５７は、操作面の同一位置を長押しする操作を受け付けた場合、ポインター４２０が重なる図形４５０又は４７０に対応する音声信号の音量を、長押しが検出される時間に対応して小さくする。

また、音声信号の音量を変更する操作は、操作パッド１４の操作面に対する操作だけではなく、例えば、ジェスチャーにより行うことも可能である。
制御部１５０は、６軸センサー２３５の検出値により使用者Ｕの頭部の動きを検出する。例えば、制御部１５０は、６軸センサー２３５の検出値により頭部を上から下に動かす（すなわち、うなずく）動作を検出した場合、ポインター４２０が重なる図形４５０又は４７０に対応する音声信号の音量を大きくする。また、制御部１５０は、６軸センサー２３５の検出値により頭部を下から上に動かす動作を検出した場合、ポインター４２０が重なる図形４５０又は４７０に対応する音声信号の音量を小さくする。

また、制御部１５０は、６軸センサー２３５の検出値により使用者Ｕの頭部を左に回転させる動きが検出された場合に、ポインター４２０が重なる図形４５０又は４７０に対応する音声信号の音量を大きく変更してもよい。また、制御部１５０は、６軸センサー２３５の検出値により使用者Ｕの頭部を右に回転させる動きが検出された場合に、ポインター４２０が重なる図形４５０又は４７０に対応する音声信号の音量を小さく変更してもよい。
また、制御部１５０は、６軸センサー２３５の検出値により使用者Ｕの頭部を左又は右に回転させる動きが検出された場合に、ポインター４２０が重なる図形４５０又は４７０に対応する音声信号をミュートしてもよい。

［ＨＭＤの動作］
図８及び図９は、制御部１５０の動作を示すフローチャートである。
制御部１５０は、使用者Ｕの操作により選択されたアプリケーションプログラム１４２を実行する（ステップＳ１）。ここで、選択されたアプリケーションプログラム１４２は、動画再生用のアプリケーションプログラム１４２であると仮定して説明する。

次に、制御部１５０は、コンテンツデータ１４４の再生指示を受信したか否かを判定する（ステップＳ２）。制御部１５０は、第１通信部１１６が端末装置３００からコンテンツデータ１４４の識別情報と、再生指示とを受け付けたか否かを判定する（ステップＳ２）。制御部１５０は、コンテンツデータ１４４の再生指示を受信していない場合（ステップＳ２／ＮＯ）、第２通信部１１７が音声信号を受信したか否かを判定する（ステップＳ３）。制御部１５０は、第２通信部１１７が音声信号を受信した場合（ステップＳ３／ＹＥＳ）、受信した音声信号が左チャネル及び右チャネルから出力されるように音声処理部１８０を制御し（ステップＳ４）、ステップＳ２の判定に戻る。また、制御部１５０は、第２通信部１１７が音声信号を受信していない場合（ステップＳ３／ＮＯ）、ステップＳ２の判定に戻る。

また、制御部１５０は、ステップＳ２において、コンテンツデータ１４４の再生指示を受信した場合（ステップＳ２／ＹＥＳ）、再生指示に含まれる識別情報により指定されたコンテンツデータ１４４の再生を開始する（ステップＳ５）。次に、制御部１５０は、第２通信部１１７が音声信号を受信したか否かを判定する（ステップＳ６）。

制御部１５０は、第２通信部１１７が音声信号を受信していない場合（ステップＳ６／ＮＯ）、ミュート又は音量変更の操作を操作部１７０により受け付けたか否かを判定する（ステップＳ７）。制御部１５０は、ミュート又は音量変更の操作を受け付けた場合（ステップＳ７／ＹＥＳ）、音声出力のミュート指示又は音量変更の指示を音声処理部１８０に出力する。音声処理部１８０は、制御部１５０から入力されるミュート指示又は音量変更の指示に従い、出力中の音声信号をミュート又は音量を変更する（ステップＳ８）。また、制御部１５０は、ミュート又は音量変更の操作を受け付けていない場合（ステップＳ７／ＮＯ）、受け付けた操作に対応した処理を実行し（ステップＳ９）、ステップＳ１０の判定に移行する。

制御部１５０は、ステップＳ１０において、コンテンツデータ１４４の再生が終了したか否かを判定する。制御部１５０は、コンテンツデータ１４４の再生が終了していない場合（ステップＳ１０／ＮＯ）、ステップＳ６の判定に戻り、第２通信部１１７が音声データを受信したか否かを判定する。また、制御部１５０は、コンテンツデータ１４４の再生が終了した場合（ステップＳ１０／ＹＥＳ）、ステップＳ２に戻り、コンテンツデータ１４４の再生指示を第２通信部１１７により受信したか否かを判定する。

また、制御部１５０は、ステップＳ６において、第２通信部１１７が音声データを受信したと判定した場合（ステップＳ６／ＹＥＳ）、音声モードを変更する（ステップＳ１１）。制御部１５０は、コンテンツデータ１４４の再生中に、第２通信部１１７が音声データを受信した場合、音声モードを第２音声モードから第１音声モードに変更する。

制御部１５０は、音声モードを第１音声モードに変更すると、左チャネル及び右チャネルから異なる音声が出力されるように音声処理部１８０を制御する（ステップＳ１２）。例えば、制御部１５０は、コンテンツデータ１４４に含まれる音声の第１音声信号が左チャネルから出力され、第２通信部１１７が受信した音声データを処理して得た第２音声信号が右チャネルから出力されるように音声処理部１８０を制御する。

次に、制御部１５０は、操作部１７０により操作を受け付けたか否かを判定する（ステップＳ１３）。制御部１５０は、操作部１７０により操作を受け付けていないと判定すると（ステップＳ１３／ＮＯ）、ステップＳ１７の判定に移行する。また、制御部１５０は、操作部１７０により操作を受け付けた場合（ステップＳ１３／ＹＥＳ）、受け付けた操作がミュート操作又は音量の変更操作であるか否かを判定する（ステップＳ１４）。

制御部１５０は、受け付けた操作がミュート操作又は音量の変更操作であると判定すると（ステップＳ１４／ＹＥＳ）、ミュートするチャネルを判定し、判定したチャネルへの音声出力をミュートするように音声処理部１８０を制御する（ステップＳ１５）。また、制御部１５０は、音量を変更するチャネルを判定し、判定したチャネルに出力する音声信号の音量を変更するように音声処理部１８０を制御する（ステップＳ１５）。
また、制御部１５０は、受け付けた操作がミュート操作又は音量の変更操作ではないと判定すると（ステップＳ１４／ＮＯ）、受け付けた操作に対応した処理を実行する（ステップＳ１６）。

次に、制御部１５０は、コンテンツデータ１４４の再生が終了したか否かを判定する（ステップＳ１７）。制御部１５０は、コンテンツデータ１４４の再生が終了していないと判定した場合（ステップＳ１７／ＮＯ）、ステップＳ１３の判定に戻り、操作部１７０により操作を受け付けたか否かを判定する。また、制御部１５０は、コンテンツデータ１４４の再生が終了したと判定した場合（ステップＳ１７／ＹＥＳ）、音声モードを第１音声モードから第２音声モードに変更し（ステップＳ１８）、この処理フローを終了する。

上述した実施形態では、ＨＭＤ１００が右イヤホン３２及び左イヤホン３４を有するヘッドセット３０により音声信号を出力する場合について説明したが、右イヤホン３２、左イヤホン３４に代えて、骨伝導スピーカーを採用してもよい。骨伝導スピーカーを使用者Ｕの左右の両頬に接触させることで、右チャネルの音声信号を右頬に接触させた骨伝導スピーカーから出力する。また、左チャネルの音声信号を左頬に接触させた骨伝導スピーカーから出力する。

以上説明したように本実施形態のＨＭＤ１００は、画像表示部２０と、右イヤホン３２及び左イヤホン３４と、第２通信部１１７と、制御部１５０とを備える。
画像表示部２０は、使用者Ｕの頭部に装着され、画像を表示する。
右イヤホン３２及び左イヤホン３４は、使用者Ｕの右の耳、及び左の耳にそれぞれ装着される。右イヤホン３２には、右耳用の右チャンネルの音声信号に基づいて音声が出力される。また、左イヤホン３４には、左耳用の左チャネルの音声信号に基づいて音声が出力される。第２通信部１１７は、音声データを受信する。制御部１５０は、画像表示部２０による表示画像に関連する第１音声信号、及び第２通信部１１７で受信した第２音声信号を左チャンネル、及び右チャンネルにそれぞれ割り当てて、音声として出力させる。

上記構成によれば、ＨＭＤ１００を装着することで、例えば、美術館や博物館等において、案内者Ｇの発する声と、館内の展示物を説明した動画（コンテンツデータ１４４）の音声とを両方同時に聞くことができる。
このため、コンテンツデータ１４４の再生のためにＨＭＤ１００を装着し、案内者Ｇの音声を聞くためにレシーバーをさらに装着する場合と比較して、使用者Ｕに装着させる機器の数を減らすことができる。また、レシーバーとＨＭＤ１００とを両方操作する場合と比較して、ＨＭＤ１００だけを操作すればよいので、操作性を高めることができる。

また、アプリケーション実行部１５６、又は第１通信部１１６は、表示用のコンテンツデータ１４４を取得する取得部として動作する。
制御部１５０は、取得したコンテンツデータ１４４に基づく画像を画像表示部２０により表示させ、コンテンツデータ１４４に含まれる第１音声信号、及び第２通信部１１７で受信した第２音声信号を右イヤホン３２及び左イヤホン３４により出力させる。
従って、コンテンツデータ１４４に基づく画像を画像表示部２０により表示させながら、コンテンツデータ１４４に含まれる第１音声信号と、第２通信部１１７が受信した第２音声信号とを右イヤホン３２及び左イヤホン３４により出力させることができる。

また、ＨＭＤ１００は、右イヤホン３２及び左イヤホン３４により出力される音声信号の音量の変更指示及びミュートの指示の少なくともいずれかを受け付ける操作部１７０を、ユーザーインターフェイス部として備える。
制御部１５０は、操作部１７０により受け付けた指示に従って右イヤホン３２及び左イヤホン３４により出力させる音声信号の音量を変更又はミュートを実行させる。
従って、操作部１７０を操作して、右イヤホン３２及び左イヤホン３４に出力される音声信号の音量を変更したり、又は音声信号をミュートしたりすることができる。

また、操作部１７０は、右イヤホン３２の右チャネル、及び左イヤホン３４の左チャネルごとに、音声信号の音量の変更指示、又は音声信号のミュートの指示を受け付ける。
この構成によれば、右チャネル及び左チャネルのチャネルごとに、音声信号の音量を変更し、音声信号をミュートすることができる。

また、制御部１５０は、コンテンツデータ１４４に含まれる第１音声信号を右チャネル及び左チャネルのうちのいずれか一方のチャネルに出力させ、第２通信部１１７で受信した第２音声信号を、他方のチャネルに出力させる第１音声モードを備える。
また、制御部１５０は、コンテンツデータ１４４に含まれる第１音声信号、又は第２通信部１１７で受信した第２音声信号を右チャネル又は左チャネルから出力させる第２音声モードを備える。制御部１５０は、第１音声モードと第２音声モードとを切り替えて実行可能（切替可能）である。
制御部１５０は、音声モードが第１音声モードである場合、右チャネル及び左チャネルのチャネルごとに指示を受け付ける。また、制御部１５０は、音声モードが第２モードである場合、音声信号を出力中のチャネルについて指示を受け付ける。
従って、音声モードを変更することで、音量の変更又はミュートを設定可能なチャネルを変更することができる。

また、制御部１５０は、グラフィカルユーザーインターフェイスとして、第１音声信号の音量に対応した図形４５０や、第２音声信号の音量に対応した図形４７０を画像表示部２０により表示させる。また、制御部１５０は、グラフィカルユーザーインターフェイスとして、ポインター４２０を画像表示部２０により表示させる。制御部１５０は、操作パッド１４の操作面に対する使用者Ｕの操作によりポインター４２０の表示位置を変更する。制御部１５０は、ポインター４２０の操作により第１音声信号及び第２音声信号の音量を変更する操作や、ミュートを指示する操作を受け付ける。
従って、画像表示部２０により表示される画像を視認しながら音声信号の音量を変更する操作や、ミュートを指示する操作を行うことができるので、操作をより簡易に行うことができる。

また、ＨＭＤ１００は、ユーザーインターフェイス部として、コントローラー１０に搭載された操作パッド１４を備え、操作パッド１４の操作面に対する操作を受け付ける。
制御部１５０は、操作パッド１４の操作面に対する接触、加圧、或いは衝撃のいずれかを含む操作により音声信号の音量を変更する操作や、ミュートを指示する操作を受け付ける。
従って、操作パッド１４の操作面に対する接触、加圧、或いは衝撃の操作により音声信号の音量を変更したり、音声信号をミュートさせたりすることができる。

また、画像表示部２０は、外景を透過する表示領域ＶＲに画像を表示する透過型の表示部である。
従って、外景を透過する表示領域ＶＲに表示された画像を視認しながら、右イヤホン３２及び左イヤホン３４に出力される音声信号の音量を変更する操作や、音声信号をミュートする操作を行うことができる。

また、制御部１５０は、第２通信部１１７で受信した音声信号に対応するテキストを画像表示部２０により表示させる。
従って、音声信号に対応したテキストを画像表示部２０により表示させることができる。このため、音声信号が聞きにくい場所では、テキストにより音声の内容を把握することができる。

また、制御部１５０は、第２通信部１１７で受信した第２音声信号の出力状態を変化させる場合に、画像表示部２０により表示させるテキストの表示状態を変化させる。
従って、使用者Ｕに、テキストの表示状態により音声信号の出力状態の変化を認識させることができる。

また、第２通信部１１７は、無線通信により音声データを受信する。
従って、第２音声信号を無線通信により受信することができる。このため、第２音声信号を受信するためにＨＭＤ１００を有線で接続する必要がなくなり、第２音声信号を受信可能な範囲を、有線による接続の場合と比較して広げることができる。

なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、端末装置３００が、ＨＭＤ１００に再生させるコンテンツデータ３７３を記憶部３７０から読み出し、第１通信部３１０によりＨＭＤ１００に送信してもよい。ＨＭＤ１００は、端末装置３００から受信したコンテンツデータ３７３をアプリケーション実行部１５６で再生してもよい。この場合、ＨＭＤ１００の第１通信部１１６は、本発明の「取得部」に対応した動作を行う。

また、ＨＭＤ１００にノイズキャンセリング機能を設けて、案内者Ｇと使用者Ｕとが雑音の多い場所にいる場合に、ノイズをキャンセルするようにしてもよい。

また、上述の実施形態では、音声出力部が右イヤホン３２及び左イヤホン３４である場合を例にして説明したが、本体１１の例えば、右保持部２１と左保持部２３にスピーカーを設けてもよいし、Ｂｌｕｅｔｏｏｔｈ接続されたイヤホンから音声を出力してもよい。

また、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者Ｕの左眼に対応して画像を表示する表示部と、使用者Ｕの右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者Ｕの身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

さらに、コントローラー１０と画像表示部２０とが一体に構成され、使用者Ｕの頭部に装着される構成とすることも可能である。また、コントローラー１０として、ノート型コンピューター、タブレット型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。

また、上記実施形態では、画像表示部２０とコントローラー１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明したが、コントローラー１０と画像表示部２０とが無線通信回線によって接続される構成であってもよい。

また、画像光を使用者Ｕの眼に導く光学系として、右導光板２６及び左導光板２８は、ハーフミラーを用いてもよいし、回折格子、プリズム等を用いてもよい。また、画像表示部２０は、ホログラフィー表示部を用いてもよい。

また、ブロック図に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１またはコントローラー１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムをＵＳＢコネクター１９、第１通信部１１６、第２通信部１１７、外部メモリーインターフェイス１９１などを介して取得して実行する構成としてもよい。また、コントローラー１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１２５と同様のプロセッサーが画像表示部２０に配置されてもよいし、コントローラー１０が備えるメインプロセッサー１２５と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。

また、本発明の頭部装着型表示装置の制御方法を、表示装置を備えたコンピューターを用いて実現する場合、本発明を、上記制御方法を実現するためにコンピューターが実行するプログラム、このプログラムを前記コンピューターで読み取り可能に記録した記録媒体、或いは、このプログラムを伝送する伝送媒体の態様で構成することも可能である。上記記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ（Hard Disk Drive）、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、画像表示装置が備える内部記憶装置であるＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ等の不揮発性記憶装置であってもよい。

１…音声伝送システム、１０…コントローラー、１１…本体、１２…ホイール操作部、１３…中央キー、１４…操作パッド、１５…上下キー、１７…ＬＥＤ表示部、１８…電源スイッチ、１９…ＵＳＢコネクター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４２…コネクター、４６…オーディオコネクター、６１…カメラ、６３…マイク、６４…距離センサー、６５…照度センサー、６７…ＬＥＤインジケーター、６９…温度センサー、１００…ＨＭＤ、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ、１１６…第１通信部、１１７…第２通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２５…メインプロセッサー、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…記憶部、１４１…オペレーティングシステム、１４２…アプリケーションプログラム、１４３…設定データ、１４４…コンテンツデータ、１５０…制御部、１５１…基本制御部、１５２…通信制御部、１５３…画像処理部、１５４…撮像制御部、１５６…アプリケーション実行部、１５７…音声制御部、１５８…音声認識部、１７０…操作部、１７２…タッチセンサー、１７４…スイッチ、１７６…バイブレーター、１８０…音声処理部、１８１…処理部、１８３…チャネル設定部、１８５…右チャネル用Ｄ／Ａコンバーター、１８７…左チャネル用Ｄ／Ａコンバーター、１９１…外部メモリーインターフェイス、１９３…センサーハブ、１９５…ＦＰＧＡ、１９７…インターフェイス、１９９…ＵＳＢコントローラー、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２２１…ＯＬＥＤユニット、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、３００…端末装置、３１０…第１通信部、３２０…第２通信部、３３０…操作部、３４３…操作検出部、３５０…音声出力部、３６０…音声入力部、３７０…記憶部、３７１…制御プログラム、３７３…コンテンツデータ、３７５…接続情報、３８０…制御部、３８１…通信制御部、３８３…アプリケーション実行部、４１０…画像、４２０…ポインター、４３０…文字。

Claims (13)

1. 使用者の頭部に装着され、画像を表示する表示部と、
   右チャネルと左チャネルとに音声を出力する音声出力部と、
   音声信号を受信する通信部と、
   前記表示部による表示画像に関連する音声信号、及び前記通信部で受信した音声信号に基づく音声を左チャンネル、及び右チャンネルにそれぞれ割り当てて出力させる制御部と、
   を備える頭部装着型表示装置。
2. 音声信号を伴う表示用のコンテンツデータを取得する取得部を備え、
   前記制御部は、前記取得部により取得された前記コンテンツデータに基づく画像を前記表示部により表示させ、前記コンテンツデータの前記音声信号に基づく音声、及び前記通信部で受信した音声信号に基づく音声を前記音声出力部により出力させる、請求項１記載の頭部装着型表示装置。
3. 前記音声出力部により出力される音声信号のボリュームの変更の指示及びミュートの指示の少なくともいずれかを受け付けるユーザーインターフェイス部を備え、
   前記制御部は、前記ユーザーインターフェイス部により受け付けた指示に従って前記音声出力部により出力させる音声信号のボリューム変更又はミュートを実行させる、請求項２記載の頭部装着型表示装置。
4. 前記ユーザーインターフェイス部は、前記音声出力部のチャネルごとに、音声信号のボリュームの変更の指示及びミュートの指示の少なくともいずれかを受け付ける、請求項３記載の頭部装着型表示装置。
5. 前記制御部は、前記コンテンツデータの前記音声信号に基づく音声を右チャネル及び左チャネルのうちのいずれか一方のチャネルから出力させ、前記通信部で受信した音声信号に基づく音声を、右チャネル及び左チャネルのうちの他方のチャネルから出力させる第１音声モードと、
   前記コンテンツデータの前記音声信号に基づく音声、及び前記通信部で受信した音声信号に基づく音声のいずれか一方を、右チャネル及び左チャネルから出力させる第２音声モードと、を切替可能であり、
   前記ユーザーインターフェイス部は、前記第１音声モードでは前記音声出力部のチャネルごとに前記指示を受け付け、前記第２音声モードでは音声信号を出力中のチャネルについて前記指示を受け付ける、請求項３記載の頭部装着型表示装置。
6. 前記ユーザーインターフェイス部は、前記表示部が表示する画像を含むグラフィカルユーザーインターフェイスで構成される、請求項３項に記載の頭部装着型表示装置。
7. 前記ユーザーインターフェイス部は、操作を受け付ける操作部を含み、前記操作部に対する接触、加圧、或いは衝撃のいずれかを含む操作により音声信号のボリュームの変更の指示及びミュートの指示の少なくともいずれかを受け付ける、請求項３から６のいずれか１項に記載の頭部装着型表示装置。
8. 前記表示部は、外景を透過する表示領域に画像を表示する透過型の表示部である、請求項１から７のいずれか１項に記載の頭部装着型表示装置。
9. 前記制御部は、前記通信部で受信した音声信号に基づく音声に対応するテキストを前記表示部に表示させる、請求項１から８のいずれか１項に記載の頭部装着型表示装置。
10. 前記制御部は、前記通信部で受信した音声信号に基づく音声の出力状態を変化させる場合に、前記表示部に表示させる前記テキストの表示状態を変化させる、請求項９記載の頭部装着型表示装置。
11. 前記通信部は無線通信により前記音声信号を受信する、請求項１から１０のいずれか１項に記載の頭部装着型表示装置。
12. 音声信号を送信する送信装置と、前記送信装置が送信する音声信号を受信する頭部装着型表示装置とを有する音声伝送システムであって、
    前記頭部装着型表示装置は、
    使用者の頭部に装着され、画像を表示する表示部と、
    右チャネルと左チャネルとに音声を出力する音声出力部と、
    音声信号を受信する通信部と、
    前記表示部による表示画像に関連する音声信号、及び前記通信部で受信した音声信号に基づく音声を左チャンネル、及び右チャンネルにそれぞれ割り当てて出力させる制御部と、
    を備える音声伝送システム。
13. 使用者の頭部に装着され、画像を表示する表示部と、右チャネルと左チャネルとに音声を出力する音声出力部と、通信部とを備える頭部装着型表示装置の制御方法であって、
    音声信号を前記通信部により受信し、
    前記表示部による表示画像に関連する音声の音声信号、及び前記通信部で受信した音声信号に基づく音声を左チャンネル、及び右チャンネルにそれぞれ割り当て、
    左チャネルに割り当てた音声信号と、右チャネルに割り当てた音声信号とを前記音声出力部により出力する、頭部装着型表示装置の制御方法。

Images