JP2017102516A - 表示装置、通信システム、表示装置の制御方法、及び、プログラム - Google Patents

Abstract

【課題】使用者が装着する表示装置と、外部の装置との間で、音声に基づく情報提供等を行うための伝送処理を効率化する。【解決手段】ＨＭＤ１００は、使用者の頭部に装着され、画像を表示する画像表示部２０と、データを送受信する通信部１１７とを備える。音声を検出して、検出した音声から発話データを生成する音声処理部１８７を備える。音声処理部１８７により生成した発話データ、または、発話データを解析して得られる発話解析データを通信部１１７により送信させ、通信部１１７により発話データまたは発話解析データを受信する通信制御部１７０を備える。通信部１１７により受信した発話データまたは発話解析データに基づく画像を画像表示部２０に表示させる表示制御部１９０を備える。【選択図】図４

Description

本発明は、表示装置、通信システム、表示装置の制御方法、及び、プログラムに関する。

従来、ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）等の表示装置を利用して、音声や映像を提供する例が知られている（例えば、特許文献１参照）。特許文献１は、作業者が装着するＨＭＤがカメラ、マイク、イヤホンを備え、カメラで撮像した画像を遠隔地のホストＰＣに送信する。また、遠隔地のホストＰＣを操作する指示者が、作業者に対して映像や音声で作業指示を行う。

特開２００８−１１３３１７号公報

特許文献１記載のシステムでは、ＨＭＤから映像を送信し、ＨＭＤに対して音声を提供する。映像や音声を送受信する場合、送受信するデジタルデータのデータ量が比較的大きくなることから、通信路の伝送帯域を確保する必要が生じる。また、映像や音声の送信時に遅延が生じると、映像や音声の出力タイミングがずれることによって、使用者に違和感を与える可能性があり、意思伝達が滞る可能性がある。
本発明は上記事情に鑑みてなされたものであり、使用者が装着する表示装置と、外部の装置との間で、音声に基づく情報提供等を行うための伝送処理を効率化することを目的とする。

上記目的を達成するために、本発明の表示装置は、使用者の頭部に装着され、画像を表示する表示部と、データを送受信する通信部と、音声を検出して、検出した音声から発話データを生成する音声処理部と、前記音声処理部により生成した前記発話データ、または、前記発話データを解析して得られる発話解析データを前記通信部により送信させ、前記通信部により前記発話データまたは前記発話解析データを受信する通信制御部と、前記通信部により受信した前記発話データまたは前記発話解析データに基づく画像を前記表示部に表示させる表示制御部と、を備えることを特徴とする。
本発明によれば、使用者の頭部に装着される表示装置が、音声を検出して発話データ、または発話データを解析した発話解析データを送信する。また、発話データ、または発話データを受信して、発話データまたは発話データに基づく表示を行える。これにより、表示装置を装着する使用者の音声を発話データまたは発話解析データとして、他の表示装置や、コンピューター等の外部の装置に送信できる。また、発話データまたは発話解析データを受信して、例えば文字や画像等を表示できる。従って、表示装置と外部の装置との間で、音声に基づくデータを効率よく送受信し、表示装置を装着する使用者に対する音声による情報の提供、及び、使用者の音声に基づく情報の発信を効率化できる。

また、本発明は、上記表示装置において、前記音声処理部は、検出した音声から発話データを生成し、生成した発話データに対し認識処理を実行し、認識結果を前記発話解析データとして出力すること、を特徴とする。
本発明によれば、検出した音声認識処理の結果を含む発話解析データを出力するので、表示装置を装着する使用者の音声を、例えばテキストを含む発話解析データとして、他の表示装置や、コンピューター等の外部の装置に送信できる。従って、表示装置から外部の装置に対し、表示装置を装着する使用者の音声に関する情報の発信を効率化できる。

また、本発明は、上記表示装置において、前記表示制御部は、音声コマンドによる操作を行うための音声操作用インターフェイスを表示し、前記音声処理部は、前記表示制御部により前記音声操作用インターフェイスを表示する間に検出した音声が音声コマンドに該当するか否かを判定し、音声コマンドに該当する場合に前記音声操作用インターフェイスで表示された項目に対する操作を検出すること、を特徴とする。
本発明によれば、音声コマンドにより表示装置を操作することができ、操作性の向上を図ることができる。

また、本発明は、上記表示装置において、音声を出力する音声出力部を備え、前記音声処理部は、前記通信部により受信した前記発話データまたは前記発話解析データに基づく音声を前記音声出力部によって出力すること、を特徴とする。
本発明によれば、使用者が装着する表示装置が、発話データまたは発話解析データを受信して音声を出力するので、使用者に対して音声による情報提供や指示を行うことができる。

また、本発明は、上記表示装置において、前記通信部により受信した前記発話データまたは前記発話解析データを、他の言語の前記発話データまたは前記発話解析データに変換する言語処理部を備えること、を特徴とする。
本発明によれば、発話データまたは発話解析データを受信して他の言語のデータに変換できる。このため、受信した発話データまたは発話解析データの言語と使用者が使用する言語とが異なる場合であっても、使用者に対し音声による情報提供や指示を行うことができる。

また、本発明は、上記表示装置において、前記音声処理部が音声を検出するか否か、前記音声出力部の音声出力をするか否か、前記通信部により前記発話データまたは前記発話解析データを送信する送信先、及び、前記通信部により前記発話データまたは前記発話解析データを受信する受信元の少なくともいずれかが異なる複数の動作モードを、切り替えて実行する動作モード制御部を備え、前記音声処理部、及び、前記通信制御部のうち少なくともいずれかは、前記動作モード制御部が実行する動作モードに対応する設定に従って動作すること、を特徴とする。
本発明によれば、動作モードを切り替えることにより、音声を検出するか否か、音声出力をするか否か、発話データまたは発話解析データを送信する送信先、及び、発話データまたは発話解析データを受信する受信元等を切り替えることができる。

また、本発明は、上記表示装置において、前記使用者に割り当てられる権限と、前記動作モード制御部が実行可能な動作モードとを対応付ける設定情報を記憶する記憶部を備え、前記動作モード制御部は、前記表示部を装着する使用者の権限を判定し、前記設定情報において、判定した権限に対応付けられた動作モードを実行すること、を特徴とする。
本発明によれば、使用者の権限に対応して、例えば一部の機能の実行を制限することができる。これにより、表示装置が多機能化した場合であっても、機能の利用範囲を適切に制限できる。

また、本発明は、上記表示装置において、操作を検出する操作検出部を備え、前記動作モード制御部は、前記操作検出部で検出する操作に応じて動作モードを切り替えること、を特徴とする。
本発明によれば、使用者の操作に応じて、速やかに動作モードを切り替えることができる。

また、本発明は、上記表示装置において、前記表示部に取り付けられて音声を集音する集音部を備え、前記音声処理部は前記集音部により集音された音声を検出すること、を特徴とする。
本発明によれば、表示部に取り付けられた集音部により音声を集音し、発話データまたは発話解析データを送信できる。

また、本発明は、上記表示装置において、前記集音部は前記表示部に対する相対位置を変位可能に構成され、前記動作モード制御部は、前記表示部に対する前記集音部の相対位置に対応して、動作モードを切り替えること、を特徴とする。
本発明によれば、表示部に取り付けられた集音部の位置の変化により、動作モードを切り替えることができる。

また、本発明は、上記表示装置において、前記音声処理部は、前記集音部の種類を判定し、判定した前記集音部の種類に応じて、前記集音部により集音された音声から前記発話データまたは前記発話解析データを生成する処理の設定を切り替えること、を特徴とする。
本発明によれば、集音部の種類に対応する設定を行うことで、発話データまたは発話解析データを生成する処理を効率よく適切に実行できる。

また、本発明は、上記表示装置において、撮像部を備え、前記通信制御部は、前記撮像部で撮像した撮像画像データを含む会議データ、または、前記撮像画像データと前記発話データとを含む会議データを前記通信部により送信すること、を特徴とする。
本発明によれば、撮像した画像データを外部の装置に送信できる。

また、本発明は、上記表示装置において、前記表示制御部は、前記通信部により受信された前記会議データに含まれる前記撮像画像データに基づく画像を前記表示部により表示すること、を特徴とする。
本発明によれば、画像データを受信して表示を行うことができるので、使用者に対し、音声と映像による情報提供や指示を行うことができる。

上記目的を達成するために、本発明の通信システムは、第１表示装置、及び、第２表示装置を通信可能に接続し前記第１表示装置は、使用者の頭部に装着され、画像を表示する第１表示部と、第１通信部と、音声を検出して、検出した音声から発話データを生成する第１音声処理部と、前記第１音声処理部により生成した前記発話データ、または、前記発話データを解析して得られる発話解析データを前記第１通信部により送信させ、前記第１通信部により前記発話データまたは前記発話解析データを受信する第１通信制御部と、前記第１通信部により受信した前記発話データまたは前記発話解析データに基づく画像を前記第１表示部に表示させる第１表示制御部と、を備え、前記第２表示装置は、使用者の頭部に装着され、画像を表示する第２表示部と、第２通信部と、音声を検出して、検出した音声から発話データを生成する第２音声処理部と、前記第２音声処理部により生成した前記発話データ、または、前記発話データを解析して得られる発話解析データを前記第１通信部により送信させ、前記第２通信部により前記発話データまたは前記発話解析データを受信する第２通信制御部と、前記第２通信部により受信した前記発話データまたは前記発話解析データに基づく画像を前記第２表示部に表示させる第２表示制御部と、を備えること、を特徴とする。
本発明によれば、使用者の頭部に装着される表示装置が、音声を検出して発話データ、または発話データを解析した発話解析データを送信する。また、発話データ、または発話データを受信して、発話データまたは発話データに基づく表示を行える。これにより、表示装置を装着する使用者の音声を、例えばテキストを含む発話データまたは発話解析データとして、他の表示装置や、コンピューター等の外部の装置に送信できる。また、発話データまたは発話解析データを受信して、例えば文字や画像等を表示できる。従って、表示装置と外部の装置との間で、音声に基づくデータを効率よく送受信し、表示装置を装着する使用者に対する音声による情報の提供、及び、使用者の音声に基づく情報の発信を効率化できる。

上記目的を達成するために、本発明は、使用者の頭部に装着され、画像を表示する表示部を備えた表示装置の制御方法であって、音声を検出して、検出した音声から発話データを生成し、生成した前記発話データ、または、前記発話データを解析して得られる発話解析データを通信部により送信し、前記通信部により前記発話データまたは前記発話解析データを受信し、前記通信部により受信した前記発話データまたは前記発話解析データに基づく画像を前記表示部に表示すること、を特徴とする。
本発明によれば、使用者の頭部に装着される表示装置が、音声を検出して発話データ、または発話データを解析した発話解析データを送信する。また、発話データ、または発話データを受信して、発話データまたは発話データに基づく表示を行える。これにより、表示装置を装着する使用者の音声を、例えばテキストを含む発話データまたは発話解析データとして、他の表示装置や、コンピューター等の外部の装置に送信できる。また、発話データまたは発話解析データを受信して、例えば文字や画像等を表示できる。従って、表示装置と外部の装置との間で、音声に基づくデータを効率よく送受信し、表示装置を装着する使用者に対する音声による情報の提供、及び、使用者の音声に基づく情報の発信を効率化できる。

上記目的を達成するために、本発明は、使用者の頭部に装着され、画像を表示する表示部を備えた表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターにより、音声を検出して、検出した音声から発話データを生成し、生成した前記発話データ、または、前記発話データを解析して得られる発話解析データを通信部により送信し、前記通信部により前記発話データまたは前記発話解析データを受信し、前記通信部により受信した前記発話データまたは前記発話解析データに基づく画像を前記表示部に表示すること、を特徴とする。
本発明によれば、使用者の頭部に装着される表示装置が、音声を検出して発話データ、または発話データを解析した発話解析データを送信する。また、発話データ、または発話データを受信して、発話データまたは発話データに基づく表示を行える。これにより、表示装置を装着する使用者の音声を、例えばテキストを含む発話データまたは発話解析データとして、他の表示装置や、コンピューター等の外部の装置に送信できる。また、発話データまたは発話解析データを受信して、例えば文字や画像等を表示できる。従って、表示装置と外部の装置との間で、音声に基づくデータを効率よく送受信し、表示装置を装着する使用者に対する音声による情報の提供、及び、使用者の音声に基づく情報の発信を効率化できる。
また、本発明は、このプログラムを記憶した記憶媒体として構成してもよい。

実施形態の表示システムの概略構成図。 頭部装着型表示装置の外観構成を示す図。 画像表示部の光学系の構成を示す図。 頭部装着型表示装置の機能ブロック図。 管理サーバーの機能ブロック図。 頭部装着型表示装置の動作を示すフローチャート。 頭部装着型表示装置の動作を示すフローチャート。 頭部装着型表示装置の表示例を示す図。 頭部装着型表示装置の動作を示すフローチャート。 頭部装着型表示装置の動作を示すフローチャート。 通信システムの動作を示すフローチャート。 頭部装着型表示装置の動作を示すフローチャート。 第２実施形態の頭部装着型表示装置の外観構成を示す図。

［第１実施形態］
図１は、本発明を適用した実施形態に係る表示システム１の概略構成図である。
表示システム１は、複数の拠点に配置されたＨＭＤ１００を、通信ネットワーク４を介して相互に通信可能に接続したシステムである。通信システム１を構成するＨＭＤ１００の数や配置に制限はない。本実施形態では、一例として、図１に示すように拠点Ａに２つのＨＭＤ１００があり、拠点Ｂに２つのＨＭＤ１００があり、拠点Ａと拠点Ｂとの間に通信ネットワーク４が敷設された構成を例示する。拠点ＡのＨＭＤ１００を、それぞれＨＭＤ１００−１、ＨＭＤ１００−２とし、拠点ＢのＨＭＤ１００を、それぞれＨＭＤ１００−３、ＨＭＤ１００−４とする。ＨＭＤ１００−１〜ＨＭＤ１００−４は、後述するように共通の構成を有するので、ＨＭＤ１００−１〜ＨＭＤ１００−４を区別する必要のない場合はＨＭＤ１００と表記する。拠点中継装置５Ａと拠点中継装置５Ｂについても同様である。

拠点Ａ及び拠点Ｂのそれぞれには拠点中継装置５が配置される。拠点Ａに配置される拠点中継装置５Ａは、拠点ＡにおいてＨＭＤ１００−１及びＨＭＤ１００−２に対し無線通信を実行する。拠点中継装置５Ａは、ＨＭＤ１００−１とＨＭＤ１００−２との間の通信を中継する機能を有する。また、拠点中継装置５Ａは、ＨＭＤ１００−１及びＨＭＤ１００−２と、通信ネットワーク４との間の通信を中継する機能を有する。
拠点Ｂに配置される拠点中継装置５Ｂは、拠点ＢにおいてＨＭＤ１００−３及びＨＭＤ１００−４に対し無線通信を実行する。拠点中継装置５Ｂは、ＨＭＤ１００−３とＨＭＤ１００−４との間の通信を中継する機能を有する。また、拠点中継装置５Ｂは、ＨＭＤ１００−３及びＨＭＤ１００−４と、通信ネットワーク４との間の通信を中継する機能を有する。ＨＭＤ１００−１とＨＭＤ１００−２、及び、ＨＭＤ１００−３とＨＭＤ１００−４とが、例えば無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標））のアドホックモードで直接通信を行うことが可能な構成としてもよいが、本実施形態では拠点中継装置５Ａ、５Ｂが通信を中継する構成を例示する。

通信ネットワーク４には管理サーバー３が接続される。管理サーバー３は、通信システム１を構成する拠点中継装置５Ａ、５Ｂ及びＨＭＤ１００−１〜ＨＭＤ１００−４について、データの送受信に係る設定情報を記憶する。管理サーバー３は、ＨＭＤ１００−１〜ＨＭＤ１００−４のいずれかから情報の送信を要求された場合に、要求された情報を送信する。

通信ネットワーク４は、公衆回線網、専用線、携帯電話回線を含む無線通信回線、及び、これらの回線のバックボーン通信回線など、各種の通信回線またはその組合せで実現され、その具体的構成は限定されない。通信ネットワーク４は、遠隔地を接続できる広域通信回線網であってもよいし、特定の施設や建物内に敷設されたＬＡＮ（Local Area Network）であってもよい。また、通信ネットワーク４、上記各種通信回線を接続するサーバー装置、ゲートウェイ装置、ルーター装置等のネットワーク機器を含んでもよい。また、通信ネットワーク４が複数の通信回線で構成されてもよい。

通信システム１では、拠点ＡにおいてＨＭＤ１００−１、ＨＭＤ１００−２を装着する各々の使用者と、拠点ＢにおいてＨＭＤ１００−３、ＨＭＤ１００−４を装着する各々の使用者との間で、音声や映像を含むデータを送受信することが可能である。これにより、通信システム１は、拠点Ａと拠点Ｂとの間を結び、例えば遠隔会議を行うことが可能である。また、拠点Ａにおいては、ＨＭＤ１００−１とＨＭＤ１００−２との間で音声野営像を含むデータを送受信して、使用者間で情報を共有できる。拠点Ｂにおいても、ＨＭＤ１００−３とＨＭＤ１００−４との間で音声や映像を含むデータを送受信して、情報を共有できる。
通信システム１の用途は、例えば、拠点Ａから拠点Ｂへ、或いはその逆方向に情報を提供する用途であれば、制限はない。以下では一例として、通信システム１により、拠点Ａと拠点Ｂとを結ぶ遠隔会議を行う場合について説明する。なお、拠点Ａと拠点Ｂとは異なる場所であればよく、遠隔地に限らない。

図２は、ＨＭＤ１００の外観構成を示す図である。ＨＭＤ１００は、図１に示すように使用者が頭部に装着する表示装置であり、頭部装着型表示装置（ヘッドマウントディスプレイ、Head Mounted Display）とも呼ばれる。ＨＭＤ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のＨＭＤである。なお、以下の説明では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

ＨＭＤ１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置１０と、を備える表示装置である。制御装置１０は、使用者がＨＭＤ１００を操作するコントローラーとしても機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１（撮像部）と、マイク６３（集音部）とを備える。右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに連結される。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」と呼ぶ）、図３〜図４を参照して後述する投写光学系２５１，２５２等を含む。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図３）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、ＨＭＤ１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。

カメラ６１は、画像表示部２０の前面の中央位置に配置される。カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。カメラ６１をステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者の視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が注視する方向を撮像するということもできる。カメラ６１の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるようにカメラ６１の撮像範囲が設定されているとより好ましい。
カメラ６１は、制御部１４０が備える撮像制御部１６１（図４）の制御に従って撮像を実行し、撮像画像データを撮像制御部１６１に出力する。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部１８７（図４）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。また、マイク６３を、使用者の頸部に接触する骨伝導マイクで構成してもよい。本実施形態では、マイク６３が指向性マイクで構成される例を示す。

また、画像表示部２０は、使用者が手で操作可能なミュートスイッチ６５を備える。ミュートスイッチ６５は、押圧操作を検出するプッシュボタンスイッチや、タッチ操作を検出するタッチセンサーなどで構成される。図２の例では右保持部２１の外側の側面に配置され、使用者が右手で容易に操作できる。左保持部２３の外側の面や、画像表示部２０の前面などに設けてもよい。

右表示駆動部２２において使用者の頭部側の面、すなわち内側の面には、スピーカー６８が配置される。また、左表示駆動部２４において使用者の頭部側の面、すなわち内側の面には、スピーカー６９が配置される。一対のスピーカー６８、６９（音声出力部）は、後述する音声処理部１８７から入力される音声信号に基づいて音声を出力する。ここで、スピーカー６８、６９は、イヤホンやヘッドホンで構成してもよいし、オープン型のスピーカーであってもよいが、画像表示部２０の装着状態において使用者の頭部に接触する骨伝導スピーカーであることが好ましい。

ここで、ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー（図示略）を備えてもよい。距離センサーは、例えば、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。この場合、使用者が画像表示部２０を装着した状態で、距離センサー６４の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。距離センサー６４の測定方向は、例えば、ＨＭＤ１００の表側方向で、カメラ６１の撮像方向と重複する方向とすることができる。
距離センサーは、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する構成とすることができる。距離センサーは、制御部１４０の制御に従い、三角測距処理や時間差に基づく測距処理を実行すればよい。また、距離センサーは、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、制御部１４０の制御に従い、超音波の反射までの時間差に基づき測距処理を実行すればよい。

図３は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
左表示駆動部２４は、左バックライト２２２、左ＬＣＤ２４２、及び、左投写光学系２５２を備える。左バックライト２２２は、ＬＥＤ等の光源と拡散板とを有する。左ＬＣＤ２４２は、左バックライト２２２の拡散板から発せられる光の光路上に配置される透過型のＬＣＤである。左投写光学系２５２は、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備える。左ＬＣＤ２４２は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２６２に入射される。左導光板２６２は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、左導光板２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２６２には、左眼ＬＥの眼前に位置するハーフミラー２６２Ａ（反射面）が形成される。
ハーフミラー２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

右表示駆動部２２は、左表示駆動部２４と左右対称に構成される。右表示駆動部２２は、右バックライト２２１、右ＬＣＤ２４１、及び、右投写光学系２５１を備える。右バックライト２２１は、ＬＥＤ等の光源と拡散板とを有する。右ＬＣＤ２４１は、右バックライト２２１の拡散板から発せられる光の光路上に配置される透過型のＬＣＤである。右投写光学系２５１は、右ＬＣＤ２４１を透過した画像光Ｌを導くレンズ群等を備える。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６１に入射される。右導光板２６１は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、右導光板２６１の内部において複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６１には、右眼ＲＥの眼前に位置するハーフミラー２６１Ａ（反射面）が形成される。
ハーフミラー２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

使用者の右眼ＲＥには、ハーフミラー２６１Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２６２Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このように、ＨＭＤ１００は、シースルー型の表示装置として機能する。

なお、左投写光学系２５２と左導光板２６２とを総称して「左導光部」とも呼び、右投写光学系２５１と右導光板２６１とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

画像表示部２０は、制御装置１０に接続ケーブル４０を介して接続する。
接続ケーブル４０は画像表示部２０に対し固定的に接続され、制御装置１０に対してはコネクター（図示略）に接離可能に接続される。制御装置１０と画像表示部２０とは、接続ケーブル４０を介して各種信号、及び／又は各種データを送受信する。

制御装置１０は、ＨＭＤ１００を制御する。制御装置１０は、操作部１１１（図４）として、キー操作部１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６、及び電源スイッチ１８を備える。

キー操作部１１は、制御装置１０が実行するオペレーティングシステム１５０（図４）の操作等を行うためのメニューキー、ホームキー、戻るキー等を備える。
ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、或いは点滅する。上下キー１５は、右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。切替スイッチ１６は、上下キー１５の操作に対応する入力を切り替えるスイッチである。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチであり、例えばスライドスイッチで構成される。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。

図４は、ＨＭＤ１００を構成する各部の機能ブロック図である。
ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス１１４を備える。インターフェイス１１４は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。

制御装置１０は、制御部１４０、入力情報取得部１１０、及び、記憶部１２０を有する。
入力情報取得部１１０は、操作部１１１に接続される。操作部１１１は、上述したようにキー操作部１１、トラックパッド１４、上下キー１５及び切替スイッチ１６を含む。入力情報取得部１１０は、操作部１１１から入力される信号に基づき、使用者の操作を受け付ける。入力情報取得部１１０は、操作部１１１における操作内容を示すデータを制御部１４０に出力する。また、入力情報取得部１１０は、制御部１４０の制御に従って、ＬＥＤインジケーター１２（図１）の点灯、点滅、消灯を制御してもよい。
制御装置１０は、電源部１３０を備え、制御装置１０及び画像表示部２０の各部に電源部１３０から電源を供給する。電源部１３０からの電源供給状態は、電源スイッチ１８（図１）の操作、及び、制御部１４０が実行するプログラムの実行状況に応じて、制御部１４０が制御する。

記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラム、及び、これらのプログラムに係るデータを記憶する。このプログラムには、本発明の制御方法を実現するためのプログラムを含む。
記憶部１２０は、画像表示部２０に表示する静止画像や動画像のデータを記憶しても良い。また、記憶部１２０は、設定データ１２１を記憶する。設定データ１２１は、制御部１４０が使用する各種の設定値を含む。設定データ１２１が含む設定値は、予め操作部１１１の操作で入力された値であってもよいし、通信部１１７またはインターフェイス１１４を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。

また、記憶部１２０は、音声認識データベース（以下、ＤＢと表記する）１２２、表示設定データ１２３、及び、モード設定データ１２４を記憶する。音声認識ＤＢ１２２、表示設定データ１２３及びモード設定データ１２４の具体的内容については後述する。

制御部１４０には、ＧＰＳ１１５、及び通信部１１７が接続される。
ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を算出する。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部１４０が計時する時刻を修正させる機能を備えてもよい。

通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
本実施形態で、ＨＭＤ１００は、通信部１１７により拠点中継装置５Ａ、５Ｂと無線通信を実行する。ＨＭＤ１００は、拠点中継装置５Ａ、５Ｂを介して、通信ネットワーク４を経由したデータ通信を実行することができ、拠点中継装置５Ａ、５Ｂを介して他のＨＭＤ１００とデータ通信を行ってもよい。
また、通信部１１７は、外部機器ＯＡ等の機器と無線通信を実行してもよい。例えば、制御部１４０は、通信部１１７により接続された機器から、映像や音声を含むコンテンツデータを取得して、画像表示部２０に画像を表示させてもよい。

制御部１４０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を備える。制御部１４０は、記憶部１２０が記憶するコンピュータープログラムを読み出して実行し、オペレーティングシステム（ＯＳ）１５０を実行する。制御部１４０は、画像処理部１６０、撮像制御部１６１、操作検出部１６２、動作モード制御部１６３、言語処理部１６４、通信制御部１７０、音声処理部１８７、及び、表示制御部１９０として機能する。

画像処理部１６０は、画像データに基づいて、右表示駆動部２２及び左表示駆動部２４に送信する信号を生成する。画像処理部１６０が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。
画像処理部１６０は、必要に応じて、画像データの解像度を右表示駆動部２２及び左表示駆動部２４に適した解像度に変換する解像度変換処理を行ってもよい。画像処理部１６０は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１６０は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル４０を介して画像表示部２０に送信する。

表示制御部１９０は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成し、この制御信号により、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦを制御する。また、表示制御部１９０は、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを制御する。

撮像制御部１６１は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１２０に一時的に記憶する。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１６１は撮像画像データをカメラ６１から取得して、記憶部１２０に一時的に記憶する。

操作検出部１６２は、入力情報取得部１１０から入力されるデータに基づき、操作部１１１における操作を検出する。また、操作検出部１６２は、インターフェイス２５を介して入力される検出値やデータに基づき、画像表示部２０に対する使用者の操作を検出する。例えば、操作検出部１６２は、後述するノックセンサー６２の検出値に基づきノック操作を検出し、後述するミュートスイッチ６５の検出値に基づきミュートスイッチ６５への操作を検出する。

動作モード制御部１６３は、ＨＭＤ１００の動作モードを切り替える。動作モード制御部１６３が切り替え可能な動作モード、すなわち、ＨＭＤ１００が実行可能な動作モードについては後述する。
動作モード制御部１６３が動作モードを切り替えるトリガーは、ノックセンサー６２が検出するノック操作、ミュートスイッチ６５の操作、操作部１１１の操作によるモード切り替えの指示、音声コマンドによるモード切り替えの指示が挙げられる。

言語処理部１６４は、通信部１１７により受信した発話データまたは発話解析データについて、言語を判定する。例えば、通信システム１が、日本語、英語、中国語、スペイン語のデータを処理する構成では、言語処理部１６４は、通信部１１７により受信した発話データまたは発話解析データが、日本語、英語、中国語、スペイン語のいずれのデータであるかを判定する。判定の方法は、後述する発話解析データが言語属性を示すデータを含む場合、この言語属性を示すデータを参照して言語を判定できる。
また、言語処理部１６４は、通信部１１７により受信された発話データまたは発話解析データに含まれる音声認識の結果のデータを、他の言語のデータに翻訳する処理を行う。翻訳処理では、例えば、テキストデータを、他の言語のテキストデータに変換する。

通信制御部１７０は、通信部１１７による通信を制御して、他の装置からデータを受信する処理、及び通信部１１７によりデータを送信する処理を実行する。より具体的には、通信制御部１７０は、ＨＭＤ１００の動作モード、及び、記憶部１２０が記憶するモード設定データ１２４に基づき、送受信するデータの種類、データを送信する送信先、データを受信する場合の受信元等を判定する。ここで、受信元は、通信部１１７が受信するデータを送信する装置であり、送信元ということもできる。
通信制御部１７０は、後述するように音声処理部１８７が生成する発話データ、発話解析データ、カメラ６１の撮像画像データ、操作検出部１６２が検出した操作に対応する制御データ等を、通信部１１７により送信する。ここで、通信制御部１７０は、発話データまたは発話解析データと、撮像画像データとを含む会議データを生成して、送信してもよい。会議データは音声データと映像データまたは画像データとを含む。
また、通信制御部１７０は、これらのデータを通信部１１７により受信した場合に、受信元（送信元）の機器が適切か否かを判定する。適切な受信元から送信されたデータを通信部１１７により受信した場合、受信したデータを、動作モード制御部１６３、音声処理部１８７、表示制御部１９０のうち少なくともいずれかにより処理させる。

また、通信制御部１７０は、記憶部１２０が記憶する画像データ、テキストデータ、プレゼンテーション用のデータ等の資料用のデータを通信部１１７により送信してもよい。また、通信制御部１７０は、通信部１１７により画像データ、テキストデータ、プレゼンテーション用のデータ等の資料用のデータを受信した場合、受信元の機器が適切か否かを判定する。適切な受信元から送信されたデータを通信部１１７により受信した場合、受信したデータを、動作モード制御部１６３、音声処理部１８７、表示制御部１９０のうち少なくともいずれかにより処理させる。

音声処理部１８７は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２及び左イヤホン３４に出力する。
また、音声処理部１８７は、マイク６３により集音される音声を取得してデジタル音声データに変換する。音声処理部１８７は、デジタル音声データに対して予め設定された処理を行ってもよい。音声処理部１８７は、マイク６３で集音した音声のデジタル音声データに対し、音声認識処理を実行する。音声認識処理では、ノイズキャンセリング、音素解析、文字列変換、文節推定・解析、文章変換等を含むテキスト解析を実行し、テキストデータ変換等の処理を行う。また、音声処理部１８７は、音素解析の結果に基づく音声コマンドとの合致判定を行い、音声コマンドを認識する。これにより、音声処理部１８７は、マイク６３が集音した音声が人間の声である場合に、音声コマンドを認識し、或いは、音声の内容のテキストデータを生成する。
音声認識処理は、本発明の認識処理に含まれる。認識処理は、マイク６３で検出した音声から生成される発話データを認識する処理を含み、上記音声認識処理の音素解析、文字列変換、文節推定・解析、文章変換等を含むテキスト解析等を含む。また、認識処理は、発話者が発話した音声がどの言語であるかを推定・解析する処理を含んでもよいし、発話者を特定する処理を含んでもよく、音声を解析するその他の処理を含んでもよい。

記憶部１２０が記憶する音声認識ＤＢ１２２は、音声処理部１８７が音素解析、音声コマンドの認識、及びテキストデータ変換を行うためのデータを格納する。例えば、音声認識ＤＢ１２２は、デジタル音声データを音素解析するための音素の波形データ、音声コマンドの波形データや音素データ、テキストデータ変換用の辞書データ等、処理用のデータを含む。また、音声認識ＤＢ１２２は、上記の処理用のデータを、言語毎に格納してもよい。例えば、音声認識ＤＢ１２２は、日本語、英語、中国語、スペイン語等の各々の言語ごとに、上記処理用のデータを格納してもよい。

音声処理部１８７がテキストデータ変換した結果であるテキストデータは、本発明の発話データに相当する。
また、音声処理部１８７は、発話データに、テキストデータに変換した日時を示す日時データ、テキストデータの言語を示す言語属性データ、使用者の氏名やＨＭＤ１００に固有の識別情報等を合わせて含む、発話解析データを生成してもよい。音声処理部１８７は、マイク６３が集音した音声から音声コマンドを認識した場合に、音声コマンドを示すデータを含む発話解析データを生成してもよく、この場合、発話解析データがテキストデータ及び言語属性データを含まなくてもよい。

また、音声処理部１８７は、マイク６３が集音した音声について声紋解析など話者判定処理を行い、ＨＭＤ１００を装着する使用者を認識する処理を実行可能な構成としてもよい。この場合、音声認識ＤＢ１２２が、使用者毎の声紋判定用のデータを予め含んでいれば、音声処理部１８７が音声認識ＤＢ１２２内の声紋判定用のデータを参照して判定を行うことができる。

また、音声処理部１８７は、通信制御部１７０の制御により、通信部１１７が他のＨＭＤ１００から発話データや発話解析データを受信した場合、受信された発話データや発話解析データに基づく音声を、スピーカー６８、６９から出力させる。音声処理部１８７は、発話データや発話解析データに含まれるテキストデータから音声合成処理を行って、テキストデータを読み上げる音声の音声データを生成する。音声処理部１８７は、生成した音声データ、または、この音声データから生成されるアナログ音声信号を、スピーカー６８及びスピーカー６９に出力する。ここで、音声処理部１８７は、通信部１１７が会議データを受信した場合に、受信した会議データから発話データや発話解析データを抽出してもよい。

音声処理部１８７は、音声認識ＤＢ１２２に含まれる音声データを用いて、音声合成処理を行ってもよい。この場合、音声認識ＤＢ１２２は、テキストデータから音声データを生成するためのパターンデータ等を含んでもよく、このパターンデータを、言語ごとに含んでいてもよい。音声処理部１８７は、通信部１１７が受信した発話データや発話解析データの言語属性を判定し、判定した言語属性に対応するデータを音声認識ＤＢ１２２から抽出して、音声合成処理を行ってもよい。

また、音声処理部１８７は、通信制御部１７０の制御により、通信部１１７が音声データ、或いは、映像データに付加された音声データを受信した場合、この音声データに基づき音声を出力する。この場合、音声処理部１８７は、通信部１１７が受信した音声データ、または、この音声データから生成されるアナログ音声信号を、スピーカー６８及びスピーカー６９に出力する。

表示制御部１９０は、通信制御部１７０の制御により、通信部１１７が他のＨＭＤ１００から画像データや映像データを受信した場合、受信された画像データや映像データに基づく画像を画像表示部２０により表示する。
記憶部１２０は、表示制御部１９０が画像表示部２０により画像を表示する場合の表示態様等を指定するデータを含む、表示設定データ１２３を記憶する。表示制御部１９０は、表示設定データ１２３を参照して、表示設定データ１２３により設定される態様で画像を表示する。

画像表示部２０は、カメラ６１を備える。また、画像表示部２０は、インターフェイス２５、右表示駆動部２２、左表示駆動部２４、右光学像表示部２６としての右導光板２６１、及び、左光学像表示部２８としての左導光板２６２を備える。
また、画像表示部２０は、上述したカメラ６１、マイク６３、ミュートスイッチ６５、スピーカー６８、６９に加え、ノックセンサー６２、及び、９軸センサー６６を備える。

ノックセンサー６２は、画像表示部２０に対するノック操作を検出するセンサーである。ノックセンサー６２は、例えば、右保持部２１、左保持部２３、または画像表示部２０の前面側に内蔵される。ノックセンサー６２は、使用者が画像表示部２０を叩く操作を検出する。使用者が右手で叩く操作を検出しやすいように、ノックセンサー６２を右保持部２１に配置してもよく、左手による操作を検出しやすいように、ノックセンサー６２を左保持部２３に内蔵してもよい。ノックセンサー６２は、振動または加速度を検出するセンサーを用いることができ、例えば、９軸センサー６６にノックセンサー６２の機能を持たせることも可能である。
ノックセンサー６２の検出値は、後述するようにインターフェイス２５を介して制御装置１０に送信される。ノックセンサー６２の検出値は、例えば、ノックの有無に応じた値であってもよく、ノックの強さに応じて変化する値であってもよく、ノックの方向（Ｘ軸方向、Ｙ軸方向、及びＺ軸方向）に応じた値であってもよい。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサー（慣性センサー）であり、ＩＭＵ（Inertial Measurement Unit：慣性計測ユニット）として構成してもよい。９軸センサー６６は、複数のセンサーを統合したセンサーユニットであってもよい。制御部１４０は、画像表示部２０が使用者の頭部に装着された状態で、９軸センサー６６の検出値に基づいて使用者の頭部の動きを検出できる。

インターフェイス２５は、接続ケーブル４０により制御装置１０に接続され、制御装置１０が送信する各種データ及び信号を、右表示駆動部２２及び左表示駆動部２４に出力する。また、インターフェイス２５は、表示制御部１９０から送信される制御信号を、対応する右バックライト制御部２０１又は左バックライト制御部２０２に出力する。

インターフェイス２５は、カメラ６１、ノックセンサー６２、マイク６３、ミュートスイッチ６５、９軸センサー６６、及び、スピーカー６８、６９を、制御装置１０に接続する。カメラ６１の撮像画像データ、ノックセンサー６２の検出データまたは検出値、及び、マイク６３が集音した音声のアナログ音声信号またはデジタル音声データは、インターフェイス２５により制御部１４０に出力される。また、ミュートスイッチ６５の操作状態を示すデータまたは電圧値、及び、９軸センサー６６による加速度（３軸）、角速度（３軸）、及び、地磁気（３軸）の検出結果を示すデータまたは検出値は、インターフェイス２５を介して制御部１４０に送られる。

また、スピーカー６８、６９には、インターフェイス２５を介して、制御部１４０からアナログ音声信号またはデジタル音声データが入力される。スピーカー６８、６９は、入力される音声信号または音声データに基づき、可聴周波数帯域の音声を出力する。スピーカー６８、６９が骨伝導スピーカーである場合、制御部１４０から入力される音声信号または音声データに基づき、音声に対応する振動を生成して出力する。

右表示駆動部２２は、上述した右バックライト２２１、右ＬＣＤ２４１、及び右投写光学系２５１を備える。また、右表示駆動部２２は、右バックライト（ＢＬ）２２１を制御する右バックライト（ＢＬ）制御部２０１、及び、右ＬＣＤ２４１を駆動する右ＬＣＤ制御部２１１を備える。
右バックライト制御部２０１は、表示制御部１９０が送信する制御信号に従って、右バックライト２２１を駆動する。右ＬＣＤ制御部２１１は、画像処理部１６０が送信する信号及び表示制御部１９０が送信する信号に基づいて、右ＬＣＤ２４１を駆動する。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有する。左表示駆動部２４は、上述した左バックライト２２２、左ＬＣＤ２４２、及び左投写光学系２５２を備える。また、左表示駆動部２４は、左バックライト２２２を駆動する左バックライト制御部２０２、及び、左ＬＣＤ２４２を駆動する左ＬＣＤ制御部２１２を備える。

左バックライト制御部２０２は、表示制御部１９０が送信する制御信号に従って、左バックライト２２２を駆動する。左ＬＣＤ制御部２１２は、画像処理部１６０が送信する信号及び表示制御部１９０が送信する信号に基づいて、左ＬＣＤ２４２を駆動する。
なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して、左の「画像光生成部」とも呼ぶ。

本実施形態では、通信システム１の動作例として、拠点Ａと拠点Ｂとの間で遠隔会議を行う場合を説明する。この動作例では、拠点Ａ、拠点Ｂのそれぞれに一人の司会者がいる。司会者は他のＨＭＤ１００を使用する使用者に比べ権限が大きい。司会者以外のＨＭＤ１００の使用者は、会議の参加者となる。
拠点ＡではＨＭＤ１００−１が司会者のＨＭＤとして機能し、ＨＭＤ１００−２が参加者のＨＭＤとして動作する。拠点ＢではＨＭＤ１００−３が司会者のＨＭＤとして機能し、ＨＭＤ１００−４が参加者のＨＭＤとして機能する。
また、管理サーバー３は、拠点ＡのＨＭＤ１００−１及びＨＭＤ１００−２と、拠点ＢのＨＭＤ１００−３及びＨＭＤ１００−４との間で各種データを送受信する機能を管理する。

図５は、管理サーバー３の機能ブロック図である。
管理サーバー３は、制御部３０１、記憶部３０２、及び通信部３０６を有する。また、管理サーバー３は、オペレーターの入力操作を検出する入力部（図示略）や表示部（図示略）を備えていてもよい。
通信部３０６は、通信ネットワーク４に接続され、通信ネットワーク４を介したデータ通信を実行する。
制御部３０１は、通信部３０６により通信ネットワーク４を経由して、拠点中継装置５Ａ、及び拠点中継装置５Ｂとの間でデータ通信を実行する。

記憶部３０２は、拠点管理データベース（以下、ＤＢ）３０３、及び参加者管理データベース（以下、ＤＢ）３０４を有する。拠点管理ＤＢ３０３は、通信システム１を構成するＨＭＤ１００及び拠点中継装置５が配置される拠点毎に、拠点中継装置５及びＨＭＤ１００の数や構成に関する情報を格納する。例えば、拠点Ａについて、拠点中継装置５Ａ、ＨＭＤ１００−１、及びＨＭＤ１００−２について、装置の種類、台数、各装置を特定する識別情報、各装置と通信するための情報（ネットワークアドレス、コンピューター名、プロトコル、ポート番号等）を格納する。同様に、拠点Ｂについて、拠点中継装置５Ｂ、ＨＭＤ１００−３、及びＨＭＤ１００−４に関する情報を格納する。

参加者管理ＤＢ３０４は、通信システム１において遠隔会議を実行する場合に、当該会議に参加するＨＭＤ１００、及び拠点中継装置５に関する情報を格納する。
例えば、通信システム１の一部または全部の装置を含む遠隔会議が行われる場合に、この遠隔会議に参加する装置を指定する情報が、参加者管理ＤＢ３０４に格納される。ここで、拠点管理ＤＢ３０３に情報が記憶された各装置のそれぞれについて、会議に参加するか否かを示す情報を含んでもよい。

ＨＭＤ１００−１及びＨＭＤ１００−２は、会議データを拠点Ａの内部において送受信する。また、ＨＭＤ１００−１が送信する会議データは、通信ネットワーク４を介して拠点中継装置５Ｂに送信される。拠点中継装置５Ｂは、ＨＭＤ１００−１またはＨＭＤ１００−２から受信した会議データを、ＨＭＤ１００−３及びＨＭＤ１００−４に送信する。
ＨＭＤ１００−３及びＨＭＤ１００−４は、カメラ６１の撮像画像データ、及び、マイク６３で集音した音声に対応する発話データや発話解析データを、拠点Ｂの内部において送受信する。また、ＨＭＤ１００−３が送信する会議データは、通信ネットワーク４を介して拠点中継装置５Ａに送信される。拠点中継装置５Ａは、ＨＭＤ１００−３またはＨＭＤ１００−４から受信した会議データを、ＨＭＤ１００−１及びＨＭＤ１００−２に送信する。これにより、会議に参加するＨＭＤ１００−１〜ＨＭＤ１００−４は、カメラ６１の撮像画像やマイク６３で集音した音声を共有できる。

通信システム１において会議に参加するＨＭＤ１００−１〜ＨＭＤ１００−４は、資料用のデータを共有できる。資料用のデータは、画像データ、映像データ、音声データ、プレゼンテーション用のデータ、文書データ等である。これらのデータは、いずれかのＨＭＤ１００が他のＨＭＤ１００に対し送信する。送信されたデータは、拠点Ａまたは拠点Ｂの内部、及び、拠点Ａと拠点Ｂとの間で送受信され、このデータを受信したＨＭＤ１００により、表示及び／または音声の再生が行われる。

ここで、ＨＭＤ１００−１〜ＨＭＤ１００−４が実行する動作モードについて説明する。
通信システム１におけるＨＭＤ１００の動作モードは、例えば、次に示すＰ１〜Ｐ４、Ｐ０、ＰＸ、ＰＹの６通りが挙げられる。

Ｐ１モードは、司会者モードと言い換えることができる。なお、通信システム１を利用して作業の指示を伝達する場合は作業指示者モードということもできる。
Ｐ１モードのＨＭＤ１００は、他の全てのＨＭＤに対し情報送信、情報受信が可能である。つまり、通信制御部１７０は、マイク６３で集音した音声に係る発話データや発話解析データ、或いは、制御装置１０の操作により入力された指示や音声コマンドの指示に対応する制御データ等の送信先、受信元として、全てのＨＭＤ１００を指定できる。

また、Ｐ１モードのＨＭＤ１００は、会議用の資料のデータを他のＨＭＤ１００に送信できる。会議用の資料は、カメラ６１の撮像画像のデータおよびマイク６３で集音した音声に係るデータを含まない、画像、映像、音声データ等の各種データである。例えば、ＨＭＤ１００は、記憶部１２０に予め記憶している資料のデータや外部機器ＯＡから取得した資料のデータを、他のＨＭＤ１００に送信できる。

また、Ｐ１モードのＨＭＤ１００は、Ｐ１モードを実行していない他のＨＭＤ１００に対し、制御データを送信して、会議データの送信の許可及び禁止を制御できる。例えば、拠点ＡのＨＭＤ１００−１は、司会者のＨＭＤとしてＰ１モードを実行し、拠点Ａで参加者のＨＭＤとして機能する他のＨＭＤを制御できる。具体的には、ＨＭＤ１００−２に対し、会議データの送信の許可と禁止を制御できる。

また、Ｐ１モードのＨＭＤ１００は、Ｐ１モードを実行していない他のＨＭＤ１００に対し、制御データを送信して、ＨＭＤ１００の動作モードを、後述するＰ４モードやＰ０モードに移行させることができる。例えば、ＨＭＤ１００−１はＨＭＤ１００−２に対し、動作モードをＰ４モードやＰ０モードに切り替えるよう指示する制御データを送信する。この制御データを受信した場合、ＨＭＤ１００−２は、使用者の操作を経ることなく、制御データで指定された動作モードに切り替わる。

Ｐ１モードを実行するＨＭＤ１００の数は、拠点ごとに上限が設けられてもよい。例えば、Ｐ１モードを実行するＨＭＤ１００を、拠点Ａと拠点Ｂのそれぞれで１台のみとしてもよい。また、それぞれの地点に１台ずつＰ１モードのＨＭＤ１００がある場合には、当該ＨＭＤ１００の権限は、同じ地点内のＨＭＤに対してのみ有効としてもよい。例えば、ＨＭＤ１００−１が拠点Ａにおける司会者のＨＭＤとして機能し、ＨＭＤ１００−３が拠点Ｂにおける司会者のＨＭＤとして機能する場合を想定する。この場合、ＨＭＤ１００−１は、拠点ＢのＨＭＤ１００−３やＨＭＤ１００−４に対し、制御データによって動作を制御する機能を持たない。具体的には、ＨＭＤ１００−３やＨＭＤ１００−４に対し、撮像画像のデータ、発話データ及び発話解析データの送信の許可と禁止の制御や、動作モードをＰ４モードやＰ０モードに切り替えるよう指示する制御を行わない。ＨＭＤ１００−３についても同様に、ＨＭＤ１００−１、ＨＭＤ１００−２に対する制御を行わない。

Ｐ１モードを実行するＨＭＤ１００は、他のＨＭＤ１００に対し会議データの送信の許可と禁止を制御する機能、会議用の資料のデータを他のＨＭＤ１００に送信する機能を実行する場合、管理サーバー３にアクセスする。

Ｐ１モードは、ＨＭＤ１００を使用することが可能な使用者のうち、権限を有する一部の使用者のみ実行可能なように、制限を行ってもよい。例えば、予め管理者権限が与えられた使用者がＨＭＤ１００を使用している場合に、このＨＭＤ１００がＰ１モードに移行可能な構成としてもよい。この場合、ＨＭＤ１００では、使用者の権限に関する設定動作を行い、使用者を示す識別情報（ＩＤ等）、及び認証情報（パスワード、指紋、虹彩等）が入力される。管理者権限が与えられた使用者の識別情報と認証情報とは、例えば、予めモード設定データ１２４に格納される。動作モード制御部１６３は、例えば制限解除の処理を実行し、この処理で使用者の識別情報と認証情報とが入力された場合に、モード設定データ１２４と照合し、認証に成功した場合に、ＨＭＤ１００を、Ｐ１モードに移行可能な状態とすることができる。また、認証に失敗した場合は、Ｐ１モードへの移行のトリガーとなる指示や操作が行われても、Ｐ１モードに移行しない。

ＨＭＤ１００は、Ｐ２モードを実行できる。Ｐ２モードは、音声モード（翻訳）ということができ、会議の参加者のＨＭＤとして機能するＨＭＤ１００が実行する。Ｐ２モードでは、通信制御部１７０により、会議データを送信できる。また、Ｐ２モードでは、会議データを受信して、会議データに含まれる発話データや発話解析データに基づき、音声の出力、テキストや画像の表示を行える。また、Ｐ２モードでは、発話データや発話解析データに含まれるテキストデータを他の言語のデータに変換する翻訳処理を、言語処理部１６４が実行でき、変換後のデータに基づく音声出力またはテキストや画像の表示を行える。

また、Ｐ２モードで、ＨＭＤ１００は、会議資料のデータを受信し、画像の表示、及び、音声出力を行う。
ＨＭＤ１００を使用することが可能な使用者のうち、権限を有する一部の使用者のみ、Ｐ２モードで使用可能なように、制限を行ってもよい。例えば、予め管理者権限が与えられた使用者、または、会議参加権限が与えられた使用者がＨＭＤ１００を使用している場合に、このＨＭＤ１００がＰ２モードに移行可能な構成としてもよい。
ＨＭＤ１００では、Ｐ１モードについて説明した場合と同様に、使用者の権限に関する設定動作を行う。この動作では、使用者を示す識別情報（ＩＤ等）、及び認証情報（パスワード、指紋、虹彩等）が入力される。管理者権限または会議参加権限が与えられた使用者の識別情報と認証情報は、例えば、予めモード設定データ１２４に格納される。動作モード制御部１６３は、例えば制限解除の処理を実行し、この処理で使用者の識別情報と認証情報とが入力された場合に、モード設定データ１２４と照合し、認証に成功した場合に、ＨＭＤ１００を、Ｐ２モードに移行可能な状態とすることができる。また、認証に失敗した場合は、Ｐ２モードへの移行のトリガーとなる指示や操作が行われても、Ｐ２モードに移行しない。

ＨＭＤ１００は、Ｐ３モードを実行できる。Ｐ３モードは、ホームモード、標準モードということができ、ＨＭＤ１００がスタンドアローンで通常動作を実行する場合の動作モードである。例えば、ＨＭＤ１００は、電源がオンされた場合に、最初にＰ３モードで起動する構成としてもよい。Ｐ３モードでは会議データ、発話データ或いは発話解析データの送受信を行わない。
Ｐ３モードは、ＨＭＤ１００の設定を行うために利用できる。例えば、ＨＭＤ１００において制御部１４０が実行するアプリケーションプログラムの動作開始、終了、メニュー操作等を行うことができる。また、例えば、使用者に関する設定、アプリケーションプログラムの動作の制限、通信に係る設定等を行える。なお、表示輝度、音量、サラウンド、２Ｄ／３Ｄの切り替え等の設定については、他の動作モードにおいても実行可能である。例えば会議データに基づく画像を表示中に、表示輝度を調整できる。
Ｐ３モードで設定する項目あるいは設定内容の一部または全部について、設定する使用者の権限に応じて、制限を行っても良い。例えば、Ｐ３モードで、管理者権限が与えられた使用者がＨＭＤ１００を操作する場合に設定可能であり、かつ、管理者権限が与えられていない使用者が操作しても設定できない項目があってもよい。一方、Ｐ３モードの実行自体が制限されない構成としてもよく、権限が与えられていない使用者であってもＰ３モードへの移行および一部の項目の設定を行うことが可能な構成であってもよい。

ＨＭＤ１００は、Ｐ４モードを実行できる。Ｐ４モードは、視聴、傍聴モードということができ、会議データ、発話データ、発話解析データ、或いは資料データの受信と、受信したデータに基づく画像、テキストの表示及び音声出力が可能である。一方、会議データ、発話データ、発話解析データ及び資料データを送信することはない。
Ｐ４モードは、通信システム１を使用する会議が行われる場合に、傍聴者となる使用者が使用する動作モードとして、利用できる。
Ｐ４モードを実行する場合の使用者の権限による制限は、例えば、行わないことが好ましい。つまり、使用者に与えられた権限を問わず、全ての使用者がＰ４モードでＨＭＤ１００を使用可能としてもよい。

また、ＨＭＤ１００は、Ｐ０モードを実行できる。Ｐ０モードで、ＨＭＤ１００は、ミュート機能（撮像、画像、音声、音声認識）を実行する。ＨＭＤ１００のミュート機能は３種類あり、出力ミュート、撮像・集音ミュート、及び、送信ミュートと呼ぶ。
出力ミュートを行う場合、ＨＭＤ１００は、会議データ、発話データ、発話解析データ、資料データ等に基づく音声出力と表示を停止する。音声出力のみ停止してもよい。

撮像・集音ミュートでは、カメラ６１の撮像画像データの出力、及び、発話データ及び発話解析データの出力を停止する。より詳細には、撮像制御部１６１がカメラ６１の撮像画像データの取得も保存も行わず、音声処理部１８７がマイク６３で集音した音声のデータの取得及び保存を行わない例が挙げられる。また、撮像制御部１６１がカメラ６１の撮像画像データを取得して記憶部１２０に保存し、この撮像画像データの出力を停止する動作であってもよい。同様に、音声処理部１８７がマイク６３で集音した音声のデータの取得及び保存を行い、音声データに基づく発話データや発話解析データの出力を行わない動作であってもよい。また、音声処理部１８７が発話データや発話解析データを生成するが、出力しない動作であってもよい。

送信ミュートでは、会議データ、発話データ、及び発話解析データの送信先を制限する。送信ミュートの実行時の送信先の制限内容は、予め設定できる。この設定は、例えばＰ３モードで設定すれば良い。
送信ミュートの実行時の送信先を、ゼロ（Ｎｕｌｌ）と設定してもよく、この場合、他の全てのＨＭＤ１００及び拠点中継装置５に対し、会議データ、発話データ、及び発話解析データを送信しない。つまり、会議データ、発話データ、及び発話解析データの送信を行わない。また、送信先を、同じ拠点のＨＭＤ１００に限定することも可能である。例えば、拠点ＡのＨＭＤ１００−２が送信ミュートを行い、拠点Ａに位置するＨＭＤ１００（すなわち、ＨＭＤ１００−１）のみを送信先としてもよい。この場合、ＨＭＤ１００−２が送信する会議データ、発話データ、及び発話解析データは、拠点ＢのＨＭＤ１００−３、ＨＭＤ１００−４には送信されない。また、拠点Ａと拠点Ｂを問わず、限られたＨＭＤ１００に会議データ、発話データ、及び発話解析データを送信してもよい。例えば、Ｐ１モードを実行するＨＭＤ１００−１とＨＭＤ１００−３に対してのみ、会議データ、発話データ、及び発話解析データを送信してもよい。
さらに、Ｐ１モードを実行するＨＭＤ１００が、他のＨＭＤ１００が送信ミュートで会議データ、発話データ、及び発話解析データを送信する送信先を設定してもよい。

また、Ｐ１モードを実行するＨＭＤ１００が、他のＨＭＤ１００をＰ０モードに移行させてもよい。
また、ＨＭＤ１００が備えるミュートスイッチ６５の操作により、Ｐ１〜Ｐ４の動作モードからＰ０モードに直接、遷移してもよい。
また、ミュートスイッチ６５が操作された場合に、Ｐ０モードに移行して、出力ミュートを実行してもよい。さらに、ミュートスイッチ６５の操作回数に応じて、出力ミュートと、撮像・集音ミュートと、送信ミュートとを、切り替えて実行してもよい。また、操作部１１１の操作により、出力ミュートと、撮像・集音ミュートと、送信ミュートとを選択して実行してもよい。また、Ｐ０モードに移行した場合に出力ミュートと、撮像・集音ミュートと、送信ミュートとのいずれを実行するかを、予め設定してもよい。

また、ＨＭＤ１００が、ミュートスイッチ６５の内側、すなわち使用者の頭部に接する側の操作を検出することが可能な構成であってもよい。この場合、ミュートスイッチ６５の内側の操作に応じて、ＨＭＤ１００の電源のオン／オフを切り替える構成であってもよい。このように、ミュートスイッチ６５の内側に対する操作を検出する動作モードを、ＰＸモードとすることができる。ＰＸモードは、他の動作モード（Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４）と同時に実行でき、他の動作モードの実行中にＰＸモードをオフにすることもできる。ＰＸモードをオン／オフすることで、ＨＭＤ１００の電源のオンオフが容易になり、かつ、誤操作を防止できる。

また、ＨＭＤ１００は、使用者の権限の設定や認証を行うためのＰＹモードを実行してもよい。ＰＹモードでは、現在設定されている使用者の権限の表示、会議に参加する場合に必要なパス（認証情報）の表示、生体認証の実行等を行うことができる。生体認証の方法としては、ＨＭＤ１００に虹彩撮像用のカメラ（図示略）を設けて、虹彩認証を行ってもよい。また、カメラ６１により使用者の手や指を撮像して、指紋認証や掌紋認証を行ってもよく、カメラ６１が赤外光により使用者の掌を撮像して静脈認証を行う構成としてもよい。

このように、通信システム１を構成する複数のＨＭＤ１００のそれぞれが、Ｐ０〜Ｐ４モードのいずれかを実行することにより、遠隔会議を行うことができる。また、ＰＸモード、ＰＹモードは、Ｐ０〜Ｐ４モードと併用して、実行／不実行することができる。
会議を行う場合のそれぞれのＨＭＤ１００の動作について、詳細に説明する。

図６は、ＨＭＤ１００の動作を示すフローチャートであり、通信システム１の会議に参加する際の動作を示す。
図６の動作は、通信システム１を構成する複数のＨＭＤ１００が会議を開始する場合、或いは、既に開始されている会議に、新たにＨＭＤ１００が参加する場合、会議に参加するＨＭＤ１００が実行する。

図６の動作は、ＨＭＤ１００−１〜ＨＭＤ１００−４の全てが実行可能であるが、ここでは、ＨＭＤ１００−１が図６の動作を実行する例を説明する。
図６の動作の実行時、ＨＭＤ１００−１は電源がオンであり、Ｐ３モードを実行する。操作検出部１６２が会議に参加する指示入力を検出すると（ステップＳ１１）、制御部１４０は、使用者の権限を設定するか否かを判定する（ステップＳ１２）。使用者の権限の設定を行うか否かは、例えば、権限の設定の指示が操作部１１１により入力されたか否かに基づき判定できる。

使用者の権限の設定を行う場合（ステップＳ１２；Ｙｅｓ）、使用者を識別する識別情報と認証情報が入力され、権限の入力または指定が行われる（ステップＳ１３）。動作モード制御部１６３は、入力された識別情報と認証情報とを、記憶部１２０が記憶するモード設定データ１２４、または、管理サーバー３が記憶する参加者管理ＤＢ３０４と照合して、認証を実行する（ステップＳ１４）。認証に成功した場合（ステップＳ１４；Ｙｅｓ）、動作モード制御部１６３は、使用者に対し、入力された権限を指定する（ステップＳ１５）。具体的には、管理者権限、または、会議の参加者権限を指定する。
一方、権限の設定を行わない場合（ステップＳ１２；Ｎｏ）、動作モード制御部１６３は、使用者の権限として、最も権限の低い通常ユーザー権限を設定する（ステップＳ１６）。認証に失敗した場合も（ステップＳ１４；Ｎｏ）、動作モード制御部１６３は、通常ユーザー権限を設定する（ステップＳ１６）。

ステップＳ１５またはステップＳ１６で権限を設定した後、言語処理部１６４は、言語の設定および翻訳の要否を設定する（ステップＳ１７）。ステップＳ１７では、使用者が使用する言語を指定する入力、及び、翻訳の要否を指定する入力を操作検出部１６２が検出した場合、入力に従って、設定を行う。また、入力が行われない場合、言語処理部１６４は、デフォルトの設定に従って、使用する言語と翻訳の要否を設定する。

続いて、使用者の入力操作によりＨＭＤ１００−１の動作モードが選択、指定される（ステップＳ１８）。動作モード制御部１６３は、指定された動作モードが、ステップＳ１５、Ｓ１６で設定した使用者の権限に適合するか否かを判定する（ステップＳ１９）。権限に適合しない場合、すなわち設定された使用者の権限で実行できない動作モードであると判定した場合（ステップＳ１９；Ｎｏ）、動作モード制御部１６３は画像表示部２０によりエラーメッセージを表示させる（ステップＳ２０）。エラーメッセージを表示した後、ステップＳ１８に戻る。

選択、指定された動作モードが使用者の権限に適合すると判定した場合（ステップＳ１９；Ｙｅｓ）、動作モード制御部１６３は、指定された動作モードを設定し、設定した動作モードに遷移する（ステップＳ２１）。
続いて、音声処理部１８７は、マイク６３の種類を検出して、検出したマイク６３の種類に適合するチューニングを実行する（ステップＳ２２）。

次に、通信制御部１７０は、会議データ、発話データ、発話解析データ等を送信する送信先を設定する（ステップＳ２３）。また、通信制御部１７０は、データを受信する受信元（送信元）の装置を設定する（ステップＳ２４）。ステップＳ２３、Ｓ２４において、通信制御部１７０は、管理サーバー３が有する参加者管理ＤＢ３０４を参照して、設定を行ってもよい。また、通信制御部１７０は、会議の司会者としてＰ１モードを実行する他のＨＭＤ１００がある場合に、このＰ１モードのＨＭＤ１００から受信する制御データに従って、ステップＳ２３、Ｓ２４の設定を行ってもよい。

制御部１４０は会議に参加し（ステップＳ２５）、例えば会議に参加したことを示す音声メッセージやテキストのメッセージを出力する。その後、撮像制御部１６１はカメラ６１の撮像画像データの取得を開始し、音声処理部１８７はマイク６３で集音する音声に基づくデータの生成を開始する（ステップＳ２６）。

図６の動作における指示入力は、操作部１１１の操作に限らず、例えば、後述する音声コマンドを利用することができる。また、ステップＳ１１でＨＭＤ１００−１を会議に参加させる指示は、ＨＭＤ１００−１による入力操作に限らない。既に会議が実行されている場合、会議の司会者としてＰ１モードで動作中のＨＭＤ１００が、ＨＭＤ１００−１に制御データを送信して、ＨＭＤ１００−１を会議に参加させる指示を行ってもよい。

図７は、ＨＭＤ１００の動作を示すフローチャートであり、マイク６３で集音する音声に対する動作を示す。ここではＨＭＤ１００−１が図７の動作を実行する場合を例として説明する。

ＨＭＤ１００−１のマイク６３が音声を検出して音声信号または音声データを制御部１４０に出力すると（ステップＳ４２）、音声処理部１８７はデジタル音声データを生成して取得する（ステップＳ４２）。

音声処理部１８７は、音声認識ＤＢ１２２を利用して音声認識処理を実行する（ステップＳ４３）。ステップＳ４３では、音声処理部１８７が、取得した音声データに基づき音声波形のパターン化と、予め記憶された音声コマンドの音声波形との照合、音素解析によるテキスト化、テキストデータの生成などを行う。
ここで、音声処理部１８７は、ステップＳ４１で検出した音声が音声コマンドに該当するか否かを判定する（ステップＳ４４）。音声コマンドに該当する場合（ステップＳ４４；Ｙｅｓ）、音声処理部１８７は、音声コマンドの指示に従って処理を実行する（ステップＳ４５）。

検出した音声が音声コマンドに該当しないと判定した場合（ステップＳ４４；Ｎｏ）、音声処理部１８７は、音声データの処理に関する設定を参照し、発話解析データを生成するか否かを判定する（ステップＳ４６）。
発話解析データを生成する場合（ステップＳ４６；Ｙｅｓ）、音声処理部１８７は、属性データを生成し、ステップＳ４３で音声認識を行った認識結果に付加し（ステップＳ４７）、発話解析データを生成する（ステップＳ４８）。発話解析データが含む属性データは、例えば、ＨＭＤ１００−１で使用言語として設定された言語、発話を検出した時刻、使用者に関する情報等を含む。

また、発話解析データを生成しない場合（ステップＳ４６；Ｎｏ）、音声処理部１８７は、ステップＳ４３で音声認識を行った認識結果を含む発話データを生成する（ステップＳ４９）。

その後、通信制御部１７０は、ステップＳ４８で生成する発話解析データまたはステップＳ４９で生成する解析データの送信先に関する設定内容を取得する（ステップＳ５０）。通信制御部１７０は、発話データまたは発話解析データの送信先を設定して、通信部１１７により送信する（ステップＳ５１）。
図７の動作により、ＨＭＤ１００は、マイク６３で音声を集音して、他のＨＭＤ１００や拠点中継装置５に対し、発話データまたは発話解析データを送信できる。

また、ＨＭＤ１００では、マイク６３で集音し検出した音声が音声コマンドである場合、音声コマンドに対応する指示に従って、処理を実行する。このため、使用者は、音声を発することで、ＨＭＤ１００を操作できる。
ＨＭＤ１００における音声コマンドと、音声コマンドに対応するユーザーインターフェースの例を説明する。

図８は、ＨＭＤ１００における表示例を示す図であり、（Ａ）、（Ｂ）、（Ｃ）は、いずれも音声コマンドを使用可能なユーザーインターフェースの表示例を示す。これら図８（）〜（Ｃ）は、音声操作用インターフェイスの一例に相当する。

図８（Ａ）〜（Ｃ）、使用者が画像表示部２０により視認する視野Ｖを示す。視野Ｖでは、画像表示部２０を透過する外光により、外景を視認できる。また、使用者は、視野Ｖにおいて画像表示領域４００に表示される画像を視認する。画像表示領域４００は、右導光板２６１（図３）、左導光板２６２（図３）のハーフミラー２６１Ａ、２６２Ａ（図３）により、画像が形成される領域である。本実施形態では、ハーフミラー２６１Ａ、２６２Ａによって、矩形の画像表示領域４００に画像を表示できる。

画像表示領域４００は、６つの表示エリア４０１、４０２、４０３、４０４、４０５、４０６に分割される。６つの表示エリアのそれぞれには、図８（Ｂ）に示すように、メニュー項目が一覧表示されるメニューリスト４２１、４２２、４２３、４２４、４２、４２６が表示される。
表示エリア４０１は、Ｐ３モードに対応するメニューリスト４２１が表示される。メニューリスト４２１は、「Ｈｏｍｅ」、「戻る」、「メニュー」、「アプリ」、「アプリ終了」の項目を含む。「Ｈｏｍｅ」は初期状態への移行の指示に相当する。「戻る」は、一つ前の処理状態への遷移の指示に相当する。「メニュー」は、全体のメニュー表示の指示に相当する。「アプリ」は実行するアプリケーションプログラムの選択および実行の指示に相当する。「アプリ終了」はアプリケーションプログラムの実行終了の指示に相当する。
メニューリスト４２１における項目の選択は、例えば音声コマンドで行うことができる。例えば、メニューリスト４２１に表示される各項目が異なる色で表示された状態で、使用者が色の名前を発声すると、音声処理部１８７が発声された色の名前を音声コマンドとして認識し、発声された色に対応する項目を選択する操作として検出する。

表示エリア４０２は、ＰＹモードに対応するメニューリスト４２２が表示される。メニューリスト４２２は、「権限表示」、「会議に入るためのパス表示」、「生体認証」の項目を含む。「権限表示」はＨＭＤ１００で設定されている使用者の権限の表示の指示に相当する。「会議に入るためのパス表示」は、認証情報の表示の指示に相当する。「生体認証」は、生体認証の実行の指示に相当する。メニューリスト４２２における項目の選択も、メニューリスト４２１と同様、音声コマンドで行うことができる。

表示エリア４０３は、Ｐ０モード、ＰＸモードに対応するメニューリスト４２３が表示される。メニューリスト４２３は、「音声認識」、「画像ミュート」、「マイクミュート」、「撮像ミュート」の項目を含む。これらの各項目は、それぞれのミュート動作の実行の指示に相当する。メニューリスト４２３における項目の選択も、メニューリスト４２１と同様、音声コマンドで行うことができる。

表示エリア４０４は、Ｐ４モードに対応するメニューリスト４２４が表示される。メニューリスト４２４は、「音量＋／−」、「明るさ」、「２Ｄ／３Ｄ」、「サラウンド」の項目を含む。「音量＋／−」はスピーカー６８、６９の出力音量の増減の指示に相当する。「明るさ」は画像表示部２０における表示輝度の増減の指示に相当する。「２Ｄ／３Ｄ」は２Ｄ表示と３Ｄ表示の切り替えの指示に相当する。「サラウンド」はスピーカー６８、６９の出力音声についてサラウンド効果のオンオフの切り替えの指示に相当する。メニューリスト４２４における項目の選択も、メニューリスト４２１と同様、音声コマンドで行うことができる。

表示エリア４０５は、Ｐ２モードに対応するメニューリスト４２５が表示される。メニューリスト４２５は、「音声」、「翻訳」、「ボイスチェンジ」、「音声ミュート」の項目を含む。
「音声」は音声出力に関する設定の指示に相当する。「翻訳」は翻訳の実行の要否や翻訳処理に関する設定の指示に相当する。「ボイスチェンジ」はボイスチェンジ機能のオンオフやボイスチェンジ機能に関する設定の指示に相当する。「音声ミュート」は音声ミュートのオンオフの指示に相当する。メニューリスト４２５における項目の選択も、メニューリスト４２１と同様、音声コマンドで行うことができる。

表示エリア４０６は、Ｐ１モードに対応するメニューリスト４２６が表示される。メニューリスト４２６は、「スピーカー音量＋／−」、「ノイズキャンセル」、「接続制限」、「発言制限」の項目を含む。「スピーカー音量＋／−」はスピーカー６８、６９の出力音量の増減の指示に相当する。「ノイズキャンセル」はノイズキャンセル処理のオンオフを切り替える指示に相当する。「接続制限」は、Ｐ３モードを実行中のＨＭＤ１００に対する接続制限のオンオフ、或いは接続制限に関する設定の指示に相当する。「発言制限」は、Ｐ３モードを実行中のＨＭＤ１００をＰ０モードに移行させる機能の指示に相当する。メニューリスト４２６における項目の選択も、メニューリスト４２１と同様、音声コマンドで行うことができる。

図８（Ａ）には、メニューリスト４２６が表示された状態を例示する。このように、ＨＭＤ１００が実行中の動作モードに対応するメニューリストが、対応する表示エリアに常時表示される構成としてもよい。
また、メニューリストの表示を一時的に消す態様も可能である。例えば、図８（Ａ）にはドロワータグ４１１、４１２が表示される。ドロワータグ４１１、４１２は、それぞれ、メニュー操作の項目があることを示すマーカーである。ドロワータグ４１１を指定する指示入力がなされると、ドロワータグ４１１に対応するメニューリスト４２２が表示される。また、ドロワータグ４１２を指定する指示入力がなされると、ドロワータグ４１２に対応するメニューリスト４２２が表示される。ドロワータグ４１１、４１２は、メニュー項目のリストそのものに比べて小さいため、視野Ｖで外景を視認する際の邪魔になりにくいという利点がある。ドロワータグ４１１、４１２は、異なる色あるいは形状で表示される。図８（Ａ）の例では、ドロワータグ４１１、４１２は同一形状であるが、その表示色を異なる色にすることができる。例えば、ドロワータグ４１１をピンク色、ドロワータグ４１２をオレンジ色で表示できる。ドロワータグ４１１、４１２の色を指定する音声コマンドにより、ドロワータグ４１１、またはドロワータグ４１２を選択して、対応するメニューリストを開かせることができる。

図８（Ａ）、（Ｂ）の表示状態において、特定の機能の実行を開始した場合に、画像表示領域４００の表示を切り替えることができる。例えば、図８（Ｃ）には、音声認識機能の実行を開始した場合の表示例を示す。
図８（Ｃ）の例では、音声認識動作の実行中であることを示す動作表示４３１が表示される。また、メニュー４３２、及び、メニュー４３３が表示され、これらメニューリスト４２２、４３３に含まれる項目について、音声コマンドによる操作が可能である。

このように、制御部１４０は、表示制御部１９０の機能により音声コマンドの操作に対応するユーザーインターフェースを表示することができる。このため、使用者は、会議の実行中に、ハンズフリーでＨＭＤ１００を操作できる。音声コマンドにより操作可能な項目等は画像表示部２０により表示されるため、使用者は、操作する項目を予め覚えておく必要はない。また、音声コマンドで操作可能な項目を表示することで外景の視認性が影響されないように、ドロワータグ４１１、４１２等を利用することもできる。

図９は、ＨＭＤ１００の動作を示すフローチャートであり、発話データまたは発話解析データを受信した場合の動作を示す。一例として、ＨＭＤ１００−１が図９の動作を実行する例を説明する。

制御部１４０は、通信部１１７により、ＨＭＤ１００−２、或いは拠点ＢのＨＭＤ１００−３、ＨＭＤ１００−４から会議データ、発話データ、または発話解析データを受信する（ステップＳ６１）。制御部１４０は、受信したデータに属性のデータが付加されているか否かを判定する（ステップＳ６２）。例えば、音声認識の結果のテキストデータのみを含む発話データを受信した場合、属性のデータが付加されていない場合がある。
発話データの属性に関するデータが付加されている場合（ステップＳ６２；Ｙｅｓ）、言語処理部１６４は、言語属性を判定する（ステップＳ６３）。例えば、ステップＳ６１で受信したデータの言語が何語であるか、発話データを送信したＨＭＤ１００の使用者が使用する言語等を判定する。

言語処理部１６４は、ＨＭＤ１００−１における翻訳の可否に関する設定を取得する（ステップＳ６４）。そして、言語処理部１６４は、ステップＳ６３で判定した言語の属性と、ＨＭＤ１００−１において設定されている使用言語の設定と、ステップＳ６４で取得した翻訳可否の設定とに基づき、翻訳を行うか否かを判定する（ステップＳ６５）。
例えば、ＨＭＤ１００−１において翻訳の可否が「不可」に設定されている場合、言語の種類を問わず翻訳を行わない。また、ＨＭＤ１００−１において翻訳の可否が「可能」に設定されている場合は、翻訳を行うことができる。この場合において、ステップＳ６２で受信したデータの言語と、ＨＭＤ１００−１で使用者が使用する言語として設定された言語とが同じ種類の場合は、翻訳が不要であるから、翻訳を行わない。また、翻訳の可否が「可能」に設定され、ステップＳ６２で受信したデータの言語が、ＨＭＤ１００−１の使用者が使用する言語と異なる種類の言語である場合は、翻訳を行う。

言語処理部１６４は、翻訳を行うと判定した場合（ステップＳ６５；Ｙｅｓ）、ステップＳ６１で受信したデータを翻訳し（ステップＳ６６）、ステップＳ６７に移行する。また、翻訳を行わないと判定した場合（ステップＳ６５；Ｎｏ）、翻訳を行わずにステップＳ６７に移行する。

言語処理部１６４は、表示用のテキストデータを生成して表示制御部１９０に渡し、表示制御部１９０がテキストを表示する（ステップＳ６７）。また、言語処理部１６４は、読み上げ処理用のテキストデータを生成して音声処理部１８７に渡し、音声処理部１８７が読み上げ処理を行って、テキストデータに基づく音声を出力する（ステップＳ６８）。

図１０は、ＨＭＤ１００の動作を示すフローチャートであり、カメラ６１の撮像画像データを送信する処理を示す。一例として、ＨＭＤ１００−１が図１０の動作を実行する例を説明する。
撮像画像データを送信する場合、撮像制御部１６１が通信システム１の撮像画像データを取得し（ステップＳ６１）、通信制御部１７０が、送信先に関する設定内容を取得する（ステップＳ８２）。
さらに、通信制御部１７０は、通信システム１におけるＨＭＤ１００−１の名称やＨＭＤ１００−１の使用者の識別情報等、送信元（受信元）となるＨＭＤ１００−１の属性を示すデータを、撮像画像データに付加する（ステップＳ８３）。通信制御部１７０は、ステップＳ８３で処理したデータと、音声処理部１８７が生成する発話データ、または発話解析データと撮像画像データとを含む会議データを生成する（ステップＳ８４）。通信制御部１７０は、ステップＳ８２で取得した設定に対応する送信先に、ステップＳ８４で生成した会議データを送信する（ステップＳ８５）。

図１１は、通信システム１の動作を示すフローチャートであり、映像データを含む会議データを受信する動作を示す。図１１において、（Ａ）は管理サーバー３の動作を示し、（Ｂ）は会議データを受信するＨＭＤ１００の動作を示す。一例として、ＨＭＤ１００−３が会議データを送信し、ＨＭＤ１００−２が会議データを受信する例を説明する。

ＨＭＤ１００−３が、例えば図１０に示す動作を行って会議データを通信システム１の全てのＨＭＤ１００に送信すると、この会議データは拠点中継装置５Ｂを経由して管理サーバー３に送信される。
管理サーバー３は、拠点中継装置５Ｂから会議データを受信し（ステップＳ１０１）、受信した会議データに含まれる撮像画像データに対し、顔認識処理を実行する（ステップＳ１０２）。顔認識処理では、制御部３０１は、撮像画像データから人間の顔の画像を抽出し、抽出した画像に対し、予め設定されたポイントの特徴量を算出する。記憶部３０２が記憶する参加者管理ＤＢ３０４には、会議の参加者の権限を有する使用者について、顔画像の特徴量のデータが含まれる。制御部３０１は、撮像画像データから抽出した画像の特徴量を、参加者管理ＤＢ３０４に含まれる画像の特徴量のデータと比較することで、撮像画像に写る参加者を特定する。制御部３０１は、特定した参加者の氏名や識別情報を参加者管理ＤＢ３０４から取得する。また、特定した参加者がＨＭＤ１００を使用している場合には、使用されているＨＭＤ１００を特定する情報を、例えば拠点管理ＤＢ３０３から取得する。

制御部３０１は、ステップＳ１０２で拠点管理ＤＢ３０３及び参加者管理ＤＢ３０４から取得した情報を、顔認識処理の結果として、ステップＳ１０１で受信した会議データに付加して、拠点中継装置５Ａに送信する（ステップＳ１０３）。

ＨＭＤ１００−２の通信制御部１７０は、拠点中継装置５Ａから会議データを受信し（ステップＳ１１１）、受信した会議データに、顔認識の認識結果が含まれるか否かを判定する（ステップＳ１１２）。認識結果が含まれない場合（ステップＳ１１２；Ｎｏ）、通信制御部１７０は、受信した会議データに含まれるテキストデータを表示制御部１９０に渡し、表示制御部１９０がテキストを表示する（ステップＳ１１３）。また、通信制御部１７０は、テキストデータを音声処理部１８７に渡し、音声処理部１８７が読み上げ処理を行って、テキストデータに基づく音声を出力する（ステップＳ１１３）。また、通信制御部１７０は、会議データから映像データを抽出して表示制御部１９０に渡し、表示制御部１９０が映像を表示する（ステップＳ１１３）。

また、認識結果が含まれると判定した場合（ステップＳ１１２；Ｙｅｓ）、通信制御部１７０は、受信した会議データから認識結果のデータを抽出して表示制御部１９０に渡し、表示用のデータを生成する（ステップＳ１１４）。これにより、ステップＳ１１３において、表示制御部１９０は、会議データに含まれる映像データを表示する際に、映像データに対する顔認識の結果を表示する。ＨＭＤ１００−２を装着する使用者は、ＨＭＤ１００−３のカメラ６１が撮像した撮像画像を見ることができ、この撮像画像に写る参加者に関する情報を合わせて見ることができる。

図１２は、ＨＭＤ１００の動作を示すフローチャートであり、ミュート動作を示す。
ＨＭＤ１００では、上述したように、Ｐ０モードに移行することでミュート動作を実行し、出力ミュート、撮像・集音ミュート、送信ミュートの状態となる。図１２では、動作モード制御部１６３の制御により、ＨＭＤ１００の動作モードがＰ０モードに切り替えられ、出力ミュート、撮像・集音ミュート、送信ミュートの状態となる過程をフローチャートとして示す。

操作検出部１６２によって、ミュートを指示する操作を検出した場合（ステップＳ１３１）、動作モード制御部１６３は、操作に対応するミュートの種類、内容に関する設定を取得する（ステップＳ１３２）。
動作モード制御部１６３は、設定されたミュートの内容が出力ミュートであるか否かを判定する（ステップＳ１３３）。出力ミュートを行う場合（ステップＳ１３３；Ｙｅｓ）、動作モード制御部１６３は、表示制御部１９０による表示の動作、及び、音声処理部１８７による音声出力を停止させる（ステップＳ１３４）。

ステップＳ１３４で出力を停止した場合、及び、出力ミュートを行わないと判定した場合（ステップＳ１３３；Ｎｏ）、動作モード制御部１６３は、撮像・集音ミュートを行うか否かを判定する（ステップＳ１３５）。
ここで、撮像・集音ミュートを行うと判定した場合（ステップＳ１３５；Ｙｅｓ）、動作モード制御部１６３は、撮像画像データ及び発話データ（または発話解析データ）の出力を停止する（ステップＳ１３６）。

一方、撮像・集音ミュートを行わないと判定した場合（ステップＳ１３５；Ｎｏ）、動作モード制御部１６３は、送信ミュートを行うか否かを判定する（ステップＳ１３７）。送信ミュートを行うと判定した場合（ステップＳ１３７；Ｙｅｓ）、動作モード制御部１６３は、制限された送信先に関する設定内容を取得する（ステップＳ１３８）。送信ミュートでは、会議データ、発話データ、発話解析データを一切、送信しないよう制限されることがあるが、限られた送信先にのみ送信する制限が課される場合がある。具体的には、ＨＭＤ１００−２が、送信ミュートを実行する際に、拠点ＢのＨＭＤ１００−３、ＨＭＤ１００−４にデータを送信しないが、拠点ＡにあるＨＭＤ１００−１にデータを送信することがある。このため、ステップＳ１３８では、送信を制限された場合の送信先に関する設定を取得する。この設定は、記憶部１２０の設定データ１２１に含まれてもよいが、管理サーバー３が有する拠点管理ＤＢ３０３に設定されていてもよい。通信制御部１７０は、ステップＳ１３８で取得した設定に従って、データの送信を行う（ステップＳ１３９）。
また、送信ミュートを行わないと判定した場合（ステップＳ１３７；Ｎｏ）、動作モード制御部１６３は、ミュート動作の実体がないため、本処理を終了する。

以上説明したように、実施形態に係る表示システム１は、複数のＨＭＤ１００を備えて構成される。通信システム１が備えるＨＭＤ１００−１、ＨＭＤ１００−２、ＨＭＤ１００−３、ＨＭＤ１００−４は、それぞれ、第１表示装置、及び、第２表示装置に相当する。
上記構成において、第１表示装置として機能するＨＭＤ１００の画像表示部２０は第１表示部に相当し、通信部１１７は第１通信部に相当する。音声処理部１８７は第１音声処理部に相当し、通信制御部１７０は第１通信制御部に相当し、表示制御部１９０は第１表示制御部に相当する。また、第２表示装置として機能するＨＭＤ１００の画像表示部２０は、第２表示部に相当し、通信部１１７は第２通信部に相当する。音声処理部１８７は第２音声処理部に相当し、通信制御部１７０は第２通信制御部に相当し、表示制御部１９０は第２表示制御部に相当する。

表示装置としてのＨＭＤ１００は、使用者の頭部に装着され、画像を表示する画像表示部２０と、データを送受信する通信部１１７と、音声を検出して、検出した音声から発話データを生成する音声処理部１８７とを備える。また、音声処理部１８７により生成した発話データ、または、発話データを解析して得られる発話解析データを通信部１１７により送信させ、通信部１１７により発話データまたは発話解析データを受信する通信制御部１７０を備える。また、通信部１１７により受信した発話データまたは発話解析データに基づく画像を画像表示部２０に表示させる表示制御部１９０を備える。
この表示装置としてのＨＭＤ１００、及び、ＨＭＤ１００が実行する表示装置の制御方法によれば、使用者の頭部に装着されるＨＭＤ１００が、音声を検出して発話データ、または発話データを解析した発話解析データを送信する。また、ＨＭＤ１００は、発話データ、または発話データを受信して、発話データまたは発話データに基づく表示を行える。これにより、ＨＭＤ１００を装着する使用者の音声を発話データまたは発話解析データとして、他のＨＭＤ１００や、コンピューター等の外部の装置に送信できる。また、発話データまたは発話解析データを受信して、例えば文字や画像等を表示できる。従って、ＨＭＤ１００と、他のＨＭＤ１００等の外部の装置との間で、音声に基づくデータを効率よく送受信し、ＨＭＤ１００を装着する使用者に対する音声による情報の提供、及び、使用者の音声に基づく情報の発信を効率化できる。

音声処理部１８７は、検出した音声から発話データを生成し、生成した発話データに対し認識処理を実行し、認識結果を発話解析データとして出力する。これにより、ＨＭＤ１００を装着する使用者の音声を、例えばテキストを含む発話解析データとして、他の表示装置や、コンピューター等の外部の装置に送信できる。従って、ＨＭＤ１００から外部の装置に対し、ＨＭＤ１００を装着する使用者の音声に関する情報の発信を効率化できる。

表示制御部１９０は、例えば図８（Ａ）〜（Ｃ）に示したように、音声コマンドによる操作を行うための音声操作用インターフェイスを表示する。音声処理部１８７は、表示制御部１９０により音声操作用インターフェイスを表示する間に検出した音声が音声コマンドに該当するか否かを判定し、音声コマンドに該当する場合に音声操作用インターフェイスで表示された項目に対する操作を検出する。これにより、音声コマンドにより表示装置を操作することができ、操作性の向上を図ることができる。

また、ＨＭＤ１００は、音声を出力する音声出力部として、スピーカー６８、６９を備える。音声処理部１８７は、通信部１１７により受信した発話データまたは発話解析データに基づく音声を、スピーカー６８、６９によって出力する。これにより、ＨＭＤ１００が発話データまたは発話解析データを受信して音声を出力し、使用者に対して音声による情報提供や指示を行うことができる。

また、ＨＭＤ１００は、通信部１１７により受信した発話データまたは発話解析データを、他の言語の発話データまたは発話解析データに変換する言語処理部１６４を備える。これにより、発話データまたは発話解析データを受信して他の言語のデータに変換できる。このため、受信した発話データまたは発話解析データの言語と使用者が使用する言語とが異なる場合であっても、使用者に対し音声による情報提供や指示を行うことができる。

また、ＨＭＤ１００は、ＨＭＤ１００の動作モードを切り替えて実行する動作モード制御部１６３を備える。動作モード制御部１６３は、音声処理部１８７が音声を検出するか否か、音声出力部の音声出力をするか否か等に応じたミュートを行うＰ０モードへの切り替えを制御できる。動作モード制御部１６３は、通信部１１７により発話データまたは発話解析データを送信する送信先、及び、通信部１１７により発話データまたは発話解析データを受信する受信元の少なくともいずれかが異なる動作モードを切り替えることもできる。ＨＭＤ１００を構成する機能部のうち、例えば、音声処理部１８７、及び、通信制御部１７０のうち少なくともいずれかは、動作モード制御部１６３が実行する動作モードに対応する設定に従って動作する。これにより、動作モード制御部１６３が動作モードを切り替えて、音声を検出するか否か、音声出力をするか否か、発話データまたは発話解析データを送信する送信先、及び、発話データまたは発話解析データを受信する受信元等を切り替えることができる。

さらに、ＨＭＤ１００は、使用者に割り当てられる権限と、動作モード制御部が実行可能な動作モードとを対応付ける設定情報を記憶する記憶部１２０を備える。この設定情報は、管理サーバー３が記憶してもよい。動作モード制御部１６３は、画像表示部２０を装着する使用者の権限を判定し、設定情報において、判定した権限に対応付けられた動作モードを実行する。これにより、使用者の権限に対応して、例えば一部の機能の実行を制限することができる。従って、ＨＭＤ１００が多機能化した場合であっても、機能の利用範囲を適切に制限できる。

また、ＨＭＤ１００は、操作を検出する操作検出部１６２を備え、動作モード制御部１６３は、操作検出部１６２で検出する操作に応じて動作モードを切り替えることができる。これにより、使用者の操作に応じて、速やかに動作モードを切り替えることができる。操作検出部１６２が検出する操作は、操作部１１１に対する操作であってもよいし、画像表示部２０が備えるノックセンサー６２、ミュートスイッチ６５、９軸センサー６６で検出する操作であってもよい。また、カメラ６１の撮像画像に基づき、使用者のジェスチャーを検出してもよい。さらに、マイク６３が集音する音声に基づき、音声コマンドを操作として検出してもよい。

操作検出部１６２は、ノックセンサー６２の検出値に基づき、画像表示部２０に対するノック操作を検出する。ノック操作は、使用者が手や道具を用いて、ＨＭＤ１００を叩く操作を指し、１回叩く操作を一つのノック操作とする。本実施形態では画像表示部２０がノックセンサー６２を内蔵するので、画像表示部２０に対するノック操作に基づく検出値が、制御部１４０に入力される。操作検出部１６２は、ノックセンサー６２の検出値から、画像表示部２０に対するノック操作を検出してもよいし、ノック操作が１回行われた場合と、連続して複数回のノック操作が行われた場合とを区別してもよい。この場合、操作検出部１６２は、１回のノック操作に対応して制御部１４０の他の機能部に出力するコマンドと、複数回の連続ノック操作に対応して制御部１４０の他の機能部に出力するコマンドとを、異なるコマンドとすることができる。また、操作検出部は、ノックセンサー６２により検出されたノックの方向に応じたコマンドを生成して出力してもよい。例えば、ノックセンサー６２が検出したノック操作が、画像表示部２０に対するＸ軸方向のノックであるか、Ｙ軸方向のノックであるか、Ｚ軸方向のノックであるかを判定して、判定した方向に応じたコマンドを出力してもよい。この場合、例えば右表示駆動部２２を側方から叩く操作と、画像表示部２０を前方から叩く操作とを区別して、制御部１４０が処理を実行できる。

また、ＨＭＤ１００は、画像表示部２０に取り付けられて音声を集音する集音部としてのマイク６３を備える。音声処理部１８７は、マイク６３により集音された音声を検出する。これにより、画像表示部２０に取り付けられたマイク６３により音声を集音し、発話データまたは発話解析データを送信できる。

音声処理部１８７は、マイク６３の種類を判定し、判定したマイク６３の種類に応じて、集音された音声から発話データまたは発話解析データを生成する処理の設定を切り替えてもよい。この場合、マイク６３の種類に対応する設定を行うことで、発話データまたは発話解析データを生成する処理を効率よく適切に実行できる。

また、ＨＭＤ１００は、カメラ６１を備え、通信制御部１７０は、カメラ６１で撮像した撮像画像データを含む会議データ、または、撮像画像データと発話データとを含む会議データを通信部１１７により送信してもよい。この場合、撮像した画像データを、管理サーバー３や他のＨＭＤ１００など、外部の装置に送信できる。
また、表示制御部１９０は、通信部１１７により受信された会議データに含まれる撮像画像データに基づく画像を画像表示部２０により表示できるので、使用者に対し、音声と映像による情報提供や指示を行うことができる。

［第２実施形態］
図１３は、本発明を適用した第２実施形態に係るＨＭＤ１００Ｂの外観構成を示す図である。
この図１３に示すＨＭＤ１００Ｂは、ＨＭＤ１００（図２）において、マイク６３に代えて、マイクユニット７０を設けた構成である。マイクユニット７０は、画像表示部２０を構成するフレームに取り付けられるアーム部７１と、アーム部７１の先端に配置されるマイク７３（集音部）とを有する。アーム部７１は、図１３の例では右保持部２１に固定される。アーム部７１は、軸方向に伸縮可能に構成され、アーム部７１の長さは、図示しないセンサーにより制御部１４０が検出可能である。
また、マイク６３とマイクユニット７０の相違を除き、ＨＭＤ１００Ｂは、ＨＭＤ１００と同様に構成される。

この構成において、操作検出部１６２は、アーム部７１を伸縮させる操作、または、アーム部７１の長さを検出する。操作検出部１６２は、アーム部７１を伸縮させる操作を検出した場合、或いは、アーム部７１の長さが設定された長さになった場合に、ミュートを指示する操作を検出する。動作モード制御部１６３は、操作検出部１６２が、ミュートを指示する操作を検出した場合に、ＨＭＤ１００Ｂの動作モードを、Ｐ０モードに切り替える。このように、動作モード制御部１６３が、画像表示部２０に対する集音部であるマイク７３の相対位置に対応して、動作モードを切り替える。これにより、アーム部７１を伸縮させてマイク７３を動かす操作により、ＨＭＤ１００Ｂを、ミュートを行うＰ０モードに移行させることができる。

例えば、撮像・集音ミュートを行う場合、マイク７３が音声を集音しなくなるか、集音した音声のデータが出力されなくなる。そこで、マイク７３を、使用者の口元から離れる方向に移動させる操作に対応して、Ｐ０モードに切り替えると、使用者は、直感的にマイク７３を口元の近くから移動させることで、ミュートを指示できる。この構成では、直感的で簡単な操作により、使用者が意図する動作モードへの切り替えを行うことができ、操作性の向上を図ることができる。

このように、動作モード制御部１６３は、ＨＭＤ１００の特定の部位に対する操作や、特定の部位の状態に応じて、実行する動作モードを判定し、動作モードを切り替えてもよい。第２実施形態で説明したアーム部７１の長さの調整は、この一例である。このほか、例えば、マイク６３やマイクユニット７０に代えて、Ｂｌｕｅｔｏｏｔｈヘッドセットを使用することもできる。このヘッドセットは、例えば通信部１１７と、Ｂｌｕｅｔｏｏｔｈの通信を実行するので、制御装置１０、及び画像表示部２０とは別体として構成される。この場合、ヘッドセットにおいてマイクの角度やマイクの位置を検出し、検出した角度や位置を示すデータを制御装置１０に送信することができれば、操作検出部１６２は、マイクの角度や位置の変化を、モード切り替えを指示する操作として検出できる。

なお、本発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、通信システム１は、通信ネットワーク４を介して接続される拠点中継装置５Ａ、５Ｂと、拠点中継装置５Ａ、５Ｂとそれぞれ通信するＨＭＤ１００−１〜４を備えて構成される例に限定されない。例えば、ＨＭＤ１００以外の表示装置を、拠点中継装置５Ａ、５Ｂに接続してもよい。また、管理サーバー３以外の装置を、通信ネットワーク４を介して拠点中継装置５Ａ、５Ｂと通信可能に接続してもよい。
この種の表示装置は、ＨＭＤ１００に限定されない。例えば、液晶表示パネルに画像を表示する液晶モニター又は液晶テレビ、或いは、ＰＤＰ（プラズマディスプレイパネル）に画像を表示するモニター装置又はテレビ受像機であってもよい。また、ＯＬＥＤ（Organic light-emitting diode）、ＯＥＬ（Organic Electro-Luminescence）等と呼ばれる有機ＥＬ表示パネルに画像を表示するモニター装置又はテレビ受像機等の自発光型の表示装置など、各種の表示装置も本発明の表示装置に含まれる。

また、ＨＭＤ１００は、上記各実施形態の構成に限定されない。例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイや、ヘッドアップディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

さらに、上記各実施形態では、ＨＭＤ１００、１００Ｂは、画像表示部２０と制御装置１０とが分離され、接続ケーブル４０を介して接続された構成として説明した。本発明はこれに限定されず、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、ＨＭＤ１００、１００Ｂは、少なくとも、表示を行う画像表示部２０が、使用者（被援助者、指令者）の頭部に装着される装置であればよく、制御装置２１０の装着状態は限定されない。このため、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０が画像表示部２０と分離して構成され、制御装置１０と画像表示部２０との間で無線通信により各種信号を送受信する構成としてもよい。

また、上記第１実施形態では、表示システム１が備えるＨＭＤ１００−１〜ＨＭＤ１００−４が、いずれも共通の構成を有するものとして説明した。本発明はこれに限定されず、表示システム１を構成するＨＭＤ１００の一部または全部が、異なる構成を有していてもよい。具体的には、一部のＨＭＤ１００において、他のＨＭＤ１００、１００Ｂが有する機能部を省略する構成としてもよい。例えば、カメラ６１で撮像して撮像画像を送信する動作モードを実行しないＨＭＤ１００がある場合、このＨＭＤ１００は、カメラ６１を備えない構成であってもよい。また、音声や映像のデータを受信する動作を実行し、音声の検出を行わないＨＭＤ１００が、マイク６３を備えない構成とすることも可能である。このほか、各種センサーや、記憶部１２０が記憶するデータなどについて、表示システム１が備えるＨＭＤ１００−１〜ＨＭＤ１００−４の一部が異なる構成であってもよい。表示システム１のＨＭＤ１００−１〜ＨＭＤ１００−４を、ＨＭＤ１００Ｂに置き換えた場合も同様である。

また、上記実施形態では、ＨＭＤ１００が送信する会議データについて、管理サーバー３が、会議データに含まれる撮像画像データに対する顔認識処理を実行する例を説明した。この例では、制御部３０１が、撮像画像データから人間の顔を検出することにより、撮像画像に写る参加者の氏名や識別情報を参加者管理ＤＢ３０４から取得する。これによって、会議に参加している参加者に関する情報を、管理サーバー３が、提供するものとした。この動作において、管理サーバー３が、当該会議データに含まれる撮像画像を撮像したＨＭＤ１００の使用者に関する情報を、他のＨＭＤ１００に提供してもよい。会議データに含まれる撮像画像を撮像したＨＭＤ１００の使用者は、その撮像画像に写らないが、この使用者に関する情報を、例えば管理サーバー３が提供することで、会議の参加者について漏れなく情報を提供できる。具体的には、ＨＭＤ１００が、会議データを構成する撮像画像データを送信する際に、送信元であるＨＭＤ１００を特定可能な情報を付加して送信する。この情報が、ＨＭＤ１００の使用者を特定する情報や、使用者の顔の画像、使用者の氏名等に関する情報等を含んでもよい。管理サーバー３は、ＨＭＤ１００が送信する会議データを中継する処理において、送信元のＨＭＤ１００を特定する情報、或いは、このＨＭＤ１００の使用者を特定可能な情報に基づき、参加者管理ＤＢ３０４を参照する。そして、このＨＭＤ１００を使用する参加者の氏名や識別情報を参加者管理ＤＢ３０４から取得する。

さらに、表示システム１において、会議データに含まれる撮像画像に写っている人物が装着し使用するＨＭＤ１００の位置情報と、撮像画像を撮像したＨＭＤ１００の位置情報とに基づき、撮像画像に写る参加者と位置情報とを対応付けることができる。この対応付けを行う処理は、管理サーバー３、或いはＨＭＤ１００が実行でき、位置の対応付けは拠点Ａ、Ｂのそれぞれにおいて行うことができる。また、位置情報は、ＧＰＳを利用して取得できる位置情報であってもよいし、ＨＭＤ１００が備える９軸センサー６６を利用した位置トラッキングで得られる位置情報であってもよい。或いは、ＨＭＤ１００が通信部１１７により無線通信を実行することにより得られる位置情報であってもよい。この場合、ＨＭＤ１００の位置情報と、他のＨＭＤ１００の撮像画像とをもとに、当該ＨＭＤ１００を使用する使用者の顔の画像を取得できる。このため、予め各参加者の顔画像を参加者管理ＤＢ３０４に格納していなくても、それぞれのＨＭＤ１００に対し、参加者に関する情報を提供できる。また、ＨＭＤ１００の撮像画像データと、それぞれのＨＭＤ１００の使用者との関連づけを複数回行うことで、それぞれのＨＭＤ１００の使用者の顔画像のデータの抽出が可能となり、このようにして抽出した顔画像を、参加者管理ＤＢ３０４に格納してもよい。

また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。
また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有する構成としてもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導く部品であってもよく、ハーフミラー面を利用してもよい。

さらに、本発明の光学素子は、ハーフミラー２６１Ａ、２６２Ａを有する右導光板２６１、左導光板２６２に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

なお、図４、及び図５に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよい。その構成は、図４及び図５に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、上記実施形態で説明した制御部１４０、３０１の動作をプログラムとして実現することも可能である。上記のプログラムは、その一部または全部をハードウェアとして実現してもよい。例えば、制御部１４０、３０１が備える上記の各処理部は、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。また、ＦＰＧＡ（Field-Programmable Gate Array）等のＰＬＤ（Programmable Logic Device）をプログラミングして構成してもよい。また、複数の半導体デバイスを含む回路として実現してもよい。
また、ハードウェアがプログラムを実行して上記機能を実現する場合、このプログラムは、制御部１４０のＲＯＭ、或いは、記憶部１２０または別の記憶装置に記憶されてもよい。或いは、ＨＭＤ１００、１００Ｂに外部接続される記憶装置や記憶媒体に上記プログラムを格納してもよい。この場合、これらの記憶装置や記憶媒体から、プログラムを記憶部１２０等に取り込んで実行することも可能である。また、外部の装置に記憶されたプログラムを通信部やインターフェイス部を介して取得して実行する構成としてもよい。

１…通信システム、３…管理サーバー、４…通信ネットワーク、５、５Ａ、５Ｂ…拠点中継装置、１０…制御装置、２０…画像表示部（表示部）、２０Ａ…調光板、２１…右保持部、２３…左保持部、２５…インターフェイス、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、６１…カメラ（撮像部）、６２…ノックセンサー、６３…マイク（集音部）、６４…距離センサー、６５…ミュートスイッチ、６６…９軸センサー、６８、６９…スピーカー（音声出力部）、７０…マイクユニット、７１…アーム部、７３…マイク（集音部）、１００、１００Ｂ…ＨＭＤ（表示装置）、１１０…入力情報取得部、１１１…操作部、１１４…インターフェイス、１１５…ＧＰＳ、１１７…通信部、１２０…記憶部、１２１…設定データ、１２２…音声認識データベース、１２３…表示設定データ、１２４…モード設定データ、１３０…電源部、１４０…制御部、１５０…オペレーティングシステム、１６０…画像処理部、１６１…撮像制御部、１６２…操作検出部、１６３…動作モード制御部、１６４…言語処理部、１７０…通信制御部、１８７…音声処理部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１０…制御装置、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…液晶ディスプレイ、２４２…液晶ディスプレイ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６１Ａ…ハーフミラー、２６２…左導光板、２６２Ａ…ハーフミラー、３０１…制御部、３０２…記憶部、３０３…拠点管理データベース、３０４…参加者管理データベース、３０６…通信部、４００…画像表示領域、４１１、４１２…ドロワータグ、４２１〜４２６…メニューリスト、４３１…動作表示、４３２…メニュー、４３３…メニュー、Ａ、Ｂ…拠点、ＥＬ…端部、ＥＲ…端部、ＯＡ…外部機器、ＲＥ…右眼、Ｖ…視野。

Claims (16)

1. 使用者の頭部に装着され、画像を表示する表示部と、
   データを送受信する通信部と、
   音声を検出して、検出した音声から発話データを生成する音声処理部と、
   前記音声処理部により生成した前記発話データ、または、前記発話データを解析して得られる発話解析データを前記通信部により送信させ、前記通信部により前記発話データまたは前記発話解析データを受信する通信制御部と、
   前記通信部により受信した前記発話データまたは前記発話解析データに基づく画像を前記表示部に表示させる表示制御部と、
   を備えることを特徴とする表示装置。
2. 前記音声処理部は、検出した音声から発話データを生成し、生成した発話データに対し認識処理を実行し、認識結果を前記発話解析データとして出力すること、
   を特徴とする請求項１記載の表示装置。
3. 前記表示制御部は、音声コマンドによる操作を行うための音声操作用インターフェイスを表示し、
   前記音声処理部は、前記表示制御部により前記音声操作用インターフェイスを表示する間に検出した音声が音声コマンドに該当するか否かを判定し、音声コマンドに該当する場合に前記音声操作用インターフェイスで表示された項目に対する操作を検出すること、
   を特徴とする請求項１または２記載の表示装置。
4. 音声を出力する音声出力部を備え、
   前記音声処理部は、前記通信部により受信した前記発話データまたは前記発話解析データに基づく音声を前記音声出力部によって出力すること、
   を特徴とする請求項１から３のいずれかに記載の表示装置。
5. 前記通信部により受信した前記発話データまたは前記発話解析データを、他の言語の前記発話データまたは前記発話解析データに変換する言語処理部を備えること、
   を特徴とする請求項１から４のいずれかに記載の表示装置。
6. 前記音声処理部が音声を検出するか否か、前記音声出力部の音声出力をするか否か、前記通信部により前記発話データまたは前記発話解析データを送信する送信先、及び、前記通信部により前記発話データまたは前記発話解析データを受信する受信元の少なくともいずれかが異なる複数の動作モードを、切り替えて実行する動作モード制御部を備え、
   前記音声処理部、及び、前記通信制御部のうち少なくともいずれかは、前記動作モード制御部が実行する動作モードに対応する設定に従って動作すること、
   を特徴とする請求項１から５のいずれかに記載の表示装置。
7. 前記使用者に割り当てられる権限と、前記動作モード制御部が実行可能な動作モードとを対応付ける設定情報を記憶する記憶部を備え、
   前記動作モード制御部は、前記表示部を装着する使用者の権限を判定し、前記設定情報において、判定した権限に対応付けられた動作モードを実行すること、
   を特徴とする請求項６記載の表示装置。
8. 操作を検出する操作検出部を備え、
   前記動作モード制御部は、前記操作検出部で検出する操作に応じて動作モードを切り替えること、
   を特徴とする請求項６または７記載の表示装置。
9. 前記表示部に取り付けられて音声を集音する集音部を備え、
   前記音声処理部は前記集音部により集音された音声を検出すること、
   を特徴とする請求項１から８のいずれかに記載の表示装置。
10. 前記集音部は前記表示部に対する相対位置を変位可能に構成され、
    前記動作モード制御部は、前記表示部に対する前記集音部の相対位置に対応して、動作モードを切り替えること、
    を特徴とする請求項９記載の表示装置。
11. 前記音声処理部は、前記集音部の種類を判定し、判定した前記集音部の種類に応じて、前記集音部により集音された音声から前記発話データまたは前記発話解析データを生成する処理の設定を切り替えること、
    を特徴とする請求項９または１０記載の表示装置。
12. 撮像部を備え、
    前記通信制御部は、前記撮像部で撮像した撮像画像データを含む会議データ、または、前記撮像画像データと前記発話データとを含む会議データを前記通信部により送信すること、
    を特徴とする１から１１のいずれかに記載の表示装置。
13. 前記表示制御部は、前記通信部により受信された前記会議データに含まれる前記撮像画像データに基づく画像を前記表示部により表示すること、
    を特徴とする請求項１２記載の表示装置。
14. 第１表示装置、及び、第２表示装置を通信可能に接続し
    前記第１表示装置は、
    使用者の頭部に装着され、画像を表示する第１表示部と、
    第１通信部と、
    音声を検出して、検出した音声から発話データを生成する第１音声処理部と、
    前記第１音声処理部により生成した前記発話データ、または、前記発話データを解析して得られる発話解析データを前記第１通信部により送信させ、前記第１通信部により前記発話データまたは前記発話解析データを受信する第１通信制御部と、
    前記第１通信部により受信した前記発話データまたは前記発話解析データに基づく画像を前記第１表示部に表示させる第１表示制御部と、を備え、
    前記第２表示装置は、
    使用者の頭部に装着され、画像を表示する第２表示部と、
    第２通信部と、
    音声を検出して、検出した音声から発話データを生成する第２音声処理部と、
    前記第２音声処理部により生成した前記発話データ、または、前記発話データを解析して得られる発話解析データを前記第１通信部により送信させ、前記第２通信部により前記発話データまたは前記発話解析データを受信する第２通信制御部と、
    前記第２通信部により受信した前記発話データまたは前記発話解析データに基づく画像を前記第２表示部に表示させる第２表示制御部と、を備えること、
    を特徴とする通信システム。
15. 使用者の頭部に装着され、画像を表示する表示部を備えた表示装置の制御方法であって、
    音声を検出して、検出した音声から発話データを生成し、
    生成した前記発話データ、または、前記発話データを解析して得られる発話解析データを通信部により送信し、
    前記通信部により前記発話データまたは前記発話解析データを受信し、
    前記通信部により受信した前記発話データまたは前記発話解析データに基づく画像を前記表示部に表示すること、
    を特徴とする表示装置の制御方法。
16. 使用者の頭部に装着され、画像を表示する表示部を備えた表示装置を制御するコンピューターが実行可能なプログラムであって、
    前記コンピューターにより、
    音声を検出して、検出した音声から発話データを生成し、
    生成した前記発話データ、または、前記発話データを解析して得られる発話解析データを通信部により送信し、
    前記通信部により前記発話データまたは前記発話解析データを受信し、
    前記通信部により受信した前記発話データまたは前記発話解析データに基づく画像を前記表示部に表示すること、
    を特徴とするプログラム。

Images