JP2016033757A - 表示装置、表示装置の制御方法、および、プログラム - Google Patents

Abstract

【課題】装置外部の、外的な要因に対応して情報を表示する表示装置、表示装置の制御方法、および、プログラムを提供する。
【解決手段】頭部装着型表示装置１００は、使用者に画像を視認させるとともに外景を透過する画像表示部２０と、音声を検出するマイク６３とを備える。また、データを取得するデータ取得部ＤＡと、画像表示部２０を透過して外景を視認可能なときに、マイク６３で検出した音声、及び、データ取得部ＤＡで取得したデータに基づいて、画像表示部２０に表示をさせる付加データ表示制御部１６６とを備える。
【選択図】図２

Description

本発明は、表示装置、表示装置の制御方法、および、プログラムに関する。

従来、ウェアラブル表示装置において文章を表示する機能を備えたものが知られている（例えば、特許文献１参照）。特許文献１記載の装置は、表示された文章データの内容をユーザーが把握できるように、文章データの一部の文字又は単語について、フォントサイズや文字の色等の表示属性を変更する。これにより、例えばミニブログの文章を読みやすく表示する。

特開２０１４−５６２１７号公報

特許文献１記載の装置では、特定の分野を表す言葉のフォントサイズを大きくするなど、表示する情報の内容に対応して表示属性を変更する。これに対し、装置あるいは装置を使用するユーザーの外的な状況に対応した表示を行う手法は従来無かった。
本発明は、上述した事情に鑑みてなされたものであり、装置外部の、外的な要因に対応して情報を表示する表示装置、表示装置の制御方法、および、プログラムを提供することを目的とする。

上記目的を達成するために、本発明の表示装置は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、音声を検出する音声検出部と、データを取得するデータ取得部と、前記音声検出部で検出した音声、及び、前記データ取得部で取得したデータに基づいて、前記表示部に表示をさせる制御部と、を備えることを特徴とする。
本発明によれば、音声の状態や内容等を反映してデータを表示するので、表示装置外部の、外的な要因に対応して情報を表示することができる。

また、本発明は、上記表示装置において、前記制御部は、前記表示部を透過して視認される外景に関する情報を取得し、取得した情報に基づいて前記表示部に表示をさせること、を特徴とする。
本発明によれば、使用者が認識する外景に対応して表示を行うことができる。

また、本発明は、上記表示装置において、前記制御部は、前記音声検出部で検出した音声に基づき、前記表示部を透過して視認される外景に関する情報を取得すること、を特徴とする。
本発明によれば、使用者が認識する外景に関する情報を、音声に基づいて容易に得ることができる。

また、本発明は、上記表示装置において、撮像部を備え、前記制御部は、前記撮像部の撮像画像から、前記表示部を透過して視認される外景に関する情報を取得すること、を特徴とする。
本発明によれば、使用者が認識する外景に関する情報を、撮像画像に基づいて容易に得ることができる。

また、本発明は、上記表示装置において、前記制御部は、前記撮像部の撮像画像から発話中の人物の画像を検出し、検出した画像に基づき前記音声検出部が検出した音声から発話中の人物の音声を抽出し、抽出した音声と、前記データ取得部で取得したデータとに基づいて、前記表示部に表示をさせること、を特徴とする。
本発明によれば、マイク等を用いることなく音声を検出し、音声を発した人を特定できる。

また、本発明は、上記表示装置において、前記制御部は、前記音声検出部で検出した音声に対応する表示態様で、前記データ取得部で取得したデータを前記表示部に表示させること、を特徴とする。
本発明によれば、音声を検出し、音声に対応する表示態様でデータを表示して、使用者に見せることができる。

また、本発明は、上記表示装置において、前記制御部は、前記データ取得部で取得したデータのうち前記音声検出部で検出した音声に対応するデータを前記表示部に表示させること、を特徴とする。
本発明によれば、例えば検出した音声に関連するデータを表示することができる。音声検出部により検出される音声が使用者にも聞こえている場合、音声に対応するデータを表示することで、音声に対応した表示の演出を行うこともでき、音声に関する情報を使用者に提供できる。

また、本発明は、上記表示装置において、前記制御部は前記データ取得部で取得したデータに基づき文字を前記表示部に表示させること、を特徴とする。
本発明によれば、表示装置の外部の音声に基づいて文字を表示する。これにより、文字を利用して、音声に関する情報を提供できる。

また、本発明は、上記表示装置において、前記音声検出部により検出された音声に対応する文字を、他の文字とは異なる態様で表示させること、を特徴とする。
本発明によれば、例えば、音声に対応する文字を目立たせることができ、音声に関連する情報を文字によって見やすく提供できる。また、音声に対応する文字と他の文字とを異なる態様で使用者に見せることができる。このため、表示により多くの情報の提供を可能とし、目立たせることができる。

また、本発明は、上記表示装置において、前記制御部は、前記音声検出部が検出した音声の言語の種類を特定し、特定した言語の文字を前記表示部に表示させること、を特徴とする。
本発明によれば、音声を検出し、検出した音声の言語で文字を表示する。これにより、音声と同じ言語で文字による情報の提供を行うことができる。

また、本発明は、上記表示装置において、前記制御部は、前記特定した言語の文字とともに、設定された言語の文字を前記表示部に表示させること、を特徴とする。
本発明によれば、検出した音声の言語の文字を表示するとともに、設定された言語の文字を表示するので、多言語で詳細な情報を提供できる。

また、本発明は、上記表示装置において、前記データ取得部が取得したデータに含まれる文字を、表示する言語の文字に変換する言語変換部を備えること、を特徴とする。
本発明によれば、表示する言語とは異なる言語の文字を変換して、表示できるので、多言語の文字を含むデータを取得した場合であっても使用者に情報を提供できる。

また、本発明は、上記表示装置において、前記音声検出部で検出した音声の音声認識を行って認識結果の文字データを出力すること、を特徴とする。
本発明によれば、音声の内容を表示できる。

また、上記目的を達成するために、本発明は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備える表示装置の制御方法であって、使用者の視線方向から発される音声を検出し、データを取得し、検出した音声、及び、取得したデータに基づいて、前記表示部に表示をさせること、を特徴とする。
本発明によれば、音声の状態や内容等を反映してデータを表示するので、表示装置外部の、外的な要因に対応して情報を表示することができる。

また、上記目的を達成するために、本発明は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備える表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、使用者の視線方向から発される音声を検出し、データを取得し、検出した音声および取得したデータに基づいて、前記表示部に表示をさせる制御部と、して機能させる。
本発明によれば、音声の状態や内容等を反映してデータを表示するので、表示装置外部の、外的な要因に対応して情報を表示することができる。

頭部装着型表示装置の外観構成を示す説明図である。 頭部装着型表示装置の機能的構成を示すブロック図である。 頭部装着型表示装置の動作を示すフローチャートである。 音声検出処理を詳細に示すフローチャートである。 言語処理を詳細に示すフローチャートである。 表示処理を詳細に示すフローチャートである。 音声検出処理の変形例を示すフローチャートである。 頭部装着型表示装置の典型的な適用例を示す説明図であり、（Ａ）は頭部装着型表示装置が利用される劇場の構成を示す模式図であり、（Ｂ）は劇場で頭部装着型表示装置を使用する使用者の視野の例を示す。 頭部装着型表示装置の典型的な適用例を示す説明図であり、（Ａ）はテキストを表示する表示例を示し、（Ｂ）は画像表示部の別の表示例を示す。

図１は、頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

頭部装着型表示装置１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置１０と、を備えている。制御装置１０は、使用者が頭部装着型表示装置１００を操作するためのコントローラーとしても機能する。画像表示部２０は、単に「表示部」とも呼ぶ。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１（撮像部）と、マイク６３と、を備える。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板２０Ａは、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰または反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６および左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは右導光板２６１、左導光板２６２を保護し、右導光板２６１、左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは右光学像表示部２６および左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。

カメラ６１は、右光学像表示部２６の他端である端部ＥＲに配置される。カメラ６１は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。図１に示す本実施形態のカメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。
カメラ６１の撮影方向すなわち画角は、頭部装着型表示装置１００の表側方向、換言すれば、頭部装着型表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮影する方向である。また、カメラ６１の画角の広さは適宜設定可能であるが、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む範囲であることが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮影できるようにカメラ６１の撮像範囲が設定されていると、より好ましい。

画像表示部２０は、さらに、画像表示部２０を制御装置１０に接続するための接続部４０を有している。接続部４０は、制御装置１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を備える。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。

連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。イヤホンプラグ３０の近傍にはマイク６３が設けられている。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がっている。

マイク６３の具体的な仕様は任意であるが、本実施形態では、マイク６３が指向性を有する構成を説明する。指向性には、例えば単一指向性（Cardioid）、狭指向性（Supercardioid）、鋭指向性（Hypercardioid）、超指向性（Ultra Cardioid）等があるが、マイク６３の指向性はいずれであってもよい。頭部装着型表示装置１００に要求される指向性の高さに合わせて適宜選択すればよい。
指向性を有するマイク６３は、頭部装着型表示装置１００を装着した使用者の視線方向からの音声を特に良好に集音し、検出する。マイク６３の指向性を確保するため、マイク６３またはマイク６３を収容する部品に構造的な特徴を持たせてもよい。例えば図１の例において、使用者が右イヤホン３２及び左イヤホン３４を装着した状態で、マイク６３の集音部が、使用者の視線方向を向くように、マイク６３及び連結部材４６が設計されていればよい。或いは、マイク６３を、右保持部２１または左保持部２３に埋込設置してもよい。この場合、右保持部２１または左保持部２３の前面側、すなわち右光学像表示部２６、左光学像表示部２８に並ぶ面に集音用の穴を穿設すれば、使用者の視線方向に対応する指向性を持たせることができる。使用者の視線方向とは、例えば、右光学像表示部２６及び左光学像表示部２８が面する方向、使用者が右光学像表示部２６及び左光学像表示部２８越しに見る視界の中心を向く方向、カメラ６１の撮影方向等と言い換えることができる。なお、マイク６３の指向性の方向を可変としてもよい。この場合、使用者の視線方向を検出して、その方向を向くようにマイク６３の視線方向を調整する構成としてもよい。

なお、右コード４２と左コード４４とを一本のコードにまとめることも可能である。具体的には、右コード４２の内部の導線を、画像表示部２０の本体内部を通して左保持部２３側に引き込み、左コード４４内部の導線とともに樹脂で被覆して、一本のコードにまとめてもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御装置１０と、のそれぞれには、互いに嵌合するコネクター（図示略）が設けられている。本体コード４８のコネクターと制御装置１０のコネクターとの嵌合／嵌合解除により、制御装置１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御装置１０は、頭部装着型表示装置１００を制御するための装置である。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が指によりタッチ操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態を、その発光状態によって通知する。頭部装着型表示装置１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。

トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。

図２は、実施形態に係る表示システム１を構成する各部の機能ブロック図である。
図２に示すように、表示システム１は、外部機器ＯＡと、頭部装着型表示装置１００とを備える。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。外部機器ＯＡは、頭部装着型表示装置１００に画像を供給する画像供給装置として用いられる。

頭部装着型表示装置１００の制御装置１０は、制御部１４０と、操作部１３５と、入力情報取得部１１０と、記憶部１２０と、電源１３０と、インターフェイス１８０と、送信部（Ｔｘ）５１および送信部（Ｔｘ）５２と、を有している。
操作部１３５は、使用者による操作を検出する。操作部１３５は、図１に示した決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８の各部を備える。

入力情報取得部１１０は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、トラックパッド１４、方向キー１６、電源スイッチ１８、に対する操作入力がある。
電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。

記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。記憶部１２０には、頭部装着型表示装置１００の画像表示部２０に表示する画像データが格納されていても良い。

インターフェイス１８０は、制御装置１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。

制御部１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、表示制御部１９０、付加データ表示制御部１６６、として機能する。
制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、３軸センサー１１３の検出値を制御部１４０が取得可能である。ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信し、制御装置１０の現在位置を求める。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御装置１０の制御部１４０が計時する時刻を修正させる機能を備えていてもよい。

通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合には、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示するための制御を行う。一方、外部機器ＯＡが、インターフェイス１８０に有線接続された場合には、制御部１４０は、コンテンツデータをインターフェイス１８０より取得して、画像表示部２０に画像を表示するための制御を行う。よって、通信部１１７、及び、インターフェイス１８０を、以下総称してデータ取得部ＤＡと呼ぶ。
データ取得部ＤＡは、外部機器ＯＡからコンテンツデータを取得する。データ取得部ＤＡは、頭部装着型表示装置１００が表示する画像のデータ（以下、「表示画像データ」という）を、外部機器ＯＡから取得する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、振動センサー６５と、９軸センサー６６と、を備えている。

振動センサー６５は、加速度センサーを利用して構成され、図１に示すように画像表示部２０の内部に配置される。図１の例では右保持部２１において、右光学像表示部２６の端部ＥＲの近傍に内蔵される。振動センサー６５は、使用者が端部ＥＲを叩く操作（ノック操作）を行った場合に、この操作による振動を検出して、検出結果を制御部１４０に出力する。この振動センサー６５の検出結果により、制御部１４０は、使用者によるノック操作を検出する。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているとき、制御部１４０は、９軸センサー６６の検出値に基づいて使用者の頭部の動きを検出できる。検出された使用者の頭部の動きから画像表示部２０の向きがわかるため、制御部１４０は、使用者の視線方向を推定できる。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を備える。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａ１と、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を備える。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

本実施形態の頭部装着型表示装置１００は、データ取得部ＤＡにより取得したデータを画像表示部２０に表示させる制御部として、付加データ表示制御部１６６を備える。頭部装着型表示装置１００は、データ取得部ＤＡにより、動画像、静止画像、文字、記号等様々なデータを取得する構成としてもよい。この場合、付加データ表示制御部１６６は、データ取得部ＤＡが取得する種々のデータに基づき、画像や文字等の様々なコンテンツを表示させる構成とすればよい。
本実施形態では、一例として、データ取得部ＤＡが取得したデータに基づき、付加データ表示制御部１６６が、画像表示部２０により文字を表示させる例について説明する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示略）および左イヤホン３４内のスピーカー（図示略）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれから、例えば周波数等が変えられた異なる音が出力される。

また、音声処理部１７０は、マイク６３により集音される音声を取得してディジタル音声データに変換し、音声に係る処理を行う。例えば、音声処理部１７０は、取得した音声から特徴を抽出してモデル化することで、複数の人の声を別々に認識して、声ごとに話している人を特定する話者認識を行ってもよい。

本実施形態で、音声処理部１７０は、マイク６３により集音された音声をディジタル音声データとして付加データ表示制御部１６６に出力する。付加データ表示制御部１６６は、音声処理部１７０から入力される音声データに基づき、後述する表示処理を実行する。付加データ表示制御部１６６は、音声データに基づき音声認識処理を実行して、音声をテキスト変換する機能を有する。この音声認識処理において、付加データ表示制御部１６６は、音声データの言語の種類を識別できる。
上述のように、マイク６３は指向性を有するので、付加データ表示制御部１６６は、頭部装着型表示装置１００を装着した使用者の視線方向からの音声を認識し、この音声に基づき処理を行う。例えば、付加データ表示制御部１６６は、表示処理を実行し、音声データから生成したテキスト（文字列）を構成する文字、または、このテキストに関連するデータを、画像表示部２０により表示させる。

制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、制御部１４０は３軸センサー１１３の検出値を取得して、制御装置１０の動き及び動きの方向を検出可能である。
ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を求める。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御装置１０の制御部１４０が計時する時刻を修正させる機能を備えていてもよい。
通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））やＢｌｕｅｔｏｏｔｈ（登録商標）規格に準じた無線データ通信を実行する。

インターフェイス１８０は、制御装置１０に対して、コンテンツの供給元となる種々の画像供給装置ＯＡを接続するためのインターフェイスである。画像供給装置ＯＡが供給するコンテンツは、静止画像または動画像を含み、音声を含んでもよい。画像供給装置ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を利用できる。
ここで、画像供給装置ＯＡを無線通信回線により制御装置１０に接続することも可能である。この場合、画像供給装置ＯＡは、通信部１１７と無線通信を実行して、コンテンツのデータをＭｉｒａｃａｓｔ（登録商標）等の無線通信技術により送信する。

図３は、頭部装着型表示装置１００の動作を示すフローチャートであり、特に、付加データ表示制御部１６６の機能を利用した、データ表示処理を示す。データ表示処理は、使用者が右光学像表示部２６及び左光学像表示部２８を通して外景を見ているときに、その外景に関する文字等のデータを画像表示部２０により表示する処理である。データ表示処理により、使用者は、外景とともに、例えば外景に関連する文字情報を見ることができる。

頭部装着型表示装置１００の制御部１４０は、まず、表示データをデータ取得部ＤＡにより取得する（ステップＳ１）。データ取得部ＤＡにより取得されたデータは記憶部１２０に記憶される。ステップＳ１で受信されるデータは上記したように動画像データ、静止画像データ、テキストデータ等の種々のデータとすることができ、本実施形態では文字列からなるテキストデータを取得及び表示する例を説明する。

続いて、制御部１４０は、音声検出処理を実行する（ステップＳ２）。音声検出処理では、音声処理部１７０が、マイク６３で集音された音声をディジタル音声データに変換して付加データ表示制御部１６６に出力し、この音声データから音声の内容を検出する等の処理を付加データ表示制御部１６６が実行する。ステップＳ２の音声検出処理で、付加データ表示制御部１６６は、使用者が、画像表示部２０を透過して視認する外景に関する情報として、この外景から聞こえる音声に関する情報を取得する。画像表示部２０を透過して視認する外景とは、使用者の眼に画像表示部２０越しに見える外景である。
頭部装着型表示装置１００は、使用者の眼球の方向を検出して視線方向を特定する機構を備えても良いが、使用者の視線方向を推定してもよい。頭部装着型表示装置１００は、使用者の眼の前に画像表示部２０が配置するように、頭部に装着され固定される。従って、使用者の視線方向は、画像表示部２０を基準として使用者の頭部とは反対方向を向いていると推定できる。例えば、図１に示すカメラ６１の撮像方向は、視線方向を向く。また、マイク６３の指向性は使用者の視線方向にすることができる。
付加データ表示制御部１６６は、使用者の視線方向から頭部装着型表示装置１００に向かって来る光や音声について得られる情報を、使用者に視認される外景に関する情報とする。
制御部１４０は、言語処理を実行する（ステップＳ３）。言語処理では、付加データ表示制御部１６６が、ステップＳ２の音声検出処理で処理された音声データについて、言語の種類に関する処理を行う。
さらに、制御部１４０は、表示処理を実行する（ステップＳ４）。表示処理では、付加データ表示制御部１６６が、ステップＳ２の音声検出処理とステップＳ３の言語処理との処理結果に基づき、文字の表示属性を決定し、表示制御部１９０が表示を行う。
ステップＳ２〜Ｓ４の各処理の詳細は後述する。

その後、制御部１４０はステップＳ１で取得したデータの全てについて、ステップＳ２〜Ｓ４で処理したか否かを判定する（ステップＳ５）。未処理のデータがある場合（ステップＳ５；ＮＯ）、制御部１４０はステップＳ２に戻り、未処理のデータに対する処理を行う。また、全てのデータの処理が済んだ場合（ステップＳ５；ＹＥＳ）、制御部１４０は表示を終了するか否かを判定する（ステップＳ６）。表示を継続する場合（ステップＳ６；ＮＯ）、制御部１４０はステップＳ１に戻る。また、操作部１３５が検出した操作等に従って表示を終了する場合（ステップＳ６；ＹＥＳ）、制御部１４０は表示制御部１９０による表示を停止させて本処理を終了する。

図４は、図３のステップＳ２に示した音声検出処理を詳細に示すフローチャートである。
音声検出処理では、マイク６３により音声を検出する（ステップＳ１１）。すなわち、マイク６３が音声を集音して音声信号を制御部１４０に出力し、音声処理部１７０が音声信号に基づきディジタル音声データを生成する。

次いで、付加データ表示制御部１６６が、音声処理部１７０が生成した音声データに基づき、使用者の視線方向から受けた音声を特定する（ステップＳ１２）。ステップＳ１２で、付加データ表示制御部１６６は、例えば、マイク６３により集音された音声の音源を識別する。音源としては人の声、楽器などの特定の物体が発する音、その他の環境音等が挙げられる。付加データ表示制御部１６６は、例えば、付加データ表示制御部１６６は音声データに含まれる音源のうち、最も音量の大きい音源の音、或いは、最も鮮明度の高い音を選択する。これにより、使用者の視線方向に最も近い音源からの音声が特定される。
また、視線方向にある音源の種類が予め判明している場合、付加データ表示制御部１６６は、音声処理部１７０が生成した音声データに基づき、マイク６３が集音した音声の周波数分布を求め、該当する音源からの音を多く含む特定の周波数成分の音を抽出し、この周波数成分の音を、視線方向の音声としてもよい。或いは、付加データ表示制御部１６６は、マイク６３が集音した音声の周波数分布において音量の大きい周波数帯の音声を抽出してもよい。このように、付加データ表示制御部１６６は、音量を基準とした処理や、音源を特定する処理等により、視線方向からの音声を特定する。
付加データ表示制御部１６６がステップＳ１２で特定する視線方向の音声、或いは、特定した音声に関連する情報は、画像表示部２０を透過して視認される外景に関する情報の一例に相当する。

図８及び図９は、本発明の典型的な適用例を示す説明図である。図８（Ａ）は頭部装着型表示装置１００が利用される劇場ＴＨの構成を示す模式図である。図８（Ｂ）は劇場ＴＨで頭部装着型表示装置１００を使用する使用者の視野ＶＲの例を示す。図９（Ａ）は画像表示部２０によりテキストを表示する表示例を示し、図９（Ｂ）は画像表示部２０の別の表示例を示す。
図８（Ａ）に示す劇場ＴＨは、ステージＳＴを向くように、頭部装着型表示装置１００の使用者を含む観客用の座席ＳＨが多数配置された構成を有する。頭部装着型表示装置１００の使用者は、座席ＳＨに着席してステージＳＴを見るときに、頭部装着型表示装置１００を使用する。

図８（Ｂ）の視野ＶＲは、画像表示部２０の右光学像表示部２６及び左光学像表示部２８越しに、使用者が見る視野を示している。画像表示部２０は外景を透過して視認可能であるという特性を有するので、視野ＶＲには、ステージＳＴが見えている。視野ＶＲには、ステージＳＴの上方及び左右端に配置されたカーテンＣＴ、ステージＳＴの左右の側方にある舞台袖ＳＳが含まれる。ステージＳＴには出演者Ａの姿が見える。この例ではステージＳＴ上に二人の出演者Ａ１、Ａ２が居り、使用者は出演者Ａ１、Ａ２を見ている。また、座席ＳＨにいる観客には、出演者Ａ１、Ａ２の声や舞台音楽を含む音声が聞こえる。

図４の音声検出処理で、付加データ表示制御部１６６は使用者の視線方向の音声を特定するので、図８（Ｂ）の例では、付加データ表示制御部１６６は出演者Ａ１または出演者Ａ２のうち、使用者の視線方向にいる出演者が発する音声を検出する。

図４に戻り、付加データ表示制御部１６６は、視線方向の音声を特定できたか否かを判別する（ステップＳ１３）。音声の特定に成功した場合（ステップＳ１３；ＹＥＳ）、付加データ表示制御部１６６は、特定した音声について音声認識処理を行い（ステップＳ１４）、文字列を含むデータを生成する（ステップＳ１５）。
音声認識処理は、音声データをテキスト（文字）データに変換する処理である。図８（Ｂ）の例では、付加データ表示制御部１６６は出演者Ａ１または出演者Ａ２が発する音声から、テキストデータを生成する。
なお、視線方向の音声を特定できなかった場合（ステップＳ１３；ＮＯ）、付加データ表示制御部１６６はステップＳ１４及びＳ１５の処理を省略する。

図５は、図３のステップＳ３に示した言語処理を詳細に示すフローチャートである。
言語処理では、音声検出処理（図４）で生成された文字列の言語を特定する（ステップＳ２１）。例えば、付加データ表示制御部１６６は、英語、日本語、中国語（簡体字）、中国語（繁体字）、スペイン語、ポルトガル語、フランス語、ドイツ語、イタリア語等の言語から、音声検出処理で生成された文字列が属する言語を特定する。付加データ表示制御部１６６は、音声検出処理で音声認識を実行する場合（図４のステップＳ１４）に言語を特定してもよい。この場合、ステップＳ２１では、音声認識処理で特定された言語を示すデータを取得すればよい。

付加データ表示制御部１６６は、ステップＳ１（図３）で取得したデータから、ステップＳ２１で特定した言語のデータを検索する（ステップＳ２２）。付加データ表示制御部１６６は、ステップＳ２１で特定した言語の表示データがあるか否かを判別し（ステップＳ２３）、該当する表示データがある場合（ステップＳ２３；ＹＥＳ）、この表示データを選択する（ステップＳ２４）。また、ステップＳ２１で特定した言語の表示データがない場合（ステップＳ２５）、付加データ表示制御部１６６はいずれかの表示データを選択して、ステップＳ２１で特定した言語に翻訳する（ステップＳ２５）。

その後、付加データ表示制御部１６６は、他言語の同時表示を行うか否かを判別する（ステップＳ２６）。他言語の同時表示とは、検出された言語の文字列と、検出された言語とは異なる言語の文字列とを表示する動作である。頭部装着型表示装置１００において、他言語の同時表示を行うように設定されている場合（ステップＳ２６；ＹＥＳ）、付加データ表示制御部１６６は、設定された言語の表示データを生成し、または、取得する（ステップＳ２７）。この同時表示機能により表示される文字列は、ステップＳ２４、Ｓ２５で選択または翻訳された文字列と、この文字列に対応する文字列である。例えば、言語が異なり同じ意味を有する文字列であってもよく、予め設定された文字列であってもよい。すなわち、付加データ表示制御部１６６は、ステップＳ２４、Ｓ２５で選択または翻訳した文字列を他の言語に翻訳し、或いは、対応する言語をステップＳ１で取得した表示データの中から選択することで、同時表示用の文字列を取得する。このステップＳ２７では、表示用の文字列として、複数の言語の文字列が取得される。ステップＳ２７の処理の後、付加データ表示制御部１６６は、表示処理（ステップＳ４）に移行する。
また、他言語の同時表示をするよう設定されていない場合（ステップＳ２６；ＮＯ）、ステップＳ２７の処理を実行せずステップＳ４の表示処理に移行する。

ステップＳ２７で、付加データ表示制御部１６６が処理する「設定された言語」とは、予め設定され、例えば設定データとして記憶部１２０に記憶されてもよいし、使用者が制御装置１０を操作して指定してもよい。また、付加データ表示制御部１６６は、マイク６３が集音した音声のうち使用者の音声を検出した場合に、この使用者の音声の言語を判定して、上記「設定された言語」として設定してもよい。付加データ表示制御部１６６は、例えば、マイク６３が集音した音声信号から、信号レベルが大きい（強い）音声を抽出うすることで、使用者の音声を検出できる。また、付加データ表示制御部１６６が図３の動作を開始してから、使用者の音声に基づく言語の設定を行ってもよい。この場合、使用者が音声を発すると、付加データ表示制御部１６６が言語を判定する。そして、判定された言語の表示データが、表示処理で表示される。この場合、使用者は、特段の設定操作を行うことなく、自分が話す言語の表示データを見ることができる。また、図３の動作の実行中に、使用者が音声を発する毎に、言語の設定が行われてもよく、いったん設定した言語を変更してもよい。

図６は、図３のステップＳ４に示した表示処理を詳細に示すフローチャートである。
表示処理では、付加データ表示制御部１６６が、音声検出処理（ステップＳ２）及び言語処理（ステップＳ３）で生成または選択された表示用のデータ（例えば、文字列）を取得する（ステップＳ３１）。

付加データ表示制御部１６６は、ステップＳ３１で取得した表示用のデータから、音声検出処理（ステップＳ２）で検出された音声に関連する表示データを抽出し（ステップＳ３２）、抽出した表示データの表示属性を決定する（ステップＳ３３）。
このステップＳ３２で、付加データ表示制御部１６６は、ステップＳ１１（図４）で検出された音声を変換した文字列、または検出された音声に対応する文字列などを抽出する。ここで、付加データ表示制御部１６６は、検出された音声に対し音声認識を行い、認識した文字列に基づき、表示データを抽出してもよい。
また、付加データ表示制御部１６６は、ステップＳ３３において、検出された音声に関連する表示データ（文字や文字列）が、他の表示データより強調されるように、表示属性を決定する。例えば、付加データ表示制御部１６６は、ステップＳ３２で抽出した表示データの表示サイズを他の表示データよりも大きくする、表示色を他の表示データの表示色より目立つ色にする。このようにして、付加データ表示制御部１６６は、全表示データの表示形態を決定する。

その後、付加データ表示制御部１６６は、決定した表示属性と表示データとを表示制御部１９０に出力し、画像表示部２０により表示を実行させ、或いは実行中の表示を更新させて（ステップＳ３４）、ステップＳ５に移行する。

図９（Ａ）及び（Ｂ）には、表示データの一例として文字列を頭部装着型表示装置１００が表示した例を示す。図９（Ａ）は表示処理で表示される例を示す。
図９（Ａ）に示すように、使用者に見える視野ＶＲには、音声対応文字列３０１、３０２が表示される。図９（Ａ）には使用者の視線方向が出演者Ａ２を向いている例を示す。音声対応文字列３０２は、使用者の視線方向から検出された音声に関連する文字列であり、この例では出演者Ａ２が発した音声に関連する文字列である。一方、音声対応文字列３０１は、頭部装着型表示装置１００が取得した表示データのうち、使用者の視線方向から検出された音声に関連する表示データではないものである。例えば、音声に関連しない表示データや、音声対応文字列３０２の表示タイミングよりも前に検出された音声に関連する表示データである。

音声対応文字列３０１、３０２の表示属性は、表示処理（図６）のステップＳ３３で決定される。音声対応文字列３０２は太字で表示され、音声対応文字列３０２の文字サイズは音声対応文字列３０１より大きく、音声対応文字列３０２が音声対応文字列３０１よりも強調されるように表示属性が調整されている。
また、音声対応文字列３０２は、出演者Ａ２が現在発している音声に関連する文字列であることを示す吹き出し形状の枠内に表示され、音声対応文字列３０１は、矩形の枠内に表示されている。文字列の表示枠も属性の１つに含まれる。

図９（Ｂ）は、他言語同時表示の例を示す。
図９（Ｂ）では、視野ＶＲに音声対応文字列３０３、３０４が表示される。音声対応文字列３０３は、使用者の視線方向から検出された音声に関連する文字列であり、この例では出演者Ａ２が発した音声に関連する英語の文字列である。一方、音声対応文字列３０４は、音声対応文字列３０３に対応する他の言語（中国語（簡体字））の文字列である。音声対応文字列３０３、３０４は、いずれも出演者Ａ２が発した音声に関連する表示データであるから、同様の表示属性が設定される。

なお、図８及び図９に示した例のように出演者が出演する劇場では、舞台袖ＳＳにディスプレイが設置されることがある。この種のディスプレイには、出演者が発する音声（台詞など）や劇の説明に関連する文字列が表示される。従来は上記ディスプレイに表示されていた文字列を、頭部装着型表示装置１００が音声対応文字列３０１、３０２、３０３、３０４として表示することができる。また、上記ディスプレイが設置されている場合には視野ＶＲにディスプレイが見える。この場合、頭部装着型表示装置１００は、ディスプレイに重ならない位置で音声対応文字列を表示すればよい。
さらに、図９（Ａ）及び（Ｂ）の例では、音声対応文字列３０１、３０２、３０３、３０４は、使用者がステージＳＴを見るときに妨げにならない位置に配置される。例えば、図に示したように、ステージＳＴ上方のカーテンＣＴに重なる位置や、舞台袖ＳＳ、或いは、ステージＳＴの下方に配置される。

また、頭部装着型表示装置１００が情報を表示する場合の表示形態（例えば、表示位置、表示方法）は、一定でなくてもよい。例えば、図９（Ａ）、（Ｂ）の音声対応文字列３０１、３０２、３０３、３０４はステージＳＴに重ならないように、視野ＶＲの上部、具体的にはカーテンＣＴに重なる位置に表示されるが、この表示位置を移動可能にしてもよい。例えば、頭部装着型表示装置１００が、ステージＳＴまたは出演者Ａ１、Ａ２と頭部装着型表示装置１００との距離を検出可能な場合に、この距離に応じて表示形態（表示位置を含む）を変更してもよい。ここで、頭部装着型表示装置１００は、例えば、カメラ６１の撮像画像から出演者Ａ１，Ａ２或いはカーテンＣＴ等の画像を検出し、この撮像画像を解析することで、距離を検出する。或いは、頭部装着型表示装置１００は、マイク６３により集音した音声に基づき、発音者（発話者）との距離を検出してもよい。頭部装着型表示装置１００は、レーザー、超音波、音波、或いは他の電磁的方法により、距離を測定してもよい。このほか、頭部装着型表示装置１００は、距離を測定または検出する公知の手法を採用できる。特に、頭部装着型表示装置１００は、音声検出処理のステップＳ１２で特定した視線方向の音声に対応する方向の、被写体（ステージＳＴの一部または出演者Ａ１、Ａ２）までの距離を検出することが好ましい。

付加データ表示制御部１６６は、検出した距離に対応して、情報（例えば、音声対応文字列３０１、３０２、３０３、３０４）の表示形態を変更する。表示形態は、例えば、表示位置、表示サイズ、表示方法を含む。具体的には、検出した距離が予め設定された基準値よりも小さい（近い）場合、付加データ表示制御部１６６は、情報の表示位置をカーテンＣＴに重なる位置や、舞台袖ＳＳに重なる位置など、ステージＳＴを見る際に支障にならない位置にする。この場合、情報の表示サイズを小さくしてもよい。さらに、ステージＳＴを見る場合に妨げにならないように、テキストの縦書き表示と、横書き表示とを切り替えてもよい。また、マイク６３により音声を検出したときに、この音声に関連する情報をポップアップ表示し、所定時間経過後に表示を消去してもよい。また、例えば、検出した距離が予め設定された基準値または基準値より大きい（遠い）場合、付加データ表示制御部１６６は、情報の表示位置を、視野ＶＲの中央または中央に近い位置にする。この場合、情報の表示サイズを大きくしてもよい。つまり、付加データ表示制御部１６６は、頭部装着型表示装置１００が、視線方向の対象物（ステージＳＴや出演者Ａ１、Ａ２）に近い場合は、情報が目立ちすぎないように、表示サイズを小さくしたり表示位置を視野ＶＲの端部にしたりする。また、視線方向の対象物から遠い場合は、情報の視認性が高くなるように、表示サイズを大きくしたり表示位置を視野ＶＲの中央部にしたりする。これにより、対象物と使用者との位置関係に対応した表示が可能になる。

また、音声検出処理（ステップＳ２）では、マイク６３を使用する例を説明したが、カメラ６１を使用して、使用者の視線方向の音声を検出する構成としてもよい。この変形例の動作を図７のフローチャートに示す。
付加データ表示制御部１６６は、カメラ６１を制御して撮像させ、撮像された画像を取得する（ステップＳ４１）。続いて、付加データ表示制御部１６６は、カメラ６１の撮像画像に基づいて口の動きを検出する（ステップＳ４２）。例えば、付加データ表示制御部１６６は、カメラ６１が撮像した複数の画像を時系列順に取得し、各画像から人間の口の画像を抽出し、抽出した画像の形状変化を検出する。付加データ表示制御部１６６は、ステップＳ４２で検出した口の動きから発話内容を検出し（ステップＳ４３）、検出した発話内容に対応する文字列を生成して（ステップＳ４４）、音声検出処理を終了する。付加データ表示制御部１６６がステップＳ４２で検出する口の動き、及び／又は、ステップＳ４３で特定する発話内容に関連する情報は、画像表示部２０を透過して視認される外景に関する情報の一例に相当する。

図１に示したように、カメラ６１は画像表示部２０に配置されており、カメラ６１の撮像方向は使用者の視線方向に一致または、ほぼ一致する。このため、カメラ６１の撮像画像をもとに生成される文字列は、使用者の視線方向にいる出演者Ａ１や出演者Ａ２（図８（Ｂ））が発話した音声に関する文字列である。従って、指向性を有するマイク６３を用いた場合のように、カメラ６１を用いて、音声を検出できる。

以上説明したように、本発明を適用した実施形態に係る頭部装着型表示装置１００は、使用者に画像を視認させるとともに外景を透過する画像表示部２０と、音声を検出するマイク６３とを備える。また、データを取得するデータ取得部ＤＡと、画像表示部２０を透過して外景を視認可能なときに、マイク６３で検出した音声、及び、データ取得部ＤＡで取得したデータに基づいて、画像表示部２０に表示をさせる付加データ表示制御部１６６とを備える。この構成により、頭部装着型表示装置１００は、音声の状態や内容等を反映してデータを表示するので、頭部装着型表示装置１００外部の、外的な要因に対応して情報を表示することができる。音声検出部はマイク６３に限らず、図７で説明したようにカメラ６１を用いることも可能である。
また、付加データ表示制御部１６６は、画像表示部２０を透過して視認される外景に関する情報を取得し、取得した情報に基づいて画像表示部２０に表示をさせる。これにより、頭部装着型表示装置１００の使用者が認識する外景に対応して表示を行うことができる。

付加データ表示制御部１６６は、カメラ６１の撮像画像またはマイク６３が集音した音声に基づき、外景に関する情報として、発話中の人物の発話内容等を取得する。付加データ表示制御部１６６は、例えば、発話内容に関連するテキストを画像表示部２０により表示する。付加データ表示制御部１６６は、例えば、カメラ６１の撮像画像においてカメラ６１の画角の中央に位置する物体（人を含む）を検出し、或いは、撮像画像における位置が経時変化する物体を検出することで、視線方向の外景から特定の人または物を検出してもよい。また、カメラ６１の撮像画像から形状が経時変化する物体を検出することで、例えば人の口の動きを検出してもよい。これらの方法により、付加データ表示制御部１６６は、使用者の視線方向の人を検出できる。また、複数の人が検出された場合にはいずれか一人を選択してもよい。選択の基準は、カメラ６１の画角の中心からの距離や、カメラ６１の撮像画像における色、大きさ、動き等が挙げられ、これらの条件は記憶部１２０に予め記憶されてもよい。また、検出された複数の人について順位付けを行ってもよい。そして、マイク６３が集音した音声から、選択した一人、または、順位が高い一人の音声を抽出して、表示データの表示に利用できる。また、付加データ表示制御部１６６は、外景を透過する画像表示部２０において表示制御部１９０の制御により画像を表示する領域と、外景の対象物とが重なる領域を検知して、この領域を避けるように表示をしてもよい。

また、付加データ表示制御部１６６は、マイク６３で検出した音声に対応する表示態様で、データ取得部ＤＡで取得したデータを画像表示部２０に表示させる。このため、検出した音声に対応する表示態様でデータを表示して、使用者に見せることができる。

また、付加データ表示制御部１６６は、データ取得部ＤＡで取得したデータのうちマイク６３で検出した音声に対応するデータを画像表示部２０に表示させる。このため、例えば検出した音声に関連するデータを表示することができる。マイク６３により検出される音声が使用者にも聞こえている場合、音声に対応するデータを表示することで、音声に対応した表示の演出を行うこともでき、音声に関する情報を使用者に提供できる。
また、付加データ表示制御部１６６は、データ取得部ＤＡで取得したデータに基づき文字を画像表示部２０に表示させるので、文字を利用して、音声に関する情報を提供できる。また、頭部装着型表示装置１００は、図９（Ａ）に例示したように、カメラ６１やマイク６３により検出した音声に対応する文字を、他の文字（表示データ）とは異なる態様で表示させる。具体的には、ステップＳ３３で、他の文字とは異なる表示属性を決定し、表示サイズを他の表示データよりも大きくする、表示色を他の表示データの表示色より目立つ色にする、吹き出し形状の枠内に表示する、等の表示態様とすることが挙げられる。また、他の文字とは異なる態様とするため、文字フォントの変更、文字の背景色の設定または変更、抜き文字への変更等を行ってもよい。これにより、例えば、音声に対応する文字を目立たせることができ、音声に関連する情報を文字によって見やすく提供できる。音声に対応する文字と他の文字とを異なる態様で使用者に見せることができる。このため、表示により多くの情報の提供を可能とし、目立たせることができる。

また、付加データ表示制御部１６６は、マイク６３が検出した音声の言語の種類を特定し、特定した言語の文字を画像表示部２０に表示させるので、音声と同じ言語で文字による情報の提供を行うことができる。また、付加データ表示制御部１６６は、特定した言語の文字とともに、予め設定された言語の文字を画像表示部２０に表示してもよい。この場合、検出した音声の言語の文字列とともに、設定された言語の文字を表示し、多言語で詳細な情報を提供できる。

また、頭部装着型表示装置１００において、付加データ表示制御部１６６は、データ取得部ＤＡが取得したデータに含まれる文字を、表示する言語の文字に変換する言語変換部として機能してもよい。この場合、表示する言語とは異なる言語の文字を変換して、表示できる。このため、多言語の文字を含むデータを取得した場合であっても使用者に情報を提供できる。また、頭部装着型表示装置１００は、マイク６３で検出した音声の音声認識を行って認識結果の文字データを出力してもよい。また、頭部装着型表示装置１００は、視線方向を撮像するカメラ６１を備え、カメラ６１の撮像画像から発話中の人物の画像を検出し、検出した画像に基づき発話中の人物の音声を検出してもよい。この場合、マイク６３を用いることなく音声を検出できる。また、画像により、音声を発した人を特定することができる。

なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態では、音声対応文字列３０１〜３０４を平面画像として表示する例について説明したが、これらの一部または全部を立体画像として表示してもよい。この場合、付加データ表示制御部１６６は、表示データ（文字列）を立体画像として表示するか平面画像として表示するかを、表示属性に含めて、決定する処理を行ってもよい。

また、画像表示部として、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよいし、自動車のフロントガラスに用いられるヘッドアップディスプレイ（Head-up Display；ＨＵＤ）であってもよい。

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明したが、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０と画像表示部２０とが、より長いケーブルまたは無線通信回線により接続され、制御装置１０として、ノート型コンピューター、タブレット型コンピューターまたはデスクトップ型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。

また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよいし、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。

画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。

また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

また、本発明の表示装置は頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。本発明の表示装置は、外光とともに画像光により画像を視認させるものであればよく、例えば、外光を透過させる光学部材により画像光による画像を視認させる構成が挙げられる。具体的には、上記のヘッドマウントディスプレイにおいて外光を透過する光学部材を備えた構成の他、使用者から離れた位置に固定的にまたは可動に設置された透光性の平面や曲面（ガラスや透明なプラスチック等）に、画像光を投射する表示装置にも適用可能である。一例としては、車両の窓ガラスに画像光を投射し、乗車している使用者や車両の外にいる使用者に、画像光による画像とともに、車両内外の景色を視認させる表示装置の構成が挙げられる。また、例えば、建物の窓ガラスなど固定的に設置された透明また半透明、或いは有色透明な表示面に画像光を投射し、表示面の周囲にいる使用者に、画像光による画像とともに、表示面を透かして景色を視認させる表示装置の構成が挙げられる。

また、図２に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図２に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７またはインターフェイス１８０を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成の内、操作部１３５のみが単独の使用者インターフェース（ＵＩ）として形成されてもよいし、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示す制御部１４０が制御装置１０と画像表示部２０との両方に形成されていてもよいし、制御装置１０に形成された制御部１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

１０…制御装置、２０…画像表示部（表示部）、２１…右保持部、２２…右表示駆動部、２３…左保持部、２４…左表示駆動部、２６…右光学像表示部、２８…左光学像表示部、６１…カメラ（音声検出部、撮像部）、６３…マイク（音声検出部）、１００…頭部装着型表示装置（表示装置）、１１７…通信部、１２０…記憶部、１４０…制御部、１５０…オペレーティングシステム、１６０…画像処理部、１６６…付加データ表示制御部（制御部、言語変換部）、１７０…音声処理部、１８０…インターフェイス、１９０…表示制御部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板、３０１〜３０４…音声対応文字列、ＤＡ…データ取得部。

Claims (16)

1. 透過型の表示装置であって、
   使用者に画像を視認させるとともに外景を透過する表示部と、
   音声を検出する音声検出部と、
   データを取得するデータ取得部と、
   前記音声検出部で検出した音声、及び、前記データ取得部で取得したデータに基づいて、前記表示部に表示をさせる制御部と、
   を備えることを特徴とする表示装置。
2. 前記制御部は、前記表示部を透過して視認される外景に関する情報を取得し、取得した情報に応じて前記表示部に表示をさせること、を特徴とする請求項１記載の表示装置。
3. 前記制御部は、前記音声検出部で検出した音声に基づき、前記表示部を透過して視認される外景に関する情報を取得すること、を特徴とする請求項２記載の表示装置。
4. 撮像部を備え、
   前記制御部は、前記撮像部の撮像画像から、前記表示部を透過して視認される外景に関する情報を取得すること、を特徴とする請求項２記載の表示装置。
5. 前記制御部は、前記撮像部の撮像画像から発話中の人物の画像を検出し、検出した画像に基づき前記音声検出部が検出した音声から発話中の人物の音声を抽出し、抽出した音声と、前記データ取得部で取得したデータとに基づいて、前記表示部に表示をさせること、を特徴とする請求項４記載の表示装置。
6. 前記制御部は、前記音声検出部で検出した音声に対応する表示態様で、前記データ取得部で取得したデータを前記表示部に表示させること、を特徴とする請求項１から５のいずれかに記載の表示装置。
7. 前記制御部は、前記データ取得部で取得したデータのうち前記音声検出部で検出した音声に対応するデータを前記表示部に表示させること、を特徴とする請求項１から６のいずれかに記載の表示装置。
8. 前記制御部は前記データ取得部で取得したデータに基づき文字を前記表示部に表示させること、を特徴とする請求項１から７のいずれかに記載の表示装置。
9. 前記音声検出部により検出された音声に対応する文字を、他の文字とは異なる態様で表示させること、を特徴とする請求項８記載の表示装置。
10. 前記制御部は、前記音声検出部が検出した音声の言語の種類を特定し、特定した言語の文字を前記表示部に表示させること、を特徴とする請求項８または９記載の表示装置。
11. 前記制御部は、前記特定した言語の文字とともに、設定された言語の文字を前記表示部に表示させること、を特徴とする請求項１０記載の表示装置。
12. 前記データ取得部が取得したデータに含まれる文字を、表示する言語の文字に変換する言語変換部を備えること、を特徴とする請求項６または７記載の表示装置。
13. 前記音声検出部で検出した音声の音声認識を行って認識結果の文字データを出力すること、を特徴とする請求項１から１２のいずれかに記載の表示装置。
14. 前記制御部は、前記表示部を透過して視認される外景の一部と前記表示装置との相対位置に対応する表示形態で、前記表示部に表示を行うこと、を特徴とする請求項１から１３のいずれかに記載の表示装置。
15. 外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備える表示装置の制御方法であって、
    使用者の視線方向から発される音声を検出し、
    データを取得し、
    検出した音声、及び、取得したデータに基づいて、前記表示部に表示をさせること、
    を特徴とする表示装置の制御方法。
16. 外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備える表示装置を制御するコンピューターが実行可能なプログラムであって、
    前記コンピューターを、
    使用者の視線方向から発される音声を検出し、データを取得し、検出した音声および取得したデータに基づいて、前記表示部に表示をさせる制御部と、
    して機能させるためのプログラム。

Images