JP2014158151A

JP2014158151A - 音処理装置および音処理装置の制御方法

Info

Publication number: JP2014158151A
Application number: JP2013027665A
Authority: JP
Inventors: Kaoru Sendai; 薫千代
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2013-02-15
Filing date: 2013-02-15
Publication date: 2014-08-28
Anticipated expiration: 2033-02-15
Also published as: JP6201332B2

Abstract

【課題】音出力部が出力する出力音を調整して、出力音とは異なる外部音を使用者に視聴させやすくする音処理装置を提供する。
【解決手段】音処理装置は、音を出力する音出力部と；音出力部が出力する出力音とは異なる外部の音である外部音を取得する音取得部と；外部音に基づいて、出力音を制御する音制御部と、を備える。
【選択図】図５

Description

本発明は、音処理装置に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型およびビデオ透過型がある。

透過型の頭部装着型表示装置において、音声を変換して音声を表す文字画像として使用者に視認させる技術が知られている。例えば、特許文献１には、記録媒体に記録されたコンテンツを頭部装着型表示装置の使用者に視認させる場合に、コンテンツに含まれる音声を人の声と環境音とに区別して、環境音を表すテキスト画像を生成して、生成したテキスト画像を使用者に視認させる技術が開示されている。また、特許文献２には、歌を歌う合唱隊と頭部装着型表示装置を装着した合唱隊を指揮する指揮者とによる合唱練習において、歌のテンポや音程がずれている合唱隊員を特定して、特定した合唱隊員を示す画像を指揮者に視認させる技術が開示されている。

特開２０１１−２５０１００号公報特開２０１０−１４５８７８号公報

しかし、特許文献１に記載された技術では、使用者の操作によって視聴しているコンテンツの音量を調整することで、使用者は、コンテンツの音声とは異なる外部の音声の聞こえ方を調整できるが、コンテンツの音量を調整しないと共に、コンテンツの音量が大きい場合には、外部の音声が聞こえづらい場合がある。また、コンテンツの音量が大きい状態でありながら、緊急異常時のような突然発生する予想できない外部の音声を使用者に認識させたい課題があった。また、特許文献２には、歌のテンポや音程ずれが発生している音源を使用者に認識させることができるが、使用者が視聴している音声の音量について調整することはできない。なお、上述の課題は、頭部装着型表示装置に限られず、音を出力する音出力装置に共通する課題であった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、音処理装置が提供される。この音処理装置は、音を出力する音出力部と；前記音出力部が出力する出力音とは異なる外部の音である外部音を取得する音取得部と；前記外部音に基づいて、前記出力音を制御する音制御部と、を備える。この形態の音処理装置では、外部音に基づいて出力音を制御するので、使用者は、供給されるコンテンツ等の出力音を視聴しながら、外部音を聞くことができ、外部の変化を速やかに認識できる。

（２）上記形態の音処理装置において、さらに；画像を表す画像光を生成し、使用者に前記画像光を視認させると共に、外景を透過させる画像表示部と、；前記外部音を文字として表した文字画像に変換する変換部と；前記画像表示部に対して、前記文字画像を表す前記画像光である文字画像光を生成させる表示制御部と、を備えていてもよい。この形態の音処理装置では、音取得部が取得した外部音を、外部音を表す文字画像として使用者に視認させ、使用者に外部音をより詳しく認識させることができる。

（３）上記形態の音処理装置において、前記表示制御部は、前記外部音に基づいて、前記画像表示部が使用者に視認させる前記文字画像光の大きさを設定してもよい。この形態の音処理装置によれば、外部音に基づいて文字画像の文字の大きさが設定されるので、使用者に、外部音を視聴させると共に、外部音の音量や周波数における相違を文字画像の文字の大きさとしても視認させ、外部音をより詳しく認識させることができる。

（４）上記形態の音処理装置において、前記表示制御部は、前記画像表示部に対して、前記画像表示部が前記画像光を生成可能な領域である画像生成可能領域における中心部分を除く周辺部に前記文字画像光を生成させてもよい。この形態の音処理装置によれば、画像生成可能領域における中心部分に外部音を表す文字画像が表示されないため、使用者の視野が必要以上に妨げられることがなく、使用者は、画像表示部を透過する外景を視認できると共に文字画像を視認でき、使用者の利便性が向上する。

（５）上記形態の音処理装置において、配置される位置が異なる複数の前記音取得部を有し；前記音処理装置は、さらに；一の音取得部が取得した前記外部音の音量と、他の音取得部が取得した前記外部音の音量と、に基づいて、前記画像表示部から前記外部音の音源への方向である音源方向を推定する音源方向推定部を備え；前記表示制御部は、前記画像表示部に対して、前記画像表示部が前記画像光を生成可能な領域である画像生成可能領域における前記文字画像光を、前記音源方向に対応づけて生成させてもよい。この形態の音処理装置によれば、使用者に、音源の近い位置に外部音を文字として表す文字画像を視認させ、音源の位置を使用者に認識させることができる。

（６）上記形態の音処理装置において、前記音制御部は、前記外部音の音量を測定し、測定した前記外部音の音量が第１の閾値未満から前記第１の閾値以上へと変化した場合に、前記出力音の音量を小さくしてもよい。この形態の音処理装置によれば、コンテンツ等の出力音の音量が大きい場合であっても、外部音の音量が大きい場合には出力音の音量が下げられるため、警告音等の音量の大きい外部音が取得された場合でも、外部音をより明確に聞くことができる。

（７）上記形態の音処理装置において、さらに；前記外部音に含まれる特定の音を検出する特定音検出部を備え；前記音制御部は、前記特定音検出部が検出した前記特定の音に基づいて前記出力音を制御してもよい。この形態の音処理装置によれば、使用者が検出したい特定の音を検出したときに、出力音の音量を下げるので、使用者が外部音に含まれる必要な音のみを聞くことができ、使用者の利便性が向上する。

（８）上記形態の音処理装置において、さらに；使用者の頭部の動きの変化を検出する動き検出部を備え；前記音制御部は、前記動き検出部が検出した使用者の頭部の動きの変化に基づいて、前記出力音を制御してもよい。この形態の音処理装置によれば、外部音の変化と使用者の視線方向の変化との２つの指標に基づいて出力音の音量や周波数等が調整されるので、外部音の変化のみで出力音の音量が調整される場合に比べ、不要な調整が抑制され、使用者の利便性が向上する。

（９）上記形態の音処理装置において、前記音制御部は、前記音出力部に対し、前記外部音の変化に基づいて、前記外部音の音量を設定した音を前記出力音として出力させてもよい。この形態の音処理装置によれば、外部音に含まれる警告音等の特定の音が出力音に対して小さい音量で検出された場合に、外部音の音量よりも大きい音量の出力音として使用者に視聴させることができ、使用者の利便性が向上する。

（１０）上記形態の音処理装置において、前記音制御部は、前記音取得部が特定の人の声を取得した場合には、取得された前記特定の人の声の周波数を変更し、前記音出力部に対し、周波数を変更した前記特定の人の声を出力すると共に、前記特定の人の声以外の音の音量を小さくしてもよい。この形態の音処理装置によれば、人が聞き取りづらい周波数の声が取得された場合に、取得された声を視聴しやすくするため、使用者は、外部音を認識しやすくなる。

（１１）上記形態の音処理装置において、前記音制御部は、前記外部音の音量を測定し、測定した前記外部音の音量と、前記出力音の音量と、に基づいて前記出力音を制御してもよい。この形態の音処理装置によれば、外部音の音量と出力音の音量とに基づいて、出力音の音量が調整されるため、使用者の意思を反映した音量で出力音を使用者に視聴させることができ、利用者の利便性が向上する。

（１２）上記形態の音処理装置において、前記音出力部は、使用者の頭部に装着された状態において、前記出力音を使用者に視聴させてもよい。この形態の音処理装置によれば、使用者の頭部に装着されるため、使用者の耳から音出力部が外れにくく、安定的に出力音を使用者に視聴させることができる。

（１３）上記形態の音処理装置において、前記頭部の動きの変化は、使用者の頭部における角速度と角度の変化量との少なくとも一方であり；前記音声制御部は、前記頭部の動きの変化が第２の閾値以上である場合に、前記出力音声の音量を小さくしてもよい。この形態の音処理装置によれば、外部音声の変化と使用者の視線方向の変化との２つの指標に基づいて出力音声の音量が調整されるので、外部音声の変化のみで出力音声の音量が調整される場合に比べ、不要な調整が抑制され、使用者の利便性が向上する。

（１４）上記形態の音処理装置において、さらに；前記外部音声の周波数スペクトルにおける周波数ごとの強度の解析を行なう解析部を備え；前記音声制御部は、前記解析部が解析した周波数スペクトルにおける特定の周波数に基づいて、前記出力音声の音量を制御してもよい。この形態の音処理装置によれば、取得された外部音声に周波数の異なる異音等が検出された場合に、使用者に異音等を認識させることができ、使用者の利便性が向上する。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、音出力部と、音取得部と、音制御部と、の３つ要素の内の一つ以上または全部の要素を備えた装置として実現可能である。すなわち、この装置は、音出力部を有していてもよく、有していなくてもよい。また、装置は、音取得部を有していてもよく、有していなくてもよい。また、装置は、音制御部を有していてもよく、有していなくてもよい。音出力部は、例えば、音を出力してもよい。音取得部は、例えば、音出力部が出力する出力音とは異なる外部の音である外部音を取得してもよい。音制御部は、例えば、外部音に基づいて、出力音を制御してもよい。こうした装置は、例えば、音処理装置として実現できるが、音処理装置以外の他の装置としても実現可能である。このような形態によれば、装置を使用する使用者の利便性の向上、装置の一体化や、使い勝手の向上等の種々の課題の少なくとも１つを解決することができる。前述した音処理装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、音処理装置以外の種々の形態で実現することも可能である。例えば、画像表示装置、頭部装着型表示装置、音処理装置の制御方法、画像表示装置の制御方法、頭部装着型表示装置の制御方法、音処理システム、画像表示システム、頭部装着型画像表示システム等の形態で実現できる。また、音処理装置システム、画像表示装置システム、頭部装着型表示装置システム、の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００の構成を機能的に示すブロック図である。画像光生成部によって画像光が射出される様子を示す説明図である。出力音量調整処理の流れを示す説明図である。使用者が視認する視野ＶＲの一例を示す説明図である。取得される外部音声の音量の変化の一例を示す説明図である。取得される外部音声の周波数の一例について示す説明図である。自動車の運転手が視認する視野ＶＲ’の一例を示す説明図である。

次に、本発明の実施の形態を実施形態に基づいて以下の順序で説明する。
Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
Ａ−２．出力音量調整処理：
Ｂ．変形例：

Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者に、虚像を視認させると同時に外景も直接視認させることができる光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

頭部装着型表示装置１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、マイク６２，６４と、を含んでいる。右光学像表示部２６および左光学像表示部２８のそれぞれは、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。

カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。カメラ６１は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。本実施形態におけるカメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。

右マイク６２は、右保持部２１における右表示駆動部２２の反対側に配置されている。左マイク６４は、左保持部２３における左表示駆動部２４の反対側に配置されている。右マイク６２と左マイク６４とは、画像表示部２０に対して配置されている位置が異なるため、右マイク６２が取得する外部音声の音量である外部音量と左マイク６４が取得する外部音量とは異なる。なお、本明細書における「音声」とは、人の声のみでなく、機械音等を含む広義の「音」の意味を表す。右マイク６２および左マイク６４は、請求項における音取得部に相当する。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。なお、右イヤホン３２および左イヤホン３４は、請求項における音出力部に相当する。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、頭部装着型表示装置１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態を、その発光状態によって通知する。頭部装着型表示装置１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。

図２は、頭部装着型表示装置１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、ＣＰＵ１４０と、操作部１３５と、入力情報取得部１１０と、記憶部１２０と、電源１３０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。

入力情報取得部１１０は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、トラックパッド１４、方向キー１６、電源スイッチ１８、に対する操作入力がある。電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム１５０（ОＳ１５０）、画像処理部１６０、音声処理部１７０、変換部１８５、方向判定部１６１、表示制御部１９０、として機能する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データＤａｔａ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

音声処理部１７０は、取得する外部音声および出力する音声である出力音声について様々な処理を行なう。音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。

また、音声処理部１７０は、マイク６２，６４が取得した外部音量および出力音声の音量である出力音量をデジベル（ｄＢ）の数値として特定したり、外部音声に含まれると共に、記憶部１２０に予め記憶された警告音といった特定の音声を検出する。外部音声に含まれている特定の音声の検出は、記憶部１２０に予め記憶された警告音等の周波数スペクトルの波形と、所定の期間に取得された外部音声の周波数スペクトルの波形と、を照合することによって行なわれる。音声処理部１７０は、周波数スペクトルの波形を照合することで、人の声とそれ以外の音声とを識別することもできる。また、音声処理部１７０は、取得した外部音声の周波数スペクトルを解析して、周波数ごとの強度を算出する。本実施形態では、音声処理部１７０は、外部音量を１秒ごとに取得し、周波数スペクトルの解析では、１秒間に取得された外部音声の解析を行なう。

また、音声処理部１７０は、ある時点で取得された外部音量が予め定められた音量以上であるか否か、または、ある時点で取得された外部音量とその１秒前に取得された外部音量との変化、に基づいて出力音量を調整する。音声処理部１７０は、ある時点から１秒間に取得された外部音声の周波数スペクトルがその直前の１秒間に取得された外部音声の周波数スペクトルに対しての変化に基づいて出力音量を調整する。また、音声処理部１７０は、検出された外部音声に含まれる特定の音声に基づいて出力音量を調整する。

音声処理部１７０は、右マイク６２が取得する外部音量と左マイク６４が取得する外部音量とに基づいて画像表示部２０から外部音声の音源への方向を推定する。具体的には、本実施形態において、右マイク６２の取得する音量が左マイク６４の取得する音量よりも大きい場合、音声処理部１７０は、使用者を中心として右方向に音源があると推定する。なお、音声処理部１７０は、請求項における音制御部、解析部、特定音検出部、音源方向推定部、に相当する。

変換部１８５は、マイク６２，６４が取得した音声を、音声を文字によって表した文字画像へと変換する。方向判定部１６１は、後述する９軸センサー６６が検出した画像表示部２０の動きの変化に基づいて、使用者の頭部における角速度や角度の変化量を特定する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

また、表示制御部１９０は、マイク６２，６４が取得した外部音量に基づいて、方向判定部１６１が変換した文字画像の文字の大きさを設定し、文字の大きさを設定した文字画像を表す制御信号として画像表示部２０に送信する。画像表示部２０は、送信された制御信号に基づいて文字画像を表す画像光を生成して、使用者の眼に射出することで、使用者は、音声を文字画像として視認できる。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、９軸センサー６６と、右マイク６２と、左マイク６４と、を備えている。

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された使用者の頭部の動きから画像表示部２０の向きがわかるため、方向判定部１６１は、使用者の視線方向を推定できる。方向判定部１６１と９軸センサー６６とは、請求項における動き検出部に相当する。マイク６２，６４は、取得した音声の音声信号を変換部１８５および音声処理部１７０に送信する。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２０２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

図３は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図４のように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

Ａ−２．出力音量調整処理：
図４は、出力音量調整処理の流れを示す説明図である。出力音量調整処理では、マイク６２，６４が取得した外部音声の変化に基づいて、制御部１０の各部がイヤホン３２，３４を介して出力する出力音量を調整する処理である。初めに、マイク６２，６４は、外部音声を取得する（ステップＳ３１０）。音声処理部１７０は、マイク６２，６４が取得した外部音声に対して、１秒ごとの音量の取得、周波数スペクトルの解析、特定の音声の検出、を行なう。

次に、音声処理部１７０は、外部音声に警告音等の特定の音声が検出されるかを監視する（ステップＳ３２０）。特定の音声が検出された場合には（ステップＳ３２０：ＹＥＳ）、音声処理部１７０は、イヤホン３２，３４から出力する出力音量を下げる（ステップＳ３６０）。本実施形態では、音声処理部１７０は、予め設定されている音量まで出力音量を下げるが、他の実施形態では、使用者によって下げる音量が自由に設定されてもよいし、外部音量に基づいて音量が設定されてもよい。また、出力音量と外部音量とに基づいて設定されてもよい。

出力音量が下げられると、次に、表示制御部１９０は、取得した外部音声を表すテキスト画像を画像表示部２０に表示する（ステップＳ３７０）。図５は、使用者が視認する視野ＶＲの一例を示す説明図である。図５には、使用者が視認する視野ＶＲと、画像表示部２０が画像を表示できる領域である最大画像表示領域ＰＮと、が示されている。図５に示すように、使用者は、教師ＴＥと、教師ＴＥの講義を受けている複数の生徒ＳＴと、取得された外部音声を文字画像として表したテキスト画像ＴＸ１と、を外景として視認できる。使用者は、教師ＴＥに装着された講義用マイクが取得した音声を、インターフェイス１８０を介してイヤホン３２，３４から出力音声として視聴すると共に、教師ＴＥがホワイトボードＷＢに書いた文字を視認する。本実施形態では、ステップＳ３３０の処理において、アナウンスの前に流れる「ピンポンパンポン」というアナウンス音が特定の音声として検出されて、変換部１８５は、マイク６２，６４が取得する外部音声を、外部音声を文字として表す文字画像へと変換する。表示制御部１９０は、変換された文字画像を最大画像表示領域ＰＮにテキスト画像ＴＸ１として表示する。アナウンス音に含まれる「ピンポンパンポン」という外部音声の音量よりも、「ただいま、地震が発生しました。」という外部音声の音量の方が大きい。そのため、図５に示すように、表示制御部１９０は、「ピンポンパンポン」の音声を表す文字画像よりも「ただいま、地震が発生しました。」を表す文字画像における各文字の大きさを大きくする。

アナウンス音は図５に示すスピーカーＳＰから出力されており、左マイク６４は、右マイク６２よりもスピーカーＳＰの位置に近いため、右マイク６２よりも取得する外部音量が大きい。そのため、音声処理部１７０は、外部音声の音源であるスピーカーＳＰが使用者に対して左側にあると判定する。表示制御部１９０は、最大画像表示領域ＰＮにおいて、中心部分を除き、かつ、中心よりも左側の部分に占める部分が多くなるような周辺部にテキスト画像ＴＸ１を表示する。本実施形態における最大画像表示領域ＰＮは、横の画素数が９６０、縦の画素数が５４０である。最大画像表示領域ＰＮは、請求項における画像生成可能領域に相当する。最大画像表示領域ＰＮにおける中心部分を除く周辺部とは、中央に位置する横の画素数３２０と縦の画素数１８０の領域を除く領域のことをいい、中央に位置する横の画素数４８０と縦の画素数２７０の領域を除く領域であるとさらに好ましい。

次に、音声処理部１７０は、検出した特定の音声が検出されない元の状態に戻ったかを監視する（ステップＳ３８０）。特定の音声が検出されなくなった場合には（ステップＳ３８０：ＹＥＳ）、音声処理部１７０は、ステップＳ３６０の処理において下げた出力音量を、下げる前の出力音量に戻す（ステップＳ３９０）。その後、制御部１０は、出力音声調整処理を終了する操作を監視する（ステップＳ４００）。出力音量調整処理を終了する操作が検出されない場合には（ステップＳ４００：ＮＯ）、音声処理部１７０は、再び、外部音声に警告音等の特定の音声が検出されるかを監視する（ステップＳ３２０）。出力音量調整処理を終了する操作が検出された場合には（ステップＳ４００：ＹＥＳ）、表示制御部１９０が最大画像表示領域ＰＮに表示していたテキスト画像ＴＸ１を非表示にして、制御部１０は、出力音量調整処理を終了する。

ステップＳ３８０の処理において、引き続き、特定の音声が検出される場合には（ステップＳ３８０：ＮＯ）、制御部１０は、出力音声調整処理を終了する操作を監視する（ステップＳ４１０）。出力音量調整処理を終了する操作が検出されない場合には（ステップＳ３８０：ＮＯ）、音声処理部１７０は、引き続き、検出した特定の音声が検出されない元の状態に戻ったかを監視する（ステップＳ３８０）。出力音量調整処理を終了する操作が検出された場合には（ステップＳ４１０：ＹＥＳ）、制御部１０は、出力音量調整処理を終了する。

ステップ３２０の処理において、特定の音声が検出されない場合には（ステップＳ３２０：ＮＯ）、音声処理部１７０は、取得された外部音量が変化して予め定められた閾値以上の音量であるかを監視する（ステップＳ３３０）。図６は、取得される外部音声の音量の変化の一例を示す説明図である。図６には、マイク６２，６４が取得した外部音声の音量の推移Ｎｏｕｔ（ｄＢ）と、予め定められた音量閾値Ｎｔｈ（ｄＢ）と、が示されている。図６に示すように、取得される外部音量は、時刻ｔ１までは音量閾値Ｎｔｈよりも小さい音量であり、時刻ｔ１から１秒後の時刻ｔ２では音量閾値Ｎｔｈ以上の音量である。この場合には、時刻ｔ１の音量Ｎ１から時刻ｔ２の音量Ｎ２へと音量が変化して、音量Ｎ２が音量閾値Ｎｔｈ以上であるため（図４のステップＳ３３０：ＹＥＳ）、次に、制御部１０の各部は、ステップＳ３６０以降の処理を行なう。

ステップＳ３３０の処理において、外部音量が変化しない、または、外部音量が変化しても音量が音量閾値Ｎｔｈよりも小さい場合には（ステップＳ３３０：ＮＯ）、音声処理部１７０は、外部音声に特定の周波数が検出されるかを監視する（ステップＳ３４０）。図７は、取得される外部音声の周波数の一例について示す説明図である。図７には、期間Ｔ１と期間Ｔ１の後の期間Ｔ２とのそれぞれにおいて取得された外部音声を解析した周波数スペクトルが示されている。図７に示すように、期間Ｔ１における周波数スペクトルｆＴ１から期間Ｔ２における周波数スペクトルｆＴ２への変化において、特定の周波数の帯域ｆｔｈの周波数が検出された場合に（ステップＳ３４０：ＹＥＳ）、制御部１０の各部は、ステップＳ３６０以降の処理を行なう。なお、周波数が３０００ヘルツ（Ｈｚ）の音声は、音量が小さくても人が聞き取りやすいことが一般に知られている。そのため、他の実施形態では、人が聞き取れる周波数である２０ヘルツから２００００ヘルツの音声のうち、２０ヘルツまたは２００００ヘルツに近い周波数の音声の場合に、外部音声が同じ音量であっても出力音声を小さくしてもよい。

ステップＳ３４０の処理において、外部音声に特定の周波数が検出されない場合には（ステップＳ３４０：ＮＯ）、外部音声が変化して、外部音声に人の声が検出されている状態で、方向判定部１６１は、使用者の頭部の動きの検出を監視する（ステップＳ３５０）。音声処理部１７０が外部音声に人の声が検出している状態で、方向判定部１６１が頭部の角速度と角度の変化量との少なくとも一方において、予め定められた閾値以上の変化量を検出すると（ステップＳ３５０：ＹＥＳ）、制御部１０の各部は、ステップＳ３６０以降の処理を行なう。ステップＳ３５０の処理において、人の声が検出されていない場合、または、閾値以上の頭部の動きの変化量が検出されない場合（ステップＳ３５０：ＮＯ）、音声処理部１７０は、再度、外部音声に警告音等の特定の音声が検出されるかを監視する（ステップＳ３２０）。

以上説明したように、本実施形態における頭部装着型表示装置１００では、音声処理部１７０は、マイク６２，６４が取得した外部音声の変化に基づいて、イヤホン３２，３４から出力される出力音声の音量を調整する。そのため、この頭部装着型表示装置１００では、外部音声の音量等が変化した場合に出力音声の音量を小さくするので、使用者は、インターフェイス１８０を介して供給されるコンテンツの音声を視聴しながら、外部音声を聞くことができ、外部の変化を速やかに認識できる。

また、本実施形態における頭部装着型表示装置１００では、変換部１８５は、マイク６２，６４が取得した音声を、音声を文字によって表した文字画像へと変換する。表示制御部１９０は、文字画像を表す制御信号を画像表示部２０に送信し、画像表示部２０によって文字画像を表す画像光が生成される。そのため、この頭部装着型表示装置１００では、マイク６２，６４が取得した外部音声を、外部音声を表すテキスト画像ＴＸ１として使用者に視認させ、使用者に外部音声をより詳しく認識させることができる。

また、本実施形態における頭部装着型表示装置１００では、表示制御部１９０は、マイク６２，６４が取得した外部音量に基づいて文字画像の文字の大きさを設定し、文字の大きさを設定した文字画像を表す制御信号を画像表示部２０に送信する。そのため、この頭部装着型表示装置１００では、外部音声の音量に基づいてテキスト画像ＴＸ１の文字の大きさが設定されるので、使用者に、外部音声を視聴させると共に、外部音量の相違をテキスト画像ＴＸ１の文字の大きさとしても視認させ、外部音声をより詳しく認識させることができる。

また、本実施形態における頭部装着型表示装置１００では、表示制御部１９０は、画像表示部２０が画像を表示できる領域である最大画像表示領域ＰＮにおいて、中心部分を除く周辺部にテキスト画像ＴＸ１を表示する。そのため、この頭部装着型表示装置１００では、最大画像表示領域ＰＮにおける中心部分に外部音声を表す文字画像が表示されないため、使用者の視野ＶＲが必要以上に妨げられることがなく、使用者は、画像表示部２０を透過する外景を視認できると共に文字画像を視認でき、使用者の利便性が向上する。

また、本実施形態における頭部装着型表示装置１００では、画像表示部２０に右マイク６２と左マイク６４とが異なる位置に配置される。音声処理部１７０は、右マイク６２が取得する外部音量と左マイク６４が取得する外部音量とに基づいて画像表示部２０から外部音声の音源への方向を推定する。音声処理部１７０は、スピーカーＳＰが使用者に対して左側にあると推定し、最大画像表示領域ＰＮにおいて、中心よりも左側の部分に占める部分にテキスト画像ＴＸ１を表示する。そのため、この頭部装着型表示装置１００では、使用者の視野ＶＲにおいて、音源の近い位置に外部音声を文字として表す文字画像を視認させ、音源の位置を使用者に認識させることができる。

また、本実施形態の頭部装着型表示装置１００では、音声処理部１７０は、取得された音量が音量閾値Ｎｔｈ未満の音量Ｎ１から音量閾値Ｎｔｈ以上の音量Ｎ２へと変化する場合に出力音量を下げる。そのため、この頭部装着型表示装置１００では、コンテンツの音声の音量が大きい場合であっても、外部音量が大きい場合には出力音量が下げられるため、警告音等の音量の大きい外部音声が取得された場合でも、外部音声をより明確に聞くことができる。

また、本実施形態の頭部装着型表示装置１００では、音声処理部１７０は、取得された外部音声に含まれている警告音といった特定の音声を検出し、検出された外部音声に含まれる特定の音声に基づいて出力音声を調整する。そのため、この頭部装着型表示装置１００では、使用者が検出したい特定の音声を検出したときに、出力音量を下げるので、使用者が外部音声に含まれる必要な音声のみを聞くことができ、使用者の利便性が向上する。

また、本実施形態の頭部装着型表示装置１００では、９軸センサー６６が使用者の頭部の動きを検出し、方向判定部１６１が検出された画像表示部２０の動きの変化に基づいて、使用者の頭部における角速度や角度の変化量を特定する。音声処理部１７０は、外部音声に含まれる人の声と、使用者の頭部の動きにおける予め定められた閾値以上の変化量と、に基づいて出力音量を下げる。そのため、この頭部装着型表示装置１００では、外部音声の変化と使用者の視線方向の変化との２つの指標に基づいて出力音量が調整されるので、外部音声の変化のみで出力音量が調整される場合に比べ、不要な調整が抑制され、使用者の利便性が向上する。

また、本実施形態の頭部装着型表示装置１００では、音声処理部１７０は、取得した外部音声の周波数スペクトルを解析して、周波数ごとの強度を算出し、解析された外部音声の周波数スペクトルの変化に基づいて出力音声を調整する。そのため、この頭部装着型表示装置１００では、取得された外部音声に周波数の異なる異音等が検出された場合に、使用者に異音等を認識させることができ、使用者の利便性が向上する。

Ｂ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｂ１．変形例１：
上記実施形態では、音声処理部１７０と、画像表示部２０と、を備える頭部装着型表示装置１００を例に挙げて説明したが、音声処理部１７０と、画像表示部２０と、を備える装置については種々変形可能である。図８は、自動車の運転手が視認する視野ＶＲ’の一例を示す説明図である。この変形例では、図８に示すように、自動車を運転している運転手に文字画像を視認させる画像表示装置として、自動車のフロントガラスに形成されたヘッドアップディスプレイ（Head-up Display；ＨＵＤ）が用いられ、音声処理装置として、自動車に搭載されたカーオーディオと、自動車の外部における前後左右のそれぞれに取り付けられた外部音声を取得するマイクと、が用いられる。

図８には、最大画像表示領域ＰＮと、取得した外部音声を文字画像として最大画像表示領域ＰＮに表示したテキスト画像ＴＸ２と、が示されている。運転手は、自動車に搭載されたカーオーディオで音楽を聴いている状態である。マイクによって取得された外部音声の音源は、複数のマイクが取得した音量に基づいて自動車から左前方にあると推定された救急車である（図示しない）。この変形例では、外部音量が音量閾値Ｎｔｈ未満の状態から、救急車の発する音（図８に示す「ピーポーパーポー」）によって外部音量が音量閾値Ｎｔｈ以上に変化すると、カーオーディオの音量を調整する音声処理部１７０’は、カーオーディオが発する音楽の音量を下げる。また、最大画像表示領域ＰＮには、表示制御部１９０が救急車の発する音を表す文字画像であるテキスト画像ＴＸ２を表示する。テキスト画像ＴＸ２は、最大画像表示領域ＰＮにおける左上の周辺部に表示されている。なお、テキスト画像ＴＸ２が表示されず、カーオーディオの発する音量のみを小さくする態様であってもよい。そのため、この変形例では、自動車の外で何らかの異常があったときに、自動車の運転手にその異常を認識させやすく、運転手の利便性が向上する。

また、上記実施形態では、取得された外部音声を文字画像として表示できる画像表示部を備える態様であったが、画像表示部は必須の構成要件ではなく、音声処理装置の態様については種々変形可能である。例えば、音声処理装置は、音楽コンテンツを再生できる携帯型音楽再生装置であってもよい。携帯型音楽再生装置の使用者が密閉型のイヤホンによって音楽コンテンツの出力音声を視聴している場合に、携帯型音楽再生装置に形成されたマイクによって外部音声を取得して、外部音声の変化に基づいて出力音声の音量が設定されてもよい。

また、上記実施形態では、取得した外部音声の変化に基づいて、音声処理部１７０は、出力音声を下げる調整を行なったが、出力音声を上げる調整を行なってもよい。例えば、使用者が出力音声および外部音声の両方を視聴できる場合に、外部音量と出力音量との差に基づいて、音声処理部１７０は、出力音量を上げる、または、出力音量を下げる調整を行なってもよい。この変形例では、外部音量と出力音量との差に基づいて、出力音量が調整されるため、使用者の意思を反映した音量で出力音声を使用者に視聴させることができ、利用者の利便性が向上する。

Ｂ２．変形例２：
上記実施形態では、外部音声の変化に基づいて出力音声の音量が調整されたが、出力音量の調整については種々変形可能である。例えば、音声処理部１７０は、マイク６２，６４が取得した外部音声の音量を設定して、イヤホン３２，３４から出力音声として出力させてもよい。この変形例では、外部音声に含まれる警告音等の特定の音声が出力音声に対して小さい音量で検出された場合に、外部音量よりも大きい音量の出力音声として使用者に視聴させることができ、使用者の利便性が向上する。

Ｂ３．変形例３：
また、上記実施形態では、表示制御部１９０は、最大画像表示領域ＰＮにおけるテキスト画像ＴＸ１を表示する位置を、画像表示部２０から外部音声の音源への方向に対応付けて設定したが、最大画像表示領域ＰＮにテキスト画像ＴＸ１が表示される位置については種々変形可能である。例えば、頭部装着型表示装置１００には、１つのマイクのみが配置されて、外部音声の音源の方向が特定されない態様であってもよい。また、外部音声の音源の方向が特定できても、表示制御部１９０は、最大画像表示領域ＰＮにテキスト画像ＴＸ１を表示する位置を、外部音声の音源の方向にかかわらず設定してもよい。

また、最大画像表示領域ＰＮに表示される文字画像の各文字の大きさおよび大きさの設定方法についても種々変形可能である。表示制御部１９０は、外部音量にかかわらず、予め定められた大きさで文字画像における各文字を最大画像表示領域ＰＮに表示させてもよい。また、最大画像表示領域ＰＮに表示される文字画像における各文字の大きさは、周波数、音の種類、使用者の頭部の動きの変化量、に基づいて設定されてもよい。また、文字の大きさのみにかかわらず、文字のフォントを変更してもよい。

Ｂ４．変形例４：
上記実施形態では、最大画像表示領域ＰＮに表示される外部音声を表す文字画像は、予め決められた態様で表示されるが、表示される文字画像の設定については種々変形可能である。使用者が出力音声を聞いている場合に、操作部１３５に所定の操作が行なわれることで、外部音声を表す文字画像は、操作が行なわれる前と異なる文字画像として表示されてもよい。

また、上記実施形態では、マイク６２，６４は、使用者が画像表示部２０を装着した場合の両耳付近の位置に配置されたが、マイク６２，６４の配置および構造についてはこれに限られず、種々変形可能である。例えば、マイク６２，６４は、画像表示部２０に対して向きを変更できるような機械的構造を備え、指向性を有するマイクであってもよい。音声処理部１７０は、画像表示部２０から外部音声の音源への方向を推定できた場合に、マイク６２，６４の向きを変更することで、より詳しく外部音声を取得することができ、外部音声の変化を検出しやすくなる。

また、上記実施形態では、音声処理部１７０は、外部音声の周波数によって、外部音声の変化を検出するため、外部音声に含まれる特定の音声の検出については種々変形可能である。例えば、複数の人の声が含まれる外部音声であっても、音声処理部１７０は、一人一人の声を認識して、識別できてもよい。この場合に、予め定めた特定の一人の声を検出したときに、音声処理部１７０は、外部音量を調整する態様であってもよい。

また、上記実施形態では、外部音声に含まれる特定の音声を検出して、出力音量の調整が行なわれたが、特定の言葉を検出して、出力音量の調整が行なわれてもよい。例えば、プライバシー保護の観点から、特定の言葉については、出力音量を上げたりすることで、特定の言葉が使用者に視聴できない態様であってもよい。また、個人名等の特定の言葉が予め登録されておくことで、登録された言葉については、音声が取得されても文字画像へと変換が行われない態様としてもよい。また、取得された外部音声を、外部音声を表す文字画像として変換する態様についても同様であり、特定の言葉については、文字画像として画像表示部２０に表示されない態様であってもよい。

Ｂ５．変形例５：
また、上記実施形態では、外部音声の変化に基づいて出力音声が制御されたが、外部音声に基づいて出力音声が制御されてもよい。例えば、外部音声が常にほとんど取得されない状態であり、外部音声の音量や周波数の変化がなくても、出力音声の音量を小さくする等の制御が行なわれてもよい。この変形例では、取得された外部音声が変化しなくても、出力音声が制御されるため、使用者は、適切な音量および周波数の出力音声を聞くことができる。

また、カメラ６１が予め定められている人の声を取得した場合に、音声処理部１７０は、取得された人の声の周波数を変更して、イヤホン３２，３４の出力音声に変更した周波数の人の声を出力させると共に、周波数を変更した人の声以外の出力音量を小さくする態様であってもよい。この変形例では、人が聞き取りづらい周波数の声が取得された場合に、取得された声を視聴しやすくするため、使用者は、外部音声を認識しやすくなる。また、複数の音源から周波数が同じぐらいの外部音声が取得された場合に、いくつかの音源から取得される外部音声の周波数を変更して、周波数を変更した外部音声をイヤホン３２，３４から出力してもよい。一般に、人は、周波数の近い複数の音声を取得すると、周波数マスキングによって、周波数が低い音声が聞き取りづらい。そのため、この変形例では、周波数マスキングによる影響を抑制して、複数の音源から取得される音声を使用者に認識させやすい。

Ｂ６．変形例６：
また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。また、上記実施形態では、使用者の頭の動きを検出するセンサーとして９軸センサー６６を利用しているが、これに代えて、加速度センサー、角速度センサー、地磁気センサーのうちの１つまたは２つから構成されたセンサーを利用するとしてもよい。また、上記実施形態では、頭部装着型表示装置１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えばビデオ透過型や単眼タイプといった他の形式の頭部装着型表示装置にも同様に適用可能である。

また、上記実施形態において、頭部装着型表示装置１００は、使用者の左右の眼に同じ画像を表す画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表す画像光を導いて使用者に三次元画像を視認させるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

また、上記実施形態では、図１および図２に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、制御部１０に形成された構成の内、操作部１３５のみが単独のユーザーインターフェース（ＵＩ）として形成されてもよいし、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよい。また、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

また、上記実施形態では、音声処理部１７０および変換部１８５は、制御部１０に形成されたが、他の装置として単独に構成された音声処理システムによって、本発明を実現することも可能である。例えば、出力音声の制御や音声処理は、無線通信回線を介してクラウドコンピューティング、サーバーやホストコンピューター、スマートフォン、によって行なわれてもよい。

また、上記実施形態では、マイク６２，６４が画像表示部２０に配置され、イヤホン３２，３４が制御部１０に接続される態様としたが、マイク６２，６４およびイヤホン３２，３４の配置については、種々変形可能である。例えば、イヤホン３２，３４は、頭部に装着する頭部装着型音声処理装置のように、頭部装着型表示装置１００に接続されてもよい。また、音出力装置として、イヤホン３２，３４ではなく、スピーカーが用いられてもよい。また、マイク６２，６４についても、画像表示部２０に配置されずに、例えば、施設の特定の位置に備え付けられた音取得装置であってもよい。また、音出力装置は、頭部に装着される、例えば、補聴器であってもよい。この変形例では、使用者の頭部に装着されるため、使用者の耳から音出力装置が外れにくく、安定的に出力音声を使用者に視聴させることができる。

Ｂ７．変形例７：
例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、画像生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。レーザー網膜投影型の場合、「画像生成可能領域」とは、使用者の眼に認識される画像領域として定義することができる。

また、例えば、ヘッドマウントディスプレイは、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ヘッドマウントディスプレイは、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。

また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン（音出力部）
３４…左イヤホン（音出力部）
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…カメラ
６２…右マイク（音取得部）
６４…左マイク（音取得部）
６６…９軸センサー
１００…頭部装着型表示装置
１１０…入力情報取得部
１２０…記憶部
１３０…電源
１３５…操作部
１４０…ＣＰＵ
１５０…オペレーティングシステム
１６０…画像処理部
１６１…方向判定部
１７０…音声処理部（音制御部、解析部、特定音検出部、音源方向推定部）
１８０…インターフェイス
１８５…変換部
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
Ｎｏｕｔ…音量の推移
ｔ１，ｔ２…時刻
Ｔ１，Ｔ２…期間
Ｎ１，Ｎ２…音量（外部音の音量）
Ｎｔｈ…音量閾値（第１の閾値）
ｆＴ１，ｆＴ２…周波数スペクトル
ｆｔｈ…周波数の帯域
ＴＸ１，ＴＸ２…テキスト画像（文字画像）
ＯＡ…外部機器
ＷＢ…ホワイトボード
ＲＥ…右眼
ＬＥ…左眼
ＩＬ…照明光
ＰＬ…画像光
ＰＮ…最大画像表示領域（画像生成可能領域）
ＡＰ…先端部
ＳＰ…スピーカー
ＶＲ…視野

Claims

音処理装置であって、
音を出力する音出力部と、
前記音出力部が出力する出力音とは異なる外部の音である外部音を取得する音取得部と、
前記外部音に基づいて、前記出力音を制御する音制御部と、を備える、音処理装置。
請求項１に記載の音処理装置であって、さらに、
画像を表す画像光を生成し、使用者に前記画像光を視認させると共に、外景を透過させる画像表示部と、
前記外部音を文字として表した文字画像に変換する変換部と、
前記画像表示部に対して、前記文字画像を表す前記画像光である文字画像光を生成させる表示制御部と、を備える、音処理装置。
請求項２に記載の音処理装置であって、
前記表示制御部は、前記外部音に基づいて、前記画像表示部が使用者に視認させる前記文字画像光の大きさを設定する、音処理装置。
請求項２または請求項３に記載の音処理装置であって、
前記表示制御部は、前記画像表示部に対して、前記画像表示部が前記画像光を生成可能な領域である画像生成可能領域における中心部分を除く周辺部に前記文字画像光を生成させる、音処理装置。
請求項２から請求項４までのいずれか一項に記載の音処理装置であって、
配置される位置が異なる複数の前記音取得部を有し、
前記音処理装置は、さらに、
一の音取得部が取得した前記外部音の音量と、他の音取得部が取得した前記外部音の音量と、に基づいて、前記画像表示部から前記外部音の音源への方向である音源方向を推定する音源方向推定部を備え、
前記表示制御部は、前記画像表示部に対して、前記画像表示部が前記画像光を生成可能な領域である画像生成可能領域における前記文字画像光を、前記音源方向に対応づけて生成させる、音処理装置。
請求項２から請求項５までのいずれか一項に記載の音処理装置であって、
前記音制御部は、前記外部音の音量を測定し、測定した前記外部音の音量が第１の閾値未満から前記第１の閾値以上へと変化した場合に、前記出力音の音量を小さくする、音処理装置。
請求項２から請求項６までのいずれか一項に記載の音処理装置であって、さらに、
前記外部音に含まれる特定の音を検出する特定音検出部を備え、
前記音制御部は、前記特定音検出部が検出した前記特定の音に基づいて前記出力音を制御する、音処理装置。
請求項２から請求項７までのいずれか一項に記載の音処理装置であって、さらに、
使用者の頭部の動きの変化を検出する動き検出部を備え、
前記音制御部は、前記動き検出部が検出した使用者の頭部の動きの変化に基づいて、前記出力音を制御する、音処理装置。
請求項２から請求項８までのいずれか一項に記載の音処理装置であって、
前記音制御部は、前記音出力部に対し、前記外部音の変化に基づいて、前記外部音の音量を設定した音を前記出力音として出力させる、音処理装置。
請求項２から請求項９までのいずれか一項に記載の音処理装置であって、
前記音制御部は、前記音取得部が特定の人の声を取得した場合には、取得された前記特定の人の声の周波数を変更し、前記音出力部に対し、周波数を変更した前記特定の人の声を出力すると共に、前記特定の人の声以外の音の音量を小さくする、音処理装置。
請求項１から請求項１０までのいずれか一項に記載の音処理装置であって、
前記音出力部は、使用者の頭部に装着された状態において、前記出力音を使用者に視聴させる、音処理装置。
音を出力する音出力部と、前記音出力部が出力する出力音とは異なる外部の音である外部音を取得する音取得部と、を備える音処理装置の制御方法であって、
前記外部音に基づいて、前記出力音を制御する工程を備える、制御方法。