JP2015032844A

JP2015032844A - 音声伝達装置、音声伝達方法

Info

Publication number: JP2015032844A
Application number: JP2013158576A
Authority: JP
Inventors: 大作若松; Daisaku Wakamatsu; 堀内　俊治; Toshiharu Horiuchi; 俊治堀内
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2013-07-31
Filing date: 2013-07-31
Publication date: 2015-02-16
Anticipated expiration: 2033-07-31
Also published as: JP6147603B2

Abstract

【課題】超音波成分を含むハイレゾリューション・ハイサンプリング・サウンドを再生する場合に、利用するヘッドホン又はイヤホンによらずに、かつ、周囲に音声を聞かれることなく、音像を適切な位置に定位させることができる音声伝達装置、音声伝達方法を提供する。
【解決手段】超音波成分を含む音声をヘッドホン１０により聴取させる音声伝達装置１００であって、音声伝達装置１００は、音声から非可聴高周波帯域を抽出した音声を出力する少なくとも１つの高周波用スピーカ１０４と、ヘッドホン１０へ出力される信号を、受聴者と高周波用スピーカ１０４との間の音響経路の伝達関数を用いて畳み込むＤＳＰ１０５とを備える。
【選択図】図２

Description

本発明は、超音波成分を含む音声をヘッドホン又はイヤホンにより聴取する音声伝達装置、音声伝達方法に関するものである。

従来から、ヘッドホンやイヤホンが音楽を聞いたり通話を行ったりする場面で利用されている。しかし、ヘッドホン又はイヤホンを用いて音声を聴取すると頭の中で音声が鳴っているような不自然な聞こえ方をしてしまい、音場の臨場感がなかった。

ヘッドホンやイヤホンを用いて、立体音場を擬似的に補正する技術が、特許文献１及び特許文献２に開示されている。
しかし、特許文献１及び特許文献２に開示されている技術では、スピーカからの音が必須であるため、周りに聞こえない聴取スタイルは実現できなかった。

また、特許文献３には、携帯音楽プレイヤに外付けするヘッドホン端子に並列接続する超音波放射体を追加する技術が提案されている。この特許文献３の技術は、超高音域を再生して音の広がり感や、明瞭度を改善し、音質をよくするものである。したがって、音像を定位することに関しては、何ら示唆されていない。なお、仮に、特許文献３の技術を実用化したとしても、特許文献３の技術では、携帯音楽プレイヤに超音波放射装置をヘッドホンのコードや携帯音楽プレイヤのヘッドホン端子部に配置するものである。したがって、音像を定位させるための超音波放射体がユーザの正面に必ずしも配置されず、適切な音像定位の効果は得られない。

さらに、ヘッドホン又はイヤホンは、自分好みの形態等がある他、ハイレゾリューション・ハイサンプリング・サウンドに対応していないものも多い。したがって、従来は、利用するヘッドホン又はイヤホンによっては、ハイレゾリューション・ハイサンプリング・サウンドの恩恵を受けることができなかった。

特開昭６１−２１９３００号公報特開２０１０−１９３１０５号公報特開２０１１−７７９９１号公報

本発明の課題は、超音波成分を含むハイレゾリューション・ハイサンプリング・サウンドを再生する場合に、利用するヘッドホン又はイヤホンによらずに、かつ、周囲に音声を聞かれることなく、音像を適切な位置に定位させることができる音声伝達装置、音声伝達方法を提供することである。

本発明は、上記の課題を解決するために、以下の事項を提案している。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。

（１）本発明は、超音波成分を含む音声をヘッドホン（１０）又はイヤホンにより聴取させる音声伝達装置であって、音声から非可聴高周波帯域を抽出した音声を出力する少なくとも１つのスピーカ（１０４，２０４，３０４，４０４）と、ヘッドホン又はイヤホンへ出力される信号を、受聴者と前記スピーカとの間の音響経路の伝達関数を用いて畳み込む音響処理部（１０５，２０５，３０５，４０５）と、を備える音声伝達装置（１００，２００，３００，４００）を提案している。

この発明によれば、少なくとも１つのスピーカは、音声から非可聴高周波帯域を抽出した音声を出力する。音響処理部は、ヘッドホン又はイヤホンへ出力される信号を、受聴者と前記スピーカとの間の音響経路の伝達関数を用いて畳み込む。したがって、音声伝達装置は、超音波成分を含むハイレゾリューション・ハイサンプリング・サウンドを再生する場合に、利用するヘッドホン又はイヤホンによらずに、かつ、周囲に音声を聞かれることなく、音像を適切な位置に定位させることができる。また、利用するヘッドホン又はイヤホンによらずに、ハイレゾリューション・ハイサンプリング・サウンドの効果を享受できる。

（２）本発明は、（１）に記載の音声伝達装置において、前記音響処理部（２０５，３０５，４０５）を制御する制御部（２０９，３０９，４０９）を備えること、を特徴とする音声伝達装置（２００，３００，４００）を提案している。

この発明によれば、音響処理部を制御する制御部を備える。したがって、音響処理部の動作を状況に合わせて適切に制御することが可能となる。

（３）本発明は、（２）に記載の音声伝達装置において、受聴者と前記スピーカ（２０４，３０４，４０４）との距離及び／又は方向を測定する少なくとも１つのセンサ（２１０，３１０，４１０）を備え、前記制御部（２０９，３０９，４０９）は、前記センサから得られた距離及び／又は方向に応じて前記音響処理部（２０５，３０５，４０５）を制御すること、を特徴とする音声伝達装置（２００，３００，４００）を提案している。

この発明によれば、少なくとも１つのセンサは、受聴者とスピーカとの距離及び／又は方向を測定する。制御部は、センサから得られた距離及び／又は方向に応じて音響処理部を制御する。したがって、音声伝達装置は、受聴者との位置関係を自動的に把握して、自動的に適切な伝達関数を用いて処理を行うことができ、より簡単かつ的確に音像の定位を行える。

（４）本発明は、（２）又は（３）に記載の音声伝達装置において、出力する音声に同期する映像を作成する映像作成部（３０９）と、前記映像作成部が作成した映像を表示する表示部（３１１）と、を備えることを特徴とする音声伝達装置（３００）を提案している。

この発明によれば、映像作成部は、出力する音声に同期する映像を作成する。表示部は、映像作成部が作成した映像を表示する。したがって、音声伝達装置は、音声に同期した映像を受聴者に視聴させることが可能であり、音像を定位させる効果をより高めることができる。

（５）本発明は、（２）から（４）までのいずれか１項に記載の音声伝達装置において、送話側から送信される映像信号であるビデオ通話信号を処理するビデオ通話信号処理部（４１２）と、前記ビデオ通話信号処理部が処理した映像信号を表示する表示部（４１１）と、を備え、前記制御部（４０９）は、前記ビデオ通話信号処理部が処理した映像信号を基に送話側のカメラと送話者との距離を推定した結果に基づいて前記音響処理部（４０５）を制御すること、を特徴とする音声伝達装置（４００）を提案している。

この発明によれば、ビデオ通話信号処理部は、送話側から送信される映像信号であるビデオ通話信号を処理する。表示部は、ビデオ通話信号処理部が処理した映像信号を表示する。制御部は、ビデオ通話信号処理部が処理した映像信号を基に送話側のカメラと送話者との距離を推定した結果に基づいて音響処理部を制御する。したがって、音声伝達装置は、音声に同期した映像を受聴者に視聴させることが可能であり、音像を定位させる効果をより高めることができる。

（６）本発明は、（２）から（５）までのいずれか１項に記載の音声伝達装置において、前記制御部（２０９，３０９，４０９）は、予め設定されている複数の伝達関数の中から畳み込みに用いる伝達関数を選択して前記音響処理部（２０５，３０５，４０５）を制御すること、を特徴とする音声伝達装置（２００，３００，４００）を提案している。

この発明によれば、制御部は、予め設定されている複数の伝達関数の中から畳み込みに用いる伝達関数を選択して音響処理部を制御する。したがって、音像を正しい位置に定位させるために適切な伝達関数を用いることができ、音像を定位させる効果をより高めることができる。

（７）本発明は、（２）から（５）までのいずれか１項に記載の音声伝達装置において、前記制御部（２０９，３０９，４０９）は、予め正規化された伝達関数と、受聴者と前記スピーカ（２０４，３０４，４０４）との距離及び／又は方向を参照して、畳み込みに用いる伝達関数を決定すること、を特徴とする音声伝達装置（２００，３００，４００）を提案している。

この発明によれば、制御部は、予め正規化された伝達関数と、受聴者とスピーカとの距離及び／又は方向を参照して、畳み込みに用いる伝達関数を決定する。したがって、伝達関数の選択をより簡単かつ適切に行うことができる。

（８）本発明は、超音波成分を含む音声をヘッドホン（１０）又はイヤホンにより聴取させる音声伝達方法であって、音声から非可聴高周波帯域を抽出した音声を少なくとも１つのスピーカ（１０４，２０４，３０４，４０４）から出力し、音響処理部（１０５，２０５，３０５，４０５）によって、ヘッドホン又はイヤホンへ出力される信号を、受聴者と前記スピーカとの間の音響経路の伝達関数を用いて畳み込む、音声伝達方法を提案している。

この発明によれば、音声から非可聴高周波帯域を抽出した音声を少なくとも１つのスピーカから出力する。音響処理部によって、ヘッドホン又はイヤホンへ出力される信号を、受聴者と前記スピーカとの間の音響経路の伝達関数を用いて畳み込む。したがって、この音声伝達方法を用いる音声伝達装置は、超音波成分を含むハイレゾリューション・ハイサンプリング・サウンドを再生する場合に、利用するヘッドホン又はイヤホンによらずに、かつ、周囲に音声を聞かれることなく、音像を適切な位置に定位させることができる。また、利用するヘッドホン又はイヤホンによらずに、ハイレゾリューション・ハイサンプリング・サウンドの効果を享受できる。

本発明によれば、音声伝達装置は、超音波成分を含むハイレゾリューション・ハイサンプリング・サウンドを再生する場合に、利用するヘッドホン又はイヤホンによらずに、かつ、周囲に音声を聞かれることなく、音像を適切な位置に定位させることができる。

本発明による音声伝達装置１００の第１実施形態における使用状態を示す図である音声伝達装置１００の内部構成を示すブロック図である。伝達関数の設定を説明する図である。本発明による音声伝達装置２００の第２実施形態における使用状態を示す図である。音声伝達装置２００の内部構成を示すブロック図である。本発明による音声伝達装置３００の第３実施形態における使用状態を示す図である。音声伝達装置３００の内部構成を示すブロック図である。本発明による音声伝達装置４００の第４実施形態における使用状態を示す図である。音声伝達装置４００の内部構成を示すブロック図である。

以下、図面を用いて、本発明の実施形態について詳細に説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

（第１実施形態）
図１は、本発明による音声伝達装置１００の第１実施形態における使用状態を示す図である。
図２は、音声伝達装置１００の内部構成を示すブロック図である。
なお、図１及び図２を含め、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜誇張して示している。

音声伝達装置１００は、ヘッドホン１０が接続されて用いられることにより、非可聴と言われる高周波帯域成分を有する高音質なハイレゾリューション・ハイサンプリング・サウンドを聴取可能な装置である。
音声伝達装置１００は、ハイパスフィルタ（ＨＰＦ）１０１と、ＤＡ変換部（ＤＡ）１０２と、アンプ１０３と、高周波用スピーカ１０４と、ＤＳＰ（digital signal processing）１０５と、ＤＡ１０６と、アンプ１０７と、端子部１０８とを備えている。

ハイパスフィルタ（ＨＰＦ）１０１は、可聴音と非可聴な高周波帯域成分とを含むハイレゾリューション・ハイサンプリング・サウンドの音声データから、超音波成分を抽出し、ＤＡ１０２へ伝える。

ＤＡ変換部（ＤＡ）１０２は、ＨＰＦ１０１から得たデジタル信号をアナログ信号に変換し、アンプ１０３に伝える。

アンプ１０３は、ＤＡ１０２から得た信号を増幅して、高周波用スピーカ１０４へ伝える。

高周波用スピーカ１０４は、超音波領域（例えば、周波数２０ｋＨｚ以上）の音声を出力可能なスピーカである。高周波用スピーカ１０４は、上述のＨＰＦ１０１を介した音声信号を出力するので、音源に含まれる可聴範囲外のいわゆる超音波成分を出力する。

ＤＳＰ（digital signal processing）１０５は、ヘッドホン１０へ出力される信号を、受聴者と前記スピーカとの間の音響経路の伝達関数を用いて畳み込む音響処理部である。ＤＳＰ１０５による処理については、後述する。

ＤＡ１０６は、ＤＳＰ１０５から得たデジタル信号をアナログ信号に変換し、アンプ１０７に伝える。

アンプ１０７は、ＤＡ１０６から得た信号を増幅して、端子部１０８を介してヘッドホン１０へ伝える。
ここで、高周波用スピーカ１０４から出力する音量と、ヘッドホン１０から出力する音量とが連動するように、アンプ１０３及びアンプ１０７の利得を調整する。図示しないが、音量調整スイッチや制御部（ソフトウェア制御）から音量を調整可能とする。高周波用スピーカ１０４の特性に合わせて予め各アンプの利得差を調整させておいてもよいし、受聴者によりヘッドホン１０のアンプ１０７と高周波用スピーカ１０４のアンプ１０３との利得差を設定させてもよい。

本実施形態では、アンプ１０３及びアンプ１０７は、ヘッドホン１０からの可聴音と同程度の音圧の超音波を高周波用スピーカ１０４から出力させるようにそれぞれが調整されている。これにより、本実施形態の音声伝達装置１００は、超高周波を受聴者に伝えることができ、ヘッドホン１０から出力する音声に高周波用スピーカ１０４から出力される非可聴な音声が重ねられる。

端子部１０８は、ヘッドホン１０の端子部１１を接続するいわゆるヘッドホンジャックである。

ヘッドホン１０は、高周波用スピーカ１０４の音とヘッドホン１０の音を重ねあわせ可能なように、密閉型よりも外部の音を遮断しないオープン型、より好ましくはフルオープン型のヘッドホンが望ましい。

ここで、ＤＳＰ１０５が行う音響処理について説明する。
ＤＳＰ１０５には、異なる位置の音源毎の伝達関数が設定されるか、又は、異なる位置の音源毎の伝達関数を正規化した関数が記憶されている。
図３は、伝達関数の設定を説明する図である。図３（ａ）は、ＤＳＰ１０５に設定する伝達関数を測定する状態を説明する図であり、現実の音場を示している。図３（ｂ）は、図３（ａ）に示した測定により得られた伝達関数を用いて畳み込みを行った音声をヘッドホン１０により聴取する状態を示す図であり、仮想の音場を示している。

伝達関数を測定するために、図３（ａ）に示すようにダミーヘッドＤにマイク２０_Ｒ，２０_Ｃ，２０_Ｌを設置する。マイク２０_Ｒは、ダミーヘッドＤの右耳部分に設置し、マイク２０_Ｃは、ダミーヘッドＤの中央部に埋め込み、マイク２０_Ｌは、ダミーヘッドＤの左耳部分に設置する。この状態で、ダミーヘッドＤの前に１つの音源を置き、その伝達関数を測定する。そして、音源を様々な位置に移動させ、その位置での伝達関数を測定することを繰り返す。こうすることで、様々な音源位置での伝達関数を得ることができる。

上述のようにして得られた複数の伝達関数の中から、音声を聴取するときの条件、すなわち、音源と受聴者との間の「距離及び方向」に近い条件下で測定された伝達関数を選択して、予め設定する。例えば、図３（ｂ）に示した状態は、上記図３（ａ）に示した位置で測定した伝達関数を用いて音声の聴取を行う状態である。図３（ｂ）中で、Ｈは音場の伝達関数を示し、Ｍは、マイクの伝達関数を示し、Ｐは、ヘッドホンの伝達関数を示す。本実施形態では、予め設定した伝達関数を用いて畳み込みを行った音声信号を聴取することにより、ヘッドホン１０により音声を聴取している時に、仮想音源の音像が、設定した伝達関数と対応する位置に定位する。また、この仮想音源の音像に近い位置に、音声伝達装置１００の高周波用スピーカ１０４を設置することにより、高周波用スピーカ１０４から受聴者に非可聴な高周波帯域成分が伝わる。この高周波帯域成分は、耳から受聴者に伝わる他、受聴者の皮膚からも伝わり、高周波用スピーカ１０４の位置を仮想音源の音像の位置として認識可能とする。

ここで、伝達関数の選択は、例えば、受聴者と本装置のスピーカとの間の「距離及び方向」を入力パラメータとし、それに応じた音響経路の伝達関数を選択するようにするとよい。
また、求めた伝達関数群を使用しやすいように正規化して、音源とダミーヘッド間の「距離及び方向」を入力とすることでその経路を伝達関数として表すようにしてもよい。
また、音声伝達装置１００を用いて視聴される環境（パームトップ機器／デスクトップ機器／ＴＶ画面サイズ等）を想定して伝達関数の入力パラメータの「距離」と「方向」を予め設定しておいてもよいし、受聴者により伝達関数の入力パラメータである「距離」と「方向」を調整できるようにしてもよい。

以上説明したように、第１実施形態によれば、音声伝達装置１００は、非可聴高周波帯域を抽出した音声を出力する高周波用スピーカ１０４を備え、さらに、ヘッドホン１０に伝わる音声を伝達関数で畳み込むＤＳＰ１０５を備えるので、利用するヘッドホンによらずに、かつ、周囲に音声を聞かれることなく、頭の中でなっているような音場とならず装置の方向に（前方に）音像を定位させることができる。また、ハイレゾリューション・ハイサンプリング・サウンドに対応していない高周波成分の出力が不足するヘッドホンを使用しても高周波用スピーカ１０４から高周波成分が出力されヘッドホン出力音と重なり高周波成分が補完される。よって、利用するヘッドホンによらずに、超音波成分を含むハイレゾリューション・ハイサンプリング・サウンドを有効に利用でき、音質の向上等のハイレゾリューション・ハイサンプリング・サウンドの恩恵を享受できる。

（第２実施形態）
図４は、本発明による音声伝達装置２００の第２実施形態における使用状態を示す図である。
図５は、音声伝達装置２００の内部構成を示すブロック図である。
第２実施形態の音声伝達装置２００は、第１実施形態の音声伝達装置１００の構成に加えて、制御部２０９と、センサ２１０とをさらに備えている。
なお、第２実施形態は、制御部２０９と、センサ２１０とをさらに備える他は、第１実施形態と同様な形態をしている。よって、前述した第１実施形態と同様の機能を果たす部分には、末尾に同一の符号を付して、重複する説明を適宜省略する。

制御部２０９は、センサ２１０が検出した受聴者の距離及び／又は方向に応じてＤＳＰ２０５を制御する。すなわち、制御部２０９は、センサ２１０が検出した受聴者の距離及び／又は方向を伝達関数の入力パラメータに用いてＤＳＰ２０５を制御することで常に適切な音場を構成する。

センサ２１０は、受聴者の距離及び／又は方向を検出する。センサ２１０としては、例えば、距離画像センサやカメラ映像から得られる顔検出による顔の向きを推定する技術等、公知の様々な技術を利用できる。
センサ２１０は、例えば、ユーザの姿がカメラ画角のどの範囲まで撮像されているかによって、カメラ（センサ）からユーザまでの距離を推測する方法としてもよい。例えば、ほとんどユーザしか写っていない場合はセンサからユーザまでの距離３０ｃｍと推測し、背景が画角の半分を占めるようなら１ｍと推測し、全身が映るようなら３ｍと推測することができる。

なお、センサ２１０の機能として、距離センサ機能又は方向センサ機能のうち、どちらかの機能を有しない、又は、センサ２１０から計測結果を得られない場合は、本装置が視聴される環境（パームトップ機器／デスクトップ機器／ＴＶ画面サイズ等）を想定した「距離」又は「方向」を予め設定して用いるとよい。

第２実施形態によれば、センサ２１０が受聴者の距離及び／又は方向を検出し、その検出結果に応じて制御部２０９がＤＳＰ２０５を制御するので、受聴者の位置を常に正確に把握して、適切な伝達関数を利用できる。よって、第２実施形態の音声伝達装置２００は、常に適切な仮想音場を提供できる。

（第３実施形態）
図６は、本発明による音声伝達装置３００の第３実施形態における使用状態を示す図である。
図７は、音声伝達装置３００の内部構成を示すブロック図である。
第３実施形態の音声伝達装置３００は、第２実施形態の音声伝達装置２００の構成に加えて、表示部３１１をさらに必須の構成として備えている。なお、上述した第１実施形態の音声伝達装置１００及び第２実施形態の音声伝達装置２００については、表示部を備えた例を例示しているが、これは必須ではない。
なお、第３実施形態は、表示部３１１を備え、また、制御部３０９が表示部３１１の制御を行う他は、第１実施形態及び第２実施形態と同様な形態をしている。よって、前述した第１実施形態及び第２実施形態と同様の機能を果たす部分には、末尾に同一の符号を付して、重複する説明を適宜省略する。

制御部３０９は、音声信号に基づいて、擬似アニメーションを作成する映像作成部としての機能をさらに有している。具体的には、制御部３０９は、デジタル音声信号をローパスフィルタで音声の包絡線を得て、その包絡線のレベルを制御信号とし擬似アニメーションのサイズを変更しながら表示部３１１に作成した疑似アニメーションを表示する。これにより、表示部３１１には、出力される音声の音量及びビートのバランス位置に応じて大きさと位置が変化するアニメーションが表示される。例えば円（○）の径をビートに応じて変化させる他、円の中心を音のバランスに応じて左右に移動させる。受聴者は、表示部３１１を見ながら音声を聴くことにより、音が出力されそうな視覚刺激を与えられ、その方向に音像を定位させる効果をさらに高めることができる。
なお、図示しないが、マルチチャネル音源の信号の場合は、前方のチャネル成分から音像位置を計算し擬似アニメーションの表示位置を変更しながら表示させるとよい。

以上説明したように、第３実施形態によれば、制御部３０９は、音声信号に基づいて、擬似アニメーションを作成して、それを表示部３１１に表示するので、受聴者に対して音像位置を定位させる効果をより高めることができる。

（第４実施形態）
図８は、本発明による音声伝達装置４００の第４実施形態における使用状態を示す図である。
図９は、音声伝達装置４００の内部構成を示すブロック図である。
第４実施形態の音声伝達装置４００は、第２実施形態の音声伝達装置２００の構成に加えて、表示部４１１と、デコーダ４１２とをさらに必須の構成として備えている。
なお、第４実施形態は、表示部４１１とデコーダ４１２とを備え、また、制御部４０９が行う制御内容が異なる他は、第１実施形態及び第２実施形態と同様な形態をしている。よって、前述した第１実施形態及び第２実施形態と同様の機能を果たす部分には、末尾に同一の符号を付して、重複する説明を適宜省略する。

第４実施形態の音声伝達装置４００は、ビデオ通話を行うことができる装置である。
デコーダ４１２は、送話側から符号化されて送信されるビデオ通話信号を復号して再生可能な映像信号に変換する処理を行うビデオ通話信号処理部である。

なお、図９では、デジタルビデオ信号とデジタル音声信号とが別々に入力可能な形態として示されている。しかし、デジタルビデオ信号には、音声も含まれているので、ビデオ通話を行うときには、デコーダ４１２が音声データをＨＰＦ４０１，ＤＳＰ４０５，制御部４０９へ伝える。また、映像を取り扱わない場合には、第１実施形態及び第２実施形態と同様に音声データのみを取り扱うこともできる。

制御部４０９は、デコーダ４１２から得た映像を表示部４１１に表示させる。また、制御部４０９は、デコーダ４１２によりデコードされたビデオ信号の映像スライスを解析し、相手の姿が画角のどの範囲まで撮像されているかにより、送信側のカメラから相手までの距離を推測する。例えば、制御部４０９は、ほとんど相手しか写っていない場合は撮影距離を３０ｃｍと推測し、背景が画角の半分を占めるようなら１ｍと推測し、全身が映るようなら３ｍと推測する。制御部４０９は、推測した距離を伝達関数の入力パラメータのうち「距離」に反映して用いて、ＤＳＰ４０５を制御する。これにより、映像と伝達関数との整合性が高くなり、送信者がカメラから離れれば、より遠くから声が聞こえるといった、送信者の位置に応じた音像の移動を感じることができる音声効果を受聴者に与えることができる。

表示部４１１は、ビデオ通話の相手の映像を表示しており、制御部４０９は、その映像に同期したハイレゾリューション・ハイサンプリング・サウンドをヘッドホン１０から出力させ、かつ、高周波用スピーカ４０４からもハイレゾリューション・ハイサンプリング・サウンドの超音波成分が出力される。

上述したように、表示部４１１には、ビデオ通話相手（送信者）が会話をしている映像が表示される。音声伝達装置４００は、音が発生しそうな映像である、相手の姿を見せながら聴取させることで、その音場が相手の姿に定位される心理聴覚（腹話術効果）が得られ、音像を定位させる効果をさらに高めることができる。
なお、本実施形態では、ビデオ通話相手（送信者）のカメラからの距離に応じて音像の距離を変化させる例を挙げて説明したが、送信者の姿を表示部４１１に表示するだけであってもよい。

以上説明したように、第４実施形態によれば、制御部４０９は、ビデオ通話の相手の映像を表示させる。よって、音声伝達装置４００は、受聴者に対して音像位置を定位させる効果をより高めることができる。

なお、音声伝達装置の処理をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを音声伝達装置に読み込ませ、実行することによって本発明の音声伝達装置、音声伝達方法を実現することができる。ここでいうコンピュータとは、ＯＳや周辺装置等のハードウェアを含む。

また、「コンピュータ」は、ＷＷＷ（ＷｏｒｌｄＷｉｄｅＷｅｂ）システムを利用している場合であれば、ホームページ提供環境（又は表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータから、伝送媒体を介して、又は、伝送媒体中の伝送波により他のコンピュータに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

（変形形態）
（１）各実施形態において、ヘッドホンを用いる例を挙げて説明を行ったが、ここでヘッドホンとは、広い意味に解釈すべきであり、例えば、イヤホンもこの広義の意味のヘッドホンに含まれるものである。よって、例えば、上述した各実施形態のヘッドホンは、イヤホンに置き換えてもよい。

（２）各実施形態において、高周波用スピーカ１０４，２０４，３０４，４０４から出力する音は、周囲に聞かれないように超音波帯域としたが、これに限らず、フルレンジの周波数帯域の音声を出力してもよい。

（３）各実施形態において、高周波用スピーカ１０４，２０４，３０４，４０４を１つ有する例を挙げて説明した。これに限らず、例えば、マルチチャネルのスピーカを用意し、スピーカ間に音像を定位させるように音声を出力してもよい。

（４）各実施形態において、ハイパスフィルタ（ＨＰＦ）１０１，２０１，３０１，４０１により可聴域をカットした音声データを高周波用スピーカ１０４，２０４，３０４，４０４から出力する例を挙げて説明した。これに限らず、例えば、スピーカ自体を超音波領域しか出力性能のないものとし、ハイパスフィルタを不要とした構成としてもよい。

（５）各実施形態において、ヘッドホン１０は、オープン型のヘッドホンが望ましいとして説明を行った。これに限らず、例えば、密閉型のヘッドホンを用いても、伝達関数を適切に設計することで目的とする効果を得ることができる。この理由としては、超音波は、耳を介して知覚される成分の他、耳以外の人体（皮膚）を介して知覚される成分もあるからである。

（６）各実施形態において、ヘッドホン１０は、オープン型のヘッドホンが望ましいとして説明を行った。上述したように、超音波は、耳を介して知覚される成分の他、耳以外の人体（皮膚）を介して知覚される成分もある。よって、例えば、密閉型のヘッドホンとして、高周波用スピーカ１０４，２０４，３０４，４０４の出力音量を調整可能とし高周波成分量を調整可能としてもよい。

（７）各実施形態において、高周波用スピーカ１０４，２０４，３０４，４０４の出力をＤＳＰ１０５，２０５，３０５，４０５の前段から得る例を挙げて説明した。これに限らず、例えば、ＤＳＰにより加工処理した後の音声信号を高周波用スピーカから出力するようにしてもよい。

（８）第２実施形態から第４実施形態において、センサ２１０，３１０，４１０は、カメラを用いる例を挙げて説明した。これに限らず、例えば、センサは、超音波センサを用いてもよい。センサを超音波センサとする場合には、音声信号を聞き取るための聴覚に影響しないよう有意パルス間隔を長めにとるか、１００ｋＨｚ以上の周波数を用いるとよい。
また、センサ２１０，３１０，４１０は、複数の異なる方式又は同一方式のセンサを組み合わせて精度を向上させてもよい。

（９）第４実施形態において、制御部４０９は、デコーダ４１２によりデコードされたビデオ信号の映像スライスを解析し、相手の姿が画角のどの範囲まで撮像されているかにより、送信側のカメラから相手までの距離を推測する例を挙げて説明した。
これに限らず、例えば、制御部４０９は、送信者の画像から顔認識をさせて目鼻口の間隔の広さから送信者とカメラとの距離を推測してもよい。
また、送信者の装置に距離センサを設けて送信者とカメラとの距離を測定し、その距離情報のデータを送受信してもよい。そして、制御部４０９は、伝達関数の入力パラメータのうち「距離」について受信した距離情報を加味してＤＳＰ４０５を制御するとよい。

なお、第１実施形態から第４実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。

１０ヘッドホン
１１端子部
２０Ｃ，２０Ｌ，２０Ｒマイク
１００，２００，３００，４００音声伝達装置
１０１，２０１，３０１，４０１ハイパスフィルタ（ＨＰＦ）
１０２，２０２，３０２，４０２ＤＡ変換部（ＤＡ）
１０３，２０３，３０３，４０３アンプ
１０４，２０４，３０４，４０４高周波用スピーカ
１０５，２０５，３０５，４０５音響処理部（ＤＳＰ）
１０６，２０６，３０６，４０６ＤＡ変換部（ＤＡ）
１０７，２０７，３０７，４０７アンプ
１０８，２０８，３０８，４０８端子部
２０９，３０９，４０９制御部
２１０，３１０，４１０センサ
３１１，４１１表示部
４１２デコーダ

Claims

超音波成分を含む音声をヘッドホン又はイヤホンにより聴取させる音声伝達装置であって、
音声から非可聴高周波帯域を抽出した音声を出力する少なくとも１つのスピーカと、
ヘッドホン又はイヤホンへ出力される信号を、受聴者と前記スピーカとの間の音響経路の伝達関数を用いて畳み込む音響処理部と、
を備える音声伝達装置。
請求項１に記載の音声伝達装置において、
前記音響処理部を制御する制御部を備えること、
を特徴とする音声伝達装置。
請求項２に記載の音声伝達装置において、
受聴者と前記スピーカとの距離及び／又は方向を測定する少なくとも１つのセンサを備え、
前記制御部は、前記センサから得られた距離及び／又は方向に応じて前記音響処理部を制御すること、
を特徴とする音声伝達装置。
請求項２又は請求項３に記載の音声伝達装置において、
出力する音声に同期する映像を作成する映像作成部と、
前記映像作成部が作成した映像を表示する表示部と、
を備えることを特徴とする音声伝達装置。
請求項２から請求項４までのいずれか１項に記載の音声伝達装置において、
送話側から送信される映像信号であるビデオ通話信号を処理するビデオ通話信号処理部と、
前記ビデオ通話信号処理部が処理した映像信号を表示する表示部と、
を備え、
前記制御部は、前記ビデオ通話信号処理部が処理した映像信号を基に送話側のカメラと送話者との距離を推定した結果に基づいて前記音響処理部を制御すること、
を特徴とする音声伝達装置。
請求項２から請求項５までのいずれか１項に記載の音声伝達装置において、
前記制御部は、予め設定されている複数の伝達関数の中から畳み込みに用いる伝達関数を選択して前記音響処理部を制御すること、
を特徴とする音声伝達装置。
請求項２から請求項５までのいずれか１項に記載の音声伝達装置において、
前記制御部は、予め正規化された伝達関数と、受聴者と前記スピーカとの距離及び／又は方向を参照して、畳み込みに用いる伝達関数を決定すること、
を特徴とする音声伝達装置。
超音波成分を含む音声をヘッドホン又はイヤホンにより聴取させる音声伝達方法であって、
音声から非可聴高周波帯域を抽出した音声を少なくとも１つのスピーカから出力し、
音響処理部によって、ヘッドホン又はイヤホンへ出力される信号を、受聴者と前記スピーカとの間の音響経路の伝達関数を用いて畳み込む、
音声伝達方法。