JP2017028525A - 頭外定位処理装置、頭外定位処理方法、及びプログラム - Google Patents

Abstract

【課題】頭外定位処理を適切に行うことができる頭外定位処理装置、頭外定位処理方法、プログラム、頭外定位処理装置を提供する。【解決手段】本実施の形態にかかる頭外定位処理装置は、複数の頭部伝達関数を耳介特性と対応付けて記憶する頭部伝達関数記憶部１０１と、ユーザの耳介特性を左右独立に選択可能である耳介特性選択部１０２と、選択された耳介特性に対応する頭部伝達関数を読み出し、各チャンネルの信号に畳み込み演算を行うことで、仮想音源信号を生成する仮想音源信号生成部１０３と、ユーザに向けて仮想音源信号を出力する出力部１０４と、を備えている。左耳の耳介特性には、伝達特性Ｌｓと、伝達特性Ｒｏが対応付けられており、右耳の耳介特性には、伝達特性Ｌｏと、伝達特性Ｒｓが対応付けられている。【選択図】図１

Description

本発明は、頭外定位処理装置、頭外定位処理方法、プログラムに関する。

従来、頭外に音像を定位させる方法として、受聴者の頭部伝達関数ＨＲＴＦ（Head Related Transfer Function）を用いる方法が知られている（例えば、特許文献１参照）。また、ＨＲＴＦは個人差が大きく、特に耳介形状の違いによるＨＲＴＦの変化が著しいことが知られている。

ここで、受聴者の前方にステレオスピーカが設置されている場合の、ＨＲＴＦの測定方法について述べる。図１３は、ＨＲＴＦを測定する時の概略を示した図である。受聴者１の左耳３Ｌ、右耳３Ｒの外耳道入口、または鼓膜位置に収音用のマイク２Ｌ、２Ｒがそれぞれ設置される。左スピーカ（ＳｐＬ）５Ｌ又は右スピーカ（ＳｐＲ）５Ｒから再生した信号を収音することにより、４つの頭部伝達関数（以下、伝達特性ともいう）Ｌｓ、Ｌｏ、Ｒｏ、Ｒｓを算出する。例えば、左スピーカ５Ｌによるインパルス応答測定と右スピーカ５Ｒによるインパルス応答測定をそれぞれ行う。このようにすることで、４つの伝達特性Ｌｓ、Ｌｏ、Ｒｏ、Ｒｓを測定することができる。受聴者の耳介形状等に応じた伝達特性Ｌｓ、Ｌｏ、Ｒｏ、Ｒｓを求めることができる。

図１４は、ＨＲＴＦを用いて頭外定位を実現するための処理を示している。畳み込み演算部１１は、ステレオ信号のＬチャンネル入力信号ＸＬに対して伝達特性Ｌｓを畳み込む。畳み込み演算部２１は、Ｒチャンネル入力信号ＸＲに対して伝達特性Ｒｏを畳み込む。加算器２４は、畳み込み演算部１１の畳み込みデータと、畳み込み演算部２１の畳み込みデータを加算する。これにより、加算器２４が、Ｌチャンネル（Ｌｃｈ）の出力信号ＹＬを得る。

同様に、畳み込み演算部１２は、ステレオ信号のＬチャンネル入力信号ＸＬに対して伝達特性Ｌｏを畳み込む。畳み込み演算部２２は、ステレオ信号のＲチャンネル入力信号ＸＲに対して伝達特性Ｒｓを畳み込む。加算器２５は、畳み込み演算部１２の畳み込みデータと、畳み込み演算部２２の畳み込みデータを加算する。これにより、加算器２５が、Ｒチャンネル（Ｒｃｈ）の出力信号ＹＲを得る。

出力信号ＹＬ、ＹＲを、図１３に示すマイク２Ｌとマイク２Ｒの位置で再生することにより、受聴者１は、スピーカ５Ｌ、５Ｒで再生されているように受聴することができる。上記したように、ＨＲＴＦの測定には、適切な機材、収音環境、知識が必要であり、一般的に容易に測定することはできない。そのため、予め少数の典型的な音像定位フィルタを用意し、利用者が最適なフィルタを選択して頭外定位を実現する方法が考案されている（特許文献２）。特許文献２の方法によって、機材、収音環境がない場合でも、適切な頭部伝達関数ＨＲＴＦを得ることができる。

特開２００２−２０９３００号公報 特開平５−２５２５９８号公報

特許文献２の頭外定位受聴装置では、一般的な音楽ソース（ステレオ音源）を対象として、プリセットされたいくつかのＨＲＴＦから受聴者が最適なＨＲＴＦを選択している。特許文献２の手法では、特許文献１にも記載されているとおり、左スピーカと右スピーカの２つの音源に対して、それぞれＨＲＴＦを選択することになる。しかしながら、プリセットされているＨＲＴＦは、受聴者にとってはあくまで近似値でしかなく、完全に一致することはない。また、左右別々に特性を選択した場合には、直接音側（図１３のＬｓ、Ｒｓ）とクロストーク側（図１３のＬｏ、Ｒｏ）の伝達特性の整合性が取れなくなることがある。すなわち、ＬｓとＲｏ、ＲｓとＬｏの組み合わせにおいて、異なる耳介特性を選択する可能性が生じる。

そのため、各音源に対して最適なＨＲＴＦを選択したとしても、ステレオ音源全体として聴いた場合に音のバランスが崩れたり、違和感を生じたり、頭外定位感が著しく減少したりすることがある。

本発明は上記の点に鑑みなされたもので、頭外定位処理を適切に行うことができる頭外定位処理装置、頭外定位処理方法、及びプログラムを提供することを目的とする。

本発明の一態様にかかる頭外定位処理装置は、スピーカを音源とする測定により得られた複数の頭部伝達関数を耳介特性と対応付けて記憶する記憶部と、ユーザの前記耳介特性を左右独立に選択可能である選択部と、前記選択部で選択された耳介特性に対応する前記頭部伝達関数を前記記憶部から読み出し、各チャンネルの信号に畳み込み演算を行うことで、仮想音源信号を生成する信号生成部と、前記ユーザに向けて前記仮想音源信号を出力する出力部と、を備え、前記スピーカを音源とする測定では、第１のスピーカと左耳間の第１の伝達特性と、前記第１のスピーカと右耳間の第２の伝達特性と、第２のスピーカと左耳間の第３の伝達特性と、前記第２のスピーカと右耳間の第４の伝達特性とが測定され、前記左耳の耳介特性と、前記第１の伝達特性及び前記第３の伝達特性とを対応付けて前記記憶部が記憶し、前記右耳の耳介特性と、前記第２の伝達特性及び前記第４の伝達特性とを対応付けて前記記憶部が記憶するものである。

本発明の一態様にかかる頭外定位処理装置は、ユーザの耳介特性を左右独立に選択するステップと、スピーカを音源とする測定により得られた複数の頭部伝達関数を前記耳介特性と対応付けて記憶する記憶部から、選択された前記耳介特性に対応する頭部伝達関数を読み出すステップと、前記記憶部から読み出された前記頭部伝達関数を用いて、各チャンネルの信号に畳み込み演算を行うことで、仮想音源信号を生成するステップと、前記ユーザに向けて前記仮想音源信号を出力するステップと、を備え、前記スピーカを音源とする測定では、第１のスピーカと左耳間の第１の伝達特性と、前記第１のスピーカと右耳間の第２の伝達特性と、第２のスピーカと左耳間の第３の伝達特性と、前記第２のスピーカと右耳間の第４の伝達特性とが測定され、前記左耳の耳介特性と、前記第１の伝達特性及び前記第３の伝達特性とを対応付けて前記記憶部が記憶し、前記右耳の耳介特性と、前記第２の伝達特性及び前記第４の伝達特性とを対応付けて前記記憶部が記憶するものである。

本発明の一態様にかかるプログラムは、頭外定位処理方法をコンピュータに対して実行させるためのプログラムであって、前記頭外定位処理方法が、ユーザの耳介特性を左右独立に選択するステップと、スピーカを音源とする測定により得られた複数の頭部伝達関数を前記耳介特性と対応付けて記憶する記憶部から、選択された前記耳介特性に対応する頭部伝達関数を読み出すステップと、前記記憶部から読み出された前記頭部伝達関数を用いて、各チャンネルの信号に畳み込み演算を行うことで、仮想音源信号を生成するステップと、前記ユーザに向けて前記仮想音源信号を出力するステップと、を備え、前記スピーカを音源とする測定では、第１のスピーカと左耳間の第１の伝達特性と、前記第１のスピーカと右耳間の第２の伝達特性と、第２のスピーカと左耳間の第３の伝達特性と、前記第２のスピーカと右耳間の第４の伝達特性とが測定され、前記左耳の耳介特性と、前記第１の伝達特性及び前記第３の伝達特性とを対応付けて前記記憶部が記憶し、前記右耳の耳介特性と、前記第２の伝達特性及び前記第４の伝達特性とを対応付けて前記記憶部が記憶するものである。

本発明によれば、頭外定位処理を適切に行うことができる頭外定位処理装置、頭外定位処理方法、及びプログラムを提供できる。

本実施の形態１に係る頭外定位処理装置を示すブロック図である。 ある受聴者で測定されたパワースペクトルを示すグラフである。 ある受聴者で測定されたパワースペクトルを示すグラフである。 ある受聴者で測定されたパワースペクトルを示すグラフである。 ある受聴者で測定されたパワースペクトルを示すグラフである。 別の受聴者で測定されたパワースペクトルを示すグラフである。 別の受聴者で測定されたパワースペクトルを示すグラフである。 別の受聴者で測定されたパワースペクトルを示すグラフである。 別の受聴者で測定されたパワースペクトルを示すグラフである。 本実施の形態に係る頭外定位処理方法を示すフローチャートである。 ピーク及びノッチを抽出するパラメトリックな手法を説明するための図である。 本実施の形態２に係る頭外定位処理装置を示すブロック図である。 頭部伝達関数を測定する測定装置を示す図である。 頭外定位処理装置を示すブロック図である。

まず、本実施形態に係る頭外定位処理の概要について説明する。
頭部伝達関数ＨＲＴＦの個人特性は、特に音源が近距離の場合に、耳介の形状や大きさなどの特性が大きく影響する。ここで、個人特性が完全に左右対称になっている人は少なく、多くの人が左右異なる特性を持つ。そのため、本実施の形態では、プリセットされた頭部伝達関数からユーザが最適な近似値を選択できるよう、左右の耳介の特性を別々に選択できるようにしている。

理論上では、頭部伝達関数は音源ごとに左右の耳への伝達関数をセットにして扱う必要がある。ゆえに、ステレオ音源の場合は、各チャンネルに２セットの伝達特性が必要となる。しかしながら、上記のようにユーザが個人特性を左右別々に選択できるようにした場合、音源毎のセットを用いると、クロストーク側の特性に異なる耳の特性が含まれてしまう。そこで、本実施の形態では、ステレオ音源の各音源と片方の耳との間の伝達関数をセットにして扱うことで、全体的な頭外定位感と音のバランスを向上させている。

実施の形態１．
本実施の形態にかかる頭外定位処理装置について、図１を用いて説明する。図１は、頭外定位処理装置のブロック図である。頭部伝達関数記憶部１０１と、耳介特性選択部１０２と、仮想音源信号生成部１０３と、出力部１０４と、頭部伝達関数生成部１０５を備えている。

具体的には、頭外定位処理装置１００は、パーソナルコンピュータなどの情報処理装置であり、プロセッサ等の処理部、メモリやハードディスクなどの記憶部、液晶モニタ等の表示部、タッチパネル、キーボード、マウスなどの入力部を備えている。頭外定位処理装置１００は、ＬｃｈとＲｃｈのステレオ入力信号について、頭外定位処理を行う。具体的には、頭外定位処理装置１００は、プリセットされた頭部伝達関数からユーザＵの耳介特性に応じた適切な頭部伝達関数を選択して、頭外定位フィルタとする。ＬｃｈとＲｃｈのステレオ入力信号は、ＣＤプレーヤなどから出力される信号である。なお、頭外定位処理装置１００は、物理的に単一な装置に限られるものではなく、一部の処理が異なる装置で行われてもよい。

頭部伝達関数生成部１０５は、インパルス応答等の測定結果に基づいて、頭部伝達関数を生成する。頭部伝達関数生成部１０５は、後述するように、多数の受聴者の伝達特性の測定結果から、代表的な頭部伝達関数を生成する。あるいは、典型的な耳介形状を有するダミーヘッドを受聴者とした伝達特性の測定結果から頭部伝達関数を生成する。頭部伝達関数生成部１０５は、頭外定位処理装置１００と異なる装置に設けてもよい。

頭部伝達関数記憶部１０１は、メモリ等を備え、頭部伝達関数を記憶する。ここでは、頭部伝達関数生成部１０５で生成された複数の頭部伝達関数が頭部伝達関数記憶部１０１にプリセットされている。頭部伝達関数記憶部１０１は、スピーカを音源とする測定により得られた複数の頭部伝達関数を耳介特性と対応付けて記憶する。

頭部伝達関数は、例えば、図１３に示す測定装置で測定されたデータに基づいて生成されている。図１３では、受聴者１の前方に左スピーカ５Ｌと右スピーカ５Ｒが設置されている。また、受聴者１の左耳３Ｌの外耳道入口、または鼓膜位置に収音用のマイク２Ｌが設置される。受聴者１の右耳３Ｒの外耳道入口、または鼓膜位置に収音用のマイク２Ｒが設置される。なお、受聴者１は、人でもよく、ダミーヘッドでもよい。したがって、本実施の形態において、受聴者１は人だけでなく、ダミーヘッドを含む概念である。

左スピーカ（ＳｐＬ）５Ｌからのインパルス応答を左のマイク２Ｌ、及び右のマイク２Ｒで測定する。これにより、左スピーカ５Ｌと左のマイク２Ｌ間の伝達特性（伝達関数ともいう）Ｌｓと、左スピーカ５Ｌと右のマイク２Ｒ間の伝達特性Ｌｏを得ることができる。また、右スピーカ（ＳｐＲ）５Ｒからのインパルス応答を左のマイク２Ｌ、及び右のマイク２Ｒで測定する。これにより、右スピーカ５Ｒと左のマイク２Ｌ間の伝達特性Ｒｏと、右スピーカ５Ｒと右のマイク２Ｒ間の伝達関数Ｒｓを求めることができる。このように、ある受聴者１に対して２回のインパルス応答測定を行うことで、４つの伝達特性Ｌｓ、Ｌｏ、Ｒｏ、Ｒｓが得られる。ここで、４つの伝達特性Ｌｓ、Ｌｏ、Ｒｏ、Ｒｓを１セットの頭部伝達関数ＨＲＴＦとする。

ある受聴者１における測定では、４つの伝達特性Ｌｓ、Ｌｏ、Ｒｏ、Ｒｓが測定される。さらに、受聴者１を変えて、同様の測定を行う。すなわち、異なる耳介特性の受聴者１に対して、４つの伝達特性Ｌｓ、Ｌｏ、Ｒｏ，Ｒｓを測定する。４つの伝達特性Ｌｓ、Ｌｏ、Ｒｏ，Ｒｓを１セットの頭部伝達関数ＨＲＴＦとすると、複数セットの頭部伝達関数ＨＲＴＦが求められる。頭部伝達関数生成部１０５は、多数の頭部伝達関数ＨＲＴＦの測定結果に基づいて、頭部伝達関数記憶部１０１にプリセットする複数の頭部伝達関数ＨＲＴＦを生成する。ここでは、８セットの頭部伝達関数ＨＲＴＦが、頭部伝達関数記憶部１０１にプリセットされている。

なお、８セットの頭部伝達関数ＨＲＴＦは、代表的な耳介特徴を持った８つのダミーヘッドを受聴者１として測定したデータであってもよい。あるいは、人を受聴者とする測定によって算出されたデータをそのまま頭部伝達関数記憶部１０１が記憶してもよい。

ここで、ある受聴者１において測定した頭部伝達関数ＨＲＴＦのパワースペクトルを図２〜図５に示す。また、別の受聴者１において測定された頭部伝達関数ＨＲＴＦのパワースペクトルを図６〜図９に示す。図２、図６は、左スピーカ５Ｌに関する伝達特性Ｌｓ、ＬｏをａＬとして示している。図３、図７は、右スピーカ５Ｒに関する伝達特性Ｒｏ、ＲｓをａＲとして示している。図４、図８は左耳に関する伝達特性Ｌｓ、ＲｏをｂＬとして示している。図５、図９は左耳に関する伝達特性Ｒｓ、ＬｏをｂＲとして示している。図４、図５、図８、図９は、それぞれ図２、図３、図６、図７のクロストーク側の伝達特性Ｌｏ、Ｒｏを入れ替えたものである。図２〜図９において、横軸は対数尺度の周波数（Ｈｚ）であり、縦軸はパワー（ｄＢ）である。

一般的に音像定位はａＬ、ａＲのそれぞれのセットで形成され、プリセットされた近似値を選択する場合にも、該セットが適用される。また、伝達特性Ｌｓ、Ｒｓは直接音（音源から耳へ直接届く音）の伝達特性であり、耳介の特性を大きく反映しているとされる。一方、クロストーク信号の伝達特性Ｌｏ、Ｒｏは、反射音や回折音の伝達特性であり、受聴環境や頭部形状に影響を受けるとされる。しかし、ｂＬ、ｂＲに示されたパワースペクトルから、クロストーク側の伝達特性Ｌｏ、Ｒｏにも、伝達特性Ｌｓ、Ｒｓに見てとれる耳介の特性が少なからず影響を与えていることは明白である（図４、図５、図８、図９参照）。すなわち、左耳に関する伝達特性Ｌｓと伝達特性Ｒｏは類似しており、右耳に関する伝達特性Ｒｓと伝達特性Ｌｏは類似している。ゆえに、後述するように、各耳の特性に着目したクラスタリング、および耳介特性選択部により、左右の耳の整合性を保つことができる。

図１０を用いて、頭部伝達関数生成部１０５におけるクラスタリング処理について説明する。図１０は、頭部伝達関数の生成方法を示すフローチャートである。まず、頭部伝達関数生成部１０５が、頭部伝達関数ＨＲＴＦのデータを取得する（Ｓ１１）。すなわち、図１３に示す装置を用いて、受聴者（ダミーヘッドでもよい）１に対するインパルス応答測定を行う。ここでは、プリセットする数（図１では８個）よりも多い数の受聴者１に対して頭部伝達関数ＨＲＴＦの測定が行われる。各頭部伝達関数ＨＲＴＦは、上記のように４つの伝達特性Ｌｓ、Ｌｏ、Ｒｏ、Ｒｓを含んでいる。スピーカを音源とする測定を複数回行うことで、異なる耳介毎に４つの伝達特性Ｌｓ、Ｌｏ、Ｒｏ、Ｒｓが測定される。

頭部伝達関数生成部１０５は、各頭部伝達関数ＨＲＴＦに含まれる４つの伝達特性Ｌｓ、Ｌｏ、Ｒｏ、Ｒｓの特徴量を抽出する（Ｓ１２）。特徴量としては、例えば、２０次のケプストラム係数、パワースペクトルのピーク周波数位置（Ｈｚ）やピーク高さ（ｄＢ）を特徴量とすることができる。特徴量を２０次のケプストラム係数とする場合、伝達特性Ｌｓから２０個の特徴量が算出される。同様に、伝達特性Ｌｏ、Ｒｏ、Ｒｓのそれぞれからも２０個の特徴量が算出される。

次に、頭部伝達関数生成部１０５は、伝達特性Ｌｓ、Ｒｏの特徴ベクトルと、伝達特性Ｒｓ、Ｌｏの特徴ベクトルを生成する（Ｓ１３）。頭部伝達関数生成部１０５は、伝達特性Ｌｓの特徴量と、伝達特性Ｒｏの特徴量とをペアリングして、第１の特徴ベクトルとする。頭部伝達関数生成部１０５は、伝達特性Ｒｓの特徴量と、伝達特性Ｌｏの特徴量とをペアリングして、第２の特徴ベクトルとする。同じ耳介における測定結果から、第１の特徴ベクトルが抽出される。同じ耳介における測定結果から、第２の特徴ベクトルが抽出される。

特徴量が２０次のケプストラム係数である場合、第１の特徴ベクトルは２０次のケプストラム係数を２セット有しているため、４０個のデータを含んでいる。同様に、第２の特徴ベクトルは２０次のケプストラム係数を２セット有しているため、４０個のデータを含んでいる。このように、第１の特徴ベクトルに含まれる特徴量と第２の特徴ベクトルに含まれる特徴量の数は同じとなっている。なお、Ｓ１１において、Ｎ（Ｎは２以上の整数）個の耳介について、頭部伝達関数ＨＲＴＦを測定した場合、Ｓ１３では、Ｎ個の第１の特徴ベクトルとＮ個の第２の特徴ベクトルが生成される。

そして、頭部伝達関数生成部１０５は、各特徴ベクトルをクラスタリングする（Ｓ１４）。すなわち、頭部伝達関数生成部１０５は、Ｎ個の第１の特徴ベクトルをクラスタリングして、複数のクラスタに分ける。同様に、頭部伝達関数生成部１０５は、Ｎ個の第２の特徴ベクトルをクラスタリングして、複数のクラスタに分ける。ここで、生成されるクラスタの数は、頭部伝達関数記憶部１０１においてプリセットされる頭部伝達関数ＨＲＴＦの数となっている（図１ではＡ〜Ｈの８個）。例えば、本実施の形態では、階層クラスタリングを用いて、第１及び第２の特徴ベクトルを８つのクラスタに分ける。

次に、頭部伝達関数生成部１０５は、クラスタリング結果から、各クラスタの代表値を算出する（Ｓ１５）。代表値としては、例えば、クラスタのセントロイド（重心）を用いることができる。すなわち、各クラスタに含まれる第１の特徴ベクトルの重心座標が代表値となる。上記の例では、第１の特徴ベクトルのクラスタリングにより、８つのクラスタが生成されているため、第１の特徴ベクトルについて、８つの代表値Ｐ_Ａ〜Ｐ_Ｈが算出される。なお、代表値Ｐ_Ａ〜Ｐ_Ｈはそれぞれ第１の特徴ベクトルと同じ次数のベクトルとなり、ここでは２セットの２０次のケプストラム係数に相当する。同様に、第２の特徴ベクトルのクラスタリングについても８つの代表値Ｑ_Ａ〜Ｑ_Ｈが算出される。代表値Ｑ_Ａ〜Ｑ_Ｈはそれぞれ第２の特徴ベクトルと同じ次数のベクトルとなり、ここでは２セットの２０次のケプストラム係数に相当する。

そして、各クラスタにおいて、代表値から伝達特性を生成する（Ｓ１６）。すなわち、頭部伝達関数生成部１０５は、２セットの２０次のケプストラム係数から、２つの伝達特性を求める。第１の特徴ベクトルのクラスタリングについては、８つの代表値Ｐ_Ａ〜Ｐ_Ｈがあるため、伝達特性Ｌｓ、Ｒｏがそれぞれ８つ算出される。ここで、１つ目の代表値Ｐ_Ａから得られる伝達特性を伝達特性Ｌｓ_Ａ、Ｒｏ_Ａとし、２つ目の代表値Ｐ_Ｂから得られる伝達特性Ｌｓ、Ｒｏを伝達特性Ｌｓ_Ｂ、Ｒｏ_Ｂとして識別する。３〜８つ目の代表値Ｐ_Ｃ〜Ｐ_Ｈから得られる伝達特性Ｌｓ、Ｒｏについても、同様に伝達特性Ｌｓ_Ｃ〜Ｌｓ_Ｈ、Ｒｏ_Ｃ〜Ｒｏ_Ｈとして識別する。同様に、第２の特徴ベクトルについても８つの代表値Ｑ_Ａ〜Ｑ_Ｈが算出されるため、それぞれに対応する伝達特性Ｌｏ、Ｒｓを伝達特性Ｒｓ_Ａ〜Ｒｓ_Ｈ、Ｌｏ_Ａ〜Ｌｏ_Ｈとして識別する。

頭部伝達関数記憶部１０１は、上記のように算出された伝達特性を記憶する。すなわち、頭部伝達関数記憶部１０１は、左スピーカと左耳間の伝達特性Ｌｓ_Ａ〜Ｌｓ_Ｈ、左スピーカと右耳間の伝達特性Ｌｏ_Ａ〜Ｌｏ_Ｈと、右スピーカと右耳間の伝達特性Ｒｓ_Ａ〜Ｒｓ_Ｈ、右スピーカと左耳間の伝達特性Ｒｏ_Ａ〜Ｒｏ_Ｈを格納している。頭部伝達関数記憶部１０１は、伝達特性Ｌｓと伝達特性Ｒｏとをペアリングして、左耳特性に対応付けて格納している。すなわち、頭部伝達関数記憶部１０１は、左耳の耳介特性と、伝達特性Ｌｓ及び前記伝達特性Ｒｏとを対応付けて記憶する。例えば、左耳特性Ａには、伝達特性Ｌｓ_Ａと伝達特性Ｒｏ_Ａとのペアが対応付けられ、左耳特性Ｂには、伝達特性Ｌｓ_Ｂと伝達特性Ｒｏ_Ｂとのペアが対応付けられている。同様に、頭部伝達関数記憶部１０１は、伝達特性Ｌｏと伝達特性Ｒｓとをペアリングして、右耳特性に対応付けて格納している。すなわち、頭部伝達関数記憶部１０１は、右耳の耳介特性と、伝達特性Ｒｓ及び伝達特性Ｌｏとを対応付けて記憶する。例えば、右耳特性Ａには、伝達特性Ｒｓ_Ａと伝達特性Ｌｏ_Ａとのペアが対応付けられ、右耳特性Ｂには、伝達特性Ｒｓ_Ｂと伝達特性Ｌｏ_Ｂとのペアが対応付けられている。

耳介特性選択部１０２は、左耳特性選択装置５１Ｌと右耳特性選択装置５１Ｒとを備えており、ユーザＵの耳介特性を左右独立に選択することができる。ユーザＵはタッチパネル等の入力部を操作して、左耳の耳介特性、及び右耳の耳介特性をそれぞれ選択する。左耳特性選択装置５１Ｌは、ユーザＵからの入力を受け付けて、左耳の耳介特性を選択する。右耳特性選択装置５１Ｒは、ユーザＵからの入力を受け付けて、右耳の耳介特性を選択する。ここでは、ユーザＵが８つの左耳特性Ａ〜Ｈから左耳特性Ｃを選択しているため、左耳特性選択装置５１Ｌは、伝達特性Ｌｓ_ｃと伝達特性Ｒｏ_ｃとのペアを選択する。ユーザＵが８つの右耳特性Ａ〜Ｈから右耳特性Ａを選択しているため、右耳特性選択装置５１Ｒは、伝達特性Ｒｓ_Ａと伝達特性Ｌｏ_Ａとのペアを選択する。

このように、左耳特性選択装置５１Ｌ、右耳特性選択装置５１Ｒはペアリングされた２つの伝達特性を選択する。よって、異なる代表値から算出された伝達特性Ｌｓと伝達特性Ｒｏ（例えば伝達特性Ｌｓ_Ａと、伝達特性Ｒｏ_Ｂ）を左耳特性選択装置５１Ｌが選択することはない。同様に、異なる代表値から算出された伝達特性Ｒｓと伝達特性Ｌｏ（例えば伝達特性Ｒｓ_Ａと伝達特性Ｌｏ_Ｂ）を右耳特性選択装置５１Ｒが選択することはない。

ユーザＵが耳介特性の選択を入力する際、スピーカ又はヘッドホン４３から参照信号として左右にパンするホワイトノイズを提示する。そして、ユーザＵが、最も音像が適切な位置に定位する信号を選択する。具体的には、後述する仮想音源信号生成部１０３が、左耳に関する伝達特性Ｌｓ_Ａ〜Ｌｓ_Ｈ、Ｒｏ_Ａ〜Ｒｏ_Ｈと、右耳に関する伝達特性Ｒｓ_Ａ〜Ｒｓ_Ｈ、Ｌｏ_Ａ〜Ｌｏ_Ｈとを用いて、仮想音源信号を生成する。そして、スピーカ又はヘッドホン４３から出力された仮想音源信号をユーザＵが受聴した結果によって、ユーザＵが最適な耳介特性を決定する。すなわち、ユーザＵは最も頭外定位感が得られる仮想音源信号を特定すると、特定された仮想音源信号の生成に用いられた左耳特性と右耳特性を入力する。

なお、左耳特性と右耳特性がそれぞれ８個プリセットされているので、ユーザＵは、仮想音源信号を６４回（＝８×８）受聴して、最適な組み合わせの耳介特性を特定することができる。なお、仮想音源信号は、後述する仮想音源信号生成部１０３で生成された信号である。あるいは、ユーザＵは、左耳特性に対応する仮想音源信号をＬｃｈヘッドホン又はＬｃｈスピーカから受聴し、最も左側に頭外感が得られる左耳特性を選び、右耳特性に対応する仮想音源信号をＲｃｈヘッドホン又はＲｃｈスピーカから受聴し、最も右側に頭外感が得られる右耳特性を選ぶようにしてもよい。この場合、１６回の受聴で最適な耳介特性の組み合わせを選択することができる。なお、特性の選択方法については特に限定されるものではない。

仮想音源信号生成部１０３は、畳み込み演算部１１、１２、２１、２２を備えている。仮想音源信号生成部１０３には、ＣＤプレーヤなどからのステレオ入力信号ＸＬ、ＸＲが入力される。仮想音源信号生成部１０３は、各チャンネルのステレオ入力信号ＸＬ、ＸＲに対し、耳介特性選択部１０２で設定された伝達特性を畳み込んで出力部１０４に出力する。仮想音源信号生成部１０３は、伝達特性Ｌｓ，Ｌｏ，Ｒｓ，Ｒｏを読み出して、畳み込み演算を行う。

例えば、左耳特性Ｃと右耳特性Ａが選択されている場合を説明する。この場合、畳み込み演算部１１は、左耳特性選択装置５１Ｌによって読み出された伝達特性Ｌｓ_ｃを格納する。畳み込み演算部１２は、右耳特性選択装置５１Ｒによって読み出された伝達特性Ｌｏ_Ａを格納する。畳み込み演算部２１は、左耳特性選択装置５１Ｌによって読み出された伝達特性Ｒｏ_ｃを格納する。畳み込み演算部２２は、右耳特性選択装置５１Ｒによって読み出された伝達特性Ｒｓ_Ａを格納する。

そして、畳み込み演算部１１は、Ｌチャンネルのステレオ入力信号ＸＬに対して伝達特性Ｌｓ_ｃを畳み込む。畳み込み演算部１１は、畳み込み演算データを加算器２４に出力する。畳み込み演算部２１は、Ｒチャンネルのステレオ入力信号ＸＲに対して伝達特性Ｒｏ_ｃを畳み込む。畳み込み演算部２１は、畳み込み演算データを加算器２４に出力する。加算器２４は２つの畳み込み演算データを加算して、出力部１０４に出力する。このように、加算器２４は、同じ左耳特性Ｃに対応付けられた伝達特性Ｌｓ_ｃ、Ｒｏ_ｃを用いた２つの畳み込み演算結果を加算する。

畳み込み演算部１２は、Ｌチャンネルのステレオ入力信号ＸＬに対して伝達特性Ｌｏ_Ａを畳み込む。畳み込み演算部１２は、畳み込み演算データを加算器２５に出力する。畳み込み演算部２２は、Ｒチャンネルのステレオ入力信号ＸＲに対して伝達特性Ｒｓ_Ａを畳み込む。畳み込み演算部２２は、畳み込み演算データを加算器２５に出力する。加算器２５は２つの畳み込み演算データを加算して、出力部１０４に出力する。このように、加算器２５は、同じ右耳特性Ａに対応付けられた伝達特性Ｒｓ_Ａ、Ｌｏ_Ａを用いた２つの畳み込み演算結果を加算する。

出力部１０４は、Ｌｃｈ出力信号とＲｃｈ出力信号をユーザＵに向けて出力するため、補正処理部４１、４２とヘッドホン４３とを備えている。加算器２４からのＬｃｈ信号は補正処理部４２に入力される。加算器２５からのＲｃｈ信号は補正処理部４２に入力される。補正処理部４１、４２には、それぞれヘッドホン特性の逆フィルタが設定されている。補正処理部４１は加算器２４からのＬｃｈ信号に対して逆フィルタを畳み込む。同様に、補正処理部４２は加算器２５からのＲｃｈ信号に対して逆フィルタを畳み込む。逆フィルタは、ユーザＵがヘッドホン４３を装着した場合に、ユーザ各人の外耳道入口とヘッドホンスピーカユニット間の伝達特性をキャンセルする。このようにすることで、ヘッドホン４３の特性が補正される。なお、ダミーヘッドを用いる場合は鼓膜位置にマイクを設置できるため、この場合の逆フィルタは、鼓膜とヘッドホンスピーカユニット間の伝達特性をキャンセルすることになる。

なお、逆フィルタは、予め計測しておいたものを用いてもよいし、いくつかのプリセットされた特性から選択してもよい。あるいは、バイノーラルマイク等を用いて測定することで得られた逆フィルタを用いてもよい。また、Ｈｅｎｒｉｋ Ｍｏｌｌｅｒ ”Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｂｉｎａｕｒａｌ Ｔｅｃｈｎｏｌｏｇｙ ”Ａｐｐｌｉｅｄ Ａｃｏｕｓｔｉｃｓ ３６ （１９９２）に記載された手法を用いて、外耳道補正関数Ｇｃから逆フィルタを算出することも可能である。

補正処理部４１は、補正されたＬｃｈ出力信号をヘッドホン４３の左ユニット４３Ｌに出力する。補正処理部４２は、補正されたＲｃｈ出力信号をヘッドホン４３の右ユニット４３Ｒに出力する。ユーザＵは、ヘッドホン４３を装着している。ヘッドホン４３は、Ｌｃｈ出力信号とＲｃｈ出力信号をユーザＵに向けて出力する。これにより、ユーザＵが受聴する音の音像は、ユーザＵの頭外に定位される。

音像の位置を知覚する際、音源から左右の耳への伝達特性がそろって初めて定位する。しかしながら、従来法では、各音源からの伝達関数をセットとして扱うため、あるいは４つの伝達特性をバラバラに扱うため、左右のバランスが十分ではなかった。本実施の形態に示すように、まず、頭部伝達関数生成部１０５はＬｓとＲｏをペアリングし、かつＲｓとＬｏをペアリングする。そして、耳介特性選択部１０２は左耳特性の選択を受け付けると、ペアとなる伝達特性Ｌｓ、Ｒｏを読み出す。耳介特性選択部１０２は右耳特性の選択を受け付けると、ペアとなる伝達特性Ｒｓ、Ｌｏを読み出す。よって、全体のバランスを崩さずに十分な頭外定位感を得られるようになる。したがって、頭外定位処理を適切に行うことができる。

さらに、各ペアについて、耳単体での特徴をクラスタリングすることにより、耳一つ一つの特性を選択できるようになる。よって、全体のバランスを崩さずに十分な頭外定位感を得られるようになる。したがって、適切に音像を頭外に定位することができる。

このように、ステレオ音源を対象とした頭外定位処理装置において、受聴者がプリセットされたいくつかの伝達特性から最適値を選択する場合でも、全体の音のバランスを崩さず、十分な頭外定位感を得ることができる。なお、上記の説明では、ヘッドホン４３を用いて音像を再生したが、イヤホンを用いて音像を再生してもよい。この場合、補正処理部４１、補正処理部４２がイヤホンに応じた逆フィルタを用いて補正処理を行う。

なお、頭部伝達関数記憶部１０１に記憶される頭部伝達関数については、パラメトリックな手法により算出した複数の代表的なデータであってもよい。パラメトリックな手法では、図１０に示すようにパワースペクトルのピークとノッチを抽出する。図では、周波数の低い方からピークＰ１、Ｐ２、Ｐ３、Ｐ４と、ノッチＮ１、Ｎ２、Ｎ３、Ｎ４としている。そして、各ピークと各ノッチの周波数とスペクトル値（パワー）を特徴量として抽出する。周波数とスペクトル値をパラメータとして生成されるスペクトル概形から求められるＨＲＴＦを、パラメトリックな手法により算出したデータとする。これは、各周波数帯域におけるピークとノッチの分布が音像定位の手掛かりになるためである。すなわち、本実施の形態におけるパラメトリックな手法は、ピークとノッチの位置（周波数）及び形状（振幅）に基づいて、頭部伝達関数を決定する手法である。パラメトリックな手法については、例えば、ＩＩＲ（無限インパルス応答）フィルタ、ＦＩＲ（有限インパルス応答）フィルタ等を用いることで頭部伝達関数が得られる。もちろん、頭部伝達関数記憶部１０１に記憶される頭部伝達関数は、上記の手法以外の手法によって求めてもよい。

なお、図１３に示す頭部伝達関数ＨＲＴＦの測定では、人を受聴者とせずに、ダミーヘッドを受聴者としてもよい。この場合、代表的な耳介特徴を持った複数のダミーヘッドを受聴者１として測定したデータであってもよい。これにより、図１０に示すような伝達特性を求めるためのクラスタリングが不要になる。もちろん、この場合も、左耳に関する伝達特性Ｌｓと伝達特性Ｒｏをペアリングし、かつ右耳に関する伝達特性Ｒｓと伝達特性Ｌｏをペアリングする。そして、耳介特性選択部１０２はペアリングされた２つの伝達特性をセットで読み出す。よって、全体のバランスを崩さずに十分な頭外定位感を得られるようになる。したがって、適切に音像を頭外に定位することができる。

実施の形態２．
実施の形態２における頭外定位処理装置１００について、図１２を用いて説明する。図１２は、頭外定位処理装置１００の構成を示すブロック図である。本実施の形態では、ヘッドホンではなくスピーカを用いて、音場を再生している。したがって、出力部１０４がクロストークキャンセル部４５と、左スピーカ４６Ｌと、右スピーカ４６Ｒとを備えている。なお、出力部１０４以外の構成、及び処理については、実施の形態１と同様であるため、説明を省略する。

加算器２４からのＬｃｈ信号と、加算器２５のＲｃｈ信号がクロストークキャンセル部４５に入力される。クロストークキャンセル部４５は、右スピーカ４６ＲからのクロストークがキャンセルされたＬｃｈの出力信号を左スピーカ４６Ｌに出力する。同様に、左スピーカ４６ＬからのクロストークがキャンセルされたＲｃｈの出力信号を右スピーカ４６Ｒに出力する。なお、クロストークキャンセル処理については公知であるため、説明を省略する。このようにすることで、ニアフィールドスピーカ等を音像が頭部に近くなるスピーカ４６として用いた場合でも、音像を頭外に定位することができる。

なお、スピーカは左右のスピーカ４６Ｌ、４６Ｒからなるステレオスピーカに限らず、３以上のスピーカを用いてもよい。スピーカが３つの場合、３つのスピーカを用いた測定によって、それぞれのスピーカと左耳間の伝達特性を対応付けて記憶する。そして、選択された左耳特性に基づいて、仮想音源信号生成部１０３が対応付けられた３つの伝達特性を読み込む。同様に、それぞれのスピーカと右耳間の伝達特性を対応付けて記憶する。そして、選択された右耳特性に基づいて、仮想音源信号生成部１０３が対応付けられた３つの伝達特性を読み込む。４つ以上のスピーカがある場合も各チャンネルのスピーカと左耳間の伝達特性を１セットとし、各チャンネルのスピーカと右耳間の伝達特性を１セットとして取り扱えばよい。

上記信号処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ)、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ)、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

１ 受聴者
２ マイク
３ 耳
５ スピーカ
１１ 畳み込み演算部
１２ 畳み込み演算部
２１ 畳み込み演算部
２２ 畳み込み演算部
２４ 加算器
２５ 加算器
４１ 補正処理部
４２ 補正処理部
４３ ヘッドホン
４５ クロストークキャンセル部
４６ スピーカ
５１Ｌ 左耳特性選択装置
５１Ｒ 左耳特性選択装置
１０１ 頭部伝達関数記憶部
１０２ 耳介特性選択部
１０３ 仮想音源信号生成部
１０４ 出力部
１０５ 頭部伝達関数生成部

Claims (11)

1. スピーカを音源とする測定により得られた複数の頭部伝達関数を耳介特性と対応付けて記憶する記憶部と、
   ユーザの前記耳介特性を左右独立に選択可能である選択部と、
   前記選択部で選択された耳介特性に対応する前記頭部伝達関数を前記記憶部から読み出し、各チャンネルの信号に畳み込み演算を行うことで、仮想音源信号を生成する信号生成部と、
   前記ユーザに向けて前記仮想音源信号を出力する出力部と、を備え、
   前記スピーカを音源とする測定では、第１のスピーカと左耳間の第１の伝達特性と、前記第１のスピーカと右耳間の第２の伝達特性と、第２のスピーカと左耳間の第３の伝達特性と、前記第２のスピーカと右耳間の第４の伝達特性とが測定され、
   前記左耳の耳介特性と、前記第１の伝達特性及び前記第３の伝達特性とを対応付けて前記記憶部が記憶し、
   前記右耳の耳介特性と、前記第２の伝達特性及び前記第４の伝達特性とを対応付けて前記記憶部が記憶する頭外定位処理装置。
2. 前記スピーカを音源とする測定を複数回行うことで、異なる耳介毎に前記第１〜第４の伝達特性が測定されており、
   同じ耳介に対する前記第１の伝達特性と前記第３の伝達特性の測定結果に基づいて、第１の特徴ベクトルが抽出され、
   同じ耳介に対する前記第２の伝達特性と前記第４の伝達特性の測定結果に基づいて、第２の特徴ベクトルが抽出され、
   複数の前記第１の特徴ベクトルをクラスタリングし、各クラスタの代表値から得られた第１の伝達特性と第３の伝達特性を前記記憶部が記憶し、
   複数の前記第２の特徴ベクトルをクラスタリングし、各クラスタの代表値から得られた第２の伝達特性と第４の伝達特性を前記記憶部が記憶している請求項１に記載の頭外定位処理装置。
3. 前記頭部伝達関数がパラメトリックな手法により求められている請求項１に記載の頭外定位処理装置。
4. 前記スピーカを音源として、複数のダミーヘッドに対する測定を行うことで、異なる耳介に対する前記第１〜第４の伝達特性が測定されており、
   前記ダミーヘッドを用いて測定された前記第１〜第４の伝達特性を前記記憶部が記憶している請求項１に記載の頭外定位処理装置。
5. 前記出力部がイヤホン又はヘッドホンを備えており、
   ユーザのスピーカから外耳道入口又は鼓膜までの伝達特性をキャンセルする逆フィルタを、前記仮想音源信号に前記逆フィルタを畳み込んで前記イヤホン又はヘッドホンに出力する請求項１〜４のいずれか１項に記載の頭外定位処理装置。
6. ユーザの耳介特性を左右独立に選択するステップと、
   スピーカを音源とする測定により得られた複数の頭部伝達関数を前記耳介特性と対応付けて記憶する記憶部から、選択された前記耳介特性に対応する頭部伝達関数を読み出すステップと、
   前記記憶部から読み出された前記頭部伝達関数を用いて、各チャンネルの信号に畳み込み演算を行うことで、仮想音源信号を生成するステップと、
   前記ユーザに向けて前記仮想音源信号を出力するステップと、を備え
   前記スピーカを音源とする測定では、第１のスピーカと左耳間の第１の伝達特性と、前記第１のスピーカと右耳間の第２の伝達特性と、第２のスピーカと左耳間の第３の伝達特性と、前記第２のスピーカと右耳間の第４の伝達特性とが測定され、
   前記左耳の耳介特性と、前記第１の伝達特性及び前記第３の伝達特性とを対応付けて前記記憶部が記憶し、
   前記右耳の耳介特性と、前記第２の伝達特性及び前記第４の伝達特性とを対応付けて前記記憶部が記憶する頭外定位処理方法。
7. 前記スピーカを音源とする測定を複数回行うことで、異なる耳介毎に前記第１〜第４の伝達特性が測定されており、
   同じ耳介に対する前記第１の伝達特性と前記第３の伝達特性の測定結果に基づいて、第１の特徴ベクトルが抽出され、
   同じ耳介に対する前記第２の伝達特性と前記第４の伝達特性の測定結果に基づいて、第２の特徴ベクトルが抽出され、
   複数の前記第１の特徴ベクトルをクラスタリングし、各クラスタの代表値から得られた第１の伝達特性と第３の伝達特性を前記記憶部が記憶し、
   複数の前記第２の特徴ベクトルをクラスタリングし、各クラスタの代表値から得られた第２の伝達特性と第４の伝達特性を前記記憶部が記憶している請求項６に記載の頭外定位処理方法。
8. 前記頭部伝達関数がパラメトリックな手法により求められている請求項６に記載の頭外定位処理方法。
9. 前記スピーカを音源として、複数のダミーヘッドに対する測定を行うことで、異なる耳介に対する前記第１〜第４の伝達特性が測定されており、
   前記ダミーヘッドを用いて測定された前記第１〜第４の伝達特性を前記記憶部が記憶している請求項６に記載の頭外定位処理方法。
10. イヤホン又はヘッドホンが信号を出力し、
    ユーザのスピーカから外耳道入口又は鼓膜までの伝達特性をキャンセルする逆フィルタを、前記仮想音源信号に前記逆フィルタを畳み込んで前記イヤホン又はヘッドホンに出力する請求項６〜９のいずれか１項に記載の頭外定位処理方法。
11. 頭外定位処理方法をコンピュータに対して実行させるためのプログラムであって、
    前記頭外定位処理方法が、
    ユーザの耳介特性を左右独立に選択するステップと、
    スピーカを音源とする測定により得られた複数の頭部伝達関数を前記耳介特性と対応付けて記憶する記憶部から、選択された前記耳介特性に対応する頭部伝達関数を読み出すステップと、
    前記記憶部から読み出された前記頭部伝達関数を用いて、各チャンネルの信号に畳み込み演算を行うことで、仮想音源信号を生成するステップと、
    前記ユーザに向けて前記仮想音源信号を出力するステップと、を備え
    前記スピーカを音源とする測定では、第１のスピーカと左耳間の第１の伝達特性と、前記第１のスピーカと右耳間の第２の伝達特性と、第２のスピーカと左耳間の第３の伝達特性と、前記第２のスピーカと右耳間の第４の伝達特性とが測定され、
    前記左耳の耳介特性と、前記第１の伝達特性及び前記第３の伝達特性とを対応付けて前記記憶部が記憶し、
    前記右耳の耳介特性と、前記第２の伝達特性及び前記第４の伝達特性とを対応付けて前記記憶部が記憶するプログラム。

Images