JP2009105565A - 仮想音像定位処理装置および仮想音像定位処理方法 - Google Patents

Abstract

【課題】
ステレオヘッドフォンを用いる仮想音像定位処理において、水平方向での所定の音源方向における床面反射音を含む頭部伝達関数の測定結果を反映させて、頭外定位が可能な良好な仮想音像定位を得られるようにするとともに、ハードウェアおよびソフトウェアの処理を少なくして演算処理の負担を小さくし、コンパクトでコストの係らない仮想音像定位処理装置を提供する。
【解決手段】
信号処理部と、ステレオヘッドフォンと、制御部と、を備え、制御部が、水平方向での所定の音源方向における床面反射音を含む頭部伝達関数の測定結果に基づいて算出される一組のフィルタ係数、並びに、遅延タップ係数を、それぞれ、信号処理部の反射音合成処理部および頭外定位処理部の第１フィルタ回路、第２フィルタ回路、第３フィルタ回路、並びに、第１遅延回路、第２遅延回路に格納して仮想音像定位処理を行うように構成する。
【選択図】 図１

Description

本発明は、リスナーの左右の両耳に近接させて配置する電気音響変換器をそれぞれ有するステレオヘッドフォンを用いて、左音声信号並びに右音声信号からなるステレオ音声信号を再生する音響再生装置に関し、特に、再生音像の頭内定位を防止して、頭外の任意の方向への仮想音像定位を実現する、仮想音像定位処理装置および仮想音像定位処理方法に関する。

ステレオヘッドフォンを用いる音響再生では、リスナーが定位を知覚する音像が、リスナーの頭部の中にあるように感じる頭内定位となる場合があり、リスナーは、スピーカーを使用した音場再生での音像定位、すなわち、頭外定位に比較して、頭内定位に違和感を覚える場合がある。そこで、ステレオヘッドフォンを用いて頭外定位を実現させる方法として、頭部伝達関数ＨＲＴＦ（Head Related Transfer Function、以下、頭部伝達関数という。）に基づく仮想音像定位処理を行ったステレオ音声信号を再生する、いわゆる、バーチャル処理を行うものがある。なお、ステレオヘッドフォンで再生する音声信号には、左音声信号並びに右音声信号からなるステレオ音声信号の他にも、単独のチャンネルのみを有するモノラル信号を左右チャンネルに均等に分配する場合と、２つを超える複数の独立した音声信号チャンネルをもつ、いわゆるマルチチャンネル音声信号を、左右チャンネルにダウンミックス処理（簡易な位相シフト処理等を含む。）を行う場合、あるいは、マルチチャンネル音声信号のそれぞれに仮想音像定位処理を行ってダウンミックス処理する場合、がある。

ステレオヘッドフォンを用いる仮想音像定位処理で頭外定位を実現するには、直接音成分のみならず、再現しようとする再生音場における反射音成分（例えば、試聴室等の床、天井、壁面からの反射音成分）を含む頭部伝達関数を利用するのが好ましい。インパルス応答としてみると、頭部伝達関数の直接音成分は約１．０〜約１．２ｍｓｅｃで収束するのに対し、反射音成分は約１０ｍｓｅｃを超えるインパルス応答となる場合があるので、より好ましい頭外定位を実現する仮想音像定位処理を行うためには、インパルス応答を音声信号に畳み込む演算処理の負担が大きくなってしまうという問題がある。

また、ステレオヘッドフォンを用いる仮想音像定位処理では、演算に用いるダミーヘッド等で測定された頭部伝達関数と、リスナーの頭部形状による実際の頭部伝達関数には差異があり、この頭部伝達関数の個体差が影響して、良好な仮想定位を実現することが困難な場合がある。頭部の形状や寸法が異なると頭部伝達関数が異なるので、その結果、仮想音像の定位方向が違ってしまう、または、頭外定位せずに頭内定位にとどまってしまう、といった問題を生じる場合がある。そこで、従来のステレオヘッドフォンを用いる仮想音像定位処理では、何種類かの異なる頭部伝達関数を予め選択可能に設定し、リスナーが最も良いと感じる頭部伝達関数を選択するようにするものがあるが、予め記憶させておく頭部伝達関数が多くなると、仮想音像定位処理装置のメモリが大きくなり、コスト上昇を招くという問題がある。

従来には、使用時に耳に近接配置されるスピーカー用の音声信号処理方法を実現する装置であって、入力モノラル元信号から導出して、部屋の境界における反射または反響を含まず、かつ耳から離れた１以上の物体により散乱する元信号を表す１以上の信号を作り出し、導出された信号と入力信号を合成して合成信号を形成し、形成された合成信号をスピーカーに供給し、これによって聴取者が、入力モノラル元信号の音源は耳より離れて配置されていると知覚するようにするものがある（特許文献１）。特に、特許文献１の段落００７０もしくは図１３には、1つの信号波散乱フィルタをＨＲＴＦ処理ブロックの入力ポートに直列に組み込み、効果的でないが処理負荷の点から経済的であるとした仮想音像定位の処理装置が記載されている。

また、従来には、音声信号に空間的広がりを与えるための音声処理システムであって、音声信号を入力するための入力手段と、頭部構成要素およびハイパスフィルタをかけられた後部構成要素を有するインパルス応答関数の少なくとも１つと音声信号とを畳み込むための、入力手段と接続された畳み込み手段とを有するシステムがある。（特許文献２）。

また、従来には、各系統及び左右各チャネルにつき、受聴者から各音源位置への所望の目標方位角の正弦関数及び余弦関数の組を用いた線形結合により、音響信号における音響伝達関数の各次数の主成分重み係数を推定する重み係数推定手段と、主成分重み係数とそれに共役な次数の主成分による線形結合によって音響伝達関数の振幅周波数特性を推定する振幅周波数特性推定手段と、振幅周波数特性を、時刻の関数で表現される振幅周波数特性の周波数依存性を保持した時間特性係数に変換する時間特性係数変換手段と、時間特性係数を入力音響信号に畳み込み演算を施す畳込演算手段と、演算結果の音響信号を左右各チャネルに出力する音響信号出力手段とを有する仮想音像定位装置がある（特許文献３）。

また、標準的寸法を有し、標準的寸法の耳介を支持する頭部から導出された１またはそれ以上の頭部伝達関数を修正して、各頭部伝達関数は、近位耳応答関数、遠位耳応答関数および両耳間時間遅延（ＩＴＤ）を含み、修正ＨＲＴＦとして、標準的寸法とは異なる頭部および／または耳寸法をもつ聴取者のために導出されたものを近似する頭部伝達関数に似せるようにして、提供しようとするものがある（特許文献４）。

特表２００４−５０９５４４号公報 （第１図） 特表２００４−５０６３９６号公報 （第１図） 特開平１０−２５７５９８号公報 （第２図） 特開２００１−１６６９７号公報 （第２図）

しかしながら、従来のステレオヘッドフォンを用いる仮想音像定位処理では、より好ましい頭外定位を実現するには、インパルス応答を音声信号に畳み込む演算処理の負担が大きくなるという問題がある。上記の通り、特許文献１の段落００７０もしくは図１３に記載の仮想音像定位の処理装置では、処理負荷の点から経済的であっても頭外定位の効果に限界がある。つまり、1つの信号波散乱フィルタをＨＲＴＦ処理ブロックの入力ポートに直列に組み込んだとしても、ＨＲＴＦ処理ブロックで用いる頭部伝達関数が、水平方向での所定の音源方向における床面反射音を含む場合に測定された結果を用いるのが好ましい信号波散乱フィルタと相関がなければ、良好な仮想音像定位が得られにくいという問題がある。

また、ステレオヘッドフォンを用いる仮想音像定位処理である限り、リスナーの頭部伝達関数の個体差に対応する、並びに、到来角度の異なる複数の音源に対応するには、予め記憶させておく頭部伝達関数を多くせざるを得なくなり、その結果、仮想音像定位処理装置のメモリが大きくなり、コスト上昇を招くという問題がある。記憶した頭部伝達関数に補正を施した頭部伝達関数を利用可能にするものであっても、仮想音像定位の効果を高めるために反射音成分を含む長大なインパルス応答を畳み込む方法では、ハードウェアおよびソフトウェアが大規模になる、という問題がある。すなわち、従来の方法では、仮想音像定位処理を行うハードウェアおよびソフトウェアの簡素化と、仮想音像定位の効果とを両立させるのが困難であるという問題がある。

本発明は、上記の従来技術が有する問題を解決するためになされたものであり、その目的は、ステレオヘッドフォンを用いる仮想音像定位処理において、水平方向での所定の音源方向における床面反射音を含む頭部伝達関数の測定結果を反映させて、頭外定位が可能な良好な仮想音像定位を得られるようにするとともに、ハードウェアおよびソフトウェアの処理を少なくして演算処理の負担を小さくし、コンパクトでコストの係らない仮想音像定位処理装置を提供することにある。

本発明の仮想音像定位処理装置は、仮想音像定位処理を施した左音声信号並びに右音声信号からなるステレオ音声信号を出力する信号処理部と、ステレオ音声信号を再生するステレオヘッドフォンと、信号処理部を制御する制御部と、を備える仮想音像定位処理装置であって、信号処理部が、一の入力音声信号に反射音成分を合成する反射音合成処理部と、反射音合成処理部からの出力にフィルタ処理を行って左音声信号並びに右音声信号をそれぞれ出力する頭外定位処理部と、を含み、反射音合成処理部が、分岐した一方の入力音声信号を入力とする第１加算回路と、分岐した他方の入力音声信号を遅延処理する第１遅延回路と、遅延させた入力音声信号にフィルタ処理を行い第１加算回路に入力する第１フィルタ回路と、を有し、頭外定位処理部が、分岐した一方の反射音合成処理部からの出力を入力としてステレオ音声信号の一方を出力する第２フィルタ回路と、分岐した他方の反射音合成処理部からの出力を遅延処理する第２遅延回路と、第２遅延回路の出力をフィルタ処理してステレオ音声信号の他方を出力する第３フィルタ回路と、を有し、制御部が、信号処理部のフィルタ処理並びに遅延処理に用いる係数を保持する記憶部を有し、制御部が、水平方向での所定の音源方向における床面反射音を含む頭部伝達関数の測定結果に基づいて算出される一組のフィルタ係数ｈ１、ｈ２、ｈ３、並びに、遅延タップ係数ｄ１、ｄ２を、それぞれ、第１フィルタ回路、第２フィルタ回路、第３フィルタ回路、並びに、第１遅延回路、第２遅延回路に格納し、信号処理部の反射音合成処理部および頭外定位処理部が、仮想音像定位処理を行う。

好ましくは、本発明の仮想音像定位処理装置は、制御部の記憶部が、複数の音源方向に対応する複数の組のフィルタ係数、並びに、遅延タップ係数を保持するとともに、信号処理部が、複数の入力音声信号に対応する複数の反射音合成処理部および頭外定位処理部と、複数の頭外定位処理部の一方の出力を加算してステレオ音声信号の一方を出力する第２加算回路と、複数の頭外定位処理部の他方の出力を加算してステレオ音声信号の他方を出力する第３加算回路と、を備え、複数の入力音声信号をそれぞれ複数の音源方向へ仮想音像定位させる仮想音像定位処理を行う。

さらに好ましくは、仮想音像定位処理装置は、フィルタ係数、並びに、遅延タップ係数が、水平方向での所定の音源方向における床面反射音を含む頭部伝達関数の左右一組のインパルス応答の全体データと、左右一組のインパルス応答に前側ウィンドウを用いた直接音データと、左右一組のインパルス応答に後側ウィンドウを用いた床面反射音データと、に分離したデータと、に基づいて算出した係数であり、遅延タップ係数ｄ１が、インパルス応答の全体データに含まれる直接音と床面反射音との到来時間差から算出された遅延タップ係数であり、遅延タップ係数ｄ２が、直接音データに含まれる近接耳側到来音と遠隔耳側到来音との到来時間差から算出された遅延タップ係数であり、フィルタ係数ｈ２が、直接音データから算出された近接耳側の頭部伝達関数を表すＦＩＲフィルタ係数であり、フィルタ係数ｈ３が、直接音データから遅延タップ係数ｄ２を除した遠隔耳側の頭部伝達関数を表すＦＩＲフィルタ係数であり、フィルタ係数ｈ１が、床面反射音データから遅延タップ係数ｄ１およびフィルタ係数ｈ２を除した床面反射音の伝達特性を表すＦＩＲフィルタ係数である。

また、好ましくは、仮想音像定位処理装置は、制御部の記憶部が、直接音と床面反射音との到来時間差を表す遅延タップ係数ｄ１が１．２ｍｓｅｃ以上２．０ｍｓｅｃ以下の時間に相当する範囲となる場合に、音源方向に対応する一組のフィルタ係数ｈ１、ｈ２、ｈ３、並びに、他の遅延タップ係数ｄ２を保持する。

また、好ましくは、仮想音像定位処理装置は、制御回路が、フィルタ係数、並びに、遅延タップ係数の変更を操作する操作回路を有し、制御回路が、一組のフィルタ係数ｈ１、ｈ２、ｈ３、並びに、遅延タップ係数ｄ１、ｄ２を、それぞれ、第１フィルタ回路、第２フィルタ回路、第３フィルタ回路、並びに、第１遅延回路、第２遅延回路に格納し、かつ、操作回路からの変更指示がある場合に、ゲインを変更したフィルタ係数ｈ３ａ、並びに、タップ数を変更した遅延タップ係数ｄ２ａを格納することにより、ステレオ音声信号の他方の出力を変更する。

さらに好ましくは、仮想音像定位処理装置は、制御回路が、操作回路からの変更指示がある場合に、一組のフィルタ係数並びに遅延タップ係数に関連づけてフィルタ係数ｈ３ａを演算したゲイン係数ｇ３ａ、並びに、タップ数を変更した遅延タップ係数ｄ２ａを記憶部に記憶するとともに、操作回路から記録した変更指示を呼び出す場合に、記憶していた一組のフィルタ係数および遅延タップ係数と、ゲイン係数ｇ３ａと、タップ数を変更した遅延タップ係数ｄ２ａと、をそれぞれ呼び出し、反射音合成処理部および頭外定位処理部に格納するフィルタ係数を演算して求める係数演算処理部をさらに備える。

さらに好ましくは、仮想音像定位処理装置は、頭外定位処理部が、第２フィルタ回路、第２遅延回路、および、第３フィルタ回路に代えて、２つの反射音合成処理部の出力の和信号を生成する入力加算回路ならびに差信号を生成する入力減算回路と、和信号をフィルタ処理する和信号フィルタと、差信号をフィルタ処理する差信号フィルタと、和信号フィルタと差信号フィルタの出力を加算する出力加算回路と、和信号フィルタと差信号フィルタの出力を減算する出力減算回路と、を有し、制御回路の係数演算処理部が、一組のフィルタ係数ｈ１、ｈ２、ｈ３、並びに、遅延タップ係数ｄ１、ｄ２に基づいて、和信号フィルタ係数ｈｓｕｍ、および、差信号フィルタ係数ｈｄｉｆを演算して和信号フィルタと差信号フィルタとに格納し、制御回路の係数演算処理部が、操作回路からの変更指示がある場合に、記憶していた一組のフィルタ係数および遅延タップ係数と、ゲイン係数ｇ３ａと、タップ数を変更した遅延タップ係数ｄ２ａと、に基づいて、和信号フィルタ係数ｈｓｕｍ、および、差信号フィルタ係数ｈｄｉｆを演算する。

また、本発明の仮想音像定位処理方法は、仮想音像定位処理を施した左音声信号並びに右音声信号からなるステレオ音声信号を、ステレオヘッドフォンで再生する仮想音像定位処理方法であって、仮想音像定位処理に用いる係数として、水平方向での所定の音源方向における床面反射音を含む頭部伝達関数の測定結果に基づいて算出される一組のフィルタ係数ｈ１、ｈ２、ｈ３、並びに、遅延タップ係数ｄ１、ｄ２を、それぞれ、第１フィルタ回路、第２フィルタ回路、第３フィルタ回路、並びに、第１遅延回路、第２遅延回路に格納する処理と、一の入力音声信号に反射音成分を合成する反射音合成処理と、反射音合成処理した出力信号にフィルタ処理を行って左音声信号並びに右音声信号をそれぞれ出力する頭外定位処理と、を含み、反射音合成処理は、分岐した一方の入力音声信号を第１加算回路への入力とし、分岐した他方の入力音声信号を第１遅延回路で遅延処理し、遅延させた入力音声信号に第１フィルタ回路でフィルタ処理を行い第１加算回路に入力する処理を含み、頭外定位処理は、分岐した一方の反射音合成処理した出力を第２フィルタ回路への入力としてステレオ音声信号の一方を出力し、分岐した他方の反射音合成処理からの出力を第２遅延回路で遅延処理し、第２遅延回路の出力を第３フィルタ回路でフィルタ処理してステレオ音声信号の他方を出力する処理を含む。

以下、本発明の作用について説明する。

本発明の仮想音像定位処理装置、および、仮想音像定位処理方法は、ステレオ音声信号を再生するステレオヘッドフォンで頭外定位を実現するものである。仮想音像定位処理装置は、仮想音像定位処理を施したステレオ音声信号を出力する信号処理部と、信号処理部を制御する制御部と、を備える。このうち信号処理部は、反射音合成処理部および頭外定位処理部を含み、複数の音源方向に対応するステレオ音声信号、もしくは、マルチチャンネル音声信号のそれぞれに対して、水平方向での所定の音源方向における床面反射音を含む頭部伝達関数の測定結果に基づいて算出される一組のフィルタ係数を用いて、それぞれ仮想音像定位処理を行う。また、制御部は、信号処理部のフィルタ処理並びに遅延処理に用いる係数を保持する記憶部を有しており、フィルタ係数および遅延タップ係数を、それぞれ信号処理部のフィルタ回路ならびに遅延回路に格納することで、仮想音像定位処理が実現される。

具体的には、反射音合成処理部は、分岐した一方の入力音声信号を入力とする第１加算回路と、分岐した他方の入力音声信号を遅延処理する第１遅延回路と、遅延させた入力音声信号にフィルタ処理を行い第１加算回路に入力する第１フィルタ回路と、を有する。また、頭外定位処理部は、分岐した一方の反射音合成処理部からの出力を入力としてステレオ音声信号の一方を出力する第２フィルタ回路と、分岐した他方の反射音合成処理部からの出力を遅延処理する第２遅延回路と、第２遅延回路の出力をフィルタ処理してステレオ音声信号の他方を出力する第３フィルタ回路と、を有する。そして、制御部は、水平方向での所定の音源方向における床面反射音を含む頭部伝達関数の測定結果に基づいて算出される一組のフィルタ係数ｈ１、ｈ２、ｈ３、並びに、遅延タップ係数ｄ１、ｄ２を、それぞれ、第１フィルタ回路、第２フィルタ回路、第３フィルタ回路、並びに、第１遅延回路、第２遅延回路に格納する。

ここで、本発明の仮想音像定位処理装置で用いられるフィルタ係数、並びに、遅延タップ係数は、水平方向での所定の音源方向における床面反射音を含む頭部伝達関数の左右一組のインパルス応答の全体データと、左右一組のインパルス応答に前側ウィンドウを用いた直接音データと、左右一組のインパルス応答に後側ウィンドウを用いた床面反射音データと、に分離したデータと、に基づいて算出した係数であるので、直接音成分と初期反射音成分とを反映して、良好な頭外定位を実現することができる。具体的には、遅延タップ係数ｄ１が、インパルス応答の全体データに含まれる直接音と床面反射音との到来時間差から算出された遅延タップ係数であり、遅延タップ係数ｄ２が、直接音データに含まれる近接耳側到来音と遠隔耳側到来音との到来時間差から算出された遅延タップ係数であり、フィルタ係数ｈ２が、直接音データから算出された近接耳側の頭部伝達関数を表すＦＩＲフィルタ係数であり、フィルタ係数ｈ３が、直接音データから遅延タップ係数ｄ２を除した遠隔耳側の頭部伝達関数を表すＦＩＲフィルタ係数であり、フィルタ係数ｈ１が、床面反射音データから遅延タップ係数ｄ１およびフィルタ係数ｈ２を除した床面反射音の伝達特性を表すＦＩＲフィルタ係数である。

したがって、本発明の仮想音像定位処理装置では、直接音データと床面反射音データとに分離したデータに基づいているので、仮想音像定位処理のハードウェアおよびソフトウェアをコンパクトにすることができるとともに、反射音合成処理部および頭外定位処理部で用いるフィルタ係数ならびに遅延タップ係数が相関を有するようになるので、その結果、良好な仮想音像定位、すなわち、ヘッドフォンを用いた頭外定位感を得ることができる。特に、直接音と床面反射音との到来時間差を表す遅延タップ係数ｄ１が１．２ｍｓｅｃ以上２．０ｍｓｅｃ以下の時間に相当する範囲となる場合には、直接音データと床面反射音データとが明確に分離される条件で測定した頭部伝達関数に基づくものになるので、記憶部に音源方向に対応する一組のフィルタ係数ｈ１、ｈ２、ｈ３、並びに、他の遅延タップ係数ｄ２を保持させることで、仮想音像定位処理装置の各ＦＩＲフィルタのタップ数を短くしても、良好な頭外定位感を確保することができる。

また、本発明の仮想音像定位処理装置では、リスナーの頭部伝達関数の個体差への対応にあたって、操作回路からの変更指示がある場合には、頭外定位処理部の第３フィルタ回路にゲインを変更したフィルタ係数ｈ３ａを、並びに、第２遅延回路にタップ数を変更した遅延タップ係数ｄ２ａを格納することにより、フィルタ係数を記憶するメモリを削減した仮想音像定位処理を実現している。制御回路が操作回路から記録した変更指示を呼び出す場合には、フィルタ係数を演算して求める係数演算処理部をさらに備えているので、予め記憶させておくべき頭部伝達関数に基づくフィルタ係数ならびに遅延タップ係数の記憶容量が限定されている場合であっても、リスナーが任意にゲイン係数と遅延タップ係数とを調整でき、コンパクトな仮想音像定位処理であっても、様々な頭部伝達関数を有するリスナーへも対応が可能になる。特に、２つの水平方向での音源方向が左右対称で等しい条件である場合は、和信号フィルタおよび差信号フィルタを用いるシャフラー型フィルタによって、頭外定位処理を行うことができる。したがって、本発明の仮想音像定位処理装置、ならびに、仮想音像定位処理方法では、仮想音像定位処理を行うハードウェアおよびソフトウェアの簡素化と、仮想音像定位の効果とを両立させることができる。

本発明の仮想音像定位処理装置は、ヘッドフォンを用いて頭外定位を得るにあたって、水平方向での所定の音源方向における床面反射音を含む頭部伝達関数の測定結果を反映させ、仮想音像定位処理を行うハードウェアおよびソフトウェアをコンパクトでコストの係らないものにするとともに、良好な仮想音像定位の効果を実現させることができる。

本発明の仮想音像定位処理装置は、ステレオヘッドフォンで頭外定位が可能な良好な仮想音像定位を得られるようにするとともに、ハードウェアおよびソフトウェアの処理を少なくして演算処理の負担を小さくし、コンパクトでコストの係らない仮想音像定位処理装置を提供するという目的を、仮想音像定位処理装置が、信号処理部と、ステレオヘッドフォンと、制御部と、を備え、制御部が、水平方向での所定の音源方向における床面反射音を含む頭部伝達関数の測定結果に基づいて算出される一組のフィルタ係数ｈ１、ｈ２、ｈ３、並びに、遅延タップ係数ｄ１、ｄ２を、それぞれ、信号処理部の反射音合成処理部および頭外定位処理部の第１フィルタ回路、第２フィルタ回路、第３フィルタ回路、並びに、第１遅延回路、第２遅延回路に格納して仮想音像定位処理を行うように構成することにより、実現した。

以下、本発明の好ましい実施形態による仮想音像定位処理装置について説明するが、本発明はこれらの実施形態には限定されない。

図１は、本発明の好ましい実施形態による仮想音像定位処理装置１について説明する図である。仮想音像定位処理装置１は、後述するＤＳＰ１０等を含む定位処理装置２と、ヘッドフォン３とからなり、定位処理装置２には（図示しない）他のＤＶＤプレーヤー等のソース機器からモノラル、ステレオ、もしくは、マルチチャンネル音声信号が供給される。図１の場合には、デジタルモノラル信号が入力端子２０を介してＤＳＰ１０に供給されており、仮想定位処理されたステレオ信号が、ＤＡＣ（デジタルアナログコンバータ）２１および２２と、ＡＭＰ（増幅回路）２３および２４と、出力端子２５および２６と、をそれぞれ介してヘッドフォン３に出力されている。この仮想音像定位処理装置１を利用するリスナー４は、ステレオ信号を再生するヘッドフォン３を頭部に装着すると、ヘッドフォン３の左右のスピーカー３１および３２がリスナー４の左右の両耳４１および４２に密着して配置されることになる。その結果、リスナー４は、リスナー４の頭外であって水平方向での所定の音源方向θｋに、音像が定位したように知覚することができる。

図１の定位処理装置２は、デジタル信号処理によって仮想音像定位処理を行う信号処理部を構成するＤＳＰ（Digital Signal Processor）１０を含む。マイコン５は、ＤＳＰ１０に接続しており、プログラムおよびフィルタ係数をダウンロードしてＤＳＰ１０を制御する。マイコン５は、演算処理を行うＣＰＵ６の他に、プログラムおよびフィルタ係数を記憶しておくメモリ７を含んでいる。また、マイコン５は、後述する操作回路８に接続しており、仮想音像定位処理に伴う操作で伝えられたコマンド情報に基づいて、定位処理装置２の全体を制御する。なお、図１の定位処理装置２では、説明に不要な他のチャンネルの音声信号処理経路や、入力信号のデコーダー、電源、等は、省略されている。

ＤＳＰ１０は、仮想音像定位処理を行う信号処理部として、反射音合成処理部１１と、頭外定位処理部１２と、を内部に構成する。反射音合成処理部１１は、分岐した一方の入力音声信号を第１加算回路１３に入力し、分岐した他方の入力音声信号を第１遅延回路１４で遅延タップ係数ｄ１分だけ遅延処理する。第１遅延回路１４の出力は、フィルタ係数ｈ１を格納されたＦＩＲフィルタである第１フィルタ回路１５へ入力され、第１フィルタ回路１５の出力は、第１加算回路１３に入力される。そして、第１加算回路１３の出力が、反射音合成処理部１１の出力とされる。なお、後述するように、反射音合成処理部１１での信号処理は、直接音に対して遅延してリスナーへ到達する床面反射音を反映しており、フィルタ係数ｈ１は、水平方向での所定の音源方向θｋに音源が位置する場合に、床面反射音を含む頭部伝達関数の測定結果に基づいて算出されるフィルタ係数である。

また、頭外定位処理部１２は、分岐した一方の反射音合成処理部１１からの出力を入力する第２フィルタ回路１６と、分岐した他方の反射音合成処理部１１からの出力を遅延処理する第２遅延回路１７と、第２遅延回路１３の出力を入力とする第３フィルタ回路１８と、を有する。第２フィルタ回路１６は、フィルタ係数ｈ２を格納されたＦＩＲフィルタであり、その出力は、ステレオ音声信号の一方として、リスナー４の正面から見て音源方向θｋに近い側耳（図１の場合には、左耳４１）へ密着して配置されるヘッドフォン３のスピーカー３１へ出力される。また、第３フィルタ回路１８は、フィルタ係数ｈ３を格納されたＦＩＲフィルタであり、その出力は、ステレオ音声信号の他方として、リスナーの正面から見て音源方向θｋに遠い側耳（図１の場合には、右耳４２）へ密着して配置されるヘッドフォン３のスピーカー３２へ出力される。また、第２遅延回路１７は、入力された信号を遅延タップ係数ｄ２分だけ遅延処理する。なお、後述するように、頭外定位処理部１２での信号処理は、水平方向での所定の音源方向θｋに音源が位置する場合に、近接耳側へと遠隔耳側への直接音の到来時間差を含む頭部伝達関数を反映しており、フィルタ係数ｈ２は近接耳側の頭部伝達関数に、フィルタ係数ｈ３は遠隔耳側の頭部伝達関数に、基づいて算出されるフィルタ係数である。また、遅延タップ係数ｄ２は、近接耳側到来音と遠隔耳側到来音との到来時間差に基づいている。

メモリ７には、複数の水平方向での所定の音源方向θｋに対応した一組のフィルタ係数、並びに、遅延タップ係数が、複数予め記憶されている。例えば、音源方向θｋは、少なくともリスナーの正面方向０°と、ステレオ再生時のスピーカー配置に相当する±３０°と、サラウンド再生時のサラウンドスピーカー配置に相当する±９０°と、を含み、係数タップ長とメモリ容量とを勘案して、±１８０°の範囲で５°間隔程度で任意に選択可能であることが好ましい。これらの予め記憶されている一組のフィルタ係数、並びに、遅延タップ係数は、以下に説明する好ましい条件を満足する状態で測定されたダミーヘッドを用いた頭部伝達関数の測定結果に基づいて算出されたものである。なお、図１では、リスナー４から見て左側の方向を音源方向θｋの正（＋）の角度とした場合であるが、絶対値θｋが同じ右側の負（−）の角度に音像を定位させる場合には、頭外定位処理部１２からヘッドフォン３の左右のスピーカー３１および３２に出力する信号を入れ替えればよい。

なお、一組のフィルタ係数、並びに、遅延タップ係数やリスナー毎の最適データを記憶するメモリ７は、マイコン５の内部メモリ、あるいは、マイコン５がアクセスできる外部メモリに限定されず、フィルタ係数を演算するＤＳＰ１０の内部メモリであるか、あるいは、ＤＳＰ１０が直接アクセスできるメモリであればよい。

図２は、音源方向θｋの頭部伝達関数を測定する方法を説明する概略図である。本発明の仮想音像定位処理方法では、床面Ｆを有する測定音場にダミーヘッド５０ならびに音源用スピーカー６０を配置し、所定の条件を満たす場合の頭部伝達関数を利用する。図２（ａ）は、頭部伝達関数の測定状態を説明する側面図であり、図２（ｂ）はその平面図であり、図２（ｃ）は測定された頭部伝達関数ＨｎθｋおよびＨｆθｋを説明する図である。

正面方向を０°とするダミーヘッド５０において、頭部伝達関数Ｈｎθｋは、音源用スピーカー６０が水平方向での音源方向θｋに配置された場合の近接耳側の頭部伝達関数を表し、頭部伝達関数Ｈｆθｋは、遠隔耳側の頭部伝達関数を表す。具体的には、ダミーヘッド５０の正面から左側にθｋオフセットして水平距離Ｌ０だけ離れて配置された音源用スピーカー６０が有る場合に、頭部伝達関数Ｈｎθｋは、ダミーヘッド５０の近接耳側である左耳５１の外耳道入口に配置されたマイクで測定した周波数特性を、音源用スピーカー６０の周波数特性で基準化した伝達関数に基づくインパルス応答である。同様に、頭部伝達関数Ｈｆθｋは、ダミーヘッド５０の遠隔耳側である右耳５２の外耳道入口に配置されたマイクで測定した周波数特性を、音源用スピーカー６０の周波数特性で基準化した伝達関数に基づくインパルス応答である。

頭部伝達関数ＨｎθｋおよびＨｆθｋには、それぞれ直接音Ｓｄと、初期反射音である床面反射音Ｓｒとが現れる。床面Ｆからのダミーヘッド５０の耳の高さＬＬと、床面Ｆからの音源用スピーカー６０の高さＬＳとがほぼ一致する場合には、音源用スピーカー６０からダミーヘッド５０へ直接音Ｓｄが伝搬する距離Ｌｄは、水平距離Ｌ０とほぼ変わらなくなる。一方で、音源用スピーカー６０から床面Ｆで反射してダミーヘッド５０へ到来する床面反射音Ｓｒは、直接音Ｓｄが伝搬する距離Ｌｄよりも長い距離Ｌｒを伝搬し、伝搬時間差Ｔｄθｋを生じさせる。床面反射音Ｓｒは、図２（ａ）に点線で図示する鏡像音源用スピーカー６０’から放射されているように想定でき、距離Ｌｒは、ダミーヘッド５０と、床面Ｆと、音源用スピーカー６０との配置関係から、容易に算出することができる。

具体的には、例えば、ダミーヘッド５０の耳の高さＬＬおよび音源用スピーカー６０の高さＬＳを約１．０ｍとし、水平距離Ｌ０を約４．５ｍとすれば、直接音Ｓｄが伝搬する距離Ｌｄは４．５ｍであり、床面反射音Ｓｒが伝搬する距離Ｌｒは約４．９２ｍとなる。直接音Ｓｄと床面反射音Ｓｒの伝搬距離差は約０．４２ｍになり、音波の音速を３４０ｍ／ｓｅｃとすると、伝搬時間差Ｔｄθｋは約１．２５ｍｓｅｃになる。このように、水平距離Ｌ０を約３〜６ｍとする範囲で、ダミーヘッド５０と、床面Ｆと、音源用スピーカー６０との配置関係を適切に設定することにより、直接音Ｓｄと床面反射音Ｓｒとの到来時間差Ｔｄθｋが１．２ｍｓｅｃ以上２．０ｍｓｅｃ以下の時間に相当する範囲となるように、測定条件を整えることができる。水平距離Ｌ０が約３〜６ｍの範囲では、直接音Ｓｄの音波波面が球面波状から平面波状になって水平仰角がほぼ０°の方向から到来するのに対し、床面反射音Ｓｒは床面Ｆから仰角を有して伝搬してくるようになるので、ダミーヘッド５０で測定される頭部伝達関数が、測定音場およびダミーヘッド５０の肩部等での反射・回折を正確に反映したものに改善されるという利点がある。

なお、上記の測定音場において、側壁面や天井といった反射波が生じ得る床面Ｆ以外の構造物は、床面Ｆに比較して遠く設定されている。これらの他の反射面からの反射波は、直接音より少なくとも約３．０ｍｓｅｃ以上遅れて到来するように、つまり、少なくとも反射波が伝搬する距離が約１ｍ以上余計に長くなるように配置されている。具体的には、水平距離Ｌ０が約３〜６ｍの範囲で、床面Ｆとの距離に比較して、側壁面や天井が遠く離れた位置にあるような大きな部屋で測定する、もしくは、側壁面や天井が遠くなる部屋の中央付近で測定するのが好ましい。したがって、床面反射音Ｓｒ以外の反射音は、頭部伝達関数の測定結果に出現することがないので、頭部伝達関数ＨｎθｋおよびＨｆθｋのインパルス応答の全体データＩａは、直接音Ｓｄと床面反射音Ｓｒのみを含んでいる。

図３は、測定された頭部伝達関数から、フィルタ係数および遅延タップ係数を算出する方法を説明する図である。図３（ａ）は、インパルス応答の全体データＩａから、直接音データＩｄおよび床面反射音データＩｒを分離する様子を説明する図であり、図３（ｂ）は、算出するフィルタ係数および遅延タップ係数を説明する図である。直接音Ｓｄのみの頭部伝達関数のインパルス応答は、約１．０〜１．２ｍｓｅｃで収束するのに加えて、直接音Ｓｄおよび床面反射音Ｓｒは、到来時間差Ｔｄθｋが１．２ｍｓｅｃ以上２．０ｍｓｅｃ以下の時間に相当する範囲となるように測定条件を整えられている。したがって、直接音Ｓｄを反映する直接音データＩｄと、床面反射音Ｓｒを反映する床面反射音データＩｒとは、インパルス応答の全体データＩａをウィンドウ処理することによって明確に分離される。

すなわち、直接音データＩｄは、インパルス応答Ｉａに前側ウィンドウＷｄを掛け合わせて算出されるものであり、床面反射音データＩｒは、インパルス応答Ｉａに前側ウィンドウＷｄよりも到来時間差Ｔｄθｋだけ遅れたところから始まる後側ウィンドウＷｒを掛け合わせて算出されるものである。前側ウィンドウＷｄおよび後側ウィンドウＷｒは、図示するような略矩形であって前後非対称な任意の時間窓関数であればよく、他にも方形窓、ハニング窓、ハミング窓、等であれば良い。前側ウィンドウＷｄの窓長は、直接音Ｓｄの収束時間に合わせて、約１．０〜１．２ｍｓｅｃの時間に相当するものになるのが好ましい。また、後側ウィンドウＷｒは、前側ウィンドウＷｄの直後から立ち上がるものであっても良く、その窓長は、反射音Ｓｒの収束時間に合わせて任意に選択するのが好ましい。

前述の通り、水平方向での所定の音源方向θｋに音源が位置する場合に、頭部伝達関数ＨｎθｋおよびＨｆθｋのインパルス応答の全体データＩａは、直接音Ｓｄと床面反射音Ｓｒとを含んでいるので、到来時間差Ｔｄθｋは、全体データＩａから算出される。音声信号、ならびに、ＤＳＰ１０で実行する処理プログラムのサンプリング周波数ｓｆに対応して、遅延タップ係数ｄ１は一意に算出される。つまり、反射音合成処理部１１の第１遅延回路１４で用いる遅延タップ係数ｄ１は、インパルス応答の全体データＩａに含まれる直接音Ｓｄと床面反射音Ｓｒとの到来時間差Ｔｄθｋから算出される遅延タップ係数である。

次に、全体データＩａから分離された左右一組の直接音データＩｄから、頭外定位処理部１２の第２遅延回路１７、第２フィルタ回路１６、第３フィルタ回路１８のそれぞれに用いる遅延タップ係数ｄ２、および、フィルタ係数ｈ２、ｈ３を算出する。左右一組の直接音データＩｄのうち、近接耳側の頭部伝達関数Ｈｎθｋからフィルタ係数ｈ２が算出される。つまり、頭部伝達関数Ｈｎθｋの直接音データＩｄにあたるインパルス応答係数は、そのままＦＩＲフィルタの係数として利用できるので、第２フィルタ回路１６のフィルタ係数ｈ２は、容易に算出される。一方、遅延タップ係数ｄ２およびフィルタ係数ｈ３は、遠隔耳側の頭部伝達関数Ｈｆθｋから分離された直接音データＩｄを利用して算出される。音源方向θｋから到来してダミーヘッド５０の頭部を回折する音波は、音源方向θｋに近い近接耳５１に比べて、遠隔耳５２に遅れて到達するので、遠隔耳側の頭部伝達関数Ｈｆθｋのインパルス応答は、近接耳側の頭部伝達関数Ｈｎθｋに対して遅延する性質を有している。したがって、左右一組の直接音データＩｄから近接耳側到来音Ｓｎと遠隔耳側到来音Ｓｆとの到来時間差ＩＡＴＤθｋを算出し、サンプリング周波数ｓｆに対応して遅延タップ係数ｄ２を算出する。また、フィルタ係数ｈ３は、遠隔耳側の頭部伝達関数Ｈｆθｋの直接音データＩｄから遅延タップ係数ｄ２を除して求めることができる。つまり、遅延タップ係数ｄ２の分だけ遅れたところからのインパルス応答係数を利用することで、第３フィルタ回路１８のフィルタ係数ｈ２も容易に算出される。

さらに、全体データＩａから分離された左右一組の床面反射音データＩｒから、反射音合成処理部１１の第１フィルタ回路１５に用いるフィルタ係数ｈ１を算出する。フィルタ係数ｈ１は、床面反射音データＩｒから、遅延タップ係数ｄ１と、フィルタ係数ｈ２とを除した床面反射音Ｓｒの伝達特性Ｈｒθｋを表すＦＩＲフィルタ係数であり、床面Ｆにおける吸音率および反射率を加味した床面反射音Ｓｒの特性を表している。フィルタ係数ｈ１の算出にあたっては、近接耳側の頭部伝達関数Ｈｎθｋを、左右両耳の特性の代表にして使用することができる。このようにフィルタ係数ｈ１は、水平方向での所定の音源方向θｋに音源が位置する場合に、直接音Ｓｄと床面反射音Ｓｒとの到来時間差Ｔｄθｋを意味する遅延タップ係数ｄ１と、近接耳側の頭部伝達関数Ｈｎθｋに基づくフィルタ係数ｈ２によって基準化することで、フィルタ係数ｈ１は、より短いタップ数のＦＩＲフィルタ係数にすることができる。

本実施例の仮想音像定位処理装置１は、上記の条件および方法にしたがって測定した音源方向θｋの頭部伝達関数に基づいて、仮想定位処理を行う。つまり、仮想音像定位処理装置１は、直接音Ｓｄおよび床面反射音Ｓｒが明確に分離できる測定条件で得られた上記の測定データに基づいて、コンパクトな信号処理方法を実現しているので、それに応じたフィルタ係数、ならびに、遅延タップ係数を保持している。具体的には、仮想音像定位処理装置１のメモリ７は、直接音Ｓｄと床面反射音Ｓｒとの到来時間差を表す遅延タップ係数ｄ１が１．２ｍｓｅｃ以上２．０ｍｓｅｃ以下の時間に相当する範囲となる場合（例えば、サンプリング周波数が４８ｋＨｚである場合には、遅延タップ係数ｄ１は、５７〜９６タップである。）に、音源方向に対応する一組のフィルタ係数ｈ１、ｈ２、ｈ３、並びに、他の遅延タップ係数ｄ２を保持している。

ＤＳＰ１０に接続するマイコン５は、上記の信号処理を実現するプログラムをダウンロードし、メモリ７に記憶されている一組のフィルタ係数および遅延タップ係数が、ＤＳＰ１０に形成されるフィルタ回路、並びに、遅延回路にそれぞれ格納される。仮想音像定位処理装置１では、反射音合成処理部１１および頭外定位処理部１２で用いるフィルタ係数ならびに遅延タップ係数が、上記の条件および方法にしたがって測定した音源方向θｋの頭部伝達関数に基づいて相関を有するものになっているので、その結果、良好な仮想音像定位、すなわち、ヘッドフォン３を用いた頭外定位感を得ることができる。

また、マイコン５は、定位処理装置２に設けられてリスナーが操作する複数のボタン、若しくは、定位処理装置２から分離するリモートコントローラー、等を含む操作回路８に接続しているので、リスナー４が操作回路８を操作してさらに良好な頭外定位感を得ようとする場合には、操作回路８から伝えられたコマンド情報に基づいてフィルタ係数および遅延タップ係数を変更する制御を行う。つまり、仮想音像定位処理装置１では、リスナー４の頭部伝達関数の個体差への対応にあたって、操作回路８からの変更指示がある場合には、頭外定位処理部１２の第３フィルタ回路１８にゲインを変更したフィルタ係数ｈ３ａを、並びに、第２遅延回路にタップ数を変更した遅延タップ係数ｄ２ａを格納する。マイコン５は、係数演算処理を行って、変更したフィルタ係数ｈ３ａおよび遅延タップ係数ｄ２ａを得る。例えば、フィルタ係数ｈ３ａは、ＦＩＲフィルタの係数であるフィルタ係数ｈ３に約０．５〜１．５の範囲のゲイン係数ｇ３ａを掛け合わせて得られるものであり、変更した遅延タップ係数ｄ２ａは、基準となる遅延タップ係数ｄ２を約±２０％の範囲で変更して得られるものである。もちろん、変更する範囲は上記の範囲に限定されるものではない。

すなわち、マイコン５は、フィルタ係数ｈ３ａ、並びに、遅延タップ係数ｄ２ａを係数演算処理部で容易に算出できるので、リスナー４毎にこれらをフィルタ回路、並びに、遅延回路にそれぞれ格納することにより、リスナー４の個体差に対応した仮想音像定位処理を実現することができ、その結果、フィルタ係数、並びに、遅延タップ係数を記憶するメモリ７を削減した仮想音像定位処理をも実現している。リスナーの個体差に対応したゲイン係数ｇ３ａ、並びに、遅延タップ係数ｄ２ａが設定される場合には、メモリ７にこれらを記憶すれば良い。マイコン５が、操作回路８から記憶した変更指示を呼び出すようなコマンド情報を得た場合には、記憶させていたゲイン係数ｇ３ａ、並びに、遅延タップ係数ｄ２ａを使用して、フィルタ係数を演算して求める係数演算処理を行うことができる。メモリ７の容量が限られていて、予め記憶させておくべき頭部伝達関数に基づくフィルタ係数ならびに遅延タップ係数の記憶容量が限定されている場合であっても、リスナー４が任意にゲイン係数ｇ３ａと遅延タップ係数ｄ２ａとを調整して記憶できるので、仮想音像定位処理装置１では、コンパクトな仮想音像定位処理であっても、様々な頭部伝達関数を有するリスナーへも対応が可能になる。

なお、上記の仮想音像定位処理装置１の定位処理装置２は、ヘッドフォン３に内蔵されていても良い。すなわち、ステレオヘッドフォンを用いて上記の仮想音像定位処理方法を実現するものであれば、例えば、複数のＤＳＰを組み合わせる他のハードウェアによって実現しても良い。

図４は、仮想音像定位処理装置１の他の好ましい実施例である定位処理装置２を説明する図であり、定位処理装置２は、左チャンネル信号Ｌおよび右チャンネル信号Ｒを含むステレオ入力信号に対応して、実施例１での仮想音像定位処理を、実質的に２チャンネル分含んでいる。すなわち、定位処理装置２は、入力端子２０Ｌおよび２０Ｒを備えており、それぞれのステレオ入力信号を仮想音像定位処理して、水平方向での所定の音源方向±θｋにステレオ音源がそれぞれ頭外定位するように、出力端子２５Ｌおよび２５Ｒからヘッドフォン３に出力することができる。したがって、実施例１での説明と重複する部分については、説明および図示を省略する。

図４（ａ）の定位処理装置２は、左右のチャンネル毎に独立した反射音合成処理部１１Ｌおよび１１Ｒを備え、また、頭外定位処理部１２Ｌおよび１２Ｒの出力を加算する加算回路１９Ｌおよび加算回路１９Ｒを、さらに備えている。加算回路１９Ｌは、頭外定位処理部１２Ｌの近接耳側の出力と頭外定位処理部１２Ｒの遠隔耳側の出力とを加算し、加算回路１９Ｒは、頭外定位処理部１２Ｌの遠隔耳側の出力と頭外定位処理部１２Ｒの近接耳側の出力とを加算する。加算回路１９Ｌおよび加算回路１９Ｒの出力は、それぞれＤＳＰ１０が構成する信号処理部の左チャンネル出力および右チャンネル出力として、ＤＡＣ２１Ｌおよび２１Ｒと、ＡＭＰ２３Ｌおよび２３Ｒと、をそれぞれ介して出力端子２５Ｌおよび２５Ｒに出力されている。したがって、左チャンネル信号Ｌが水平方向でのリスナー４にとって左側（＋）θｋの角度の方向に頭外定位し、右チャンネル信号Ｒが水平方向でのリスナー４にとって右側（−）θｋの角度の方向に頭外定位する。

なお、図４（ａ）の定位処理装置２では、反射音合成処理部１１Ｌおよび１１Ｒと、頭外定位処理部１２Ｌおよび１２Ｒと、においては、それぞれのフィルタ回路、並びに、遅延回路に格納するフィルタ係数および遅延タップ係数を、左右チャンネルにおいて共通で使用することができる。頭外定位処理部１２Ｌおよび１２Ｒにおいて、第２フィルタ回路のＦＩＲフィルタのタップ数をＮ２、第３フィルタ回路のＦＩＲフィルタのタップ数をＮ３、とそれぞれすると、頭外定位処理の全体としては、２×（Ｎ２＋Ｎ３）回の積和演算が必要になる。

次に、図４（ｂ）の定位処理装置２について説明する。図４（ａ）および図４（ｂ）の定位処理装置２の相違点は、前者では、頭外定位処理部１２Ｌと頭外定位処理部１２Ｒとが別々に設けられてラティス型フィルタを構成しているのに対し、後者では、シャフラー型フィルタとして一体化された頭外定位処理部１２ＬＲを備える点である。仮想音像定位させる所定の音源方向±θｋが、正面方向を０°度とするリスナー４にとって左右対称な配置であるので、２つのラティス型フィルタである頭外定位処理部１２Lおよび１２Rは、一つのシャフラー型フィルタである頭外定位処理部１２ＬＲに簡単化できる。シャフラー型フィルタを採用すると、積和演算の回数を削減してコンパクトな仮想音像定位処理が可能になる利点がある。

頭外定位処理部１２ＬＲは、反射音合成処理部１１Ｌの出力と、反射音合成処理部１１Ｒの出力との和信号を生成する入力加算回路１２ａ１と、反射音合成処理部１１Ｌの出力から反射音合成処理部１１Ｒの出力を減算した差信号を生成する入力減算回路１２ａ２と、を備える。入力加算回路１２ａ１の出力信号は、後述する和信号フィルタ１２ｓｕｍに入力され、入力減算回路１２ａ２の出力信号は、後述する差信号フィルタ１２ｄｉｆに入力される。和信号フィルタ１２ｓｕｍの出力信号は、分岐された一方が加算回路１９Ｌに入力され、分岐された他方が加算回路１９Ｒに入力される。また、差信号フィルタ１２ｄｉｆの出力信号は、分岐された一方が加算回路１９Ｌに入力され、分岐された他方が、さらに位相反転されて加算回路１９Ｒに入力される。つまり、加算回路１９Ｌは、頭外定位処理部１２ＬＲの出力加算回路として機能し、加算回路１９Ｒは、頭外定位処理部１２ＬＲの出力減算回路として機能する。

和信号フィルタ１２ｓｕｍ、および、差信号フィルタ１２ｄｉｆは、頭外定位処理部１２での第２フィルタ回路のフィルタ係数ｈ２と、第２遅延回路の第２遅延タップ係数ｄ２と、第３フィルタ回路のフィルタ係数ｈ３と、から、マイコン５が係数演算処理して求めたフィルタ係数を、それぞれ格納して頭外定位処理を行う。和信号フィルタ１２ｓｕｍのフィルタ係数ｈｓｕｍは、フィルタ係数ｈ２と、第２遅延タップ係数ｄ２だけ零（０）を前に挿入したフィルタ係数ｈ３とを加算して、これに０．５を乗算して得ることができる。一方、差信号フィルタ１２ｄｉｆのフィルタ係数ｈｄｉｆは、フィルタ係数ｈ２から、第２遅延タップ係数ｄ２だけ零（０）を前に挿入したフィルタ係数ｈ３を減算して、これに０．５を乗算して得ることができる。第２遅延タップ係数ｄ２は、両耳間時間差に相当するタップ数であるので、フィルタ係数ｈｓｕｍならびにｈｄｉｆのＦＩＲフィルタのタップ数をＬとすると、ｄ２＜Ｎ２の場合にＬ＝（Ｎ２＋Ｎ３−ｄ２）＜（Ｎ２＋Ｎ３）、ｄ２＝Ｎ２の場合にＬ＝（Ｎ２＋Ｎ３）、そしてｄ２＞Ｎ２の場合にＬ＝（ｄ２＋Ｎ３）＞（Ｎ２＋Ｎ３）、となる。このシャフラー型フィルタでの１サンプル周期での積和算回数は２×Ｌ回となるので、ｄ２＜Ｎ２の場合は、ラティス型フィルタの場合より、積和算回数を削減することができる。

両耳でのインパルス応答には、その開始から０．７〜１．０ｍｓｅｃの間にその主たる成分要素が含まれているので、サンプリング周波数を４８kHzとすると、前記Ｎ２およびＮ３は、少なくとも３２〜４８程度を必要とするのに対し、両耳間時間差はそれが最も大きくなる９０°方向（真横方向）音源の場合で０．６〜０．７ｍｓｅｃ（２９〜３４タップ）、３０°方向の音源（通常のステレオ試聴形態に相当）の場合は０．２５〜０．３ｍｓｅｃ（１２〜１４タップ）である。したがって、ほとんどの場合において第２遅延タップ係数ｄ２の方が、第２フィルタ回路のＦＩＲフィルタのタップ数Ｎ２より短い（ｄ２＜Ｎ２）ので、図４（ａ）に示すラティス型フィルタの場合よりも、図４（ｂ）に示すシャフラー型フィルタの場合の方が、積和算回数を削減したコンパクトな仮想音像定位処理が可能になる。

図４（ｂ）の定位処理装置２の場合に、リスナー４の頭部伝達関数の個体差への対応にあたって、操作回路８からの変更指示がある場合には、マイコン５の係数演算処理部が、記憶していた一組のフィルタ係数ｈ１、ｈ２、ｈ３、および、遅延タップ係数ｄ１、ｄ２と、ゲイン係数ｇ３ａと、タップ数を変更した遅延タップ係数ｄ２ａと、に基づいて、新たな和信号フィルタ係数ｈｓｕｍ、および、差信号フィルタ係数ｈｄｉｆを演算する。そして、演算された信号フィルタ係数ｈｓｕｍ、および、差信号フィルタ係数ｈｄｉｆが、和信号フィルタ１２ｓｕｍ、および、差信号フィルタ１２ｄｉｆに格納されて、仮想音像定位処理が行われる。リスナー４毎に最適データを記憶する場合には、先の実施例と同様に、ゲイン係数ｇ３ａと、タップ数を変更した遅延タップ係数ｄ２ａと、を記憶しておくだけでよい。したがって、予め記憶させておくべき頭部伝達関数に基づくフィルタ係数ならびに遅延タップ係数の記憶容量が限定されているコンパクトな仮想音像定位処理装置１の場合であっても、リスナー４が任意にゲイン係数と遅延タップ係数とを調整でき、様々な頭部伝達関数を有するリスナーへも対応が可能になる。

リスナー４の頭部伝達関数の個体差への対応にあたって、ゲイン係数ｇ３ａと、タップ数を変更した遅延タップ係数ｄ２ａと、を調整する方法を説明する。まず最初に、正面からθkの水平角を持つ方向に定位すべき予めメモリ７に記憶してある基準の頭部伝達関数に基づくフィルタ係数ならびに遅延タップ係数を、信号処理部のそれぞれのフィルタ回路および遅延回路に格納する。次に、テスト信号（スピーチもしくは楽音が好ましい）を使用して、ヘッドフォン３から仮想定位処理したステレオ信号を再生し、リスナー４に提供する。リスナー４が正面からθkの角度の方向に頭外定位しているかどうかを知覚するとともに、操作回路８を操作するので、操作回路８に接続するマイコン５は、ゲイン係数ｇ３ａと、タップ数を変更した遅延タップ係数ｄ２ａと、操作回路８からのコマンド情報に基づいて調整して、新たな和信号フィルタ係数ｈｓｕｍ、および、差信号フィルタ係数ｈｄｉｆを演算し、再び信号処理部のそれぞれのフィルタ回路および遅延回路に格納する。その結果、調整した係数に基づいてリスナー４に仮想定位処理したステレオ信号を出力し、ヘッドフォン３を介してテスト音声を提供することができる。

このようにしてテスト音声を繰り返しリスナー４に提供して、ゲイン係数ｇ３ａおよび遅延タップ係数ｄ２ａの調整を進め、最も好ましい頭外定位感を得られる場合には、そのリスナー４の最適データとしてこれらの係数をメモリ７に記憶する。したがって、複数のリスナーがその仮想音像定位処理装置１を使用する場合であっても、マイコン５は、記憶させた特定のリスナー向けに調整したゲイン係数ｇ３ａおよび遅延タップ係数ｄ２ａを、メモリ７から読みだして係数演算処理を行うので、いずれのリスナーにとっても、良好な頭外定位感を得ることができる仮想音像定位処理装置１を、簡素なハードウェアおよびソフトウェアで実現できる。

図５は、仮想音像定位処理装置１のさらに他の好ましい実施例である定位処理装置２を説明する図であり、定位処理装置２は、前方左チャンネル信号Ｌおよび前方右チャンネル信号Ｒと、前方中央チャンネル信号Ｃと、サラウンド左チャンネル信号ＬＳおよびサラウンド右チャンネル信号ＲＳと、を含むマルチチャンネルサラウンド入力信号に対応している。すなわち、定位処理装置２は、入力端子２０Ｌおよび２０Ｒに加えて、入力端子２０Ｃと、入力端子２０ＬＳおよび２０ＲＳとを備えており、それぞれの入力信号を仮想音像定位処理して、水平方向での所定の音源方向にそれぞれ頭外定位するように、出力端子２５Ｌおよび２５Ｒからヘッドフォン３に出力することができる。なお、実施例１および２での説明と重複する部分については、説明および図示を省略する。

具体的には、前方左チャンネル信号Ｌおよび前方右チャンネル信号Ｒは、水平方向での音源方向±θｋ１に仮想定位される。θｋ１の絶対値は、５°〜４５°の範囲から選択され、好ましくは１０°〜３０°である。前方左チャンネル信号Ｌおよび前方右チャンネル信号Ｒについての仮想定位処理は、前述の実施例２の場合と同様であり、加算回路１９Ｌおよび加算回路１９Ｒの出力は、それぞれ加算回路１９ＬＯおよび加算回路１９ＲＯに入力される。なお、加算回路１９ＬＯおよび加算回路１９ＲＯの出力は、それぞれＤＳＰ１０が構成する信号処理部の左チャンネル出力および右チャンネル出力として、ＤＡＣ２１Ｌおよび２１Ｒと、ＡＭＰ２３Ｌおよび２３Ｒと、をそれぞれ介して出力端子２５Ｌおよび２５Ｒに出力される。その結果、前方左チャンネル信号Ｌの音像が、水平方向でのリスナー４にとって左側（＋）θｋ１の角度の方向に頭外定位し、前方右チャンネル信号Ｒの音像が、水平方向でのリスナー４にとって右側（−）θｋ１の角度の方向に頭外定位する。

また、前方中央チャンネル信号Ｃは、水平方向での正面である音源方向±０°に仮想定位される。前方中央チャンネル信号Ｃは、反射音合成処理部１１Ｃを経て頭外定位処理部１２Ｃに入力され、頭外定位処理部１２Ｃの出力は二つに分岐されて、それぞれ加算回路１９ＬＯおよび加算回路１９ＲＯに入力される。反射音合成処理部１１Ｃでの信号処理は、正面方向での直接音と遅延してくる床面反射音との関係を反映して、前方中央チャンネル信号Ｃに、遅延タップ係数ｄ１０だけ遅延してフィルタ係数ｈ１０を畳み込まれた信号を加算する。また、頭外定位処理部１２Ｃでの信号処理は、正面方向の頭外定位処理であるので、正面方向の頭部伝達関数を反映させるフィルタ係数ｈ２０をフィルタ回路で畳み込み、左右の出力信号に均等に分配する。したがって、前方中央チャンネル信号Ｃの音像は、フィルタ反射音合成処理部１１Ｃおよび頭外定位処理部１２Ｃでの仮想定位処理により、正面方向から到来する直接音成分と初期反射音成分とを反映して、正面方向に頭外定位する。

なお、前方中央チャンネル信号Ｃについては、上記の反射音合成処理部１１Ｃおよび頭外定位処理部１２Ｃを用いて水平方向での正面方向に頭外定位させる場合の他、前述の前方左チャンネル信号Ｌおよび前方右チャンネル信号Ｒに対する仮想定位処理を利用してもよい。すなわち、前方中央チャンネル信号Ｃを、それぞれ前方左チャンネル信号Ｌおよび前方右チャンネル信号Ｒに等しく分配して混合し、これらの前方左チャンネル信号Ｌおよび前方右チャンネル信号Ｒを、仮想定位処理すればよい。前方左チャンネル信号Ｌおよび前方右チャンネル信号Ｒにファントムセンター信号成分として含められていれば、前方中央チャンネル信号Ｃの音像が、水平方向でのリスナー４にとって左右±θｋ１の角度の中間である正面方向（±０°）に頭外定位する。

また、サラウンド左チャンネル信号ＬＳおよびサラウンド右チャンネル信号ＲＳは、水平方向での音源方向±θｋ２に仮想定位される。θｋ２の絶対値は、７５°〜１５０°の範囲から選択され、好ましくは９０°〜１２０°である。サラウンド左チャンネル信号ＬＳおよびサラウンド右チャンネル信号ＲＳについての仮想定位処理については、頭外定位する方向、ならびに、フィルタ処理ならびに遅延処理に用いる係数が異なる他は、前述の実施例２の場合と同様であるので、説明を省略する。加算回路１９ＬＳおよび加算回路１９ＲＳの出力は、それぞれ加算回路１９ＬＯおよび加算回路１９ＲＯに入力される。その結果、サラウンド左チャンネル信号ＬＳの音像が、水平方向でのリスナー４にとって左側（＋）θｋ２の角度の方向に頭外定位し、サラウンド右チャンネル信号ＲＳの音像が、水平方向でのリスナー４にとって右側（−）θｋ２の角度の方向に頭外定位する。

したがって、本実施例の仮想音像定位処理装置１のヘッドフォン３を装着したリスナー４には、床面反射音の到来方向を反映したサラウンド音場が頭外定位して再現される。台詞が含まれる前方中央チャンネル信号の音像が前方に頭外定位し、前方左右のチャンネル信号による前方音場が前方に頭外定位し、サラウンド左右のチャンネル信号によるサラウンド音場が側方もしくは後方に頭外定位するので、ヘッドフォン３でのステレオ音声再生にもかかわらず、良好な仮想音像定位を得られる。

なお、上記の仮想音像定位処理装置１の定位処理装置２は、５チャンネルのマルチチャンネルサラウンド信号の場合であるが、さらに、サラウンド左後方チャンネル信号ＬＳＢ、および、サラウンド右後方チャンネル信号ＲＳＢを加える７チャンネルのマルチチャンネルサラウンド信号の場合であってもよい。サラウンド左後方チャンネル信号ＬＳＢ、および、サラウンド右後方チャンネル信号ＲＳＢは、対応する仮想定位を実現する信号処理部を備えることで、水平方向での音源方向±θｋ３（θｋ３の絶対値は、１５０°〜１８０°の範囲から選択される）に仮想定位される。また、低音信号ＬＦＥが、加算されるものであってもよい。

また、図５の仮想音像定位処理装置１の定位処理装置２では、頭外定位処理部１２Ｌおよび１２Ｒと、頭外定位処理部１２ＬＳおよび１２ＲＳと、を、先の実施例２におけるラティス型フィルタで構成しているが、これらをそれぞれシャフラー型フィルタで構成しても良い。良好な頭外定位感を得ることができる仮想音像定位処理装置を、簡素なハードウェアおよびソフトウェアで実現できる。

また、本実施例の仮想音像定位処理装置１の定位処理装置２は、マルチチャンネルサラウンド信号の各チャンネル信号を、それぞれの入力端子２０Ｃ〜２０ＲＳに受けて動作するものでもよい。また、定位処理装置２は、（図示しない）マルチチャンネル音声増幅装置に内蔵されていても良い。ＤＳＰ１０が実現する信号処理部での信号処理は、上記いずれかの実施例に示した場合に限定されるものではない。ＤＳＰ１０がマルチチャンネルサラウンド信号のデコード回路を含む場合には、よりコンパクトな仮想定位処理が実現される。

本発明の仮想音像定位処理装置は、ヘッドフォンによる再生に限定されるものではない。リスナーの両耳に極めて近接して配置する左右のスピーカーを備えているヘッドレストを含み、近接耳側への伝達関数に比べて遠隔耳側への伝達関数が極めて小さく、再生条件がヘッドフォンとほぼ等価とみなせるような音響再生システムにも適する。

本発明の好ましい実施形態による仮想音像定位処理装置１について説明する図である。（実施例１） 本発明の音源方向θｋの頭部伝達関数を測定する方法を説明する概略図である。（実施例１） 本発明の測定された頭部伝達関数から、フィルタ係数および遅延タップ係数を算出する方法を説明する図である。（実施例１） 本発明の仮想音像定位処理装置１の他の好ましい実施例である定位処理装置２を説明する図である。（実施例２） 本発明の仮想音像定位処理装置１の他の好ましい実施例である定位処理装置２を説明する図である。（実施例３）

符号の説明

１ 仮想音像定位処理装置
２ 定位処理装置
３ ヘッドフォン
３１ 左スピーカー
３２ 右スピーカー
４ リスナー
５ マイコン
６ ＣＰＵ
７ メモリ
８ 操作回路
１０ ＤＳＰ
１１ 反射音合成処理部
１２ 頭外定位処理回路
１３ 第１加算回路
１４ 第１遅延回路
１５ 第１フィルタ回路
１６ 第２フィルタ回路
１７ 第２遅延回路
１８ 第３フィルタ回路
１９Ｌ、１９Ｒ 加算回路
２０ 入力端子
２１、２２ ＤＡＣ（デジタルアナログコンバータ）
２３、２４ ＡＭＰ（増幅器）
２５、２６ 出力端子
５０ ダミーヘッド
６０ 音源用スピーカー

Claims (8)

1. 仮想音像定位処理を施した左音声信号並びに右音声信号からなるステレオ音声信号を出力する信号処理部と、該ステレオ音声信号を再生するステレオヘッドフォンと、該信号処理部を制御する制御部と、を備える仮想音像定位処理装置であって、
   該信号処理部が、一の入力音声信号に反射音成分を合成する反射音合成処理部と、該反射音合成処理部からの出力にフィルタ処理を行って該左音声信号並びに該右音声信号をそれぞれ出力する頭外定位処理部と、を含み、
   該反射音合成処理部が、分岐した一方の該入力音声信号を入力とする第１加算回路と、分岐した他方の該入力音声信号を遅延処理する第１遅延回路と、該遅延させた入力音声信号にフィルタ処理を行い該第１加算回路に入力する第１フィルタ回路と、を有し、
   該頭外定位処理部が、分岐した一方の該反射音合成処理部からの出力を入力として該ステレオ音声信号の一方を出力する第２フィルタ回路と、分岐した他方の該反射音合成処理部からの出力を遅延処理する第２遅延回路と、該第２遅延回路の出力をフィルタ処理して該ステレオ音声信号の他方を出力する第３フィルタ回路と、を有し、
   該制御部が、該信号処理部の該フィルタ処理並びに該遅延処理に用いる係数を保持する記憶部を有し、
   該制御部が、水平方向での所定の音源方向における床面反射音を含む頭部伝達関数の測定結果に基づいて算出される一組のフィルタ係数ｈ１、ｈ２、ｈ３、並びに、遅延タップ係数ｄ１、ｄ２を、それぞれ、該第１フィルタ回路、該第２フィルタ回路、該第３フィルタ回路、並びに、該第１遅延回路、該第２遅延回路に格納し、
   該信号処理部の該反射音合成処理部および該頭外定位処理部が、仮想音像定位処理を行う、
   仮想音像定位処理装置。
2. 前記制御部の前記記憶部が、複数の前記音源方向に対応する複数の組の前記フィルタ係数、並びに、前記遅延タップ係数を保持するとともに、
   前記信号処理部が、複数の前記入力音声信号に対応する複数の前記反射音合成処理部および前記頭外定位処理部と、該複数の頭外定位処理部の一方の出力を加算して前記ステレオ音声信号の一方を出力する第２加算回路と、該複数の頭外定位処理部の他方の出力を加算して該ステレオ音声信号の他方を出力する第３加算回路と、を備え、該複数の入力音声信号をそれぞれ複数の該音源方向へ仮想音像定位させる仮想音像定位処理を行う、
   請求項１に記載の仮想音像定位処理装置。
3. 前記フィルタ係数、並びに、前記遅延タップ係数が、水平方向での所定の音源方向における床面反射音を含む前記頭部伝達関数の左右一組のインパルス応答の全体データと、該左右一組のインパルス応答に前側ウィンドウを用いた直接音データと、該左右一組のインパルス応答に後側ウィンドウを用いた床面反射音データと、に分離したデータと、に基づいて算出した係数であり、
   前記遅延タップ係数ｄ１が、該インパルス応答の全体データに含まれる前記直接音と該床面反射音との到来時間差から算出された遅延タップ係数であり、
   前記遅延タップ係数ｄ２が、該直接音データに含まれる近接耳側到来音と遠隔耳側到来音との到来時間差から算出された遅延タップ係数であり、
   前記フィルタ係数ｈ２が、該直接音データから算出された近接耳側の頭部伝達関数を表すＦＩＲフィルタ係数であり、
   前記フィルタ係数ｈ３が、該直接音データから該遅延タップ係数ｄ２を除した遠隔耳側の頭部伝達関数を表すＦＩＲフィルタ係数であり、
   前記フィルタ係数ｈ１が、該床面反射音データから該遅延タップ係数ｄ１および該フィルタ係数ｈ２を除した該床面反射音の伝達特性を表すＦＩＲフィルタ係数である、
   請求項２に記載の仮想音像定位処理装置。
4. 前記制御部の前記記憶部が、前記直接音と前記床面反射音との到来時間差を表す前記遅延タップ係数ｄ１が１．２ｍｓｅｃ以上２．０ｍｓｅｃ以下の時間に相当する範囲となる場合に、前記音源方向に対応する一組の前記フィルタ係数ｈ１、ｈ２、ｈ３、並びに、他の該遅延タップ係数ｄ２を保持する、
   請求項３に記載の仮想音像定位処理装置。
5. 前記制御回路が、前記フィルタ係数、並びに、前記遅延タップ係数の変更を操作する操作回路を有し、
   該制御回路が、前記一組のフィルタ係数ｈ１、ｈ２、ｈ３、並びに、前記遅延タップ係数ｄ１、ｄ２を、それぞれ、前記第１フィルタ回路、前記第２フィルタ回路、前記第３フィルタ回路、並びに、前記第１遅延回路、前記第２遅延回路に格納し、
   かつ、該操作回路からの変更指示がある場合に、ゲインを変更したフィルタ係数ｈ３ａ、並びに、タップ数を変更した遅延タップ係数ｄ２ａを格納する、
   請求項３または４に記載の仮想音像定位処理装置。
6. 前記制御回路が、前記操作回路からの変更指示がある場合に、前記一組のフィルタ係数並びに前記遅延タップ係数に関連づけて前記フィルタ係数ｈ３ａを演算したゲイン係数ｇ３ａ、並びに、タップ数を変更した遅延タップ係数ｄ２ａを記憶部に記憶するとともに、
   該操作回路から記録した変更指示を呼び出す場合に、記憶していた該一組のフィルタ係数および前記遅延タップ係数と、前記ゲイン係数ｇ３ａと、タップ数を変更した前記遅延タップ係数ｄ２ａと、をそれぞれ呼び出し、前記反射音合成処理部および前記頭外定位処理部に格納するフィルタ係数を演算して求める係数演算処理部をさらに備える、
   請求項３から５のいずれかに記載の仮想音像定位処理装置。
7. 前記頭外定位処理部が、前記第２フィルタ回路、前記第２遅延回路、および、前記第３フィルタ回路に代えて、２つの前記反射音合成処理部の出力の和信号を生成する入力加算回路ならびに差信号を生成する入力減算回路と、該和信号をフィルタ処理する和信号フィルタと、該差信号をフィルタ処理する差信号フィルタと、該和信号フィルタと該差信号フィルタの出力を加算する出力加算回路と、該和信号フィルタと該差信号フィルタの出力を減算する出力減算回路と、を有し、
   該制御回路の前記係数演算処理部が、一組のフィルタ係数ｈ１、ｈ２、ｈ３、並びに、遅延タップ係数ｄ１、ｄ２に基づいて、和信号フィルタ係数ｈｓｕｍ、および、差信号フィルタ係数ｈｄｉｆを演算して該和信号フィルタと該差信号フィルタとに格納し、
   該制御回路の該係数演算処理部が、前記操作回路からの変更指示がある場合に、記憶していた該一組のフィルタ係数および前記遅延タップ係数と、前記ゲイン係数ｇ３ａと、タップ数を変更した前記遅延タップ係数ｄ２ａと、に基づいて、該和信号フィルタ係数ｈｓｕｍ、および、差信号フィルタ係数ｈｄｉｆを演算する、
   請求項６に記載の仮想音像定位処理装置。
8. 仮想音像定位処理を施した左音声信号並びに右音声信号からなるステレオ音声信号を、ステレオヘッドフォンで再生する仮想音像定位処理方法であって、
   該仮想音像定位処理に用いる係数として、水平方向での所定の音源方向における床面反射音を含む頭部伝達関数の測定結果に基づいて算出される一組のフィルタ係数ｈ１、ｈ２、ｈ３、並びに、遅延タップ係数ｄ１、ｄ２を、それぞれ、第１フィルタ回路、第２フィルタ回路、第３フィルタ回路、並びに、第１遅延回路、第２遅延回路に格納する処理と、
   一の入力音声信号に反射音成分を合成する反射音合成処理と、該反射音合成処理した出力信号にフィルタ処理を行って該左音声信号並びに該右音声信号をそれぞれ出力する頭外定位処理と、を含み、
   該反射音合成処理は、分岐した一方の該入力音声信号を第１加算回路への入力とし、分岐した他方の該入力音声信号を該第１遅延回路で遅延処理し、該遅延させた入力音声信号に該第１フィルタ回路でフィルタ処理を行い該第１加算回路に入力する処理を含み、
   該頭外定位処理は、分岐した一方の該反射音合成処理した出力を第２フィルタ回路への入力として該ステレオ音声信号の一方を出力し、分岐した他方の該反射音合成処理からの出力を該第２遅延回路で遅延処理し、該第２遅延回路の出力を該第３フィルタ回路でフィルタ処理して該ステレオ音声信号の他方を出力する処理を含む、
   仮想音像定位処理方法。

Images