[この発明の実施形態の概要]
上述したように、従来の頭部伝達関数の畳み込み方法においては、仮想音像定位させたいとして想定された音源位置にスピーカを設置して、当該想定された音源位置からの直接波によるインパルスレスポンスのみではなく、必ず、反射波によるインパルスレスポンスを伴うものとして(直接波と反射波とのインパルスレスポンスを分離できずに両者を含むものとして)頭部伝達関数を測定し、当該測定して得た頭部伝達関数をそのまま音声信号に畳み込むようにしていた。
すなわち、従来は、仮想音像定位させたいとして想定された音源位置からの直接波の頭部伝達関数と反射波の頭部伝達関数とを分離して測定してはおらず、両者が含まれる総合的な頭部伝達関数として測定していた。
これに対して、この発明の実施形態においては、仮想音像定位させたいとして想定された音源位置からの直接波の頭部伝達関数と反射波の頭部伝達関数とを分離して測定しておくようにする。
このため、この実施形態では、測定点位置から見て、特定の方向に想定される想定音源位置からの直接波(つまり、反射波を含まない直接に測定点位置に到達する音波)についての頭部伝達関数を得るようにする。反射波の頭部伝達関数は、壁などで反射した後の音波の方向を音源方向として、その音源方向からの直接波として測定するようにする。すなわち、所定の壁に反射して測定点位置に入射する反射波を考えた場合、壁で反射した後の壁からの反射音波は、当該壁での反射位置方向に想定した音源からの音波の直接波として考えることができるからである。
したがって、この実施形態では、仮想音像定位させたいとして想定された音源位置からの直接波の頭部伝達関数を測定するときには、当該仮想音像定位させたいとして想定された音源位置に測定用音波の発生手段としての電気音響変換器、例えばスピーカを配置するが、仮想音像定位させたいとして想定された音源位置からの反射波の頭部伝達関数を測定するときには、測定しようとする反射波の測定点位置への入射方向に、測定用音波の発生手段としての電気音響変換器、例えばスピーカを配置するようにする。
したがって、種々の方向からの反射波についての頭部伝達関数は、それぞれの反射波の測定点位置への入射に、測定用音波の発生手段としての電気音響変換器を設置して測定するようにする。
そして、この実施形態では、以上のようにして測定した直接波および反射波についての頭部伝達関数を音声信号に畳み込むことにより、目的とする再生音響空間における仮想音像定位を得るようにするのであるが、反射波の頭部伝達関数は、目的とする再生音響空間に応じて選択した方向の反射波についてのみ、音声信号に畳み込むようにする。
また、この実施形態では、直接波および反射波についての頭部伝達関数は、測定用音源位置から測定点位置までの音波の経路長に応じた伝播遅延分は、除去して測定するようにし、音声信号に、それぞれの頭部伝達関数を畳み込み処理する際に、測定用音源位置(仮想音像定位位置)から測定点位置(再生用音響再生手段位置)までの音波の経路長に応じた伝播遅延分を考慮するようにする。
これにより、部屋の大きさなどに応じて任意に設定した仮想音像定位位置についての頭部伝達関数を、音声信号に畳み込むことが可能となる。
そして、反射音波の減衰率に関連する壁の材質などによる反射率あるいは吸音率などの特性は、当該壁からの直接波の利得として想定するようにする。すなわち、この実施形態では、例えば想定音源位置からの測定点位置への直接波による頭部伝達関数を、減衰無しで、音声信号に畳み込むと共に、壁からの反射音波成分については、その壁の反射位置方向に想定された音源からの直接波による頭部伝達関数を、壁の特性に応じた反射率あるいは吸音率に応じた減衰率で畳み込むようにする。
このように頭部伝達関数を畳み込んだ音声信号の再生音を聴取するようにすれば、壁の特性に応じた反射率あるいは吸音率により、どのような仮想音像定位の状態になるかを検証することができる。
また、直接波の頭部伝達関数と、選択した反射波についての頭部伝達関数とを、減衰率を考慮しつつ、音声信号に畳み込んで音響再生することで、様々な部屋環境、場所環境における仮想音像定位をシミュレーションすることもできる。これは、想定音源位置からの直接波と、反射波とを分離して、頭部伝達関数として測定することにより実現が可能となったものである。
[頭部伝達関数測定方法の実施形態]
前述したように、特定の音源からの、反射波成分を除く直接波のみについての頭部伝達関数は、例えば無響室で測定することで得ることができる。そこで、無響室において、希望する仮想音像定位位置からの直接波と、想定される複数の反射波について、頭部伝達関数を測定して、畳み込みに用いるようにする。
すなわち、無響室において、リスナの両耳近傍の測定点位置に、測定用音波を収音する音響電気変換手段としてのマイクロホンを設置すると共に、前記直接波および前記複数の反射波の方向の位置に測定用音波を発生する音源を設置して、頭部伝達関数の測定をするようにする。
ところで、無響室で頭部伝達関数を得たとしても、頭部伝達関数を測定する測定系のスピーカとマイクロホンの特性は排除することはできず、そのため、測定して得た頭部伝達関数は、測定に用いたスピーカやマイクロホンの特性の影響を受けてしまうという問題がある。
マイクロホンやスピーカの特性の影響を除去するためには、頭部伝達関数の測定に用いるマイクロホンおよびスピーカとして、周波数特性が平坦な、特性の良い高価なマイクロホンおよびスピーカを用いることが考えられる。しかしながら、高価なマイクロホンやスピーカであっても、理想的な平坦な周波数特性は得られず、これらマイクロホンやスピーカの特性の影響を完全に除去することができず、再生音声の音質の劣化を招いてしまうことがあった。
また、測定系のマイクロホンやスピーカの逆特性を用いて、頭部伝達関数を畳み込んだ後の音声信号に対して補正をすることで、マイクロホンやスピーカの特性の影響を除去するようにすることも考えられるが、その場合には、音声信号再生回路に、当該補正回路を設けなければならず、構成が複雑になると共に、測定系の影響を完全に除去する補正は困難であるという問題がある。
以上の問題点を考慮して、測定する部屋や場所の影響を取り除くために、この実施形態では、無響室において頭部伝達関数を測定すると共に、測定に用いるマイクロホンやスピーカの特性の影響を除去するために、以下に説明するような正規化処理を、測定して得た頭部伝達関数に施すようにする。最初に、この実施形態における頭部伝達関数測定方法の実施形態を、図を参照しながら説明する。
図1は、この発明の実施形態における頭部伝達関数測定方法に用いる正規化頭部伝達関数のデータを取得するための処理手順を実行するシステムの構成例を示すブロック図である。
頭部伝達関数測定手段10では、直接波のみの頭部伝達特性を測定するために、この例では、無響室において頭部伝達関数の測定を行う。そして、頭部伝達関数測定手段10においては、無響室において、前述した図30のように、リスナ位置にダミーヘッドまたはリスナとしての人間そのものを配置すると共に、当該ダミーヘッドまたは人間の両耳の近傍であって、頭部伝達関数を畳み込んだ音声信号を音響再生する電気音響変換手段が配置される位置(測定点位置)に、測定用音波を収音する音響電気変換手段としてのマイクロホンを設置する。
頭部伝達関数を畳み込んだ音声信号を音響再生する電気音響変換手段が、例えば左右2チャンネルのヘッドホンである場合には、左チャンネルのヘッドホンドライバーの位置に左チャンネル用のマイクロホンが、右チャンネルのヘッドホンドライバーの位置に右チャンネル用のマイクロホンが、それぞれ設置される。
そして、リスナあるいは測定点位置であるマイクロホン位置を基点として、頭部伝達関数を測定しようとする方向に、測定用音波を発生する音源の例としてのスピーカを設置する。この状態で、このスピーカにより頭部伝達関数の測定用音波、この例ではインパルスを再生して、2個のマイクロホンで、そのインパルスレスポンスをピックアップする。なお、測定用音源としてのスピーカが設置される、頭部伝達関数を測定したい方向の位置を、以下の説明においては、想定音源位置と称することにする。
この頭部伝達関数測定手段10において、2個のマイクロホンから得られるインパルスレスポンスは、頭部伝達関数を表わすものとなっている。
素の状態の伝達特性測定手段20においては、頭部伝達関数測定手段10と同一環境において、リスナ位置に前記ダミーヘッドまたは前記人間が存在しない、つまり、測定用音源位置と測定点位置との間に障害物が存在しない素の状態の伝達特性の測定を行う。
すなわち、素の状態の伝達特性測定手段20においては、無響室において、頭部伝達関数測定手段10では設置されていたダミーヘッドまたは人間を除去して、想定音源位置のスピーカとマイクロホンとの間に障害物がない素の状態にし、そして、想定音源位置のスピーカやマイクロホンの配置は、頭部伝達関数測定手段10における状態と全く同じ状態として、その状態で、想定音源位置のスピーカにより測定用音波、この例ではインパルスを再生して、2個のマイクロホンで、そのインパルスレスポンスをピックアップする。
この素の状態の伝達特性測定手段20で2個のマイクロホンから得られるインパルスレスポンスは、ダミーヘッドや人間などの障害物が存在しない素の状態における伝達特性を表わすものとなっている。
なお、頭部伝達関数測定手段10および素の状態の伝達特性測定手段20においては、直接波について、2個のマイクロホンのそれぞれから前述した左、右主成分の頭部伝達関数および素の状態の伝達特性と、左右のクロストーク成分の頭部伝達関数および素の状態の伝達特性とが得られる。そして、主成分と、左右のクロストーク成分のそれぞれについて、後述する正規化処理が同様になされるものである。以下の説明では、簡単のため、例えば主成分についてのみの正規化処理についての説明し、クロストーク成分についての正規化処理についての説明は省略する。なお、クロストーク成分についても、同様にして正規化処理が行われるのは言うまでもない。
頭部伝達関数測定手段10および素の状態の伝達特性測定手段20で取得したインパルスレスポンスは、この例では、サンプリング周波数が96kHzで、8192サンプルのデジタルデータとして、出力される。
ここで、頭部伝達関数測定手段10から得られる頭部伝達関数のデータは、X(m)、ただし、m=0,1,2・・・,M−1(M=8192)と表わし、また、素の状態の伝達特性測定手段20から得られる素の状態の伝達特性のデータは、Xref(m)、ただし、m=0,1,2・・・,M−1(M=8192)と表わすこととする。
頭部伝達関数測定手段10からの頭部伝達関数のデータX(m)および素の状態の伝達特性測定手段20からの素の状態の伝達特性のデータXref(m)は、それぞれ遅延除去頭詰め部31および32で、想定音源位置のスピーカからの音波の、インパルスレスポンス取得用のマイクロホンへの到達時間に相当する遅延時間分だけ、前記スピーカでインパルスが再生開始された時点からの頭の部分のデータが除去され、また、遅延除去頭詰め部31および32では、次段(次工程)での時間軸データから周波数軸データへの直交変換の処理が可能なように、データ数が、2のべき乗のデータ数に削減される。
次に、遅延頭詰め部31および32でデータ数が削減された頭部伝達関数のデータX(m)および素の状態の伝達特性のデータXref(m)は、それぞれFFT(Fast Fourier Transform)部33および34に供給されて、時間軸データから周波数軸データに変換される。なお、この実施形態では、FFT部33および34においては、位相を考慮した複素高速フーリエ変換(複素FFT)処理を行うものである。
FFT部33での複素FFT処理により、頭部伝達関数のデータX(m)は、実部R(m)および虚部jI(m)からなるFFTデータ、すなわち、R(m)+jI(m)に変換される。
また、FFT部34での複素FFT処理により、素の状態の伝達特性のデータXref(m)は、実部Rref(m)および虚部jIref(m)からなるFFTデータ、すなわち、Rref(m)+jIref(m)に変換される。
FFT部33および34で得られるFFTデータは、X−Y座標データであるが、この実施形態では、このFFTデータは、さらに、極座標変換部35および36において、極座標のデータに変換される。すなわち、頭部伝達関数のFFTデータR(m)+jI(m)は、極座標変換部35により、大きさ成分である動径γ(m)と、角度成分である偏角θ(m)とに変換される。そして、この極座標データである動径γ(m)と、偏角θ(m)とが、正規化およびX−Y座標変換部37に送られる。
また、素の状態の伝達特性のFFTデータRref(m)+jIref(m)は、極座標変換部35により、動径γref(m)と、偏角θref(m)とに変換される。そして、この極座標データである動径γref(m)と、偏角θref(m)とが、正規化およびX−Y座標変換部37に送られる。
正規化およびX−Y座標変換部37では、先ず、ダミーヘッドまたは人間を含んで測定された頭部伝達関数を、ダミーヘッドなどの障害物がない素の状態の伝達特性を用いて正規化する。ここで、正規化処理の具体的な演算は、次の通りである。
すなわち、正規化処理後の動径をγn(m)、正規化処理後の偏角をθn(m)とすると、
γn(m)=γ(m)/γref(m)
θn(m)=θ(m)−θref(m)
・・・(式1)
となる。
そして、正規化およびX−Y座標変換部37では、正規化処理後の極座標系のデータ、すなわち、動径γn(m)および偏角θn(m)を、X−Y座標系の実部Rn(m)および虚部jIn(m)(m=0,1・・・M/4−1)からなる周波数軸データの正規化頭部伝達関数データに変換する。
このX−Y座標系の周波数軸データの正規化頭部伝達関数データは、逆FFT部38で、時間軸の正規化頭部伝達関数データであるインパルスレスポンスXn(m)に変換する。この逆FFT部38では、複素逆高速フーリエ変換(複素逆FFT)処理を行う。
すなわち、
Xn(m)=IFFT(Rn(m)+jIn(m))
ただし、m=0,1,2・・・,M/2−1
なる演算が逆FFT(IFFT(Inverse Fast Fourier Transform))部38で行われ、時間軸の正規化頭部伝達関数データであるインパルスレスポンスXn(m)が得られる。
この逆FFT部38からの正規化頭部伝達関数のデータXn(m)は、IR(インパルスレスポンス)簡略化部39において、処理可能(後述する畳み込み可能)なインパルス特性のタップ長に簡略化する。この実施形態では、600タップ(逆FFT部38からのデータの頭から600個のデータ)に簡略化する。
このIR簡略化部39で簡略化された正規化頭部伝達関数のデータXn(m)(m=0,1・・・599)は、後述する畳み込み処理のために、正規化頭部伝達関数メモリ40に書き込まれる。なお、この正規化頭部伝達関数メモリ40に書き込まれる正規化頭部伝達関数は、各想定音源位置(仮想音像定位位置)毎のそれぞれにおいて、主成分の正規化頭部伝達関数と、クロストーク成分の正規化頭部伝達関数とを含むことは前述した通りである。
以上の説明は、リスナ位置に対して特定の1方向において、測定点位置であるマイクロホン位置から所定距離だけ離れた1箇所の想定音源位置に、測定用音波の例としてのインパルスを再生するスピーカを設置した場合において、当該スピーカ位置に対する正規化頭部伝達関数を取得する処理の説明である。
この実施形態では、測定用音波の例としてのインパルスを再生するスピーカの設置位置である想定音源位置を、測定点位置に対して異なる方向に種々変更して、以上と同様にして、各想定音源位置に対する正規化頭部伝達関数を取得するようにする。
すなわち、この実施形態では、仮想音像定位位置からの直接波のみではなく、反射波についての頭部伝達関数を取得するようにするため、反射波の測定点位置への入射方向を考慮して、複数個の位置に想定音源位置を設定して、その正規化頭部伝達関数を求めるようにする。
ここで、スピーカ設置位置である想定音源位置は、リスナの左右の壁からの反射波についての正規化頭部伝達関数を求めるために、水平面内において、測定点位置であるマイクロホン位置あるいはリスナを中心にした360度または180度の角範囲を、得ようとする反射波の方向についての必要な分解能を考慮して、例えば10度角間隔毎に変化させて設定するようにする。
同様に、スピーカ設置位置である想定音源位置は、天井または床からの反射波についての正規化頭部伝達関数を求めるために、垂直面内において、測定点位置であるマイクロホン位置あるいはリスナを中心にした360度または180度の角範囲を、得ようとする反射波の方向についての必要な分解能を考慮して、例えば10度角間隔毎に変化させて設定するようにする。
360度の角範囲を考慮する場合は、直接波としての仮想音像定位位置がリスナの後方にも存在する、例えば5,1チャンネル,6.1チャンネル,7.1チャンネルなどのマルチチャンネルサラウンド音声を再生する場合を想定した場合、また、リスナの後方の壁からの反射波を考慮する場合である。180度の角範囲を考慮する場合は、直接波としての仮想音像定位位置がリスナの前方にのみ存在し、また、リスナの後方の壁からの反射波を考慮しなくて良い状態を想定した場合である。
また、この実施形態では、リスナに実際に再生音を供給するヘッドホンのドライバーなどの音響再生ドライバーの位置に応じて、頭部伝達関数および素の状態の伝達特性の測定手段10および20におけるマイクロホンの設置位置を変えるようにする。
図2は、リスナに実際に再生音を供給する電気音響変換手段としての音響再生手段がインナーヘッドホンの場合における頭部伝達関数および素の状態の伝達特性の測定位置(想定音源位置)および測定点位置としてのマイクロホン設置位置を説明するための図である。
すなわち、図2(A)は、リスナに再生音を供給する音響再生手段がインナーヘッドホンである場合における頭部伝達関数測定手段10での測定状態を示すもので、リスナ位置にはダミーヘッドまたは人間OBを配置する。そして、想定音源位置においてインパルスを再生するスピーカは、丸印P1、P2、P3、・・・で示すように、この例では、リスナ位置またはインナーヘッドホンの2個のドライバー位置の中心位置を中心にして、10度角間隔毎の、頭部伝達関数を測定したい方向の所定位置に配置する。
また、このインナーヘッドホンの場合の例においては、2個のマイクロホンML,MRは、図2(A)に示すように、ダミーヘッドまたは人間の耳の耳殻内位置に設置するようにする。
図2(B)は、リスナに再生音を供給する音響再生手段がインナーヘッドホンである場合における素の状態の伝達特性測定手段20での測定状態を示すもので、図2(A)におけるダミーヘッドまたは人間OBを除去した測定環境の状態を示している。
上述の正規化処理は、図2(A)において、丸印P1、P2、P3、・・・で示す想定音源位置のそれぞれにおいて測定した頭部伝達関数を、図2(B)において、同じ想定音源位置P1、P2、P3、・・・のそれぞれにおいて測定した素の状態の伝達特性で、それぞれ正規化することによりなされる。つまり、例えば、想定音源位置P1で測定した頭部伝達関数は、同じ想定音源位置P1で測定した素の状態の伝達特性で正規化するようにする。
次に、図3は、リスナに実際に再生音を供給する音響再生手段がオーバーヘッドホンの場合における頭部伝達関数および素の状態の伝達特性を測定するときの想定音源位置およびマイクロホン設置位置を説明するためのものである。この図3の例のオーバーヘッドホンでは、左右の耳用としてそれぞれヘッドホンドライバーが1個ずつとされている。
すなわち、図3は、リスナに再生音を供給する音響再生手段がオーバーヘッドホンである場合における頭部伝達関数測定手段10での測定状態を示すもので、リスナ位置にはダミーヘッドまたは人間OBを配置する。そして、インパルスを再生するスピーカは、丸印P1、P2、P3、・・・で示すように、リスナ位置またはオーバーヘッドホンの2個のドライバー位置の中心位置を中心にして、例えば10度角間隔毎の、頭部伝達関数を測定したい方向の想定音源位置に配置する。また、2個のマイクロホンML,MRは、図3に示すように、ダミーヘッドまたは人間の耳の耳殻に対向した耳の近傍位置に設置するようにする。
この音響再生手段がオーバーヘッドホンの場合における素の状態の伝達特性の測定手段20での測定状態は、図3におけるダミーヘッドまたは人間OBを除去した測定環境となる。この場合にも、頭部伝達関数および素の状態での伝達特性の測定および前記正規化処理は、図2の場合と同様にしてなされるのは言うまでもない。
次に、図4は、例えばリスナが座る椅子のヘッドレスト部分に、リスナに再生音を供給する音響再生手段としての電気音響変換手段、例えばスピーカを配置する場合における頭部伝達関数および素の状態の伝達特性を測定するときの想定音源位置およびマイクロホン設置位置を説明する図である。
図4の例では、リスナの頭部後方の左右に2個のスピーカを配置して音響再生する場合における頭部伝達関数および素の状態の伝達特性を測定するようにする。
すなわち、図4は、リスナに再生音を供給する音響再生手段が、椅子のヘッドレスト部分の左右に設置された2個のスピーカである場合における頭部伝達関数測定手段10での測定状態を示すものである。リスナ位置にはダミーヘッドまたは人間OBを配置する。そして、インパルスを再生するスピーカは、丸印P1、P2、P3、・・・で示すように、リスナ位置または椅子のヘッドレスト部分に設置された2個スピーカ位置の中心位置を中心にして、例えば10度角間隔毎の、頭部伝達関数を測定したい方向の想定音源位置に配置する。
また、2個のマイクロホンML,MRは、図4に示すように、椅子のヘッドレストに取り付けられる2個のスピーカの設置位置に相当する、ダミーヘッドまたは人間の頭部後方にであってリスナの耳の近傍位置に設置するようにする。
この音響再生手段が、椅子のヘッドレストに取り付けられる電気音響変換ドライバーの場合における素の状態の伝達特性の測定手段20での測定状態は、図4におけるダミーヘッドまたは人間OBを除去した測定環境となる。この場合にも、頭部伝達関数および素の状態での伝達特性の測定および前記正規化処理は、図2の場合と同様にしてなされるのは言うまでもない。
次に、図5は、リスナに再生音を供給する音響再生手段がオーバーヘッドホンであって、7.1チャンネルマルチサラウンド用として、左右の耳のそれぞれに対して、7個ずつのヘッドホンドライバーユニットが配置されるオーバーヘッドホンである場合における頭部伝達関数および素の状態の伝達特性を測定するときの想定音源位置およびマイクロホン設置位置を説明する図である。
図5の例では、左右の耳用の7個ずつのヘッドホンドライバーに対応する位置に、7個ずつのマイクロホンML1,ML2,ML3,ML4,ML5,ML6,ML7およびMR1,MR2,MR3,MR4,MR5,MR6,MR7が、それぞれ、リスナの左、右の耳に対向して配置される。
そして、インパルスを再生するスピーカは、上述の場合と同様に、丸印P1、P2、P3、・・・で示すように、リスナ位置または7個のマイクロホン位置の中心位置を中心にして、例えば10度角間隔毎の、頭部伝達関数を測定したい方向の想定音源位置に配置する。
そして、各想定音源位置においてスピーカで再生された測定用音波としてのインパルスが、マイクロホンML1〜ML7およびMR1〜MR7のそれぞれで収音される。そして、リスナ位置にダミーヘッドや人間が存在する状態では、マイクロホンML1〜ML7およびMR1〜MR7のそれぞれの出力音声信号から、頭部伝達関数が得られる。また、リスナ位置にダミーヘッドや人間が存在しない素の状態では、マイクロホンML1〜ML7およびMR1〜MR7のそれぞれの出力音声信号から、素の状態の伝達特性が得られる。そして、上述したようにして、頭部伝達関数と素の状態の伝達特性とから、正規化頭部伝達関数がそれぞれ求められ、正規化頭部伝達関数メモリ40に記憶される。
この図5の例の場合、マイクロホンML1〜ML7およびMR1〜MR7のそれぞれの出力音声信号からは、各想定音源方向位置に仮想音像定位させるようにする際に、それぞれのマイクロホンが対応するヘッドホンドライバーユニットに供給する音声信号に畳み込むべき正規化頭部伝達関数が得られることになる。
以上により、正規化頭部伝達関数メモリ40に書き込まれた正規化頭部伝達関数としては、無響室において、図2〜図5に示したような、リスナ頭部の中心位置や、再生時にリスナに音声を供給する電気音響変換手段の中心位置を中心として、例えば10度角間隔ずつ離れた仮想音源位置からのインパルスレスポンスを測定したので、それぞれの仮想音源位置からの反射波を除く直接波のみについての頭部伝達関数を得ることができる。
そして、取得された正規化頭部伝達関数は、インパルスを発生したスピーカの特性や、インパルスをピックアップしたマイクロホンの特性が、正規化処理により、排除されたものとなる。
さらに、取得された正規化頭部伝達関数は、この例では、遅延除去頭詰め部31,32において、インパルスを発生するスピーカ位置(想定音源位置)と、インパルスをピックアップするマイクロホン位置(想定ドライバー位置)との距離に対応する遅延が除去されたものであるので、インパルスを発生するスピーカ位置(想定音源位置)と、インパルスをピックアップするマイクロホン位置(想定ドライバー位置)との距離に無関係となる。つまり、取得された正規化頭部伝達関数は、インパルスをピックアップするマイクロホン位置(想定ドライバー位置)から見て、インパルスを発生するスピーカ位置(想定音源位置)の方向のみに応じた頭部伝達関数となる。
したがって、直接波について、正規化頭部伝達関数を、音声信号に畳み込むときには、音声信号に対して、仮想音像定位位置と想定ドライバー位置との距離に応じた遅延を付与することにより、想定ドライバー位置に対する想定音源位置の方向の、前記遅延に応じた距離位置を、仮想音像定位位置として音響再生させることができる。また、想定音源位置方向からの反射波については、仮想音像定位させたい位置から壁などの反射部で反射され、前記想定音源位置方向から想定ドライバー位置に入射するまでの音波の経路長に応じた遅延を音声信号に施して、正規化頭部伝達関数を畳み込むようにすればよい。
つまり、直接波および反射波について、正規化頭部伝達関数を音声信号に畳み込むときには、音声信号に対して、仮想音像定位させたい位置から、想定ドライバー位置に入射するまでの音波の経路長に応じた遅延を音声信号に施すようにするものである。
なお、頭部伝達関数測定方法の実施形態を説明するための図1のブロック図における信号処理は、全てDSP(Digital Signal Processor)で行うことができる。その場合において、頭部伝達関数測定手段10および素の状態の伝達特性測定手段20における頭部伝達関数のデータX(m)および素の状態の伝達特性のデータXref(m)の取得部と、遅延除去頭詰め部31,32、FFT部33,34、極座標変換部35,36、正規化およびX−Y座標変換部37、逆FFT部38およびIR簡略部39は、それぞれをDSPで構成しても良いし、全体の信号処理を、まとめて1個あるいは複数個のDSPで構成するようにしてもよい。
なお、上述の図1の例では、頭部伝達関数の後述する畳み込みの処理量を削減するため、正規化頭部伝達関数や素の状態での伝達特性のデータについては、遅延除去頭詰め部31,32で、想定音源位置とマイクロホン位置との間の距離に対応する遅延時間分の先頭データを除去して、頭詰めするようにしており、このデータの除去処理を、例えばDSPの内部メモリを用いて行うようにする。しかし、この遅延除去頭詰め処理は行わなくても良い場合は、DSPでは、元のデータを、そのまま、8192サンプルのデータで処理を行うようにする。
また、IR簡略部39は、頭部伝達関数を後述する畳み込みの処理する際における畳み込み処理量を削減するためのもので、これは、省略することもできる。
さらに、上述の実施形態において、FFT部33,34からのX−Y座標系の周波数軸データを、極座標系の周波数データに変換したのは、X−Y座標系の周波数データのままでは、正規化処理ができなかった場合があることを考慮したものであり、理想的な構成であれば、X−Y座標系の周波数データのままでも正規化処理は可能である。
なお、上述の例では、種々の仮想音像定位位置およびその反射波の想定ドライバー位置への入射方向を想定して、多数の想定音源位置についての正規化頭部伝達関数を求めるようにした。このように多数の想定音源位置についての正規化頭部伝達関数を求めたのは、後で、必要な想定音源位置の方向の頭部伝達関数を、その中から選択することができるようにするためである。しかし、予め、仮想音像定位位置が固定されており、かつ、反射波の入射方向も定まっている場合には、その固定された仮想音像定位位置や反射波の入射方向の想定音源位置のみに対する正規化頭部伝達関数を求めるようにしても勿論良い。
なお、複数の想定音源位置からの直接波のみについての頭部伝達関数および素の状態の伝達特性を測定するために、上述の実施形態では、無響室において測定を行うようにしたが、無響室ではなく、反射波が含まれる部屋や場所であっても、当該反射波が直接波に対して大きく遅延している場合には、直接波成分のみを時間ウインドーを掛けて、抽出するようにすることもできる。
また、想定音源位置でスピーカで発生する頭部伝達関数の測定用音波を、インパルスではなく、TSP(Time Stretched Pulse)信号とすることで、無響室ではなくても、反射波を除去して、直接波のみについての頭部伝達関数および素の状態の伝達特性を測定することができる。
[正規化頭部伝達関数を用いることによる効果の検証]
実際に頭部伝達関数の測定に用いたスピーカおよびマイクロホンを含む測定系の特性を、図6に示す。すなわち、図6(A)は、ダミーヘッドや人間などの障害物を入れない状態で、スピーカにより、0から20kHzまでの周波数信号の音を、同じ一定レベルで再生し、マイクロホンでピックアップしたときの、当該マイクロホンからの出力信号の周波数特性である。
ここで使用したスピーカは、業務用のかなり特性の良いとされるスピーカであるが、それでも、図6(A)に示すような特性を有し、平坦な周波数特性とならない。また、実際にも、この図6(A)の特性は一般的なスピーカの中ではかなりフラットな部類に属される優秀な特性とされている。
従来は、このスピーカおよびマイクロホンの系の特性が、頭部伝達関数に付加された状態であり、それが除去されないので、頭部伝達関数を畳み込んで得られる音の特性や音質が、そのスピーカおよびマイクロホンの系の特性に左右されてしまうことになる。
図6(B)は、同じ条件で、ダミーヘッドや人間などの障害物を入れた状態におけるマイクロホンからの出力信号の周波数特性である。1200Hz付近や10kHz付近で大きなディップが生じ、かなり変動する周波数特性となることが分かる。
図7(A)は、図6(A)の周波数特性と、図6(B)の周波数特性とを重ねて示した周波数特性図である。
これに対して図7(B)は、上述したような実施形態により、正規化した頭部伝達関数の特性を示すものである。この図7(B)から、正規化した頭部伝達関数の特性においては、低域においても、ゲインは下がらない特性となっていることが分かる。
上述したこの発明の実施形態においては、複素FFT処理を行い、位相成分を考慮した正規化頭部伝達関数を用いるようにしているので、位相を考慮せずに、振幅成分のみを用いて正規化した頭部伝達関数を用いた場合に比べて、正規化頭部伝達関数の忠実度が高いという特徴がある。
すなわち、位相を考慮せずに振幅のみを正規化する処理を行い、最終的に用いるインパルス特性を再度FFTして特性を取ったものを、図8に示す。この図8と、この実施形態の正規化頭部伝達関数の特性である図7(B)とを比較参照すると分かるように、頭部伝達関数X(m)と、素の状態の伝達特性Xref(m)との特性の差分が、この実施形態の複素FFTでは、図7(B)に示すように正しく得られるが、位相を考慮しない場合は、図8に示すように、本来のものからずれてしまう。
また、上述の図1の処理手順においては、IR簡略化部39により、正規化頭部伝達関数の簡略化を最後に行っているので、最初からデータ数を少なくして処理する場合に比べて、特性のずれが少ないという特徴がある。
すなわち、頭部伝達関数測定手段10および素の状態の伝達特性測定手段20で得られたデータについて、最初に、データ数を少なくする簡略化を行った場合(最終的に必要なインパルス数以降を0として正規化を行う場合)には、正規化頭部伝達関数の特性は、図9に示すようなものとなり、特に、低域の特性にずれが出てきてしまう。これに対して、上述した実施形態の構成で得た正規化頭部伝達関数の特性は、図7(B)のようになり、低域においても特性のずれが少ない。
[正規化頭部伝達関数畳み込み方法の実施形態]
図10は、従来の測定方法により求められた頭部伝達関数の例としてのインパルスレスポンスを示すもので、直接波のみではなく、全ての反射波の成分を含んだ総合的なものとなっている。従来は、図10に示すように、この直接波および反射波の全てを含む総合的なインパルスレスポンスの全体を、1つの畳み込みプロセス区間で、音声信号に畳み込むようにする。
反射波として高次のものをも含み、また、仮想音像定位位置から測定点位置までの経路長が長い反射波を含むため、従来の畳み込みプロセス区間は、図10に示すように、比較的長い区間となる。なお、畳み込みプロセス区間の先頭の区間DL0は、仮想音像定位位置からの直接波が測定点位置まで到達する時間に相当する遅延分を示している。
図10のような従来の頭部伝達関数畳み込み方法に対して、この実施形態では、上述のようにして求めた直接波の正規化頭部伝達関数と、選択された反射波の正規化頭部伝達関数とを、音声信号に畳み込むようにする。
ここで、この実施形態では、仮想音像定位位置を定めたとき、測定点位置(音響再生ドライバー設置位置)との間における直接波の正規化頭部伝達関数は、必ず、音声信号に畳み込む。しかし、反射波の正規化頭部伝達関数については、想定した聴取環境や部屋構造などに応じて選択したもののみを音声信号に畳み込むようにする。
例えば、前述した大平原のような聴取環境を想定した場合には、反射波としては、仮想音像定位位置から地面(床)での反射波のみを選択し、当該反射波が測定点位置に入射する方向について求められた正規化頭部伝達関数を音声信号に畳み込むようにする。また、例えば、通常の直方体形状の部屋の場合には、天井、床、リスナの左右の壁、リスナの前方および後方の壁の全てからの反射波を選択して、それらの反射波が測定点位置に入射する方向について求められた正規化頭部伝達関数を畳み込むようにする。
また、後者の部屋のような場合、反射波としては、一次反射のみではなく、二次反射、三次反射などが生じるが、例えば一次反射のみを選択する。実験によれば、一次反射波のみについての正規化頭部伝達関数を畳み込んだ音声信号であっても、その音声信号を音響再生することにより、良好な仮想音像定位感が得られている。なお、2次以降の反射波についての正規化頭部伝達関数をさらに音声信号に畳み込むようにすれば、その音声信号を音響再生したときには、さらに良好な仮想音像定位感が得られる場合もある。
直接波についての正規化頭部伝達関数は、基本的には、そのままの利得(ゲイン)で音声信号に畳み込むようにするが、反射波については、一次反射であるか、二次反射であるか、さらに高次の反射であるかに応じた利得で、正規化頭部伝達関数を音声信号に畳み込むようにする。これは、この実施形態で得られる正規化頭部伝達関数は、それぞれ所定の方向に設定した想定音源位置からの直接波について測定したものであり、当該所定の方向からの反射波についての正規化頭部伝達関数は、直接波に対して減衰したものとなるからである。なお、反射波についての正規化頭部伝達関数の直接波に対する減衰量は、高次になるほど大きくなる。
また、前述もしたように、反射波の頭部伝達関数については、この実施形態では、さらに、想定する反射部位の表面形状、表面構造、材質などに応じた吸音率(音波の減衰率)を考慮した利得を設定することができるようにしている。
以上のように、この実施形態では、頭部伝達関数を畳み込む反射波を選択し、また、それぞれの反射波の頭部伝達関数の利得を調整するようにするので、任意の想定した部屋環境や聴取環境に応じた頭部伝達関数の音声信号に対する畳み込みが可能となる。つまり、従来のように、良好な音場空間を提供する部屋やスペースにおいて、頭部伝達関数の測定を行うことなく、良好な音場空間を提供すると想定される部屋やスペースにおける頭部伝達関数を音声信号に畳み込むことが可能となる。
[畳み込み方法の第1の例(複数処理);図11、図12]
この実施形態では、直接波の正規化頭部伝達関数(直接波方向頭部伝達関数)と、それぞれの反射波の正規化頭部伝達関数(反射波方向頭部伝達関数)とは、上述したように、それぞれ独立に求められるので、第1の例では、直接波および選択したそれぞれの反射波の正規化頭部伝達関数は、音声信号に対して、独立に畳み込み処理するようにする。
例えば、直接波(直接波の方向)のほかに、3個の反射波(反射波の方向)が選択されて、それぞれに対応する正規化頭部伝達関数(直接波方向頭部伝達関数および反射波方向頭部伝達関数)が畳み込まれる場合について説明する。
直接波および反射波のそれぞれに対しては、仮想音像定位位置から測定点位置まで到達する経路長に応じた遅延時間が予め求められる。この遅延時間は、測定点位置(音響再生ドライバー位置)と仮想音像定位位置が定まり、反射部位が定まれば、計算により求められる。そして、反射波については、正規化頭部伝達関数に対する減衰量(ゲイン)も予め定められる。
図11に、直接波および3個の反射波についての遅延時間およびゲイン、さらに、畳み込み処理区間の例を示す。
図11の例においては、直接波の正規化頭部伝達関数(直接波方向頭部伝達関数)については、音声信号に対して、仮想音像定位位置から測定点位置まで到達する時間に相当する遅延DL0が考慮される。すなわち、直接波の正規化頭部伝達関数の畳み込み開始時点は、図11の最下欄に示すように、前記遅延DL0だけ音声信号を遅延した時点t0となる。
そして、前述したようにして求められている当該直接波の方向についての正規化頭部伝達関数が、前記時点t0から開始する、当該正規化頭部伝達関数のデータ長分(上述の例では、600個のデータ分)の畳み込みプロセス区間CP0で、音声信号に対して畳み込み処理がなされる。
次に、3個の反射波のうち、第1の反射波1の正規化頭部伝達関数(反射波方向頭部伝達関数)については、音声信号に対して、仮想音像定位位置から測定点位置まで到達する経路長に対応する遅延DL1が考慮される。すなわち、第1の反射波1の正規化頭部伝達関数の畳み込み開始時点は、図11の最下欄に示す、前記遅延DL1だけ音声信号を遅延した時点t1となる。
そして、前述したようにして求められている第1の反射波1の方向についての正規化頭部伝達関数(反射波方向頭部伝達関数)が、前記時点t1から開始する、当該正規化頭部伝達関数のデータ長(上述の例では、600個のデータ分)の畳み込みプロセス区間CP1で、音声信号に対して畳み込み処理がなされる。この畳み込み処理に際して、前記正規化頭部伝達関数は、第1の反射波1が第何次の反射波であるかと、反射部位における吸音率(または反射率)とが考慮されたゲインG1(G1<1)倍される。
また、同様にして、第2の反射波2および第3の反射波3の正規化頭部伝達関数(反射波方向頭部伝達関数)については、音声信号に対して、仮想音像定位位置から測定点位置まで到達する経路長に対応する遅延DL2およびDL3がそれぞれ考慮される。すなわち、図11の最下欄に示すように、第2の反射波2の正規化頭部伝達関数の畳み込み開始時点は、前記遅延DL2だけ音声信号を遅延した時点t2となり、第3の反射波3の正規化頭部伝達関数の畳み込み開始時点は、前記遅延DL3だけ音声信号を遅延した時点t3となる。
そして、前述したようにして求められている第2の反射波2の方向についての正規化頭部伝達関数(反射波方向頭部伝達関数)が、前記時点t2から開始する、当該正規化頭部伝達関数のデータ長(上述の例では、600個のデータ分)の畳み込みプロセス区間CP2で、また、第3の反射波3の方向についての正規化頭部伝達関数(反射波方向頭部伝達関数)が、前記時点t3から開始する、当該正規化頭部伝達関数のデータ長(上述の例では、600個のデータ分)の畳み込みプロセス区間CP3で、それぞれ音声信号に対して畳み込み処理がなされる。
この畳み込み処理に際して、前記正規化頭部伝達関数は、第2の反射波2および第3の反射波3のそれぞれが第何次の反射波であるかと、反射部位における吸音率(または反射率)とが考慮されたゲインG2およびG3(G2<1およびG3<1)倍される。
以上説明した図11の例の畳み込み処理を実行する正規化頭部伝達関数畳み込み部のハードウエア構成例を、図12に示す。
この図12の例は、直接波用の畳み込み処理部51と、第1〜第3の反射波1,2,3用の畳み込み処理部52,53,54と、加算部55とからなる。これらの畳み込み処理部51〜54のそれぞれは、全く同一の構成を備え、この例においては、遅延部511,521,531,541と、頭部伝達関数畳み込み回路512,522,532,542と、正規化頭部伝達関数メモリ513,523,533,543と、ゲイン調整部514,524,534,544と、ゲインメモリ515,525,535,545とを備えて構成されている。
この例においては、遅延部511,521,531,541のそれぞれには、頭部伝達関数を畳み込むべき入力音声信号Siが供給される。遅延部511,521,531,541のそれぞれは、直接波および第1〜第3の反射波の正規化頭部伝達関数の畳み込みの開始時点t0,t1,t2,t3まで、頭部伝達関数を畳み込むべき入力音声信号Siを遅延させるものである。したがって、この例では、図示のように、遅延部511,521,531,541のそれぞれの遅延量は、DL0,DL1,DL2,DL3とされる。
頭部伝達関数畳み込み回路512,522,532,542のそれぞれは、正規化頭部伝達関数を音声信号に畳み込む処理を実行する部分で、この例では、600タップのIIR(Infinite Inpulse Response)フィルタあるいはFIR(Finite Inpulse Response)フィルタで構成される。
正規化頭部伝達関数メモリ513,523,533,543は、頭部伝達関数畳み込み回路512,522,532,542のそれぞれで畳み込む正規化頭部伝達関数を記憶保持するものである。正規化頭部伝達関数メモリ513には、直接波の方向の正規化頭部伝達関数が、正規化頭部伝達関数メモリ523には、第1の反射波の方向の正規化頭部伝達関数が、正規化頭部伝達関数メモリ533には、第2の反射波の方向の正規化頭部伝達関数が、正規化頭部伝達関数メモリ543には、第3の反射波の方向の正規化頭部伝達関数が、それぞれ、記憶保持される。
ここで、記憶保持される直接波の方向の正規化頭部伝達関数、第1の反射波の方向の正規化頭部伝達関数、第2の反射波の方向の正規化頭部伝達関数、および第3の反射波の方向の正規化頭部伝達関数は、例えば、前述の正規化頭部伝達関数メモリ41から選択されて読み出されて、対応する正規化頭部伝達関数メモリ513,523,533,543のそれぞれに書き込まれる。
ゲイン調整部514,524,534,544は、畳み込む正規化頭部伝達関数のゲインを調整するためのものである。このゲイン調整部514,524,534,544は、ゲインメモリ515,525,535,545に記憶されているゲイン値(<1)を、正規化伝達関数メモリ513,523,533,534からの正規化頭部伝達関数に乗算し、その乗算結果を頭部伝達関数畳み込み回路512,522,532,542に供給する。
この例では、ゲインメモリ515には、直接波についてのゲイン値G0(≦1)が記憶され、ゲインメモリ525には、第1の反射波についてのゲイン値G1(<1)が記憶され、ゲインメモリ535には、第2の反射波についてのゲイン値G2(<1)が記憶され、ゲインメモリ545には、第3の反射波についてのゲイン値G3(<1)が記憶される。
加算部55は、直接波用の畳み込み処理部51と、第1〜第3の反射波1,2,3用の畳み込み処理部52,53,54からの、それぞれ正規化頭部伝達関数が畳み込まれた音声信号を加算して合成し、出力音声信号Soを出力する。
以上のような構成において、頭部伝達関数を畳み込むべき入力音声信号Siが、遅延部511,521,531,541のそれぞれに供給されて、それぞれ、直接波および第1〜第3の反射波の正規化頭部伝達関数の畳み込みの開始時点t0,t1,t2,t3まで、遅延させられる。遅延部511,521,531,541のそれぞれで、正規化頭部伝達関数の畳み込みの開始時点t0,t1,t2,t3まで、遅延させられた入力音声信号Siは、頭部伝達関数畳み込み回路512,522,532,542に供給される。
一方、正規化頭部伝達関数メモリ513,523,533,543のそれぞれからは、それぞれ畳み込みの開始時点t0,t1,t2,t3から、順次に、記憶保持されている正規化頭部伝達関数データが読み出される。正規化頭部伝達関数メモリ513,523,533,543のそれぞれからの正規化頭部伝達関数データの読み出しタイミング制御に関しては、ここでは省略する。
読み出された正規化頭部伝達関数データは、ゲイン調整部514,524,534,544のそれぞれにおいて、ゲインメモリ515,525,535,545からのゲインG0,G1,G2,G3倍されて、ゲイン調整された後、頭部伝達関数畳み込み回路512,522,532,542のそれぞれに供給される。
頭部伝達関数畳み込み回路512,522,532,542のそれぞれでは、図11に示した畳み込みプロセス区間CP0,CP1,CP2,CP3のそれぞれにおいて、ゲイン調整された正規化頭部伝達関数データを畳み込み処理する。
そして、これら頭部伝達関数畳み込み回路512,522,532,542のそれぞれでの正規化頭部伝達関数データの畳み込み処理結果が加算部55で加算され、その加算結果が、出力音声信号Soとして出力される。
この第1の例の場合においては、直接波および複数の反射波についての正規化頭部伝達関数のそれぞれを、音声信号に独立に畳み込み処理することができるので、遅延部511,521,531,541における遅延量およびゲインメモリ515,525,535,545に記憶するゲインを調整することにより、さらに、正規化頭部伝達関数メモリ513,523,533,543に記憶して畳み込む正規化伝達関数を変えることにより、屋内や屋外などの聴取環境スペースの種類の違いや、部屋の形状、大きさ、反射部位の材質(吸音率や反射率)の違いなど、聴取環境の違いに応じた頭部伝達関数の畳み込みが容易にできる。
遅延部511,521,531,541を、外部からのオペレータなどの操作入力に応じて遅延量を可変できる可変遅延手段で構成し、正規化頭部伝達関数メモリ513,523,533,543に対して、オペレータが正規化頭部伝達関数メモリ40から選択した任意の正規化頭部伝達関数を書き込むようにする手段と、さらに、ゲインメモリ515,525,535,545に対して、オペレータが任意のゲインを入力して記憶することができる手段を設けた場合には、オペレータが任意に設定した聴取環境スペースや部屋環境などの聴取環境に応じた頭部伝達関数の畳み込みができる。
例えば、部屋形状が全く同じ聴取環境において、壁の材質(吸音率や反射率)に応じてゲインを変更することが容易にでき、壁の材質を種々変更して状況における仮想音像定位状態をシミュレートすることができる。
なお、図11の例の構成において、直接波用の畳み込み処理部51および第1〜第3の反射波1,2,3用の畳み込み処理部52,53,54のそれぞれに正規化頭部伝達関数メモリ513,523,533,543を設ける代わりに、それらの畳み込み処理部51〜54に共通に正規化頭部伝達関数メモリ40を設けると共に、畳み込み処理部51〜54のそれぞれに、正規化頭部伝達関数メモリ40から、畳み込み処理部51〜54のそれぞれで必要とする正規化頭部伝達関数を選択的に読み出す手段を設けるように構成しても良い。
なお、上述の第1の例は、直接波の他に、3個の反射波を選択して、それらの正規化頭部伝達関数を音声信号に畳み込むようにした場合についての説明であるが、選択される反射波の正規化頭部伝達関数が3個以上の場合には、図12の構成において、反射波用の畳み込み処理部52,53,54と同様の畳み込み処理部を、必要な数だけ設けることにより、全く同様にして、それらの正規化頭部伝達関数の畳み込みを行うことができる。
なお、図11の例では、遅延部511,521,531,541は、それぞれ入力音声信号Siを、畳み込み開始時点まで遅延するように構成したので、それぞれの遅延量は、DL0,DL1,DL2,DL3とされている。しかし、遅延部511の出力端を遅延部521の入力端に接続し、遅延部521の出力端を遅延部531の入力端に接続し、遅延部531の出力端を遅延部541の入力端に接続するように構成すれば、遅延部521,532,542での遅延量は、それぞれDL1−DL0、DL2−DL1、DL3−DL2とすることできて、小さくすることができる。
また、畳み込みプロセス区間CP0,CP1,CP2,CP3が互いに重ならない場合には、畳み込みプロセス区間CP0,CP1,CP2,CP3の時間長を考慮しながら、直列的に、遅延回路と畳み込み回路とを接続構成することもできる。その場合には、畳み込みプロセス区間CP0,CP1,CP2,CP3の時間長をTP0,TP1,TP2,TP3とすれば、遅延部521,532,542での遅延量は、それぞれDL1−DL0−TP0、DL2−DL1−TP1、DL3−DL2−TP2とすることできて、さらに小さくすることができる。
[畳み込み方法の第2の例(係数合成処理);図13、図14]
この第2の例は、予め定まった聴取環境についての頭部伝達関数を畳み込み処理する場合に用いられる。すなわち、聴取環境スペースの種類や、部屋の形状、大きさ、反射部位の材質(吸音率や反射率)など、聴取環境が予め定まっている場合には、直接波および選択される反射波の正規化頭部伝達関数の畳み込みの開始時点は定まったものとなり、且つ、それぞれの正規化頭部伝達関数を畳み込む際の減衰量(ゲイン)も定まったものとなる。
例えば前述した直接波および3個の反射波の頭部伝達関数を例に取ると、図13に示すように、直接波および第1〜第3の反射波の正規化頭部伝達関数の畳み込みの開始時点は、それぞれ前述した開始時点t0,t1,t2,t3となり、音声信号に対する遅延量は、DL0,DL1,DL2,DL3となる。そして、直接波および第1〜第3の反射波の正規化頭部伝達関数の畳み込み時のゲインは、それぞれG0,G1,G2,G3と定めることができる。
そこで、第2の例においては、図13に示すように、これらの正規化頭部伝達関数を時系列的に合成して合成正規化頭部伝達関数とし、畳み込みプロセス区間を、音声信号に対して、これらの複数個の正規化頭部伝達関数の畳み込みを完了するまでの期間とする。
ここで、図13に示すように、それぞれの正規化頭部伝達関数の実質的な畳み込み区間は、CP0,CP1,CP2,CP3であって、これらの畳み込み区間CP0,CP1,CP2,CP3以外の区間では、頭部伝達関数のデータは存在しないので、その区間では、データ0(ゼロ)を頭部伝達関数として用いるようにする。
この第2の例の場合には、正規化頭部伝達関数畳み込み部のハードウエア構成例は、図14に示すようなものとなる。
すなわち、この第2の例においては、頭部伝達関数を畳み込むべき入力音声信号Siは、直接波の頭部伝達関数についての遅延部61にて、直接波についての所定の遅延量DL0だけ遅延された後、頭部伝達関数畳み込み回路62に供給される。
この頭部伝達関数畳み込み回路62には、合成正規化頭部伝達関数メモリ63からの合成正規化頭部伝達関数が供給されて、音声信号に畳み込まれる。合成正規化頭部伝達関数メモリ63に記憶される合成正規化頭部伝達関数は、前述の図13を用いて説明した合成正規化頭部伝達関数である。
この第2の例は、遅延量を変更したり、ゲインを変更したりする場合にも、合成正規化頭部伝達関数の全てを書き換える必要があるが、図14に示すように、正規化頭部伝達関数を畳み込む回路のハードウエア構成を簡単にすることができるというメリットがある。
[畳み込み方法の他の例]
上述した第1および第2の例では、いずれも、直接波および選択した反射波については、畳み込みプロセス区間CP0,CP1,CP2,CP3のそれぞれにおいて、予め測定しておいた対応する方向についての正規化頭部伝達関数を音声信号に畳み込むようにした。
しかし、重要なのは、選択した反射波についての頭部伝達関数の畳み込み開始時点および畳み込みプロセス区間CP1,CP2,CP3であり、実際に畳み込む信号は、対応する頭部伝達関数ではなくても良い。
すなわち、例えば、上述した第1および第2の例において、直接波の畳み込みプロセス区間CP0においては、直接波についての正規化頭部伝達関数(直接波方向頭部伝達関数)を畳み込むようにするが、反射波の畳み込みプロセス区間CP1,CP2,CP3においては、簡易的に、畳み込みプロセス区間CP0と同じ直接波方向頭部伝達関数を、必要なゲインG1,G2,G3倍することで減衰させたものを、それぞれ畳み込むようにしても良い。
すなわち、第1の例の場合であれば、正規化頭部伝達関数メモリ523,533,543には、正規化頭部伝達関数メモリ513と同じ直接波についての正規化頭部伝達関数を記憶しておくようにする。あるいは、正規化頭部伝達関数メモリ523,533,543は省略して、正規化頭部伝達関数メモリ513のみを設け、当該正規化頭部伝達関数メモリ513からゲイン調整部514のみではなく、ゲイン調整部524,534,544にも、それぞれの畳み込みプロセス区間CP1,CP2,CP3で、直接波の正規化頭部伝達関数を読み出して供給するようにしても良い。
さらには、同様に、上述した第1および第2の例において、直接波の畳み込みプロセス区間CP0においては、直接波についての正規化頭部伝達関数(直接波方向頭部伝達関数)を畳み込むようにするが、反射波の畳み込みプロセス区間CP1,CP2,CP3においては、簡易的に、畳み込み対象である音声信号を、それぞれ対応する遅延量DL1,DL2,DL3だけ遅延したものを、それぞれ畳み込むようにしても良い。すなわち、畳み込み対象の音声信号を前記遅延量DL1,DL2,DL3だけ保持する保持手段を設け、それら保持手段で保持した音声信号を反射波の畳み込みプロセス区間CP1,CP2,CP3で畳み込むようにする。
[実施形態の頭部伝達関数畳み込み方法を用いた音響再生システムの例;図16〜図18]
次に、この発明による頭部伝達関数畳み込み方法の実施形態を、ヘッドホンを用いてマルチサラウンド音声信号を再生する場合に適用することにより、仮想音像定位を用いた再生を行うことができるようにした再生装置に適用した場合を例に説明する。
以下に説明する例は、ITU(国際電気通信連合)−Rによる7.1チャンネルマルチサラウンドの場合のスピーカ配置を想定して、オーバーヘッドホンにより、この7.1チャンネルマルチサラウンドのスピーカ配置位置に、各チャンネルの音声成分が仮想音像定位するように、頭部伝達関数を畳み込むようにする場合である。
図15に、ITU−Rの7.1チャンネルマルチサラウンドのスピーカ配置例を示すもので、リスナ位置Pnを中心とした円周上に、各チャンネルのスピーカが位置するように定められる。
図15において、リスナの正面位置であるCは、センターチャンネルのスピーカ位置である。センターチャンネルのスピーカ位置Cを中心として、その両側において、互いに60度の角範囲だけ離れた位置であるLFおよびRFは、それぞれ左前方チャンネルおよび右前方チャンネルのスピーカ位置を示している。
そして、リスナの正面位置Cの左右60度から150度の範囲において、左側および右側に2個ずつのスピーカ位置LS,LBおよびRS,RBが設定される。これらスピーカ位置LS,LBとRS,RBとは、リスナに対して左右対称の位置に設定されるものである。スピーカ位置LSおよびRSは、左側方チャンネルおよび右側方チャンネルのスピーカ位置であり、スピーカ位置LBおよびRBは、左後方チャンネルおよび右後方チャンネルのスピーカ位置である。
この音響再生システムの例においては、オーバーヘッドホンとして、前述の図5で説明した、左右の耳用のそれぞれに対して、7個ずつのヘッドホンドライバーが配置されるものを使用する。
したがって、この例においては、前述の図5に示したようにして、リスナに対して水平方向および垂直方向のそれぞれにおいて、例えば10度角間隔毎などの所定の分解能で定めた多数の想定音源位置を定め、その多数の想定音源位置のそれぞれについて、7個ずつのヘッドホンドライバートのそれぞれについての正規化頭部伝達関数を求めるようにする。
そして、7.1チャンネルのマルチサラウンド音声信号を、この例のオーバーヘッドホンで音響再生したとき、図15の各スピーカ位置C,LF,RF,LS,RS,LB,RBの方向を仮想音像定位方向として音響再生されるようにするように、後述するようにして、7.1チャンネルのマルチサラウンド音声信号の各チャンネルの音声信号に、選択された正規化頭部伝達関数を畳み込むようにする。
図16および図17は、音響再生システムのハードウエア構成例を示すものである。図16と図17とに分けたのは、紙面の大きさの都合上、この例の音響再生システムを一つの紙面内に収めて示すことが困難であったためであり、図16の続きが図17となっている。
なお、この図16および図17においては、図15のスピーカ位置C,LF,RF,LS,RS,LB,RBに供給すべき各チャンネルの音声信号は、同じ記号C,LF,RF,LS,RS,LB,RBを用いて示している。ここで、図16および図17において、LFE(Low Frequency Effect)チャンネルは、低域効果チャンネルであり、これは、通常、音像定位方向が定まらない音声であるので、この例では、頭部伝達関数の畳み込み対象とはしない音声チャンネルとしている。
図16に示すように、7.1チャンネルの信号、すなわち、LF,LS,RF,RS,LB,RB,CおよびLFEの8チャンネルの音声信号は、それぞれ、レベル調整部71LF,71LS,71RF,71RS,71LB,71RB,71Cおよび71LFE、また、アンプ72LF,72LS,72RF,72RS,72LB,72RB,72Cおよび72LFEを通じて、A/Dコンバータ73LF,73LS,73RF,73RS,73LB,73RB,73Cおよび73LFEに供給されて、デジタル音声信号に変換される。
図17に示すように、この例においては、左耳用の7個のヘッドホンドライバー90L1,90L2,90L3,90L4,90L5,90L6,90L7のそれぞれは、右前方チャンネルのクロストークチャンネルxRF用、左側方チャンネルLS用、左前方チャンネルLF用、左後方チャンネルLB用、センターチャンネルC用、低域効果チャンネルLFE用、右側方チャンネルのクロストークチャンネルxRS用、のそれぞれとされる。
また、右耳用の7個のヘッドホンドライバー90R1,90R2,90R3,90R4,90R5,90R6,90R7のそれぞれは、左前方チャンネルのクロストークチャンネルxLF用、右側方チャンネルRS用、右前方チャンネルRF用、右後方チャンネルRB用、センターチャンネルC用、低域効果チャンネルLFE用、左側方チャンネルのクロストークチャンネルxLS用、のそれぞれとされる。
ここで、この例では、センターチャンネルC用の音声信号と、低域効果チャンネルLFE用の音声信号とは、左右のヘッドホンドライバー90L5,90R5と、ヘッドホンドライバー90L6,90R6とに、それぞれ共通に生成されて供給される構成とされている。以上のことから、図16および図17に示す音響再生システムにおいては、オーバーヘッドホンの左右の耳用の各ヘッドホンドライバーへ供給する音声信号として、12チャンネル分が生成される。
図16に示すように、この例では、12チャンネル分の頭部伝達関数畳み込み処理部74xRF、74LS,74LF,74LB,74xRS,74LFE,74C,74xLS,74RB,74RF,74RS,74xLFが設けられる。
頭部伝達関数畳み込み処理部74xRFは、右前方チャンネルのクロストークチャンネルxRF用、頭部伝達関数畳み込み処理部74LSは、左側方チャンネルLS用、頭部伝達関数畳み込み処理部74LFは、左前方チャンネルLF用、頭部伝達関数畳み込み処理部74LBは、左後方チャンネルLB用、頭部伝達関数畳み込み処理部74xRSは、右側方チャンネルのクロストークチャンネルxRS用、頭部伝達関数畳み込み処理部74LFEは、低域効果チャンネルLFE用、頭部伝達関数畳み込み処理部74Cは、センターチャンネルC用、頭部伝達関数畳み込み処理部74xLSは、左側方チャンネルのクロストークチャンネルxLS用、頭部伝達関数畳み込み処理部74RBは、右後方チャンネルRB用、頭部伝達関数畳み込み処理部74RFは、右前方チャンネルRF用、頭部伝達関数畳み込み処理部74RSは、右側方チャンネルRS用、頭部伝達関数畳み込み処理部74xLFは、左側方チャンネルのクロストークチャンネルxLF用、である。
この例においては、頭部伝達関数畳み込み処理部74xRF,74LS,74LF,74LB,74xRS,74LFE,74C,74xLS,74RB,74RF,74RS,74xLFのそれぞれは、同じハードウエア構成を有するもので、図18に示すようなものとなる。
この例の場合、図5に示したように、1つの想定音源位置方向からの測定用音波について、7個のヘッドホンドライバーに対応する7個のマイクロホンでそれぞれ頭部伝達関数を測定し、それぞれを前述したように正規化して7個の正規化頭部伝達関数を得ている。そして、取得した7個の正規化頭部伝達関数は、測定用マイクロホンのそれぞれに対応するヘッドホンドライバーに供給する7個の音声信号にそれぞれ畳み込むようにするものである。
そのため、頭部伝達関数畳み込み処理部74xRF,74LS,74LF,74LB,74xRS,74LFE,74C,74xLS,74RB,74RF,74RS,74xLFのそれぞれは、図18に示すように、LFEチャンネルを除く7チャンネルの音声信号についての7個の正規化頭部伝達関数畳み込み部101,102,103,104,105,106,107と、それらの7個の正規化頭部伝達関数畳み込み部101〜107の出力を加算する加算部108とで構成される。
7個の正規化頭部伝達関数畳み込み部101〜107のそれぞれは、その入力音声信号に対する必要な正規化頭部伝達関数の畳み込み処理を実行する。この7個の正規化頭部伝達関数畳み込み部101〜107のそれぞれのハードウエア構成としては、前述した図12の第1の例のハードウエア構成を採用することもできるし、図14の第2の例のハードウエア構成を採用するようにすることできる。
頭部伝達関数畳み込み処理部74xRF,74LS,74LF,74LB,74xRS,74LFE,74C,74xLS,74RB,74RF,74RS,74xLFのそれぞれにおいては、7.1チャンネルのマルチサラウンドの再生音場として仮想音像定位させるようにするために畳み込むべき正規化頭部伝達関数として選択されたもの(直接波および反射波についての正規化頭部伝達関数)がそれぞれ畳み込み処理される。
なお、この例において、頭部伝達関数畳み込み処理部74LFEでは、頭部伝達関数の畳み込み処理は行わず、低域効果チャンネルLFEの音声信号が入力され、そのまま出力されるようにされている。
これら頭部伝達関数畳み込み処理部74xRF,74LS,74LF,74LB,74xRS,74LFE,74C,74xLS,74RB,74RF,74RS,74xLFのそれぞれの出力音声信号は、レベル調整部75xRF,75LS,75LF,75LB,75xRS,75LFE,75C,75xLS,75RB,75RF,75RS,75xLFのそれぞれを通じて、図17に示すように、D/Aコンバータ76xRF,76LS,76LF,76LB,76xRS,76LFE,76C,76xLS,76RB,76RF,76RS,76xLFのそれぞれに供給されて、アナログ音声信号に変換される。
D/Aコンバータ76xRF,76LS,76LF,76LB,76xRS,76LFE,76C,76xLS,76RB,76RF,76RS,76xLFのそれぞれからのアナログ音声信号は、電流電圧変換部77xRF,77LS,77LF,77LB,77xRS,77LFE,77C,77xLS,77RB,77RF,77RS,77xLFのそれぞれに供給されて、電流信号から電圧信号に変換される。
そして、電流電圧変換部77xRF,77LS,77LF,77LB,77xRS,77LFE,77C,77xLS,77RB,77RF,77RS,77xLFのそれぞれからの電圧信号とされた音声信号は、レベル調整部78xRF,78LS,78LF,78LB,78xRS,78LFE,78C,78xLS,78RB,78RF,78RS,78xLFのそれぞれで、レベル調整された後、利得調整部79xRF,79LS,79LF,79LB,79xRS,79LFE,79C,79xLS,79RB,79RF,79RS,79xLFのそれぞれに供給されて利得調整される。
そして、利得調整部79xRF,79LS,79LF,79LB,79xRSの出力音声信号は、アンプ80L1,80L2,80L3,80L4,80L7をそれぞれ通じて左耳用のヘッドホンドライバー90L1,90L2,90L3,90L4,90L7に供給される。
また、利得調整部79xLS,79RB,79RF,79RS,79xLFの出力音声信号は、アンプ80R7,80R4,80R3,80R2,80R1をそれぞれ通じて右耳用のヘッドホンドライバー90R7,90R4,90R3,90R2,90R1に供給される。
また、利得調整部79Cの出力音声信号は、アンプ80L5を通じてヘッドホンドライバー90L5に供給されると共に、アンプ80R5を通じてヘッドホンドライバー90R5に供給される。さらに、利得調整部79LFEの出力音声信号は、アンプ80L6を通じてヘッドホンドライバー90L6に供給されると共に、アンプ80R6を通じてヘッドホンドライバー90R6に供給される。
[実施形態の音響再生システムにおける正規化頭部伝達関数の畳み込み開始タイミングの例(図19〜図27)]
次に、図16の頭部伝達関数畳み込み処理部74xRF,74LS,74LF,74LB,74xRS,74LFE,74C,74xLS,74RB,74RF,74RS,74xLFで畳み込まれる正規化頭部伝達関数およびその畳み込み開始タイミングについて説明する。
例えば、縦×横=4550mm×3620mmの直方体形状の10畳の部屋を想定し、且つ、左前方スピーカ位置LFと、右前方スピーカ位置RFとの距離を1600mmとして、ITU−Rの7.1チャンネルマルチサラウンドの再生音響空間を想定したときの頭部伝達関数の畳み込みについて説明する。なお、ここでは、説明の簡単のため、反射波については、天井反射と床反射は省略して、壁反射のみについて説明するものとする。
この実施形態では、直接波についての正規化頭部伝達関数、そのクロストーク成分についての正規化頭部伝達関数、1次反射波についての正規化頭部伝達関数、およびそのクロストーク成分についての正規化頭部伝達関数を畳み込むようにする。
先ず、右前方スピーカ位置RFを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図19に示すようなものとすることができる。
すなわち、図19において、RFdは、位置RFからの直接波を示しており、また、xRFdはその左チャンネルへのクロストークを示している。なお、記号xは、クロストークであることを示している。以下同様である。
また、RFsRは、位置RFから右側壁に一次反射した反射波を示しており、xRFsRは、その左チャンネルへのクロストークを示している。また、RFfRは、位置RFから前方壁に一次反射した反射波を示しており、xRFfRは、その左チャンネルへのクロストークを示している。また、RFsLは、位置RFから左側壁に一次反射した反射波を示しており、xRFsLは、その左チャンネルへのクロストークを示している。さらに、RFbRは、位置RFから後方壁に一次反射した反射波を示しており、xRFbRは、その左チャンネルへのクロストークを示している。
直接波およびそのクロストーク、また、反射波およびそのクロストークのそれぞれについて、畳み込むべき正規化頭部伝達関数は、それらの音波がリスナ位置Pnに最後に入射する方向について測定した正規化頭部伝達関数とされる。すなわち、1つの方向の音波に対して、7個のヘッドホンドライバーのそれぞれに対応して測定される7個の正規化頭部伝達関数である。そして、それら7個の正規化頭部伝達関数は、それぞれ対応するヘッドホンドライバーに供給されるべきチャンネルの音声信号に畳み込まれるものである。
そして、直接波RFdおよびそのクロストークxRFd、反射波RFsR、RFfR、RFsL、RFbRおよびそれらのクロストークxRFsR、xRFfR、xRFsL、xRFbRの正規化頭部伝達関数を、右前方チャンネルRFの音声信号に畳み込み開始すべき時点は、それら音波の経路長から計算されて、図20に示すようなものとなる。
そして、畳み込む正規化頭部伝達関数のゲインは、直接波については、減衰量0とされる。また、反射波については、想定される吸音率に応じた減衰量とされる。
なお、図20は、直接波RFdおよびそのクロストークxRFd、反射波RFsR、RFfR、RFsL、RFbRおよびそれらのクロストークxRFsR、xRFfR、xRFsL、xRFbRの正規化頭部伝達関数を、音声信号に畳み込み開始すべき時点を示しているだけで、1つのチャンネル用のヘッドホンドライバーに供給する音声信号に畳み込む正規化頭部伝達関数の畳み込み開始点を示しているわけではない。
すなわち、直接波RFdおよびそのクロストークxRFd、反射波RFsR、RFfR、RFsL、RFbRおよびそれらのクロストークxRFsR、xRFfR、xRFsL、xRFbRの正規化頭部伝達関数のそれぞれは、前記頭部伝達関数畳み込み処理部74xRF,74LS,74LF,74LB,74xRS,74LFE,74C,74xLS,74RB,74RF,74RS,74xLFのうちから予め選定されたチャンネル用の頭部伝達関数畳み込み処理部において畳み込まれる。
このことは、右前方スピーカ位置RFを仮想音像定位位置とするために畳み込むべき正規化頭部伝達関数のみではなく、他のチャンネルのスピーカ位置を仮想音像定位位置とするために畳み込むべき正規化頭部伝達関数と、畳み込み対象の音声信号との関係においても同様である。
次に、左前方スピーカ位置LFを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図19に示したものを、左右対称に、左側に移したようなものとすることができ、図示は省略するが、直接波LFd、そのクロストークxLFd、また、左側壁からの反射波LFsL、そのクロストークxLFsL、前方壁からの反射波LFfL、そのクロストークxLFfL、右側壁からの反射波LFsR、そのクロストークxLFsR、後方壁からの反射波LFbL、そのクロストークxLFbLとなる。そして、それらのリスナ位置Pnへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図20に示したものと同様となる。
また、同様にして、センタースピーカ位置Cを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図21に示すようなものとすることができる。
すなわち、直接波Cd、右側壁からの反射波CsR、そのクロストークxCsR、後方壁からの反射波CbRとなる。図21には、右側の反射波のみについて示したが、左側についても同様に設定することができ、左側壁からの反射波CsL、そのクロストークxCsL、後方壁からの反射波CbLとなる。
そして、それらの直接波および反射波、そのクロストークの、リスナ位置Pnへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図22に示すようなものとなる。
次に、右側方スピーカ位置RSを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図23に示すようなものとすることができる。
すなわち、直接波RSd、そのクロストークxRSd、また、右側壁からの反射波RSsR、そのクロストークxRSsR、前方壁からの反射波RSfR、そのクロストークxRSfR、左側壁からの反射波RSsL、そのクロストークxRSsL、後方壁からの反射波RSbR、そのクロストークxRSbRとなる。そして、それらのリスナ位置Pnへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図24に示すようなものとなる。
左側方スピーカ位置LSを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図23に示したものを、左右対称に、左側に移したようなものとすることができ、図示は省略するが、直接波LSd、そのクロストークxLSd、また、左側壁からの反射波LSsL、そのクロストークxLSsL、前方壁からの反射波LSfL、そのクロストークxLSfL、右側壁からの反射波LSsR、そのクロストークxLSsR、後方壁からの反射波LSbL、そのクロストークxLSbLとなる。そして、それらのリスナ位置Pnへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図24に示したものと同様となる。
また、右後方スピーカ位置RBを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図25に示すようなものとすることができる。
すなわち、直接波RBd、そのクロストークxRBd、また、右側壁からの反射波RBsR、そのクロストークxRBsR、前方壁からの反射波RBfR、そのクロストークxRBfR、左側壁からの反射波RBsL、そのクロストークxRBsL、後方壁からの反射波RBbR、そのクロストークxRBbRとなる。そして、それらのリスナ位置Pnへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図26に示すようなものとなる。
左後方スピーカ位置LBを仮想音像定位位置とするために、畳み込むべき正規化頭部伝達関数について音波の方向は、図25に示したものを、左右対称に、左側に移したようなものとすることができ、図示は省略するが、直接波LBd、そのクロストークxLBd、また、左側壁からの反射波LBsL、そのクロストークxLBsL、前方壁からの反射波LBfL、そのクロストークxLBfL、右側壁からの反射波LBsR、そのクロストークxLBsR、後方壁からの反射波LBbL、そのクロストークxLBbLとなる。そして、それらのリスナ位置Pnへの入射方向により、畳み込むべき正規化頭部伝達関数が定まり、その畳み込み開始タイミング時点は、図26に示したものと同様となる。
以上は、正規化頭部伝達関数を畳み込むべき直接波および反射波の方向およびその畳み込み開始タイミングを説明したものであるが、これらの正規化頭部伝達関数の畳み込み処理を、頭部伝達関数畳み込み処理部74xRF,74LS,74LF,74LB,74xRS,74LFE,74C,74xLS,74RB,74RF,74RS,74xLFのいずれのチャンネルにおいて実行するかの一例を、図27に示す。
図27(A)は、この例において、右前方チャンネルのクロストークチャンネルxRF用である頭部伝達関数畳み込み処理部74xRFにおいて畳み込まれる直接波および反射波、また、それらのクロストークについての正規化頭部伝達関数の畳み込み開始タイミングを示している。
左前方チャンネルのクロストークチャンネルxLF用である頭部伝達関数畳み込み処理部74xLFにおいて畳み込まれる直接波および反射波、また、それらのクロストークについての正規化頭部伝達関数については、図示は省略するが、図27(A)に示した直接波および反射波、また、それらのクロストークとは、左右を逆にしたものについての正規化頭部伝達関数が、図27(A)に示した畳み込み開始タイミングと同様の開始タイミングから畳み込まれるものである。
図27(B)は、センターチャンネルC用である頭部伝達関数畳み込み処理部74Cにおいて畳み込まれる直接波Cdについての正規化頭部伝達関数の畳み込み開始タイミングを示している。つまり、この例では、頭部伝達関数畳み込み処理部74Cにおいては、センターチャンネルの直接波についての正規化頭部伝達関数のみが畳み込まれる。
図27(C)は、左前方チャンネルLF用である頭部伝達関数畳み込み処理部74LFにおいて畳み込まれる直接波LFdについての正規化頭部伝達関数の畳み込み開始タイミングを示している。つまり、この例では、頭部伝達関数畳み込み処理部74LFにおいては、左前方チャンネルについての直接波Cdについての正規化頭部伝達関数のみが畳み込まれる。
図示は省略するが、右前方チャンネルRF用である頭部伝達関数畳み込み処理部74RFにおいても、右前方チャンネルについての直接波RFdについての正規化頭部伝達関数のみが畳み込まれる。
図27(D)は、左後方チャンネルLB用である頭部伝達関数畳み込み処理部74LBにおいて畳み込まれる直接波および反射波についての正規化頭部伝達関数の畳み込み開始タイミングを示している。
図示は省略するが、右後方チャンネルRB用である頭部伝達関数畳み込み処理部74RBにおいては、図27(D)に示した直接波および反射波とは、左右を逆にした直接波および反射波についての正規化頭部伝達関数が、図27(D)に示した畳み込み開始タイミングと同様の開始タイミングから畳み込まれるものである。
図27(E)は、左側方チャンネルLS用である頭部伝達関数畳み込み処理部74LSにおいて畳み込まれる直接波LSdについての正規化頭部伝達関数の畳み込み開始タイミングを示している。つまり、この例では、頭部伝達関数畳み込み処理部74LSにおいては、左側方チャンネルについての直接波LSdについての正規化頭部伝達関数のみが畳み込まれる。
図示は省略するが、右側方チャンネルRS用である頭部伝達関数畳み込み処理部74RSにおいても、右側方チャンネルについての直接波RSdについての正規化頭部伝達関数のみが畳み込まれる。
図27(F)は、右側方チャンネルのクロストークチャンネルxRS用である頭部伝達関数畳み込み処理部74xRSにおいて畳み込まれる直接波および反射波、また、それらのクロストークについての正規化頭部伝達関数の畳み込み開始タイミングを示している。
左側方チャンネルのクロストークチャンネルxLS用である頭部伝達関数畳み込み処理部74xLSにおいて畳み込まれる直接波および反射波、また、それらのクロストークについての正規化頭部伝達関数については、図示は省略するが、図27(F)に示した直接波および反射波、また、それらのクロストークとは、左右を逆にしたものについての正規化頭部伝達関数が、図27(A)に示した畳み込み開始タイミングと同様の開始タイミングから畳み込まれるものである。
なお、前述したように、以上の説明においては、直接波および反射波の正規化頭部伝達関数の畳み込みについての説明は、壁反射のみについて行ったが、天井反射および床反射についても全く同様にして、考慮することができる。
すなわち、図28は、例えば右前方スピーカRFを仮想音像定位位置とするために頭部伝達関数を畳み込むときに、考慮する天井反射および床反射を示すものである。すなわち、天井に反射して右耳位置に入射する反射波RFcRと、同じく天井に反射して左耳位置に入射する反射波RFcLと、床に反射して右耳位置に入射する反射波RFgRと、同じく床に反射して左耳位置に入射する反射波RFgLとを、考えることができる。また、これらの反射波については、図示は省略したが、クロストークを考慮することもできる。
これらの反射波およびクロストークについても、畳み込むべき正規化頭部伝達関数は、それらの音波がリスナ位置Pnに最後に入射する方向について測定した正規化頭部伝達関数とされる。そして、それぞれの反射波についての経路長を計算して、それぞれの正規化頭部伝達関数の畳み込み開始タイミングを定める。
そして、畳み込む正規化頭部伝達関数のゲインは、天井および床の材質や表面形状などから想定される吸音率に応じた減衰量とされる。
[音響再生システムの第2の例の構成例;図29]
図16および図17に示した音響再生システムにおいては、ヘッドホンドライバーを7個ずつ左右の耳用として備えるオーバーヘッドホンにより、7.1チャンネルマルチサラウンド音声信号を音響再生するようにした場合である。
これに対して、以下に説明する他の例は、ヘッドホンドライバーが左右の耳用として1個ずつである一般的なオーバーヘッドホンにより、7.1チャンネルマルチサラウンド音声信号を音響再生するようにした場合である。
以下に説明する例では、正規化頭部伝達関数は、図5に示したように、7.1チャンネルマルチサラウンド用として、左右の耳の近傍にそれぞれ7個ずつのマイクロホンを設置して測定したものを使用するものとする。そのため、正規化頭部伝達関数を畳み込み処理するまでの処理は、上述した音響再生システムと全く同様にすることができる。すなわち、図16に示したハードウエア構成は、この例の音響再生システムにおいても同様とする。
この例の音響再生システムにおいては、図29に示すように、レベル調整部75xRF,75LS,75LF,75LB,75xRS,75LFE,75Cからの音声信号は、左チャンネル用の加算部110Lに供給されて加算される。
また、レベル調整部75LFE,75C,75xLS,75RB,75RF,75RS,75xLFからの音声信号は、右チャンネル用の加算部110Rに供給されて加算される。
そして、加算部110Lおよび110Rの出力信号が、それぞれD/Aコンバータ111Lおよび111Rに供給されてアナログ音声信号に変換される。このD/Aコンバータ111Lおよび111Rからのアナログ音声信号は、電流電圧変換部112Lおよび112Rのそれぞれに供給されて、電流信号から電圧信号に変換される。
そして、電流電圧変換部112Lおよび112Rのそれぞれからの電圧信号とされた音声信号は、レベル調整部113Lおよび113Rのそれぞれで、レベル調整された後、利得調整部114Lおよび114Rのそれぞれに供給されて利得調整される。
そして、利得調整部114Lおよび114Rの出力音声信号は、アンプ115Lおよび115Rをそれぞれ通じて左耳用のヘッドホンドライバー120Lおよび右耳用のヘッドホンドライバー12Rに、それぞれ供給されて、音響再生される。
この音響再生システムの第2の例によれば、ヘッドホンドライバーが左右の耳用として1つずつのヘッドホンにより、7.1チャンネルのマルチサラウンドの音場を仮想音像定位により良好に再生することができる。
[実施形態の効果]
従来は、頭部伝達特性を用いて信号処理を行う場合は、その測定系の特性が除去できないため、特性が良く、音の良い高価なスピーカおよびマイクロホンを用いて測定をしないと、最終的な畳み込み処理後の音質が劣化してしまった。これに対して、この実施形態における正規化頭部伝達関数は、測定系の特性を除去できるため、特性がフラットでない安価なスピーカやマイクロホンを使用した測定系を用いても、音質を劣化させない頭部伝達関数の畳み込み処理が可能になる。
さらに、いくら高価な特性の良いスピーカやマイクロホンを用いても理想的な特性(すべてにおいてフラット)な特性は得られないが、この実施形態によれば、従来のどのような特性より理想的な頭部伝達特性を抽出することができる。
そして、反射波を除去した直接波のみについての頭部伝達関数を、たとえばリスナに対して種々の方向を仮想音源位置として求めているので、それぞれの方向からの音波についての頭部伝達関数を音声信号に容易に畳み込むことができ、それぞれの方向の音波についての頭部伝達関数を畳み込んだときの再生音場を容易に検証することが可能である。
すなわち、上述したように、仮想音像定位位置を、ある特定の位置に定めたい場合において、当該仮想音像定位位置からの直接波についての頭部伝達関数のみでなく、当該仮想音像定位位置からの反射波と想定できる方向の音波についての頭部伝達関数を畳み込んで、その再生音場を検証することができ、いずれの方向の反射波が仮想音像定位に有効か、などを検証することができる。
[その他の変形例]
上述の説明は、主としてヘッドホンを再生音声信号を音響再生する電気音響変換手段とした場合について説明したが、測定方法、処理内容を考慮するとフロントサラウンド等のスピーカを出力系としたアプリケーションへも応用が可能である。
音響再生システムは、マルチサラウンド方式の場合について説明したが、通常の2チャンネルステレオにも適用できることは言うまでもない。
また、7.1チャンネルに限らず、5.1チャンネルや、9.1チャンネルなど、その他のマルチサラウンドの場合にも、同様に適用できることは勿論である。
また、7.1チャンネルのマルチサラウンドのスピーカ配置は、ITU−Rスピーカ配置の場合を例に説明したが、THX社の推奨するスピーカ配置の場合にも適用できることは容易に理解できよう。