JP2010011083A - バイノーラル収音再生システム - Google Patents

Abstract

【課題】予め収録された音声を収録時の音場に対してより忠実に再現再生する。
【解決手段】予め収音用マイクロフォン２Ｒ，２Ｌにより収録された収録音声信号の補正を行いスピーカに供給する補正フィルタと、スピーカで再生された収録音声信号を聴取者５の耳道領域に備えられた収音用マイクロフォン２Ｒ，２Ｌにより収音して得られた再生音声信号に対して補正を行う適応フィルタとを備え、適応フィルタは、前記再生音声信号と収録音声信号との差分に基きスピーカから収音用マイクロフォン２Ｒ，２Ｌまでの伝達特性と逆の特性を算出し、補正フィルタが、算出された特性により前記収録音声信号の補正を行う。
【選択図】図１

Description

本発明は、バイノーラル収音および再生を行う手法に関する。

従来、録音者の周囲音環境を音源の方向情報も含んで収録再生する方法であるバイノーラル収音再生方式が利用されている。
このバイノーラル収音再生方式は、左右の耳の耳道入口付近または耳道内にそれぞれマイクロフォンを配置して、収音するステレオ収音手法である。
このマイクロフォンにより収音された音声信号をヘッドフォン等により耳道入口付近で再生することによって、収音された場所の音場をより忠実に再現する。

また、バイノーラル収音再生の手法には、人間の頭部を模擬し、耳道入口付近または耳道内にマイクロフォンを設置したダミーヘッドと呼ばれるマイクロフォンシステムで収音を行う。しかしながら、この場合、収音された音声信号を聴取する聴取者の頭の形状とダミーヘッドの形状が異なるために異なるため、音声信号の再生にあたって、収音時の音場を忠実に再現することは困難である。

このため、録音者の耳元で収音した音声信号を録音者自身が聴取者として、自らの耳元に再生すること(リアルヘッドバイノーラル収音再生)が、バイノーラルを有効に実現する手法として考えられる。
この場合、収音時と再生時の頭部伝達関数（ＨＲＴＦ：Head-Related Transfer Function）が原理的には一致するため、より忠実な音場再現が可能となる。

上記リアルヘッドバイノーラル収音再生の関連技術として、ヘッドフォン、マイクロフォンの特性を含む伝達特性の同定(算出)に適応フィルタを用いることにより、再生された音声におけるバイノーラル効果の低下を軽減する技術が開示されている(特許文献１)。
この関連技術では、リアルヘッド収音されたバイノーラル信号のヘッドフォンによる再生を行う際に、収音に用いたマイクロフォン(または、それに特性が近似したマイクロフォン)を耳に装着し、さらにヘッドフォンを装着して、適応フィルタにより逐次、ヘッドフォンからマイクロフォンまでの合成特性と逆の特性を求め、得られた合成逆特性を補正フィルタにより、バイノーラル信号としての通常の音声信号に重畳することによってマイクロフォンやヘッドフォンの特性を補正する。

又、バイノーラル収音された音声を、ヘッドフォンではなく、ラウドスピーカで再生する場合の関連技術として、ラウドスピーカから再生された音声のうち、聴取者の前方左側に設置された左ラウドスピーカから聴取者の右耳に到達する音声(クロストーク)および聴取者の前方右側に設置された右ラウドスピーカから聴取者の左耳に到達する音声(クロストーク)をキャンセルするための手法が開示されている(特許文献２)。
特開２００５−３１８０６１公報 特開２０００−２７８８００公報

しかしながら、上記特許文献１では、補正帯域と非補正帯域を特定の閾値により分割しており、この場合、収音されたバイノーラル信号を聴取者の耳元に忠実に再現することが困難となるという不都合がある。
また、バイノーラル収音された音声のバイノーラル再生時には、ヘッドフォンを装着する必要があり、ラウドスピーカによりバイノーラル再生を行うことが、想定されていない。

また、特許文献２では、バイノーラル収音信号をラウドスピーカ(再生スピーカ)で再生する場合に、再生スピーカと聴取者の位置が固定されており、聴取者の位置が変化した場合のフィルタ係数(特性)の変化に追従させることが出来ないという不都合がある。

［発明の目的］
本発明は、上記関連技術の有する不都合を改善し、バイノーラル収音された音声を、収音時の音場により忠実に再現再生するバイノーラル収音再生システム、を提供することを、その目的とする。

上記目的を達成するために、本発明に係るバイノーラル収音再生システムは、収音用マイクロフォンにより予め収録された収録音声信号の補正を行いスピーカに供給する補正フィルタと、前記スピーカで再生され予め聴取者の耳道領域に備えられた前記収音用マイクロフォンにより収音された再生音声信号に対して補正を行う適応フィルタと、前記収録音声信号を取得し予め設定された時間遅延させて出力する遅延信号出力手段と、前記適応フィルタを介して取得された再生音声信号と前記遅延信号出力手段から出力された収録音声信号との差分を算出し、その差分を前記適応フィルタに送出する残差検出手段とを備え、前記適応フィルタは、前記再生音声信号と前記差分とに基き、前記ステレオスピーカから前記マイクロフォンまでの伝達特性と逆の逆特性を算出する逆特性同定機能を有し、前記補正フィルタが、前記逆特性により前記収録音声信号の補正を行うことを特徴としている。

本発明は、以上のように構成され機能するので、これによると、前記スピーカから前記収音用マイクロフォンまでの伝達特性と逆の逆特性を算出する適応フィルタと、前記スピーカで再生される収録音声信号に対して前記算出された逆特性により補正処理を行う補正フィルタを備えた構成とすることにより、収音用マイクロフォンを装着された耳道領域で収音時の音場を忠実に再現することができる。

［実施形態１］
次に、本発明の実施形態について、その基本的構成内容を説明する。

本実施形態のバイノーラル収音再生システムは、図１に示すように、バイノーラル収録された音声信号を再生するバイノーラル再生装置(以下「再生装置」という)１と、再生装置１から供給された音声信号を音響に変えて出力するヘッドフォンスピーカ(以下「ヘッドフォン」という)３と、聴取者５の左右各耳における耳道近傍に装着され、ヘッドフォン３(３Ｒ，３Ｌ)から出力される音声を収音するマイクロフォン２(２Ｒ、２Ｌ)を備えている。
また、ヘッドフォン３Ｒ，３Ｌは、聴取者５の左右の耳にそれぞれに装着されたマイクロフォン２Ｒ，２Ｌをそれぞれ覆うように装着され、マイクロフォン２Ｒは、再生装置１の右再生系に、マイクロフォン２Ｌは、再生装置１の左再生系にそれぞれ接続され、収音された音声を再生装置１に入力する。

マイクロフォン(収音用マイクロフォン)２は、聴取者５右耳に装着される２Ｒ、および左耳に装着される２Ｌとから成る。
マイクロフォン２Ｒは、図２(Ａ)、(Ｂ)に示すように、聴取者５の耳介にかけられる耳掛け２１、音声の収音を行うマイク部２２、および聴取者５の耳道内に挿入されるプローブ２３により構成される。尚、マイクロフォン２Ｌについても、マイクロフォン２Ｒと同様の構成を有するものとする。

ここで、本実施形態で再生される音声を収録し記憶する手法であるバイノーラル収録(リアルヘッド録音)について説明する。

まず、音声収音現場で、バイノーラル収録を行う録音者４の右耳及び左耳それぞれの耳道口近傍に、マイクロフォン２Ｒ，２Ｌが装着される。
ここで、録音者４の右耳に装着されたマイクロフォン２Ｒは、それぞれ、録音者４の両耳に到達する音声信号(生音)が阻害されることなく聴取されるように、録音者４の耳道を塞ぐことのないプローブ型を有するものとする。尚、図３は、マイクロフォン２Ｒが右耳の耳道に装着された場合を例示している。

この状態で、音声収音現場における音声が、マイクロフォン２Ｒ，２Ｌによって収音され、収音された音声は、録音デバイス６にステレオ録音される。
尚、録音デバイス６は、ステレオ収音可能なデバイスであれば、ディジタルデバイスでもアナログデバイスでもよい。

ここで、マイクロフォン２Ｒ、および２Ｌにより収音された音声信号は、それぞれ右チャンネル音声信号(ＳＲ)、および左チャンネル音声信号(ＳＬ)として、図４に示すように、録音デバイス６に入力され、録音デバイス６内に設けられたディスク媒体やメモリカードなどのデータ記憶部７に記録される。

記録デバイス６は、チャンネル音声信号ＳＬおよびＳＲは、記録デバイス６内に予め設けられた記録処理部８に入力されると共に、必要に応じて圧縮符号化され、予め設定されたフォーマットの音楽データとしてデータ記憶部７に記録される。

尚、上記図３、および４は、マイクロフォン２Ｒが、録音者４の右耳に装着された場合を例示しているが、録音者５の左耳も同様にマイクロフォン２Ｌが装着されているものとする。

次に、再生装置１の構成について説明する。
再生装置１は、ヘッドフォン３に接続されて設けられ、データ記憶部７に記録された入力音声信号ＳＲ、およびＳＬを再生する。
再生装置１の右再生系は、図５に示すように、補正フィルタ１２Ｒ、遅延素子１３Ｒ、適応処理部１４Ｒ、および加算器１５Ｒからなる。又、再生装置１の左再生系は、補正フィルタ１２Ｌ、遅延素子１３Ｌ、適応処理部１４Ｌ、および加算器１５Ｌからなる。

再生処理部１１は、上記のようにリアルヘッド録音されたバイノーラル収録音声信号(音声信号ＳＬおよびＳＲ)を読出し、伸張復号化など、必要な処理を実行し、補正フィルタ(１２Ｒ，１２Ｌ)にデジタル音声データＤＲおよびＤＬとして出力する(デジタル音声データ出力機能)。
以下、再生装置１の右チャンネル再生系の構成内容について詳説する。

補正フィルタ１２Ｒは、供給されたデジタル音声データ(以下「バイノーラル収音信号」という)ＤＲに対して、予め設定された特性(フィルタ係数)により補正処理を行い、音声信号s(k)としてヘッドフォン３Ｒおよび遅延素子１３Ｒに供給する(音声補正供給機能)。

尚、補正フィルタ１２Ｒは、例えばＦＩＲフィルタ等によって構成され、そのフィルタ係数が、後述する適応フィルタ１４Ｒにより変更設定されることにより、そのフィルタ特性が更新される。

更に、補正フィルタ１２Ｒは、リアルヘッド収音されたバイノーラル収音信号(ＤＲ)に対して、上記特性を重畳する処理(畳込み処理)を行う重畳処理機能を備えている。
これにより、補正フィルタ１２(１２Ｒ，１２Ｌ)は、バイノーラル収音された音声信号がヘッドフォン聴取される場合に、音声信号におけるヘッドフォンから耳までの間の特性をフラットにする補正することができる。

尚、補正フィルタ１２Ｒは、上記音声補正供給機能の実行にあたって、後述される逆特性により、バイノーラル収音された音声信号の補正(フィルタリング)を行う。ここでは、補正フィルタ１２Ｒは、ヘッドフォン３Ｒからマイクロフォン２Ｒまでの伝達関数に基く逆特性を、バイノーラル収音信号(ＤＲ)に対して付与する処理を行う。

遅延素子１３Ｒは、補正フィルタ１２Ｒからの入力音声データｓ(ｋ)に対して予め設定された時間分ｔだけ遅延処理を行い、この遅延処理された遅延音声データｄ(k-ｔ)を加算手段１２に出力する(遅延データ送出機能)。
ここで、上記遅延データ送出機能における遅延時間ｔは、ヘッドフォン３Ｒからマイクロフォン２Ｒまでの音声伝播時間を含む時間値が、あらかじめ設定されているものとする。

適応フィルタ１４Ｒは、マイクロフォン２Ｒから供給された再生音声データ(再生音声信号)x(k)に対して、予め設定されたフィルタ係数に基づき補正処理を行い、この補正処理がなされた音声データを出力ｙ(ｋ)として加算器１２に出力する再生信号補正出力機能を備えている。

また、適応フィルタ１４Ｒは、出力ｙ(k)が、所望する信号(ここでは遅延音声データｄ(k))に近似した信号になるように、適応フィルタ１４Ｒ自身の特性(フィルタ係数)を更新する特性更新制御機能を有する。ここで、適応フィルタ１４Ｒは、送り込まれた差分ｅ(ｋ)および再生音声データｘ(ｋ)に基き、加算器１５Ｒから出力される差分ｅ(ｋ)を最小とするように、フィルタ係数を自己設定する(逆特性同定処理機能)。

ところで、マイクロフォン２Ｒにより収音された再生信号(再生音声データx(ｋ))の特性は、ヘッドフォン３Ｒの特性と、ヘッドフォン３Ｒの位置からマイクロフォン２Ｒの位置(およびヘッドフォン３Ｌの位置からマイクロフォン２Ｌの位置)までの空間伝達特性と、マイクロフォン２Ｒの特性とが合成された特性(以下「合成特性」という)である。

したがって、この合成特性に近似し、かつ合成特性と逆の特性(逆特性：合成逆特性)が求められれば、その合成逆特性により、ヘッドフォン３Ｒの特性、ヘッドフォン３Ｒの位置からマイクロフォン２Ｒの位置までの空間伝達特性、およびマイクロフォン２Ｒの特性(「ヘッドフォン３からマイクロフォン２までの特性」という)を、補正することができる。

また、合成逆特性には、ヘッドフォン３Ｒからマイクロフォン２Ｒまでの音響伝達特性と逆の特性が含まれているので、ヘッドフォンの位置からマイクロフォンの位置までフラットな伝達特性で音響が伝送されることになる。すなわち、耳覆い型のヘッドフォンなどを使用した場合の、個々人で異なる耳の形状に左右される空間伝達特性を補正することができる。

このため、補正フィルタ１２Ｒでは、この合成逆特性をバイノーラル収音された音声(ｓ(ｋ))に重畳することにより、合成特性が補正されて、バイノーラル収音音声が忠実に聴取者５の耳元に再現されることになる。

加算器１５Ｒは、マイナス成分として入力された出力ｘ(ｋ)とプラス成分として入力された遅延音声データｄ(k)とを加算する処理を行う(加算処理機能)。ここでは、遅延音声データからフィルタリング処理された音声データｙ(k)を減算する処理を行う。
また、加算器１５Ｒは、加算(減算)結果である残差データe(k)を適応フィルタ1４Ｒに送出する(残差データ出力機能)。

尚、上記適応フィルタ１４Ｒと、加算処理部１２Ｒとにより適応処理部１６Ｒが構成されるものとする。この適応処理部１６Ｒには、マイクロフォン２Ｒからの信号(再生音声データ)ｘと遅延素子１３Ｒからの信号ｄ(遅延音声データ)とが入力され、適応フィルタ１４Ｒが、出力ｙ(k)が所望される信号遅延音声データｄ(k)に近似した信号になるように、つまり、誤差e(k)のパワーが小さくなるように、適応フィルタ１４Ｒ自身の特性を修正するように動作する。
これにより、適応フィルタ１４Ｒは、ヘッドフォン３Ｒからマイクロフォン２Ｒまでの逆特性を同定することができる。

ここで、上記適応フィルタ１４Ｒにおける逆特性同定処理機能に、一般的な適応アルゴリズムであるＬＭＳ(Least Mean Square)法や学習同定法(Normalize Least Mean Square)を適用した場合、上記逆特性の同定処理に時間がかかり、ヘッドフォンの装着状態の変化に追従させた補正を行うことは困難である。
そこで、本実施形態では、ヘッドフォンからマイクロフォンまでの逆特性の同定を行う適応フィルタ１４Ｒ，１４Ｌを、特許第４０６７２６９号に開示された高速H∞フィルタ(ＦＨＦ：高速算出フィルタ)により構成するものとする。これにより、上記逆特性を高速に同定することが可能となる。

また、ＦＨＦを用いて逆特性の同定を逐次行うことにより、聴取者５が、ヘッドフォン３の装着状態の変動による特性の変動が生じた場合でも、動的に追従して補正フィルタ１２Ｒの特性を、迅速に更新することが可能となる。
尚、本実施形態では、右チャンネル再生系について説明したが、左チャンネル再生系についても、右チャンネル再生系の補正フィルタ１２Ｒ、遅延素子１３Ｒ、適応フィルタ１４Ｒ、および加算器１５Ｒそれぞれに対応した、補正フィルタ１２Ｌ、遅延素子１３Ｌ、適応フィルタ１４Ｌ、および加算器１５Ｌにより構成され、ヘッドフォン３Ｌおよびマイクロフォン２Ｌを含み同様に機能するものとする。

ところで、上述のヘッドフォン３Ｒからマイクロフォン２Ｒまで、または、ヘッドフォン３Ｌからマイクロフォン２Ｌまでの伝達特性(ヘッドフォン−マイクロフォン間の伝達特性)は、例えば、図６に示す構成により、同定することができる。
ここでは、本実施形態(図５)と同様に、聴取者にマイクロフォン２(２Ｒ，２Ｌ)およびヘッドフォン３(３Ｒ，３Ｌ)が装着されている。

リアルヘッド録音された収録音声(右チャンネル)は、図６に示すように、ヘッドフォン３Ｒおよび予め設定された適応フィルタＸに供給される。ヘッドフォン３Ｒにより収録音声信号が再生され、これをマイクロフォン２Ｒで収音した音声信号と、適応フィルタＸを介して入力される音声信号とを加算し、この加算結果ｅを適応フィルタに入力する。
尚、適応フィルタＸは、入力される加算結果ｅが最小となるように、当該適応フィルタにおけるフィルタ特性を同定する。これにより、適応フィルタは、ヘッドフォン３Ｒからマイクロフォン２Ｒまでの伝達特性を同定することができる。

ここで、この適応フィルタＸにより同定された、ヘッドフォン(３Ｒ)からマイクロフォン(２Ｒ)までの伝達特性(合成特性)の時間波形を図７(Ａ)に示す。また、図７(Ａ)の伝達特性の時間波形をフーリエ変換した周波数特性を図７(Ｂ)に示す。

次に、上述のヘッドフォン３Ｒからマイクロフォン２Ｒまで、または、ヘッドフォン３Ｌからマイクロフォン２Ｌまでの伝達特性(ヘッドフォン−マイクロフォン間の伝達特性) の逆特性を同定するための構成を図８に示す。尚、この図８は、本実施形態の構成内容を簡略化したものであり、適応フィルタＹは、適応フィルタ１４Ｒ(図５)に対応する。

本実施形態と同様に、聴取者にマイクロフォン２(２Ｒ，２Ｌ)およびヘッドフォン３(３Ｒ，３Ｌ)が、図８に示すように、装着されている。

ここで、リアルヘッド録音された収録音声(右チャンネル)が、ヘッドフォン３Ｒおよび予め設定された遅延素子Ｄ(遅延素子１３Ｒに対応)に供給される。
又、ヘッドフォン３Ｒにより収録音声信号が再生され、これをマイクロフォン２Ｒで収音した音声信号が、適応フィルタＹを介して加算部に入力される。尚、適応フィルタＹは、音声信号に対して予め設定されたフィルタ係数に基き補正処理を行う。
遅延素子Ｄは、実施形態１の遅延素子１３Ｒと同様に、入力された収録音声信号に対して、予め設定された時間分だけ遅延処理を行い、この遅延処理された遅延音声データを加算部に出力する。

この加算部は、加算器１５Ｒと同様に、入力された信号どうしを加算処理すると共に加算結果を出力する。
ここでは、適応フィルタＹからの音声信号と、遅延素子Ｄを介して入力される音声信号とが、加算部で加算処理され、加算結果ｅが適応フィルタに出力される。

尚、適応フィルタＹは、加算部からの加算結果ｅが最小となるように、当該適応フィルタＹにおけるフィルタ特性を同定する。
これにより、適応フィルタＹは、ヘッドフォン３Ｒからマイクロフォン２Ｒまでの伝達特性の逆特性(逆伝達特性)を同定することができる。

ここで、この適応フィルタＹにより同定された、ヘッドフォンからマイクロフォンまでの逆伝達特性の時間波形を図９(Ａ)に示す。また、図９(Ａ)の伝達特性の時間波形をフーリエ変換した周波数特性を図９(Ｂ)に示す。ここで、図９(Ｂ)の周波数特性は、図７(Ｂ)の周波数特性を上下に折り返した形状の特性となっていることが分かる。

更に、図７の時間波形と図９の時間波形とを畳み込む処理(畳み込み処理)を行うことにより、図１０(Ａ)に示すように、パルス形状の時間波形が得られる。また、図１０(Ａ)の時間波形をフーリエ変換した周波数特性を図１０(Ｂ)に示す。
この周波数特性の形状は、ほぼフラットとなっており、これにより、図９に示す逆伝達特性の時間波形が、図７に示される伝達特性の逆特性となっていることが確認できる。
これにより、本実施形態の構成によって、上記適応フィルタＹに対応する適応フィルタ１４Ｒが、上述のヘッドフォン３Ｒからマイクロフォン２Ｒまでの伝達特性の逆伝達特性を有効に同定することができることが分かる。

尚、上述のように、図６に示す構成における適応フィルタＸで、ヘッドフォンからマイクロフォンまでの伝達特性を同定し、その後同定された伝達特性から逆伝達特性を求めることも可能である。
しかしながら、この場合、伝達特性から逆伝達特性を求める処理量が膨大になるという不都合がある。また、同定された伝達特性(図７(Ａ))から求められた逆特性は、畳み込み処理を行った場合に、伝達特性をフラットにできない特性が含まれてしまうという不都合がある。

これに対して、本実施形態では、適応フィルタ１４Ｒ、Ｌがヘッドフォンからマイクロフォンまでの逆伝達特性を直接同定する構成となっているため、畳み込み処理を有効に行うための逆伝達特性を、高速に、且つ確実に求めることができる。

［実施形態１の動作説明］
ここで、上述のように、聴取者５がマイクロフォン２Ｒ，２Ｌおよびヘッドフォン３Ｒ，３Ｌを装着して、前述のように収録されたバイノーラル信号を再生する場合について、説明する。

まず、再生処理部１１は、データ記憶部７に記憶された音声データを読み出し、右チャンネルの音声データＤＲ、および左チャンネルの音声データＤＬを、それぞれ補正フィルタ１２Ｒ、および１２Ｌに供給する。

以下、本実施形態における右再生系(図５)における動作フローを説明する。
補正フィルタ１２Ｒでは、送り込まれた音声データＤＲに対して、予め設定されたフィルタ係数(補正特性)による補正処理が行われ、音声信号s(k)としてヘッドフォン３Ｒ、および遅延素子１３Ｒに送出される。

尚、ヘッドフォン３Ｒに供給される音声信号s(k)は、Ｄ／Ａ(Digital/Analog)コンバータによりＤ／Ａ変換され、アナログ音声信号として供給される。

ヘッドフォン３Ｒでは、補正フィルタ１２Ｒから送り込まれた音声信号s(k)が、右チャンネル音声として再生(放音)され、マイクロフォン２Ｒが、ヘッドフォン３Ｒにより再生された右チャンネル音声の収音を行う。

適応フィルタ１４Ｒでは、マイクロフォン２Ｒで収音された再生音声データx(k)に対して、予め設定されたフィルタ係数に基づき補正処理を行い、出力信号である出力ｙ(k)として加算器１２に出力する。
尚、上記再生音声データｘ(ｋ)は、再生装置１に予め設けられたＡ／Ｄ(Analog/Digital)コンバータによりＡ／Ｄ変換され、デジタル音声信号として供給される。

遅延素子１３は、補正フィルタ１２Ｒからの音声信号ｓ(ｋ)に対して、予め設定された時間分だけ遅延処理を行い、この遅延処理された遅延音声データｄ(k-ｔ)を加算器１５Ｒに出力する。

加算器１５Ｒでは、適応フィルタにより補正された出力ｙ(k)と遅延素子の出力信号ｄ(k-t)との差分算出が行われ、算出された差分e(k)が、適応フィルタ１４Ｒに送出される。
適応フィルタ１４Ｒでは、送り込まれた差分ｅ(ｋ)および信号ｘ(ｋ)に基き差分ｅ(ｋ)を最小とするように特性が自己設定される。また、同定された逆特性は、補正フィルタ１２Ｒに通知される。

これにより、適応フィルタ１４Ｒでは、聴取者５の耳(ここでは右耳)に装着されたヘッドフォン３Ｒからマイクロフォン２Ｒまでの合成された特性(合成特性)と逆の逆特性が同定される。

次いで、補正フィルタ１２Ｒは、上記同定された逆特性を、補正フィルタ２Ｒ自身の特性として、再生処理部１１からの音声データＤＲに対して畳み込み処理を行うことにより補正処理を行いヘッドフォン３Ｒに供給する。

尚、上記実施形態では、右チャンネル再生系、ヘッドフォン３Ｒ、およびマイクロフォン２Ｒの動作について説明したが、対応する左チャンネル再生系(補正フィルタ１２Ｌ、遅延素子１３Ｌ、適応フィルタ１４Ｌ、加算器１５Ｌ)、ヘッドフォン３Ｌ、およびマイクロフォン２Ｌにおいても、上述と同様に動作する。

以上のように、本実施形態では、バイノーラル収音されたバイノーラル収音(音声)信号が、ヘッドフォンと耳との間の特性をフラットにするような補正が行われ、バイノーラル収音音声が忠実に聴取者の耳元に再現される。

また、本実施形態によってバイノーラル再生を行う場合には、補正フィルタの補正特性を逐次更新することができるため、再生中におけるヘッドフォンの装着状態の変動などによる特性の変動に対しても、追従して最適な特性が同定され、再生音声のフィルタリングを行うことができる。

［実施形態２］
次に、本発明に係る実施形態２のシステムについて説明する。ここで、前述した実施形態１と同一の部分については、同一の符号を付するものとする。
この実施形態２は、実施形態１のヘッドフォンに代えて、聴取者５の前方左側にラウドスピーカ２００Ｌ、前方右側にラウドスピーカ２００Ｒを設けた点と、再生装置１００内にクロストークキャンセル部５０を備えた点が実施形態１の場合と相違する。

ここで、バイノーラル収音(リアルヘッド収録)されたステレオ音声信号(収録信号)を聴取者の前方に設置された一対のステレオラウドスピーカ(以下「ラウドスピーカ」という)２００Ｌ，Ｒで再生する場合には、図１１に示すように、ラウドスピーカ２００Ｌから右耳に到達する音声信号、ラウドスピーカ２００Ｒから左耳に到達する音声信号が存在する。これらの信号はクロストークと呼ばれる。
リアルヘッド収録された収録信号(左および右チャンネル音声信号)を、一対のラウドスピーカ２００Ｌ，Ｒにて再生する場合、これを聴取する聴取者側では、クロストークの影響で音の空間的拡がり、定位感が減少してしまう。このため、図１２に示すように、再生される左および右チャンネル音声信号(ｘ１、およびｘ２)に対して、クロストークをキャンセルする処理(クロストークキャンセル処理)を行うことが必要となる。

クロストークキャンセル処理は、聴取者に対して左スピーカｙ１から聴取者の右耳ｚ２に到達する信号（クロストーク）を右スピーカｙ２からの信号によって打ち消すものである。同様に、クロストークキャンセル処理は、右スピーカｙ２から聴取者の左耳ｚ１に到達する信号(クロストーク)も左スピーカからの信号によって打ち消すものである。

ここで、本実施形態の概略構成図を図１３に示す。
実施形態１と同様に聴取者５の両耳にマイクロフォン２Ｌ、２Ｒをそれぞれ備え、聴取者５の前方に左ラウドスピーカ(以下「スピーカ」という)２００Ｌ、および右ラウドスピーカ(以下「スピーカ」という)２００Ｒを設け、このスピーカ２００Ｌ、Ｒに音声信号を提供する再生装置１００を備えた構成となっている。
再生装置１００は、スピーカ２００Ｌ、およびＲにそれぞれ接続され、データ記憶部７(図示なし)に記録された入力音声信号ＳＲ、およびＳＬの再生を行う再生処理部１１(図示なし)と、再生処理部１１から入力される左チャンネル音声信号ＤＬに補正を行う補正フィルタＡと、同様に再生処理部１１から入力される右チャンネル音声信号ＤＲに対して補正を行う補正フィルタＢを有する。
本実施形態の再生装置１００では、上記補正フィルタＡ、およびＢに加えて、後述するクロストークキャンセル部５０内に、補正フィルタＣ、およびＤを備えている。これら４つのフィルタそれぞれの特性は、図１３に示すように、左スピーカ(２００Ｌ)、および右スピーカ(２００Ｒ)それぞれと聴取者の両耳それぞれとの間の伝達関数Ｇ１１、Ｇ２２、Ｇ１２、Ｇ２１に基き決定される。

ここでは、左スピーカと聴取者５の左耳との間の伝達関数をＧ１１、左スピーカと聴取者５の右耳との間の伝達関数をＧ１２、右スピーカと聴取者の左耳との間の伝達関数をＧ２１、右スピーカと聴取者５の右耳との間の伝達関数をＧ２２とする。これにより、各伝達関数は、左、右各スピーカと聴取者５の左右各耳との位置関係が変わることにより変化する。尚、１／Ｇ１１、および１／Ｇ２２は、それぞれＧ１１，およびＧ２２の逆伝達関数を示す。

ここで、１／Ｇ１１、１／Ｇ２２は、再生系の補償を行い、Ｇ１２／Ｇ２２、Ｇ２１／Ｇ１１は、それぞれ他方のチャンネルの信号から減算される。これにより、帰還ループが形成され、この構成は、フィードバック型のクロストークキャンセル装置と呼ばれる。
このような構成により、再生される左および右チャンネル音声信号を処理することにより、左スピーカからの信号は左耳のみに到達し、右スピーカからの信号は右耳のみに到達する。

ところで、クロストークキャンセル処理(図１２)では、一般に、聴取者が左右スピーカの中央にいる場合を想定した固定的な特性が設定されたフィルタが実装される。しかしながら、この場合、聴取者が移動したり、向きを変えることにより、スピーカと聴取者との位置関係が変化したときに、クロストークを適切にキャンセルすることができず、聴取される音声の定位効果(バイノーラル効果)は失われてしまう。

そこで、本実施形態では、本発明のマイクロフォン２Ｒ、２Ｌ(総称として「リアルヘッドマイク」という)を聴取者５の両耳に装着することにより、ラウドスピーカで再生された信号を収音し、ラウドスピーカへの供給信号とリアルヘッドマイクが収音している信号とに基いて、適応的にフィルタ関数の同定を行う。
これにより、聴取者が移動することにより、聴取者の耳とラウドスピーカとの位置関係が変化した場合でも、装備されたフィルタのフィルタ関数が適応的に更新され、常に最適なクロストークキャンセルを実現することが可能となる。

本実施形態では、クロストークキャンセルに適応フィルタを用いるために、図１３に示されたＧ１２／Ｇ２２をＧ１２と１／Ｇ２２に、同様にＧ２１／Ｇ１１をＧ２１と１／Ｇ１１に分解した構成とする(図１４)。

以下、これを詳説する。
本実施形態のバイノーラル収音再生システムは、図１４に示すように、リアルヘッド収録された音声信号を再生するバイノーラル再生装置(以下「再生装置」という)１００と、再生装置１００から供給された音声信号を放音するラウドスピーカ(以下「スピーカ」という)２００Ｌ、２００Ｒとを備えた構成となっている。また、上述のように、聴取者５の左右各耳における耳道近傍には、実施形態１と同様に、装着されたマイクロフォン２(２Ｌ、２Ｒ)を備えられ、このスピーカ２００Ｌ、および２００Ｒから放音される音声をマイクロフォン２Ｌ、および２Ｒがそれぞれ収音する。

更に、再生装置１００は、実施形態１と同様に、データ記憶部７に記憶された音声信号を読み出す再生処理部１１と、再生処理部１１で読み出された左チャンネル音声信号(ＤＬ)の補正処理を行うフィルタである信号補正部４１、および右チャンネル音声信号の補正処理を行うフィルタである信号補正部４２(それぞれ「補正フィルタ」に対応)と、この信号補正部４１、４２を介して入力された音声信号に対して補正処理を行いスピーカ２００Ｌ、Ｒに音声信号を入力するクロストークキャンセル部５０を備えている。

信号補正部４１は、左チャンネル音声信号ＤＬに対して補正を行うフィルタ(補正フィルタＡ：図１３)であって、スピーカ２００Ｌから聴取者５の左耳までの伝達関数(Ｇ１１)の逆伝達関数に対応するフィルタ係数(１／Ｇ１１)が設定される。
信号補正部４１は、再生処理部１１からの音声信号ＤＬに対して、スピーカ２００Ｌから聴取者５の左耳までの伝達関数の逆関数に基く周波数特性を付与する。これにより、スピーカ２００Ｌから聴取者５の左耳までの音声の周波数特性をフラットに補正することができる。
尚、このフィルタ係数(１／Ｇ１１)は、後述するフィルタ特性算出部６１により算出(同定)され、設定される。

信号補正部４２は、右チャンネル音声信号(以下「音声信号」という)ＤＲに対して補正を行うフィルタ(補正フィルタＢ：図１３)であって、スピーカ２００Ｒから聴取者５の右耳までの伝達関数(Ｇ２２)の逆伝達関数に対応するフィルタ係数(１／Ｇ２２)が、設定される。
尚、このフィルタ係数(１／Ｇ２２)は、後述するフィルタ特性算出部６３により算出され、設定される。
信号補正部４２は、再生処理部１１からの音声信号ＤＲに対して、スピーカ２００Ｒから聴取者５の右耳までの伝達関数の逆関数に基く周波数特性を付与する。これにより、スピーカ２００Ｒから聴取者５の右耳までの音声の周波数特性をフラットに補正することができる。

クロストークキャンセル部５０は、信号補正部４１、４２を介して入力された音声信号に対してそれぞれ加算処理を行い、加算結果をスピーカ２００Ｌ、Ｒにそれぞれ供給する加算処理部３１Ｌ、３２Ｒと、音声信号に対して、予め設定されたフィルタ係数で畳み込み処理を行う信号補正部４３、４４、４５、および４６を備えている。

具体的には、クロストークキャンセル部５０は、ＣＰＵ(Central Processing Unit)やメモリ、ハードディスク等の記憶部によって実現され、クロストークキャンセルのための信号処理を制御する制御プログラムの実行を行う。

加算処理部３１Ｌは、信号補正部４４および４６(補正フィルタＤに対応：図１３)により補正処理がなされたフィードバック信号ｂ１と、信号補正部４１で補正処理されたｌｃｈ入力信号ｌｗ(ｋ)とが入力される。
加算処理部３１Ｌは、ｌｃｈ入力信号ｌｗ(ｋ)からフィードバック信号ｂ１が減算されたｌｃｈ出力信号ｌｘ(ｋ)をスピーカ２００Ｌに供給(入力)する。また、加算処理部３１Ｌは、加算処理されたｌｃｈ出力信号ｌｘ(ｋ)を、後述する信号補正部４５に入力する。

加算処理部３２Ｒは、加算処理部３１Ｌと同様に、信号補正部４３および４５(補正フィルタＣに対応：図１３)により補正処理がなされたフィードバック信号ｂ２(ｋ)と、信号補正部４２で補正処理がなされたｒｃｈ入力信号ｒｗ(ｋ)とが入力される。
加算処理部３２Ｒは、ｒｃｈ入力信号ｒｗ(ｋ)からフィードバック信号ｂ２(ｋ)が減算されたｒｃｈ出力信号ｒｘ(ｋ)をスピーカ２００Ｒに供給(入力)する。また、加算処理部３２Ｒは、このｒｃｈ出力信号ｒｘ(ｋ)を、後述する信号補正部４６に入力する。

信号補正部４５は、例えばＦＩＲ(Finite Impulse Response)フィルタ等から成り、加算処理部３１Ｌから音声信号ｌｘ(ｋ)が入力される。
又、信号補正部４５には、スピーカ２００Ｒから聴取者５の右耳までの伝達関数(Ｇ２２)の逆伝達関数(１／Ｇ２２)に対応するフィルタ係数が設定される。
信号補正部４５は、加算処理部３１Ｌからのｌｃｈ出力信号ｌｘ(ｋ)に対して、スピーカ２００Ｒから聴取者５の右耳までの伝達関数の逆関数(１／Ｇ２２)に基く周波数特性を付与する処理を行い、音声信号ｌｙ(ｋ)として信号補正部４３に出力する。
尚、信号補正部４５は、上記信号補正部４２のフィルタ係数と同じフィルタ係数が設定される。また、信号補正部４５のフィルタ係数は、後述するフィルタ特性算出部６１により算出され、設定される。このため、信号補正部４５のフィルタ特性は、フィルタ特性算出部６１による同定の結果により、信号補正部４２の特性と同じになるように更新設定される。

信号補正部４３は、信号補正部４５からの音声信号ｌｙ(ｋ)に対して、スピーカ２００Ｌから聴取者５の右耳までのクロストークの伝達関数(Ｇ１２)に基く周波数特性を付与する処理を行う。信号補正部４３は、この処理により生成されたフィードバック音声信号ｂ２(ｋ)を、加算処理部３２Ｒに出力する(フィードバック音声信号送出機能)。
また、信号補正部４３には、スピーカ２００Ｌから聴取者５の右耳までのクロストークにおける伝達関数(Ｇ１２)に対応するフィルタ係数が設定される。
更に、信号補正部４３のフィルタ係数(Ｇ１２)は、後述するフィルタ特性算出部６３により算出され、設定される。このため、信号補正部４３のフィルタ特性は、フィルタ特性算出部６３による同定の結果により、そのフィルタ特性が更新される。

加算処理部３２Ｒは、信号補正部４３および４５(補正フィルタＣに対応：図１３)により補正処理がなされたフィードバック信号(マイナス成分)ｂ２(ｋ)と、信号補正部４２で補正処理されたｒｃｈ入力信号(プラス成分)ｒｗ(ｋ)とが入力され、加算処理を行う。
加算処理部３２Ｒは、ｒｃｈ入力信号ｗ(ｋ)からフィードバック信号ｂ２が減算されたｒｃｈ出力信号ｒｘ(ｋ)を、スピーカ２００Ｒに入力すると共に、後述する信号補正部４６に入力する。

信号補正部４６は、例えばＦＩＲ(Finite Impulse Response)フィルタ等から成り、加算処理部３２Ｒから音声信号(ｒｃｈ出力信号ｒｘ(ｋ))が入力される。
又、信号補正部４６には、スピーカ２００Ｌから聴取者５の左耳までの伝達関数(Ｇ１１)の逆関数(１／Ｇ１１)に対応するフィルタ係数が設定される。
信号補正部４６は、加算処理部３２Ｒからのｒｃｈ出力信号ｒｘ(ｋ)に対して、スピーカ２００Ｌから聴取者５の左耳までの伝達関数の逆関数(１／Ｇ１１)に基く周波数特性を付与する処理を行い、ｒｃｈ音声信号ｒｙ(ｋ)として信号補正部４４に出力する。
尚、信号補正部４６は、上記信号補正部４１のフィルタ係数と同じフィルタ係数に設定される。つまり、信号補正部４６のフィルタ係数は、後述するフィルタ特性算出部６１により算出され設定される。このため、信号補正部４６のフィルタ特性は、フィルタ特性算出部６３による同定の結果により、更新される。

信号補正部４４は、信号補正部４６からの音声信号ｒｙ(ｋ)に対して、スピーカ２００Ｒから聴取者５の左耳までのクロストークにおける伝達関数(Ｇ２１)に基く周波数特性を付与する処理を行う。信号補正部４４は、この処理により生成されたフィードバック音声信号ｂ１を、加算処理部３１Ｌに出力する(フィードバック音声信号送出機能)。
ここで、信号補正部４４には、スピーカ２００Ｒから聴取者５の左耳までのクロストークにおける伝達関数に対応するフィルタ係数(Ｇ２１)が予め設定される。
また、信号補正部４４のフィルタ係数は、後述するフィルタ特性算出部６４により算出され、設定される。このため、信号補正部４４のフィルタ特性は、フィルタ特性算出部６４による同定の結果により、更新される。

次に、再生装置１００内に設けられ、上記信号補正部４１、４２，４３，４４，４５，および４６の特性(伝達関数)を同定するフィルタ特性算出部６１〜６４について、図１５〜１７に基き説明する。

フィルタ特性算出部６１は、図１５に示すように、再生処理部１１およびマイクロフォン２Ｌに接続され、再生処理部１１から入力される左チャンネル音声信号ＤＬと、マイクロフォン２Ｌからの再生音声信号ｌｐ(ｘ)とに基き信号補正部４１、および４６のフィルタ係数を算出する。
又、フィルタ特性算出部６１(適応フィルタに相当)は、図１６に示すように、遅延手段３３と、加算手段３４と、適応フィルタＡとを含み構成される。
遅延手段３３は、入力されたリアルヘッド収音左信号(ＤＬ)を予め設定された時間(t)だけ遅延させ、この遅延させた遅延音声データａｄ(ｋ−ｔ)を加算手段３４に出力する(遅延データ送出機能)。

又、加算手段３４は、適応フィルタＡを介して入力された出力ａｙ(ｋ)(マイナス成分)と遅延音声信号ａｄ(ｋ−ｔ)(プラス成分)とを加算する処理を行う(加算処理機能)。
ここでは、加算手段３４は、遅延音声信号ａｄ(ｋ−ｔ)から出力ａｙ(k)を減算する処理を行い、残差信号ａｅを生成し適応フィルタＡに送出する(残差信号出力機能)。

適応フィルタＡは、デジタルフィルタａと、このデジタルフィルタａのフィルタ係数を決定する係数決定手段ａを備えている。
デジタルフィルタａは、マイクロフォン２Ｌから入力された再生音声データｌｐ(ｋ)に対して、予め設定されたフィルタ係数で畳み込み処理を行い出力ａｙ(ｋ)を生成する。デジタルフィルタａは、生成した出力ａｙ(ｋ)を加算手段３４に出力する(再生信号補正出力機能)。
係数決定手段ａは、加算手段３４から出力された残差信号ａｅ(ｋ)とマイクロフォン２Ｌから入力された再生音声データｌｐ(ｋ)に基いて、スピーカ２００Ｌから聴取者５の左耳に到達する音声信号の伝達特性(Ｇ１１)と逆の逆伝達特性(１／Ｇ１１：逆特性)を同定し、この逆伝達特性(関数)に合わせて、デジタルフィルタａのフィルタ係数を補正する。この補正は、加算手段３４から適応フィルタＡに入力される残差信号ａｅ(ｋ)ができるだけ小さくなるように行われる。
これにより、適応フィルタＡからの出力ａｙ(ｋ)を遅延音声信号ａｄ(ｋ−ｔ)に近似させる適応処理を行うことが可能となる。

ここで、補正されたデジタルフィルタａのフィルタ係数は、適応フィルタＡにより、信号補正部４１および４６に通知される(同定係数通知機能)。これにより、信号補正部４１および４６のフィルタ係数は、デジタルフィルタａのフィルタ係数に合わせて設定される(フィルタ係数補正設定機能)。

フィルタ特性算出部６２は、図１６に示すように、加算手段３５と、適応フィルタＢを含み構成される。
加算手段３５は、適応フィルタＢからの出力ｂｙ(ｋ)とマイクロフォン２Ｒから入力された再生音声データ(マイクロフォン入力信号)ｒｐ(ｋ)とが入力される。
加算手段３５は、マイクロフォン入力信号(プラス成分)ｒｐ(ｋ)と出力信号ｂｙ(ｋ)(マイナス成分)とを加算する処理を行う(加算処理機能)。
ここでは、入力信号ｒｐ(ｋ)から出力信号ｂｙ(k)が減算されることにより、残差信号ｂｅ(ｋ)を生成される。加算手段３５は、この残差信号ｂｅ(ｋ)を、適応フィルタＢに送出する(残差信号出力機能)。

適応フィルタＢは、デジタルフィルタｂと、このデジタルフィルタｂのフィルタ係数を決定する係数決定手段ｂとを有する。
デジタルフィルタｂは、入力されたリアルヘッド収音左信号(ＤＬ)に対して予め設定されたフィルタ係数で畳み込み処理を行い、出力ｂｙ(ｋ)を生成する。また、デジタルフィルタｂは、生成した出力ｂｙ(ｋ)を加算手段３５に出力する(収録信号補正出力機能)。

係数決定手段ｂは、加算手段３４から出力された残差信号ｂｅ(ｋ)とＤＬとに基いて、スピーカ２００Ｌから聴取者５の右耳に到達するクロストークの伝達特性(Ｇ１２)を算出し、この伝達特性に合わせて、デジタルフィルタｂのフィルタ係数を補正する。この補正は、加算手段３５から入力される残差信号ｂｅ(ｋ)ができるだけ小さくなるように実行される。これにより、係数決定手段ｂは、出力ｂｙ(ｋ)を再生音声データｒｐ(ｋ)に近似させることが可能となる。

ここで、補正されたデジタルフィルタｂのフィルタ係数は、適応フィルタＢによって信号補正部４３に通知される。これにより、信号補正部４３のフィルタ係数は、適応フィルタＢ(デジタルフィルタｂ)で同定されたフィルタ係数に設定される(フィルタ係数補正設定機能)。

フィルタ特性算出部６３は、再生処理部１１およびマイクロフォン２Ｒに接続して設けられ、再生処理部１１から入力されるリアルヘッド収音右信号ＤＲと、マイクロフォン２Ｒからの再生音声信号ｒｐ(ｋ)とに基いて、信号補正部４２、および４５の特性を同定し設定する。
又、フィルタ特性算出部６３は、図１７に示すように、遅延手段３６と、加算手段３７と、適応フィルタＣとを含み構成される。
遅延手段３６は、入力されたリアルヘッド収音右信号(ＤＲ)を予め設定された時間(t)だけ遅延させ、この遅延させた遅延音声データｃｄ(ｋ−ｔ)を加算手段３７に出力する(遅延データ送出機能)。

又、加算手段３７は、適応フィルタＣを介して入力された出力ｃｙ(ｋ)(マイナス成分)と遅延音声信号ｃｄ(ｋ−ｔ)(プラス成分)とを加算する処理を行う(加算処理機能)。
ここでは、加算手段３４は、遅延音声信号ｃｄ(ｋ−ｔ)から出力ｃｙ(k)を減算する処理を行い残差信号ｃｅを生成して適応フィルタＣに送出する(残差信号出力機能)。

適応フィルタＣは、デジタルフィルタｃと、このデジタルフィルタｃのフィルタ係数を決定する係数決定手段ｃを備えている。
デジタルフィルタｃは、マイクロフォン２Ｒから入力された再生音声データｒｐ(ｋ)に対して、予め設定されたフィルタ係数で畳み込み処理を行い出力ｃｙ(ｋ)を生成する。デジタルフィルタｃは、生成した出力ｃｙ(ｋ)を加算手段３７に出力する(再生信号補正出力機能)。
係数決定手段ｃは、加算手段３７から出力された残差信号ｃｅ(ｋ)とマイクロフォン２Ｒから入力された再生音声データｒｐ(ｋ)に基いて、スピーカ２００Ｒから聴取者５の右耳に到達する音声信号の伝達特性(Ｇ２２)と逆の逆伝達特性(１／Ｇ２２：逆特性)を算出し、この逆特性に合わせて、デジタルフィルタｃのフィルタ係数を補正する。この補正は、加算手段３７から適応フィルタＣに入力される残差信号ｃｅ(ｋ)ができるだけ小さくなるように行われる。
これにより、適応フィルタＣからの出力ｃｙ(ｋ)を遅延音声信号ｃｄ(ｋ−ｔ)に近似させる適応処理を行うことが可能となる。

また、補正されたデジタルフィルタｃのフィルタ係数は、適応フィルタＣにより、信号補正部４２および４５に通知される(同定係数通知機能)。これにより、信号補正部４２および４５のフィルタ係数(特性)は、デジタルフィルタｃのフィルタ係数に合わせて設定される(フィルタ係数補正設定機能)。

フィルタ特性算出部６４は、図１７に示すように、少なくとも、加算手段３８と、適応フィルタＤを含み構成される。
加算手段３８は、適応フィルタＤからの出力ｄｙ(ｋ)とマイクロフォン２Ｌから入力された再生音声データ(左マイクロフォン入力信号)ｌｐ(ｋ)とが入力される。
加算手段３８は、左マイクロフォン入力信号(プラス成分)ｌｐ(ｋ)と出力信号ｄｙ(ｋ)(マイナス成分)とを加算する処理を行う(加算処理機能)。
ここでは、左マイクロフォン入力信号ｌｐ(ｋ)から出力信号ｄｙ(k)が減算されることにより、残差信号ｄｅ(ｋ)を生成される。加算手段３８は、この残差信号ｄｅ(ｋ)を、適応フィルタＤに送出する(残差信号出力機能)。

適応フィルタＤは、デジタルフィルタｄと、このデジタルフィルタｄのフィルタ係数を決定する係数決定手段ｄとを有する。
デジタルフィルタｄは、入力されたリアルヘッド収音右信号(ＤＲ)に対して予め設定されたフィルタ係数で畳み込み処理を行い、出力ｄｙ(ｋ)を生成する。また、デジタルフィルタｄは、生成した出力ｄｙ(ｋ)を加算手段３８に出力する(収録信号補正出力機能)。

係数決定手段ｄは、加算手段３８から出力された残差信号ｄｅ(ｋ)とリアルヘッド収音右信号ＤＲとに基いて、スピーカ２００Ｒから聴取者５の左耳に到達するクロストークの伝達特性(Ｇ２１)を算出し、この伝達特性に合わせて、デジタルフィルタｄのフィルタ係数を補正する。この補正は、加算手段３８から入力される残差信号ｄｅ(ｋ)ができるだけ小さくなるように実行される。これにより、係数決定手段ｄは、出力ｄｙ(ｋ)を再生音声データｌｐ(ｋ)に近似させることが可能となる。

ここで、補正されたデジタルフィルタｄのフィルタ係数は、適応フィルタＤにより、信号補正部４４に通知される。これにより、信号補正部４４のフィルタ係数(特性)は、適応フィルタＤ(デジタルフィルタｄ)のフィルタ係数に合わせて設定される(フィルタ係数補正設定機能)。

以上のように、再生装置１００のフィルタ特性算出部６１〜６４は、リアルヘッド再生時における各信号補正部４１〜４６の特性を、再生処理部１１からの収録音声および、マイクロフォン２により再生収音された音声に基き動的に同定することができる。

また、本実施形態の再生装置１００は、バイノーラル再生が行われ、各フィルタ特性算出部６１〜６４の同定が安定したところで、同定を打ち切り、この時点で同定されたＧ１２、１／Ｇ２２、Ｇ２１、１／Ｇ１１のフィルタ係数を対応する各信号補正部４１〜４６の特性としてもよい。

また、本実施形態では、リアルヘッド収録に用いたマイクロフォン２を聴取者５が収録時と同様に装着して、ステレオラウドスピーカからのリアルヘッド収録音声を聴取することにより、ラウドスピーカに供給される信号とラウドスピーカから再生されてマイクロフォンで収音した信号とを用いて、ラウドスピーカと両耳の間のクロストークを動的にキャンセルすることが可能となる。
これにより、ラウドスピーカによる再生であっても、聴取者の耳道領域にヘッドフォンによる再生時(実施形態１)と等価な再生環境を構築することができる。また、使用するステレオラウドスピーカの変更や、聴取者の聴取位置の変動に対して、特性を動的に追従させて更新することが可能となる。

尚、本実施形態では、上記の特性同定については、フィルタ特性算出部６１、６２(図１６)を含む左側と、フィルタ特性算出部６３、６４(図１７)を含む右側とで別々に説明しているが、リアルヘッド収音された再生音声信号の左右チャンネルの相関が低い場合には、上記同定処理を、左および右側で同時に行う設定としてもよい。

尚、本実施形態では、フィルタ特性算出部６１〜６４(図１５)におけるフィルタ係数の算出処理に、一般的な適応アルゴリズムであるＬＭＳ法（Least Mean Square）や学習同定法（Normalize Least Mean Square）を用いた場合、同定に時間がかかり、聴取者の位置の変化に追従することが困難となる。
そこで、本実施形態では、上記フィルタ係数の算出処理に、特許第４０６７２６９号に開示された高速H∞フィルタ(ＦＨＦ：高速算出フィルタ)を用いるものとする。
また、このＦＨＦを用いて一定時間毎に適応フィルタＡ（１／Ｇ１１）、Ｂ（Ｇ１２）、Ｃ（１／Ｇ２２）、およびＤ（Ｇ２１）のフィルタ係数を算出し、算出されたフィルタ係数を信号補正部４１〜４６のフィルタ係数として用いることにより、聴取者５が移動することによって各伝達関数が変化した場合でも、聴取者５とスピーカとの位置変動に追従してクロストークキャンセル処理を行うことが可能となる。

本実施形態では、聴取者の移動に追従してクロストークキャンセル処理が実行されるので、聴取者の左耳に装着されたリアルヘッドマイクで収録された信号は、左スピーカから左耳だけに到達し、右耳に装着されたリアルヘッドマイクで収録された信号は、右スピーカから右耳だけに到達する。このため、リアルヘッド収録された音声信号が、一対のステレオラウドスピーカで再生される場合でも、実施形態１のヘッドフォンによる再生を行う場合と同様に、聴取者の耳道領域で収録現場の音場感が、空間的な拡がりや定位感を損なうことなく忠実に再現される。

又、本実施形態では、特殊な測定用信号を用いることなく逐次同定することが可能となり、リアルヘッド収録されたバイノーラル音声信号をより忠実に聴取者の耳元に再現させることが出来る。更には、再生に使用されるスピーカ及び聴取位置を限定することなく、利用することが可能となる。

本発明によるバイノーラル収音再生システムにおける一実施形態を示す概略構成図である。 図１に開示したバイノーラル収音再生システムにおけるマイクロフォン２Ｒの構成を示す図で、図２(Ａ)はマイクロフォン２Ｒの正面図、図２(Ｂ)はマイクロフォン２Ｒの側面図である。 図１に開示したバイノーラル収音再生システムにおけるマイクロフォン２Ｒを録音者４が装着した状態を示す説明図である。 図１に開示したバイノーラル収音再生システムにおける録音デバイス６を示す説明図である。 図１に開示したバイノーラル収音再生システムにおける再生装置の内部構成一例を示す概略ブロック図である。 バイノーラル収音再生システムにおけるヘッドフォン３Ｒからマイクロフォン２Ｒまでの伝達特性を同定するための一構成例を示す説明図である。 図６に開示した構成例における適応フィルタＸで同定された伝達特性を示し、図７(Ａ)は、適応フィルタＸで同定された伝達特性の時間波形、図７(Ｂ)は、図７(Ａ)の時間波形の周波数特性を示す説明図である。 図１に開示したバイノーラル収音再生システムにおける構成内容の一部を示す説明図である。 図８に開示した説明図における適応フィルタＹで同定された伝達特性を示し、図８(Ａ)は、適応フィルタＹで同定された伝達特性の時間波形、図８(Ｂ)は、図８(Ａ)の時間波形の周波数特性を示す説明図である。 図１０(Ａ)は、図７(Ａ)の時間波形と図９(Ａ)の時間波形を畳み込んだ場合の時間波形、図１０(Ｂ)は、図１０(Ａ)の時間波形の周波数特性を示す説明図である。 ステレオスピーカから聴取者に到達するクロストークの概略説明図である。 図１１に開示したクロストークをキャンセルするための構成を示す概略構成図である。 本発明によるバイノーラル収音再生システムの一実施形態を示す概略構成図である。 図１３に開示した実施形態における再生装置の内部構成の一部を示す概略ブロック図である。 図１３に開示した実施形態における再生装置の内部構成の一部を示す概略ブロック図である。 図１５に開示した概略ブロック図におけるフィルタ特性算出部の内部構成を示す概略ブロック図である。 図１５に開示した概略ブロック図におけるフィルタ特性算出部の内部構成を示す概略ブロック図である。

符号の説明

１，１００ バイノーラル再生装置
２Ｌ，２Ｒ マイクロフォン(収音用マイクロフォン)
３Ｌ，３Ｒ ヘッドフォン
４ 録音者
５ 聴取者
６ 録音デバイス
７ データ記録部
１１ 再生処理部
１２Ｌ，１２Ｒ 補正フィルタ
１３Ｌ，１３Ｒ 遅延素子(遅延信号出力手段)
１４Ｌ，１４Ｒ 適応フィルタ
１５Ｌ，１５Ｒ 加算器(残差検出手段)
２００Ｌ，２００Ｒ ラウドスピーカ
５０ クロストークキャンセル部
３１Ｌ，３２Ｒ 加算処理部
３３，３６ 遅延手段(遅延信号出力手段)
３４，３５，３７，３８ 加算手段(残差検出手段)
４１，４２ 信号補正部(再生音声補正フィルタ)
４３，４４，４５，４６ 信号補正フィルタ
６１，６３ フィルタ特性算出部(再生音声適応フィルタ)
６２，６４ フィルタ特性算出部

Claims (8)

1. 収音用マイクロフォンにより予め収録された収録音声信号の補正を行いスピーカに供給する補正フィルタと、
   前記スピーカで前記供給された収録音声信号が再生され予め聴取者の耳道領域に備えられた前記収音用マイクロフォンにより収音された再生音声信号に対して補正を行う適応フィルタと、
   前記収録音声信号を取得し予め設定された時間遅延させて出力する遅延信号出力手段と、
   前記適応フィルタを介して取得された再生音声信号と前記遅延信号出力手段からの収録音声信号との差分を算出し、その差分を前記適応フィルタに送出する残差検出手段とを備え、
   前記適応フィルタは、前記再生音声信号と前記差分とに基き、前記スピーカから前記収音用マイクロフォンまでの伝達特性と逆の特性を算出する逆特性同定機能を有し、
   前記補正フィルタが、前記特性により前記収録音声信号の補正を行うことを特徴とするバイノーラル収音再生システム。
2. 前記請求項１に記載のバイノーラル収音再生システムにおいて、
   前記適応フィルタは、前記残差検出手段から送出された差分に基き当該差分が最小となるように前記適応フィルタにおける特性を更新する適応特性更新機能を特徴とするバイノーラル収音再生システム。
3. 前記請求項１、２に記載のバイノーラル収音再生システムにおいて、
   前記スピーカを前記聴取者の耳道領域に装着されるヘッドフォンとすることを特徴としたバイノーラル収音再生システム。
4. 前記請求項１、２に記載のバイノーラル収音再生システムにおいて、
   前記スピーカを少なくとも左右２つのチャンネルを有する左および右ラウドスピーカとして備え、
   前記補正フィルタを介して前記左および右ラウドスピーカそれぞれに供給される前記収録音声信号に対して、前記左ラウドスピーカから前記聴取者の右耳に到達する音声および前記右ラウドスピーカから聴取者の左耳に到達する音声をキャンセルする補正を行うクロストークキャンセル部を備えたことを特徴とするバイノーラル収音再生システム。
5. 前記請求項１乃至４の何れか１つに記載のバイノーラル収音再生システムにおいて、
   前記クロストークキャンセル部は、前記収録音声信号に対して、前記左及び右スピーカと前記聴取者の左および右耳それぞれとの間の伝達特性と逆の伝達特性と、前記左および右スピーカと前記聴取者の右および左耳それぞれとの間の伝達特性とを付与する補正を行う再生音声補正フィルタを有し、
   前記再生音声信号と前記収録音声信号とに基き前記再生音声補正フィルタにおける前記伝達特性の算出を行うと共に、前記伝達特性を前記再生音声補正フィルタに設定する再生音声適応フィルタを備えたことを特徴とするバイノーラル収音再生システム。
6. 前記請求項１乃至３の何れか１つに記載のバイノーラル収音再生システムにおいて、
   前記適応フィルタとして当該適応フィルタにおける特性を高速に算出する高速算出フィルタを用いることを特徴としたバイノーラル収音再生システム
7. 前記請求項５に記載のバイノーラル収音再生システムにおいて、
   前記再生音声適応フィルタとして当該再生音声適応フィルタにおける各伝達特性を高速に算出する高速算出フィルタを用いることを特徴としたバイノーラル収音再生システム。
8. 前記請求項１乃至７の何れか１つに記載のバイノーラル収音再生システムにおいて、
   前記収音用マイクロフォンは、耳道を塞ぐことなく耳道内に挿入可能なプローブ形状を有することを特徴とするバイノーラル収音再生システム。

Images