JP2010221945A - 信号処理方法、装置及びプログラム - Google Patents

Abstract

【課題】音声認識やハンズフリー通話時に妨害音となるスピーカからの再生音を効果的に抑圧する。
【解決手段】マイクロホンアレーにより複数の再生チャネルの再生音を受音して得られる受音信号に対して再生音の受音方向に応じて異なる感度を持つようにアレー処理を行う信号処理装置において、複数チャネルのオーディオ信号から生成される音源信号に対して感度が相対的に低い方向に音源が定位するように事前にフィルタリングを行い、フィルタリング後の信号を再生チャネルに供給する。
【選択図】 図１

Description

本発明は、マイクロホンアレー技術を用いた信号処理方法、装置及びプログラムに関する。

配列された複数のマイクロホン、いわゆるマイクロホンアレーを用いて、特定の方向から到来する音を強調し、その他の音を抑圧する技術や、音源の方向を検出する技術の研究が盛んに行われている。例えば、自動車内で運転者（以下、ドライバという）が希望することを把握するために音声認識を行うような場合、走行雑音やカーオーディオの再生音を抑圧し、ドライバの発話だけを抽出するために、マイクロホンアレーが用いられる。

マイクロホンアレーには種々の方式があるが、代表的な方式として非特許文献１に開示された遅延和アレーがあげられる。遅延和アレーは、各マイクロホンからの信号に対して遅延を付与した後に加算処理を行うことで、事前に設定された特定の方向（例えば、自動車内であればドライバの方向）から到来した音響信号のみが同位相で足し合わされて強調されるのに対し、他の方向から到来した音響信号は位相が揃わないため弱め合う、という原理に基づいている。この原理により、特定の方向からの音響信号を強調する、すなわち特定の方向に指向性を形成することができる。

マイクロホンアレーの別の例として、非特許文献２に開示されたGriffith-Jim形アレーがあげられる。Griffith-Jim型アレーは、適応フィルタを用いて妨害音の方向が低感度の特性（以下、ｎｕｌｌ（零点）ともいう）を持つ指向性を形成し、妨害音を選択的に除去する点が特徴である。除去できる妨害音の方位数は、一般的にはＮ−１（Ｎはマイクロホン数）である。

自動車内での音声認識において妨害音となるカーオーディオの再生音は、自動車の走行雑音等とは異なり、音源信号や音源位置が既知である。従って、マイクロホンアレーからの信号に対していわゆるアレー処理を行うことにより、再生音を抑圧することが可能である。例えば、アレー処理によりマイクロホンアレーの低感度方向をカーオーディオのスピーカの方向に向けることで、カーオーディオの再生音を抑圧することができる。スピーカの位置は既知であるため、音源位置が未知である周囲の妨害音よりも効果的な抑圧が可能である。

J.L. Flanagan, J.D.Johnston, R.Zahn and G.W.Elko,"Computer-steered microphone arrays for sound transduction in large rooms,"J.Acoust. Soc. Am., vol.78, no.5, pp.1508-1518, 1985 L.J. Griffiths and C.W. Jim, "An Alternative Approach to Linearly Constrained Adaptive Beamforming," IEEE Trans. Antennas & Propagation, Vol. AP-30, No. 1, Jan., 1982

カーオーディオの再生音がステレオである場合、音源によって定位する位置が異なる。例えばボーカルはセンターに定位し、伴奏は楽器ごとに左右に分散して定位するといったことが多い。この場合、全ての音源の方向にマイクロホンアレーの死角ができるように、すなわち全ての音源の方向が低感度であるようにすることが望ましいが、マイクロホン数が少ない場合にはそれが難しい。この結果、妨害音の抑圧性能が低下する。また、再生音の音源の一部が目的音と同一方向に定位する場合には、妨害音である再生音を除去することは非常に難しくなる。

本発明は、音声認識やハンズフリー通話時に妨害音となるスピーカからの再生音を効果的に抑圧するための信号処理方法、装置及びプログラムを提供することを目的とする。

本発明の一態様によると、複数のマイクロホンにより複数の再生チャネルの再生音を受音して得られる受音信号に対して、前記再生音の受音方向に応じて異なる感度を持つようにアレー処理を行うアレー処理部と、複数チャネルのオーディオ信号から少なくとも１チャネルの音源信号を生成する音源信号生成部と、前記複数の再生チャネル毎に、前記音源信号に対して前記感度が相対的に低い方向に音源が定位するようにフィルタリングを行って、前記複数の再生チャネルに供給する複数のフィルタリング信号を生成するフィルタリング部と、を具備する信号処理装置が提供される。

本発明によれば、少数のマイクロホンで構成されるマイクロホンアレーを用いた場合でも、音声認識やハンズフリー通話時に妨害音となる多チャネルのオーディオ信号による再生音を効果的に抑圧することができる。

本発明の第１の実施形態に係る信号処理装置を示すブロック図 第１の実施形態の動作を説明するための音源位置とマイクロホンの関係を示す図 本発明の第２の実施形態に係る信号処理装置を示すブロック図 本発明の第３の実施形態に係る信号処理装置を示すブロック図 本発明の第４の実施形態に係る信号処理装置を示すブロック図 本発明の第５の実施形態に係る信号処理装置を示すブロック図 本発明の第６の実施形態に係る信号処理装置を示すブロック図 本発明の第７の実施形態に係る電子機器を示すブロック図

以下、本発明の実施の形態について説明する。
（第１の実施形態）
図１に示すように、第１の実施形態に係る信号処理装置は、加算器１０３、フィルタリング部１０４−１，１０４−２、選択器１０５−１，１０５−２、アレー処理部１０８及び位相制御部１０９を有する。

加算器１０３、フィルタリング部１０４−１，１０４−２、選択器１０５−１，１０５−２は、複数チャネルのオーディオ信号をそれぞれ受けるオーディオ入力端子１０１−１，１０１−２と複数チャネルのスピーカ１０６−１，１０６−２との間に配置される。アレー処理部１０８は、マイクロホンアレーを形成する複数のマイクロホン１０７−１〜１０７−Ｎからの受音信号に対して信号処理を行うことによって所定の指向性を形成し、処理音声信号を出力する。

次に、本実施形態に係る信号処理装置の動作について説明する。
オーディオ入力端子１０１−１，１０１−２には、複数チャネル、この例ではステレオ２チャネルのオーディオ信号が入力される。選択器１０５−１，１０５−２は、例えば制御入力端子１０２からの制御信号により切り替わる切り替えスイッチであり、上側に切り替わっているときはオーディオ入力端子１０１−１，１０１−２からのオーディオ信号が選択され、複数の再生チャネルであるスピーカ１０６−１，１０６−２から音響として放射される。以後、スピーカ１０６−１，１０６−２から放射される音響を再生音と呼ぶ。スピーカ１０６−１，１０６−２に供給されるオーディオ信号は、実際にはオーディオ増幅器により増幅されるが、図ではオーディオ増幅器については省略している。

オーディオ入力端子１０１−１，１０１−２からのオーディオ信号は加算器１０３にも入力され、ここで両信号が足し合わされることにより１チャネルの信号すなわちモノラル信号とされる。以後、加算器１０３から出力される１チャネルの信号を音源信号という。加算器１０３から出力される音源信号は、複数のフィルタリング部１０４−１，１０４−２によりフィルタリングされる。フィルタリング部１０４−１，１０４−２のフィルタ特性については後述する。ここで、選択器１０５−１，１０５−２が下側に切り替わっている場合、フィルタリング部１０４−１，１０４−２からのフィルタリング信号が選択され、それぞれスピーカ１０６−１，１０６−２から再生音として放射される。

スピーカ１０６−１，１０６−２からの再生音は、複数のマイクロホン１０７−１〜１０７−Ｎによって受音され、受音信号と呼ばれる電気信号がマイクロホン１０７−１〜１０７−Ｎから出力される。マイクロホン１０７−１〜１０７−Ｎからの受音信号に対して、アレー処理部１０８によりアレー処理と呼ばれる信号処理が行われ、妨害音が除去された処理音声信号が出力される。

アレー処理部１０８は、本実施形態ではスピーカ１０６−１，１０６−２からの再生音に対するマイクロホン１０７−１〜１０７−Ｎの受音方向に応じて異なる感度を持つようなアレー処理を行う。本実施形態によると、アレー処理部１０８からの処理音声信号は妨害音が除去された、ドライバの発話音を主体とした音声信号である。妨害音は、例えば後述するように助手席からの発話音や、スピーカ１０６−１，１０６−２からの再生音などである。アレー処理部１０８からの処理音声信号は、例えば図示しない音声認識装置に入力される。

図２は、本実施形態に係る信号処理装置の具体的な使用例であり、自動車内に信号処理装置を実装した様子を示している。この例は２マイク・２スピーカであり、マイクロホン１０７−１，１０７−２は、例えばルームミラーやインパネの中央部等に設置される。スピーカ１０６−１，１０６−２は、例えば前席ドア部に配置されることが多い。また、前席ドア部に加えてさらに後部にスピーカが配置されることも多い。

音声認識技術を利用してドライバが音声でカーナビの操作等を行う場合、例えばドライバ２１０の方向に高感度の特性、同乗者２１１の方向には低感度の特性（ｎｕｌｌ）の指向性を形成するようにマイクロホンアレーの特性を制御することで、ドライバの発話のみを的確に捕らえることができる。具体的には、例えば非特許文献１に記載されたような遅延和アレーを用いる場合、アレー処理部１０８ではマイクロホン１０７−１〜１０７−Ｎからの受音信号について遅延を施してから加算する。

ここで、位相制御部１０９によってアレー処理部１０８での遅延時間を適宜制御することにより、アレー処理部１０８で例えばドライバの方向から到来した音響信号のみを同位相で足し合わして強調し、他の方向からの音響信号については位相が揃わないため打ち消す、というアレー処理を行うことができる。すなわち、このアレー処理によりドライバの方向に指向性を形成することができる。

Ｎ本のマイクロホン１０７−１〜１０７−Ｎからの受音信号をＸn(t)（ｎ＝１，．．．，Ｎ）と表すと、アレー処理部１０８からの処理音声信号Ｙ(t)は、次式で表される。

ただし、マイクロホン１０７−１〜１０７−Ｎは等間隔で、添字ｎの順で配置されているものとする。また、τはマイクロホン１０７−１〜１０７−Ｎからの受音信号Ｘ(t)を目的音の到来方向に同相化するための遅延時間である。

別の例として、先の非特許文献２に記載されたGriffith-Jim形アレーのように、適応フィルタを用いて妨害音の方向にｎｕｌｌを形成し、妨害音を選択的に除去するようにしてもよい。その場合、除去できる妨害音の方向は、一般的にはＮ−１（Ｎはマイクロホン数）である。その他にも、様々な方式が提案されているが、本実施形態はマイクロホンアレーの方式そのものには依存せず、任意の方式を用いることが可能である。

このようなマイクロホンアレーの設計方針として、ドライバの発話のみを正確に捉えるために、助手席に座っている同乗者の発話を抑圧するように設計することは自然である。この場合、妨害音が助手席からの発話音のみである場合は、効果的に妨害音を抑圧することができる。

しかし、同じく妨害音であるスピーカから再生音が同時に出力されている場合、その再生音までを抑圧することは難しい。助手席からの発話音とスピーカからの再生音の到来方向は、一般に異なるからである。特に、マイクロホン数が少ない場合は、ｎｕｌｌを形成できる方位数も少なくなるので、例えばマイクロホン数が２の場合、助手席の方向にｎｕｌｌを形成すると、それ以外の方向にｎｕｌｌを作ることができず、スピーカからの再生音を抑圧できない。

さらに、スピーカからステレオで再生音が出力されている場合は、さまざまな音源方位が同時に存在する可能性があり、少数のマイクロホンを用いたアレー処理では限界がある。モノラル信号であっても、助手席と合わせて２方向にｎｕｌｌを生成する必要があり、マイクロホン数が２では困難である。

本実施形態では、スピーカ１０６−１，１０６−２からの再生音をマイクロホン１０７−１〜１０７−Ｎで受音するときに、感度が相対的に低い方向に音源が定位するようにフィルタリング部１０４−１，１０４−２によって事前に加算器１０３からの音源信号をフィルタリングして加工しておく。具体的には、例えばスピーカ１０６−１，１０６−２からの再生音があたかも助手席の方向から到来したかのように観測されるように、フィルタリング部１０４−１，１０４−２によってフィルタリングを行う。

このようにすることで、助手席からの発話音とスピーカ１０６−１，１０６−２からの再生音を同一方向の一つのｎｕｌｌで消すことが可能となる。すなわち、マイクロホン１０７−１〜１０７−Ｎの数が少ないために数多くのｎｕｌｌを形成できない場合でも、助手席の発話音に加えてスピーカ１０６−１，１０６−２からの再生音も同時に抑圧することができる。このように処理音声信号において助手席からの発話音のみでなく、スピーカ１０６−１，１０６−２からの再生音も抑圧することにより、音声認識を正確に行うことができる。

上記の説明では、アレー処理部１０８は予め定められた方向（例えば助手席の方向）に対する感度を極小値とするようにアレー処理を行い、フィルタリング部１０４−１，１０４−２ではスピーカ１０６−１，１０６−２からの再生音において当該予め定められた方向に音源が定位するようにフィルタリングを行う場合について述べた。しかし、マイクロホンアレーの方式によっては、上述のようにスピーカ１０６−１，１０６−２からの再生音が助手席からの発話音と同一方向とみなされるようにフィルタリングを行う必要は必ずしもない。

例えば、特開２００７−１０８９７号公報には、学習用の音源位置それぞれに対して所望の応答（目標信号）を生成するようにアレーの指向性を設計する方法が示されている。この場合、ドライバが存在する可能性のある方向範囲から発せられた信号を強調し、それ以外の信号を抑圧するような設計が可能である。このようなアレーでは、マイクロホンアレーの受音方向はドライバが存在する可能性のある方向範囲よりも外にあればよく、必ずしも助手席からの発話音の方向と一致している必要はない。

このようにアレー処理部１０８においては、予め定められた方向範囲に対する感度を該範囲外の方向に対する感度よりも高くするようにアレー処理を行い、フィルタリング部１０４−１，１０４−２では、この方向範囲外の方向に音源が定位するようにフィルタリングを行ってもよい。

ところで、フィルタリング部１０４−１，１０４−２からのフィルタリング信号がスピーカ１０６−１，１０６−２に供給される場合、スピーカ１０６−１，１０６−２からの再生音は、本来のオーディオ信号の再生時とは異なる音となり、ステレオ感も失われる。すなわち、フィルタリング信号に対応する再生音は、聞く人にとって違和感のある音となる。

そこで、本実施形態では選択器１０５−１，１０５−２によって、ドライバの発話中のみフィルタリング部１０４−１，１０４−２からのフィルタリング信号を選択してスピーカ１０６−１，１０６−２に供給し、それ以外のときはオーディオ入力端子１０１−１，１０１−２からのオーディオ信号を選択してスピーカ１０６−１，１０６−２に供給し、通常の再生を行うようにすることで、再生音のこのような違和感を最小限に押さえることができる。

次に、フィルタリング部１０４−１，１０４−２の設計方法について述べる。
スピーカ１０６−１，１０６−２に供給される音源信号は、加算器１０３でステレオ信号を加算して得られるモノラル信号である。この音源信号をフィルタリング部１０４−１，１０４−２によりフィルタリングした後にスピーカ１０６−１，１０６−２で再生し、その再生音を２つマイクロホン１０７−１，１０７−２により受音する場合、音源（加算器１０３の出力端）からマイクロホン１０７−１，１０７−２までの伝達関数（ｙ１，ｙ２）は、以下の式（２）で表される。

ただし、ｈｘｙはスピーカｙからマイクロホンxまでの伝達関数であり、ｇ１，ｇ２はフィルタリング部１０４−１，１０４−２の伝達関数である。

スピーカ１０６−１，１０６−２からの再生音が助手席の方向から到来したかのようにフィルタリング部１０４−１，１０４−２がフィルタリングを行うためには、（ｙ１，ｙ２）が助手席からマイクロホン１０７−１，１０７−２までの伝達関数（ａ１，ａ２）と等しくなるように、フィルタリング部１０４−１，１０４−２の伝達関数（ｇ１，ｇ２）を設計すればよい。このためには、式（２）の（ｙ１，ｙ２）に（ａ１，ａ２）を代入して、（ｇ１，ｇ２）について解けばよい。

２マイク・２スピーカの場合、スピーカとマイクロホン間の伝達関数を表す行列が正方行列なので、通常、逆行列を計算することができる。マイクロホン数とスピーカ数が異なる場合は、逆行列が定義できないので、一般化逆行列を用いるのが一般的である。

ところで、フィルタリング部１０４−１，１０４−２の伝達関数（ｇ１，ｇ２）が周波数毎に大きく異なり、フィルタリング信号に対応してスピーカ１０６−１，１０６−２から出力される再生音のスペクトルがフィルタリング前のオーディオ信号に対応する再生音のスペクトルと大きく異なる場合がある。このような場合、フィルタリング信号に対応する再生音のスペクトルがフィルタリング前のオーディオ信号に対応する再生音のスペクトルと同じになるように伝達関数（ｇ１，ｇ２）の大きさを調整することは可能である。なぜなら、音源定位において音の大きさは無関係であるから、例えば任意の定数Ａを用いてフィルタリング部１０４−１，１０４−２の伝達関数を（Ａ×ｇ１，Ａ×ｇ２）としても、音源の定位に影響はないからである。

図１の制御入力端子１０２には、オーディオ入力端子１０１−１，１０１−２からのオーディオ信号をそのままスピーカ１０６−１，１０６−２で再生するか、フィルタリング部１０４−１，１０４−２でフィルタリングを行ってから再生するかを切り替え制御するための制御信号が与えられ、この制御信号によって選択器１０５−１，１０５−２が制御される。

制御信号の与え方としては、例えばドライバの発話区間（発声区間）を検出し、発話区間にのみフィルタリング部１０４−１，１０４−２からのフィルタリング信号をスピーカ１０６−１，１０６−２に供給するように選択器１０５−１，１０５−２を制御する方法が挙げられる。発話区間の検出には、例えば音声区間検出器が用いられる。音声区間検出器の方式としては、信号のパワー情報、推定雑音にもとづく信号対雑音比あるいはスペクトル情報等に基づき音声区間を判定する方法などが提案されている。また、統計的手法に基づく判別法（Sohn J., Kim N.S., and Sung W., "A statistical model-based voice activity detection", IEEE Signal Process. Lett., pp.1-3, 1999, 16, (1)参照）もよく用いられる。制御信号の別の与え方として、ドライバから明示的に音声区間を指示するようにする方法も考えられる。

音声認識を行う場合、発話開始を示すボタンを発話者が押すことがよく行われる。発話開始の情報を音声区間情報として用いることで確実に音声区間を特定することができ、これを制御信号として用いることができる。発話時に一度だけ押し、発話終了はプログラムが判定するようにしてもよい。この場合は、発話開始はボタンで、終了は音声区間検出器の情報を用いるようにすればよい。

（第２の実施形態）
図３は、第１の実施形態を変形した第２の実施形態に係る信号処理装置であり、図１の制御入力端子１０２と選択器１０５−１，１０５−２が除去され、常にフィルタリング部１０４−１〜１０４−Ｎからのフィルタリング信号がスピーカ１０６−１〜１０６−Ｎに供給される。このようにスピーカ１０６−１〜１０６−Ｎから常時フィルタリング信号を再生することが許容できる場合は、装置の簡略化という観点からも本実施形態の構成が望ましい。なお、図３ではオーディオ入力端子、フィルタリング部及びスピーカはいずれもＭ個となっているが、Ｍは２以上の複数であればよいことはこれまでの説明から明らかである。

（第３の実施形態）
図４は、第１の実施形態を変形した第３の実施形態に係る信号処理装置であり、フィルタリング部１０４−１，１０４−２からのフィルタリング信号は、蓄積部１１０−１，１１０−２に一旦蓄積され、蓄積部１１０−１，１１０−２から読み出されたフィルタリング信号がスピーカ１０６−１，１０６−２に供給される。すなわち、本実施形態ではオンラインでフィルタリングを行わず、フィルタリング部１０４−１，１０４−２で事前に音源信号をフィルタリングして得られたフィルタリング信号の波形を蓄積部１１０−１，１１０−２に蓄積しておき、それらを実使用時に適宜読み出してスピーカ１０６−１，１０６−２で再生する。

例えば、スピーカ１０６−１，１０６−２で再生すべき信号のうち、カーナビゲーションの固定メッセージのように予め決まっている信号については、再生の都度フィルタリングを行うよりも、事前にフィルタリングして蓄積部１１０−１，１１０−２に蓄積しておくことが望ましい。そして、再生時に蓄積部１１０−１，１１０−２からフィルタリング済みの信号波形を取り出してスピーカ１０６−１，１０６−２に供給すればよい。

なお、固定メッセージはモノラル音声であることも多いが、その場合は蓄積部１０１−１，１０１−２に同一のデータが入力されると考えればよく、ステレオデータと同一の構成でも問題は生じない。

（第４の実施形態）
図５は、第４の実施形態に係る信号処理装置を示している。本実施形態では、図１の加算器１０３に代えて相関低減部３０３が設けられ、この相関低減部３０３にオーディオ入力端子１０１−１，１０１−２からのオーディオ信号が入力される。相関低減部２０３では、複数チャネル（この例では２チャネル）のオーディオ信号間の相関より相関が減じられた複数チャネル（この例では２チャネル）の音源信号が生成される。相関低減部２０３からの２チャネルの音源信号のうち、第１チャネルの音源信号はフィルタリング部３０４−１，３０４−３に入力され、第２チャネルの音源信号はフィルタリング部３０４−２，３０４−４に入力される。

フィルタリング部３０４−１，３０４−２からのフィルタリング信号は、加算器３１１−１で加算された後、選択器１０５−１を介してスピーカ１０６−１に供給される。同様に、フィルタリング部３０４−３，３０４−４からのフィルタリング信号は、加算器３１１−２で加算された後、選択器１０５−２を介してスピーカ１０６−２に供給される。

このように再生チャネルであるスピーカ１０６−１，１０６−２毎に、相関低減部２０３からの２チャネルの音源信号に対してフィルタリングが行われ、各２チャネルのフィルタリング信号の加算信号がスピーカ１０６−１，１０６−２に供給される。

スピーカ１０６−１，１０６−２からの再生音を２つマイクロホン１０７−１，１０７−２によって受音する場合、音源（相関低減部３０３の２つの出力端）からマイクロホン１０７−１，１０７−２までの伝達関数（ｙ１，ｙ３）及び（ｙ２，ｙ４）は、以下の式（３）及び（４）で表される。

ただし、ｈｘｙはスピーカｙからマイクロホンｘまでの伝達関数であり、ｇ１，ｇ３はフィルタリング部３０４−１，３０４−３の伝達関数、ｇ２，ｇ４はフィルタリング部３０４−２，３０４−４の伝達関数である。第１の実施形態において式（２）からフィルタリング部１０４−１，１０４−２の伝達関数（ｇ１，ｇ２）を求めたのと同様に、（ｙ１，ｙ３）と（ｙ２，ｙ４）について異なる方向を与えることで、式（３）及び（４）から伝達関数ｇ１，ｇ３及びｇ２，ｇ４を求めることができる。

次に、本実施形態の動作原理について説明する。
第１の実施形態では、入力された複数チャネルのオーディオ信号は加算器１０３で加算され、１チャネルすなわちモノラルの音源信号とされたのに対して、本実施形態では複数チャネル（第１チャネル及び第２チャネル）の音源信号が出力される。これら複数チャネルの音源信号は、前述のようにスピーカ１０６−１，１０６−２毎にフィルタリングが行われ、さらに各２チャネルのフィルタリング信号の加算信号がスピーカ１０６−１，１０６−２に供給される。このときに注意すべきことは、スピーカ１０６−１，１０６−２からの再生音同士が干渉し合い、マイクロホン１０７−１〜１０７−Ｎで受音したときに設計とは異なる方向に定位してしまうことである。

本実施形態では、このような弊害を避けるため相関低減部３０３により２チャネルの音源信号間の相関を低減する。すなわち、オーディオ入力端子１０１−１，１０１−２からのオーディオ信号はステレオ信号であるため相関が大きいが、相関低減部３０３から出力される２チャネルの音源信号は相関が小さい信号とされる。ここでは、入力されるオーディオ信号のチャネル数と相関を低減した音源信号のチャネル数は共に２チャネルとなっているが、これらのチャネル数は同一でなくてもよい。

具体的には、相関低減部３０３では例えば入力される２チャネルのオーディオ信号を加算してモノラル信号とした後、周波数帯別に分離を行い、第１チャネルの音源信号として低域信号、第２チャネルの音源信号として高域信号を出力する。また、２チャネルのオーディオ信号を加算して得たモノラル信号を多数の周波数成分に分離していわゆるサブバンド化し、各周波数成分を２チャネルの音源信号に交互に振り分けたり、ランダムに振り分けたりすることもできる。また、ＭＩＤＩ（Musical Instrument Digital Interface）データから生成されたオーディオ信号のように、信号を構成する個々の信号（パート）が既知の場合は、パート毎に分離して２チャネルの音源信号を生成することも考えられる。

前述したように、フィルタリング信号がスピーカ１０６−１，１０６−２に供給される場合、スピーカ１０６−１，１０６−２からの再生音のステレオ感が失われる。本実施形態によると、このような再生音のステレオ感の低減を補うことができる。すなわち、本実施形態ではアレー処理部１０８によってマイクロホンアレーが複数の方向に対して感度の極小値を持つ場合、生成された多チャネルの音源信号を各極小値に振り分けることでステレオ感の低減を補うことが可能となる。マイクロホンアレーが特定の方向範囲の方向に高い感度を示す場合は、生成された多チャネルの音源信号は感度の高い方向範囲以外の方向に定位させることで、ステレオ間の低減を補うことが可能となる。

（第５の実施形態）
図６に、第５の実施形態に係る信号処理装置を示す。第１の実施形態に係る信号処理装置との相違点について述べると、本実施形態ではオーディオ入力端子１０１−１，１０２−２の直後に配置された信号分離部４１０−１，４１０−２が追加され、図１の選択器１０５−１，１０５−２が加算器３１２−１，３１２−２に置き換えられ、さらに制御入力端子１０２からの制御信号の入力先が選択器１０５−１，１０５−２から信号分離部４１０−１，４１０−２へと変更されている。

オーディオ入力端子１０１−１，１０２からの２チャネルのオーディオ信号は、信号分離部４１０−１，４１０−２において、加算器４０３により加算されてモノラルの音源信号となる成分（モノラル成分という）と、ステレオ２チャネルのまま直接出力される成分（ステレオ成分という）とに分離される。

前者のモノラル成分は、第１の実施形態と同様に加算器４０３で加算されることによりモノラルの音源信号とされる。この音源信号はフィルタリング部３０４−１，３０４−２によりフィルタリングされ、フィルタリング信号が加算器３１２−１，３１２−２にそれぞれ入力される。後者のステレオ成分は、そのまま加算器３１２−１，３１２−２にそれぞれ入力される。加算器３１２−１，３１２−２により音源信号とステレオ成分の信号とが加算され、スピーカ１０６−１，１０６−２から再生音として出力される。

本実施形態によると、フィルタリング部３０４−１，３０４−２によりフィルタリングされる信号は、信号分離部４１０−１，４１０−２によって分離された、入力されるオーディオ信号の一部の成分である。例えば、オーディオ信号の各成分の音源方向が事前に分かっていたり、音源分離手法等を用いたりすることで各成分の分離ができている場合、フィルタリング部３０４−１，３０４−２はオーディオ信号のうち、妨害音となる発話音が到来する可能性のある、例えば助手席の方向範囲内の成分だけをフィルタリングすればよい。この方向範囲外に存在する成分については、スピーカ１０６−１，１０６−２からそのまま出力しても、アレー処理部１０８によって抑圧が可能である。

このように本実施形態によれば、入力されるオーディオ信号のうち、フィルタリング部３０４−１，３０４−２において妨害音となる発話音が到来する可能性のある方向範囲内の成分だけをフィルタリングすればよい。従って、入力されるオーディオ信号に基づくスピーカ１０６−１，１０６−２からの再生音において、フィルタリングに起因するステレオ感の低下を最小限に止めることができる。

なお、図６では信号分離部４１０−１，４１０−２は制御入力端子１０２からの制御信号によって制御されているが、制御が必要でない場合は制御信号の入力を省略することができる。

信号分離部４１０−１，４１０−２の別の具体例として、特定の周波数帯域の成分を選択することもできる。例えば、入力されるオーディオ信号の帯域が２０ｋＨｚであり、アレー処理部１０９がアレー処理を行う帯域が８ｋＨｚの場合、オーディオ信号のうち８ｋＨｚ以上の帯域の成分はアレー処理には無関係である。そこで、信号分離部４１０−１，４１０−２により加算器４０３により加算されてモノラルの音源信号となるモノラル成分として、アレー処理の対象となる８ｋＨｚに満たない成分のみを分離する。フィルタリング部３０４−１，３０４−２では、加算器４０３から出力される８ｋＨｚ以下の成分のみからなる音源信号がフィルタリングされ、フィルタリング信号が加算器３１２−１，３１２−２に入力される。

一方、入力されるオーディオ信号のうち８ｋＨｚ以上の帯域の成分は、信号分離部４１０−１，４１０−２においてステレオ２チャネルのまま直接出力されるステレオ成分として分離され、加算器３１２−１，３１２−２にそれぞれ入力される。加算器３１２−１，３１２−２により音源信号とステレオ成分の信号とが加算され、スピーカ１０６−１，１０６−２から再生音として出力される。このようにすることで、入力されるオーディオ信号に基づくスピーカ１０６−１，１０６−２からの再生音における、フィルタリングによるステレオ感の低下を最小限に止めることができる。

（第６の実施形態）
図７は、第６の実施形態に係る信号処理装置を示している。図５に示した第４の実施形態との相違点について説明すると、本実施形態では図５のオーディオ入力端子１０１−１，１０１−２の直後に信号分離部４１０−１，４１０−２が追加され、選択器１０５−１，１０５−２が加算器３１２−１，３１２−２に置き換えられ、さらに制御入力端子１０２からの制御信号の入力先が選択器１０５−１，１０５−２から信号分離部４１０−１，４１０−２に変更されている。

本実施形態では、第４の実施形態と同様に入力信号の一部の成分に対してフィルタリングが行われる。フィルタリングは第４の実施形態が第１の実施形態と同様の方法で行ったのに対し、本実施形態では第３の実施形態と同様に、相関低減部３０３から出力される２チャネルの音源信号に対して行われる。

よって、本実施形態によると第５の実施形態と同様に入力されるオーディオ信号に基づくスピーカ１０６−１，１０６−２からの再生音において、フィルタリングに起因するステレオ感の低下を最小限に止めることができる。なお、図７では信号分離部４１０−１，４１０−２は制御入力端子１０２からの制御信号によって制御されているが、制御が必要でない場合は制御信号の入力を省略することができる。

（第７の実施形態）
図８は、これまでの実施形態で説明してきたような信号処理装置を含む、本発明の第７の実施形態に係る電子機器５０１を示している。ここで、電子機器５０１は例えばパーソナルコンピュータ、携帯通信端末等であり、表示部５０２を有する。電子機器５０１の例えば表示部５０２の周囲にスピーカ１０６−１，１０６−２とマイクロホン１０７−１，１０７−２が設置され、電子機器５０１を取り扱う話者５０３がマイクロホン１０７−１，１０７−２に向けて音声を入力することができる。

次に、本実施形態の動作原理について説明する。
電子機器５０１で生成される出力信号に基づくスピーカ１０６−１，１０６−２からの再生音は、話者５０３に向けて放射される。この再生音は、例えば通話相手の声、あるいは音楽をはじめとするオーディオ信号等である。話者５０３は、電子機器５０１に備え付けられたマイクロホン１０７−１〜１０７−Ｎに向かって、例えば通話相手に対する発話や、端末に対する指示などの音声を入力する。

ところで、マイクロホン１０７−１，１０７−２がスピーカ１０６−１，１０６−２からの再生音を受音したときに観測される音源方向と、話者５０３の発話を受音したとき観測される音源方向が重なっていると、マイクロホン１０７−１，１０７−２から出力される受音信号において、話者５０３の声とスピーカ１０６−１，１０６−２からの再生音が混ざってしまう。これは通話においては相手側にエコーが発生することになり、音声認識をする場合には認識誤りを引き起こす要因になる。

第１乃至第６の実施形態で述べてきた信号処理装置を用いて、スピーカ１０６−１，１０６−２からの再生音を複数のマイクロホン０７−１，１０７−２で受音したとき、音源方向が話者の存在する可能性のある方向範囲より外になるようにスピーカ１０６−１，１０６−２からの再生音を事前にフィルタリングしておくことにより、このような問題を回避することができる。

以上説明した本発明の実施形態に基づく信号処理は、ハードウェアでも実現可能であるが、パーソナルコンピュータのようなコンピュータを用いてソフトウェアにより実行することも可能である。従って、本発明によればコンピュータを上述した信号処理装置として機能させるためのプログラム、あるいは当該プログラムを格納したコンピュータ読み取り可能な記憶媒体を提供することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０８・・・アレー処理部
１０９，１０９−１，１０９−２・・・位相制御部
１１０−１，１１０−２・・・蓄積部
３０３・・・相関低減部
３０４−１〜３０４−４・・・フィルタリング部
３１２−１，３１２−２，４０３・・・加算器
４１０−１，４１０−２・・・信号分離部
５０１・・・電子機器
５０２・・・表示部

Claims (10)

1. 複数のマイクロホンにより複数の再生チャネルの再生音を受音して得られる受音信号に対して、前記再生音の受音方向に応じて異なる感度を持つようにアレー処理を行うアレー処理部と、
   複数チャネルのオーディオ信号から少なくとも１チャネルの音源信号を生成する音源信号生成部と、
   前記複数の再生チャネル毎に、前記音源信号に対して前記感度が相対的に低い方向に音源が定位するようにフィルタリングを行って、前記複数の再生チャネルに供給する複数のフィルタリング信号を生成するフィルタリング部と、
   を具備することを特徴とする信号処理装置。
2. 前記音源信号生成部は、前記複数チャネルのオーディオ信号を加算して１チャネルの音源信号を生成することを特徴とする請求項１に記載の信号処理装置。
3. 前記アレー処理部は、予め定められた方向に対する感度を極小値とするように前記アレー処理を行い、
   前記フィルタリング部は、前記予め定められた方向に音源が定位するように前記フィルタリングを行うことを特徴とする請求項１に記載の信号処理装置。
4. 前記アレー処理部は、予め定められた方向範囲内の方向に対する感度を該方向範囲外の方向に対する感度よりも高くするように前記アレー処理を行い、
   前記フィルタリング部は、前記方向範囲外の方向に音源が定位するように前記フィルタリングを行うことを特徴とする請求項１に記載の信号処理装置。
5. 前記音源信号生成部は、前記複数チャネルのオーディオ信号から前記複数チャネルのオーディオ信号間より相関が減じられた複数チャネルの音源信号を生成し、
   前記フィルタリング部は、前記複数の再生チャネル毎に前記複数チャネルの音源信号のそれぞれに前記フィルタリングを行うことを特徴とする請求項１に記載の信号処理装置。
6. 前記複数チャネルのオーディオ信号と前記複数のフィルタリング信号とのいずれかを選択して前記複数の再生チャネルに供給する選択器をさらに具備することを特徴とする請求項１に記載の信号処理装置。
7. 前記切替器は、話者の発話中に前記フィルタリング信号を選択し、非発話中に前記オーディオ信号を選択することを特徴とする請求項６に記載の信号処理装置。
8. 前記複数チャネルのオーディオ信号のそれぞれを前記音源信号の生成に用いられる第１の信号成分とそれ以外の第２の信号成分とに分離する信号分離部と、
   前記複数の再生チャネルに供給する前記複数のフィルタリング信号に前記第２の信号成分を加算する加算器と、
   をさらに具備することを特徴とする請求項１に記載の信号処理装置。
9. 表示部と、
   前記表示部に設けられた複数のマイクロホンと、
   前記表示部に設けられた複数のスピーカと、
   前記表示部に正対している利用者が存在する方向範囲以外の方向に前記音源が定位するように前記フィルタリング部がフィルタリングを行う請求項１乃至８のいずれか１項に記載の信号処理装置と、を具備することを特徴とする電子機器。
10. コンピュータを、
    複数のマイクロホンにより複数の再生チャネルの再生音を受音して得られる受音信号に対して、前記再生音の受音方向に応じて異なる感度を持つようにアレー処理を行うアレー処理部、
    複数チャネルのオーディオ信号から少なくとも１チャネルの音源信号を生成する音源信号生成部、
    前記複数の再生チャネル毎に、前記音源信号に対して前記感度が相対的に低い方向に音源が定位するようにフィルタリングを行って、前記複数の再生チャネルに供給する複数のフィルタリング信号を生成するフィルタリング部、
    として機能させるための信号処理プログラム。

Images