JP2018107697A - 信号処理装置、信号処理方法及びプログラム - Google Patents

Abstract

【課題】 ユーザとの位置関係に変化に応じたアレイ・マニフォールド・ベクトルを選択することを目的とする。【解決手段】 複数のマイク素子において収音された音響信号が収音された際の、前記複数のマイク素子を有する装置とユーザとの位置関係を示す情報を取得する取得手段と、前記取得手段により取得される前記情報に基づいて、前記音響信号を処理する際に用いるアレイ・マニフォールド・ベクトルを選択する選択手段と、を有することを特徴とする。【選択図】 図５

Description

本発明は、音響処理を行う信号処理装置に関する。

音響信号から不要な雑音を除去する技術は、音響信号に含まれる目的音に対する聴感を改善し、また、音声認識においては認識率を高めるために重要な技術である。

音響信号の雑音を除去する技術としビームフォーマを用いるものがある。ビームフォーマでは、複数のマイク素子で収音した複数チャンネルのマイク信号にそれぞれフィルタリングを施してから加算し、単一の出力信号を得る。このフィルタリングと加算の処理が、複数のマイク素子で指向性、すなわち方向選別性を持つ空間的なビームパターンを形成することに対応するため、ビームフォーマと呼ばれる。

ビームフォーマにおいて、ビームパターンの感度（ゲイン）がピークとなる部分をメインローブとい。メインローブが目的音の方向を向くようにビームフォーマを構成すれば、目的音を強調し、同時に目的音と異なる方向に存在する雑音を抑制することができる。

しかしながら、ビームパターンのメインローブは、特にマイク素子数が少ない場合に広い幅を持つ。このため、メインローブがなだらかである場合に、メインローブを目的音の方向に向けても、目的音に近接するような雑音を十分に除去することはできない。

そこでメインローブではなく、ビームパターンの感度がディップとなる部分である、ヌル（死角）を利用した雑音除去の方法が提案されている。すなわち、鋭いヌルを雑音の方向に向けることで、近接する目的音を削ることなく、雑音のみを十分に除去することができる。このように、特定の方向に固定的にヌルを形成するビームフォーマを固定ビームフォーマと呼ぶ。ここで、ヌルを向ける方向が正確でないと、雑音除去の性能が大きく劣化するため、音源方向の推定が重要となってくる。

固定ビームフォーマに対し、ビームパターンのヌルが自動的に形成されるビームフォーマを適応ビームフォーマと呼び、適応ビームフォーマを音源方向の推定に用いることができる。

目的音や雑音をパワーが空間的に一点に集中した方向性音源と考えれば、出力パワーを最小化する規範に基づく適応ビームフォーマを用いることで、音源方向にヌルを自動的に形成するようなフィルタ係数が得られる。よって、音源方向を知るためには、適応ビームフォーマのフィルタ係数で形成されるビームパターンを算出して、そのヌル方向を求めればよい。

ビームパターンは、アレイ・マニフォールド・ベクトルと呼ばれる各方向の音源と各マイク素子間の伝達関数を、フィルタ係数に掛け合わせることで算出することができる。

アレイ・マニフォールド・ベクトルは、マイクが自由空間ではなく、筐体の近傍や内部に配置された場合は、筐体による音の回折・遮断・散乱などが生じるため、位相差等は自由空間の理論値から乖離する。音響信号の雑音除去などの信号処理を行う際には、筺体の影響を考慮したアレイ・マニフォールド・ベクトルを用いる必要がある。特許文献１には、独立成分分析を利用して筐体の影響を含むアレイ・マニフォールド・ベクトルを推定する技術が記載されている。

特開２０１１−１９９４７４号公報

アレイ・マニフォールド・ベクトルは、装置の筺体を操作するユーザによっても影響を受ける。さらに、ユーザの装置の使用状況によって、ユーザと装置に備わるマイクとの位置関係の変化により、アレイ・マニフォールド・ベクトルは動的に影響を受ける。例えば、撮影においてユーザがファインダを使うか使わないか、さらに横撮りか縦撮りかによって、撮影装置のマイクとユーザの位置関係が変化するため、ユーザの身体がアレイ・マニフォールド・ベクトルに与える影響も変化する。

特許文献１に記載の技術は、装置とユーザの位置関係が変化する場合を想定した、アレイ・マニフォールド・ベクトルの選択については考えられていない。

本発明は上述した問題を解決するためになされたものであり、ユーザと装置との位置関係に変化に応じたアレイ・マニフォールド・ベクトルを選択する信号処理装置を提供することを目的とする。

本発明の信号処理装置は、複数のマイク素子において収音された音響信号が収音された際の、前記複数のマイク素子を有する装置とユーザとの位置関係を示す情報を取得し、当該情報に基づいて、前記音響信号を処理する際に用いるアレイ・マニフォールド・ベクトルを選択する。

本発明によれば、信号処理装置とユーザの位置関係に応じてアレイ・マニフォールド・ベクトルを選択することができる。

信号処理装置のブロック図である。 筐体がアレイ・マニフォールド・ベクトルに及ぼす影響を説明するための図である。 アレイ・マニフォールド・ベクトルの選択がビームパターンに及ぼす影響を説明するための図である。 音源方向の推定精度が雑音除去の性能に及ぼす影響を説明するための図である。 信号処理装置の処理の流れを示すフローチャートである。 平均ビームパターン算出処理のフローチャートである。 ファインダの使用有無に応じたアレイ・マニフォールド・ベクトル選択の必要性を説明するための図である。 横撮り・縦撮りに応じたアレイ・マニフォールド・ベクトル選択の必要性を説明するための図である。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。なお、図面においてアレイ・マニフォールド・ベクトル（Ａｒｒａｙ Ｍａｎｉｆｏｌｄ Ｖｅｃｔｏｒ）はＡＭＶと略記している。

本実施形態では、装置とユーザの位置関係に応じてアレイ・マニフォールド・ベクトルを選択する信号処理について説明する。ここでアレイ・マニフォールド・ベクトルは、音の伝搬特性を示すベクトルである。アレイ・マニフォールド・ベクトルは、マイクが自由空間に配置されている場合、理論式により求めることができる。自由空間では遮るものなく理想的に音が伝搬するため、例えばマイク素子間の伝搬遅延時間差、すなわちアレイ・マニフォールド・ベクトル要素間の周波数ごとの位相差は、幾何的にマイク間隔をパラメータとする理論式で求められる。

一方、マイクが自由空間ではなく、筐体の近傍や内部に配置された場合は、筐体による音の回折・遮断・散乱などが生じるため、位相差等は自由空間の理論値から乖離する。

図２（ａ）の細線は、２つのマイク素子を内蔵マイクとして持つカムコーダについて、無響室のトラバース装置で実測した、各音源方向に対するマイク素子間の位相差を周波数ごとに示したものである。ここで、２つの内蔵マイク素子を結ぶ線分の垂直二等分線の方向に、カムコーダの撮影方向である正面０°がある。また、周波数については１８７．５Ｈｚから１８７．５Ｈｚおきに１８７５Ｈｚまで表示しており、周波数が高いほど位相差も大きくなる傾向がある。

一方、図２（ａ）の滑らかな太線は、内蔵マイクの間隔をパラメータとして用いた、周波数ごとの自由空間の理論値を表している。各周波数において、２つのマイク素子を結ぶ線分の方向である±９０°方向で、幾何的に位相差が最大となっている。ここで、同じ周波数における位相差の理論値と実測値を比較すると、カムコーダの筐体による回折等の影響によって、実測値は自由空間の理論値より大きくなる傾向があることが分かる。

同様に図２（ｂ）の細線は、カムコーダについて、各音源方向に対するマイク素子間の振幅差の実測値を、周波数ごとに示したものである。ここで、振幅差は振幅和によって正規化されており、−１から１の範囲を取るものとする。位相差と同様に、周波数が高いほど、また横方向である±９０°付近で、振幅差が大きくなる傾向がある。一方図２（ｂ）の太線は、逆二乗則による距離減衰を考慮した自由空間の理論値であるが、数ｃｍ程度のマイク間隔ではほとんど振幅差を生じないことが分かる。

このように、マイク素子間の振幅差や位相差は、マイクが配置される筐体の影響によって大きく変化するため、各方向の音源と各マイク素子間の伝達関数であるアレイ・マニフォールド・ベクトルも、筐体の影響によって大きく変化する。

図３は、適応ビームフォーマのビームパターンの算出に用いるアレイ・マニフォールド・ベクトルの選択が、ビームパターンおよび音源方向推定に及ぼす影響を示したものである。ここで、ビームパターンは周波数ごとに得られるが、図３の細線はその一部として、７５０Ｈｚから７５０Ｈｚおきに７５００Ｈｚまでのビームパターンを表示している。また、図３の太線は、各周波数のビームパターンを平均化した、平均ビームパターンを表示したものである。

図３（ａ）は、−３０°方向に音源を配置し、自由空間に配置したマイクで音響信号を取得して適応ビームフォーマのフィルタ係数を算出し、そのビームパターンを算出・表示したものである。ここで、アレイ・マニフォールド・ベクトルは、マイク間隔をパラメータとする自由空間の理論式で生成したものを用いている。これは、マイクの自由空間配置という音響信号取得時の状態に対応する、アレイ・マニフォールド・ベクトルを選択して用いていることになる。このため、図３（ａ）の太線のように、音源方向であるー３０°方向にヌルが形成された平均ビームパターンが得られるため、図３（ａ）の縦点線で示される平均ビームパターンのヌル方向から、音源方向を正確に知ることができる。なお、−９０°から０°を通って９０°までのビームパターンと、−９０°から±１８０°を通って９０°までのビームパターンは対称形となる。

一方、図３（ｂ）および図３（ｃ）は、−４０°方向に音源を配置し、カムコーダの内蔵マイクで音響信号を取得して適応ビームフォーマのフィルタ係数を算出し、そのビームパターンを算出・表示したものである。

図３（ｂ）では、この内蔵マイクの間隔をパラメータとして用いた、自由空間の理論式で生成したアレイ・マニフォールド・ベクトルを用いている。しかしこれは、カムコーダの筐体の影響を受けている音響信号取得時の状態とは異なる、アレイ・マニフォールド・ベクトルを選択して用いていることになる。このとき、図３（ｂ）の太線のように、平均ビームパターンは−９０°を中心として広く浅くへこんでいるだけであり、適切にヌルが形成されているとは言い難い。このため、平均ビームパターンのヌル方向から、正確に音源方向を推定するようなことはできない。

図３（ｃ）では、各方向の音源とカムコーダの内蔵マイク間の伝達関数として、無響室で実測したアレイ・マニフォールド・ベクトルを用いている。これは、カムコーダの筐体の影響を受けている音響信号取得時の状態に対応する、アレイ・マニフォールド・ベクトルを選択して用いていることになる。このため、図３（ｃ）の太線のように、音源方向であるー４０°方向にヌルが形成された平均ビームパターンが得られるため、図３（ｃ）の縦点線で示される平均ビームパターンのヌル方向から、音源方向を正確に知ることができる。なお、カムコーダのように筐体の形状が撮影方向に対して概ね対称形である場合は、−９０°から０°を通って９０°までのビームパターンと、−９０°から±１８０°を通って９０°までのビームパターンも概ね対称形となる。

図４は、アレイ・マニフォールド・ベクトルの選択と音源方向の推定精度が、雑音除去の性能に及ぼす影響を示したものである。

ピアノの演奏会をカムコーダで撮影をしていたときに、図４（ａ）で示されるような正面方向のピアノの音に加えて、図４（ｂ）で示されるような観客の咳の音が、−４０°方向から飛び込んできたような場合を考える。このとき、カムコーダの内蔵マイクで取得される音響信号の各チャンネルは、図４（ｃ）のようにピアノの音と咳の音が混合したものとなるため、ここから雑音である咳の音を除去することを考える。

図４の太線で囲まれる部分では咳の音が卓越しているため、このときの音響信号から適応ビームフォーマを構成すれば、咳の方向にヌルを自動的に形成するようなフィルタ係数が得られる。よって、このフィルタ係数で形成されるビームパターンを算出することで、そのヌル方向から咳の方向を推定できる。

しかし先ほど見たように、カムコーダの内蔵マイクで音響信号を取得しているのにもかかわらず、自由空間の理論式で生成したアレイ・マニフォールド・ベクトルを用いてしまうと、図３（ｂ）のようになり適切にヌルが形成されない。一方、カムコーダの筐体の影響を含むアレイ・マニフォールド・ベクトルを用いれば、図３（ｃ）のように平均ビームパターンのヌル方向から、咳の方向を−４０°と正確に推定することができる。

図４（ｄ）は、図３（ｂ）の縦点線で示される−９０°をとりあえずのヌル方向として、その方向に固定ビームフォーマでヌルを向けた結果である。しかしながら、ヌルを向けた方向が咳の方向とずれているため、咳の音はあまり除去できていない。

一方、図４（ｅ）は、図３（ｃ）の縦点線で示される−４０°に固定ビームフォーマでヌルを向けた結果である。ヌルを向けた方向が咳の方向と一致しているため、咳の音がかなり除去できていることが分かる。

このように、音源方向の推定精度は、雑音除去の性能に大きく影響する。また、音源方向推定に加え、固定ビームフォーマのフィルタ係数の算出には、ヌルを向ける方向のアレイ・マニフォールド・ベクトルが必要となるため、ここでもアレイ・マニフォールド・ベクトルの選択が影響してくる。

さらに、ユーザ（撮影者）の身体の影響によっても、アレイ・マニフォールド・ベクトルが大きく変化する。したがって、雑音除去のような音響処理においては、ユーザの身体の影響で大きく変化する音響信号取得時の状態に対応する、アレイ・マニフォールド・ベクトルを選択して用いることが重要である。

図１は、本実施形態の信号処理装置を示すブロック図である。図１に示す信号処理装置１００は、全構成要素の統御を行うシステム制御部１０１、各種データを記憶しておく記憶部１０２、信号の解析処理を行う信号解析処理部１０３を備える。

信号処理装置１００は、収音系の機能を実現する要素としては、収音部１１１、音響信号入力部１１２を備える。本実施形態において収音部１１１は、２つのマイク素子が間隔を持って配置された２ｃｈステレオマイクで構成される。なお、マイク素子の数は複数であればよく、３個以上でも構わない。音響信号入力部１１２は、収音部１１１の各マイク素子からのアナログ音響信号に増幅およびＡＤ変換を施して、所定の音響サンプリングレートに対応する周期でデジタル音響信号である２ｃｈマイク信号を生成する。

信号処理装置１００は、撮像系の機能を実現する要素としては、撮像部１２１、映像信号入力部１２２を備える。撮像部１２１は、入射する光に光電変換を施してアナログ映像信号を生成する。映像信号入力部１２２は、撮像部１２１からのアナログ映像信号にＡＤ変換とゲイン調整を施して、所定の映像フレームレートに対応する周期でデジタル映像信号を生成する。

信号処理装置１００は、ユーザの操作を受け付けたり、ユーザに操作メニューや映像信号などを提示したりするための要素としては、モニタ部１３１を備える。本実施形態において、モニタ部１３１は液晶タッチパネルで構成されるものとする。

ファインダ部１３２は、その小画面上に撮像系が捉えている映像信号を映し出す。本実施形態において、ファインダ部１３２は液晶ビューファインダおよび、液晶ビューファインダのＯＮ／ＯＦＦを切り替えるファインダスイッチで構成されるものとする。

姿勢センサ１３３は、信号処理装置１００の姿勢を検出する。本実施形態において姿勢センサ１３３は、撮影方向に対する回転角を検出可能なジャイロセンサで構成されるものとする。

モニタ部１３１の画面上には、撮像部１２１で撮影された映像信号がリアルタイムに映し出されている。このとき、ズーム倍率を示す画面上のスライダバーのつまみを動かすことで、その指定値がモニタリングしているシステム制御部１０１に伝えられる。そして、システム制御部１０１からの指示によって、撮像系は指定ズーム倍率に応じたズーム処理を行う。

ユーザは、撮影を開始したいシチュエーションになったら、モニタ部１３１上に表示されているメニューから、「ＲＥＣ」をタッチして選択する。撮影の開始の指示を受け付けると、信号処理装置１００は、撮像部１２１で撮影された映像信号および、収音部１１１で収音された音響信号を、記憶部１０２において記録する。収音部１１１で収音された音響信号である２ｃｈマイク信号は、記憶部１０２へ逐次記録され、図５のフローチャートに沿って、本実施形態の音響処理である音源方向推定処理および雑音除去処理が行われる。なお、音響サンプリングレートは４８ｋＨｚとして説明を行う。

ビームフォーマにおいてマイク信号のフィルタリングを行う信号サンプル単位を時間ブロックと呼ぶものとし、本実施形態では時間ブロック長を１０２４サンプル（約２１ｍｓ）とする。また、時間ブロック長の半分である５１２サンプル（約１１ｍｓ）ずつ信号サンプル範囲をシフトしながら、時間ブロックループの中でマイク信号のフィルタリングを行っていく。すなわち、第１時間ブロックではマイク信号の第１サンプルから第１０２４サンプルを、第２時間ブロックでは第５１３サンプルから第１５３６サンプルをフィルタリングする。図５のフローチャートは、時間ブロックループ内のひとつの時間ブロックにおける処理を表すものとする。図５のフローチャートは、システム制御部１０１が記憶部１０２に記憶されるプログラムを実行し、各ハードウェアを制御することで実現される。

Ｓ５０１では、システム制御部１０１が、ユーザがファインダを使用しているか使用していないか、すなわちファインダの使用有無を、ファインダ部１３２から取得する情報に基づいて判定する。

ここで、ファインダの使用有無がアレイ・マニフォールド・ベクトルに与える影響について、撮影の状況を上から模式的に表した図７を用いて説明する。図７において、長方形が信号処理装置１００を、長方形の上の白丸と黒丸がそれぞれマイク素子１とマイク素子２を表し、大きな円がユーザの頭部を、爆発マークがユーザの左後方に位置する雑音源を表している。

図７（ａ）は、ユーザがファインダを使わないで、すなわちモニタ部１３１で映像信号を確認しながら撮影している場合であり、このとき信号処理装置１００とユーザは、例えば頭一個分程度離れている。このため、水平方向の各方位角の音源と各マイク素子間の伝達関数であるアレイ・マニフォールド・ベクトルのうち、信号処理装置１００の筐体に加えてユーザの身体による回折等の影響を受けるのは、点線の鋭角三角形で表される方向範囲だけである。それ以外の方向では、矢印で模式的に表されるように、信号処理装置１００の筐体による影響のみ受ける。図７（ａ）において、雑音源は点線の鋭角三角形の外側に位置しているため、この雑音源からの雑音を除去する上で重要な、雑音源方向のアレイ・マニフォールド・ベクトルは、ユーザの身体の影響を有さない。

一方図７（ｂ）は、ユーザがファインダを使って、すなわちファインダ部１３２の液晶ビューファインダで映像信号を確認しながら撮影している場合であり、このとき信号処理装置１００とユーザは密着している。このため、アレイ・マニフォールド・ベクトルのうち点線の鈍角三角形で表される方向範囲では、矢印で模式的に表されるように、信号処理装置１００の筐体に加えてユーザの身体による回折等の影響を受ける。また、それ以外の方向では、信号処理装置１００の筐体による影響のみ受ける。図７（ｂ）において、図７（ａ）と同じ場所に位置する雑音源は、今度は点線の鈍角三角形の内側に位置している。従って、この雑音源からの雑音を除去する上で重要な、雑音源方向のアレイ・マニフォールド・ベクトルは、今度はユーザの身体の影響を有する必要がある。

このように、ファインダの使用有無によって信号処理装置１００とユーザとの間の距離（位置関係）が変化するため、ユーザの身体がアレイ・マニフォールド・ベクトルに与える影響も変化する。従って、高精度な音響処理を実現するためには、ファインダの使用有無によってアレイ・マニフォールド・ベクトルを切り替えることが必要となる。

Ｓ５０１において、例えば、システム制御部１０１は、ファインダ部１３２と通信を行い、ファインダスイッチのＯＮ／ＯＦＦ状態を調べることでファインダの使用有無を判定する。すなわち、ファインダスイッチがＯＮであればファインダを使用していると判定され、ＯＦＦであればファインダを使用していないと判定される。ファインダスイッチは、ユーザが手動でＯＮ／ＯＦＦを切り替える、もしくは、ファインダ部１３２がさらに接眼検出センサを備える場合は、自動で切り替わるものとする。システム制御部１０１は、ファインダの使用有無により、ユーザと信号処理装置１００との位置関係を判定する。

また、システム制御部１０１は、モニタ部１３１と通信を行い、モニタ部１３１の使用状態からファインダの使用有無を判定してもよい。例えば、ユーザがモニタ部１３１の表示をＯＦＦにしていれば、撮影において他に映像信号の確認手段が必要となるため、ファインダを使用していると判定される。一方、モニタ部１３１の表示がＯＮであっても、ファインダを使用していないとは必ずしも言えない。ただし、ユーザがモニタ部１３１をタッチして、例えば撮影パラメータ（ＩＳＯ感度等）の設定などを行っていれば、ファインダから目を離していると考えられるため、ファインダを使用していないと判定される。ここで、モニタ部１３１が開閉式である場合は、モニタ部１３１が開いているとき表示がＯＮ、閉じているとき表示がＯＦＦと考えることができる。

なお、ファインダが液晶ビューファインダのような電子式ファインダではなく、ファインダレンズを用いる光学式実像ファインダである場合は、ズーム非連動となる。このため、ユーザがズーム操作を行っているときは、ファインダを使用していないと判定してもよい。

なお、図７において点線の三角形で表される、信号処理装置１００の筐体に加えてユーザの身体による回折等の影響を受ける方向範囲は、信号処理装置１００とユーザとの間の距離によって連続的に変化する。したがって、信号処理装置１００は、信号処理装置１００とユーザとの間の距離を測定する構成としてもよい。この場合、信号処理装置１００が測距センサを備え、システム制御部１０１が測距センサと通信を行い、信号処理装置１００とユーザとの間の距離を検出するようしてもよい。測距センサは、超音波や赤外線などをユーザに照射し、その反射からユーザとの間の距離を検出する。そして、信号処理装置１００は、この測定した信号処理装置１００とユーザとの間の距離に応じてアレイ・マニフォールド・ベクトルを選択してもよい。

なお、信号処理装置１００は、ファインダを覗く目が右目か左目かを検出するセンサを更に有してもよい。ファインダを覗く目が右目か左目かの検出結果により、信号処理装置１００は、ユーザとの位置関係を補正してもよい。ファインダを覗く目が右目か左目かによって信号処理装置１００とユーザとの位置関係が変化するためである。

Ｓ５０２では、システム制御部１０１は、ユーザが横撮りで撮影しているか、縦撮りで撮影しているかを姿勢センサ１３３から取得する情報に基づいて判定する。

ここで、図８を用いて横撮りで撮影しているか、縦撮りで撮影しているかで生じる音響の伝搬特性の変化について説明する。図８において、２つのマイク素子を有するカメラを示す。図８に示すカメラは、カメラの２つのマイク素子を水平方向だけでなく垂直方向にも間隔を持つよう配置している。図８において、長方形が撮影装置を示す。また、長方形の中の白丸と黒丸がそれぞれマイク素子１とマイク素子２を示す。図８に示すカメラは、この二つのマイク素子間の音の伝搬遅延時間差から、音源方向を推定する。

図８（ａ）は、横撮りの場合を示す。図８（ｂ）は、縦撮りの場合を示す。図８において、ユーザは円（頭部）と円柱（頭部以外）で模式的に表されている。図８（ａ）と図８（ｂ）を見比べれば分かるように、横撮りのときと縦撮りのときで、ユーザの身体の影響を受ける傾斜円周上の方向範囲は異なり、傾斜円周上の各方向の音源と各マイク素子間の伝達関数も異なってくる。従って、高精度な音響処理を実現するためには、横撮りと縦撮りでアレイ・マニフォールド・ベクトルを切り替えることが必要になる。

本実施形態ではアレイ・マニフォールド・ベクトルとして、以下に説明するものを用いる。図８において、点線で表される傾斜円周上の各方向の音源と各マイク素子間の伝達関数ではなく、実線で表される水平円周上の各方位角の音源と各マイク素子間の伝達関数を用いる。このように、横撮りでも縦撮りでも常に、水平円周上の各方位角からのアレイ・マニフォールド・ベクトルを用いることで、一般に知りたい情報である水平方向の方位角を、座標変換無しでダイレクトに求めることができる。

なお、傾斜円周上の各方向からのアレイ・マニフォールド・ベクトルでは、横撮りと縦撮りで傾斜円周上の同方向における信号処理装置１００の筐体の影響は同じであり、ユーザの身体の影響が異なる。これに対し、水平円周上の各方位角からのアレイ・マニフォールド・ベクトルでは、横撮りと縦撮りで水平円周に対する各マイク素子の配置が変化する。このため、図８の矢印からも推測できるように、横撮りと縦撮りで水平円周上の同方向における信号処理装置１００の筐体の影響および、ユーザの身体の影響が異なることになる。

なお、マイク素子の配置については図８に示すように、水平方向だけでなく垂直方向にも間隔を持つよう配置する。これは、縦撮りにおいてマイク素子が垂直方向に並んでしまうと、信号処理装置１００の筐体やユーザの身体の影響があっても、マイク素子１に係る伝達関数とマイク素子２に係る伝達関数の差が、どの方位角でもほとんど生じないためである。

Ｓ５０２において、システム制御部１０１は、姿勢センサ１３３と通信を行い、信号処理装置１００の姿勢として、撮影方向に対する回転角を示す情報を取得する。そして、システム制御部１０１は、信号処理装置１００の回転角が０°付近、例えば３５０°から０°を通って１０°までなら、横撮りと判定する。また、縦撮りには、図８（ｂ）のように信号処理装置１００を撮影方向に対して右回転させる場合と、図８（ｃ）のように左回転させる場合がある。そこで、システム制御部１０１は、回転角が９０°付近、例えば８０°から９０°を通って１００°までなら右回転の縦撮りと判定し、回転角が２７０°付近、例えば２６０°から２７０°を通って２８０°までなら左回転の縦撮りと判定する。なお、図８（ｂ）と図８（ｃ）の矢印の先を見比べれば、右回転の縦撮りにおけるアレイ・マニフォールド・ベクトルの第１要素と第２要素を入れ替えると、左回転の縦撮りにおけるアレイ・マニフォールド・ベクトルとして流用可能とである。

なお、信号処理装置１００は、横撮りと縦撮りかの操作状況だけでなく、信号処理装置１００の回転角に応じた処理やアレイ・マニフォールド・ベクトルの選択を行ってもよい。

また、信号処理装置１００は、撮影方向に対する回転だけでなく、信号処理装置１００を上下や左右に向けるような回転も有り得るため、撮影方向以外の２軸に対する回転角も検出してユーザの操作状況の判定やユーザとの位置関係の判定を行ってもよい。

また、信号処理装置１００は、ユーザ方向の映像信号も取得し、その映像信号を解析することで、信号処理装置１００とユーザの位置関係を推定することが可能となる。

Ｓ５０３では、信号解析処理部１０３は、現時間ブロックの音響信号の音響処理に用いるための、アレイ・マニフォールド・ベクトルをＳ５０１及びＳ５０２で判定したユーザとの位置関係に基づいて選択する。

信号処理装置１００の筐体やユーザの身体の影響を含むアレイ・マニフォールド・ベクトルは、ファインダの使用有無や信号処理装置１００とユーザとの間の距離ごと、さらに横撮り・縦撮りや信号処理装置１００の回転角ごとに、無響室などで実測する。すなわち、ダミーヘッドやマネキン人形、または実際に人を信号処理装置１００の傍に配置することでユーザの身体の影響を再現し、円弧トラバース装置などで音源スピーカを水平円周上で動かして、各方位角からの伝達関数を測定する。もしくは、信号処理装置１００や人体のＣＡＤデータをもとに、有限要素法や境界要素法といった、波動性を考慮したシミュレーションにより生成してもよい。種々のアレイ・マニフォールド・ベクトルは、ファインダの使用有無や信号処理装置１００とユーザとの間の距離、さらに横撮り・縦撮りや信号処理装置１００の回転角と対応付けられた状態で、記憶部１０２が予め保持しているものとする。

Ｓ５０３において、信号解析処理部１０３は、Ｓ５０１で判定したファインダの使用有無およびＳ５０２で判定した横撮り・縦撮りに対応する、アレイ・マニフォールド・ベクトルａ（ｆ，θ）を選択する。ここで、ｆは周波数、θは水平方向の方位角であり、信号処理装置１００の撮影方向を正面（θ＝０°）とする。また、Ｓ５０１で判定した信号処理装置１００とユーザとの間の距離および、Ｓ５０２で判定した信号処理装置１００の回転角に対応する、アレイ・マニフォールド・ベクトルａ（ｆ，θ）を選択するようにしてもよい。

なお、信号処理装置１００とユーザとの間の測定した距離に対応するアレイ・マニフォールド・ベクトルがあるとは限らないため、測定した距離と最も近いアレイ・マニフォールド・ベクトルを選択する。もしくは、複数の距離（例えば５０ｍｍと１００ｍｍ）におけるアレイ・マニフォールド・ベクトルを振幅および位相上で補間することで、測定した距離（例えば７５ｍｍ）に対応するアレイ・マニフォールド・ベクトルを生成して選択するようにしてもよい。信号処理装置１００は複数の回転角（例えば４０°と５０°）におけるアレイ・マニフォールド・ベクトルを補間し、測定した回転角（例えば４５°）に対応するアレイ・マニフォールド・ベクトルを生成して選択するようにしてもよい。

Ｓ５０４では、図６のフローチャートで表される平均ビームパターン算出処理を行う。Ｓ６０１では、信号処理装置１００は、現時間ブロックの２ｃｈマイク信号をフーリエ変換して、複素数であるフーリエ係数を取得する。このとき時間ブロック長によって、フーリエ変換における時間解像度および周波数解像度が決まる。

Ｓ６０１における処理では、統計量である空間相関行列の算出には平均化処理が必要なため、現在の時間ブロックを基準として時間フレームという単位を導入する。時間フレーム長は時間ブロック長と同じ１０２４サンプルであり、現在の時間ブロックの信号サンプル範囲を基準として、所定の時間フレームシフト長ずつシフトした信号サンプル範囲を時間フレームとする。本実施形態では時間フレームシフト長を３２サンプルとし、上記平均化の回数に相当する時間フレーム数を１２８とする。すなわち第１時間ブロックにおいて、第１時間フレームは第１時間ブロックと同じくマイク信号の第１サンプルから第１０２４サンプルを対象とし、第２時間フレームは第３３サンプルから第１０５６サンプルを対象とする。そして、第１２８時間フレームは第４０６５サンプルから第５０８８サンプルを対象とするため、第１時間ブロックの空間相関行列は、第１サンプルから第５０８８サンプルの１０６ｍｓのマイク信号から算出されることになる。なお、時間フレームは現在の時間ブロックより前の信号サンプル範囲としてもよい。

以上を踏まえてＳ６０１では、信号処理装置１００は、第ｉチャンネルのマイク信号の現時間ブロックに関する、周波数ｆ、時間フレームｋにおけるフーリエ係数をＺ_ｉ（ｆ，ｋ）（ｉ＝１，２、ｋ＝１〜１２８）のように得る。なお、フーリエ変換の前にマイク信号に対して窓掛けを行い、窓掛けは逆フーリエ変換によって再び時間信号に戻した後にも行う。このため、５０％ずつオーバーラップする時間ブロックに対し、２回の窓掛けにおける再構成条件を考慮して、窓関数にはサイン窓などを用いる。

Ｓ６０２からＳ６０４は周波数ごとの処理であり、周波数ループの中で行う。Ｓ６０２では、マイク信号の空間的性質を表す統計量である、空間相関行列を算出する。Ｓ６０１で得た各チャンネルのフーリエ係数をまとめてベクトル化し、ｚ（ｆ，ｋ）＝［Ｚ_１（ｆ，ｋ） Ｚ_２（ｆ，ｋ）］^Ｔのように置く。ｚ（ｆ，ｋ）を用いて、周波数ｆ、時間フレームｋにおける行列Ｒ_ｋ（ｆ）を式（１）のように定める。ここで、上付きのＨは複素共役転置を表す。

Ｒ_ｋ（ｆ）＝ｚ（ｆ，ｋ）ｚ^Ｈ（ｆ，ｋ） （１）
空間相関行列Ｒ（ｆ）は、Ｒ_ｋ（ｆ）を全ての時間フレームに関して平均化、すなわちＲ_１（ｆ）からＲ_１２８（ｆ）を足して１２８で割ることで得られる。

Ｓ６０３では、適応ビームフォーマのフィルタ係数を算出する。第ｉチャンネルのマイク信号をフィルタリングするフィルタ係数をＷ_ｉ（ｆ）（ｉ＝１，２）とし、ビームフォーマのフィルタ係数ベクトルをｗ（ｆ）＝［Ｗ_１（ｆ）Ｗ_２（ｆ）］^Ｔのように置く。

ここでは、信号処理装置１００は、適応ビームフォーマのフィルタ係数を最小ノルム法で算出する。これは、出力パワー最小化の規範に基づくものであり、ｗ（ｆ）を非零ベクトルとするための制約条件を、フィルタ係数ノルムの指定によって記述する。ビームフォーマの周波数ｆにおける平均出力パワーはｗ^Ｈ（ｆ）Ｒ（ｆ）ｗ（ｆ）で表されるため、最小ノルム法による適応ビームフォーマのフィルタ係数は、式（２）の制約付き最適化問題の解として得られる。

これは、エルミート行列であるＲ（ｆ）を係数行列とする二次形式の最小化問題であるため、Ｒ（ｆ）の最小固有値に対応する固有ベクトルが、最小ノルム法で算出される適応ビームフォーマのフィルタ係数ベクトルｗ_ＭＮ（ｆ）となる。

Ｓ６０４では、信号処理装置１００は、Ｓ６０３で算出した適応ビームフォーマのフィルタ係数ｗ_ＭＮ（ｆ）と、現時間ブロックで選択されているアレイ・マニフォールド・ベクトルａ（ｆ，θ）を用いて、適応ビームフォーマのビームパターンを算出する。ビームパターンの方位角θ方向の値Ψ（ｆ，θ）は、式（３）で得られる。

ａ（ｆ，θ）のθを、例えば−１８０°から１８０°まで１°刻みで変えながらΨ（ｆ，θ）を計算することで、水平方向のビームパターンが得られる。なお、計算量を抑えるために、ビームパターンの対称性に着目して、−９０°から０°を通って９０°までのビームパターンのみ算出してもよい。また、Ψが小さくなるヌル付近のみθの刻みを密にして、音源方向を知る上で大切なヌルだけは正確に把握するようにしてもよい。

Ｓ６０５では、信号処理装置１００は、Ｓ６０４で算出した周波数ごとのビームパターンを平均化して、平均ビームパターンを算出する。なお、必ずしも全周波数について平均化する必要はなく、例えば目的音の主要周波数帯の周波数のみ平均化してもよい。以上でＳ５０４の平均ビームパターン算出処理を終える。

Ｓ５０５では、信号処理装置１００は、Ｓ５０４で算出した平均ビームパターンのヌル方向から、音源方向を推定する。すなわち、平均ビームパターンが極小値を取る点、より簡単には最小値を取る点からヌル方向θ_ｎｕｌｌを決定し、推定音源方向とする。

本実施形態においては、ファインダの使用有無や横撮り・縦撮りによって変化する、信号処理装置１００とユーザの位置関係に応じて、時間ブロックごとに適切なアレイ・マニフォールド・ベクトルが選択されている。このため常に、図３（ａ）や図３（ｃ）のように、平均ビームパターンのヌルが適切に音源方向に形成され、高精度な音源方向推定ができる。

なお、Ｓ５０５における音源方向推定において、適応ビームフォーマのフィルタ係数は最小ノルム法で算出したが、代わりに最小分散法（Ｃａｐｏｎ法）などを用いてもよい。最小分散法も、最小ノルム法と同じく出力パワー最小化の規範に基づくものであるが、フィルタ係数ベクトルを非零ベクトルとするための制約条件として、メインローブの方向θ_ｍａｉｎを適当に指定する。最小分散法による適応ビームフォーマのフィルタ係数ｗ_ＭＶ（ｆ）は、式（４）のように得られる。

なお、上記においては、音源方向に感度のディップ（ヌル）を形成するビームパターンΨ（ｆ，θ）から音源方向を推定したが、代わりに、音源方向に感度のピークを形成する空間スペクトルＰ（ｆ，θ）を用いてもよい。

最小ノルム法を用いた場合の空間スペクトルＰ_ＭＮ（ｆ，θ）は、式（５）で得られる。

最小ノルム法では、空間相関行列の最小固有値に対応する固有ベクトルのみを用いた。さらに、雑音部分空間に属する全ての固有ベクトルを並べた行列をＥ_ｎと置き、信号部分空間に属するアレイ・マニフォールド・ベクトルとの直交性を考えれば、ＭＵＳＩＣ法の空間スペクトルＰ_ＭＵ（ｆ，θ）が式（６）で得られる。

また、最小分散法を用いた場合の空間スペクトルＰ_ＭＶ（ｆ，θ）は、式（７）で得られる。

以上を一般化すれば、アレイ・マニフォールド・ベクトルと音響信号の空間相関行列を用いて、方向毎に感度の極値を持つビームパターンや空間スペクトルといった感度曲線を算出し、感度曲線の極値点から音源方向を推定する。

Ｓ５０６では、信号処理装置１００は、Ｓ５０５で推定した推定音源方向が、目的音の範囲外であるかを調べる。推定音源方向が目的音の範囲外である場合は、現時間ブロックにおいて推定音源方向にある雑音が卓越していると見なされ、Ｓ５０７からＳ５０８の雑音除去処理へと進む。

目的音の範囲は、例えば信号処理装置１００の撮影方向である正面±３０°のように定めておいてもよいし、ズーム倍率に応じて変化する撮像系の画角範囲としてもよい。また、モニタ部１３１を介してユーザが設定するようにしてもよい。

Ｓ５０７からＳ５０８は周波数ごとの処理であり、周波数ループの中で行う。

Ｓ５０７では、信号処理装置１００は、Ｓ５０５で推定した推定音源方向θ_ｎｕｌｌに鋭いヌルを形成するための、固定ビームフォーマのフィルタ係数ｗ_ｆｉｘ（ｆ）を算出する。

まず、固定ビームフォーマのビームパターンにおいて、推定音源方向θ_ｎｕｌｌにヌルを形成する条件は、アレイ・マニフォールド・ベクトルａ（ｆ，θ_ｎｕｌｌ）を用いて式（８）のように表される。

だし、式（８）だけでは解が零ベクトルとなってしまうため、メインローブ方向θ_ｍａｉｎにメインローブを形成する条件として式（９）を加える。ここで、メインローブ方向θ_ｍａｉｎは、目的音範囲の中心である正面０°などに定める。

式（８）および式（９）をまとめて行列Ａ（ｆ）＝［ａ（ｆ，θ_ｎｕｌｌ）ａ（ｆ，θ_ｍａｉｎ）］を用いて表現すれば、式（１０）のようになる。

よって、式（１０）の両辺に左からＡ^Ｈ（ｆ）の逆行列を掛けることで、固定ビームフォーマのフィルタ係数ｗ_ｆｉｘ（ｆ）が式（１１）のように得られる。

ここで、ｗ_ｆｉｘ（ｆ）のノルムは周波数ごとに異なるため、最小ノルム法のｗ_ＭＮ（ｆ）と同様に、ノルムが１となるよう正規化するのが好適である。なお、フィルタ係数ベクトルｗ_ｆｉｘ（ｆ）の要素数、すなわち収音系のマイク素子の数と、式（８）、式（９）のようなビームパターン上の制御点の数が異なる場合は、Ａ（ｆ）が正方行列ではないため一般化逆行列を用いる。

Ｓ５０８では、Ｓ５０７で算出した固定ビームフォーマのフィルタ係数を用いてフィルタリングを行い、雑音が除去されたマイク信号のフーリエ係数を取得する。一般に、ビームフォーマによるフィルタリングは、マイク信号に対して式（１２）のように行う。ここで、ｚ（ｆ）＝ｚ（ｆ，１）であり、Ｙ（ｆ）が雑音除去信号のフーリエ係数である。

ただし、これでは雑音除去信号がモノラル信号になってしまうため、再び２ｃｈマイク信号に戻すためのＰｒｏｊｅｃｔｉｏｎ Ｂａｃｋを行う。具体的には、行ベクトルであるｗ^Ｈ _ｆｉｘを横長行列と見なし、その一般化逆行列を式（１２）の両辺に左から掛けることで、式（１３）のように雑音除去された２ｃｈマイク信号のフーリエ係数ｚ_ＰＪ（ｆ）を取得する。

ここで、上付きの＋は一般化逆行列を表すものとする。

このように、本実施形態のアレイ・マニフォールド・ベクトル選択によって音源方向を正確に推定し、雑音方向に鋭いヌルを形成する固定ビームフォーマを用いることで、雑音が目的音に近接するような場合でも、雑音のみを高精度に除去することができる。

Ｓ５０６で推定音源方向が目的音の範囲外でない、すなわち目的音の範囲内である場合は、現時間ブロックにおいて推定音源方向にある目的音が卓越していると見なされ、雑音除去処理をスキップしてＳ５０９へ進む。

Ｓ５０９では、信号処理装置１００は、２ｃｈマイク信号のフーリエ係数を逆フーリエ変換し、現時間ブロックにおけるマイクで収音された音響信号を取得する。これを窓掛けして前時間ブロックまでのマイクで収音された音響信号にオーバーラップ加算していき、得られる信号を記憶部１０２へ逐次記録する。以上のようにして得られた信号は、記憶部１０２と相互に結ばれた、不図示のデータ入出力部を介して外部に出力したり、イヤホン、ヘッドホン、スピーカといった不図示の音響再生系によって再生したりすることができる。

なお、上記説明においては方向として方位角θを考えていたが、仰角φも考えることができる。すなわち、方位角θおよび仰角φごとの伝達関数としてアレイ・マニフォールド・ベクトルａ（ｆ，θ，φ）を用意する。そして、方位角θだけでなく、仰角φも０°以外に−９０°から９０°まで変えながら、ビームパターンΨ（ｆ，θ，φ）を算出する。そして、平均ビームパターンの極値点から、水平方向だけでなく垂直方向含む全方位の音源方向を推定することができる。

さらに、方向に加えて距離ｒも考えることができる。すなわち、方位角θ、仰角φ、距離ｒごとの伝達関数としてアレイ・マニフォールド・ベクトルａ（ｆ，θ，φ，ｒ）を用意する。そして、方位角θ、仰角φに加えて、距離ｒも１ｍ以外に例えば０．５ｍから５ｍまで変えながら、ビームパターンΨ（ｆ，θ，φ，ｒ）を算出する。そして、平均ビームパターンの極値点から、音源方向に加えて音源距離も推定することができる。

なお、音響処理において、雑音除去処理には固定ビームフォーマ以外の手法を用いても構わない。例えば、マイク信号のチャンネル間の位相差を周波数ごとに求め、推定音源方向に対応する位相差範囲の場合に、抑圧するようなマスク処理を用いてもよい。この場合も、推定音源方向に対応する位相差範囲の算出にはアレイ・マニフォールド・ベクトルが必要となるため、ここでも本実施形態のアレイ・マニフォールド・ベクトル選択が影響してくる。なお、適応ビームフォーマによる音源方向推定処理を行わず、固定ビームフォーマのみによって所定方向の雑音を除去するようにしてもよい。なお、信号処理装置１００は、選択したアレイ・マニフォールド・ベクトルを用いて音源を分離する音源分離処理を行ってもかまわない。

なお、上記説明においては、音響信号取得時である撮影時に全ての音響処理を行っていた。ここで、各時間ブロックで選択するアレイ・マニフォールド・ベクトルを特定できるような、付加情報とともに音響信号を記録しておくことで、非撮影時に後処理として音源方向推定処理や雑音除去処理を行うこともできる。上記付加情報としては、ファインダの使用有無、横撮りか縦撮りか、信号処理装置１００とユーザとの間の距離、信号処理装置１００の回転角、またはアレイ・マニフォールド・ベクトル識別ＩＤなどが挙げられる。

なお、種々のアレイ・マニフォールド・ベクトルは、記憶部１０２が予め保持しておく以外にも、データ入出力部を介して任意の外部記憶部から取得したり、ネットワーク上のデータベースから取得したりするようにしてもよい。

なお、撮影において横撮り・縦撮りを切り替えない場合は、ファインダの使用有無のみに応じてアレイ・マニフォールド・ベクトルを選択することになる。また、撮影においてファインダの使用有無を切り替えない場合は、横撮り・縦撮りのみに応じてアレイ・マニフォールド・ベクトルを選択することになる。これらの場合も本実施形態に含まれる。

なお、ＩＣレコーダのように、信号処理装置１００が撮像に係る要素を備えていない場合であっても、ユーザとの位置関係に応じてアレイ・マニフォールド・ベクトルを選択していれば、本実施形態に含まれる。

なお、信号処理装置１００がウェアラブルカメラであり、モニタ部１３１を介してユーザが入力した装着状態などから、ユーザとの位置関係を検出してアレイ・マニフォールド・ベクトルを選択する場合も、本実施形態の範囲に含まれる。ウェアラブルカメラの装着（保持）状態としては、頭部（額、右側面、左側面、後方）、腕、肩といった身体各部への装着や、服のポケットに入れた状態、ストラップで首掛けした状態などが挙げられる。

なお、信号処理装置１００と、姿勢センサ１３３、ファインダ部１３２、撮像部１２１及び収音部１１１とは別の装置であってもよいし、一体の装置であってもよい。信号処理装置１００と、姿勢センサ１３３、ファインダ部１３２、撮像部１２１及び収音部１１１とを別の装置として構成する場合、信号処理装置１００は、通信を用いて他の装置と通信し、これらから情報を取得する。

以上説明した本実施形態によれば、信号処理装置とユーザの位置関係に応じてアレイ・マニフォールド・ベクトルを選択することで、高精度な音響処理を実現することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (10)

1. 複数のマイク素子において収音された音響信号が収音された際の、前記複数のマイク素子を有する装置とユーザとの位置関係を示す情報を取得する取得手段と、
   前記取得手段により取得される前記情報に基づいて、前記音響信号を処理する際に用いるアレイ・マニフォールド・ベクトルを選択する選択手段と、
   を有することを特徴とする信号処理装置。
2. 前記取得手段は、前記信号処理装置とユーザとの間の距離および前記複数のマイク素子を有する装置の姿勢の少なくとも一方に関する情報を取得することを特徴とする請求項１に記載の信号処理装置。
3. 前記取得手段は、前記複数のマイク素子を有する装置の撮影のためのファインダの使用状態に関する情報を取得することを特徴とする請求項１または２に記載の信号処理装置。
4. 前記複数のマイク素子を有する装置が撮影した映像信号を表示するモニタ部の使用状態に関する情報を取得することを特徴とする請求項１乃至３のいずれか１項に記載の信号処理装置。
5. 前記選択手段により選択されたアレイ・マニフォールド・ベクトルを用いて、前記音響信号に含まれる音源の方向を推定する方向推定処理を実行する処理手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の信号処理装置。
6. 前記処理手段は、前記音響信号に含まれる音源を分離する音源分離処理を行うことを特徴とする請求項５に記載の信号処理装置。
7. 前記処理手段は、前記音響信号の空間相関行列を用いて方向毎の感度を算出し、算出された方向毎の感度の極値点から前記音響信号に含まれる音源の方向を推定する前記方向推定処理を実行することを特徴とする請求項５または６に記載の信号処理装置。
8. 前記信号処理装置は、前記複数のマイク素子を有する装置であることを特徴とする請求項１乃至７のいずれか１項に記載の信号処理装置。
9. 複数のマイク素子において収音された音響信号が収音された際の、前記複数のマイク素子を有する装置とユーザとの位置関係を示す情報を取得し、
   当該情報に基づいて、前記音響信号を処理する際に用いるアレイ・マニフォールド・ベクトルを選択する
   ことを特徴とする信号処理方法。
10. 請求項９に記載の信号処理方法をコンピュータに実行させるためのプログラム。

Images