JP2017046322A - 信号処理装置及びその制御方法 - Google Patents

Abstract

【課題】音源の方向感の明瞭化、及び、各方向の音量バランスの均一化に有利な技術を提供する。【解決手段】信号処理装置は、複数の収音部で収音された音響信号から指向方向ごとの方向音を取得する取得手段と、取得手段により取得される方向音の周波数に応じて、取得手段により取得される方向音に対応する指向方向の数である指向方向数を制御する制御手段とを有する。【選択図】図１

Description

本発明は、音響信号処理技術に関する。

複数のマイクロホン素子（マイクロホンアレイ）で録音した複数チャネルの音響信号から、方向ごとの音（以下「方向音」という。）を取得する技術が知られている。この技術を用いて、全方位の方向音が各方向から再生されているようにユーザに提示できれば、あたかも録音現場にいるかのような高臨場感を実現することができる。

特許文献１には、指向性約４５°の８本の指向性マイクロホンを放射状に並べた指向性マイクロホンアレイで指向方向ごとの方向音を取得し、各指向方向に４５°間隔で配置した８台の周囲スピーカで再生を行う全方位録音・再生システムが開示されている。

方向音を取得する方法としては、指向性マイクロホンアレイを用いる方法の他に、フィルタリングに基づく方法がある。すなわち、（無指向性）マイクロホンアレイで録音した複数チャネルの音響信号に、所望の指向方向に対応する指向性形成のフィルタ係数を適用して加算することで、任意の指向方向の方向音を生成することができる。特許文献２では、８本のマイクロホンで構成されるマイクロホンアレイで録音した８ｃｈ音響信号をフィルタリング（遅延制御）することで、ユーザが要求する指向性マイクロホンと同じになるよう指向性を形成し、ユーザが要求する数の方向音を生成している。

また、全方位の方向音が各方向から再生されているようにユーザに提示する方法としては、ユーザの周囲にスピーカを配置する方法の他に、ヘッドホンで立体音響再生を行う方法がある。すなわち、各方向音に各指向方向に対応する方向の左右耳の頭部伝達関数を適用し、左右それぞれ加算してヘッドホンから再生することで、仮想スピーカをユーザの周囲に配置するような効果が得られる。

特許第２５１５１０１号公報 特開平９−５５９２５号公報

一般に方向音の取得において、指向性マイクロホンアレイを用いる場合もフィルタリングで指向性を形成する場合も、形成できる指向性のビームパターンは、低周波数域では鈍くなり、逆に高周波数域では鋭くなる傾向がある。このとき、全方位録音・再生を行うために、所定の指向方向数で均等配置した各指向方向の方向音を取得し、例えばヘッドホンで立体音響再生を行うと、以下のような課題が生じる。

すなわち、低周波数域では各指向性のビームパターンの重なりが増えるため、（点）音源の方向感が不明瞭になり、音量も過多になる傾向がある。また高周波数域では、各指向性のビームパターンの重なりが減り、各ビームパターンを合成した合成ビームパターンにおいて、各指向方向の間で凹みが生じる。このため、音源間（例えば全方位に配置した楽器間）の音量バランスが崩れ、全方位の雰囲気音（拡散音源）も方向ごとに音量感が変わってしまう。

特許文献１，２には、このような周波数ごとの指向性の違いに起因する課題を解決できる手法は開示されていない。

本発明は、音源の方向感の明瞭化、及び、各方向の音量バランスの均一化に有利な技術を提供することを目的とする。

本発明の一側面によれば、複数の収音部で収音された音響信号から指向方向ごとの方向音を取得する取得手段と、前記取得手段により取得される方向音の周波数に応じて、前記取得手段により取得される方向音に対応する前記指向方向の数である指向方向数を制御する制御手段とを有する信号処理装置が提供される。

本発明によれば、音源の方向感の明瞭化、及び、各方向の音量バランスの均一化に有利な技術を提供することができる。

第１実施形態に係る信号処理装置のブロック図。 第１実施形態に係る信号処理を示すフローチャート。 指向方向数が５の場合のビームパターンの例を示す図。 指向方向数が９の場合のビームパターンの例を示す図。 指向方向数が１７の場合のビームパターンの例を示す図。 周波数ごとの指向方向数の説明図。 頭部伝達関数の周波数別方向感度の説明図。 第２実施形態に係る信号処理装置のブロック図。 第２実施形態に係る信号処理を示すフローチャート。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。なお、同一の構成については、同じ符号を付して説明する。

＜第１実施形態＞
図１は、第１実施形態に係る信号処理装置１００の構成を示すブロック図である。信号処理装置１００は、各構成要素を統括的に制御するシステム制御部１０１、各種データを記憶しておく記憶部１０２、信号の解析処理を行う信号解析処理部１０３を備える。記憶部１０２は、複数のマイクロホン素子（収音部）を有するマイクロホンアレイ１０６で収音された音響信号を保持している。音響信号入力部１０７は、マイクロホンアレイ１０６からの音響信号を入力する。

信号処理装置１００は、ユーザの周囲に方向音の音像である方向音像を生成する再生系を有する。本実施形態において、再生系は、音響信号出力部１０４、ヘッドホン１０５を含む。この再生系は、後述するように、各方向音に各指向方向に対応する方向の頭部伝達関数（ＨＲＴＦ（Head-Related Transfer Function））を適用して、ユーザの両耳近傍で再生することができる。信号解析処理部１０３は、後述する信号解析処理によって、ヘッドホン１０５から再生するヘッドホン再生信号を生成する。音響信号出力部１０４は、ヘッドホン再生信号にＤ／Ａ変換および増幅を施した信号を、ヘッドホン１０５に出力する。

以下、本実施形態における信号処理について、図２のフローチャートに沿って説明する。なお、図２のフローチャートに対応するプログラムは例えば記憶部１０２に保持され、特に別記しない限り信号解析処理部１０３によって実行されるものとする。

Ｓ２０１では、記憶部１０２が保持している、M個のマイクロホン素子（Mチャネルマイクロホンアレイ）で録音したMチャネル音響信号を取得し、チャネルごとにフーリエ変換することで周波数領域のデータ（フーリエ係数）であるz(f)を得る。ここで、各周波数のz(f)はM個の要素を持つベクトルである。

Ｓ２０２〜Ｓ２１６は周波数ごとの処理であり、周波数ループの中で行う。

Ｓ２０２では、現在の周波数ループの周波数における指向方向数D(f)をD(f)=1のように初期化する。Ｓ２０３では、指向方向数D(f)を用いて各指向性の指向方向θ_d(f)［d=1〜D(f)］を算出する。ここでは複数の指向性で水平全方位をカバーするため、音響信号を録音したマイクロホンアレイの座標系における正面０°を基準方向として、水平の指向方向（方位角）を、θ_d(f)=(d-1)×360°／D(f)のように算出する。なお、１８０°を超える指向方向についてはθ_d(f)←θ_d(f)-360°のように表現するものとする。

Ｓ２０４〜Ｓ２０５は、Ｓ２０３で指向方向を算出した指向性ごとの処理であり、指向性ループの中で行う。

Ｓ２０４では、現在の指向性ループで対象としている指向性を形成するための指向性形成フィルタのフィルタ係数を取得する。ここでは、記憶部１０２があらかじめ保持している指向性形成フィルタのフィルタ係数から、指向方向θ_d(f)に対応するw_d(f)を取得する。ここで、フィルタ係数（ベクトル）w_d(f)は周波数領域のデータ（フーリエ係数）であり、M個の要素で構成される。なお、マイクロホンアレイの構成が異なればフィルタ係数も異なるため、録音に用いたマイクロホンアレイの種別ＩＤを音響信号の付加情報として録音時に記録しておき、そのマイクロホンアレイに対応するフィルタ係数を本ステップで用いるようにしてもよい。

指向性形成フィルタのフィルタ係数の算出には、各方向（方位角θ）の音源と各マイクロホン素子間の伝達関数であるアレイ・マニフォールド・ベクトルa(f,θ)が一般に用いられる。ここで、a(f,θ)は周波数領域のデータ（フーリエ係数）であり、M個の要素で構成される。指向方向θ_d(f)に指向性のメインローブを向ける方法として、例えば遅延和法ならθ_d(f)方向のアレイ・マニフォールド・ベクトルa_d(f)を用いて、w_d(f)=a_d(f)／(a_d ^H(f)a_d(f))のようにフィルタ係数が得られる。

Ｓ２０５では、Ｓ２０４で取得した指向性形成フィルタのフィルタ係数w_d(f)と、アレイ・マニフォールド・ベクトルa(f,θ)を用いて指向性のビームパターンを算出する。ビームパターンの方位角θ方向の値b_d(f,θ)は、式（１）で得られる。

a(f,θ)のθを、例えば−１８０°から１８０°まで１°刻みで変えながらb_d(f,θ)を計算することで、水平全方位のビームパターンが得られる。なお、音響信号の録音に用いたマイクロホンアレイの構造によっては、自由空間や剛球等の理論式により、任意の解像度でアレイ・マニフォールド・ベクトルa(f,θ)を算出できる。なお、円状等間隔マイクロホンアレイなどマイクロホン素子が等方的に配置されている場合は、指向方向が正面０°の場合のビームパターンb₁(f,θ)を回転させることで、他の指向性のビームパターンb_d(f,θ)［d=2〜］を得ることもできる。

Ｓ２０６では、Ｓ２０５で算出した各指向性のビームパターンb_d(f,θ)［d=1〜D(f)］を合成することで、式（２）のように合成ビームパターンb_sum(f,θ)を算出する。

ここで、現在の周波数で形成される指向性に対して指向方向数D(f)が不足していると、図３［D(f)=5の例］のように、指向方向３０１〜３０５にそれぞれメインローブを向けた各指向性のビームパターン３１１〜３１５の重なりが減る。この結果、各ビームパターンを合成した合成ビームパターン３１６において、各指向方向３０１〜３０５の間で凹みが生じるため、音源間の音量バランスが崩れ、全方位の雰囲気音も方向ごとに音量感が変わってしまう。

そこでＳ２０７では、Ｓ２０６で算出した合成ビームパターンb_sum(f,θ)の凹み量の目安として標準偏差σ_bsum(f)を算出し、その値が閾値以下であるか否かを判定する。この閾値をδ₁とする。算出された標準偏差σ_bsum(f)が閾値δ₁以下でなければ、指向方向数D(f)が不足しているとして処理はＳ２０８へ進み、δ₁以下であれば、処理はＳ２０９へ進む。なお、標準偏差σ_bsum(f)は例えばｄＢ表現のb_sum(f,θ)から算出するものとする。なお、b_sum(f,θ)の最大値と最小値の差（図３の例では双方向矢印３１７）を凹み量の目安とし、その値を閾値δ₂と比較するようにしてもよい。このとき、b_sum(f,θ)は各指向方向で最大値をとり、隣接する指向方向の真ん中で最小値をとる。

Ｓ２０８へ進んだ場合は、指向方向数D(f)をD(f)←D(f)+1のようにインクリメントし、Ｓ２０３へ戻る。

Ｓ２０９へ進んだ場合は、指向方向数が適切な範囲に入ったとして、このときの指向方向数D(f)を現周波数の指向方向数の下限値である下限指向方向数D_min(f)と決定する。

現在の周波数で形成される指向性に対して指向方向数D(f)が適切となると、図４［D(f)=9の例］のように、合成ビームパターン３３４の凹みが消え略円形となる。

次に、現在の周波数で形成される指向性に対して指向方向数D(f)が過剰となると、図５［D(f)=17の例］のように、各指向性のビームパターンの重なりが増えるため、音源の方向感が不明瞭になり、音量も過多になる傾向がある。ただし、指向方向数が過剰な場合については、指向方向数が不足の場合のような合成ビームパターンの乱れは生じず、図５の合成ビームパターン３６６のように略円形となるため、別の評価法を考える必要がある。ただし、ビームパターンの形状（面積）は描画における表示範囲の設定（図３の場合−３０ｄＢから＋１０ｄＢ）に依存するため、評価指標として各ビームパターンのオーバーラップ部分の面積比などは適さない。

そこで、所定の方向における各ビームパターンの値の比を評価指標に用いることを考える。式（３）のように、各方向でビームパターンの値が最大となる指向性のインデックスをd_max(f,θ)とする。

そして、各方向で最大のビームパターンの値をb_dmax(f,θ)とすると、各方向におけるビームパターンの最大値とそれ以外の値との比r(f,θ)は、例えば式（４）のように表される。

ここで、図４のように指向方向数が適切な場合は、例えば指向方向３２１に音源があるとすると、この指向方向θ₁(f)=0°におけるr(f,θ₁)は、例えば８ｄＢといった正の値をとる。すなわち、指向方向３２１にメインローブを向けたビームパターン３３１が捉える音のエネルギー３４１が、指向方向３２２〜３２３にメインローブを向けたビームパターン３３２〜３３３が捉える音のエネルギー３４２〜３４３の和よりも大きい。つまり、ある方向に音源がある場合に、その方向にメインローブを向けた指向性が捉える音のエネルギーが、他の方向にメインローブを向けた指向性が捉える音のエネルギーの和より大きいため、適切な状態であるといえる。

一方、図５のように指向方向数が過剰な場合は、例えば指向方向３５１に音源があるとすると、この指向方向θ₁(f)=0°におけるr(f,θ₁)は、例えば０ｄＢ未満の小さな値をとる。すなわち、指向方向３５１にメインローブを向けたビームパターン３６１が捉える音のエネルギー３７１より、指向方向３５２〜３５５にメインローブを向けたビームパターン３６２〜３６５が捉える音のエネルギー３７２〜３７５の和の方が大きい。つまり、ある方向に音源がある場合に、その方向にメインローブを向けた指向性が捉える音のエネルギーより、他の方向にメインローブを向けた指向性が捉えるエネルギーの和の方が大きいため、不適切な状態であるといえる。

以上を踏まえ、Ｓ２１０では、指向方向θ_d(f)におけるビームパターンの最大値とそれ以外の値との比r(f,θ_d(f))を算出し、その値が閾値以上であるか否かを判定する。ここではその閾値をδ₃とする。算出された比の値が閾値δ₃（例えば０ｄＢ）以上であれば、指向方向数D(f)はまだ適切な範囲内であるとして処理はＳ２０８へ進み、閾値δ₃未満であれば処理はＳ２１１へ進む。なお、指向方向θ_d(f)以外の方向におけるr(f,θ)を閾値δ₄と比較するようにしてもよいが、r(f,θ)は指向方向θ_d(f)で最大となるため、本実施形態では、例えば、δ₄＜δ₃とする。

なお、各指向性のビームパターンの重なりが増えると、図５のように合成ビームパターン３６６の値が大きくなるため、音量も過多になる傾向がある。そこで、合成ビームパターンの最大値b_sum(f,θ_d(f))と、各ビームパターンの最大値b_d(f,θ_d(f))［正規化されていれば０ｄＢ］との差（図５の例では双方向矢印３６７）を、閾値δ₅と比較するようにしてもよい。すなわち、b_sum(f,θ_d(f))-b_d(f,θ_d(f))がδ₅以下であれば、指向方向数D(f)はまだ適切な範囲内であるとしてＳ２０８へ、δ₅より大きければＳ２１１へ進むようにしてもよい。

Ｓ２０８へ進んだ場合は、指向方向数D(f)をD(f)←D(f)+1のようにインクリメントし、Ｓ２０３へ戻る。ただし、指向方向数の下限値D_min(f)は既に決定しているため、以降はＳ２０７とＳ２０９をスキップするものとする。

Ｓ２１１へ進んだ場合は、指向方向数が適切な範囲から外れたとして、このときの指向方向数D(f)から１を引いたD(f)-1を現在の周波数の指向方向数の上限値である上限指向方向数D_max(f)と決定する。

一般に、低周波数域では形成できる指向性のビームパターンが鈍くなり、逆に高周波数域では鋭くなる傾向がある。このため、上記Ｓ２０７、２１０のように周波数ごとにビームパターンを評価すると、図６（ａ）に模式的に示すように、低周波数域より高周波数域で下限指向方向数D_min(f)および上限指向方向数D_max(f)が大きくなる。そこで、周波数ごとの指向方向数を例えば次式を用いてD(f)=D_mean(f)のように決定する。

このようにすれば、低周波数域より高周波数域の指向方向数が多くなり、全ての周波数で指向方向数が適切な範囲内となるため、音源の方向感が明瞭となり、各方向の音量バランスも均一となる。

ここでさらに、人の音源方向に対する周波数ごとの感度特性を考慮して、各周波数の指向方向数D(f)をD_min(f)〜D_max(f)の範囲内で適切に決定することを考える。

図７（ａ）は、ＨＲＴＦから算出した周波数ごとの両耳間レベル差（ＩＬＤ）について、音源方向が０°から１８０°の場合まで１°ごとに、計１８１本のグラフで描画したものである。なお、音源方向が０°から−１８０°の場合のグラフは、概ね図７（ａ）を符号反転（上下反転）したものとなる。また、図７（ａ）のグラフの周波数ごとの標準偏差σ_ILD(f)を図７（ｂ）に示している。

ここで、人の音源方向に対する感度（方向感度）は、ＨＲＴＦの両耳間レベル差の方向に対する変化量に対応する。例えば、σ_ILD(f)が大きい周波数、すなわち方向によるＩＬＤの変化が大きい周波数は、人の音源方向に対する感度（方向感度）が高い周波数である。そこで、点線５０１のようにσ_ILD(f)が大きい周波数では、人が方向ごとの差が分かりやすいと考えられるため、指向方向数をD_max(f)寄りの値とする。一方、図７（ｂ）の点線５０２のようにσ_ILD(f)が小さい周波数では、人が方向ごとの差が分かりにくいと考えられるため、指向方向数をD_min(f)寄りの値とする。

具体的には、例えば図７（ｂ）のようにσ_ILD(f)が概ね０〜１５ｄＢの値をとる場合は、１５で割ることで正規化し、０〜１の値をとるＨＲＴＦの周波数別の方向感度s(f)と定義する。そして、例えば式（６）を用いることで、人の周波数別の方向感度を考慮した指向方向数を、D(f)=D_sens(f)のようにD_min(f)〜D_max(f)の範囲内で決定することができる。

なお、音源方向０°〜１８０°のＨＲＴＦからs(f)を算出しているため、これは全方位に対する平均的な方向感度であると解釈できる。これは特に、後述するヘッドホン再生信号の生成において、ユーザの頭部運動に応じたＨＲＴＦの切り替え（ヘッドトラッキング処理）を行う場合は、全方位のＨＲＴＦが使用され得るため妥当であるといえる。

なお、人が音を知覚しにくい例えば１５ｋＨｚ以上においては、ＨＲＴＦから算出したs(f)に適当な減衰カーブを適用することで、D_sens(f)を小さくするようにしてもよい。図６（ａ）にD_sens(f)の例を曲線で模式的に示す。なお、指向方向数に対応する図６（ａ）の４本のグラフは、整数値をとるため実際には階段状のグラフとなる。

以上を踏まえ、Ｓ２１２では、D_min(f)〜D_max(f)の範囲内で各周波数の指向方向数をD(f)=D_mean(f)［式（５）］やD(f)=D_sens(f)［式（６）］のように決定する。なお、式（６）のs(f)は、あらかじめＨＲＴＦから算出して記憶部１０２が保持しているものを取得して用いればよい。

Ｓ２１３では、Ｓ２１２で決定した指向方向数D(f)を用いて、Ｓ２０３と同様に各指向性の指向方向θ_d(f)=(d-1)×360°／D(f)［d=1〜D(f)］を算出する。なお、１８０°を超える指向方向についてはθ_d(f)←θ_d(f)-360°のように表現するものとする。

Ｓ２１４〜Ｓ２１６は、Ｓ２１３で指向方向を算出した指向性ごとの処理であり、指向性ループの中で行う。

Ｓ２１４では、Ｓ２０４と同様に、現在の指向性ループで対象としている指向性を形成するためのフィルタ係数を取得する。すなわち、記憶部１０２があらかじめ保持している指向性形成フィルタのフィルタ係数から、指向方向θ_d(f)に対応するw_d(f)を取得する。

Ｓ２１５では、Ｓ２０１で取得したMチャネル音響信号のフーリエ係数z(f)に、Ｓ２１４で取得した指向性形成フィルタのフィルタ係数w_d(f)を適用する。これにより、現在の指向性ループに対応する指向方向θ_d(f)の方向音Y_d(f)を式（７）のように生成する。ここで、Y_d(f)は周波数領域のデータ（フーリエ係数）である。

Ｓ２１６では、Ｓ２１５で取得した指向方向θ_d(f)の方向音のフーリエ係数Y_d(f)に、指向方向θ_d(f)と同じ方向の左右耳のＨＲＴＦ［H_L(f,θ_d(f)),H_R(f,θ_d(f))］を適用する。そして、式（８）のように左右それぞれのヘッドホン再生信号X_L(f),X_R(f)に加算して行く。ここで、X_L(f),X_R(f)は周波数領域のデータ（フーリエ係数）である。なお、ＨＲＴＦはあらかじめ記憶部１０２が保持しているものを取得して用いればよい。

指向性ループの中で本ステップの処理を行うことで、各指向方向の方向音を再生する仮想スピーカをユーザの周囲に順次配置していくことになる。さらに周波数ループの中で本ステップの処理を行うことで、Ｓ２１２で決定した指向方向数D(f)に対応して、仮想スピーカの数も周波数ごとに制御することになる。すなわち、低周波数域より高周波数域の仮想スピーカ数が多くなり、全ての周波数で仮想スピーカ数が適切な範囲内となるため、音源の方向感が明瞭となり、各方向の音量バランスも均一となる。

なお、周波数ごとに指向方向数D(f)を適切に制御することで、各周波数の合成ビームパターンのレベルは概ね揃うようになるが、より厳密に、全周波数で合成ビームパターンのレベルを一定値にするような周波数ごとのゲイン調整を行ってもよい。

なお、ユーザの頭部運動を検出可能なセンサを、例えばヘッドホン１０５が備えていてもよい。そして、例えば音響信号の所定の時間フレーム長（音響フレーム）ごとに、頭部運動に応じて使用するＨＲＴＦを切り替えて行くヘッドトラッキング処理を行ってもよい。

Ｓ２１７では、Ｓ２１６で生成したヘッドホン再生信号のフーリエ係数X_L(f),X_R(f)をそれぞれ逆フーリエ変換することで、時間波形であるヘッドホン再生信号x_L(t),x_R(t)を取得する。

Ｓ２１８では、音響信号出力部１０４が、Ｓ２１７で取得したヘッドホン再生信号x_L(t),x_R(t)にＤＡ変換および増幅を施し、ヘッドホン１０５から再生する。

なお、例えばＳ２０２〜Ｓ２１３の周波数ごとの各指向方向の決定までは、あらかじめ処理して結果を記憶部１０２に保持しておいてもよい。そして、Ｓ２０１の音響信号の取得に合わせて、例えば音響フレームごとにＳ２１４〜Ｓ２１８の音響レンダリング・再生処理のみリアルタイムに行うようにしてもよい。

なお、例えばシステム制御部１０１と相互に結ばれた不図示のＧＵＩ部を介して、指向方向数D(f)を例えば低域・中域・高域ごとにユーザが制御できるようにしてもよい。

なお、第１実施形態では、Ｓ２１５で指向方向θ_d(f)の方向音のみを生成し、Ｓ２１６で指向方向θ_d(f)と同じ方向に、生成した方向音と同じ数の仮想スピーカを配置していた。しかし、Ｓ２１５で指向方向θ_d(f)の方向音だけでなく、例えば１°間隔で水平全方位にメインローブを向けた３６０°の方向音を生成しておいてもよい。そして、Ｓ２１６でそのうち指向方向θ_d(f)の方向音のみを選択的に用いて、指向方向θ_d(f)と同じ方向のみに仮想スピーカを配置するようにしてもよい。

＜第２実施形態＞
上記した第１実施形態では、（無指向性）マイクロホンアレイでの指向性形成フィルタリングによる方向音生成と、ヘッドホンでの立体音響再生の組み合わせで、周波数ごとに指向方向数および仮想スピーカ数を制御した。第２実施形態では、指向性マイクロホンアレイによる方向音取得と、周囲スピーカ再生の組み合わせにおいて、周波数ごとに指向方向数および使用スピーカ数を制御する。

図８は、本実施形態に係る信号処理装置６００の構成を示すブロック図である。信号処理装置６００は、各構成要素を統括的に制御するシステム制御部１０１、各種データを記憶しておく記憶部１０２、信号の解析処理を行う信号解析処理部１０３を備える。また、信号処理装置６００は、ユーザの周囲に方向音の音像である方向音像を生成する生成手段としての再生系を有する。本実施形態において、再生系は例えば、音響信号出力部６０４、ユーザの周囲（水平周囲）に配置された複数チャネル（例えば１２チャネル）を構成する複数のスピーカ６１１〜６２２を含む。記憶部１０２は、スピーカ６１１〜６２２の配置数・方向に合わせて１２本の指向性マイクロホンを放射状に並べた、１２チャネルの指向性マイクロホンアレイ６０５で音響信号入力部１０７を介して録音された１２チャネル音響信号を保持している。なお、本発明は、特定のスピーカの数に限定されるものではない。なお、録音に用いた指向性マイクロホンの配置数・方向に合わせて、周囲スピーカを配置するようにしてもよい。

信号解析処理部１０３は、後述する信号解析処理によって、スピーカ６１１〜６２２から再生するスピーカ再生信号を生成する。音響信号出力部１０４は、生成されたスピーカ再生信号にＤＡ変換および増幅を施し、スピーカ６１１〜６２２から再生する。

以下、本実施形態の信号解析処理について、図９のフローチャートに沿って説明する。なお、図９のフローチャートに対応するプログラムは例えば記憶部１０２に保持され、特に別記しない限り信号解析処理部１０３によって実行されるものとする。

Ｓ７０１では、記憶部１０２があらかじめ保持しているスピーカ６１１〜６２２の配置と再生可能帯域を取得し、そこから各周波数で全方位再生に使用可能なスピーカ数の組み合わせを決定して、後のステップで選択可能な指向方向数D_sp(f)とする。なお、周囲スピーカの配置や再生可能帯域は、ユーザの位置であるリスニングポイントに備えたマイクロホンで音響測定を行い算出してもよい。

選択可能な指向方向数D_sp(f)は、複数のスピーカのそれぞれの再生可能帯域に応じて決定されうる。図８において、大型スピーカ６１１，６１４，６１７，６２０は低域から高域まで、中型スピーカ６１３，６１５，６１９，６２１は中域から高域まで、小型スピーカ６１２，６１６，６１８，６２２は高域のみが再生可能とする。これより、均等配置が可能で全方位再生に使用可能な周波数ごとのスピーカ数の組み合わせ、すなわち後のステップで選択可能な指向方向数D_sp(f)は、以下のようになる。
D_sp(f)={1,2,4}［f＜f_M］、
D_sp(f)={1,2,3,4,6}［f_M≦f＜f_H］、
D_sp(f)={1,2,3,4,6,12}［f_H≦f］
ここで、f_Mは低域と中域の境界周波数、f_Hは中域と高域の境界周波数とする。

Ｓ７０２の処理は、第１実施形態のＳ２０１と同様であるため説明を省略する。

Ｓ７０３〜Ｓ７１５は周波数ごとの処理であり、周波数ループの中で行う。

Ｓ７０３〜Ｓ７０４の処理は、第１実施形態のＳ２０２〜Ｓ２０３と同じであるため説明を省略する。

Ｓ７０５は、Ｓ７０４で指向方向を算出した指向性ごとの処理であり、指向性ループの中で行う。

Ｓ７０５では、現在の指向性ループで対象としている指向性のビームパターンを取得する。すなわち、記憶部１０２があらかじめ保持している、指向性マイクロホンを指向方向θ_d(f)に向けた場合のビームパターンb_d(f,θ)を取得する。なお、指向性マイクロホンのビームパターンは測定やシミュレーション等により得られる。なお、指向性マイクロホンの種別によってビームパターンは異なる。そのため、録音に用いた指向性マイクロホンの種別ＩＤを音響信号の付加情報として録音時に記録しておき、その指向性マイクロホンに対応するビームパターンを本ステップで取得するようにしてもよい。なお、指向性マイクロホンを正面０°に向けた場合のビームパターンb₁(f,θ)を回転させることで、指向性マイクロホンを他の指向方向θ_d(f)に向けた場合のビームパターンb_d(f,θ)［d=2〜］を得ることができる。

Ｓ７０６〜Ｓ７１１の処理は、第１実施形態のＳ２０６〜Ｓ２１１と同じであるため説明を省略する。

Ｓ７１２では、第１実施形態のＳ２１２と同様に、各周波数の指向方向数をD_mean(f)［式（５）］やD_sens(f)［式（６）］のように決定する。ここで決定した指向方向数を「所定の指向方向数」という。

Ｓ７１３では、Ｓ７１２で決定した所定の指向方向数との差が小さくなるように（例えば最小となるように）、Ｓ７０１で決定した選択可能な指向方向数D_sp(f)の中から、各周波数の指向方向数D(f)を決定する。例えば所定の指向方向数がD_mean(f)の場合、図６（ｂ）の太横線で示すように、D(f)=4［f＜f_M］、D(f)=6［f_M≦f＜f_D］、D(f)=12［f_D≦f］となる。ここで、f_DはD_mean=(6+12)/2=9となるような周波数である。また、所定の指向方向数がD_sens(f)の場合は、指向方向数が同じ値となる周波数は必ずしも連続せず、飛び飛びになり得る。

Ｓ７１４の処理は、第１実施形態のＳ２１３と同じであるため説明を省略する。

Ｓ７１５では、Ｓ７０２で取得した音響信号から指向方向θ_d(f)の方向音を取得して、対応するスピーカ再生信号に割り当てる。本実施形態では音響信号が指向性マイクロホンアレイで録音されており、指向方向θ_d(f)に対応するチャネルの音響信号がそのまま方向音となる。そのため、それを対応するチャネルのスピーカ再生信号に割り当てればよい。

１２チャネル音響信号のフーリエ係数（ベクトル）z(f)について、そのm番目の要素をz_m(f)［m=1〜12］とする。また、１２チャネルのスピーカ６１１〜６２２について、各スピーカ再生信号のフーリエ係数をX_s(f)［s=1〜12］とする。ここで、指向方向数D(f)=4で、各指向方向で次のようになる周波数を考える。
θ₁(f)=0°,
θ₂(f)=90°,
θ₃(f)=180°,
θ₄(f)=-90°
この場合は、
X_i(f)=z_i(f)［i=1,4,7,10］、
X_j(f)=0［j=2,3,5,6,8,9,11,12］
となる。

また、指向方向数D(f)=6で、各指向方向が次のようになる周波数を考える。
θ₁(f)=0°,
θ₂(f)=60°,
θ₃(f)=120°,
θ₄(f)=180°,
θ₅(f)=-120°,
θ₆(f)=-60°
この場合は、
X_i(f)=z_i(f)［i=1,3,5,7,9,11］、
X_j(f)=0［j=2,4,6,8,10,12］
となる。

また、指向方向数D(f)=12で、各指向方向が次のようになる周波数を考える。
θ₁(f)=0°,
θ₂(f)=30°,
θ₃(f)=60°,
θ₄(f)=90°,
θ₅(f)=120°,
θ₆(f)=150°,
θ₇(f)=180°,
θ₈(f)=-150°,
θ₉(f)=-120°,
θ₁₀(f)=-90°,
θ₁₁(f)=-60°,
θ₁₂(f)=-30°
この場合は、
X_i(f)=z_i(f)［i=1〜12］
となる。

図６（ｂ）の太横線で示すように、D(f)=4［f＜fM］、D(f)=6［f_M≦f＜f_D］、D(f)=12［f_D≦f］の場合、周波数f_M未満の方向音は、４つのスピーカ６１１，６１４，６１７，６２０から再生される。また、周波数f_M以上f_D未満の方向音は、６つのスピーカ６１１，６１３，６１５，６１７，６１９，６２１から再生される。また、周波数f_D以上の方向音は、全１２のスピーカ６１１〜６２２から再生される。これは、高域ほど使用するスピーカの数が多くなる、新しいタイプのサラウンド構成である。

Ｓ７１６では、Ｓ７１５で生成したスピーカ再生信号のフーリエ係数X_s(f)をそれぞれ逆フーリエ変換することで、時間波形であるスピーカ再生信号x_s(t)［s=1〜12］を取得する。

Ｓ７１７では、音響信号出力部１０４が、Ｓ７１６で取得したスピーカ再生信号x_s(t)にＤ／Ａ変換および増幅を施し、スピーカ６１１〜６２２から再生する。

以上説明した実施形態によれば、周波数ごとに指向方向数を制御することで、音源の方向感が明瞭となり、各方向の音量バランスも均一となる。

なお、上記実施形態において記憶部１０２があらかじめ保持しているとした各種データは、システム制御部１０１と相互に結ばれた不図示のデータ入出力部を介して、外部から入力するようにしてもよい。

また、上記第１実施形態と第２実施形態を適宜組み合わせれば、以下のような実施形態が構成可能であり、これらの実施形態も本発明の範囲に含まれる。すなわち、（無指向性）マイクロホンアレイでの指向性形成フィルタリングによる方向音生成と、周囲スピーカ再生の組み合わせにおいて、周波数ごとに指向方向数および使用スピーカ数を制御する実施形態が構成可能である。また、指向性マイクロホンアレイによる方向音取得と、ヘッドホンでの立体音響再生の組み合わせにおいて、周波数ごとに指向方向数および仮想スピーカ数を制御する実施形態が構成可能である。

なお、信号処理装置１００が再生（ヘッドホン、スピーカ）の機能に加えて、録音（マイクロホンアレイ）や撮影（カメラ）・表示（ディスプレイ）の機能を備えていてもよい。このとき、撮影・録音系と表示・再生系がそれぞれ遠隔地で同期的に動作すれば、遠隔ライブシステムを実現することができる。

なお、上記実施形態では、水平全方位で音源の方向感が明瞭となり、音量バランスも均一となるようにしていたが、対象とする方向範囲を任意に設定してもよい。例えば、水平方向だけでなく、仰角方向も含めた全方位を対象方向範囲としてもよいし、水平前方半面や、撮影した映像信号の画角範囲などに限定してもよい。この場合、例えば合成ビームパターンの凹み量の目安である標準偏差は、水平全方位ではなく対象方向範囲の合成ビームパターンから算出する。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：信号処理装置、１０１：システム制御部、１０２：記憶部、１０３：信号解析処理部、１０４：音響信号出力部、１０５：ヘッドホン

Claims (16)

1. 複数の収音部で収音された音響信号から指向方向ごとの方向音を取得する取得手段と、
   前記取得手段により取得される方向音の周波数に応じて、前記取得手段により取得される方向音に対応する前記指向方向の数である指向方向数を制御する制御手段と、
   を有することを特徴とする信号処理装置。
2. 前記取得手段は、前記音響信号に前記指向方向に対応する指向性形成フィルタを適用することで前記方向音を取得することを特徴とする請求項１に記載の信号処理装置。
3. 前記複数の収音部は指向性マイクロホンであり、
   前記取得手段は、前記指向方向に対応するチャネルの前記音響信号を前記方向音として取得する
   ことを特徴とする請求項１に記載の信号処理装置。
4. 前記制御手段は、低周波数域より高周波数域の指向方向数を多くすることを特徴とする請求項１乃至３のいずれか１項に記載の信号処理装置。
5. 前記制御手段は、各指向方向の方向音を取得する各指向性のビームパターンを合成した合成ビームパターンの凹み量が閾値以下となるように、前記指向方向数の下限値である下限指向方向数を決定することを特徴とする請求項１乃至４のいずれか１項に記載の信号処理装置。
6. 前記制御手段は、各指向方向の方向音を取得する各指向性のビームパターンの重なりが過多とならないように、前記指向方向数の上限値である上限指向方向数を決定することを特徴とする請求項１乃至５のいずれか１項に記載の信号処理装置。
7. 前記上限指向方向数は、各指向性のビームパターンの指向方向の値について、最大値とそれ以外との比が閾値以上となるように決定することを特徴とする請求項６に記載の信号処理装置。
8. ユーザの周囲に前記方向音の音像である方向音像を生成する生成手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の信号処理装置。
9. 前記生成手段は、各方向音に各指向方向に対応する方向の頭部伝達関数を適用して、ユーザの両耳近傍で再生することを特徴とする請求項８に記載の信号処理装置。
10. 前記生成手段は、ユーザの周囲に配置される複数のスピーカを含むことを特徴とする請求項８に記載の信号処理装置。
11. 前記制御手段は、頭部伝達関数の周波数別の方向感度に応じて前記指向方向数を決定することを特徴とする請求項８乃至１０のいずれか１項に記載の信号処理装置。
12. 前記方向感度は、前記頭部伝達関数の両耳間レベル差の方向に対する変化量であることを特徴とする請求項１１に記載の信号処理装置。
13. 前記制御手段は、選択可能な指向方向数の中から、所定の指向方向数との差が小さくなるように指向方向数を決定することを特徴とする請求項１０に記載の信号処理装置。
14. 前記選択可能な指向方向数は、前記複数のスピーカのそれぞれの再生可能帯域に応じて決定されることを特徴とする請求項１３に記載の信号処理装置。
15. 複数の収音部で収音された音響信号から指向方向ごとの方向音を取得する際に、取得される方向音の周波数に応じて、前記指向方向の数を制御することを特徴とする信号処理方法。
16. コンピュータを請求項１乃至１４のいずれか１項に記載の信号処理装置が有する各手段として機能させるためのプログラム。