JP2014143569A - 収音装置及び再生装置 - Google Patents
収音装置及び再生装置 Download PDFInfo
- Publication number
- JP2014143569A JP2014143569A JP2013010803A JP2013010803A JP2014143569A JP 2014143569 A JP2014143569 A JP 2014143569A JP 2013010803 A JP2013010803 A JP 2013010803A JP 2013010803 A JP2013010803 A JP 2013010803A JP 2014143569 A JP2014143569 A JP 2014143569A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- microphone
- speaker
- control point
- transfer characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
【課題】所定の指向性能に対する装置規模が従来技術よりも小さい音響装置を提供する。つまり、従来技術の音響装置と同じ装置規模であれば、より指向性能の高い音響装置を、従来技術の音響装置と同じ指向性能であれば、より装置規模の小さい音響装置を提供する。
【解決手段】収音装置は、収音装置の外部にある制御点からの伝達特性が変調されづらくなるように配置された少なくとも一つの第一マイクロホンと、制御点からの伝達特性が変調されやすくなるように配置された少なくとも一つの第二マイクロホンとを含む。
【選択図】図１
【解決手段】収音装置は、収音装置の外部にある制御点からの伝達特性が変調されづらくなるように配置された少なくとも一つの第一マイクロホンと、制御点からの伝達特性が変調されやすくなるように配置された少なくとも一つの第二マイクロホンとを含む。
【選択図】図１
Description
本発明は、複数のマイクロホンやスピーカで構成されたアレー装置を用いたビームフォーミング技術に関する。特に、マイクロホンと音源との間の伝達特性、スピーカと再生点との間の伝達特性の最適な性質を明らかにした拡散センシングに基づくビームフォーミング技術に関する。
非特許文献１及び２が、マイクロホンアレーを用いた拡散センシングに基づく音声強調技術の従来技術として知られている。非特許文献１及び２では、反射構造体により擬似的な拡散音場を生成し、その中にマイクロホンアレーを設置して、拡散センシングを実現している。
K. Niwa, S. Sakauchi, K. Furuya, M. Okamoto, and Y. Haneda, "Diffused sensing for sharp directivity microphone array", ICASSP 2012, 2012, pp. 225 - 228
K. Niwa, Y. Hioka, K. Furuya, and Y. Haneda, "Telescopic microphone array using reflector for segregating target source from noises in same direction", ICASSP 2012, 2012, pp. 5457-5460
しかしながら、従来技術において、反射構造体をマイクロホンアレーの近傍に設置することで疑似的な拡散音場を生成するためには、装置規模が大きくなる傾向がある。何故ならば、反射構造体の容積と残響時間の相関性は高くて、残響時間が長くなるほど、拡散音場に近づくためである。例えば、非特許文献２では、直径1メートルの球に収まる程度の大きさの反射構造体を構築している。ところが、適用するアプリケーションによって、装置規模はあらかじめ限定されることが多い。容積が限定されてしまうと、伝達特性の相関性が高くなり、指向性能が劣化してしまうことが課題である。
同様にスピーカアレーを用いた拡散センシングに基づく再生技術が考えられる（参考文献１参照）。
［参考文献１］特開２０１２−１４７４１３号公報
［参考文献１］特開２０１２−１４７４１３号公報
しかし、この場合にも、反射構造体をスピーカアレーの近傍に設置することで疑似的な拡散音場を生成する必要があり、同様の課題がある。
本発明は、所定の指向性能に対する装置規模が従来技術よりも小さい音響装置を提供することを目的とする。つまり、従来技術の音響装置と同じ装置規模であれば、より指向性能の高い音響装置を、従来技術の音響装置と同じ指向性能であれば、より装置規模の小さい音響装置を提供することを目的とする。なお、この明細書では、音響装置とは、音を収音する収音装置と音を再生する再生装置とを含み、「音」は、人の発する声に限定されるものではなく、人や動物の声はもとより楽音や環境雑音など音一般を指す。
上記の課題を解決するために、本発明の第一の態様によれば、収音装置は、収音装置の外部にある制御点からの伝達特性が変調されづらくなるように配置された少なくとも一つの第一マイクロホンと、制御点からの伝達特性が変調されやすくなるように配置された少なくとも一つの第二マイクロホンとを含む。
上記の課題を解決するために、本発明の他の態様によれば、収音装置は、少なくとも第一マイクロホンと第二マイクロホンとを含む。当該収音装置の外部にある制御点から第一マイクロホンへの伝達特性に変調を与えず、制御点から第二マイクロホンへの伝達特性に変調を与えるように配置された反射部をさらに含む。
上記の課題を解決するために、本発明の他の態様によれば、収音装置は、音を反射可能な素材からなり、開口部を有し、開口部以外は三次元空間を形成する反射部と、三次元空間の外部に配置される第一マイクロホンと、三次元空間の内部に配置される第二マイクロホンとを含む。
上記の課題を解決するために、本発明の他の態様によれば、再生装置は、再生装置の外部にある制御点への伝達特性が変調されづらくなるように配置された少なくとも一つの第一スピーカと、制御点への伝達特性が変調されやすくなるように配置された少なくとも一つの第二スピーカとを含む。
上記の課題を解決するために、本発明の他の態様によれば、再生装置は、少なくとも第一スピーカと第二スピーカとを含む。第一スピーカから当該再生装置の外部にある制御点への伝達特性に変調を与えず、第二スピーカから制御点への伝達特性に変調を与えるように配置された反射部をさらに含む。
上記の課題を解決するために、本発明の他の態様によれば、再生装置は、音を反射可能な素材からなり、開口部を有し、開口部以外は三次元空間を形成する反射部と、三次元空間の外部に配置される第一スピーカと、三次元空間の内部に配置される第二スピーカとを含む。
本発明によれば、所定の指向性能に対する装置規模を従来技術よりも小さくできるという効果を奏する。
以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「→」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
＜第一実施形態＞
本実施形態は、拡散センシングを基にして、伝達特性を物理的に変調する収音装置に係るものである。
本実施形態は、拡散センシングを基にして、伝達特性を物理的に変調する収音装置に係るものである。
まず、非特許文献１で説明されているこれまでの拡散センシングに基づく収音処理について説明する。
[観測信号のモデル化]
M(≧2)本のマイクロホンを用いて一つのターゲット音とK(≧1)個の雑音を受音する状況を考える。多くの雑音が存在する中で任意の位置にあるターゲット音を強調する指向制御を目的にする。目的は、K個の雑音源を抑圧し、ターゲット音を強調することで達成される。m(m=1,2,…,M)番目のマイクロホンとターゲット音、k(k=1,2,…,K)番目の雑音との間のインパルス応答をそれぞれam(i)、bk,m(i)とする。ただし、インパルス応答長をLとし、i=0,1,…,L-1とする。なお、インパルス応答長Lは、装置の規模や構造、設置された部屋の状況によって定まる残響時間により、実験的に定めればよい。ターゲット音、k番目の雑音の音源信号をそれぞれs(t)、nk(t)とするとき、m番目のマイクロホンで観測した観測信号xm(t)は、次式でモデル化される。
M(≧2)本のマイクロホンを用いて一つのターゲット音とK(≧1)個の雑音を受音する状況を考える。多くの雑音が存在する中で任意の位置にあるターゲット音を強調する指向制御を目的にする。目的は、K個の雑音源を抑圧し、ターゲット音を強調することで達成される。m(m=1,2,…,M)番目のマイクロホンとターゲット音、k(k=1,2,…,K)番目の雑音との間のインパルス応答をそれぞれam(i)、bk,m(i)とする。ただし、インパルス応答長をLとし、i=0,1,…,L-1とする。なお、インパルス応答長Lは、装置の規模や構造、設置された部屋の状況によって定まる残響時間により、実験的に定めればよい。ターゲット音、k番目の雑音の音源信号をそれぞれs(t)、nk(t)とするとき、m番目のマイクロホンで観測した観測信号xm(t)は、次式でモデル化される。
ここで、tは時間のインデックスを表わす。
xm(t)を短時間フーリエ変換することで、式(1)の畳み込み混合は、次式のような周波数領域における瞬時混合として近似される。
ここで、ω、τはそれぞれ周波数、フレームのインデックスを表わす。例えば、48kHzでサンプリングを行い、タップ数を2048とする。また、Xm(ω,τ)、S(ω,τ)、Nk(ω,τ)は、それぞれ観測信号xm(t)、ターゲット音の音源信号s(t)、k番目の雑音の音源信号nk(t)の時間周波数表現を表わす。am(ω)、bk,m(ω)は、それぞれターゲット音、k番目の雑音とm番目のマイクロホンとの間の周波数特性を表し、以後これらを伝達特性と呼ぶ。式(2)を行列形式で表記すると、次式のようになる。
であり、Tは転置を表わす。
[ビームフォーミング]
ビームフォーミング後の出力信号y(t)は、次式のように観測信号xm(t)と、ターゲット音を強調するように設計されたフィルタwm(t)とを畳み込むことで得られる。
ビームフォーミング後の出力信号y(t)は、次式のように観測信号xm(t)と、ターゲット音を強調するように設計されたフィルタwm(t)とを畳み込むことで得られる。
ここで、Jはフィルタ長を表わし、インパルス応答長Lと同程度とすればよい。y(t)の時間周波数表現であるY(ω,τ)は、次式で近似的に求められる。
ここで、Hは共役転置を表し、W→m(ω)の複素共役がwm(j)の周波数応答に対応する。
出力信号Y(ω,τ)に含まれる雑音成分をYN(ω,τ)と書くとき、次式のパワーpN(ω)は雑音成分のパワーとして定義される。
ここで、ETは時間的な期待値演算を表わす。音源信号が互いに無相関であると仮定すると、パワーpN(ω)は伝達特性b→k(ω)とフィルタW→(ω)だけで計算できる。
アレー信号処理の分野では、pN(ω)を最小化するために、様々なフィルタ設計法が説明されてきた。代表例として、遅延和法と最尤法を説明する(参考文献２参照)。
[参考文献２]浅野太,「音のアレイ信号処理-音源の低位・追跡と分離」,コロナ社,2011年
[参考文献２]浅野太,「音のアレイ信号処理-音源の低位・追跡と分離」,コロナ社,2011年
遅延和法において、フィルタW→DSは、次式により、ターゲット音の直接音を強調するように設計される。
は、ターゲット音の直接音のアレイ・マニフォールド・ベクトルを表わす。要素hm(ω)は、ターゲット音からm番目のマイクロホンまでの直接音の経路の伝達係数を表し、ターゲット音とm番目のマイクロホン間の距離をdm、音速をc、虚数単位をjとすると、例えば次式により計算できる。
また、最尤法において、フィルタW→MLは、次式により、ターゲット音の直接音を強調し、パワーpN(ω)を最小化するように設計される。
ここで、R(ω)は雑音の空間相関行列を表わす。例えば、音源信号間が無相関であると仮定すると、雑音の空間相関行列R(ω)は次式のように、伝達特性b→k(ω)のみを用いて計算される。
参考文献２に載っているような古典的なアレー信号処理において、マイクロホン間の間隔をどのようにアレンジするのかといったことが考えられてきた。しかし、特定の周波数を除いてマイクロホン間の相関が高くなることが多かった。代表的な問題として知られているのは以下の二つである。一つ目は波長の長い低周波帯域では、伝達特性間の相関が高くなりやすいので、狭指向制御しづらいことである。二つ目は波長の短い高周波帯域では、波長の半波長以下の間隔でマイクロホンを並べない限り、特定のターゲット音以外の音を強調してしまう空間エリアジングが生じることである。以上の2点から、広帯域に渡ってパワーpN(ω)を小さくすることは困難とされてきた。
[拡散センシング]
非特許文献１では、広帯域に渡ってパワーpN(ω)を小さくするために、伝達特性の性質がどういう性質であるべきかが検討され、拡散センシングという基礎理論が纏められている。
非特許文献１では、広帯域に渡ってパワーpN(ω)を小さくするために、伝達特性の性質がどういう性質であるべきかが検討され、拡散センシングという基礎理論が纏められている。
拡散センシングのコンセプトは、“伝達特性の物理的変調”により、次式のように広帯域に渡って伝達特性を無相関化させることにある。
ここで、伝達特性の物理的変調とは、伝達特性の性質そのものを変えるためのあらゆる物理的手段のことを指し、例えばマイクロホンの近傍に設置された反射構造体が挙げられる。非特許文献１で提案されている方式は、多数回反射を繰り返し、等方位的に反射音が到来する音場(拡散音場)を生成し、その中にマイクロホンアレーを設置する方式である。例えば、マイクロホンアレーを包囲するような形状の反射構造体を作り、一面だけ開けておけば、反射構造体内に到来した音が自ずと反射を繰り返し、疑似的な拡散音場を生成することになる。
何故、拡散音場にマイクロホンアレーを設置すると、伝達特性間が無相関化されるのかを簡単に説明する。伝達特性間の相関をγ(ω)とすると、拡散音場における相関γ(ω)は次式により計算されることが知られている。
ここで、ES,p→はそれぞれ空間的な期待値演算、マイクロホン間の位置ベクトルを表わす。マイクロホン間の距離||p→||が十分に広いとすると、拡散音場における伝達特性間の相関γ(ω)の期待値は0になる。
だから、従来技術において反射構造体により疑似的な拡散音場を物理的に生成し、その中にマイクロホンアレーを設置してきた（非特許文献１、２参照）。
また、パワーpN(ω)を小さくするために、事前のシミュレーションや測定により用意した伝達特性を用いたフィルタ設計方式を検討してきた。簡単に言えば、ターゲット音のみを強調するようにしてきたが、拡散センシングに基づく制御では、伝達特性そのものを強調するように設計される。
遅延和法をベースとする場合、次式のように、アレイ・マニフォールド・ベクトルh→(ω)をターゲット音の伝達特性a→(ω)に置き換えることで、フィルタW→DS1(ω)を設計できる。
この場合、a→(ω)をシミュレーションや実測により事前に用意する必要がある。
また、最尤法をベースとする場合、次式によりフィルタW→DS2(ω)を設計できる。
この場合も同様に、a→(ω)やR(ω)をシミュレーションや実測により事前に用意する必要がある。先に挙げたような手段を用いて、疑似的な拡散音場を生成し、音を収音する場合、伝達特性が自ずと無相関化されていることが期待されるので、パワーpN(ω)を広帯域に渡って小さくすることができた。
＜第一実施形態のポイント＞
しかし、従来技術では、前述の通り、装置規模が大きくなる傾向がある。
しかし、従来技術では、前述の通り、装置規模が大きくなる傾向がある。
そこで、本実施形態では、広帯域に渡って伝達特性を無相関化させるために、“伝達特性の物理的変調”として、反射構造体に加えて、マイクロホンの配置を変更する。反射構造体の内側だけでなく、外側にもマイクロホンを設置することで、反射構造体の容積が限定された条件下で伝達特性の相関を小さくできる。
本実施形態の技術は、拡散センシングを基にして、伝達特性を物理的に変調するための再生装置についても適用することができるため、図１を用いて本発明で定義する音響装置の条件を説明する。
[必須条件]
(1)反射構造体を含むこと
音を反射・回折する素材で形成されており、開口部を有する電気音響変換器１１２を包囲するような形状（言い換えると三次元空間を形成する形状）の反射構造体１９０があること。なお、この明細書において「電気音響変換器」とは、マイクホロンとスピーカとを含む概念である。音響装置を、収音装置として機能させる場合には電気音響変換器はマイクロホンからなり、再生装置として機能させる場合には電気音響変換器はスピーカからなる。
(1)反射構造体を含むこと
音を反射・回折する素材で形成されており、開口部を有する電気音響変換器１１２を包囲するような形状（言い換えると三次元空間を形成する形状）の反射構造体１９０があること。なお、この明細書において「電気音響変換器」とは、マイクホロンとスピーカとを含む概念である。音響装置を、収音装置として機能させる場合には電気音響変換器はマイクロホンからなり、再生装置として機能させる場合には電気音響変換器はスピーカからなる。
(2)フィルタリング部を含むこと
2つ以上の電気音響変換器を有し、それぞれ独立なフィルタ処理できるようなフィルタリング部１６０を有していること。
2つ以上の電気音響変換器を有し、それぞれ独立なフィルタ処理できるようなフィルタリング部１６０を有していること。
(3)電気音響変換器の配置
反射構造体１９０の外側、内側に、それぞれ一つ以上の電気音響変換器１１１、１１２が設置されていること。
反射構造体１９０の外側、内側に、それぞれ一つ以上の電気音響変換器１１１、１１２が設置されていること。
図２を用いて、反射構造体１９０の内側に設置した電気音響変換器１１２と、外側に設置した電気音響変換器１１１とでは明らかに伝達特性の性質が異なることを説明する。なお、この例では、音響装置を収音装置として機能させ、電気音響変換器はマイクロホンからなる。また、この例では、3つの電気音響変換器１１１−１、１１１−２、１１２と2つの制御点Ａ、Ｂを設けた。電気音響変換器は、反射構造体１９０の内側と外側とにそれぞれ一つ以上あればいいので、電気音響変換器１１１−１、１１１−２はどちらかが存在すればよい。なお、音響装置を収音装置として機能させる場合、制御点はターゲット音の存在する方向若しくは位置または雑音の存在する方向若しくは位置として想定されるものであり、音響装置を再生装置として機能させる場合、制御点は再生音の音圧を上げたい方向若しくは位置（再生制御点）、または、音圧を下げたい方向若しくは位置（抑圧制御点）である。
図２Ａは、制御点Ａから3つの電気音響変換器１１１−１、１１１−２、１１２までの伝達特性の性質について示す。反射構造体１９０の内側にある電気音響変換器１１２では、直接音、回折音及び反射音を観測する。なお、回折音とは反射構造体１９０で回折して到来する音であり、反射音とは反射構造体１９０の内壁で反射して到来する音である。一方で、反射構造体１９０の外側にある電気音響変換器１１１−１は、反射構造体１９０の上壁に取り付けられているので、バウンダリ型のマイクロホンと同様に反射構造体の上壁からの反射音を受音しづらい。そのため、強い振幅の直接音と反射構造体１９０の外壁で回折して到来する回折音を観測する。また、反射構造体１９０の後側にある電気音響変換器１１１−２は、反射構造体１９０の外壁で回折して到来する回折音を観測する。
図２Ｂでは、制御点Ｂと各電気音響変換器１１１−１、１１１−２、１１２の間の伝達特性の性質について示す。電気音響変換器１１１−１、１１１−２では、反射・回折の影響を受けにくく、強い振幅の直接音を受音する。一方、電気音響変換器１１２では、反射構造体の外壁で回折して到来した音、さらに内壁で反射して到来した音を受音する。
このように、制御点の位置が異なることで、各制御点と各電気音響変換器１１１−１、１１１−２、１１２との間の伝達特性の性質が大きく異なる。よって、反射構造体１９０の内側に設置した電気音響変換器１１２の伝達特性と、外側に設置した電気音響変換器１１１−１、１１１−２の伝達特性との間の相関が小さくなることが見込まれる。なお、反射音の影響により、制御点の位置や収音環境（例えば収音装置の外部に存在する反射物等）の変化に対して、制御点から電気音響変換器１１２への伝達特性は変調しやすく、制御点から電気音響変換器１１１−１、１１１−２への伝達特性は変調しづらい。例えば、図２Ａにおいて、制御点Ａが制御点Ｃに変化した場合、各制御点から電気音響変換器１１１−１、１１１−２への伝達特性はあまり変調しないのに対し、各制御点から電気音響変換器１１２への伝達特性は反射音の影響により（各制御点から電気音響変換器１１１−１、１１１−２への伝達特性に比べ）大きく変調する。
よって、上述の必須条件(1)、(3)は、音響装置の外部にある音源からの伝達特性が変調されづらくなるように配置された電気音響変換器と、音源からの伝達特性が変調されやすくなるように配置された電気音響変換器とを含むことと言い換えてもよい。
また、上述の必須条件(1)、(3)は、反射構造体が音響装置の外部にある音源から電気音響変換器への伝達特性に変調を与えず、音源から電気音響変換器への伝達特性に変調を与えるように配置されていることと言い換えてもよい。
[必須ではないがあるとよい条件]
さらに、伝達特性を無相関化させるために以下のような条件を組合せる方式が考えられる。
さらに、伝達特性を無相関化させるために以下のような条件を組合せる方式が考えられる。
(4)拡散構造体の設置
反射構造体１９０の壁面や内側に、制御点Ａと電気音響変換器１１２との間の反射経路数が多くなるような拡散構造体１８０が一つ以上設置されていること（図３参照）。制御点Ａと電気音響変換器１１２との間の反射経路を図３に示す。反射構造体１９０だけで決まる反射経路（破線）も存在するが、拡散構造体１８０を設置することにより、反射経路（一点鎖線）が増える。従って、拡散構造体１８０は、拡散構造体１８０を有さない場合の伝達特性を変調するものである。反射経路が増えることによって、収音装置の容積が限定された状況でも、音場の拡散性が高まるので、伝達特性間の相関が小さくなることが期待できる。なお、拡散構造体１８０の形状や配置位置には限定はなく、凹凸の曲面を持ってもよい。ただし、図４のように、反射構造体１９０の開口部を塞ぐような板を拡散構造体１８０としてしまった場合、制御点Ａと電気音響変換器１１２と間の反射経路を減らしてしまうので、拡散構造体１８０の形状や配置として適さない。よって、拡散構造体１８０は、収音装置に入射された音、または、再生装置に含まれるスピーカから発せられた音の反射回数が、拡散構造体１８０を有さない場合よりも多くなるように配置されている。
反射構造体１９０の壁面や内側に、制御点Ａと電気音響変換器１１２との間の反射経路数が多くなるような拡散構造体１８０が一つ以上設置されていること（図３参照）。制御点Ａと電気音響変換器１１２との間の反射経路を図３に示す。反射構造体１９０だけで決まる反射経路（破線）も存在するが、拡散構造体１８０を設置することにより、反射経路（一点鎖線）が増える。従って、拡散構造体１８０は、拡散構造体１８０を有さない場合の伝達特性を変調するものである。反射経路が増えることによって、収音装置の容積が限定された状況でも、音場の拡散性が高まるので、伝達特性間の相関が小さくなることが期待できる。なお、拡散構造体１８０の形状や配置位置には限定はなく、凹凸の曲面を持ってもよい。ただし、図４のように、反射構造体１９０の開口部を塞ぐような板を拡散構造体１８０としてしまった場合、制御点Ａと電気音響変換器１１２と間の反射経路を減らしてしまうので、拡散構造体１８０の形状や配置として適さない。よって、拡散構造体１８０は、収音装置に入射された音、または、再生装置に含まれるスピーカから発せられた音の反射回数が、拡散構造体１８０を有さない場合よりも多くなるように配置されている。
図５は、拡散構造体１８０が、曲面を有する立体構造物である場合の形状例を示す断面図である。この例では、反射構造体１９０の開口部と有する面と対向する内壁面に、開口部方向に突出した拡散構造体１８０を備え、図５Ａでは断面凹状の面を有し、図５Ｂでは断面凸状の面を有する。なお、音響装置を収音装置として機能させる場合、反射構造体１９０の開口部から入射された音を収音装置の内部のマイクロホンに導く構造であることが望ましい。例えば、図５Ｂの場合、拡散構造体１８０の先端で音を収音装置の外部に反射してしまうため、図５Ａのほうがより望ましい形状と考えられる。また、音響装置を再生装置として機能させる場合、再生装置に含まれるスピーカから発せられた音を外部に導く構造であることが望ましい。
(5)指向性の異なる電気音響変換器の使用
様々な指向性を持つ電気音響変換器を混ぜて使用することで、伝達特性間の相関を小さくし、無相関化を図る。例えば、電気音響変換器の指向性に限定はないが、無指向性、単一指向性、双指向性、ハイパーカーディオイドといった様々な指向性を持つ電気音響変換器を混ぜて使用する。仮に、同じ位置に指向性の異なる電気音響変換器を配置した場合、同じ制御点との間の伝達特性は異なるものとなる。例えば、図２Ａにおいて、電気音響変換器１１２の位置に無指向性のマイクロホンまたは単一指向性のマイクロホンを配置した場合、制御点Ａと無指向性のマイクロホンとの間の伝達特性と、制御点Ａと単一指向性のマイクロホンとの間の伝達特性とは、異なるものとなる。よって、この条件により、指向性の違いによる伝達特性の変化を利用して、さらに、伝達特性間の相関を小さくし、無相関化を図る。
様々な指向性を持つ電気音響変換器を混ぜて使用することで、伝達特性間の相関を小さくし、無相関化を図る。例えば、電気音響変換器の指向性に限定はないが、無指向性、単一指向性、双指向性、ハイパーカーディオイドといった様々な指向性を持つ電気音響変換器を混ぜて使用する。仮に、同じ位置に指向性の異なる電気音響変換器を配置した場合、同じ制御点との間の伝達特性は異なるものとなる。例えば、図２Ａにおいて、電気音響変換器１１２の位置に無指向性のマイクロホンまたは単一指向性のマイクロホンを配置した場合、制御点Ａと無指向性のマイクロホンとの間の伝達特性と、制御点Ａと単一指向性のマイクロホンとの間の伝達特性とは、異なるものとなる。よって、この条件により、指向性の違いによる伝達特性の変化を利用して、さらに、伝達特性間の相関を小さくし、無相関化を図る。
反射構造体１９０の外側に設置されている電気音響変換器１１１と、反射構造体１９０の内側に設置されている電気音響変換器１１２との指向性が異なる構成としてもよい。また、反射構造体１９０の外側に複数の電気音響変換器１１１を設置し、その電気音響変換器１１１間の指向性が異なる構成としてもよい。同様に複数の電気音響変換器１１２間の指向性が異なる構成としてもよい。
(6)電気音響変換器または拡散構造体の向きまたは配置を変更
音響装置を収音装置として機能させる場合、以下の条件を加えてもよい。電気音響変換器（マイクロホン）１１２の向きまたは配置を変更するような可動制御手段２００を含む（図６Ａ参照）。また、上述の条件(4)（拡散構造体１８０を設置すること）と組合せる場合には、（例えば板状の）拡散構造体１８０の向きまたは配置を変更するような可動制御手段２００を含む構成であってもよい（図６Ｂ参照）。なお、上述の条件(4)と組合せる場合には、電気音響変換器１１２及び拡散構造体１８０の少なくとも一つの向きまたは配置を、同時に、または、別々に変更するような可動制御手段２００を含む構成であってもよい。
音響装置を収音装置として機能させる場合、以下の条件を加えてもよい。電気音響変換器（マイクロホン）１１２の向きまたは配置を変更するような可動制御手段２００を含む（図６Ａ参照）。また、上述の条件(4)（拡散構造体１８０を設置すること）と組合せる場合には、（例えば板状の）拡散構造体１８０の向きまたは配置を変更するような可動制御手段２００を含む構成であってもよい（図６Ｂ参照）。なお、上述の条件(4)と組合せる場合には、電気音響変換器１１２及び拡散構造体１８０の少なくとも一つの向きまたは配置を、同時に、または、別々に変更するような可動制御手段２００を含む構成であってもよい。
例えば、可動制御手段２００はモータ等からなり、制御量Cに応じて、回転し、回転軸に対して垂直に設置された円板を回転させ、円板上に設置された電気音響変換器１１２の配置を変更する。また、回転軸に設置された拡散構造体１８０を回転させ、向きを変更する。利用に先立ち、予め各制御量εにおける伝達特性A→(ω,ε)=[a→(ω,ε),b→1(ω,ε),…,b→M(ω,ε),]を測定し、図示しない記憶部に記憶しておく。さらに、図示しないセンサー間相関計算部において、伝達特性A→(ω,ε)と観測信号X→(ω,τ)=[X1(ω,τ),…,XM(ω,τ)]とから、センサー間相関を計算し、次式により、制御量Cを求め、これを可動制御手段２００に出力する。
電気音響変換器１１２や拡散構造体１８０の向きや配置により、伝達特性は変化するので、伝達特性間の相関が小さくなるように電気音響変換器１１２や拡散構造体１８０の向きまたは配置を変更する。なお、複数の電気音響変換器１１２や複数の拡散構造体１８０を用いる場合には、一部を固定し、残りを可動制御手段２００により変更する構成としてもよい。
＜第一実施形態に係る収音装置１０＞
図７は収音装置１０の斜視図、図８はその正面図、図９はその側面図を示す。図１０は図８のX-X断面を示す概念図、図１１は図８のXI-XI断面を示す概念図を示す。
図７は収音装置１０の斜視図、図８はその正面図、図９はその側面図を示す。図１０は図８のX-X断面を示す概念図、図１１は図８のXI-XI断面を示す概念図を示す。
図１１に示すように、反射構造体１９０が形成する三次元空間の内部に11本の第二マイクロホン２１２を直線的に配置している。さらに、図示していないが、反射構造体１９０が形成する三次元空間の外部（上壁の外壁面上）に11本の第一マイクロホン２１１を直線的に配置している。反射構造体１９０の形状は、一つ以上の開口部が形成されていれば、その形状に制限はないが、この実施形態では横長の直方体がベースとなっており、前面を開口面としている。また、反射構造体１９０は、反射面が平面であって、適度な厚みと剛性を持つ平板の反射板（例えば、反射率αを0.8とする）からなる。反射構造体１９０反射面は、必ずしも平面でなくともよく、凹凸のある平板であってもよい。さらに、本実施形態では、音を反射構造体の中に取り入れやすくするため、開口面にホーン１９１を設けている。ホーン１９１は、反射構造体１９０の外側から見た開口面積が大きく、内側から見た開口面積が小さくなるような形状としている。音が反射構造体１９０内に入りやすく出にくい構造となっている。なお、一つ以上の開口面があればよく、開口面の形状や数に限定はない。ホーンをつけてもよいし、つけなくてもよい。本実施形態では、開口面に拡散構造体１８０毎にホーン１９１を設けている。
反射構造体１９０が三次元空間を形成し、拡散構造体１８０がその三次元空間内に設置される。拡散構造体１８０は、凹状の曲面を持った形状とする。開口面から到来した音が拡散構造体１８０に反射して、反射構造体１９０内で多重に反射することを狙ってこの形状としている。拡散構造体１８０はＱ個（Ｑ≧１）設置されていればよく、本実施形態では、１０個の拡散構造体１８０が設置されている（図１１参照）。
第二マイクロホン２１２を反射構造体１９０の形成する三次元空間の内部に設置できるような構造になっている。また、反射構造体１９０の上壁の外壁面上に第一マイクロホン２１１を設置できるような構造になっている。
第一マイクロホン２１１は、音響的に透過な音響透過カバー１９２で覆われている。「音響的に透過」とは、反射・回折が生じない（または生じにくい）ことを意味し、例えば、音響透過カバー１９２はパンチングメタルからなる。音響透過カバー１９２は、第一マイクロホン２１１を衝撃等から防護するためのカバーであって、必ずしも設けなくともよい。
[収音装置１０の信号処理]
第一実施形態に係る収音装置１０の機能構成および処理フローを図１２と図１３に示す。この第一実施形態の収音装置１０は、Ｍ１個の第一マイクロホン２１１−ｍ１、Ｍ２個の第二マイクロホン２１２−ｍ２、ＡＤ変換部１２０、周波数領域変換部１３０、フィルタリング部１６０、時間領域変換部１７０、フィルタ計算部１５０、伝達特性記憶部１４０を含む。ｍ１＝１，２，…，Ｍ１であり、ｍ２＝１，２，…，Ｍ２であり、Ｍ１≧１、Ｍ２≧１であり、Ｍ１＋Ｍ２＝Ｍである。
第一実施形態に係る収音装置１０の機能構成および処理フローを図１２と図１３に示す。この第一実施形態の収音装置１０は、Ｍ１個の第一マイクロホン２１１−ｍ１、Ｍ２個の第二マイクロホン２１２−ｍ２、ＡＤ変換部１２０、周波数領域変換部１３０、フィルタリング部１６０、時間領域変換部１７０、フィルタ計算部１５０、伝達特性記憶部１４０を含む。ｍ１＝１，２，…，Ｍ１であり、ｍ２＝１，２，…，Ｍ２であり、Ｍ１≧１、Ｍ２≧１であり、Ｍ１＋Ｍ２＝Ｍである。
＜第一マイクロホン２１１−ｍ１、第二マイクロホン２１２−ｍ２＞
Ｍ１個の第一マイクロホン２１１−ｍ１、Ｍ２個の第二マイクロホン２１２−ｍ２を用いて収音し（ｓ１）、アナログ信号（収音信号）をＡＤ変換部１２０に出力する。Ｍ１個の第一マイクロホン２１１−ｍ１が反射構造体１９０の外側に設置され、Ｍ２個の第二マイクロホン２１２−ｍ２は反射構造体１９０の内側に設置されている。
Ｍ１個の第一マイクロホン２１１−ｍ１、Ｍ２個の第二マイクロホン２１２−ｍ２を用いて収音し（ｓ１）、アナログ信号（収音信号）をＡＤ変換部１２０に出力する。Ｍ１個の第一マイクロホン２１１−ｍ１が反射構造体１９０の外側に設置され、Ｍ２個の第二マイクロホン２１２−ｍ２は反射構造体１９０の内側に設置されている。
＜ＡＤ変換部１２０＞
ＡＤ変換部１２０が、Ｍ１個の第一マイクロホン２１１−ｍ１とＭ２個の第二マイクロホン２１２−ｍ２とで収音された合計M個のアナログ信号をディジタル信号x→(t)＝[x1(t),…,xM(t)]Tへ変換し、（ｓ２）、周波数領域変換部に出力する。ｔは離散時間のインデックスを表す。
ＡＤ変換部１２０が、Ｍ１個の第一マイクロホン２１１−ｍ１とＭ２個の第二マイクロホン２１２−ｍ２とで収音された合計M個のアナログ信号をディジタル信号x→(t)＝[x1(t),…,xM(t)]Tへ変換し、（ｓ２）、周波数領域変換部に出力する。ｔは離散時間のインデックスを表す。
＜周波数領域変換部１３０は、＞
周波数領域変換部１３０は、まず、ＡＤ変換部１２０が出力したディジタル信号x→(t)＝[x1(t),…,xM(t)]Tを入力とし、チャネルごとにNサンプルをバッファに貯めてフレーム単位のディジタル信号x→(τ)＝[x→1(τ),…,x→M(τ)]Tを生成する。τはフレーム番号のインデックスである。x→m(τ)=[xm((τ-1)N+1),…,xm(τN)]（1≦m≦M）である。Nはサンプリング周波数にもよるが、48kHzサンプリングの場合には2048点あたりが妥当である。次に、周波数領域変換部１３０は、各フレームのディジタル信号x→(τ)を周波数領域の信号X→(ω,τ)＝[X1(ω,τ),…,XM(ω,τ)]Tに変換し（ｓ３）、出力する。ωは離散周波数のインデックスである。時間領域信号を周波数領域信号に変換する方法の一つに高速離散フーリエ変換があるが、これに限定されず、周波数領域信号に変換する他の方法を用いてもよい。周波数領域信号X→(ω,τ)は、各周波数ω、フレームτごとに出力される。
周波数領域変換部１３０は、まず、ＡＤ変換部１２０が出力したディジタル信号x→(t)＝[x1(t),…,xM(t)]Tを入力とし、チャネルごとにNサンプルをバッファに貯めてフレーム単位のディジタル信号x→(τ)＝[x→1(τ),…,x→M(τ)]Tを生成する。τはフレーム番号のインデックスである。x→m(τ)=[xm((τ-1)N+1),…,xm(τN)]（1≦m≦M）である。Nはサンプリング周波数にもよるが、48kHzサンプリングの場合には2048点あたりが妥当である。次に、周波数領域変換部１３０は、各フレームのディジタル信号x→(τ)を周波数領域の信号X→(ω,τ)＝[X1(ω,τ),…,XM(ω,τ)]Tに変換し（ｓ３）、出力する。ωは離散周波数のインデックスである。時間領域信号を周波数領域信号に変換する方法の一つに高速離散フーリエ変換があるが、これに限定されず、周波数領域信号に変換する他の方法を用いてもよい。周波数領域信号X→(ω,τ)は、各周波数ω、フレームτごとに出力される。
＜伝達特性記憶部１４０＞
伝達特性記憶部１４０は、予め収音装置１０を使って測定された伝達特性A→(ω)=[a→(ω),b→1(ω),…,b→K(ω)]を記憶しておく。a→(ω)＝[a1(ω),…,aM(ω)]Tを、ターゲット音とM本のマイクロホンとの間の周波数ωでの伝達特性、換言すれば、a→(ω)＝[a1(ω),…,aM(ω)]Tは、マイクロホンアレーに含まれる各マイクロホンへのターゲット音の周波数ωでの伝達特性とする。k=1,2,…,Kであり、Kは雑音の個数であり、bk→(ω)＝[bk1(ω),…,bkM(ω)]Tを、雑音kとM本のマイクロホンとの間の周波数ωでの伝達特性、換言すれば、bk→(ω)＝[bk1(ω),…,bkM(ω)]Tは、マイクロホンアレーに含まれる各マイクロホンへの雑音kの周波数ωでの伝達特性とする。なお、伝達特性A→(ω)は、事前測定によらず、理論式やシミュレーションにより事前に用意してもよい。
伝達特性記憶部１４０は、予め収音装置１０を使って測定された伝達特性A→(ω)=[a→(ω),b→1(ω),…,b→K(ω)]を記憶しておく。a→(ω)＝[a1(ω),…,aM(ω)]Tを、ターゲット音とM本のマイクロホンとの間の周波数ωでの伝達特性、換言すれば、a→(ω)＝[a1(ω),…,aM(ω)]Tは、マイクロホンアレーに含まれる各マイクロホンへのターゲット音の周波数ωでの伝達特性とする。k=1,2,…,Kであり、Kは雑音の個数であり、bk→(ω)＝[bk1(ω),…,bkM(ω)]Tを、雑音kとM本のマイクロホンとの間の周波数ωでの伝達特性、換言すれば、bk→(ω)＝[bk1(ω),…,bkM(ω)]Tは、マイクロホンアレーに含まれる各マイクロホンへの雑音kの周波数ωでの伝達特性とする。なお、伝達特性A→(ω)は、事前測定によらず、理論式やシミュレーションにより事前に用意してもよい。
＜フィルタ計算部１５０＞
フィルタ計算部１５０は、伝達特性記憶部１４０から伝達特性A→(ω)を取り出し、フィルタW→(ω)を計算し、フィルタリング部１６０に出力する。例えば、特定の位置または方向からの音響信号を抑圧する信号処理に用いるフィルタW→(ω)を計算する。
フィルタ計算部１５０は、伝達特性記憶部１４０から伝達特性A→(ω)を取り出し、フィルタW→(ω)を計算し、フィルタリング部１６０に出力する。例えば、特定の位置または方向からの音響信号を抑圧する信号処理に用いるフィルタW→(ω)を計算する。
本発明のビームフォーミング技術の要点は、複数の電気音響変換器の内、一部を音響装置の外部にある音源からの伝達特性が変調されづらくなるように配置し、残りを音源からの伝達特性が変調されやすくなるように配置して、広帯域に渡って伝達特性を無相関化させることである。そのため、フィルタの設計コンセプト自体に影響を与えないので、従来技術と同様の方法により、フィルタW→(ω)を設計することができる。例えば、参考文献３に記載されている<１>SN比最大化規準によるフィルタ設計法、<２>パワーインバージョン(Power Inversion)に基づくフィルタ設計法、<３>一つ以上の死角（雑音のゲインが抑圧される方向）を拘束条件に持つ最小分散無歪応答法によるフィルタ設計法、<４>遅延合成（Delay-and-Sum Beam Forming）法によるフィルタ設計法、<５>最尤法によるフィルタ設計法、<６>AMNOR（Adaptive Microphone-array for noise reduction）法等によって、フィルタW→(ω)を設計することができる。
[参考文献３]国際公開第ＷＯ２０１２／０８６８３４号パンフレット
[参考文献３]国際公開第ＷＯ２０１２／０８６８３４号パンフレット
例えば、遅延和法をベースとする場合、式(16)により、フィルタW→DS1(ω)を計算する。
また例えば、最尤法をベースとする場合、式(17)により、フィルタW→DS2(ω)を計算する。
また例えば、一つ以上の死角を拘束条件に持つ最小分散無歪応答法によるフィルタ設計法の場合、次式により、フィルタW→DS3(ω)を計算する。
ただし、ｆS(ω),fk(ω)はそれぞれターゲット音、雑音k(k=1,2,…,K)に関する周波数ωでの通過特性を表す。例えば、式(18)において、伝達特性a→(ω)が方向θに依存する伝達特性a→(ω,θ)として事前に用意できる場合には、伝達特性a→(ω,θ)を用いて、フィルタW→(ω,θ)を計算し、フィルタリング部１６０において、特定の方向θsの信号処理が行える。また、伝達特性a→(ω)が方向θ、距離Dに依存する伝達特性a→(ω,θ,D)として事前に用意できる場合には、伝達特性a→(ω,θ,D)を用いて、フィルタW→(ω,θ,D)を計算し、フィルタリング部１６０において、特定の位置（特定の方向θsと距離DHにより特定される位置）の信号処理が行える。
＜フィルタリング部１６０＞
フィルタリング部１６０は、予めフィルタ計算部１５０からフィルタW→(ω)を受け取っておき、周波数領域信号X→(ω,τ)を受け取り、フレームτごとに、各周波数ω∈Ωについて、周波数領域信号X→(ω,τ)=[X1(ω,τ),…,XM(ω,τ)]Tに、フィルタW→(ω)を適用して（式(5)参照、ｓ４）、出力信号Y(ω,τ)を出力する。
フィルタリング部１６０は、予めフィルタ計算部１５０からフィルタW→(ω)を受け取っておき、周波数領域信号X→(ω,τ)を受け取り、フレームτごとに、各周波数ω∈Ωについて、周波数領域信号X→(ω,τ)=[X1(ω,τ),…,XM(ω,τ)]Tに、フィルタW→(ω)を適用して（式(5)参照、ｓ４）、出力信号Y(ω,τ)を出力する。
例えば、フィルタリング部はＭ１個の第一マイクロホン２１１−ｍ１による収音信号とＭ２個の第二マイクロホン２１２−ｍ２による収音信号とに基づき、空間上の少なくとも複数の位置または方向から発せられた音響信号の収音特性を異ならせるものであればよい。「収音特性を異ならせる」とは、例えば、特定の位置で発せられた音響信号を局所収音して他の位置で発せられた音響信号を極力収音しないようにしたり、逆に特定の位置で発せられた音響信号を抑圧（消音）して他の位置で発せられた音響信号のみを収音したりすることを意味する。
＜時間領域変換部１７０＞
時間領域変換部１７０は、第τフレームの各周波数ω∈Ωの出力信号Y(ω,τ)を時間領域に変換して（ｓ５）、第τフレームのフレーム単位時間領域信号y(τ)を得て、さらに、得られたフレーム単位時間領域信号y(τ)をフレーム番号のインデックスの順番に連結して時間領域信号y(t)を出力する。周波数領域信号を時間領域信号に変換する方法は、ｓ３の処理で用いた変換方法に対応する逆変換であり、例えば高速離散逆フーリエ変換である。
時間領域変換部１７０は、第τフレームの各周波数ω∈Ωの出力信号Y(ω,τ)を時間領域に変換して（ｓ５）、第τフレームのフレーム単位時間領域信号y(τ)を得て、さらに、得られたフレーム単位時間領域信号y(τ)をフレーム番号のインデックスの順番に連結して時間領域信号y(t)を出力する。周波数領域信号を時間領域信号に変換する方法は、ｓ３の処理で用いた変換方法に対応する逆変換であり、例えば高速離散逆フーリエ変換である。
＜効果＞
このような構成により、所定の指向性能に対する装置規模を従来技術よりも小さくできる。そのとき、ターゲット音と雑音を聞き分けるための手掛かりが観測信号に含まれることになるので、例えば、事前に用意した伝達特性を使ってフィルタを使って適切な信号処理をすることで、広帯域に渡って任意の指向制御が可能になる。なお、本実施形態では、予めフィルタW→(ω)を計算しているが、収音装置１０の計算処理能力などに応じて、所定の指向性能が定まってからフィルタ計算部１５０が周波数ごとのフィルタW→(ω)を計算する構成としてもよい。
このような構成により、所定の指向性能に対する装置規模を従来技術よりも小さくできる。そのとき、ターゲット音と雑音を聞き分けるための手掛かりが観測信号に含まれることになるので、例えば、事前に用意した伝達特性を使ってフィルタを使って適切な信号処理をすることで、広帯域に渡って任意の指向制御が可能になる。なお、本実施形態では、予めフィルタW→(ω)を計算しているが、収音装置１０の計算処理能力などに応じて、所定の指向性能が定まってからフィルタ計算部１５０が周波数ごとのフィルタW→(ω)を計算する構成としてもよい。
＜第二実施形態＞
本発明は、スピーカを用いた再生装置として扱ってもよい。
本発明は、スピーカを用いた再生装置として扱ってもよい。
本実施形態は、拡散センシングを基にして、伝達特性を物理的に変調する収音装置に係るものである。複数のマイクロホンからなるマイクロホンアレーに代えて、複数のスピーカからなるスピーカアレーを用いる。よって、その外観図は、第一マイクロホン２１１及び第二マイクロホン２１２をそれぞれ第一スピーカ３１１及び第二スピーカ３１２に変えたものとなり、反射構造体１９０、ホーン１９１、音響透過カバー１９２、拡散構造体１８０等の形状について、第一実施形態と同様である（図７−図１１参照）。
第二スピーカ３１２を反射構造体１９０の形成する三次元空間の内部に設置できるような構造になっている。また、反射構造体１９０の上壁に第一スピーカ３１１を設置できるような構造になっている。
[再生装置３０の信号処理]
M(≧2)個のスピーカを用いて制御点Ｄで強調されるような指向制御を行うことを考える。
M(≧2)個のスピーカを用いて制御点Ｄで強調されるような指向制御を行うことを考える。
第二実施形態に係る再生装置３０の機能構成および処理フローを図１４と図１５に示す。この第二実施形態の再生装置３０は、Ｍ１個の第一スピーカ３１１−ｍ１、Ｍ２個の第二スピーカ３１２−ｍ２、周波数領域変換部３００、フィルタリング部３３０、時間領域変換部３４０、フィルタ計算部３２０、伝達特性記憶部３１０を含む。ｍ１＝１，２，…，Ｍ１であり、ｍ２＝１，２，…，Ｍ２であり、Ｍ１≧１、Ｍ２≧１であり、Ｍ１＋Ｍ２＝Ｍである。
信号源２００が音源信号s(t)を出力する。この実施形態では、信号源２００からの音源信号s(t)はディジタル信号であるとする。ただし、音源信号としてアナログ信号を用いる場合には、アナログ信号をディジタル信号s(t)へＡＤ変換するＡＤ変換部を設ければよい。
＜周波数領域変換部３００＞
まず、周波数領域変換部３００は、ディジタル信号s(t)を受け取り、Nサンプルをバッファに貯めてフレーム単位のディジタル信号s(τ)を出力する。次に、周波数領域変換部３００は、各フレームのディジタル信号s(τ)を周波数領域の信号S(ω,τ)に変換して（ｓ３１）出力する。
まず、周波数領域変換部３００は、ディジタル信号s(t)を受け取り、Nサンプルをバッファに貯めてフレーム単位のディジタル信号s(τ)を出力する。次に、周波数領域変換部３００は、各フレームのディジタル信号s(τ)を周波数領域の信号S(ω,τ)に変換して（ｓ３１）出力する。
＜伝達特性記憶部３１０及びフィルタ計算部３２０＞
伝達特性記憶部３１０及びフィルタ計算部３２０の機能構成は、第一実施形態と同様である。例えば、フィルタ計算部３２０は、伝達特性記憶部３１０から伝達特性A→(ω)を取り出し、参考文献４記載の方法により、フィルタW→(ω)を計算し、フィルタリング部３３０に出力する。例えば、特定の位置または方向への音響信号を抑圧する信号処理に用いるフィルタW→(ω)を計算する。
［参考文献４］羽田陽一、片岡章俊、「自由空間伝達関数を用いた多点制御に基づく小型スピーカアレーの実空間性能」、日本音響学会研究発表会講演論文集、2008、pp.631-632
伝達特性記憶部３１０及びフィルタ計算部３２０の機能構成は、第一実施形態と同様である。例えば、フィルタ計算部３２０は、伝達特性記憶部３１０から伝達特性A→(ω)を取り出し、参考文献４記載の方法により、フィルタW→(ω)を計算し、フィルタリング部３３０に出力する。例えば、特定の位置または方向への音響信号を抑圧する信号処理に用いるフィルタW→(ω)を計算する。
［参考文献４］羽田陽一、片岡章俊、「自由空間伝達関数を用いた多点制御に基づく小型スピーカアレーの実空間性能」、日本音響学会研究発表会講演論文集、2008、pp.631-632
＜フィルタリング部３３０＞
フィルタリング部３３０は、予めフィルタ計算部３２０からフィルタW→(ω)を受け取っておき、周波数領域信号S(ω,τ)を受け取り、フレームτごとに、各周波数ω∈Ωについて、周波数領域信号S(ω,τ)に、フィルタW→(ω)を適用して（次式参照、ｓ３２）、出力信号Z→(ω,τ)＝[Z1(ω,τ),…,ZM(ω,τ)]を出力する。
フィルタリング部３３０は、予めフィルタ計算部３２０からフィルタW→(ω)を受け取っておき、周波数領域信号S(ω,τ)を受け取り、フレームτごとに、各周波数ω∈Ωについて、周波数領域信号S(ω,τ)に、フィルタW→(ω)を適用して（次式参照、ｓ３２）、出力信号Z→(ω,τ)＝[Z1(ω,τ),…,ZM(ω,τ)]を出力する。
例えば、フィルタリング部３３０は、空間上の少なくとも複数の位置へ、M1個の第一スピーカ３１１−ｍ１及びM2個の第二スピーカ３１２−ｍ２から発する音響信号の再生特性を異ならせるものであればよい。「再生特性を異ならせる」とは、例えば、特定の位置で音響信号を局所再生して他の位置で音響信号を極力再生しないようにしたり、逆に特定の位置で音響信号を再生しないようにして他の位置でのみ音響信号を再生したりすることを意味する。
＜時間領域変換部３４０＞
時間領域変換部３４０は、第τフレームの各周波数ω∈Ωの再生信号Z→(ω,τ)＝[Z1(ω,τ),…,ZM(ω,τ)]を時間領域に変換して（ｓ３３）、第τフレームのフレーム単位時間領域信号z→(τ)＝[z1(τ),…,zM(τ)]を得て、さらに、得られたフレーム単位時間領域信号z→(τ)＝[z1(τ),…,zM(τ)]をフレーム番号のインデックスの順番に連結して、時間領域信号z→(t)＝[z1(t),…,zM(t)]を出力する。周波数領域信号を時間領域信号に変換する方法は、ｓ３１の処理で用いた変換方法に対応する逆変換であり、例えば高速離散逆フーリエ変換である。
時間領域変換部３４０は、第τフレームの各周波数ω∈Ωの再生信号Z→(ω,τ)＝[Z1(ω,τ),…,ZM(ω,τ)]を時間領域に変換して（ｓ３３）、第τフレームのフレーム単位時間領域信号z→(τ)＝[z1(τ),…,zM(τ)]を得て、さらに、得られたフレーム単位時間領域信号z→(τ)＝[z1(τ),…,zM(τ)]をフレーム番号のインデックスの順番に連結して、時間領域信号z→(t)＝[z1(t),…,zM(t)]を出力する。周波数領域信号を時間領域信号に変換する方法は、ｓ３１の処理で用いた変換方法に対応する逆変換であり、例えば高速離散逆フーリエ変換である。
＜第一スピーカ３１１−ｍ１、第二スピーカ３１２−ｍ２＞
Mチャネルの時間領域信号z1(t),…,zM(t)はそれぞれ、スピーカアレーを構成するM1個の第一スピーカ３１１−ｍ１、M2個の第二スピーカ３１２−ｍ２のうち、チャネルに対応するスピーカで再生される（ｓ３４）。Ｍ１個の第一スピーカ３１１−ｍ１が反射構造体１９０の外側に設置され、Ｍ２個の第二スピーカ３１２−ｍ２は反射構造体１９０の内側に設置されている。
Mチャネルの時間領域信号z1(t),…,zM(t)はそれぞれ、スピーカアレーを構成するM1個の第一スピーカ３１１−ｍ１、M2個の第二スピーカ３１２−ｍ２のうち、チャネルに対応するスピーカで再生される（ｓ３４）。Ｍ１個の第一スピーカ３１１−ｍ１が反射構造体１９０の外側に設置され、Ｍ２個の第二スピーカ３１２−ｍ２は反射構造体１９０の内側に設置されている。
＜効果＞
このような構成により、所定の指向性能に対する装置規模を従来技術よりも小さくできる。なお、本実施形態では、予めフィルタW→(ω)を計算しているが、再生装置３０の計算処理能力などに応じて、所定の指向性能が定まってからフィルタ計算部３２０が周波数ごとのフィルタW→(ω)を計算する構成としてもよい。
このような構成により、所定の指向性能に対する装置規模を従来技術よりも小さくできる。なお、本実施形態では、予めフィルタW→(ω)を計算しているが、再生装置３０の計算処理能力などに応じて、所定の指向性能が定まってからフィルタ計算部３２０が周波数ごとのフィルタW→(ω)を計算する構成としてもよい。
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
＜プログラム及び記録媒体＞
上述した収音装置及び再生装置は、コンピュータにより機能させることもできる。この場合、コンピュータを目的とする装置（各種実施形態で図に示した機能構成を持つ装置）として機能させるためのプログラム、またはコンピュータにその処理手順（各実施形態で示したもの）の各過程を実行させるためのプログラムを、そのコンピュータに実行させればよい。なお、そのプログラムは、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等のコンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータにプログラムを実行させる際には、そのプログラムを記録媒体から読み込んでもよいし、または、そのプログラムを記録したサーバ等から通信回線を介してダウンロードしてもよい。
上述した収音装置及び再生装置は、コンピュータにより機能させることもできる。この場合、コンピュータを目的とする装置（各種実施形態で図に示した機能構成を持つ装置）として機能させるためのプログラム、またはコンピュータにその処理手順（各実施形態で示したもの）の各過程を実行させるためのプログラムを、そのコンピュータに実行させればよい。なお、そのプログラムは、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等のコンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータにプログラムを実行させる際には、そのプログラムを記録媒体から読み込んでもよいし、または、そのプログラムを記録したサーバ等から通信回線を介してダウンロードしてもよい。
本発明は、狭指向音声強調技術、音声スポット強調技術、狭指向音声再生技術、音声スポット再生技術に利用することができる。また、AGC(Auto Gain Control)技術やエリア収音及び再生技術に利用することもできる。
本発明は、複数のマイクロホンやスピーカで構成されたアレー装置を用いたビームフォーミング技術に関する。特に、マイクロホンと音源との間の伝達特性、スピーカと再生点との間の伝達特性の最適な性質を明らかにした拡散センシングに基づくビームフォーミング技術に関する。
非特許文献１及び２が、マイクロホンアレーを用いた拡散センシングに基づく音声強調技術の従来技術として知られている。非特許文献１及び２では、反射構造体により擬似的な拡散音場を生成し、その中にマイクロホンアレーを設置して、拡散センシングを実現している。
K. Niwa, S. Sakauchi, K. Furuya, M. Okamoto, and Y. Haneda, "Diffused sensing for sharp directivity microphone array", ICASSP 2012, 2012, pp. 225 - 228
K. Niwa, Y. Hioka, K. Furuya, and Y. Haneda, "Telescopic microphone array using reflector for segregating target source from noises in same direction", ICASSP 2012, 2012, pp. 5457-5460
しかしながら、従来技術において、反射構造体をマイクロホンアレーの近傍に設置することで疑似的な拡散音場を生成するためには、装置規模が大きくなる傾向がある。何故ならば、反射構造体の容積と残響時間の相関性は高くて、残響時間が長くなるほど、拡散音場に近づくためである。例えば、非特許文献２では、直径1メートルの球に収まる程度の大きさの反射構造体を構築している。ところが、適用するアプリケーションによって、装置規模はあらかじめ限定されることが多い。容積が限定されてしまうと、伝達特性の相関性が高くなり、指向性能が劣化してしまうことが課題である。
同様にスピーカアレーを用いた拡散センシングに基づく再生技術が考えられる（参考文献１参照）。
［参考文献１］特開２０１２−１４７４１３号公報
［参考文献１］特開２０１２−１４７４１３号公報
しかし、この場合にも、反射構造体をスピーカアレーの近傍に設置することで疑似的な拡散音場を生成する必要があり、同様の課題がある。
本発明は、所定の指向性能に対する装置規模が従来技術よりも小さい音響装置を提供することを目的とする。つまり、従来技術の音響装置と同じ装置規模であれば、より指向性能の高い音響装置を、従来技術の音響装置と同じ指向性能であれば、より装置規模の小さい音響装置を提供することを目的とする。なお、この明細書では、音響装置とは、音を収音する収音装置と音を再生する再生装置とを含み、「音」は、人の発する声に限定されるものではなく、人や動物の声はもとより楽音や環境雑音など音一般を指す。
上記の課題を解決するために、本発明の第一の態様によれば、収音装置は、収音装置の外部にある制御点からの伝達特性が変調されづらくなるように配置された少なくとも一つの第一マイクロホンと、制御点からの伝達特性が変調されやすくなるように配置された少なくとも一つの第二マイクロホンとを含む。
上記の課題を解決するために、本発明の他の態様によれば、収音装置は、少なくとも第一マイクロホンと第二マイクロホンとを含む。当該収音装置の外部にある制御点から第一マイクロホンへの伝達特性に変調を与えず、制御点から第二マイクロホンへの伝達特性に変調を与えるように配置された反射部をさらに含む。
上記の課題を解決するために、本発明の他の態様によれば、収音装置は、音を反射可能な素材からなり、開口部を有し、開口部以外は三次元空間を形成する反射部と、三次元空間の外部に配置される第一マイクロホンと、三次元空間の内部に配置される第二マイクロホンとを含む。
上記の課題を解決するために、本発明の他の態様によれば、再生装置は、再生装置の外部にある制御点への伝達特性が変調されづらくなるように配置された少なくとも一つの第一スピーカと、制御点への伝達特性が変調されやすくなるように配置された少なくとも一つの第二スピーカとを含む。
上記の課題を解決するために、本発明の他の態様によれば、再生装置は、少なくとも第一スピーカと第二スピーカとを含む。第一スピーカから当該再生装置の外部にある制御点への伝達特性に変調を与えず、第二スピーカから制御点への伝達特性に変調を与えるように配置された反射部をさらに含む。
上記の課題を解決するために、本発明の他の態様によれば、再生装置は、音を反射可能な素材からなり、開口部を有し、開口部以外は三次元空間を形成する反射部と、三次元空間の外部に配置される第一スピーカと、三次元空間の内部に配置される第二スピーカとを含む。
本発明によれば、所定の指向性能に対する装置規模を従来技術よりも小さくできるという効果を奏する。
以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「→」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
＜第一実施形態＞
本実施形態は、拡散センシングを基にして、伝達特性を物理的に変調する収音装置に係るものである。
本実施形態は、拡散センシングを基にして、伝達特性を物理的に変調する収音装置に係るものである。
まず、非特許文献１で説明されているこれまでの拡散センシングに基づく収音処理について説明する。
[観測信号のモデル化]
M(≧2)本のマイクロホンを用いて一つのターゲット音とK(≧1)個の雑音を受音する状況を考える。多くの雑音が存在する中で任意の位置にあるターゲット音を強調する指向制御を目的にする。目的は、K個の雑音源を抑圧し、ターゲット音を強調することで達成される。m(m=1,2,…,M)番目のマイクロホンとターゲット音、k(k=1,2,…,K)番目の雑音との間のインパルス応答をそれぞれam(i)、bk,m(i)とする。ただし、インパルス応答長をLとし、i=0,1,…,L-1とする。なお、インパルス応答長Lは、装置の規模や構造、設置された部屋の状況によって定まる残響時間により、実験的に定めればよい。ターゲット音、k番目の雑音の音源信号をそれぞれs(t)、nk(t)とするとき、m番目のマイクロホンで観測した観測信号xm(t)は、次式でモデル化される。
M(≧2)本のマイクロホンを用いて一つのターゲット音とK(≧1)個の雑音を受音する状況を考える。多くの雑音が存在する中で任意の位置にあるターゲット音を強調する指向制御を目的にする。目的は、K個の雑音源を抑圧し、ターゲット音を強調することで達成される。m(m=1,2,…,M)番目のマイクロホンとターゲット音、k(k=1,2,…,K)番目の雑音との間のインパルス応答をそれぞれam(i)、bk,m(i)とする。ただし、インパルス応答長をLとし、i=0,1,…,L-1とする。なお、インパルス応答長Lは、装置の規模や構造、設置された部屋の状況によって定まる残響時間により、実験的に定めればよい。ターゲット音、k番目の雑音の音源信号をそれぞれs(t)、nk(t)とするとき、m番目のマイクロホンで観測した観測信号xm(t)は、次式でモデル化される。
ここで、tは時間のインデックスを表わす。
xm(t)を短時間フーリエ変換することで、式(1)の畳み込み混合は、次式のような周波数領域における瞬時混合として近似される。
ここで、ω、τはそれぞれ周波数、フレームのインデックスを表わす。例えば、48kHzでサンプリングを行い、タップ数を2048とする。また、Xm(ω,τ)、S(ω,τ)、Nk(ω,τ)は、それぞれ観測信号xm(t)、ターゲット音の音源信号s(t)、k番目の雑音の音源信号nk(t)の時間周波数表現を表わす。am(ω)、bk,m(ω)は、それぞれターゲット音、k番目の雑音とm番目のマイクロホンとの間の周波数特性を表し、以後これらを伝達特性と呼ぶ。式(2)を行列形式で表記すると、次式のようになる。
であり、Tは転置を表わす。
[ビームフォーミング]
ビームフォーミング後の出力信号y(t)は、次式のように観測信号xm(t)と、ターゲット音を強調するように設計されたフィルタwm(t)とを畳み込むことで得られる。
ビームフォーミング後の出力信号y(t)は、次式のように観測信号xm(t)と、ターゲット音を強調するように設計されたフィルタwm(t)とを畳み込むことで得られる。
ここで、Jはフィルタ長を表わし、インパルス応答長Lと同程度とすればよい。y(t)の時間周波数表現であるY(ω,τ)は、次式で近似的に求められる。
ここで、Hは共役転置を表し、W→ m(ω)の複素共役がwm(j)の周波数応答に対応する。
出力信号Y(ω,τ)に含まれる雑音成分をYN(ω,τ)と書くとき、次式のパワーpN(ω)は雑音成分のパワーとして定義される。
ここで、ETは時間的な期待値演算を表わす。音源信号が互いに無相関であると仮定すると、パワーpN(ω)は伝達特性b→ k(ω)とフィルタW→(ω)だけで計算できる。
アレー信号処理の分野では、pN(ω)を最小化するために、様々なフィルタ設計法が説明されてきた。代表例として、遅延和法と最尤法を説明する(参考文献２参照)。
[参考文献２]浅野太,「音のアレイ信号処理-音源の低位・追跡と分離」,コロナ社,2011年
[参考文献２]浅野太,「音のアレイ信号処理-音源の低位・追跡と分離」,コロナ社,2011年
遅延和法において、フィルタW→ DSは、次式により、ターゲット音の直接音を強調するように設計される。
は、ターゲット音の直接音のアレイ・マニフォールド・ベクトルを表わす。要素hm(ω)は、ターゲット音からm番目のマイクロホンまでの直接音の経路の伝達係数を表し、ターゲット音とm番目のマイクロホン間の距離をdm、音速をc、虚数単位をjとすると、例えば次式により計算できる。
また、最尤法において、フィルタW→ MLは、次式により、ターゲット音の直接音を強調し、パワーpN(ω)を最小化するように設計される。
ここで、R(ω)は雑音の空間相関行列を表わす。例えば、音源信号間が無相関であると仮定すると、雑音の空間相関行列R(ω)は次式のように、伝達特性b→ k(ω)のみを用いて計算される。
参考文献２に載っているような古典的なアレー信号処理において、マイクロホン間の間隔をどのようにアレンジするのかといったことが考えられてきた。しかし、特定の周波数を除いてマイクロホン間の相関が高くなることが多かった。代表的な問題として知られているのは以下の二つである。一つ目は波長の長い低周波帯域では、伝達特性間の相関が高くなりやすいので、狭指向制御しづらいことである。二つ目は波長の短い高周波帯域では、波長の半波長以下の間隔でマイクロホンを並べない限り、特定のターゲット音以外の音を強調してしまう空間エリアジングが生じることである。以上の2点から、広帯域に渡ってパワーpN(ω)を小さくすることは困難とされてきた。
[拡散センシング]
非特許文献１では、広帯域に渡ってパワーpN(ω)を小さくするために、伝達特性の性質がどういう性質であるべきかが検討され、拡散センシングという基礎理論が纏められている。
非特許文献１では、広帯域に渡ってパワーpN(ω)を小さくするために、伝達特性の性質がどういう性質であるべきかが検討され、拡散センシングという基礎理論が纏められている。
拡散センシングのコンセプトは、“伝達特性の物理的変調”により、次式のように広帯域に渡って伝達特性を無相関化させることにある。
ここで、伝達特性の物理的変調とは、伝達特性の性質そのものを変えるためのあらゆる物理的手段のことを指し、例えばマイクロホンの近傍に設置された反射構造体が挙げられる。非特許文献１で提案されている方式は、多数回反射を繰り返し、等方位的に反射音が到来する音場(拡散音場)を生成し、その中にマイクロホンアレーを設置する方式である。例えば、マイクロホンアレーを包囲するような形状の反射構造体を作り、一面だけ開けておけば、反射構造体内に到来した音が自ずと反射を繰り返し、疑似的な拡散音場を生成することになる。
何故、拡散音場にマイクロホンアレーを設置すると、伝達特性間が無相関化されるのかを簡単に説明する。伝達特性間の相関をγ(ω)とすると、拡散音場における相関γ(ω)は次式により計算されることが知られている。
ここで、ES,p→はそれぞれ空間的な期待値演算、マイクロホン間の位置ベクトルを表わす。マイクロホン間の距離||p→||が十分に広いとすると、拡散音場における伝達特性間の相関γ(ω)の期待値は0になる。
だから、従来技術において反射構造体により疑似的な拡散音場を物理的に生成し、その中にマイクロホンアレーを設置してきた（非特許文献１、２参照）。
また、パワーpN(ω)を小さくするために、事前のシミュレーションや測定により用意した伝達特性を用いたフィルタ設計方式を検討してきた。簡単に言えば、ターゲット音のみを強調するようにしてきたが、拡散センシングに基づく制御では、伝達特性そのものを強調するように設計される。
遅延和法をベースとする場合、次式のように、アレイ・マニフォールド・ベクトルh→(ω)をターゲット音の伝達特性a→(ω)に置き換えることで、フィルタW→ DS1(ω)を設計できる。
この場合、a→(ω)をシミュレーションや実測により事前に用意する必要がある。
また、最尤法をベースとする場合、次式によりフィルタW→ DS2(ω)を設計できる。
この場合も同様に、a→(ω)やR(ω)をシミュレーションや実測により事前に用意する必要がある。先に挙げたような手段を用いて、疑似的な拡散音場を生成し、音を収音する場合、伝達特性が自ずと無相関化されていることが期待されるので、パワーpN(ω)を広帯域に渡って小さくすることができた。
＜第一実施形態のポイント＞
しかし、従来技術では、前述の通り、装置規模が大きくなる傾向がある。
しかし、従来技術では、前述の通り、装置規模が大きくなる傾向がある。
そこで、本実施形態では、広帯域に渡って伝達特性を無相関化させるために、“伝達特性の物理的変調”として、反射構造体に加えて、マイクロホンの配置を変更する。反射構造体の内側だけでなく、外側にもマイクロホンを設置することで、反射構造体の容積が限定された条件下で伝達特性の相関を小さくできる。
本実施形態の技術は、拡散センシングを基にして、伝達特性を物理的に変調するための再生装置についても適用することができるため、図１を用いて本発明で定義する音響装置の条件を説明する。
[必須条件]
(1)反射構造体を含むこと
音を反射・回折する素材で形成されており、開口部を有する電気音響変換器１１２を包囲するような形状（言い換えると三次元空間を形成する形状）の反射構造体１９０があること。なお、この明細書において「電気音響変換器」とは、マイクホロンとスピーカとを含む概念である。音響装置を、収音装置として機能させる場合には電気音響変換器はマイクロホンからなり、再生装置として機能させる場合には電気音響変換器はスピーカからなる。
(1)反射構造体を含むこと
音を反射・回折する素材で形成されており、開口部を有する電気音響変換器１１２を包囲するような形状（言い換えると三次元空間を形成する形状）の反射構造体１９０があること。なお、この明細書において「電気音響変換器」とは、マイクホロンとスピーカとを含む概念である。音響装置を、収音装置として機能させる場合には電気音響変換器はマイクロホンからなり、再生装置として機能させる場合には電気音響変換器はスピーカからなる。
(2)フィルタリング部を含むこと
2つ以上の電気音響変換器を有し、それぞれ独立なフィルタ処理できるようなフィルタリング部１６０を有していること。
2つ以上の電気音響変換器を有し、それぞれ独立なフィルタ処理できるようなフィルタリング部１６０を有していること。
(3)電気音響変換器の配置
反射構造体１９０の外側、内側に、それぞれ一つ以上の電気音響変換器１１１、１１２が設置されていること。
反射構造体１９０の外側、内側に、それぞれ一つ以上の電気音響変換器１１１、１１２が設置されていること。
図２を用いて、反射構造体１９０の内側に設置した電気音響変換器１１２と、外側に設置した電気音響変換器１１１とでは明らかに伝達特性の性質が異なることを説明する。なお、この例では、音響装置を収音装置として機能させ、電気音響変換器はマイクロホンからなる。また、この例では、3つの電気音響変換器１１１−１、１１１−２、１１２と2つの制御点Ａ、Ｂを設けた。電気音響変換器は、反射構造体１９０の内側と外側とにそれぞれ一つ以上あればいいので、電気音響変換器１１１−１、１１１−２はどちらかが存在すればよい。なお、音響装置を収音装置として機能させる場合、制御点はターゲット音の存在する方向若しくは位置または雑音の存在する方向若しくは位置として想定されるものであり、音響装置を再生装置として機能させる場合、制御点は再生音の音圧を上げたい方向若しくは位置（再生制御点）、または、音圧を下げたい方向若しくは位置（抑圧制御点）である。
図２Ａは、制御点Ａから3つの電気音響変換器１１１−１、１１１−２、１１２までの伝達特性の性質について示す。反射構造体１９０の内側にある電気音響変換器１１２では、直接音、回折音及び反射音を観測する。なお、回折音とは反射構造体１９０で回折して到来する音であり、反射音とは反射構造体１９０の内壁で反射して到来する音である。一方で、反射構造体１９０の外側にある電気音響変換器１１１−１は、反射構造体１９０の上壁に取り付けられているので、バウンダリ型のマイクロホンと同様に反射構造体の上壁からの反射音を受音しづらい。そのため、強い振幅の直接音と反射構造体１９０の外壁で回折して到来する回折音を観測する。また、反射構造体１９０の後側にある電気音響変換器１１１−２は、反射構造体１９０の外壁で回折して到来する回折音を観測する。
図２Ｂでは、制御点Ｂと各電気音響変換器１１１−１、１１１−２、１１２の間の伝達特性の性質について示す。電気音響変換器１１１−１、１１１−２では、反射・回折の影響を受けにくく、強い振幅の直接音を受音する。一方、電気音響変換器１１２では、反射構造体の外壁で回折して到来した音、さらに内壁で反射して到来した音を受音する。
このように、制御点の位置が異なることで、各制御点と各電気音響変換器１１１−１、１１１−２、１１２との間の伝達特性の性質が大きく異なる。よって、反射構造体１９０の内側に設置した電気音響変換器１１２の伝達特性と、外側に設置した電気音響変換器１１１−１、１１１−２の伝達特性との間の相関が小さくなることが見込まれる。なお、反射音の影響により、制御点の位置や収音環境（例えば収音装置の外部に存在する反射物等）の変化に対して、制御点から電気音響変換器１１２への伝達特性は変調しやすく、制御点から電気音響変換器１１１−１、１１１−２への伝達特性は変調しづらい。例えば、図２Ａにおいて、制御点Ａが制御点Ｃに変化した場合、各制御点から電気音響変換器１１１−１、１１１−２への伝達特性はあまり変調しないのに対し、各制御点から電気音響変換器１１２への伝達特性は反射音の影響により（各制御点から電気音響変換器１１１−１、１１１−２への伝達特性に比べ）大きく変調する。
よって、上述の必須条件(1)、(3)は、音響装置の外部にある音源からの伝達特性が変調されづらくなるように配置された電気音響変換器と、音源からの伝達特性が変調されやすくなるように配置された電気音響変換器とを含むことと言い換えてもよい。
また、上述の必須条件(1)、(3)は、反射構造体が音響装置の外部にある音源から電気音響変換器への伝達特性に変調を与えず、音源から電気音響変換器への伝達特性に変調を与えるように配置されていることと言い換えてもよい。
[必須ではないがあるとよい条件]
さらに、伝達特性を無相関化させるために以下のような条件を組合せる方式が考えられる。
さらに、伝達特性を無相関化させるために以下のような条件を組合せる方式が考えられる。
(4)拡散構造体の設置
反射構造体１９０の壁面や内側に、制御点Ａと電気音響変換器１１２との間の反射経路数が多くなるような拡散構造体１８０が一つ以上設置されていること（図３参照）。制御点Ａと電気音響変換器１１２との間の反射経路を図３に示す。反射構造体１９０だけで決まる反射経路（破線）も存在するが、拡散構造体１８０を設置することにより、反射経路（一点鎖線）が増える。従って、拡散構造体１８０は、拡散構造体１８０を有さない場合の伝達特性を変調するものである。反射経路が増えることによって、収音装置の容積が限定された状況でも、音場の拡散性が高まるので、伝達特性間の相関が小さくなることが期待できる。なお、拡散構造体１８０の形状や配置位置には限定はなく、凹凸の曲面を持ってもよい。ただし、図４のように、反射構造体１９０の開口部を塞ぐような板を拡散構造体１８０としてしまった場合、制御点Ａと電気音響変換器１１２と間の反射経路を減らしてしまうので、拡散構造体１８０の形状や配置として適さない。よって、拡散構造体１８０は、収音装置に入射された音、または、再生装置に含まれるスピーカから発せられた音の反射回数が、拡散構造体１８０を有さない場合よりも多くなるように配置されている。
反射構造体１９０の壁面や内側に、制御点Ａと電気音響変換器１１２との間の反射経路数が多くなるような拡散構造体１８０が一つ以上設置されていること（図３参照）。制御点Ａと電気音響変換器１１２との間の反射経路を図３に示す。反射構造体１９０だけで決まる反射経路（破線）も存在するが、拡散構造体１８０を設置することにより、反射経路（一点鎖線）が増える。従って、拡散構造体１８０は、拡散構造体１８０を有さない場合の伝達特性を変調するものである。反射経路が増えることによって、収音装置の容積が限定された状況でも、音場の拡散性が高まるので、伝達特性間の相関が小さくなることが期待できる。なお、拡散構造体１８０の形状や配置位置には限定はなく、凹凸の曲面を持ってもよい。ただし、図４のように、反射構造体１９０の開口部を塞ぐような板を拡散構造体１８０としてしまった場合、制御点Ａと電気音響変換器１１２と間の反射経路を減らしてしまうので、拡散構造体１８０の形状や配置として適さない。よって、拡散構造体１８０は、収音装置に入射された音、または、再生装置に含まれるスピーカから発せられた音の反射回数が、拡散構造体１８０を有さない場合よりも多くなるように配置されている。
図５は、拡散構造体１８０が、曲面を有する立体構造物である場合の形状例を示す断面図である。この例では、反射構造体１９０の開口部と有する面と対向する内壁面に、開口部方向に突出した拡散構造体１８０を備え、図５Ａでは断面凹状の面を有し、図５Ｂでは断面凸状の面を有する。なお、音響装置を収音装置として機能させる場合、反射構造体１９０の開口部から入射された音を収音装置の内部のマイクロホンに導く構造であることが望ましい。例えば、図５Ｂの場合、拡散構造体１８０の先端で音を収音装置の外部に反射してしまうため、図５Ａのほうがより望ましい形状と考えられる。また、音響装置を再生装置として機能させる場合、再生装置に含まれるスピーカから発せられた音を外部に導く構造であることが望ましい。
(5)指向性の異なる電気音響変換器の使用
様々な指向性を持つ電気音響変換器を混ぜて使用することで、伝達特性間の相関を小さくし、無相関化を図る。例えば、電気音響変換器の指向性に限定はないが、無指向性、単一指向性、双指向性、ハイパーカーディオイドといった様々な指向性を持つ電気音響変換器を混ぜて使用する。仮に、同じ位置に指向性の異なる電気音響変換器を配置した場合、同じ制御点との間の伝達特性は異なるものとなる。例えば、図２Ａにおいて、電気音響変換器１１２の位置に無指向性のマイクロホンまたは単一指向性のマイクロホンを配置した場合、制御点Ａと無指向性のマイクロホンとの間の伝達特性と、制御点Ａと単一指向性のマイクロホンとの間の伝達特性とは、異なるものとなる。よって、この条件により、指向性の違いによる伝達特性の変化を利用して、さらに、伝達特性間の相関を小さくし、無相関化を図る。
様々な指向性を持つ電気音響変換器を混ぜて使用することで、伝達特性間の相関を小さくし、無相関化を図る。例えば、電気音響変換器の指向性に限定はないが、無指向性、単一指向性、双指向性、ハイパーカーディオイドといった様々な指向性を持つ電気音響変換器を混ぜて使用する。仮に、同じ位置に指向性の異なる電気音響変換器を配置した場合、同じ制御点との間の伝達特性は異なるものとなる。例えば、図２Ａにおいて、電気音響変換器１１２の位置に無指向性のマイクロホンまたは単一指向性のマイクロホンを配置した場合、制御点Ａと無指向性のマイクロホンとの間の伝達特性と、制御点Ａと単一指向性のマイクロホンとの間の伝達特性とは、異なるものとなる。よって、この条件により、指向性の違いによる伝達特性の変化を利用して、さらに、伝達特性間の相関を小さくし、無相関化を図る。
反射構造体１９０の外側に設置されている電気音響変換器１１１と、反射構造体１９０の内側に設置されている電気音響変換器１１２との指向性が異なる構成としてもよい。また、反射構造体１９０の外側に複数の電気音響変換器１１１を設置し、その電気音響変換器１１１間の指向性が異なる構成としてもよい。同様に複数の電気音響変換器１１２間の指向性が異なる構成としてもよい。
(6)電気音響変換器または拡散構造体の向きまたは配置を変更
音響装置を収音装置として機能させる場合、以下の条件を加えてもよい。電気音響変換器（マイクロホン）１１２の向きまたは配置を変更するような可動制御手段２００を含む（図６Ａ参照）。また、上述の条件(4)（拡散構造体１８０を設置すること）と組合せる場合には、（例えば板状の）拡散構造体１８０の向きまたは配置を変更するような可動制御手段２００を含む構成であってもよい（図６Ｂ参照）。なお、上述の条件(4)と組合せる場合には、電気音響変換器１１２及び拡散構造体１８０の少なくとも一つの向きまたは配置を、同時に、または、別々に変更するような可動制御手段２００を含む構成であってもよい。
音響装置を収音装置として機能させる場合、以下の条件を加えてもよい。電気音響変換器（マイクロホン）１１２の向きまたは配置を変更するような可動制御手段２００を含む（図６Ａ参照）。また、上述の条件(4)（拡散構造体１８０を設置すること）と組合せる場合には、（例えば板状の）拡散構造体１８０の向きまたは配置を変更するような可動制御手段２００を含む構成であってもよい（図６Ｂ参照）。なお、上述の条件(4)と組合せる場合には、電気音響変換器１１２及び拡散構造体１８０の少なくとも一つの向きまたは配置を、同時に、または、別々に変更するような可動制御手段２００を含む構成であってもよい。
例えば、可動制御手段２００はモータ等からなり、制御量Cに応じて、回転し、回転軸に対して垂直に設置された円板を回転させ、円板上に設置された電気音響変換器１１２の配置を変更する。また、回転軸に設置された拡散構造体１８０を回転させ、向きを変更する。利用に先立ち、予め各制御量εにおける伝達特性A→(ω,ε)=[a→(ω,ε),b→ 1(ω,ε),…,b→ M(ω,ε),]を測定し、図示しない記憶部に記憶しておく。さらに、図示しないセンサー間相関計算部において、伝達特性A→(ω,ε)と観測信号X→(ω,τ)=[X1(ω,τ),…,XM(ω,τ)]とから、センサー間相関を計算し、次式により、制御量Cを求め、これを可動制御手段２００に出力する。
電気音響変換器１１２や拡散構造体１８０の向きや配置により、伝達特性は変化するので、伝達特性間の相関が小さくなるように電気音響変換器１１２や拡散構造体１８０の向きまたは配置を変更する。なお、複数の電気音響変換器１１２や複数の拡散構造体１８０を用いる場合には、一部を固定し、残りを可動制御手段２００により変更する構成としてもよい。
＜第一実施形態に係る収音装置１０＞
図７は収音装置１０の斜視図、図８はその正面図、図９はその側面図を示す。図１０は図８のX-X断面を示す概念図、図１１は図８のXI-XI断面を示す概念図を示す。
図７は収音装置１０の斜視図、図８はその正面図、図９はその側面図を示す。図１０は図８のX-X断面を示す概念図、図１１は図８のXI-XI断面を示す概念図を示す。
図１１に示すように、反射構造体１９０が形成する三次元空間の内部に11本の第二マイクロホン２１２を直線的に配置している。さらに、図示していないが、反射構造体１９０が形成する三次元空間の外部（上壁の外壁面上）に11本の第一マイクロホン２１１を直線的に配置している。反射構造体１９０の形状は、一つ以上の開口部が形成されていれば、その形状に制限はないが、この実施形態では横長の直方体がベースとなっており、前面を開口面としている。また、反射構造体１９０は、反射面が平面であって、適度な厚みと剛性を持つ平板の反射板（例えば、反射率αを0.8とする）からなる。反射構造体１９０反射面は、必ずしも平面でなくともよく、凹凸のある平板であってもよい。さらに、本実施形態では、音を反射構造体の中に取り入れやすくするため、開口面にホーン１９１を設けている。ホーン１９１は、反射構造体１９０の外側から見た開口面積が大きく、内側から見た開口面積が小さくなるような形状としている。音が反射構造体１９０内に入りやすく出にくい構造となっている。なお、一つ以上の開口面があればよく、開口面の形状や数に限定はない。ホーンをつけてもよいし、つけなくてもよい。本実施形態では、開口面に拡散構造体１８０毎にホーン１９１を設けている。
反射構造体１９０が三次元空間を形成し、拡散構造体１８０がその三次元空間内に設置される。拡散構造体１８０は、凹状の曲面を持った形状とする。開口面から到来した音が拡散構造体１８０に反射して、反射構造体１９０内で多重に反射することを狙ってこの形状としている。拡散構造体１８０はＱ個（Ｑ≧１）設置されていればよく、本実施形態では、１０個の拡散構造体１８０が設置されている（図１１参照）。
第二マイクロホン２１２を反射構造体１９０の形成する三次元空間の内部に設置できるような構造になっている。また、反射構造体１９０の上壁の外壁面上に第一マイクロホン２１１を設置できるような構造になっている。
第一マイクロホン２１１は、音響的に透過な音響透過カバー１９２で覆われている。「音響的に透過」とは、反射・回折が生じない（または生じにくい）ことを意味し、例えば、音響透過カバー１９２はパンチングメタルからなる。音響透過カバー１９２は、第一マイクロホン２１１を衝撃等から防護するためのカバーであって、必ずしも設けなくともよい。
[収音装置１０の信号処理]
第一実施形態に係る収音装置１０の機能構成および処理フローを図１２と図１３に示す。この第一実施形態の収音装置１０は、Ｍ１個の第一マイクロホン２１１−ｍ１、Ｍ２個の第二マイクロホン２１２−ｍ２、ＡＤ変換部１２０、周波数領域変換部１３０、フィルタリング部１６０、時間領域変換部１７０、フィルタ計算部１５０、伝達特性記憶部１４０を含む。ｍ１＝１，２，…，Ｍ１であり、ｍ２＝１，２，…，Ｍ２であり、Ｍ１≧１、Ｍ２≧１であり、Ｍ１＋Ｍ２＝Ｍである。
第一実施形態に係る収音装置１０の機能構成および処理フローを図１２と図１３に示す。この第一実施形態の収音装置１０は、Ｍ１個の第一マイクロホン２１１−ｍ１、Ｍ２個の第二マイクロホン２１２−ｍ２、ＡＤ変換部１２０、周波数領域変換部１３０、フィルタリング部１６０、時間領域変換部１７０、フィルタ計算部１５０、伝達特性記憶部１４０を含む。ｍ１＝１，２，…，Ｍ１であり、ｍ２＝１，２，…，Ｍ２であり、Ｍ１≧１、Ｍ２≧１であり、Ｍ１＋Ｍ２＝Ｍである。
＜第一マイクロホン２１１−ｍ１、第二マイクロホン２１２−ｍ２＞
Ｍ１個の第一マイクロホン２１１−ｍ１、Ｍ２個の第二マイクロホン２１２−ｍ２を用いて収音し（ｓ１）、アナログ信号（収音信号）をＡＤ変換部１２０に出力する。Ｍ１個の第一マイクロホン２１１−ｍ１が反射構造体１９０の外側に設置され、Ｍ２個の第二マイクロホン２１２−ｍ２は反射構造体１９０の内側に設置されている。
Ｍ１個の第一マイクロホン２１１−ｍ１、Ｍ２個の第二マイクロホン２１２−ｍ２を用いて収音し（ｓ１）、アナログ信号（収音信号）をＡＤ変換部１２０に出力する。Ｍ１個の第一マイクロホン２１１−ｍ１が反射構造体１９０の外側に設置され、Ｍ２個の第二マイクロホン２１２−ｍ２は反射構造体１９０の内側に設置されている。
＜ＡＤ変換部１２０＞
ＡＤ変換部１２０が、Ｍ１個の第一マイクロホン２１１−ｍ１とＭ２個の第二マイクロホン２１２−ｍ２とで収音された合計M個のアナログ信号をディジタル信号x→(t)＝[x1(t),…,xM(t)]Tへ変換し、（ｓ２）、周波数領域変換部に出力する。ｔは離散時間のインデックスを表す。
ＡＤ変換部１２０が、Ｍ１個の第一マイクロホン２１１−ｍ１とＭ２個の第二マイクロホン２１２−ｍ２とで収音された合計M個のアナログ信号をディジタル信号x→(t)＝[x1(t),…,xM(t)]Tへ変換し、（ｓ２）、周波数領域変換部に出力する。ｔは離散時間のインデックスを表す。
＜周波数領域変換部１３０＞
周波数領域変換部１３０は、まず、ＡＤ変換部１２０が出力したディジタル信号x→(t)＝[x1(t),…,xM(t)]Tを入力とし、チャネルごとにNサンプルをバッファに貯めてフレーム単位のディジタル信号x→(τ)＝[x→ 1(τ),…,x→ M(τ)]Tを生成する。τはフレーム番号のインデックスである。x→ m(τ)=[xm((τ-1)N+1),…,xm(τN)]（1≦m≦M）である。Nはサンプリング周波数にもよるが、48kHzサンプリングの場合には2048点あたりが妥当である。次に、周波数領域変換部１３０は、各フレームのディジタル信号x→(τ)を周波数領域の信号X→(ω,τ)＝[X1(ω,τ),…,XM(ω,τ)]Tに変換し（ｓ３）、出力する。ωは離散周波数のインデックスである。時間領域信号を周波数領域信号に変換する方法の一つに高速離散フーリエ変換があるが、これに限定されず、周波数領域信号に変換する他の方法を用いてもよい。周波数領域信号X→(ω,τ)は、各周波数ω、フレームτごとに出力される。
周波数領域変換部１３０は、まず、ＡＤ変換部１２０が出力したディジタル信号x→(t)＝[x1(t),…,xM(t)]Tを入力とし、チャネルごとにNサンプルをバッファに貯めてフレーム単位のディジタル信号x→(τ)＝[x→ 1(τ),…,x→ M(τ)]Tを生成する。τはフレーム番号のインデックスである。x→ m(τ)=[xm((τ-1)N+1),…,xm(τN)]（1≦m≦M）である。Nはサンプリング周波数にもよるが、48kHzサンプリングの場合には2048点あたりが妥当である。次に、周波数領域変換部１３０は、各フレームのディジタル信号x→(τ)を周波数領域の信号X→(ω,τ)＝[X1(ω,τ),…,XM(ω,τ)]Tに変換し（ｓ３）、出力する。ωは離散周波数のインデックスである。時間領域信号を周波数領域信号に変換する方法の一つに高速離散フーリエ変換があるが、これに限定されず、周波数領域信号に変換する他の方法を用いてもよい。周波数領域信号X→(ω,τ)は、各周波数ω、フレームτごとに出力される。
＜伝達特性記憶部１４０＞
伝達特性記憶部１４０は、予め収音装置１０を使って測定された伝達特性A→(ω)=[a→(ω),b→ 1(ω),…,b→ K(ω)]を記憶しておく。a→(ω)＝[a1(ω),…,aM(ω)]Tを、ターゲット音とM本のマイクロホンとの間の周波数ωでの伝達特性、換言すれば、a→(ω)＝[a1(ω),…,aM(ω)]Tは、マイクロホンアレーに含まれる各マイクロホンへのターゲット音の周波数ωでの伝達特性とする。k=1,2,…,Kであり、Kは雑音の個数であり、bk →(ω)＝[bk1(ω),…,bkM(ω)]Tを、雑音kとM本のマイクロホンとの間の周波数ωでの伝達特性、換言すれば、bk →(ω)＝[bk1(ω),…,bkM(ω)]Tは、マイクロホンアレーに含まれる各マイクロホンへの雑音kの周波数ωでの伝達特性とする。なお、伝達特性A→(ω)は、事前測定によらず、理論式やシミュレーションにより事前に用意してもよい。
伝達特性記憶部１４０は、予め収音装置１０を使って測定された伝達特性A→(ω)=[a→(ω),b→ 1(ω),…,b→ K(ω)]を記憶しておく。a→(ω)＝[a1(ω),…,aM(ω)]Tを、ターゲット音とM本のマイクロホンとの間の周波数ωでの伝達特性、換言すれば、a→(ω)＝[a1(ω),…,aM(ω)]Tは、マイクロホンアレーに含まれる各マイクロホンへのターゲット音の周波数ωでの伝達特性とする。k=1,2,…,Kであり、Kは雑音の個数であり、bk →(ω)＝[bk1(ω),…,bkM(ω)]Tを、雑音kとM本のマイクロホンとの間の周波数ωでの伝達特性、換言すれば、bk →(ω)＝[bk1(ω),…,bkM(ω)]Tは、マイクロホンアレーに含まれる各マイクロホンへの雑音kの周波数ωでの伝達特性とする。なお、伝達特性A→(ω)は、事前測定によらず、理論式やシミュレーションにより事前に用意してもよい。
＜フィルタ計算部１５０＞
フィルタ計算部１５０は、伝達特性記憶部１４０から伝達特性A→(ω)を取り出し、フィルタW→(ω)を計算し、フィルタリング部１６０に出力する。例えば、特定の位置または方向からの音響信号を抑圧する信号処理に用いるフィルタW→(ω)を計算する。
フィルタ計算部１５０は、伝達特性記憶部１４０から伝達特性A→(ω)を取り出し、フィルタW→(ω)を計算し、フィルタリング部１６０に出力する。例えば、特定の位置または方向からの音響信号を抑圧する信号処理に用いるフィルタW→(ω)を計算する。
本発明のビームフォーミング技術の要点は、複数の電気音響変換器の内、一部を音響装置の外部にある音源からの伝達特性が変調されづらくなるように配置し、残りを音源からの伝達特性が変調されやすくなるように配置して、広帯域に渡って伝達特性を無相関化させることである。そのため、フィルタの設計コンセプト自体に影響を与えないので、従来技術と同様の方法により、フィルタW→(ω)を設計することができる。例えば、参考文献３に記載されている<１>SN比最大化規準によるフィルタ設計法、<２>パワーインバージョン(Power Inversion)に基づくフィルタ設計法、<３>一つ以上の死角（雑音のゲインが抑圧される方向）を拘束条件に持つ最小分散無歪応答法によるフィルタ設計法、<４>遅延合成（Delay-and-Sum Beam Forming）法によるフィルタ設計法、<５>最尤法によるフィルタ設計法、<６>AMNOR（Adaptive Microphone-array for noise reduction）法等によって、フィルタW→(ω)を設計することができる。
[参考文献３]国際公開第ＷＯ２０１２／０８６８３４号パンフレット
[参考文献３]国際公開第ＷＯ２０１２／０８６８３４号パンフレット
例えば、遅延和法をベースとする場合、式(16)により、フィルタW→ DS1(ω)を計算する。
また例えば、最尤法をベースとする場合、式(17)により、フィルタW→ DS2(ω)を計算する。
また例えば、一つ以上の死角を拘束条件に持つ最小分散無歪応答法によるフィルタ設計法の場合、次式により、フィルタW→ DS3(ω)を計算する。
ただし、ｆS(ω),fk(ω)はそれぞれターゲット音、雑音k(k=1,2,…,K)に関する周波数ωでの通過特性を表す。例えば、式(18)において、伝達特性a→(ω)が方向θに依存する伝達特性a→(ω,θ)として事前に用意できる場合には、伝達特性a→(ω,θ)を用いて、フィルタW→(ω,θ)を計算し、フィルタリング部１６０において、特定の方向θsの信号処理が行える。また、伝達特性a→(ω)が方向θ、距離Dに依存する伝達特性a→(ω,θ,D)として事前に用意できる場合には、伝達特性a→(ω,θ,D)を用いて、フィルタW→(ω,θ,D)を計算し、フィルタリング部１６０において、特定の位置（特定の方向θsと距離DHにより特定される位置）の信号処理が行える。
＜フィルタリング部１６０＞
フィルタリング部１６０は、予めフィルタ計算部１５０からフィルタW→(ω)を受け取っておき、周波数領域信号X→(ω,τ)を受け取り、フレームτごとに、各周波数ω∈Ωについて、周波数領域信号X→(ω,τ)=[X1(ω,τ),…,XM(ω,τ)]Tに、フィルタW→(ω)を適用して（式(5)参照、ｓ４）、出力信号Y(ω,τ)を出力する。
フィルタリング部１６０は、予めフィルタ計算部１５０からフィルタW→(ω)を受け取っておき、周波数領域信号X→(ω,τ)を受け取り、フレームτごとに、各周波数ω∈Ωについて、周波数領域信号X→(ω,τ)=[X1(ω,τ),…,XM(ω,τ)]Tに、フィルタW→(ω)を適用して（式(5)参照、ｓ４）、出力信号Y(ω,τ)を出力する。
例えば、フィルタリング部はＭ１個の第一マイクロホン２１１−ｍ１による収音信号とＭ２個の第二マイクロホン２１２−ｍ２による収音信号とに基づき、空間上の少なくとも複数の位置または方向から発せられた音響信号の収音特性を異ならせるものであればよい。「収音特性を異ならせる」とは、例えば、特定の位置で発せられた音響信号を局所収音して他の位置で発せられた音響信号を極力収音しないようにしたり、逆に特定の位置で発せられた音響信号を抑圧（消音）して他の位置で発せられた音響信号のみを収音したりすることを意味する。
＜時間領域変換部１７０＞
時間領域変換部１７０は、第τフレームの各周波数ω∈Ωの出力信号Y(ω,τ)を時間領域に変換して（ｓ５）、第τフレームのフレーム単位時間領域信号y(τ)を得て、さらに、得られたフレーム単位時間領域信号y(τ)をフレーム番号のインデックスの順番に連結して時間領域信号y(t)を出力する。周波数領域信号を時間領域信号に変換する方法は、ｓ３の処理で用いた変換方法に対応する逆変換であり、例えば高速離散逆フーリエ変換である。
時間領域変換部１７０は、第τフレームの各周波数ω∈Ωの出力信号Y(ω,τ)を時間領域に変換して（ｓ５）、第τフレームのフレーム単位時間領域信号y(τ)を得て、さらに、得られたフレーム単位時間領域信号y(τ)をフレーム番号のインデックスの順番に連結して時間領域信号y(t)を出力する。周波数領域信号を時間領域信号に変換する方法は、ｓ３の処理で用いた変換方法に対応する逆変換であり、例えば高速離散逆フーリエ変換である。
＜効果＞
このような構成により、所定の指向性能に対する装置規模を従来技術よりも小さくできる。そのとき、ターゲット音と雑音を聞き分けるための手掛かりが観測信号に含まれることになるので、例えば、事前に用意した伝達特性を使ってフィルタを使って適切な信号処理をすることで、広帯域に渡って任意の指向制御が可能になる。なお、本実施形態では、予めフィルタW→(ω)を計算しているが、収音装置１０の計算処理能力などに応じて、所定の指向性能が定まってからフィルタ計算部１５０が周波数ごとのフィルタW→(ω)を計算する構成としてもよい。
このような構成により、所定の指向性能に対する装置規模を従来技術よりも小さくできる。そのとき、ターゲット音と雑音を聞き分けるための手掛かりが観測信号に含まれることになるので、例えば、事前に用意した伝達特性を使ってフィルタを使って適切な信号処理をすることで、広帯域に渡って任意の指向制御が可能になる。なお、本実施形態では、予めフィルタW→(ω)を計算しているが、収音装置１０の計算処理能力などに応じて、所定の指向性能が定まってからフィルタ計算部１５０が周波数ごとのフィルタW→(ω)を計算する構成としてもよい。
＜第二実施形態＞
本発明は、スピーカを用いた再生装置として扱ってもよい。
本発明は、スピーカを用いた再生装置として扱ってもよい。
本実施形態は、拡散センシングを基にして、伝達特性を物理的に変調する収音装置に係るものである。複数のマイクロホンからなるマイクロホンアレーに代えて、複数のスピーカからなるスピーカアレーを用いる。よって、その外観図は、第一マイクロホン２１１及び第二マイクロホン２１２をそれぞれ第一スピーカ３１１及び第二スピーカ３１２に変えたものとなり、反射構造体１９０、ホーン１９１、音響透過カバー１９２、拡散構造体１８０等の形状について、第一実施形態と同様である（図７−図１１参照）。
第二スピーカ３１２を反射構造体１９０の形成する三次元空間の内部に設置できるような構造になっている。また、反射構造体１９０の上壁に第一スピーカ３１１を設置できるような構造になっている。
[再生装置３０の信号処理]
M(≧2)個のスピーカを用いて制御点Ｄで強調されるような指向制御を行うことを考える。
M(≧2)個のスピーカを用いて制御点Ｄで強調されるような指向制御を行うことを考える。
第二実施形態に係る再生装置３０の機能構成および処理フローを図１４と図１５に示す。この第二実施形態の再生装置３０は、Ｍ１個の第一スピーカ３１１−ｍ１、Ｍ２個の第二スピーカ３１２−ｍ２、周波数領域変換部３００、フィルタリング部３３０、時間領域変換部３４０、フィルタ計算部３２０、伝達特性記憶部３１０を含む。ｍ１＝１，２，…，Ｍ１であり、ｍ２＝１，２，…，Ｍ２であり、Ｍ１≧１、Ｍ２≧１であり、Ｍ１＋Ｍ２＝Ｍである。
信号源２００が音源信号s(t)を出力する。この実施形態では、信号源２００からの音源信号s(t)はディジタル信号であるとする。ただし、音源信号としてアナログ信号を用いる場合には、アナログ信号をディジタル信号s(t)へＡＤ変換するＡＤ変換部を設ければよい。
＜周波数領域変換部３００＞
まず、周波数領域変換部３００は、ディジタル信号s(t)を受け取り、Nサンプルをバッファに貯めてフレーム単位のディジタル信号s(τ)を出力する。次に、周波数領域変換部３００は、各フレームのディジタル信号s(τ)を周波数領域の信号S(ω,τ)に変換して（ｓ３１）出力する。
まず、周波数領域変換部３００は、ディジタル信号s(t)を受け取り、Nサンプルをバッファに貯めてフレーム単位のディジタル信号s(τ)を出力する。次に、周波数領域変換部３００は、各フレームのディジタル信号s(τ)を周波数領域の信号S(ω,τ)に変換して（ｓ３１）出力する。
＜伝達特性記憶部３１０及びフィルタ計算部３２０＞
伝達特性記憶部３１０及びフィルタ計算部３２０の機能構成は、第一実施形態と同様である。例えば、フィルタ計算部３２０は、伝達特性記憶部３１０から伝達特性A→(ω)を取り出し、参考文献４記載の方法により、フィルタW→(ω)を計算し、フィルタリング部３３０に出力する。例えば、特定の位置または方向への音響信号を抑圧する信号処理に用いるフィルタW→(ω)を計算する。
［参考文献４］羽田陽一、片岡章俊、「自由空間伝達関数を用いた多点制御に基づく小型スピーカアレーの実空間性能」、日本音響学会研究発表会講演論文集、2008、pp.631-632
伝達特性記憶部３１０及びフィルタ計算部３２０の機能構成は、第一実施形態と同様である。例えば、フィルタ計算部３２０は、伝達特性記憶部３１０から伝達特性A→(ω)を取り出し、参考文献４記載の方法により、フィルタW→(ω)を計算し、フィルタリング部３３０に出力する。例えば、特定の位置または方向への音響信号を抑圧する信号処理に用いるフィルタW→(ω)を計算する。
［参考文献４］羽田陽一、片岡章俊、「自由空間伝達関数を用いた多点制御に基づく小型スピーカアレーの実空間性能」、日本音響学会研究発表会講演論文集、2008、pp.631-632
＜フィルタリング部３３０＞
フィルタリング部３３０は、予めフィルタ計算部３２０からフィルタW→(ω)を受け取っておき、周波数領域信号S(ω,τ)を受け取り、フレームτごとに、各周波数ω∈Ωについて、周波数領域信号S(ω,τ)に、フィルタW→(ω)を適用して（次式参照、ｓ３２）、出力信号Z→(ω,τ)＝[Z1(ω,τ),…,ZM(ω,τ)]を出力する。
フィルタリング部３３０は、予めフィルタ計算部３２０からフィルタW→(ω)を受け取っておき、周波数領域信号S(ω,τ)を受け取り、フレームτごとに、各周波数ω∈Ωについて、周波数領域信号S(ω,τ)に、フィルタW→(ω)を適用して（次式参照、ｓ３２）、出力信号Z→(ω,τ)＝[Z1(ω,τ),…,ZM(ω,τ)]を出力する。
例えば、フィルタリング部３３０は、空間上の少なくとも複数の位置へ、M1個の第一スピーカ３１１−ｍ１及びM2個の第二スピーカ３１２−ｍ２から発する音響信号の再生特性を異ならせるものであればよい。「再生特性を異ならせる」とは、例えば、特定の位置で音響信号を局所再生して他の位置で音響信号を極力再生しないようにしたり、逆に特定の位置で音響信号を再生しないようにして他の位置でのみ音響信号を再生したりすることを意味する。
＜時間領域変換部３４０＞
時間領域変換部３４０は、第τフレームの各周波数ω∈Ωの再生信号Z→(ω,τ)＝[Z1(ω,τ),…,ZM(ω,τ)]を時間領域に変換して（ｓ３３）、第τフレームのフレーム単位時間領域信号z→(τ)＝[z1(τ),…,zM(τ)]を得て、さらに、得られたフレーム単位時間領域信号z→(τ)＝[z1(τ),…,zM(τ)]をフレーム番号のインデックスの順番に連結して、時間領域信号z→(t)＝[z1(t),…,zM(t)]を出力する。周波数領域信号を時間領域信号に変換する方法は、ｓ３１の処理で用いた変換方法に対応する逆変換であり、例えば高速離散逆フーリエ変換である。
時間領域変換部３４０は、第τフレームの各周波数ω∈Ωの再生信号Z→(ω,τ)＝[Z1(ω,τ),…,ZM(ω,τ)]を時間領域に変換して（ｓ３３）、第τフレームのフレーム単位時間領域信号z→(τ)＝[z1(τ),…,zM(τ)]を得て、さらに、得られたフレーム単位時間領域信号z→(τ)＝[z1(τ),…,zM(τ)]をフレーム番号のインデックスの順番に連結して、時間領域信号z→(t)＝[z1(t),…,zM(t)]を出力する。周波数領域信号を時間領域信号に変換する方法は、ｓ３１の処理で用いた変換方法に対応する逆変換であり、例えば高速離散逆フーリエ変換である。
＜第一スピーカ３１１−ｍ１、第二スピーカ３１２−ｍ２＞
Mチャネルの時間領域信号z1(t),…,zM(t)はそれぞれ、スピーカアレーを構成するM1個の第一スピーカ３１１−ｍ１、M2個の第二スピーカ３１２−ｍ２のうち、チャネルに対応するスピーカで再生される（ｓ３４）。Ｍ１個の第一スピーカ３１１−ｍ１が反射構造体１９０の外側に設置され、Ｍ２個の第二スピーカ３１２−ｍ２は反射構造体１９０の内側に設置されている。
Mチャネルの時間領域信号z1(t),…,zM(t)はそれぞれ、スピーカアレーを構成するM1個の第一スピーカ３１１−ｍ１、M2個の第二スピーカ３１２−ｍ２のうち、チャネルに対応するスピーカで再生される（ｓ３４）。Ｍ１個の第一スピーカ３１１−ｍ１が反射構造体１９０の外側に設置され、Ｍ２個の第二スピーカ３１２−ｍ２は反射構造体１９０の内側に設置されている。
＜効果＞
このような構成により、所定の指向性能に対する装置規模を従来技術よりも小さくできる。なお、本実施形態では、予めフィルタW→(ω)を計算しているが、再生装置３０の計算処理能力などに応じて、所定の指向性能が定まってからフィルタ計算部３２０が周波数ごとのフィルタW→(ω)を計算する構成としてもよい。
このような構成により、所定の指向性能に対する装置規模を従来技術よりも小さくできる。なお、本実施形態では、予めフィルタW→(ω)を計算しているが、再生装置３０の計算処理能力などに応じて、所定の指向性能が定まってからフィルタ計算部３２０が周波数ごとのフィルタW→(ω)を計算する構成としてもよい。
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
＜プログラム及び記録媒体＞
上述した収音装置及び再生装置は、コンピュータにより機能させることもできる。この場合、コンピュータを目的とする装置（各種実施形態で図に示した機能構成を持つ装置）として機能させるためのプログラム、またはコンピュータにその処理手順（各実施形態で示したもの）の各過程を実行させるためのプログラムを、そのコンピュータに実行させればよい。なお、そのプログラムは、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等のコンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータにプログラムを実行させる際には、そのプログラムを記録媒体から読み込んでもよいし、または、そのプログラムを記録したサーバ等から通信回線を介してダウンロードしてもよい。
上述した収音装置及び再生装置は、コンピュータにより機能させることもできる。この場合、コンピュータを目的とする装置（各種実施形態で図に示した機能構成を持つ装置）として機能させるためのプログラム、またはコンピュータにその処理手順（各実施形態で示したもの）の各過程を実行させるためのプログラムを、そのコンピュータに実行させればよい。なお、そのプログラムは、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等のコンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータにプログラムを実行させる際には、そのプログラムを記録媒体から読み込んでもよいし、または、そのプログラムを記録したサーバ等から通信回線を介してダウンロードしてもよい。
本発明は、狭指向音声強調技術、音声スポット強調技術、狭指向音声再生技術、音声スポット再生技術に利用することができる。また、AGC(Auto Gain Control)技術やエリア収音及び再生技術に利用することもできる。
Claims (8)
- 収音装置の外部にある制御点からの伝達特性が変調されづらくなるように配置された少なくとも一つの第一マイクロホンと、
前記制御点からの伝達特性が変調されやすくなるように配置された少なくとも一つの第二マイクロホンとを含む、
収音装置。 - 少なくとも第一マイクロホンと第二マイクロホンとを含む収音装置であって、
当該収音装置の外部にある制御点から前記第一マイクロホンへの伝達特性に変調を与えず、前記制御点から前記第二マイクロホンへの伝達特性に変調を与えるように配置された反射部をさらに含む、
収音装置。 - 音を反射可能な素材からなり、開口部を有し、開口部以外は三次元空間を形成する反射部と、
前記三次元空間の外部に配置される第一マイクロホンと、
前記三次元空間の内部に配置される第二マイクロホンとを含む、
収音装置。 - 請求項１から請求項３の何れかに記載の収音装置であって、
前記第一マイクロホンによる収音信号と前記第二マイクロホンによる収音信号とに基づき、空間上の少なくとも複数の位置または方向から発せられた音響信号の収音特性を異ならせるフィルタリング部をさらに含む、
収音装置 - 再生装置の外部にある制御点への伝達特性が変調されづらくなるように配置された少なくとも一つの第一スピーカと、
前記制御点への伝達特性が変調されやすくなるように配置された少なくとも一つの第二スピーカとを含む、
再生装置。 - 少なくとも第一スピーカと第二スピーカとを含む再生装置であって、
前記第一スピーカから当該再生装置の外部にある制御点への伝達特性に変調を与えず、前記第二スピーカから前記制御点への伝達特性に変調を与えるように配置された反射部をさらに含む、
再生装置。 - 音を反射可能な素材からなり、開口部を有し、開口部以外は三次元空間を形成する反射部と、
前記三次元空間の外部に配置される第一スピーカと、
前記三次元空間の内部に配置される第二スピーカとを含む、
再生装置。 - 請求項５から請求項７の何れかに記載の再生装置であって、
空間上の少なくとも複数の位置へ、前記第一スピーカ及び前記第二スピーカから発する音響信号の再生特性を異ならせるフィルタリング部をさらに含む、
再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013010803A JP6031364B2 (ja) | 2013-01-24 | 2013-01-24 | 収音装置及び再生装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013010803A JP6031364B2 (ja) | 2013-01-24 | 2013-01-24 | 収音装置及び再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014143569A true JP2014143569A (ja) | 2014-08-07 |
| JP6031364B2 JP6031364B2 (ja) | 2016-11-24 |
Family
ID=51424541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013010803A Expired - Fee Related JP6031364B2 (ja) | 2013-01-24 | 2013-01-24 | 収音装置及び再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6031364B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020191686A (ja) * | 2020-08-21 | 2020-11-26 | ヤマハ株式会社 | 収音装置および収音方法 |
| US11197091B2 (en) | 2017-03-24 | 2021-12-07 | Yamaha Corporation | Sound pickup device and sound pickup method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10304499A (ja) * | 1997-02-28 | 1998-11-13 | Matsushita Electric Ind Co Ltd | スピーカ装置 |
| JP2004253977A (ja) * | 2003-02-19 | 2004-09-09 | Niro1.Com Inc | スピーカシステム |
| WO2009051132A1 (ja) * | 2007-10-19 | 2009-04-23 | Nec Corporation | 信号処理システムと、その装置、方法及びそのプログラム |
| JP2009284110A (ja) * | 2008-05-20 | 2009-12-03 | Funai Electric Advanced Applied Technology Research Institute Inc | 音声入力装置及びその製造方法、並びに、情報処理システム |
-
2013
- 2013-01-24 JP JP2013010803A patent/JP6031364B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10304499A (ja) * | 1997-02-28 | 1998-11-13 | Matsushita Electric Ind Co Ltd | スピーカ装置 |
| JP2004253977A (ja) * | 2003-02-19 | 2004-09-09 | Niro1.Com Inc | スピーカシステム |
| WO2009051132A1 (ja) * | 2007-10-19 | 2009-04-23 | Nec Corporation | 信号処理システムと、その装置、方法及びそのプログラム |
| JP2009284110A (ja) * | 2008-05-20 | 2009-12-03 | Funai Electric Advanced Applied Technology Research Institute Inc | 音声入力装置及びその製造方法、並びに、情報処理システム |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11197091B2 (en) | 2017-03-24 | 2021-12-07 | Yamaha Corporation | Sound pickup device and sound pickup method |
| US11758322B2 (en) | 2017-03-24 | 2023-09-12 | Yamaha Corporation | Sound pickup device and sound pickup method |
| JP2020191686A (ja) * | 2020-08-21 | 2020-11-26 | ヤマハ株式会社 | 収音装置および収音方法 |
| JP7040568B2 (ja) | 2020-08-21 | 2022-03-23 | ヤマハ株式会社 | 収音装置および収音方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6031364B2 (ja) | 2016-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8098844B2 (en) | Dual-microphone spatial noise suppression | |
| Flanagan et al. | Autodirective microphone systems | |
| US10334390B2 (en) | Method and system for acoustic source enhancement using acoustic sensor array | |
| JP6196320B2 (ja) | 複数の瞬間到来方向推定を用いるインフォ−ムド空間フィルタリングのフィルタおよび方法 | |
| KR100856246B1 (ko) | 실제 잡음 환경의 특성을 반영한 빔포밍 장치 및 방법 | |
| JP6329296B2 (ja) | 収音装置 | |
| WO2013068284A1 (en) | Method and apparatus for processing signals of a spherical microphone array on a rigid sphere used for generating an ambisonics representation of the sound field | |
| WO2007059255A1 (en) | Dual-microphone spatial noise suppression | |
| JP6117142B2 (ja) | 変換装置 | |
| JP6031364B2 (ja) | 収音装置及び再生装置 | |
| JP5948259B2 (ja) | 収音装置及び再生装置 | |
| Wang et al. | Two-stage enhancement of noisy and reverberant microphone array speech for automatic speech recognition systems trained with only clean speech | |
| JP6288808B2 (ja) | 収音装置及び再生装置 | |
| US11830471B1 (en) | Surface augmented ray-based acoustic modeling | |
| JP6063890B2 (ja) | 変換装置 | |
| Firoozabadi et al. | Combination of nested microphone array and subband processing for multiple simultaneous speaker localization | |
| JP2013135373A (ja) | ズームマイク装置 | |
| Li et al. | A two-microphone noise reduction method in highly non-stationary multiple-noise-source environments | |
| Kajala | A multi-microphone beamforming algorithm with adjustable filter characteristics | |
| Kowalczyk | Multichannel Wiener filter with early reflection raking for automatic speech recognition in presence of reverberation | |
| Suzuki et al. | Spot-forming method by using two shotgun microphones | |
| Zou et al. | A broadband speech enhancement technique based on frequency invariant beamforming and GSC | |
| Schroeter et al. | Acoustic Signal Processing | |
| Yang et al. | Binaural Angular Separation Network | |
| The et al. | An Improved Implementation of Generalized Sidelobe Canceller Filter in Diffuse Noise Field |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160308 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160506 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161018 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161024 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6031364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |