JP2013135373A

JP2013135373A - ズームマイク装置

Info

Publication number: JP2013135373A
Application number: JP2011285158A
Authority: JP
Inventors: Kenta Niwa; 健太丹羽; Sumitaka Sakauchi; 澄宇阪内; Kenichi Furuya; 賢一古家; Manabu Okamoto; 学岡本; Yoichi Haneda; 陽一羽田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2011-12-27
Filing date: 2011-12-27
Publication date: 2013-07-08

Abstract

【課題】反射器内に配置される全てのマイクロホンの観測信号を拡散状態に近いものとし、観測信号のレベルを従来技術と同等以上の大きさとしつつ、観測信号に含まれる雑音を低減して目的音を高ＳＮ比で収音できるズームマイク装置を提供する。
【解決手段】ズームマイク装置は複数個のマイクロホンと、音を反射可能な素材により作成された反射器とにより構成される。反射器は第一の反射部と第二の反射部とを有する。第一の反射部は開口部を有し、開口部以外は複数個のマイクロホンが配置された三次元空間を囲む構造であり、かつ、開口部から入射した音が複数回反射してマイクロホンに達し得る構造である。第二の反射部は、第一の反射部の開口部に接する第一の開口部と、ズームマイク装置外の空間に接する第二の開口部とを有し、収音対象としない空間で発せられた音が第一の反射部内部に到達するのを防ぐ構造である。
【選択図】図９

Description

本発明は所望の位置を含む狭い範囲の音声を強調する技術（狭指向音声強調技術）を実現するズームマイク装置に関する。

例えばマイクロホンを備えた動画撮影装置（ビデオカメラやカムコーダ）で被写体をズームイン撮影する場合を考えると、ズームイン撮影に連動して被写体近傍のみからの音声が強調されることが動画撮影にとって好ましい。このような、所望の位置（目的位置）を含む狭い範囲の音声を強調する技術（狭指向音声強調技術）は、従来から研究・開発されている。なお、マイクロホンの周囲の方向とマイクロホンの感度との関係は指向性と呼ばれ、或る方向への指向性が鋭いほど、当該方向を含む狭い範囲の音声を強調し、当該範囲以外の範囲の音声を抑圧することができる。なお、この明細書では、「音声」は、人の発する声に限定されるものではなく、人や動物の声はもとより楽音や環境雑音など「音」一般を指す。

音源とマイクロホン間の伝達特性は、観測する環境に依存して変化する。例えば部屋の環境（広さ、壁の位置や素材等）やマイクロホンの近傍に設置された反射物の影響を受ける。非特許文献１では反射板をマイクロホンアレーの近傍に配置し、伝達特性自体を変えて、その影響を考慮したビームフォーミングのフィルタを設計することで、狭指向音声強調技術を実現している。後述するが、狭指向音声強調技術を実現するためには、伝達特性をより拡散状態に近づけたほうがよい。非特許文献１では反射板で音を多重反射させることで拡散状態に近い観測信号を生成している。なお、「拡散状態」とは等方位的に音が到来する状態であり、観測信号とはマイクロホンアレーを構成する各マイクロホンで観測される信号である。

図１は従来技術のズームマイク装置７の概念図を示す。断面Ｌ字状に配置された反射板７１に各マイクロホン７２を埋め込む。このような方法では、各マイクロホン７２の観測信号に含まれる反射音の数が少ないので拡散状態に近い観測信号を生成できない。

図２は非特許文献１のズームマイク装置８の概念図を示す。ズームマイク装置７の短所を修正するために、ズームマイク装置８では四角形の１つの角を削った形状の反射板８１を用いる。目的音源７３に対してマイクロホンの開口面が見えるように配置するために、一部の各マイクロホン７２は内向きに、残りの各マイクロホン８２は外向きに反射板８１に埋め込む。一部の各マイクロホン７２には反射板８１で囲われている空間内で多重反射した音が到来する。各マイクロホン７２の拡散状態に近い観測信号に基づきフィルタを設計することで狭指向音声強調技術を実現している。

丹羽健太、阪内澄宇、古家賢一、岡本学、羽田陽一、「大型多重反射板付きマイクロホンアレーを用いた超指向性収音」、日本音響学会研究発表会講演論文集、2011年

本来は全てのマイクロホンの観測信号が拡散状態に近いものとなることが望ましい。しかしながら非特許文献１のズームマイク装置８ではその条件を満たすことはできない。つまり残りの各マイクロホン８２の観測信号には反射音が含まれておらず、拡散状態に近いものとは言えない。

上述の問題を解決するために以下に示すズームマイク装置９が考えられる。図３はズームマイク装置９の概念図を示す。全てのマイクロホンの観測信号を拡散状態に近いものとするために、ズームマイク装置９では反射板８１に対して全てのマイクロホン９２を内向きに埋め込む。このような構成とすることで全てのマイクロホン９２の観測信号が拡散状態に近いものとなる。しかし目的音源７３に対するマイクロホンの開口面積ｄ_３が、ズームマイク装置７及び８それぞれの開口面積ｄ_１及びｄ_２に比べ小さくなる。開口面積が小さいと観測信号のレベルが小さくなり、目的音を高ＳＮ比で収音することが困難となる。

またズームマイク装置７、８及び９の何れも周囲の雑音源７４から発せられる雑音が回り込むため、ＳＮ比が低くなる。特にズームマイク装置８は残りの各マイクロホン８２が外向きに埋め込まれているため観測信号に含まれる雑音の量が多くなるという問題がある。

本発明は、反射器内に配置される全てのマイクロホンの観測信号を拡散状態に近いものとし、観測信号のレベルを従来技術と同等以上の大きさとしつつ、観測信号に含まれる雑音を低減して目的音を高ＳＮ比で収音できるズームマイク装置を提供することを目的とする。

上記の課題を解決するために、本発明の第一の態様によれば、ズームマイク装置は複数個のマイクロホンと、音を反射可能な素材により作成された反射器とにより構成される。反射器は第一の反射部と第二の反射部とを有する。第一の反射部は開口部を有し、開口部以外は複数個のマイクロホンが配置された三次元空間を囲む構造であり、かつ、開口部から入射した音が複数回反射してマイクロホンに達し得る構造である。第二の反射部は、第一の反射部の開口部に接する第一の開口部と、ズームマイク装置外の空間に接する第二の開口部とを有し、収音対象としない空間で発せられた音が第一の反射部内部に到達するのを防ぐ構造である。

本発明に係るズームマイク装置によれば、反射器内に配置される全てのマイクロホンの観測信号を拡散状態に近いものとし、処理対象の信号のレベルを従来技術と同等以上の大きさとし、さらに雑音を排除して目的音を高ＳＮ比で収音できるという効果を奏する。

従来技術のズームマイク装置の概略図。非特許文献１のズームマイク装置の概略図。非特許文献１に対し変更を加えたズームマイク装置の概略図。図４Ａは目的音源から発せられた音が反射板に反射し、マイクロホンに等方位的に到来する状態を示す図であり、図４Ｂは図４Ａの反射板８１による鏡像を示す図。二乗ノルム化された相互相関｜γ（ω，Δｐ^→ _ｍ，ｑ^→ _ｎ）｜^２と距離｜Δｐ^→ _ｍ｜／λとの関係を示す図。次元比ε、固有値λ及び固有値密度関数ｆ（λ）の関係を示す図。第一実施形態に係るズームマイク装置の機能構成を示す図。第一実施形態に係るズームマイク装置の処理フローを示す図。反射器に対する各マイクロホンの配置例を示す断面図。図９の反射器の概略図。第一反射部の開口部及び開口部以外の断面の長さ、第二反射部の第一開口部及び第二開口部の断面の長さの示す図。第一実施形態に係るズームマイク装置の正面図。第一実施形態に係るズームマイク装置の側面図。第一反射部の形状の変形例を示す図。第二反射部の形状の変形例を示す図。第二反射部の形状の別の変形例を示す図。反射器に対するマイクロホンの別の配置例を示す断面図。

以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「^→」は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

＜第一実施形態の原理＞
本実施形態では反射器をマイクロホンの近傍に設置することで、拡散状態に近い観測信号を生成し、これに基づき拡散センシングを実装し、狭指向音声強調技術を実現している。なお、拡散センシングとは”拡散状態にある信号を観測することで、多チャネルのセンサーを効果的に利用した空間制御を可能にすること”である。以下、本実施形態の原理について説明する。

＜ビームフォーミングの定式化＞
異なる位置にあるＮ個の音源から到来する音をＭ本のマイクロホンが捉えるものとする。但し、Ｍは１より大きい整数であり、ＮはＭより大きい整数である。つまり、１＜Ｍ＜Ｎである。ｍをマイクロホンのインデックスとし、ｍ＝１，…，Ｍであり、ｍに関して「マイクロホンのインデックス」を単に「マイクロホン」ともいう。ｎを音源のインデックスとし、ｎ＝１，…，Ｎであり、ｎに関して「音源のインデックス」を単に「音源」ともいう。マイクロホンｍの位置をｐ^→ _ｍ＝［ｐ_ｍｘ，ｐ_ｍｙ，ｐ_ｍｚ］、音源ｎの位置をｑ^→ _ｎ＝［ｑ_ｎｘ，ｑ_ｎｙ，ｑ_ｎｚ］とする。音源ｎとＭ個のマイクロホンｍ間の周波数ωにおける音響伝達特性をａ^→（ω，ｑ^→ _ｎ）＝［ａ_１（ω，ｐ^→ _１，ｑ^→ _ｎ），…，ａ_Ｍ（ω，ｐ^→ _Ｍ，ｑ^→ _ｎ）］^Ｔと定義し、Ｎ個の音源ｎとＭ個のマイクロホンｍ間の周波数ωにおける音響伝達特性行列をＡ^→（ω）＝［ａ^→（ω，ｑ^→ _１），…，ａ^→（ω，ｑ^→ _Ｎ）］と定義する。但し、ωは離散周波数のインデックス（周波数ｆと角周波数ωとの間にはω＝２πｆの関係があるから、離散周波数のインデックスωをこの角周波数ωと同一視してもかまわない。ωに関して「離散周波数のインデックス」を単に「周波数」ともいう）、^Ｔは転置を表す。ｔを時刻（もしくはある時刻に対応するフレーム番号）のインデックスとし、ｔに関して「時刻のインデックス」を単に「時刻」ともいう。時刻ｔ、周波数ωにおけるＭチャネルの観測信号Ｘ^→（ω，ｔ）＝［Ｘ_１（ω，ｔ），…，Ｘ_Ｍ（ω，ｔ）］は、音響伝達特性行列Ａ^→（ω）＝［ａ^→（ω，ｑ^→ _１），…，ａ^→（ω，ｑ^→ _Ｎ）］とＮ個の音源信号Ｓ^→（ω，ｔ）＝［Ｓ_１（ω，ｔ），…，Ｓ_Ｎ（ω，ｔ）］^Ｔを用いると以下の式で表される。

Ｎ個の音源信号Ｓ_ｎ（ω，ｔ）が互いに無相関な系列だと仮定すると以下の式が成り立つ（非特許文献１参照）。

但し^Ｈ、＜・＞及びＩ^→はそれぞれ共役転置、期待値演算子及び単位行列を表す。

目的位置ｑ^→ _Ｓから発せられる目的音の周波数領域表現を周波数ωで強調するフィルタをＷ^→（ω，ｑ^→ _Ｓ）とする。このとき、目的音の周波数領域表現が周波数ωで強調された周波数領域信号（以下、出力信号と呼ぶ）Ｙ（ω，ｔ，ｑ^→ _Ｓ）は以下の式で与えられる。

フィルタＷ^→（ω，ｑ^→ _Ｓ）の設計法としては種々あるが、ここでは最小分散無歪応答法（ＭＶＤＲ method;minimum variance distortion response method）に拠る場合を説明する。最小分散無歪応答法では、フィルタＷ^→（ω，ｑ^→ _Ｓ）は、目的音に対応するゲインを以下の式（５）の拘束条件で拘束し、空間相関行列Ｒ^→（ω）を用いて出力信号Ｙ（ω，ｔ）のパワー｜Ｙ（ω，ｔ）｜^２が周波数ωで最小となるように設計される（式（４）参照）。ａ^→（ω，ｑ^→ _Ｓ）＝［ａ_１（ω，ｑ^→ _Ｓ），…，ａ_Ｍ（ω，ｑ^→ _Ｓ）］^Ｔは、目的位置ｑ^→ _Ｓに音源が在ると仮定した場合の、当該音源とＭ本のマイクロホンとの間の周波数ωでの伝達特性である。換言すれば、ａ^→（ω，ｑ^→ _Ｓ）は、各マイクロホンｍへの目的位置ｑ^→ _Ｓの音声の周波数ωでの伝達特性である。

式（４）の最適解であるフィルタＷ^→（ω，ｑ^→ _Ｓ）は以下の式で与えられることが知られている。
（参考文献１）Simon Haykin著、鈴木博他訳、「適応フィルタ理論」、初版、株式会社科学技術出版、2001．pp.66-73,248-255

空間相関行列Ｒ^→（ω）の逆行列が式（６）に含まれることから察せられるように、空間相関行列Ｒ^→（ω）の構造は鋭い指向性を実現する上で重要であることがわかる。また、式（６）から、目的位置ｑ^→ _Ｓ以外の位置から発せられる音声（以下「目的位置ｑ^→ _Ｓ以外の位置から発せられる音声」を「雑音」とも呼ぶ）のパワーは空間相関行列Ｒ^→（ω）の構造に依存することもわかる。

ここでａ^→（ω，ｑ^→ _Ｓ）は既知であり、方向だけでなく、距離に依存する量である。観測信号の空間的な性質を表す空間相関行列Ｒ^→（ω）は以下の式で計算される（非特許文献１参照）。

なお式（７）の展開は式（２）と期待値演算を平均化処理で置き換えることで実現している。

従来技術では、観測信号に対する最適なフィルタ設計が課題となっており、式（６）の最小分散無歪応答法もその一つの方法である。つまり、ある固定の空間相関行列Ｒ^→（ω）に対して最適なフィルタＷ^→（ω）を設計することが課題となっていた。しかし、これでは周波数帯域によっては出力信号のパワーを小さくできないことがあった。そこで本実施形態では出力信号のパワーを最小化するために最適な観測信号を生成する。つまり反射器を用いて空間相関行列Ｒ^→（ω）を変更し、変更した空間相関行列Ｒ^→（ω）に応じたフィルタＷ^→（ω）を設計することで出力信号のパワーを最小化する。以下、出力信号のパワーを最小化するために最適な空間相関行列Ｒ^→（ω）の構造について説明する。

＜チャネル間の相互相関＞
マイクロホンアレーを用いたビームフォーミングでは、マイクロホン間に生じる情報の差（時間差、振幅差など）を利用して指向制御してきた。よって、マイクロホン間の情報に差をつけること、換言すると、チャネル間の相互相関を小さくすることは重要なことである。ｐ^→ _ｍとｐ^→ _ｍ＋Δｐ^→ _ｍの位置にある二本のマイクロホンのチャネル間の相互相関は以下の式で計算される。

但し^＊は複素共役を表す。

以下、反射を多数繰り返し、等方位的に反射音が到来する場合の観測信号を拡散信号と呼ぶ。図４Ａは目的音源７３から発せられた音が反射板８１に反射し、マイクロホンｍに等方位的に到来する状態を示し、図４Ｂは図４Ａの反射板８１による鏡像を示す。このようにしてマイクロホンｍで収音した観測信号が拡散信号である。拡散信号は拡散状態に近い信号と言える。例えばトンネルや洞窟の中で発せられた際の残響がかった音が拡散信号に近い。

拡散信号が到来する際の、ｐ^→ _ｍとｐ^→ _ｍ＋Δｐ^→ _ｍの位置にある二本のマイクロホンのチャネル間の相互相関γ（ω，Δｐ^→ _ｍ，ｑ^→ _ｎ）は以下の式で与えられることが知られている。
（参考文献２）唐沢好男、「ディジタル移動通信の電波伝搬基礎」、コロナ社、２００３年、p.65-67

ここでｋ（＝ω／ｃ）及びｃはそれぞれ波数及び音速を表す。図５は二乗ノルム化された相互相関｜γ（ω，Δｐ^→ _ｍ，ｑ^→ _ｎ）｜^２と距離｜Δｐ^→ _ｍ｜／λとの関係を示す。但しこのλは波長を示す。図中、直接音のみの場合のθ_ｋは二本のマイクロホンに対する直接音の発せられる方向を、σ_θはその標準偏差を表す。｜γ（ω，Δｐ^→ _ｍ，ｑ^→ _ｎ）｜^２は、二つのマイクロホン間の距離が大きくなるほど小さくなることが分かる。さらに、拡散信号の相互相関は、直接音のみの相互相関に比べ、距離に対して急激に小さくなることが分かる。例えば、｜Δｐ^→ _ｍ｜／λ＝０．１３以上のとき、拡散信号の相互相関｜γ（ω，Δｐ^→ _ｍ，ｑ^→ _ｎ）｜^２は０．１以下になるのに対し、直接音のみの相互相関はほぼ１．０である。従って、所定の大きさの空間内に複数個のマイクロホンを配置し拡散信号を観測する場合、直接音のみを観測する場合に比べて、相互相関を小さくするために必要なマイクロホン間の距離を小さくすることができる。それにより所定の大きさの空間内に配置できるマイクロホンの個数を多くすることができ、収音できる音が増加し、狭指向音声強調性能が向上する。

同様に、ｑ^→ _ｎとｑ^→ _ｎ＋Δｑ^→ _ｎの位置にある二つの音源間の相互相関γ（ω，ｐ^→ _ｍ，Δｑ^→ _ｎ）も、直接音のみの相互相関に比べ、拡散信号の相互相関のほうが距離に対して急激に小さくなる。従って、所定の大きさの収音空間内に複数の音源位置を設定し、拡散信号を観測する場合、直接音のみを観測する場合に比べて、相互相関を小さくするために必要な音源位置間の距離を小さくすることができ、収音空間内により多くの音源位置を設定することができる。つまり、音源位置をより細かく設定することができ、狭指向音声強調性能が向上する。

拡散信号を観測したときの音響伝達特性行列Ａ^→（ω）の構成要素であるａ_ｍ ^→（ω，ｐ^→ _ｍ，ｑ^→ _ｎ）の統計的性質について述べる（非特許文献１参照）。前述の通り、拡散信号を用いマイクロホン間の距離及び音源位置間の距離を十分に大きくとれば、チャネル間の相互相関が小さくなるので、ａ_ｍ ^→（ω，ｐ^→ _ｍ，ｑ^→ _ｎ）の実部と虚部とは、それぞれ独立に平均０、分散１の正規分布に従う。よってａ_ｍ ^→（ω，ｐ^→ _ｍ，ｑ^→ _ｎ）の平均、分散に関する性質は以下の式で表される。

＜空間相関行列Ｒ^→（ω）の固有値分布＞
空間相関行列Ｒ^→（ω）の構造について説明する。まず空間相関行列Ｒ^→（ω）の構造を調査するために、固有値分解すると以下の式で表すことができる。

但しｄｉａｇ｛・｝は対角行列を表す。Ｖ^→（ω）はＭ個の固有ベクトルｖ^→ _ｍ（ω）で構成され、Λ^→（ω）はＭ個の固有値λ_ｍ（ω）で構成される。なお、Ｍ個の固有値はλ_１（ω）≧…≧λ_Ｍ（ω）の順とする（非特許文献１参照）。

ここで、ランダム行列の共分散行列であるＷｉｓｈａｒｔ行列の極限固有値定理を用いることで、空間相関行列Ｒ^→（ω）の固有値密度関数を導出する。まず音響伝達特性行列Ａ^→（ω）の行と列の次元の比εを以下の式で定義する。

音響伝達特性行列Ａ^→（ω）を構成するａ_ｍ ^→（ω，ｐ^→ _ｍ，ｑ^→ _ｎ）が独立に式（１０）、（１１）を満たす正規分布に従うとき、Ｒ^→（ω）の固有値密度関数ｆ（λ）は以下の式で計算される。

図６は次元比ε、固有値λ及び固有値密度関数ｆ（λ）の関係を示す。図６からεを小さくすることで固有値λが存在する範囲が狭くなり、１に集中することが分かる。つまり、観測信号の拡散の度合いを高めて、式（１０）、（１１）を満たす正規分布に従うことが成り立つように音源位置数Ｎを増やすことができれば、Ｒ^→（ω）のＭ個の固有値λ_ｍ（ω）は平滑に近づき、全て１に漸近的に近づく。よってΛ^→（ω）は以下の式で表される。

なお単純に音源位置数Ｎを増やすと、二つの音源間の距離が小さくなり、二つの音源間の相互相関γ（ω，ｐ^→ _ｍ，Δｑ^→ _ｎ）が大きくなる。そうするとａ_ｍ ^→（ω，ｐ^→ _ｍ，ｑ^→ _ｎ）の実部と虚部とは、それぞれ独立との要件を満たさなくなり、式（１０）、（１１）を満たさなくなる。本実施形態では拡散信号を観測することで収音空間内により多くの音源位置を設定し、音源位置数Ｎを増やすことができる。

＜出力信号のパワー＞
拡散信号を観測したときの式（４）の出力信号のパワーを計算する。式（６）のフィルタと式（１２）の固有値、固有ベクトルを用いて、出力信号のパワーを書き直すと、以下の式になる（非特許文献１参照）。

拡散信号を観測したとき、式（１５）に示した通りＭ個の固有値λ_ｍ（ω）は１と近似できるので、式（１６）の値に注目する。固有ベクトルは直交規定群であることと、式（１１）の統計的な性質から式（１６）中の分子は以下のようにＭに近似できる。

よって拡散信号を観測したときの出力信号のパワーは以下の式で近似される。

式（１８）は重要な式である。それは出力信号のパワーがマイクロホン数Ｍのみに依存して周波数ωやマイクロホンアレーのサイズには依存しないことを示しているためである。拡散信号を観測する場合、所定の大きさの空間内により多くのマイクロホンを配置できＭを大きくして出力信号のパワーを小さくできる。

上述のようにして拡散センシングを実現している。つまり拡散センシングでは観測信号の拡散の度合いを高めるように反射器を用いて制御することで（ｉ）チャネル間の相互相関が小さくなる、（ｉｉ）空間相関行列の固有値が漸近的に１で近似できるようになる、（ｉｉｉ）出力信号のパワーをマイクロホン数Ｍのみに依存して抑圧することができる。但し、拡散センシングでは音響伝達特性行列Ａ^→（ω）が既知であることを仮定している。そして音響伝達特性行列Ａ^→（ω）を使って、式（７）により空間相関行列Ｒ^→（ω）を設計し、式（６）によりフィルタＷ^→（ω）を設計する。なお、音響伝達特性行列Ａ^→（ω）は利用に先立ち、計算機上でシミュレーションして算出したり、実測することで事前に用意し、既知のものとすることができる。

以下、本実施形態の構成及び処理フローについて説明する。

＜第一実施形態＞
第一実施形態に係るズームマイク装置１の機能構成及び処理フローをそれぞれ図７及び図８に示す。なお、観測信号を拡散信号とするためのハードウェア構成については後述する。ズームマイク装置１はＡＤ変換部２１０、フレーム生成部２２０、周波数領域変換部２３０、フィルタ適用部２４０、時間領域変換部２５０、フィルタ設計部２６０、記憶部２９０を含む。

＜ステップＳ１＞
予め、フィルタ設計部２６０が音声強調の対象となりえる測定位置ごとに、周波数ごとのフィルタＷ^→（ω，ｑ^→ _ｉ）を計算しておく。音声強調の対象となりえる測定位置の総数をＩ（Ｉは１以上の予め定められた整数であり、Ｉ≦Ｐを満たす）とすると、Ｗ^→（ω，ｑ^→ _１），…，Ｗ^→（ω，ｑ^→ _ｉ），…，Ｗ^→（ω，ｑ^→ _Ｉ）（１≦ｉ≦Ｉ，ω∈Ω；ｉは整数、Ωは周波数ωの集合）を事前に計算しておくのである。このためには、伝達特性ａ^→（ω，ｑ^→ _ｉ）＝［ａ_１（ω，ｑ^→ _ｉ），…，ａ_Ｍ（ω，ｑ^→ _ｉ）］^Ｔ（１≦ｉ≦Ｉ，ω∈Ω）を利用に先立ち求める必要があるが、前述の通り計算機上でシミュレーションして算出してもよいし、実環境下におけて実測することで事前に用意してもよい。シミュレーション法としては種々あるが、以下にその一例を示す。この例では伝達特性ａ^→（ω，ｑ^→ _ｉ）を、次式のように、１つの直接音のステアリングベクトルｈ^→ _ｉ ^（０）（ω）とＤ個の反射音のステアリングベクトルｈ^→ _ｉ ^（ｄ）（ω）（但し１≦ｄ≦Ｄ）との和で表現する。

但し、κ^（ｄ）（ω）はｄ番目の反射音の反射係数を、ｐ^→ _ｍ ^（ｄ）はマイクロホンｍのｄ番目の仮想マイクロホン（鏡像）の位置を、ｃは音速を表し、式（１９Ｃ）の||ｐ^→ _ｍ ^（ｄ）―ｑ^→ _ｉ||は、音源ｉからマイクロホンｍのｄ番目の仮想マイクロホンまでの距離を表す。

そして、伝達特性ａ^→（ω，ｑ^→ _ｉ）を用いて、式（６）によってＷ^→（ω，ｑ^→ _ｉ）（１≦ｉ≦Ｉ）を求める。なお、空間相関行列Ｒ^→（ω）は式（７）で計算できる。Ｉ×｜Ω｜個のフィルタＷ^→（ω，ｑ^→ _ｉ）（１≦ｉ≦Ｉ，ω∈Ω）は記憶部２９０に記憶される。｜Ω｜は集合Ωの要素数を表す。

＜ステップＳ２＞
Ｍ個のマイクロホン２００−１，…，２００−Ｍを用いて収音する。Ｍは２以上の整数である。

Ｍ個のマイクロホンの並べ方に制限は無い。ただし、２次元または３次元的にＭ個のマイクロホンを配置することによって、音声強調する方向の不確定性がなくなるという利点がある。つまり、Ｍ個のマイクロホンを水平方向に直線状に並べたときに例えば正面方向から到来する音声と真上から到来する音声との区別ができなくなるという問題を、マイクロホンを平面的ないし立体的に並べることで防ぐことができる。また、測定位置として設定できる範囲を広くとるためには、各マイクロホンの指向性は、収音位置である目的位置ｑ^→ _Ｓになり得る位置にある程度の音圧で音声を収音可能な指向性を持っていたほうがよい。したがって、無指向性マイクロホンや単一指向性マイクロホンといった指向性が比較的緩やかなマイクロホンが好適である。

＜ステップＳ３＞
ＡＤ変換部２１０が、Ｍ個のマイクロホン２００−１，…，２００−Ｍで収音されたアナログ信号（収音信号）をディジタル信号ｘ^→（ｋ）＝［ｘ_１（ｋ），…，ｘ_Ｍ（ｋ）］^Ｔへ変換する。ｋは離散時間のインデックスを表す。

＜ステップＳ４＞
フレーム生成部２２０は、ＡＤ変換部２１０が出力したディジタル信号ｘ^→（ｋ）＝［ｘ_１（ｋ），…，ｘ_Ｍ（ｋ）］^Ｔを入力とし、チャネルごとにＰサンプルをバッファに貯めてフレーム単位のディジタル信号ｘ^→（ｔ）＝［ｘ^→ _１（ｔ），…，ｘ^→ _Ｍ（ｔ）］^Ｔを出力する。ｔはフレーム番号のインデックスである。ｘ^→ _ｍ（ｔ）＝［ｘ_ｍ（（ｔ−１）Ｐ＋１），…，ｘ_ｍ（ｔＰ）］（１≦ｍ≦Ｍ）である。Ｐはサンプリング周波数にもよるが、１６ｋＨｚサンプリングの場合には５１２点あたりが妥当である。

＜ステップＳ５＞
周波数領域変換部２３０は、各フレームのディジタル信号ｘ^→（ｔ）を周波数領域の信号Ｘ^→（ω，ｔ）＝［Ｘ_１（ω，ｔ），…，Ｘ_Ｍ（ω，ｔ）］^Ｔに変換して出力する。ωは離散周波数のインデックスである。時間領域信号を周波数領域信号に変換する方法の一つに高速離散フーリエ変換があるが、これに限定されず、周波数領域信号に変換する他の方法を用いてもよい。周波数領域信号Ｘ^→（ω，ｔ）は、各周波数ω、フレームｔごとに出力される。

＜ステップＳ６＞
フィルタ適用部２４０は、フレームｔごとに、各周波数ω∈Ωについて、周波数領域信号Ｘ^→（ω，ｔ）＝［Ｘ_１（ω，ｔ），…，Ｘ_Ｍ（ω，ｔ）］^Ｔに、強調したい目的位置ｑ^→ _Ｓに対応するフィルタＷ^→（ω，ｑ^→ _Ｓ）を適用して、出力信号Ｙ（ω，ｔ，ｑ^→ _Ｓ）を出力する（以下の式（２１）参照）。目的位置ｑ^→ _ＳのインデックスＳは、Ｓ∈｛１，…，Ｉ｝であり、フィルタＷ^→（ω，ｑ^→ _Ｓ）は記憶部２９０に記憶されているので、例えば、ステップＳ６の処理の都度、フィルタ適用部２４０は、強調したい目的位置ｑ^→ _Ｓに対応するフィルタＷ^→（ω，ｑ^→ _Ｓ）を記憶部２９０から取得すればよい。目的位置ｑ^→ _ＳのインデックスＳが集合｛１，…，Ｉ｝に属さない場合、つまり、目的位置ｑ^→ _Ｓに対応するフィルタＷ^→（ω，ｑ^→ _Ｓ）がステップＳ１の処理で計算されていない場合、臨時に目的位置ｑ^→ _Ｓに対応するフィルタＷ^→（ω，ｑ^→ _Ｓ）をフィルタ設計部２６０に計算させてもよいし、あるいは目的位置ｑ^→ _Ｓに近い位置ｑ^→ _Ｓ’に対応するフィルタＷ^→（ω，ｑ^→ _Ｓ’）を用いてよい。

＜ステップＳ７＞
時間領域変換部２５０は、第ｔフレームの各周波数ω∈Ωの出力信号Ｙ（ω，ｔ，ｑ^→ _Ｓ）を時間領域に変換して第ｔフレームのフレーム単位時間領域信号ｙ（ｔ）を得て、さらに、得られたフレーム単位時間領域信号ｙ（ｔ）をフレーム番号のインデックスの順番に連結して目的位置ｑ^→ _Ｓの音声が強調された時間領域信号ｙ（ｋ）を出力する。周波数領域信号を時間領域信号に変換する方法は、ステップＳ５の処理で用いた変換方法に対応する逆変換であり、例えば高速離散逆フーリエ変換である。

ここでは、ステップＳ１の処理で予めフィルタＷ^→（ω，ｑ^→ _ｉ）を計算しておく実施形態を説明したが、ズームマイク装置１の計算処理能力などに応じて、目的位置ｑ^→ _Ｓが定まってからフィルタ設計部２６０が周波数ごとのフィルタＷ^→（ω，ｑ^→ _Ｓ）を計算する実施形態を採用することもできる。

＜ハードウェア構成＞
本実施形態のポイントは各マイクロホンの観測信号が拡散信号となる点である。なお、音源から放射された音がマイクロホンで観測されるまでの間に反射回数が多くなるほど観測信号は拡散的な信号となる。そこでハードウェア構成によって、より拡散的な信号が得られるように音響伝達特性行列Ａ^→（ω）を変化させ、Λ^→（ω）をよりＩ^→に近づける。以下、各マイクロホンの観測信号を拡散信号とするためのハードウェア構成について説明する。

ズームマイク装置１は、Ｍ個のマイクロホン１１_ｍと反射器１２とにより構成される。図９は反射器１２に対する各マイクロホン１１_ｍの配置例を示す断面図である。図１０は図９の反射器１２の概略図である。但し、図１０において各マイクロホン１１_ｍは省略している。なお、反射器１２は音を反射可能な素材により作成されている。例えばその素材は厚み１ｃｍ程度の木材、ＡＢＳ樹脂（アクリロニトリル(Acrylonitrile)、ブタジエン(Butadiene)、スチレン(Styrene)共重合合成樹脂）等である。

反射器１２は第一反射部１２１と第二反射部１２２とを有する。

第一反射部１２１は開口部１２１Ａを有する。反射器１２の、開口部１２１Ａ以外の部分にはＭ個のマイクロホン１１_ｍが配置されている。反射器１２の、開口部１２１Ａ以外の部分は三次元空間Ｚを囲む構造である。第一反射部１２１は、開口部１２１Ａから入射した音が、直接、一回または複数回反射して各マイクロホン１１_ｍに達し得る構造である。

第二反射部１２２は第一開口部１２２Ａと第二開口部１２２Ｂとを有する。第一開口部１２２Ａは第一反射部１２１の開口部１２１Ａに密に接する。第二開口部１２２Ｂはズームマイク装置１外の空間に接する。

開口部１２１Ａの断面の長さの最長値Ｂは、開口部１２１Ａ以外の断面の長さの最長値Ａよりも短い（図１１参照）。第一開口部１２２Ａの断面の長さの最長値は、開口部１２１Ａの断面の長さの最長値Ｂと同等であり、第二開口部１２２Ｂの断面の長さの最長値Ｃよりも短い。つまり、Ｂ＜ＡかつＢ＜Ｃである。換言すると、反射器１２は筒状であり、その一端が閉口され、他端が開口されており、中央付近に括れ部分を有している。括れ部分から一端側（閉口側）は第一反射部１２１からなり、括れ部分から他端側（開口側）は第二反射部１２２からなり、括れ部分は開口部１２１Ａ及び第一開口部１２２Ａからなり、開口が第二開口部１２２Ｂからなる。

このような構成により、ズームマイク装置１の目的音源７３に対する開口面積ｄ_４をズームマイク装置９の開口面積ｄ_３よりも大きくすることができる（図９参照）。なおズームマイク装置１の各マイクロホン１１_ｍの開口面は、ズームマイク装置９と同様に、第一反射部１２１の内方を向いており、直接、目的音源７３の方向を向いていいないが、目的音源７３から発せられた音は第二反射部１２２により第一反射部１２１内に誘導されるため、ズームマイク装置１の目的音源７３に対する開口面積ｄ_４は第二反射部１２２の形状に依存する大きさとなる。第二反射部１２２の長さや第二開口部１２２Ｂの大きさ等によりズームマイク装置７及び８のそれぞれの開口面積ｄ_１及びｄ_２と同等以上の開口面積を確保することができる。開口面積ｄ_４が大きいほうが観測信号のレベルが大きくなり、目的音を高ＳＮ比で収音できる。また第一反射部１２１の開口部１２１Ａの形状（開口部１２１Ａの断面の長さの最長値Ｂは、開口部１２１Ａ以外の断面の長さの最長値Ａよりも短い形状）により、一旦、第一反射部１２１内部に誘導した音を外部に逃さないという効果を奏する。

またこのような構成により、第二反射部１２２は正面方向から到来する音を強調する指向性を形成するので、反射器１２の背面や側面から到来する雑音を物理的に抑圧できる。換言すると、第二反射部１２２は収音対象としない空間で発せられた音が第一反射部１２１内部に到達するのを防ぐ構造を有する。例えば、収音対象としない空間で発せられた音は第二反射部１２２の形状（つまり、第一開口部１２２Ａの断面の長さの最長値Ｂが第二開口部１２２Ｂの断面の長さの最長値Ｃよりも短い形状）により反射され、その音が第一反射部１２１内部に直接到達することを低減することができる。よって、雑音を排除して目的音を高ＳＮ比で収音できる。なお第二反射部１２２が長いほうが雑音の回り込む可能性が低くなり、高ＳＮ比となる。

なお、括れ部分（開口部１２１Ａ及び第一開口部１２２Ａ）の大きさは、目的音の特性に合わせて適宜設定することができる。括れ部分を大きくすれば、第一反射部１２１内部に目的音を誘導しやすくなり、また低い周波数の目的音も収音しやすくなる。しかし、第一反射部１２１内部に一旦入ってきた目的音が括れ部分から外部へ出てしまい収音できない可能性が高まる。

以下、反射器１２の形状をより詳細に説明する。第一反射部１２１が、底面を合わせた二つの正八角錘の多錘面を構成している。但し一方の正八角錘の頭頂点近傍を削った形状とされる。換言すると、第一反射部１２１は、八枚の二等辺三角形状の平面と八枚の等脚台形状の平面とからなり、二等辺三角形の等しい二本の辺同士を接合して正八角錘の多錘面を構成し、等脚台形の上辺及び下辺を結ぶ二辺同士を接合して頭頂点近傍が削られた正多角錘の多錘面を構成する。等脚台形を成す平行な二本の対辺のうち、長い辺と二等辺三角形の底辺とを接合する。

第二反射部１２２が、正八角錘の頭頂点近傍を削った形状とされる。換言すると、第二反射部１２２は、八枚の等脚台形状の平面とからなり、等脚台形の上辺及び下辺を結ぶ二辺同士を接合して頭頂点近傍が削られた正多角錘の多錘面を構成する。

第一反射部１２１及び第二反射部１２２の正八角錘の削った部分を接合して反射器１２を構成する。換言すると、第一反射部１２１及び第二反射部１２２の等脚台形を成す平行な二本の対辺のうち短い辺同士を接合して反射器１２を構成する。

なお、第一反射部１２１と第二反射部１２２とは一体に形成してもよいし、取り外し可能に固定してもよい。取り外し可能としている場合には、第一反射部１２１と第二反射部１２２との間に防水用のシートや風切音軽減のためのウレタン等を挟んでもよい。

図１２及び図１３はそれぞれズームマイク装置１の正面図及び側面図を示す。支持構造体１３に上述の反射器１２が搭載されている。支持構造体１３は反射器１２を所定の位置、向きに固定指示することを目的としている。支持構造体１３は例えば型鋼、角鋼管などにより組み上げることができる。

本実施形態では、第一反射部１２１のみに各マイクロホン１１_ｍを取り付ける穴を設けている。本実施形態では、合計９６個のマイクロホンを配置しているが、マイクロホンの個数、配置位置に制限はない。但しマイクロホン間の観測信号の相互相関を小さくするために間隔を離して配置したほうがよい。例えば各マイクロホン間の間隔を｜Δｐ^→ _ｍ｜/λ＝０．１３ｍ以上となるように配置する。

本実施形態では、屋外での収音に対応するために、防水、防風対策として反射器１２を防水シート１４で覆っている。また、開口部１２１Ａには異物の侵入を防止するための目の粗いネット１５が張られており、第一反射部１２１と第二反射部１２２との間には音を透過し、水や異物の浸入を防止するためのシート１６が張られている。

＜効果＞
このような構成により、各マイクロホン１１_ｍは全て第一反射部１２１に対して内向きに配置されるため、その観測信号は拡散信号となる。よって、拡散センシングを効率的に行うハードウェアになりうる。また第二反射部１２２により処理対象の信号のレベルを従来技術と同等以上の大きさとし、さらに雑音を排除して目的音を高ＳＮ比で収音できる。

＜その他の変形例＞
反射器１２の形状は本実施形態に限定されるものではなく、筒状であり、その一端が閉口され、他端が開口されており、中央付近に括れ部分を有していればどのような形状であってもよい。例えば、第一反射部１２１の形状は、図１４（Ａ）〜（Ｈ）にそれぞれ示すように十二面体、二十面体、直方体、切頂八面体、多角柱、菱形十二面体、球体及び多角錘とその折返しからなる形状（なお、図１４（Ｈ）においては本実施形態と同様の八角錐であるが他の多角錘であってももちろんよい）等であってもよく、その何れかの面に開口部１２１Ａを設ければよい。一方、第二反射部１２２の形状は、図１５（Ａ）〜（Ｄ）にそれぞれ示すように多角錘型コニカルホーン、円錐型コニカルホーン、多角錘型ハイパブリックホーン、円錐型ハイパブリックホーンであってあってもよく、開口部１２１Ａに対応する第一開口部１２２Ａを有し、第一開口部１２２Ａの断面の長さの最長値Ｂよりも大きい断面の長さの最長値Ｃの第二開口部１２２Ｂを有していればよい。よって、例えば、図１６に示すように第二反射部１２２の形状はＲ（≧１）個の括れ部分を備える形状（蛇腹形状）であってもよい。但し何れの括れ部分の断面の長さＢ_ｒ（１≦ｒ≦Ｒ）も、第一反射部１２１における開口部１２１Ａ以外の断面の長さの最長値Ａ及び第二開口部１２２Ｂの断面の長さの最長値Ｃよりも短い。つまり、Ｂ_ｒ＜ＡかつＢ_ｒ＜Ｃである。

本実施形態では、第一反射部１２１上に空間Ｚに対して内向きにのみ各マイクロホン１１_ｍを配置しているが、第一反射部１２１上ではなく、空間Ｚ内に各マイクロホン１１_ｍ’を配置してもよい（図１７参照）。また第二反射部１２２の内向きにマイクロホン２１を配置してもよいし、第一反射部１２１や第二反射部１２２に対して外向きにマイクロホン３１を配置してもよい（図１７参照）。本実施形態の場合、第二反射部１２２に反射され第一反射部１２１内部の各マイクロホン１１_ｍに到達しない目的音が存在するが、その一部をマイクロホン２１で収音することができる。そのため、処理対象の信号のレベルを本実施形態と同等以上の大きさとし目的音を高ＳＮ比で収音できる。また、外向きに配置されたマイクロホン３１の観測信号は雑音であると考えられる。そこでマイクロホン３１の観測信号を用いて各マイクロホン１１_ｍの観測信号に含まれる雑音を消去することができる。このような構成により、さらに目的音を高ＳＮ比で収音できる。

本実施形態ではフィルタＷ^→（ω,ｑ^→ _Ｓ）を最小分散無歪応答法により設計しているが、他の設計法であってもよい。他の例としてＳＮ比最大化規準によるフィルタ設計法とパワーインバージョン(Power Inversion)に基づくフィルタ設計法などが考えられる。（参考文献３）。
（参考文献３）菊間信良著、「アダプティブアンテナ技術」、第１版、株式会社オーム社、２００３年、pp.35-90

本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
上述したズームマイク装置１の各処理（Ｓ１〜Ｓ７）は、コンピュータに実行させることもできる。この場合はコンピュータに、目的とする装置（各種実施例で図に示した機能構成をもつ装置）として機能させるためのプログラム、またはその処理手順（各実施例で示したもの）の各過程をコンピュータに実行させるためのプログラムを、ＣＤ−ＲＯＭ、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。

＜応用例＞
狭指向音声強調技術は、画像に譬えて表現すれば、不鮮明な惚けた画像から鮮明な画像を生成することに対応し、音場の情報をより詳細に得ることに役立つ。以下、本発明が有用なサービス例について述べる。

第一の例として、映像と組み合わせたコンテンツ制作が挙げられる。本発明の実施形態を利用すると、雑音（目的外音声等）が多い雑音環境でも遠方の目的音声をクリアに強調することができるので、例えば、フィールド外から撮影したサッカー選手がドリブルするズームイン映像に対応した音声付けを行うことができる。

第二の例として、TV会議システム（音声会議システムでもよい）への応用が挙げられる。狭い部屋で会議する場合には、従来技術でも、数本のマイクロホンを用いて発言者の音声を強調することがそれなりに可能であったが、広い会議室（例えばマイクロホンから5m以上離れた位置に話者が存在するような広い空間）では、クリアに遠方話者の音声を強調することが困難であり、このため、各発言者の前にマイクロホンを設置する必要があった。しかし、本発明の実施形態を利用すると、遠方の音をクリアに強調することが可能であるため、各発言者の前にマイクロホンを設置することなく、広い会議室に対応したTV会議システムを構築することが可能となる。

Claims

複数個のマイクロホンと、音を反射可能な素材により作成された反射器とにより構成されるズームマイク装置であって、
前記反射器は、
開口部を有し、開口部以外は前記複数個のマイクロホンが配置された三次元空間を囲む構造であり、かつ、前記開口部から入射した音が複数回反射して前記マイクロホンに達し得る構造である第一の反射部と、
前記第一の反射部の前記開口部に接する第一の開口部と、当該ズームマイク装置外の空間に接する第二の開口部とを有し、収音対象としない空間で発せられた音が前記第一の反射部内部に到達するのを防ぐ構造である第二の反射部とを有する、
ズームマイク装置。