以下、本発明に係る指向性制御システム及び指向性制御方法の各実施形態について、図面を参照して説明する。各実施形態の指向性制御システムは、例えば工場、公共施設(例えば図書館、イベント会場)、又は店舗(例えば小売店、銀行)に設置される監視システム(有人監視システム及び無人監視システムを含む)として用いられるが、特に限定されない。以下の各実施形態では、各実施形態の指向性制御システムは、例えば店舗に設置されるとして説明する。
なお、本発明は、指向性制御システムを構成する各装置(例えば後述する指向性制御装置、全方位マイクアレイ装置)、又は指向性制御システムを構成する各装置(例えば後述する指向性制御装置、全方位マイクアレイ装置)が行う各動作(ステップ)を含む方法として表現することも可能である。
(第1の実施形態)
図1は、第1の実施形態の指向性制御システム10のシステム構成を示すブロック図である。図1に示す指向性制御システム10は、全方位マイクアレイ装置2と、カメラ装置C11と、指向性制御装置3と、レコーダ装置4と、計測装置5とを含む構成である。全方位マイクアレイ装置2は、指向性制御システム10が設置される収音領域における音声を収音し、例えば収音領域に存在する音源の一例としての人物の発する音声を収音する。
本実施形態の全方位マイクアレイ装置2の筐体形状は、円盤の形状を例示して説明するが、円盤の形状に限定されず、例えばドーナツ型形状又はリング型形状(図2参照)でも良い。
全方位マイクアレイ装置2では、例えば円盤状の筐体21の円周方向に沿って、複数のマイクロホンユニット22、23が同心円状に配置される(図2(A)参照)。マイクロホンユニット22、23には、例えば高音質小型エレクトレットコンデンサマイクロホン(ECM: Electret Condenser Microphone)が用いられ、以下の各実施形態においても同様である。
図1に示す指向性制御システム10において、全方位マイクアレイ装置2と、指向性制御装置3と、レコーダ装置4と、計測装置5とは、ネットワークNWを介して相互に接続されている。ネットワークNWは、有線ネットワーク(例えばイントラネット、インターネット)でも良いし、無線ネットワーク(例えば無線LAN(Local Area Network))でも良い。ネットワークNWは、以下の各実施形態においても同様である。
撮像部の一例としてのカメラ装置C11は、例えばイベント会場の天井面に固定して設置される。カメラ装置C11は、収音領域の全方位の映像を示す画像データ(即ち、全方位画像データ)、又は全方位画像データに所定の歪み補正処理を施してパノラマ変換して生成した平面画像データを、ネットワークNWを介して指向性制御装置3又はレコーダ装置4に送信する。指向性制御装置3は、操作部32からの指示によって、画像信号処理部35において、指定位置の画像をズームアップして、ディスプレイ装置36に表示する。
カメラ装置C11は、ディスプレイ装置36に表示された画像の中で、ユーザによって任意の位置が指定されると、画像中の指定位置の座標データを指向性制御装置3から受信し、カメラ装置C11から、指定位置に対応する実空間上の音声位置(以下、単に「音声位置」と略記する)までの距離、方向(水平角及び垂直角を含む。以下同様。)のデータを算出して指向性制御装置3に送信する。なお、カメラ装置C11における距離、方向のデータ算出処理は公知技術であるため、その説明は省略する。
収音部の一例としての全方位マイクアレイ装置2は、ネットワークNWに接続され、等間隔毎に配置された収音素子の一例としてのマイク素子221,222,…,22n(図3参照)と、各マイク素子により収音された音声の音声データに対して所定の信号処理を施す各部とを少なくとも含む構成である。全方位マイクアレイ装置2の詳細な構成については、例えば図4(A)を参照して後述する。
全方位マイクアレイ装置2は、各々のマイクロホンユニット22,23(図2(A)参照)内のマイク素子221,222,…,22n(図3参照)が収音した音声の音声データを、ネットワークNWを介して、指向性制御装置3又はレコーダ装置4に送信する。
指向性制御装置3は、全方位マイクアレイ装置2から送信された音声データを用いて、ユーザの操作によって操作部32から指定された位置(指定位置)に対応する指向方向(後述参照)に指向性を形成する際、例えば指向性制御システム10が設置される収音領域の温度に依存する音速Vs(図3参照)を用いて、指向方向(θMAh,θMAv)に、音声データの指向性を形成する。
これにより、指向性制御装置3は、指向性が形成された指向方向(θMAh,θMAv)から収音した音声の音量レベルを他の方向から収音した音声の音量レベルよりも相対的に増大できる。なお、指向方向(θMAh,θMAv)の算出方法は公知技術であるため、本実施形態では詳細な説明は省略する。
また、全方位マイクアレイ装置2の各マイクロホンユニット22,23は、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、又はこれらの組み合わせが用いられても良い。
また、カメラ装置C11は全方位を撮影する全方位カメラでなくとも、パン・チルト・ズーム機能を持ったカメラや、固定カメラで、監視したい位置の画像を撮影できれば構わない。この場合、カメラは一つでなく、複数を組み合わせても良い。
図2(A)〜(E)は、全方位マイクアレイ装置2A,2B,2C,2D,2Eの外観図である。図2(A)〜(E)に示す全方位マイクアレイ装置2A,2B,2C.2D,2Eでは、外観及び複数のマイクロホンユニットの配置が異なるが、全方位マイクアレイ装置自身の機能は同等である。なお、これらの全方位マイクアレイ装置を特に区別する必要が無い場合、全方位マイクアレイ装置2と総称する。
図2(A)に示す全方位マイクアレイ装置2Aは、円盤状の筐体21を有する。筐体21には、複数のマイクロホンユニット22,23が同心円状に配置されている。具体的には、複数のマイクロホンユニット22が、筐体21と同一の中心を有する大きな円形状に沿って同心円状に配置され、複数のマイクロホンユニット23が、筐体21と同一の中心を有する小さい円形状に沿って同心円状に配置されている。複数のマイクロホンユニット22は、互いの間隔が広く、直径が大きく、低い音域に適した特性を有する。一方、複数のマイクロホンユニット23は、互いの間隔が狭く、直径が小さく、高い音域に適した特性を有する。
図2(B)に示す全方位マイクアレイ装置2Bは、円盤状の筐体21を有する。筐体21には、複数のマイクロホンユニット22が、水平方向の縦方向と横方向との中心が筐体21の中心において交わるように一様な間隔毎に直線上に配置されている。全方位マイクアレイ装置2Bは、複数のマイクロホンユニット22が縦横の直線状に配置されているので、音声データの指向性の形成処理の演算量を低減できる。なお、縦方向又は横方向の1列だけに、複数のマイクロホンユニット22が配置されても良い。
図2(C)に示す全方位マイクアレイ装置2Cは、図2(A)に示す全方位マイクアレイ装置2Aに比べ、直径の小さい円盤状の筐体21Cを有する。筐体21Cには、複数のマイクロホンユニット22が、円周方向に沿って一様に配置されている。図2(C)に示す全方位マイクアレイ装置2Cは、各々のマイクロホンユニット22の間隔が短いので、高い音域に適した特性を有する。
図2(D)に示す全方位マイクアレイ装置2Dは、筐体中心に所定の直径を有する開口部21aが形成されたドーナツ型形状又はリング型の形状の筐体21Dを有する。筐体21Dでは、複数のマイクロホンユニット22が、筐体21Dの円周方向において、一様な間隔毎に同心円状に配置されている。
図2(E)に示す全方位マイクアレイ装置2Eは、矩形状の筐体21Eを有する。筐体21Eには、複数のマイクロホンユニット22が、筐体21Eの外周方向に沿って一様な間隔毎に配置されている。図2(E)に示す全方位マイクアレイ装置2Eでは、筐体21Eが矩形に形成されているので、例えばコーナー等の場所であっても全方位マイクアレイ装置2Eの設置を簡易化できる。
指向性制御装置3は、ネットワークNWに接続され、例えば監視システム制御室(不図示)に設置される据置型のPC(Personal Computer)でも良いし、ユーザが携帯可能な携帯電話機、タブレット端末、スマートフォン等のデータ通信端末でも良い。
指向性制御装置3は、通信部31と、操作部32と、信号処理部33と、ディスプレイ装置36と、スピーカ装置37と、メモリ38とを少なくとも含む構成である。信号処理部33は、指向方向算出部34aと出力制御部34cとを少なくとも含む構成である。なお、信号処理部33の詳細な構成の一例については、例えば図4(B)を参照して後述し、図1に示す信号処理部33の説明では指向方向算出部34a及び出力制御部34cについて説明する。
通信部31は、ネットワークNWを介して、全方位マイクアレイ装置2から送信されたパケットPKT(例えば図8(B)参照)を受信して信号処理部33に出力する。
操作部32は、ユーザの操作の内容を信号処理部33に通知するためのユーザインターフェース(UI:User Interface)であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部32は、例えばディスプレイ装置36の画面に対応して配置され、ユーザの指又はスタイラスペンによって操作が可能なタッチパネル又はタッチパッドを用いて構成されても良い。
操作部32は、ディスプレイ装置36に表示された画像(即ち、カメラ装置C11により撮像された画像。以下同様。)に対し、ユーザの操作によって指定された位置(即ち、スピーカ装置37から出力される音声の音量レベルの増大又は低減を所望する位置)を示す座標データを取得して信号処理部33に出力する。
信号処理部33は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成され、指向性制御装置3の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を行う。
指向方向算出部34aは、ディスプレイ装置36に表示された画像からユーザの位置の指定操作に応じて、全方位マイクアレイ装置2から画像上の指定位置に対応する音声位置に向かう指向方向を示す座標(θMAh,θMAv)を算出する。指向方向算出部34aの具体的な算出方法は、上述したように公知技術であるため、詳細な説明を省略する。
指向方向算出部34aは、カメラ装置C11の設置位置から、音声位置までの距離、方向のデータを用いて、全方位マイクアレイ装置2の設置位置から音声位置に向かう指向方向座標(θMAh,θMAv)を算出する。例えばカメラ装置C11の筐体を囲むように全方位マイクアレイ装置2の筐体とカメラ装置C11とが一体的に取り付けられている場合には、カメラ装置C11から音声位置までの方向(水平角,垂直角)を、全方位マイクアレイ装置2から音声位置までの指向方向座標(θMAh,θMAv)として用いることができる。
なお、カメラ装置C11の筐体と全方位マイクアレイ装置2の筐体とが別体として離れて取り付けられている場合には、指向方向算出部34aは、事前に算出されたキャリブレーションパラメータのデータと、カメラ装置C11から音声位置までの方向(水平角,垂直角)のデータとを用いて、全方位マイクアレイ装置2から音声位置までの指向方向座標(θMAh,θMAv)を算出する。なお、キャリブレーションとは、指向性制御装置3の指向方向算出部34aが指向方向を示す座標(θMAh,θMAv)を算出するために必要となる所定のキャリブレーションパラメータを算出又は取得する動作であり、公知技術により予め行われているとする。
指向方向を示す座標(θMAh,θMAv)のうち、θMAhは全方位マイクアレイ装置2から音声位置に向かう指向方向の水平角を表し、θMAvは全方位マイクアレイ装置2から音声位置に向かう指向方向の垂直角を表す。なお、音声位置は、操作部32がディスプレイ装置36に表示された画像上においてユーザの指又はスタイラスペンによって指定された指定位置に対応する実際の監視対象又は収音対象となる現場の位置である。
出力制御部34cは、ディスプレイ装置36及びスピーカ装置37の動作を制御し、例えばユーザの操作に応じて、カメラ装置C11から送信された画像データをディスプレイ装置36に表示させ、全方位マイクアレイ装置2から送信されたパケットPKTに含まれる音声データをスピーカ装置37から出力させる。
また、指向性形成部の一例としての出力制御部34cは、全方位マイクアレイ装置2から、指向方向算出部34aにより算出された座標(θMAh,θMAv)が示す指向方向に、全方位マイクアレイ装置2により収音された音声データの指向性を形成する。但し、音声データの指向性の形成処理は、全方位マイクアレイ装置2により行われても良い。
表示部の一例としてのディスプレイ装置36は、例えばユーザの操作に応じて、出力制御部34cの制御の下で、例えばカメラ装置C11から送信された画像データを画面に表示する。
音声出力部の一例としてのスピーカ装置37は、全方位マイクアレイ装置2から送信されたパケットPKTに含まれる音声データ、又は指向方向算出部34aが算出した指向方向(θMAh,θMAv)に指向性が形成された音声データを出力する。なお、ディスプレイ装置36及びスピーカ装置37は、指向性制御装置3とは別々の構成としても良い。
記憶部の一例としてのメモリ38は、例えばRAM(Random Access Memory)を用いて構成され、指向性制御装置3の各部の動作時のワークメモリとして機能し、更に、指向性制御装置3の各部の動作時に必要なデータを記憶する。
レコーダ装置4は、全方位マイクアレイ装置2から送信されたパケットPKTに含まれる音声データと、例えばカメラ装置C11から送信された画像データとを対応付けて記憶する。なお、図1に示す指向性制御システム10には複数のカメラ装置が含まれても良いため(但し図1では単一のカメラ装置C11のみ図示)、レコーダ装置4は、各カメラ装置から送信された画像データと、全方位マイクアレイ装置2から送信されたパケットPKTに含まれる音声データとを対応付けて記憶しても良い。
計測装置5は、1つのマイクロホンユニット22に内蔵される1つのマイク素子毎の位相特性(例えば位相ずれの周波数特性)を計測し、マイク素子毎の位相ずれの補正値を算出する。計測装置5の構成及び動作については、図5を参照して後述する。
図3は、全方位マイクアレイ装置2により収音された音声に対して所定の方向に指向性を形成する原理の一例の説明図である。図3では、例えば遅延和方式を用いた指向性形成処理の原理について簡単に説明する。音源80から発した音波は、全方位マイクアレイ装置2のマイクロホンユニット22,23に内蔵される各マイク素子221,222,223,…,22(n−1),22nに対し、ある一定の角度(入射角=(90−θ)[度])で入射する。図3に示す入射角θは、全方位マイクアレイ装置2から音声位置に向かう収音方向の水平角θMAhでも垂直角θMAvでも良い。
音源80は、例えば全方位マイクアレイ装置2が収音する方向に存在するカメラ装置の被写体であり、全方位マイクアレイ装置2の筐体21の面上に対し、所定角度θの方向に存在する。また、各マイク素子221,222,223,…,22(n−1),22n間の間隔dは一定とする。
音源80から発した音波は、最初にマイク素子221に到達(伝播)して収音され、次にマイク素子222に到達して収音され、同様に次々に収音され、最後にマイク素子22nに到達して収音される。
なお、全方位マイクアレイ装置2の各マイク素子221,222,223,…,22(n−1),22nの位置から音源80に向かう方向は、全方位マイクアレイ装置2の各マイク素子から、ユーザがディスプレイ装置36の画面上に指定した指定位置に対応する音声位置に向かう方向と同じである。
ここで、音波がマイク素子221,222,223,…,22(n−1)に到達した時刻から最後に収音されたマイク素子22nに到達した時刻までには、到達時間差τ1,τ2,τ3,…,τn−1が生じる。このため、各々のマイク素子221,222,223,…,22(n−1),22nが収音した音声データがそのまま加算された場合には、位相がずれたまま加算されるため、音波の音量レベルが全体的に弱め合う。
なお、τ1は音波がマイク素子221に到達した時刻と音波がマイク素子22nに到達した時刻との差分の時間であり、τ2は音波がマイク素子222に到達した時刻と音波がマイク素子22nに到達した時刻との差分の時間であり、同様に、τn−1は音波がマイク素子22(n−1)に到達した時刻と音波がマイク素子22nに到達した時刻との差分の時間である。
本実施形態の指向性形成処理では、マイク素子221,222,223,…,22(n−1),22n毎に対応して設けられるA/D変換器241,242,243,…,24(n−1),24nにおいて、アナログの音声信号がデジタルの音声信号に変換される。更に、デジタルの音声信号は、マイク素子221,222,223,…,22(n−1),22n毎に対応して設けられる遅延器251,252,253,…,25(n−1),25nにおいて所定の遅延時間が加算される。各遅延器251,252,253,…,25(n−1),25nの出力は加算器39において加算される。
なお、全方位マイクアレイ装置2において指向性形成処理が行われる場合には、遅延器251,252,253,…,25(n−1),25nは全方位マイクアレイ装置2に設けられ、指向性制御装置3において指向性形成処理が行われる場合には、遅延器251,252,253,…,25(n−1),25nは指向性制御装置3に設けられる。
更に、図3に示す指向性形成処理では、遅延器251,252,253,…,25(n−1),25nは、各々のマイク素子221,222,223,…,22(n−1),22nにおける到達時間差に対応する遅延時間を付与して全ての音波の位相を揃えた後、加算器39において遅延処理後の音声データが加算される。これにより、全方位マイクアレイ装置2又は指向性制御装置3は、各マイク素子221,222,223,…,22(n−1),22nにより収音された音声に対し、角度θの方向に指向性を形成することができる。
例えば図3では、遅延器251,252,253,…,25(n−1),25nにおいて付与される各遅延時間D1,D2,D3,…,D(n−1),Dnは、それぞれ到達時間差τ1,τ2,τ3,…,τ(n−1)に相当し、数式(1)により示される。
L1は、マイク素子221とマイク素子22nとにおける音波到達距離の差である。L2は、マイク素子222とマイク素子22nとにおける音波到達距離の差である。L3は、マイク素子223とマイク素子22nとにおける音波到達距離の差であり、同様に、L(n−1)は、マイク素子22(n−1)とマイク素子22nとにおける音波到達距離の差である。Vsは音波の音速である。この音速Vsは全方位マイクアレイ装置2により算出されても良いし、指向性制御装置3により算出されても良い(後述参照)。L1,L2,L3,…,L(n−1)は既知の値である。図3では、遅延器25nに設定される遅延時間Dnは0(ゼロ)である。
指向性形成処理では、各マイク素子により収音された音声の音声データに付与される遅延時間Di(i=1〜nの整数、nは2以上の整数)は、数式(1)に示すように、音速Vsに反比例する。
また、上記数式(1)では、各マイク素子の位相特性が全て揃っていることを前提としている。実際には、各マイク素子の位相特性が個々に異なっていることがあり、この場合には各マイク素子への音の到達時間(伝搬時間)が理論計算に従った結果と一致しないことになり、音声の指向性形成処理において形成される指向性の精度が劣化するので、各マイク素子毎に位相ずれを補正する必要がある。マイク素子毎の位相ずれの補正値Δtiは、後述するように、計測装置5によって算出される。
指向性制御装置3は、数式(2)に示すように、各マイク素子毎の位相ずれの補正値Δtiを、数式(1)で算出される遅延時間Di(理論遅延時間Diという)に加えて、補正後の遅延時間Di’を算出する。数式(2)において、iはマイク素子の番号を表す。
このように、全方位マイクアレイ装置2又は指向性制御装置3は、遅延器251,252,253,…,25(n−1),25nにおいて付与される遅延時間D1’,D2’,D3’,…,Dn−1’,Dn’を変更することで、マイクロホンユニット22又はマイクロホンユニット23に内蔵された各々のマイク素子221,222,223,…,22(n−1),22nにより収音された音声の音声データの指向性を簡易かつ任意に形成することができる。なお、遅延器251,252,253,…,25(n−1),25nは、全方位マイクアレイ装置2又は指向性制御装置3のいずれに設けられても良いが、指向性形成処理を行う装置に設けられることが好ましい。
図4(A)は、全方位マイクアレイ装置2の内部構成の一例を示すブロック図である。全方位マイクアレイ装置2は、複数(例えば8個)のマイクロホンユニット22にそれぞれ内蔵されるマイク素子22i(i=1〜8)、各マイク素子22iの出力信号を増幅する複数の増幅器(アンプ)28i、各増幅器28iから出力されるアナログ信号をデジタル信号に変換する複数のA/D変換器24i、送受信部26及び位相情報記憶部27を有する。ここで、マイク素子22iの添え字iは、マイク素子の番号であり、1〜n(マイク素子数)である。増幅器28i及びA/D変換器24iについても同様である。
送受信部26は、指向性制御装置3に対し、データの送受信を行う。位相情報記憶部27は、マイク素子毎の位相ずれの補正値(以下、「位相補正値」ともいう)Δtiを記憶する。ここで、位相補正値Δtiの添え字iは、上述したように、マイク素子22iに対応する番号である。
全方位マイクアレイ装置2は、マイク素子22iの出力信号(音声信号)を増幅器28iで増幅し、A/D変換器24iでデジタルの音声信号に変換した後、位相情報記憶部27に記憶されている位相補正値Δtiをデジタルの音声信号に付加して、音声データのパケットとしてネットワークNWに送信する。
図4(B)は、信号処理部33の内部構成の一例を示すブロック図である。信号処理部33は、音声信号処理部34と、画像信号処理部35とを有する。信号処理部33は、通信部31を介してネットワークNWからデータを受信する。
画像信号処理部35は、通信部31を介して受信したデータのうち画像信号を処理し、出力制御部34cを介してディスプレイ装置36に表示させる。この画像信号は、カメラ装置C11で撮像された画像信号である。
音声信号処理部34は、全方位マイクアレイ装置2で収音された音声を処理し、具体的には、分離部34e、遅延時間算出部34f及び指向性形成部34gを有する。分離部34eは、音声データから位相補正値を取り出し、音声信号を指向性形成部34gに出力する。また、分離部34eは、音声データから取り出された位相補正値を遅延時間算出部34fに出力する。
遅延時間算出部34fは、操作部32から入力された指向方向θの値を基に、前述した数式(1)に従って、各マイク素子22iの出力信号に与える理論遅延時間Diを算出し、更に、前述した数式(2)に従って、位相補正値Δtiで理論遅延時間Diの補正を行って遅延時間Di’を算出し、指向性形成部34gに出力する。
指向性形成部34gは、遅延時間Di’からビームフォーミング(言い換えると、指向性形成処理)を行い、所望の方向の音声を強調し、出力制御部34cを介してスピーカ装置37から出力させる。
図5は、マイク素子22iの位相特性を測定する方法を説明する図である。指向性制御システム10は、マイク素子22iの位相特性の測定に用いられる計測装置5を備える。ここでは、全方位マイクアレイ装置2は、円盤状の筐体21に円周上に配置された複数(ここでは8個)のマイク素子22iを有する場合を示す。
計測装置5は、全方位マイクアレイ装置2の円盤状の筐体21の同心円の中心軸上に位置するように配置されたスピーカ装置51と、試験音源53と位相算出部55とを含む構成である。スピーカ装置51は、全方位マイクアレイ装置2の円盤状の筐体21の同心円上に配置された複数のマイク素子22iに向けて、試験音源53から出力される試験音を放射する。試験音として、例えばホワイトノイズ、ピンクノイズ等が用いられる。
複数のマイク素子22iは、スピーカ装置51から放射された試験音を収音する。各マイク素子22iからの出力信号は、A/D変換器24iでアナログデジタル変換された後、送受信部26を経由して、計測装置5内の位相算出部55に送信される。位相算出部55は、各マイク素子22iの位相距離を算出する。
図6は、位相特性の一例を示すグラフである。図6に示すグラフでは、横軸は周波数(Hz)で示され、縦軸は所定の位相基準(位相距離の基準)からの位相差を周波数と音速とによって距離に換算された値(位相距離)で示される。
図6に示すように、マイク素子22Aの場合、所定の周波数範囲(人間の可聴域に対応する周波数帯域で、例えば500Hz〜3kHz)の範囲で約3〜4mm遅れていることがわかる。言い換えると、その分、所定の位相基準に対して位相がずれているために、時間遅れが生じていることになる。位相距離の基準(±0mm)は、スピーカの音響中心からの距離を基に算出されても良いし、各マイク素子の平均の距離を基準としても良い。また、スピーカ装置51と各マイク素子22iとの間の距離は一定であるので、スピーカ装置51の性能が計測結果に影響を与えることは無い。
位相算出部55は、各マイク素子22iの位相特性(例えば位相ずれの周波数特性)を取得し、この位相特性を基に、例えば所定の周波数範囲(例えば500Hz〜3kHz)における位相ずれの平均値を用いて、マイク素子毎の位相ずれの補正値(位相補正値)を算出し、算出結果を全方位マイクアレイ装置2の送受信部26に送信する。
また、計測装置5は、位相算出部55からではなく、通信部(不図示)を設けることで、算出したマイク素子毎の位相補正値を通信部から全方位マイクアレイ装置2に送信しても良い。全方位マイクアレイ装置2は、送受信部26を介して計測装置5から受信したマイク素子毎の位相補正値を位相情報記憶部27に記憶する。
上述した構成を有する本実施形態の指向性制御システム10の動作を説明する。
先ず、位相補正値の計測動作の手順について、図7を参照して説明する。図7は、位相補正値の計測動作の手順を説明するフローチャートである。
図7において、計測装置5のスピーカ装置51は、試験音源53から試験音を入力し、全方位マイクアレイ装置2に向けて放射する(S1)。全方位マイクアレイ装置2に含まれる複数のマイク素子22iはスピーカ装置51から放射された試験音を収音する(S2)。
位相算出部55は、送受信部26を介して複数のマイク素子22iの出力信号を受信すると、各マイク素子22iの位相特性(例えば位相ずれの周波数特性)を取得し、この位相特性を基に、例えば所定の周波数範囲(例えば500Hz〜3kHz)における位相ずれの平均値を用いて、マイク素子毎の位相ずれの補正値(位相補正値)を算出する(S3)。位相算出部55が、算出した位相補正値を全方位マイクアレイ装置2に送信すると、全方位マイクアレイ装置2は、受信したマイク素子毎の位相補正値を位相情報記憶部27に記憶する(S4)。これにより、図7に示すフローチャートの処理は終了する。
図8(A)は、全方位マイクアレイ装置2における収音処理手順を説明するフローチャートである。図8(A)において、全方位マイクアレイ装置2は、複数のマイク素子22iで音声を収音し、増幅器28iで収音した音声を増幅し、A/D変換器24iでデジタル信号の音声信号に変換した後、送受信部26に出力する(S11)。送受信部26は、位相情報記憶部27に記憶された位相補正値を読み込み(S12)、音声信号と位相補正値を含む音声パケットPKTを指向性制御装置3に送信する(S13)。これにより、図8(A)に示すフローチャートの処理は終了する。
図8(B)は、全方位マイクアレイ装置2から送信される音声パケットPKTの構造を示す図である。音声パケットPKTは、ヘッダHDと、音声データVDとを含む構成である。図8(B)に示すように、音声パケットPKTのヘッダには、位相補正値が格納される。
図9は、指向性制御装置3における指向性形成動作手順を説明するフローチャートである。図9において、指向性制御装置3は、全方位マイクアレイ装置2に音声データの送信要求を送信する(S21)、通信部31は、全方位マイクアレイ装置2から送信される音声データ(音声パケット)を受信する(S22)。
分離部34eは、音声データから位相補正値Δtiを取り出す(S23)。遅延時間算出部34fは、操作部32から指向方向算出部34aで算出された指向方向θを入力し、この指向方向θと位相補正値Δtiとから遅延時間Di’を算出する(S25)。
指向性形成部34gは、音声信号と遅延時間Di’とを入力し、音声信号の指向性を形成する(S26)。出力制御部34cは、指向性形成部34gで指向性が形成された音声信号をスピーカ装置37に出力する(S27)。これにより、図9に示すフローチャートは終了する。
以上により、本実施形態の指向性制御システム10では、指向性制御装置3内の信号処理部33は、全方位マイクアレイ装置2内の位相情報記憶部27に記憶されたマイク素子毎の位相ずれの補正値(位相補正値)Δtiを用いて、音源から各々のマイク素子22iに伝播される音声の遅延時間Di’を算出し、この算出されたマイク素子毎の遅延時間Di’と全方位マイクアレイ装置2により収音された音声を用いて、音声の指向性を形成する。
これにより、指向性制御システム10は、音声の指向性形成処理において、各マイク素子22i固有の位相特性に応じた位相補正により、マイク素子毎の位相ずれによる指向性性能の低下を抑制することができる。また、指向性制御システム10は、計測装置5がマイク素子毎の位相ずれの補正値(位相補正値)を計測するので、正確な位相ずれの補正値をマイク素子毎に得られる。
また、指向性制御システム10は、同心円の中心軸上に配置されたスピーカ装置51から放射された所定の試験音を、同心円上に配置された複数のマイク素子22iが収音することで得られるマイク素子22i毎の位相特性を計測し、この位相特性を基に、マイク素子毎の位相ずれの補正値を算出する。これにより、指向性制御システム10は、各マイク素子22iとスピーカ装置51との間の距離が一定となり、マイク素子毎の位相特性の計測及び位相ずれの補正値の算出が容易になる。また、位相ずれの補正値の算出時における基準位相値は、スピーカ装置51の中心からの距離を基に算出されても、各マイク素子からの距離の平均を基に算出されても良いので、スピーカ装置51自身の性能がマイク素子毎の位相特性に応じた位相ずれの補正値に影響を与えることがない。
また、全方位マイクアレイ装置2のマイク素子22iの配置が、例えば図2(B)や(E)のように、同心円上に無い場合でも、スピーカの音響中心からの距離が求められていれば、計測装置5は、各マイク素子22iの位相特性を求めることが出来る。
なお、本実施形態では、位相補正値を音声パケットPKTのヘッダHDに含めて音声信号とともに送信し、指向性制御装置3は、音声パケットPKTを受信すると、分離部34eで位相補正値と音声信号とを分離することで、位相補正値を取得したが、取得方法はこれに限られない。例えば、全方位マイクアレイ装置2は、音声パケットPKTのヘッダHDに位相補正値のデータを格納する代わりに、例えば音声パケットPKTのペイロード内に位相補正値のデータを格納しても良い。この場合、指向性制御装置3は、分離部34eで位相補正値を分離しても良いし、分離しなくても良い。
(第2の実施形態)
第1の実施形態では、位相補正値を全ての音声パケットPKTに含めて送信していたが、第2の実施形態では、位相補正値を、音声パケットPKTに含めることなく、或いは全ての音声パケットPKTに含めることなく送信する場合の例について説明する。ここでは、初期設定時、つまり、全方位マイクアレイ装置2に対して事前に行う接続確認や全方位マイクアレイ装置2の初期設定情報を取得する際に、初期設定情報に加えて位相補正値を計測装置5から取得し、位相情報記憶部に記憶する。なお、初期設定時に限らず、任意のタイミングで、指向性制御装置3は、位相補正値の取得を要求しても良い。
第2の実施形態の指向性制御システムは第1の実施形態の指向性制御システム10とほぼ同一の構成を有するので、第1の実施形態の指向性制御システム10と同一の構成要素については同一の符号を用いることで、その説明を省略する。
図10は、第2の実施形態における信号処理部33Aの内部構成の一例を示す図である。信号処理部33Aは、第1の実施形態の信号処理部33と比べ、音声信号処理部34Aにおいて、分離部34eが省かれる以外に、位相情報記憶部34dを新たに備える構成である。
位相情報記憶部34dは、第1の実施形態において説明した全方位マイクアレイ装置2内の位相情報記憶部27と同様であり、マイク素子毎の位相ずれの補正値(位相補正値)Δtiを記憶する。
通信部31は、音声信号を受信すると、指向性形成部34gに出力し、一方、位相補正値を受信すると、位相情報記憶部34dに出力する。
図11(A)は、全方位マイクアレイ装置2が位相補正値を収集する動作手順を説明するフローチャートである。図11(A)において、全方位マイクアレイ装置2内の送受信部26は、初期設定時、指向性制御装置3から位相補正値のデータ送信要求を受信する(S31)。送受信部26は、位相情報記憶部27に記憶されている位相補正値を読み込み(S32)、読み込んだ位相補正値を指向性制御装置3に送信する(S33)。これにより、図11(A)に示すフローチャートの処理は終了する。
図11(B)は、指向性制御装置3が位相補正値を取得する動作手順を説明するフローチャートである。図11(B)において、指向性制御装置3は、全方位マイクアレイ装置2の初期設定時、全方位マイクアレイ装置2に対し、位相補正値のデータ送信を要求する(S41)。
指向性制御装置3は、通信部31を介して位相補正値のデータを受信すると(S42)、位相情報記憶部34dに記憶する(S43)。これにより、図11(B)に示すフローチャートの処理は終了する。
ここでは、例えば全方位マイクアレイ装置2から送信されるマイク素子毎の位相補正値の順番は、予め決められており、指向性制御装置3は、位相情報記憶部34dに割り当てられた記憶領域に、受信した位相補正値を順番に記憶する。これにより、指向性制御装置3は、位相補正値とマイク素子とが対応付けて簡易に記憶することができる。なお、指向性制御装置3は、位相補正値のデータを、位相情報記憶部34dに記憶する代わりに、メモリ38に記憶するようにしても良い。また、指向性制御装置3における指向性形成動作は、第1の実施形態と同様であるため、説明を省略する。
以上により、本実施形態の指向性制御システム10では、全方位マイクアレイ装置2は、音声データに位相補正値を付加することなく、位相補正値を指向性制御装置3に送信する。つまり、初期設定時、全方位マイクアレイ装置2は、指向性制御装置3からの要求に応じて、位相情報記憶部27に記憶された位相補正値を指向性制御装置3に送信するので、音声データに位相補正値を付加して送らなくて済む。
マイク素子毎の位相補正値は、通常、大きく変動するものではないので、初期設定時のみ、指向性制御装置に位相補正値を送るようにすることで、音声データに含めて毎回送信する場合と比べ、全方位マイクアレイ装置から指向性制御装置に送信されるデータの転送量を低減することができ、ネットワークのトラフィック量の低減を図ることができる。
なお、指向性制御装置3は、初期設定時に位相補正値を読み込む代わりに、全方位マイクアレイ装置に対し、音声データの送信を要求する度に、RTSP(Real Time Streaming Protocol)等の呼制御を行い、この呼制御の過程で全方位マイクアレイ装置から送信される音声データのフォーマット情報を取得する場合、そのフォーマット情報に付加された位相補正値を取得し、位相情報記憶部34dに記憶するようにしても良い。この場合も、全方位マイクアレイ装置2は、位相補正値のデータを送信するデータの転送量を削減することができる。
(第2の実施形態の変形例)
第2の実施形態では、位相補正量とマイク素子との対応付けは、例えば送信される位相補正値の順番と割り当てられる記憶領域の順番とによって行われたが、第2の実施形態の変形例(以下、単に「変形例」という)では、指向性制御装置3は、ネットワークNW上にある複数の全方位マイクアレイ装置2を制御する。
図12は、第2の実施形態の変形例の指向性制御システム10Aのシステム構成を示すブロック図である。図12の説明では、図1に示す各部の構成と同一の内容は説明を簡略化又は省略し、異なる内容について説明する。図12では、図1と異なり、全方位マイクアレイ装置が複数設けられており、予め各全方位マイクアレイ装置2_1〜2_nを識別するための識別情報(以下、「アレイID」という)が全方位マイクアレイ装置2_1〜2_n毎に付与されており、複数の全方位マイクアレイ装置の各アレイIDと各位相補正値とを対応付けて記憶する場合の例を説明する。アレイID及び位相補正値は、各全方位マイクアレイ装置2_1〜2_n内の位相情報記憶部に対応付けて記憶される。
図13(A)は、変形例における全方位マイクアレイ装置2が位相補正値を収集する動作手順を説明するフローチャートである。図13(A)において、全方位マイクアレイ装置2内の送受信部26は、初期設定時、指向性制御装置3から位相補正値及びアレイIDを含む初期データの送信要求を受信する(S31A)。送受信部26は、位相情報記憶部27に記憶されている位相補正値及びアレイIDを読み込み(S32A)、読み込んだ位相補正値及びアレイIDを含む初期データを指向性制御装置3に送信する(S33A)。これにより、図13(A)に示すフローチャートの処理は終了する。
図13(B)は、指向性制御装置3が位相補正値を取得する動作手順を説明するフローチャートである。図13(B)において、指向性制御装置3は、全方位マイクアレイ装置2の初期設定時、設定を行いたい全方位マイクアレイ装置2に対し、位相補正値及びアレイIDを含む初期データの送信を要求する(S41A)。
指向性制御装置3は、通信部31を介して位相補正値及びマイクIDを含む初期データを受信すると(S42A)、アレイIDに対応付けて位相補正値を位相情報記憶部34dに記憶する(S43)。これにより、図13(B)に示すフローチャートは終了する。
なお、図13(B)のステップS41Aで、特定の全方位マイクアレイ装置2だけに要求信号を送信しているが、全ての全方位マイクアレイ装置2に要求信号を送信して、指向性制御装置3で必要な情報のみピックアップしても良い。
図14は、指向性制御装置3における指向性形成動作手順を説明するフローチャートである。第1の実施形態と同一のステップ処理については同一のステップ番号を付すことにより、その説明を省略する。
図14において、ステップS21で受信したい全方位マイクアレイ装置2或いはレコーダ装置4に音声データの送信要求を送信する。ステップS22で、通信部31は、全方位マイクアレイ装置2またはレコーダ装置4から送信される音声データ(音声パケット)を受信すると、通信部31は、音声パケットに含まれるマイクIDを判別する(S23A)。マイクIDは、例えば音声パケットのヘッダに格納されている。
遅延時間算出部34fは、ステップS23Aで判別したマイクIDに対応する位相補正値Δtiを、位相情報記憶部34dから読み込む(S23B)。遅延時間算出部34fは、ステップS24で操作部32から指向方向θを入力し、ステップS25でこの入力した指向方向θ及び読み込んだ位相補正値Δtiを用いて遅延時間を算出する等、これ以降の処理は第1の実施形態の説明と同様であるため、説明を省略する。
以上により、変形例の指向性制御システム10では、全方位マイクアレイ装置2が複数あっても、アレイID(識別情報)毎に各マイク素子22iの位相ずれの補正値とを指向性制御装置3に送信する。
これにより、指向性制御システム10は、複数有る全方位マイクアレイ装置2から、必要な全方位マイクアレイ装置2内の位相情報記憶部27と、指向性制御装置3内の位相情報記憶部34dに記憶されている全方位マイクアレイ装置のマイク素子22iの位相補正値を対応付けることができ、全方位マイクアレイ装置に固有の識別情報(アレイID)とマイク素子の位相ずれの補正値とを1つのパケット内に格納した状態で全方位マイクアレイ装置2から送信することができる。従って、指向性制御システム10は、全方位マイクアレイ装置2が複数有る場合でも、位相ずれの補正値とアレイIDとが常に1つのパケット内に格納された状態で送信されるので、音声の指向性形成処理において、選択された1つの全方位マイクアレイ装置に含まれるマイク素子毎の位相ずれの補正値を確実に参照することで、各マイク素子における位相ずれの補正において用いる位相ずれの補正値の使用間違えを防ぐことができる。
最後に、本発明に係る指向性制御システム及び指向性制御方法の構成、作用、効果について説明する。
本発明の一実施形態は、複数の収音素子を含む収音部と、各々の前記収音素子の位相ずれの補正値を、前記収音素子に対応付けて記憶する記憶部と、前記収音素子毎の位相ずれの補正値を用いて、音源から各々の前記収音素子に伝播される音声の遅延時間を前記収音素子毎に算出する遅延時間算出部と、前記遅延時間算出部により算出された前記収音素子毎の遅延時間と前記収音部により収音された音声とを用いて、前記音声の指向性を形成する指向性形成部と、を備える、指向性制御システムである。
この構成によれば、指向性制御システムは、記憶された収音素子毎の位相ずれの補正値を用いて、音源から各々の収音素子に伝播される音声の遅延時間を収音素子毎に算出し、算出された収音素子毎の遅延時間と収音部により収音された音声とを用いて、音声の指向性を形成するので、音声の指向性形成処理において、収音部に含まれる各収音素子固有の位相ずれの特性を考慮した位相補正により、指向性性能の低下を抑制することができる。
また、本発明の一実施形態は、前記収音素子毎の位相ずれの補正値を計測する計測部、を更に備える、指向性制御システムである。
この構成によれば、指向性制御システムは、計測部によって収音素子毎の位相ずれの補正値が計測されるので、正確な位相ずれの補正値を収音素子毎に得られる。
また、本発明の一実施形態は、前記計測部は、同心円上に配置された前記複数の収音素子に対し、前記同心円の中心軸上に配置され、所定の計測音を放射する発音部と、前記複数の収音素子により収音された前記所定の計測音を基に、各々の前記収音素子の位相特性を計測し、計測された前記位相特性を基に、前記収音素子毎の位相ずれの補正値を算出する補正値算出部と、を備える、指向性制御システムである。
この構成によれば、指向性制御システムは、同心円の中心軸上に配置された発音部から放射された所定の試験音を、同心円上に配置された複数の収音素子が収音することで得られる収音素子毎の位相特性を計測し、この位相特性を基に、収音素子毎の位相ずれの補正値を算出するので、各収音素子と発音部(音源)との間の距離が一定となり、収音素子毎の位相特性の計測及び位相ずれの補正値の算出が容易になる。また、位相ずれの補正値の算出時における基準位相値は、発音部の中心からの距離を基に算出されても、各収音素子からの距離の平均を基に算出されても良いので、発音部自身の性能が収音素子毎の位相特性に応じた位相ずれの補正値に影響を与えることがない。
また、本発明の一実施形態は、前記収音部は、前記記憶部を有し、前記遅延時間算出部及び前記指向性形成部を含む指向性制御装置からの要求に応じて、前記記憶部に記憶された前記収音素子毎の位相ずれの補正値を前記指向性制御装置に送信する、指向性制御システムである。
この構成によれば、指向性制御システムは、指向性制御装置からの要求の度に、収音部の記憶部に記憶された収音素子毎の位相ずれの補正値を収音部から指向性制御装置に送信するので、音声データと位相ずれの補正値とを常に同時に送信することがなく、収音部から指向性制御装置に送信されるデータの転送量を減らすことができ、ネットワークのトラフィック量の低減を図ることができる。
また、本発明の一実施形態は、前記収音部は、前記記憶部を有し、前記遅延時間算出部及び前記指向性形成部を含む指向性制御装置に対し、前記音声のデータに、前記記憶部に記憶された前記収音素子毎の位相ずれの補正値を付加して送信する、指向性制御システムである。
この構成によれば、指向性制御システムは、収音された音声のデータに、収音部の記憶部に記憶された収音素子毎の位相ずれの補正値を付加して、収音部から指向性制御装置に送信するので、音声の指向性形成処理において、予め位相ずれの補正値を取得していなくても精度の高い指向性を得ることができる。
また、本発明の一実施形態は、複数の前記収音部が設けられ、前記記憶部は、各々の前記収音部の識別情報と前記識別情報に対応する前記収音部に含まれる前記収音素子の位相ずれの補正値とを対応付けて記憶し、前記収音部は、前記収音部の識別情報と前記識別情報に対応する前記収音部に含まれる前記収音素子の位相ずれの補正値とを前記指向性制御装置に送信する、指向性制御システムである。
この構成によれば、指向性制御システムは、収音部の識別情報(例えば複数の全方位マイクアレイ装置のうちいずれかの全方位マイクアレイ装置を識別するための固有のアレイID)とこの識別情報に対応する収音部に含まれる収音素子の位相ずれの補正値とを収音部から指向性制御装置に送信するので、各々の収音素子における位相ずれの補正値と収音部の識別情報とを対応付けて1つのパケット内に格納した状態で送信することができる。これにより、指向性制御システムは、複数の収音部を含む場合でも、各々の収音素子における位相ずれの補正値と収音部の識別情報とが常に1つのパケット内に格納された状態で送信されるので、音声の指向性形成処理において、選択された1つの収音部に含まれる収音素子毎の位相ずれの補正値を確実に参照することで、各収音素子における位相ずれの補正において用いる位相ずれの補正値の使用間違えを防ぐことができる。
本発明の一実施形態は、複数の収音素子を含む収音部を備える指向性制御システムにおける指向性制御方法であって、各々の前記収音素子の位相ずれの補正値を、前記収音素子に対応付けて記憶部に記憶するステップと、
前記収音素子毎の位相ずれの補正値を用いて、音源から各々の前記収音素子に伝播される音声の遅延時間を前記収音素子毎に算出するステップと、
算出された前記収音素子毎の遅延時間と前記収音部により収音された音声とを用いて、前記音声の指向性を形成するステップと、を有する、指向性制御方法である。
この方法によれば、指向性制御システムは、記憶された収音素子毎の位相ずれの補正値を用いて、音源から各々の収音素子に伝播される音声の遅延時間を収音素子毎に算出し、算出された収音素子毎の遅延時間と収音部により収音された音声とを用いて、音声の指向性を形成するので、音声の指向性形成処理において、収音部に含まれる各収音素子固有の位相ずれの特性を考慮した位相補正により、収音素子毎の位相ずれの増大を抑制することができる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。