JP2015082734A - 音声処理装置、音声処理システム、及び音声処理方法 - Google Patents

Abstract

【課題】収音部により収音された音の音質を向上できる音声処理装置を提供する。【解決手段】複数のマイクロホンを含む収音部により収音された音声データと、撮像部により撮像された映像データと、を取得するデータ取得部と、取得された映像データにおける空間的な映像範囲を指定する範囲指定部と、前記音声データにおける前記範囲指定部により指定された前記映像範囲の方向における音声成分を強調する指向性処理部と、指定された映像範囲及び収音部の収音特性に基づいて、音声データの周波数特性を補正する特性補正部と、を備える。【選択図】図２

Description

本発明は、音声処理装置、音声処理システム、及び音声処理方法に関する。

従来、例えば、工場、店舗、公共の場所の状況を、特定の室内又は遠隔地において監視する場合に、監視システムが利用されている。監視システムは、例えば、映像を撮像するカメラ、音声を収音するマイクロホン、所定のデータ（例えば、撮像した映像、収音された音声）を記憶するレコーダ装置、を備える。監視システムを用いることで、例えば、事件又は事故が発生した場合、レコーダ装置が記録した過去のデータを再生し、記録された映像又は音声を過去の時点における状況把握に役立てることができる。

従来の監視システムとして、全方位カメラ及びマイクロホンアレイのためのシステムが知られている。このシステムは、複数のマイクロホンにより形成されたアレイマイクを利用し、フィルタリングにより特定の方向からの音のみを抽出し、ビームを形成する（例えば、特許文献１参照）。

特開２００４−３２７８２号公報

従来のシステムでは、収音部により収音された音の音質が低下する場合があった。

本発明は、上記事情に鑑みてなされたものであり、収音部により収音された音の音質を向上できる音声処理装置、音声処理システム、及び音声処理方法を提供する。

本発明の音声処理装置は、複数のマイクロホンを含む収音部により収音された音声データと、撮像部により撮像された映像データと、を取得するデータ取得部と、前記データ取得部により取得された映像データにおける空間的な映像範囲を指定する範囲指定部と、前記音声データにおける前記範囲指定部により指定された前記映像範囲の方向における音声成分を強調する指向性処理部と、前記範囲指定部により指定された前記映像範囲及び前記収音部の収音特性に基づいて、前記音声データの周波数特性を補正する特性補正部と、を備える。

また、本発明の音声処理システムは、複数のマイクロホンを用いて収音する収音部と、映像を撮像する撮像部と、前記撮像部により撮像された映像データにおける空間的な映像範囲を指定する範囲指定部と、前記収音部により収音された音声データにおける前記範囲指定部により指定された前記映像範囲の方向における音声成分を強調する指向性処理部と、前記範囲指定部により指定された前記映像範囲及び前記収音部の収音特性に基づいて、前記音声データの周波数特性を補正する特性補正部と、を備える。

また、本発明の音声処理方法は、音声処理装置における音声処理方法であって、複数のマイクロホンを含む収音部により収音された音声データと、撮像部により撮像された映像データと、を取得するステップと、前記取得された映像データにおける空間的な映像範囲を指定するステップと、前記音声データにおける前記指定された映像範囲の方向における音声成分を強調するステップと、前記指定された映像範囲及び前記収音部の収音特性に基づいて、前記音声データの周波数特性を補正するステップと、を有する。

また、本発明の音声処理方法は、音声処理システムにおける音声処理方法であって、複数のマイクロホンを用いて収音するステップと、映像を撮像するステップと、撮像された映像データにおける空間的な映像範囲を指定するステップと、前記収音された音声データにおける前記指定された映像範囲の方向における音声成分を強調するステップと、前記指定された映像範囲及び前記収音部の収音特性に基づいて、前記音声データの周波数特性を補正するステップと、を有する。

本発明によれば、収音部により収音された音の音質を向上できる。

実施形態における監視システムの概要図 実施形態における監視システムの構成例を示すブロック図 実施形態におけるアレイマイク、カメラ及び各音源の配置状態の一例を示す平面図 実施形態におけるモニタによる画面表示例を示す模式図 実施形態におけるアレイマイクの収音角度毎の収音特性の一例を示す模式図 実施形態における音声処理機能の概要を示す模式図 実施形態におけるディジタルフィルタの収音角度毎のフィルタ特性の一例を示す模式図 （Ａ），（Ｂ）実施形態における監視制御装置の動作例を示すフローチャート 実施形態における指向性処理の概要図 実施形態におけるディジタルフィルタの構成例を示すブロック図

本発明の実施形態について、図面を用いて以下に説明する。

（本発明の一形態を得るに至った経緯）
従来のシステムは、アレイマイクが収音した音のうち、特定の方向からの音のみを抽出してビームを形成し、音響指向特性（単に指向性ともいう）を調整できる。しかし、特定の監視対象物（例えば人物含む）の位置に合わせて指向性を調整した場合でも、指向性を調整した方向によっては収音音質の劣化が発生する場合がある。

例えば、アレイマイク本体の大きさが、アレイマイクに含まれる各マイクロホンの大きさに対して所定以上の大きさを有することを想定する。この場合、可聴周波数帯域において、比較的高い周波数帯域では、音声データの信号レベルが大きく、比較的低い周波数領域では、音声データの信号レベルが小さいことがある。この場合、指向性を調整した方向によっては収音音質の劣化が発生する場合がある。また、指向性を調整する方向（指向性の向き）が変化すると、それに伴って音質が変化する傾向がある。この場合、収音された音声データの特性を一律に調整しても、音質を改善できない場合がある。

以下、収音部により収音された音の音質を向上できる音声処理装置、音声処理システム、及び音声処理方法について説明する。

図１は実施形態における監視システム１００の概要図である。監視システム１００では、アレイマイク１０（Ａｒｒａｙ ｍｉｃｒｏｐｈｏｎｅｓ）、カメラ２０、監視制御装置３０、及びレコーダ７０が、有線又は無線のネットワーク５０を介して接続される。

アレイマイク１０は収音部、収音装置の一例である。カメラ２０は撮像部、撮像装置の一例である。監視制御装置３０は、音声処理装置の一例である。レコーダ７０は記憶装置の一例である。監視システム１００は、音声処理システムの一例である。

アレイマイク１０は、複数のマイクロホン１１（１１Ａ，１１Ｂ，１１Ｃ，・・・）を含み、アレイマイク１０の周囲の音を収音し、音声データ（第１の音声データの一例）を得る。カメラ２０は、カメラ２０の所定のエリアを撮像し、映像データを得る。監視制御装置３０は、アレイマイク１０による収音結果、カメラ２０による撮像結果に応じて、監視対象物を監視に係る各種制御を行う。レコーダ７０は、例えば、アレイマイク１０により収音された音声データ、カメラ２０により撮像された映像データ、を記憶する。

監視システム１００では、ユニット筐体９１に、１個のカメラ２０と、アレイマイク１０に含まれる１６個のマイクロホン１１（１１Ａ，１１Ｂ，１１Ｃ，・・・）と、が一体的に組み込まれ、収音ユニット９０を形成する。なお、アレイマイク１０におけるマイクロホンの数は、１５個以下でも、１７個以上でもよい。また、アレイマイク１０とカメラ２０とは収音ユニット９０を形成せず、別体に形成されてもよい。

カメラ２０は、例えば、撮像方向の中心（光軸方向）を鉛直下向きにして、ユニット筐体９１の略中央部に配置される。アレイマイク１０において複数のマイクロホン１１は、ユニット筐体９１の設置面に沿ってカメラ２０の周囲を取り囲むように、１つの円周上に一定の間隔で配置される。複数のマイクロホン１１は、円周上でなく、例えば矩形上に配置されてもよい。

カメラ２０は、例えば、広範囲（例えば全方向）の被写体を同時に撮像可能に構成される。各マイクロホン１１は、例えば、広範囲（例えば全方位）から到来する音波を検出可能に構成される。

図２は監視システム１００の構成例を示すブロック図である。監視システム１００は、アレイマイク１０、カメラ２０、監視制御装置３０、及びレコーダ７０を備える。アレイマイク１０、カメラ２０、監視制御装置３０、及びレコーダ７０は、ネットワーク５０を介して互いにデータ通信できる状態で接続される。また、監視制御装置３０には、例えば、モニタ６１、マウス６２、及びスピーカ６３が接続される。

図２では、監視システム１００がレコーダ７０を備えるが、映像、音声をリアルタイムで監視するシステムであれば、レコーダ７０が省略されてもよい。また、音声のみを用いて監視するシステムであれば、カメラ２０や表示に関連する機能が省略されてもよい。

また、以下では、主に、アレイマイク１０に含まれる複数のマイクロホン１１のうち、３個のマイクロホン１１Ａ，１１Ｂ，１１Ｃを代表して説明する。３個のマイクロホン１１Ａ〜１１Ｃ以外のマイクロホンについても、マイクロホン１１Ａ〜１１Ｃと同様の構成及び機能を有する。

アレイマイク１０は、複数のマイクロホン１１Ａ，１１Ｂ，１１Ｃが互いに近接した状態で規則的（ここでは円周上）に配列され、形成される。マイクロホン１１Ａ〜１１Ｃは、音声を電気信号（音声データ）に変換する変換器である。アレイマイク１０では、複数のマイクロホン１１Ａ，１１Ｂ，１１Ｃが規則的に配置されなくてもよい。この場合でも、例えば、各マイクロホン１１Ａ〜１１Ｃの位置の情報が監視システム１００に保持され、指向性処理されてもよい。

マイクロホン１１Ａ〜１１Ｃの出力には、増幅器１２Ａ〜１２Ｃ、Ａ／Ｄ変換器（ＡＤＣ：Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）１３Ａ〜１３Ｃ、及び音声エンコーダ１４Ａ〜１４Ｃが接続される。また、音声エンコーダ１４Ａ〜１４Ｃの出力には、ネットワーク処理部１５が接続される。

マイクロホン１１Ａ〜１１Ｃは、様々な方向から入力される音響の振動に応じたアナログ音声データを生成する。増幅器１２Ａ〜１２Ｃは、マイクロホン１１Ａ〜１１Ｃが出力するアナログ音声データを増幅する。Ａ／Ｄ変換器（ＡＤＣ）１３Ａ〜１３Ｃは、増幅器１２Ａ〜１２Ｃが出力するアナログ音声データの電圧を周期的にサンプリングし、ディジタル信号に変換する。音声エンコーダ１４Ａ〜１４Ｃは、Ａ／Ｄ変換器１３Ａ〜１３Ｃが出力するディジタルデータ（音声データの波形の時系列変化）を圧縮符号化して、伝送に適した所定の形式のディジタル音声データを生成する。音声エンコーダ１４Ａ〜１４Ｃは、圧縮せずに符号化してもよい。

尚、本実施形態における「音声」は、人間の発声によって得られる音声の他に、例えば、機械的な振動によって発生する一般的な音響又はノイズの成分が含まれてもよい。また、「音声」には、例えば監視対象である音声以外の音声が含まれてもよい。つまり、マイクロホン１１Ａ〜１１Ｃにより収音された音響の信号は、音響の種類を区別せずに「音声」と記載されることもある。

ネットワーク処理部１５は、音声エンコーダ１４Ａ〜１４Ｃが生成したディジタル音声データ）をネットワーク５０に対して送出する。例えば、マイクロホン１１Ａ〜１１Ｃが収集した音声に対して、音声エンコーダ１４Ａ〜１４Ｃが独立したディジタル音声データを生成する。よって、ネットワーク処理部１５は、各マイクロホン１１Ａ〜１１Ｃに対応する複数チャネルのディジタル音声データをネットワーク５０に送出する。

カメラ２０は、レンズ２１、センサ２２、映像エンコーダ２３、及びネットワーク処理部２４を備える。

レンズ２１は、例えば全方位レンズ、魚眼レンズである。センサ２２は、撮像デバイスであり、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを含む。センサ２２は、センサの撮像面にレンズ２１を介して入射する被写体の光像に応じた映像信号を生成する。

映像エンコーダ２３は、センサ２２が出力する映像信号を順次処理し、所定の規格に適合するディジタル映像信号を生成する。ネットワーク処理部２４は、映像エンコーダ２３が生成したディジタル映像信号を、ネットワーク５０に送出する。

監視制御装置３０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。監視制御装置３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を含む。監視制御装置３０は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、又はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。

監視制御装置３０は、例えば、ＣＰＵ又はＤＳＰにより、ＲＯＭ又はＲＡＭに記録された制御用のプログラム（例えば、アプリケーションプログラム、アクティブＸ形式のプログラム）を組み込むことにより、各種機能を実現する。

監視制御装置３０は、ネットワーク処理部３１、映像デコーダ３２、映像出力部３３、画像認識部３４、収音座標指定部３５、音声デコーダ３６Ａ，３６Ｂ，３６Ｃ、及び指向性処理部３７を備える。また、監視制御装置３０は、収音角度演算部３８、ディジタルフィルタ３９、フィルタ係数決定部４０、Ｄ／Ａ変換器（ＤＡＣ：Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）４１、及び音声出力部４２を備える。

ネットワーク処理部３１は、ネットワーク５０を経由して、アレイマイク１０、カメラ２０、及びレコーダ７０との間においてデータ通信する。データ通信により、ネットワーク処理部３１は、アレイマイク１０から複数のチャネルのディジタル音声データを取得し、カメラ２０からディジタル映像信号を取得する。また、ネットワーク処理部３１は、レコーダ７０から複数のチャネルのディジタル音声データを取得し、ディジタル映像信号を取得してもよい。

映像デコーダ３２は、ネットワーク処理部３１がネットワーク５０から取得した所定形式のディジタル映像信号を復号し、再生可能なディジタル映像信号を生成する。

映像出力部３３は、映像デコーダ３２からのディジタル映像信号を、モニタ６１が表示可能な形式の映像信号に変換し、モニタ６１に送出する。また、映像出力部３３は、モニタ６１による表示を制御してもよい。

モニタ６１は、映像出力部３３からの映像信号に従って、画面上に映像を表示する。例えば、カメラ２０が撮像した映像、レコーダ７０が出力した映像が、モニタ６１の画面上に表示される。

画像認識部３４は、映像出力部３３からの映像信号に対して所定の画像処理を実行し、例えば、図示しないメモリに事前に登録された様々なパターンの画像と一致するか否かを認識する。例えば、パターンマッチングの処理を実行し、映像に含まれる様々な物体の中から、所定の人物又は所定の人物の顔に類似するパターンを抽出する。人物以外の物体のパターンを抽出してもよい。

収音座標指定部３５は、例えば、マウス６２又は画像認識部３４からの入力を受け付け、入力位置又は入力範囲に対応する座標を導出する。例えば、モニタ６１の画面上に表示される映像において、操作者６０が注目すべき点の位置（例えば図１の符号Ｐ１）の座標を、収音座標（ｘ，ｙ）として受け付ける。収音座標指定部３５は、範囲指定部の一例である。

操作者６０は、例えば、モニタ６１の画面を見てマウス６２を操作する。操作者６０は、マウス６２の移動操作に伴って画面上に表示されるポインタ（図示せず）の位置が移動するので、収音座標を画面上の表示範囲において変更できる。例えば、操作者６０によるマウス６２のクリック操作（第１の入力の一例）により、ポインタの座標が収音座標として収音座標指定部３５に与えられる。操作者６０は、監視システム１００を用いて監視する監視者の一例である。

マウス６２以外の入力手段を用いて収音座標を指定してもよい。例えば、モニタ６１の画面がタッチパネル機能を有し、操作者６０が、タッチパネルを用いて所望の映像範囲をタッチしてもよい。

また、画像認識部３４は、事前に登録されたパターンが映像信号に含まれると認識した場合、認識されたパターンが存在するモニタ６１の画面上の位置（例えば図１の符号Ｐ１）の座標を、収音座標として収音座標指定部３５に与えてもよい。認識されたパターンは、例えば、人物の全体、人物の顔である。

音声デコーダ３６Ａ〜３６Ｃは、各々、所定の形式で圧縮符号化されたディジタル音声データを入力し、復号する。また、音声デコーダ３６Ａ〜３６Ｃは、各々独立して設けられた場合、アレイマイク１０のマイクロホン１１Ａ〜１１Ｃの各々が収集した複数チャネルの音声データを同時に処理できる。

指向性処理部３７は、音声デコーダ３６Ａ〜３６Ｃから出力される複数チャネルのディジタル音声データを、所定のアルゴリズムに従って合成する（指向性処理）。例えば、監視対象の人物が存在する場所（注目点）の方向（指向性の方向）の音声成分の信号レベルを上げ、これ以外の方向の音声成分の信号レベルを下げる。なお、指向性の方向は、複数存在してもよい。

これにより、様々な方向からアレイマイク１０に到来する音響において、監視対象の人物の音声を強調して抽出し、目的外の音声（例えば、監視対象外の人物の音声、音響ノイズ）を抑制できる。

なお、上記パラメータは、例えば、収音角度演算部３８により導出された収音角度θに基づく。指向性処理部３７は、指向性処理された１つの音声データを出力する。

収音角度演算部３８は、収音座標指定部３５が決定した収音座標に基づいて、アレイマイク１０の指向性の方向を表す収音角度θを導出（例えば算出）する。収音角度演算部３８が導出した収音角度θが、指向性処理部３７及びフィルタ係数決定部４０にパラメータとして入力される。例えば、収音座標と収音角度とは１対１で対応しており、この対応情報を含む変換テーブルが図示しないメモリに格納されてもよい。収音角度演算部３８は、この変換テーブルを参照し、収音角度θを導出してもよい。

ディジタルフィルタ３９は、指向性処理部３７から出力される指向性処理後のディジタル音声データ（第２の音声データの一例）に対して所定のフィルタリングを施し、ディジタル音声データの周波数特性を補正する。ディジタルフィルタ３９は、例えば、ディジタルＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ：無限インパルス応答）フィルタ、又はディジタルＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ：有限インパルス応答）フィルタを含む。ディジタルフィルタ３９の周波数特性（フィルタ特性）を決定するパラメータは、例えば、フィルタ係数決定部４０から入力される。ディジタルフィルタ３９は、例えば、音声データの周波数特性を補正する特性補正部の一例である。

フィルタ係数決定部４０は、収音角度演算部３８から入力される収音角度θの情報に基づいて、ディジタルフィルタ３９が音声データの周波数特性を補正するパラメータを導出し、導出されたパラメータをディジタルフィルタ３９に与える。従って、収音角度θに応じて導出されるパラメータが変化し、ディジタルフィルタ３９のフィルタ特性が変化する。

フィルタ係数決定部４０及びディジタルフィルタ３９は、音声データの周波数特性を可変するイコライザーユニットとして動作する。これにより、収音角度θに応じたアレイマイク１０の周波数特性（収音特性）のばらつきを修正でき、音声データの周波数特性のばらつきを修正できる。収音特性のばらつきとは、例えば、収音角度θに応じて各収音特性が異なることを指す。イコライザーユニットにより、収音角度θに応じた収音特性に関わらず、音声データの周波数特性を一様にできる。

Ｄ／Ａ変換器４１は、ディジタルフィルタ３９により処理されたディジタル音声データ（第３の音声データの一例）を入力し、アナログ音声データに変換する。Ｄ／Ａ変換器４１は、変換後のアナログ音声データを音声出力部４２に与える。

音声出力部４２は、Ｄ／Ａ変換器４１からのアナログ音声データを増幅し、スピーカ６３に与える。スピーカ６３は、音声出力部４２からのアナログ音声データに相当する音を出力する。従って、操作者６０は、アレイマイク１０により収音された音声データが処理された音を、スピーカ６３から聴くことができる。

レコーダ７０は、ネットワーク処理部７１、及びデータ記録部７２を備える。レコーダ７０は、例えば、ＣＰＵ、ＤＳＰ、ＲＯＭ、又はＲＡＭを含み、ＣＰＵ又はＤＳＰにより、ＲＯＭ又はＲＡＭに記録された制御用のプログラムを組み込むことにより、各種機能を実現する。

ネットワーク処理部７１は、例えば、アレイマイク１０から送出される複数チャネルのディジタル音声データ、又はカメラ２０から送出されるディジタル映像信号を、ネットワーク５０を経由して取得する。また、ネットワーク処理部７１は、例えば、データ記録部７２が記録したディジタル音声データ又はディジタル映像信号を、ネットワーク５０に送出する。

データ記録部７２は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）を含み、ネットワーク処理部７１が取得した複数チャネルのディジタル音声データ、及びディジタル映像信号のデータを、順次記録する。データ記録部７２は、ディジタル音声データ及びディジタル映像信号のデータを記録する場合、ディジタル音声データの生成時刻とディジタル映像信号の生成時刻とを対応づけて記録する。また、上記生成時刻の情報を、ディジタル音声データ又はディジタル映像信号と共に記録してもよい。

レコーダ７０に記録されたディジタル音声データ及びディジタル映像信号は、例えばＣＰＵにより所定の命令を与えることにより、データ記録部７２から読み出され、ネットワーク処理部７１及びネットワーク５０を経由して監視制御装置３０に与えられる。

監視制御装置３０は、アレイマイク１０が送出するディジタル音声データとカメラ２０が送出するディジタル映像信号とを、アレイマイク１０及びカメラ２０から直接入力してもよい。また、監視制御装置３０は、レコーダ７０に記録されたディジタル音声データ及びディジタル映像信号を、所定の時点においてレコーダ７０から読み出して入力してもよい。

次に、アレイマイク１０、カメラ２０及び各音源の配置状態について説明する。
図３は、アレイマイク１０、カメラ２０及び各音源の配置状態の一例を示す模式図である。

図３では、例えば、収音ユニット９０が屋内の天井面１０１に固定される。図３では、アレイマイク１０に含まれる複数のマイクロホン１１Ａ〜１１Ｃは、天井面１０１（収音ユニット９０の設置面）に沿って配列される。

また、収音ユニット９０は、アレイマイク１０の基準方向とカメラ２０の基準方向（例えば光軸方向）とが一致するよう天井面１０１に取り付けられる。アレイマイク１０の基準方向に対する水平方向及び垂直方向と、カメラ２０の基準方向に対する水平方向及び垂直方向とは、一致する。この水平方向はｘ軸方向，ｙ軸方向であり、垂直方向はｚ軸方向である。

アレイマイク１０の基準方向は、例えば、アレイマイク１０における各マイクロホン１１が配列された配列方向である。収音角度θは、アレイマイク１０の基準方向と指向性の方向とにより形成される角度である。アレイマイク１０の基準方向と指向性の方向とにより形成される収音角度θの水平方向成分は、水平角θｈである。アレイマイク１０の基準方向と指向性の垂直方向とにより形成される収音角度θの垂直方向成分は、垂直角θｖである。

収音ユニット９０では、アレイマイク１０における各マイクロホン１１が円周上に一定の間隔で配列されるので、配列面（ｘ−ｙ面）に沿う水平方向に対しては、どの向きに対しても音声データの周波数特性が同様になる。従って、図３の例では、収音角度θは、実質的に垂直角θｖに依存する。そのため、以下の説明では主に、収音角度θとして水平角θｈを考慮しないで説明する。

図３に示すように、収音ユニット９０におけるアレイマイク１０の収音角度θ（垂直角θｖ）は、マイクロホン１１Ａ〜１１Ｃの配列面と平行な方向（ｘ軸，ｙ軸）と、指向性の感度が最大になる方向と、のなす角度である。

マイクロホン１１Ａ〜１１Ｃは、マイクロホン１１Ａ〜１１Ｃに向かって到来する音声を収音する。また、カメラ２０は、直下（ｚ軸方向）の方向を基準方向（光軸方向）として、カメラ２０の周囲における例えば全方位を撮像する。

なお、アレイマイク１０による収音対象又はカメラ２０による撮像対象は、全方位でなく、一部の方向に制限されてもよい。また、アレイマイク１０又は監視制御装置３０は、一部の方向に収音対象が制限された状態で収音された音声データを合成し、収音対象が全方位である場合と同様の音声データを生成してもよい。また、カメラ２０又は監視制御装置３０は、一部の方向に撮像対象が制限された状態で撮像された映像信号を合成し、撮像対象が全方位である場合と同様の映像信号を生成してもよい。

図３では、天井面１０１と略平行に対向する床面１０２に、３つの音源ＰＡ，ＰＢ，ＰＣが離間して存在する場合を想定する。音源ＰＡ〜ＰＣは、例えば人物である。

カメラ２０は、音源ＰＡ〜ＰＣを含む範囲の被写体を撮像する。また、アレイマイク１０は、音源ＰＡ〜ＰＣが発生する音声を収音する。

監視システム１００では、監視制御装置３０の指向性処理部３７が、スピーカ６３から出力される音声データに指向性を付与する。指向性処理部３７は、アレイマイク１０の収音感度が高い方向として、音源ＰＡ〜ＰＣのいずれの方向も選択できる。

尚、詳細については後述するが、アレイマイク１０における指向性処理後の音声データの周波数特性は、収音角度θに応じて変化する。つまり、アレイマイク１０の指向性を音源ＰＡ〜ＰＣのいずれの方向に向けるかに応じて、アレイマイク１０の収音特性が変化し、音声データの周波数特性が変化する。音声データの周波数特性の変動は、例えば、音質を劣化させ、音声の聞き取り易さに影響する。

次に、モニタ６１による画面表示について説明する。
図４は、モニタ６１による画面表示例を示す模式図である。例えば、図３の配置状態においてカメラ２０により撮像された映像を、ネットワーク５０及び監視制御装置３０を介してモニタ６１に出力すると、図４に示す表示画面６１ａが表示される。

次に、アレイマイク１０の収音特性について説明する。

図５は、アレイマイク１０の収音特性の一例を示す模式図である。アレイマイク１０の収音特性は、補正前における測定音の音声データの周波数特性に相当する。ここでの補正前とは、ディジタルフィルタ３９によるフィルタリングを実施する前、つまり音声データの周波数特性の補正前を示す。収音特性は、周波数（Ｈｚ）と信号レベル（ｄＢ）との関係性を示す。

収音特性を測定するため、アレイマイク１０は、各音源が同様に、例えば、周波数に対して略一定の信号レベルを有する音（測定音）を入力する。また、監視制御装置３０は、例えば、アレイマイク１０から音声データを受信し、当該音声データを処理する。測定音の音声データは信号レベルが平坦（フラット）であるので、測定音の音声データの周波数特性は、アレイマイク１０の収音特性に相当する。

図３の配置状態において、アレイマイク１０の収音感度が最大の方向（指向性の方向）が音源ＰＡの方向と一致するように指向性処理した場合、指向性処理後のディジタル音声データの周波数特性（補正前の周波数特性）は、図５の符号ＣＡにより示される。つまり、指向性の方向が音源ＰＡの方向である収音角度θの場合、収音特性ＣＡが得られる。

図３の配置状態において、アレイマイク１０の指向性の方向が音源ＰＢの方向と一致するように指向性処理した場合、補正前の周波数特性は、図５の符号ＣＢにより示される。つまり、指向性の方向が音源ＰＢの方向である収音角度θの場合、収音特性ＣＢが得られる。

図３の配置状態において、アレイマイク１０の指向性の方向が音源ＰＣの方向と一致するように指向性処理した場合、補正前の周波数特性は、図５の符号ＣＣにより示される。つまり、指向性の方向が音源ＰＣの方向である収音角度θの場合、収音特性ＣＣが得られる。

収音特性ＣＡ〜ＣＣは、いずれも特性が異なり、平坦ではない。収音特性ＣＡ〜ＣＣでは、略数百Ｈｚ以下の低音域（低周波数領域）では相対的に収音感度が低く、略１ｋＨｚ以上の高音域（高周波数領域）では相対的に収音感度が高い。また、指向性の向きに応じて収音特性が変動し、具体的には、図３に示す収音角度θの違いに応じて、符号ＣＡ〜ＣＣのように収音特性が変動する。なお、ここでは１ｋＨｚ以上の場合に収音感度が相対的に高いことを例示したが、収音感度が相対的に高くなる周波数は、アレイマイク１０の物理的な大きさによって変化する傾向がある。

例えば、アレイマイク１０の指向性の方向を、音源ＰＡの方向に合わせた場合と音源ＰＣの方向に合わせた場合とでは、収音特性ＣＡ，ＣＣのような違いが生じる。また、例えば、収音特性ＣＣの場合、高音域に比べて低音域の信号レベルが非常に小さくなる場合がある。

監視制御装置３０では、フィルタ係数決定部４０が、収音角度θに基づいて、ディジタルフィルタ３９に与えるパラメータを導出する。そして、ディジタルフィルタ３９が、ディジタル音声データの周波数特性を動的に補正する。

収音角度θを考慮して音声データの周波数特性を補正することにより、以下の状態を抑制できる。例えば、収音角度θを考慮して収音特性が平坦になるように音声データの周波数特性を補正することにより、収音特性ＣＣが付加された音声データの低音域が、他の収音特性ＣＡ，ＣＢが付加された音声データの低音域よりも強調されることを抑制できる。

次に、監視制御装置３０が有する音声処理機能について詳細に説明する。
図６は、監視制御装置３０の音声処理機能の概要を示す模式図である。

フィルタ係数決定部４０は、補正テーブル４０ａを有する。補正テーブル４０ａは、収音角度θの範囲毎に、事前に決定されたｎ（複数）個のパラメータを定数として保持する。

例えば、「０＜θ≦１０（度）」の角度範囲に対応付けて、ｎ個１組のパラメータ（Ｆａ１，Ｆａ２，Ｆａ３，・・・，Ｆａｎ）が保持される。「１０＜θ≦２０（度）」の角度範囲に対応付けて、ｎ個１組のパラメータ（Ｆｂ１，Ｆｂ２，Ｆｂ３，・・・，Ｆｂｎ）が保持される。また、「２０＜θ≦３０（度）」の角度範囲に対応付けて、ｎ個１組のパラメータ（Ｆｃ１，Ｆｃ２，Ｆｃ３，・・・，Ｆｃｎ）が保持される。なお、１０度毎にパラメータが保持されることは一例である。

フィルタ係数決定部４０は、収音角度演算部３８から入力される収音角度θに応じて、補正テーブル４０ａから該当する角度範囲のｎ個１組のパラメータを取得し、取得されたパラメータをディジタルフィルタ３９に与える。

補正テーブル４０ａに保持される各パラメータは、例えば、監視システム１００におけるアレイマイク１０の構成又は配置状態に基づき、収音角度θ毎に導出（例えば実測）された収音特性ＣＡ〜ＣＣに基づいて、事前に決定される。例えば、実測により得られた収音角度θ毎の収音特性ＣＡ〜ＣＣと、ディジタルフィルタ３９のフィルタ特性と、が正反対（逆）になる数値が、各パラメータに割り当てられる。

次に、ディジタルフィルタ３９のフィルタ特性について説明する。
図７は、ディジタルフィルタ３９の複数のフィルタ特性の一例を示す模式図である。監視システム１００では、ディジタルフィルタ３９のフィルタ特性Ｃ２Ａ，Ｃ２Ｂ，Ｃ２Ｃは、各々、図５に示した収音特性ＣＡ，ＣＢ，ＣＣに対応付けられる。フィルタ特性は、周波数と信号レベル（ｄＢ）との関係性を示す。

例えば、図３に示した音源ＰＡに対する収音感度が最大になる方向がアレイマイク１０の指向性の方向に一致する場合、アレイマイク１０の収音特性は、図５に示した収音特性ＣＡになる。収音特性ＣＡの場合の収音角度θに応じて、補正テーブル４０ａから選択的に取得されたパラメータがディジタルフィルタ３９に与えられると、ディジタルフィルタ３９のフィルタ特性は、図７に示すフィルタ特性Ｃ２Ａになる。

この場合、ディジタルフィルタ３９に入力されるディジタル音声データには、収音特性ＣＡに応じた周波数特性が付与されており、この周波数特性とディジタルフィルタ３９のフィルタ特性Ｃ２Ａとが、例えば正反対であるので、２つの特性が互いに相殺される。従って、アレイマイク１０の入力からディジタルフィルタ３９の出力までのシステム全体の周波数特性が、フラット（平坦）になる。これにより、ディジタル音声データの周波数特性において、アレイマイク１０の収音特性に応じて所定の周波数領域（例えば高音域）が強調されることを抑制できる。

同様に、図３に示した音源ＰＢに対する収音感度が最大になる方向がアレイマイク１０の指向性の方向に一致する場合、アレイマイク１０の収音特性は、図５に示した収音特性ＣＢになる。収音特性ＣＢの場合の収音角度θに応じて、補正テーブル４０ａから選択的に取得されたパラメータがディジタルフィルタ３９に与えられると、ディジタルフィルタ３９の周波数特性は、図７に示すフィルタ特性Ｃ２Ｂになる。

この場合、ディジタルフィルタ３９に入力されるディジタル音声データには、収音特性ＣＢに応じた周波数特性が付与されており、この周波数特性とディジタルフィルタ３９のフィルタ特性Ｃ２Ｂとが、例えば正反対であるので、２つの特性が互いに相殺される。従って、アレイマイク１０の入力からディジタルフィルタ３９の出力までのシステム全体の周波数特性が、フラット（平坦）になる。これにより、ディジタル音声データの周波数特性において、アレイマイク１０の収音特性に応じて所定の周波数領域（例えば高音域）が強調されることを抑制できる。

同様に、図３に示した音源ＰＣに対する収音感度が最大になる方向がアレイマイク１０の指向性の方向に一致する場合、アレイマイク１０の収音特性は、図５に示した収音特性ＣＣになる。収音特性ＣＣの場合の収音角度θに応じて、補正テーブル４０ａから選択的に取得されたパラメータがディジタルフィルタ３９に与えられると、ディジタルフィルタ３９の周波数特性は、図７に示すフィルタ特性Ｃ２Ｃになる。

この場合、ディジタルフィルタ３９に入力されるディジタル音声データには、収音特性ＣＣに応じた周波数特性が付与されており、この周波数特性とディジタルフィルタ３９のフィルタ特性Ｃ２Ｃとが、例えば正反対であるので、２つの特性が互いに相殺される。従って、アレイマイク１０の入力からディジタルフィルタ３９の出力までのシステム全体の周波数特性が、フラット（平坦）になる。これにより、ディジタル音声データの周波数特性において、アレイマイク１０の収音特性に応じて所定の周波数領域（例えば高音域）が強調されることを抑制できる。

このように、図３に示した各音源ＰＡ、ＰＢ、ＰＣに合わせてアレイマイク１０の指向性を調整すると、図５に示すような収音特性ＣＡ〜ＣＣのように平坦でない周波数特性が現れ、収音角度θに応じて収音特性に相異が生じる。

これに対して、フィルタ係数決定部４０が、収音角度θに応じて決定された１組のパラメータを、ディジタルフィルタ３９に与える。これにより、監視システム１００全体としてフラットな周波数特性が得られる。また、収音角度θが変化しても、フラットな周波数特性を維持できる。よって、監視システム１００において収音角度θに対する周波数特性の依存性がなくなり、音質が向上し、音声を聞き取りやすい状態を維持できる。

次に、監視制御装置３０の動作例について説明する。
図８（Ａ），（Ｂ）は、監視制御装置３０の動作例を示すフローチャートである。

図８（Ａ）は、リアルタイム動作例を示す。リアルタイム動作は、例えば、アレイマイク１０が収音した音声データ、及びカメラ２０が撮像した映像を、操作者６０が監視制御装置３０を用いてリアルタイムで監視する場合の動作である。

図８（Ａ）では、まず、ネットワーク処理部３１は、カメラ２０が送出した映像データを、ネットワーク５０を経由して受信する。また、ネットワーク処理部３１は、アレイマイク１０が送出した複数チャネルの音声データを、ネットワーク５０を経由して受信する（Ｓ１１）。

ネットワーク処理部３１が受信した映像データは、映像デコーダ３２により復号され、映像出力部３３へ送られる。映像出力部３３は、復号された映像データをモニタ６１に出力し、モニタ６１が表示画面６１ａ上に映像を表示（再生）するよう制御する（Ｓ１２）。

続いて、収音座標指定部３５は、例えばマウス６２からの座標入力を受け付ける（Ｓ１３）。例えば、操作者６０は、表示画面６１ａに表示される映像及びマウス６２のポインタの表示位置を視認し、マウス６２を操作して注目すべき映像範囲を指定する。収音座標指定部３５は、指定された映像範囲に対応する収音座標を取得する。操作者６０は、例えば、映像に含まれる特定の人物の顔の位置（例えば図４中の音源ＰＡの領域）にポインタを合わせてクリックすることで、収音座標指定部３５は、収音座標を取得する。上記映像範囲は、例えば、監視者が特に監視すべき監視領域の一例である。

また、収音座標指定部３５は、操作者６０による映像範囲の指定の代わりに、画像認識部３４が映像から所定のパターンを認識し、所定のパターンが存在する座標を収音座標として取得してもよい。

続いて、収音角度演算部３８は、収音座標指定部３５により取得された収音座標を基に、例えば変換テーブルを参照し、又は公知の演算処理をすることにより、収音角度θを導出する（Ｓ１４）。

収音角度演算部３８により導出された収音角度θは、指向性処理部３７に入力される。指向性処理部３７は、収音角度θに応じてアレイマイク１０の指向性処理のためのパラメータを導出する。そして、指向性処理部３７は、複数チャネルの音声デコーダ３６Ａ〜３６Ｃから入力される音声データに対し、導出されたパラメータを用いて指向性処理する（Ｓ１５）。これにより、指向性処理部３７が出力するディジタル音声データでは、例えば、収音角度θの方向に対してアレイマイク１０の収音感度が最大になる。

収音角度演算部３８により導出された収音角度θは、フィルタ係数決定部４０にも入力される。フィルタ係数決定部４０は、補正テーブル４０ａを用いて収音角度θに対応するパラメータを取得し、パラメータをディジタルフィルタ３９に与える。ディジタルフィルタ３９は、指向性処理部３７からのディジタル音声データに対して、フィルタ係数決定部４０から与えられたパラメータに対応する周波数特性の補正処理（フィルタ処理）を施す（Ｓ１６）。

リアルタイム動作例によれば、モニタ６１及びスピーカ６３を介して、現在の映像範囲における映像と音声とを同時に監視できる。また、映像を確認しながら任意の映像範囲を指定し、指向性を映像範囲に向けることができる。更に、システム全体で収音角度θに対して周波数特性が平坦化された音声データを得ることができ、映像範囲の位置に対応する収音角度に応じて補正された音声データを生成できる。従って、映像範囲の位置が変化しても、音質の低下を抑制でき、音声の聞き取りやすさが劣化することを抑制できる。

図８（Ｂ）は、レコーダ出力再生動作例を示す。レコーダ出力再生動作例は、例えば、レコーダ７０に記録された過去の音声データ及び映像信号を、操作者６０が監視制御装置３０を用いて分析する場合の動作である。

監視システム１００では、過去にカメラ２０が撮像した映像データ、及びアレイマイク１０が収音した複数チャネルの音声データがレコーダ７０に記録されている場合、記録された映像データ、及び音声データを、レコーダ７０から読み出すことができる。

監視制御装置３０は、例えば、操作者６０からの入力操作に従い、レコーダ７０に記録された特定の映像データ及び音声データを読み出すよう、レコーダ７０に指示する。この場合、該当する映像データ及び音声データがレコーダ７０から読み出され、ネットワーク５０を経由してネットワーク処理部３１により受信される（Ｓ２１）。

ネットワーク処理部３１が受信した映像データは、映像デコーダ３２により復号され、映像出力部３３へ送られる。映像出力部３３は、復号された映像データをモニタ６１に出力し、モニタ６１が表示画面６１ａ上に映像を表示（再生）するよう制御する（Ｓ２２）。

続いて、収音座標指定部３５は、例えばマウス６２からの座標入力を受け付ける（Ｓ２３）。例えば、操作者６０は、表示画面６１ａに表示される映像及びマウス６２のポインタの表示位置を視認し、マウス６２を操作して映像範囲を指定する。収音座標指定部３５は、指定された映像範囲に対応する収音座標を取得する。操作者６０は、例えば、映像に含まれる特定の人物の顔の位置（例えば図４中の音源ＰＡの領域）にポインタを合わせてクリックすることで、収音座標指定部３５は、収音座標を取得する。

また、収音座標指定部３５は、操作者６０による映像範囲の指定の代わりに、画像認識部３４が映像から所定のパターンを認識し、所定のパターンが存在する座標を収音座標として取得してもよい。

続いて、収音角度演算部３８は、収音座標指定部３５により取得された収音座標を基に、例えば変換テーブルを参照し、又は公知の演算処理をすることにより、収音角度θを導出する（Ｓ２４）。

収音角度演算部３８により導出された収音角度θは、指向性処理部３７に入力される。指向性処理部３７は、収音角度θに応じてアレイマイク１０の指向性処理のためのパラメータを導出する。そして、指向性処理部３７は、複数チャネルの音声デコーダ３６Ａ〜３６Ｃから入力される音声データに対し、導出されたパラメータを用いて指向性処理する（Ｓ２５）。これにより、指向性処理部３７が出力するディジタル音声データでは、例えば、収音角度θの方向に対してアレイマイク１０の収音感度が最大になる。

収音角度演算部３８により導出された収音角度θは、フィルタ係数決定部４０にも入力される。フィルタ係数決定部４０は、補正テーブル４０ａを用いて収音角度θに対応するパラメータを取得し、パラメータをディジタルフィルタ３９に与える。ディジタルフィルタ３９は、指向性処理部３７からのディジタル音声データに対して、フィルタ係数決定部４０から与えられたパラメータに対応する周波数特性の補正処理（フィルタ処理）を施す（Ｓ２６）。

レコーダ出力再生動作例によれば、モニタ６１及びスピーカ６３を介して、過去の映像範囲における映像と音声とを同時に監視できる。また、映像を確認しながら任意の映像範囲を指定し、指向性を映像範囲に向けることができる。更に、システム全体で収音角度θに対して周波数特性が平坦化された状態で音声データを得ることができるので、映像範囲の位置に対応する収音角度に応じて補正された音声データを生成できる。従って、映像範囲の位置が変化しても、アレイマイク１０により収音された音の音質の低下を抑制でき、音声の聞き取りやすさが劣化することを抑制できる。

このように、リアルタイム動作、レコーダ出力再生動作のいずれの場合でも、操作者６０が指定した映像範囲の位置に存在する被写体の方向（収音角度θ）に対するアレイマイク１０の収音感度を均等化できる。また、指向性処理部３７による指向性処理に伴って生じる音声データの周波数特性のばらつきを、ディジタルフィルタ３９のフィルタ特性により補正できる。

次に、監視システム１００による指向性処理の詳細について説明する。
図９は、指向性処理に係る基本構成例を示す模式図である。図９では、指向性処理部３７には、複数の遅延器３７ｂＡ，３７ｂＢ，３７ｂＣと、加算器３７ｃとが含まれ、これらの処理により指向性が形成されてもよい。

マイクロホン１１Ａ〜１１Ｃが出力するアナログ音声データを、Ａ／Ｄ変換器１３Ａ、１３Ｂ、１３Ｃがディジタル音声データに変換し、変換されたディジタル音声データに対して、指向性処理部３７が指向性処理する。なお、アレイマイク１０に含まれるマイクロホンの数（ｎ）、Ａ／Ｄ変換器の数（ｎ）、及び指向性処理部３７に含まれる遅延器の数（ｎ）は、必要に応じて増減される。

図９に示すように、複数のマイクロホン１１Ａ〜１１Ｃは、相互に所定距離離間された位置に配置されるので、１つの音源８０が発した音波が各々のマイクロホン１１Ａ〜１１Ｃに到達するまでの時間には、相対的な時間差（到達時間差）が生じる。

上記到達時間差の影響があるため、複数のマイクロホン１１Ａ〜１１Ｃがそれぞれ検出した音声データをそのまま加算すると、位相差のある複数の音声データの加算によって信号レベルが減衰することがある。そこで、複数の音声データのそれぞれに、遅延器３７ｂＡ〜３７ｂＣにより時間遅延を与えて位相を調整し、位相が調整された音声データ同士を加算器３７ｃにより加算する。これにより、位相が一致する複数の音声データが加算され、信号レベルが増大する。

図９に示すように、上記到達時間差は、音源８０からアレイマイク１０の筐体入射面１２１に入射される音波の到来方向（収音角度θに相当）に応じて変化する。例えば、特定の方向（θ）から到来した音波を複数のマイクロホン１１Ａ〜１１Ｃが検出した場合、加算器３７ｃに入力される複数の音声データの位相が一致し、加算器３７ｃが出力する音声データの信号レベルが増大する。一方、特定の方向（θ）以外から到来する音波では、加算器３７ｃに入力される複数の音声データに位相差が生じ、加算器３７ｃが出力する音声データの信号レベルが減衰する。よって、特定の方向（θ）から到来する音波に対してのみ感度が上がるように、アレイマイク１０の収音特性に指向性を形成できる。

図９に示すように、収音角度θの方向から目的（例えば監視対象）の音波が筐体入射面１２１に到来する場合、（式１）により表される各遅延時間Ｄ１，Ｄ２，Ｄ３が、各遅延器３７ｂＡ，３７ｂＢ，３７ｂＣの遅延時間として割り当てられる。

Ｄ１＝Ｌ１／Ｖｓ＝ｄ（ｎ−１）ｃｏｓθ／Ｖｓ
Ｄ２＝Ｌ２／Ｖｓ＝ｄ（ｎ−２）ｃｏｓθ／Ｖｓ ・・・（式１）
Ｄ３＝Ｌ３／Ｖｓ＝ｄ（ｎ−３）ｃｏｓθ／Ｖｓ
但し、
Ｌ１：１番目のマイクロホンとｎ番目のマイクロホンとの間の音波到達距離の差（既知の定数）
Ｌ２：２番目のマイクロホンとｎ番目のマイクロホンとの間の音波到達距離の差（既知の定数）
Ｌ３：３番目のマイクロホンとｎ番目のマイクロホンとの間の音波到達距離の差（既知の定数）
Ｖｓ：音速（既知の定数）
ｄ：マイクロホンの配置間隔（既知の定数）
なお、一例として、図２に示したシステム構成の場合、ｎ＝３であり、図１に示した収音ユニット９０の場合、ｎ＝１６である。

（式１）に示すように、特定の方向θからアレイマイク１０に到来する音波に指向性を合わせる場合、筐体入射面１２１における各マイクロホン１１Ａ〜１１Ｃに対する音波の到達時間差に対応して、各遅延器３７ｂＡ、３７ｂＢ、３７ｂＣに遅延時間Ｄ１〜Ｄ３が割り当てられる。

例えば、指向性処理部３７は、収音角度演算部３８からの収音角度θと（式１）とに基づき、各遅延時間Ｄ１〜Ｄ３を取得し、遅延時間Ｄ１〜Ｄ３を各遅延器３７ｂＡ〜３７ｂＣに割り当てる。これにより、収音角度θの方向から筐体入射面１２１に到来する音波の音声データを強調し、アレイマイク１０の収音特性に指向性を形成できる。

なお、例えば、割り当てられた遅延時間Ｄ１〜Ｄ３、（式１）における既知の定数は、監視制御装置３０内の図示しないメモリに記憶される。

次に、ディジタルフィルタの詳細について説明する。
図１０は、ディジタルフィルタ３９の構成例を示す模式図である。図１０では、一例としてＩＩＲフィルタの構成例を示す。

図１０のＩＩＲフィルタでは、入力ｘ［ｎ］に対する出力ｙ［ｎ］は、（式２）に示す差分方程式で表される。

即ち、ＩＩＲフィルタの各乗算ブロックに与えられるＫ個のパラメータａ１〜ａＫ、及びＭ＋１個のパラメータｂ０〜ｂＭに応じて、ディジタルフィルタ３９のフィルタ特性が定まる。このＩＩＲフィルタの動作は一般的なディジタルフィルタの動作であり、公知の技術であるので、詳細な説明を省略する。

例えば、既存のフィルタ設計ツール（Ｄｉｇｉｔａｌ Ｆｉｌｔｅｒ Ｄｅｓｉｇｎ Ｔｏｏｌ）を利用することにより、ＩＩＲフィルタのタップ毎のパラメータ、つまりパラメータａ１〜ａＫ，ｂ０〜ｂＭを導出できる。

フィルタ係数決定部４０は、補正テーブル４０ａが保持する定数群から、収音角度θに応じてパラメータａ１〜ａＫ，ｂ０〜ｂＭを導出する。例えば、図７に示したように、ディジタルフィルタ３９のフィルタ特性Ｃ２Ａ，Ｃ２Ｂ，Ｃ２Ｃを実現する複数組のパラメータが、収音角度θの所定範囲毎に事前に登録され、収音角度θと対応付けて補正テーブル４０ａに登録されている。フィルタ係数決定部４０は、収音角度θに対応する１組のパラメータを補正テーブル４０ａの中から選択し、ディジタルフィルタ３９に与える。

これにより、例えば、図７に示したディジタルフィルタ３９のフィルタ特性Ｃ２Ａ〜Ｃ２Ｃのいずれか１つを、ディジタルフィルタ３９により実現できる。従って、図５に示した収音特性ＣＡ〜ＣＣのように、収音角度θに応じて変動する収音特性のばらつきを、ディジタルフィルタ３９のフィルタ特性Ｃ２Ａ〜Ｃ２Ｃにより補正できる。

監視システム１００によれば、収音角度θの違いに応じて発生する周波数対信号出力レベルのばらつきの影響を軽減でき、システム全体において収音角度θに周波数特性が依存しない音声データを得ることができる。よって、所定の映像範囲（モニタ上の映像範囲に対応する実際の空間的な範囲）において発生した音声の収音品質を向上でき、音声の聞き取り精度の劣化を抑制できる。また、映像範囲の位置が変化しても、アレイマイク１０により収音された音声の音質を向上でき、音声の聞き取り精度の劣化を抑制できる。

なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。

例えば、上記実施形態では、ディジタルフィルタ３９による補正後の周波数特性がフラットになるように、ディジタルフィルタ３９が音声データの周波数特性を補正することを例示したが、フラットな周波数特性に補正しなくてもよい。

例えば、ディジタルフィルタ３９は、人が発する声のエネルギーが集中する音域（例えば１００〜１０００［Ｈｚ］）の信号レベルが、他の音域よりも強調されるように補正してもよい。この場合、人の音声を聞き取り易くできる。また、ディジタルフィルタ３９は、例えば、単に低音域、高音域、所定範囲の音域が強調されるようにも補正してもよい。

また、上記実施形態では、ディジタルフィルタ３９が指向性処理部３７の後段（出力側）に配置されることを例示したが、ディジタルフィルタ３９が指向性処理部３７の前段（入力側）に配置されてもよい。この場合は、指向性処理部３７の入力側では複数チャネルの音声データが独立して処理されるので、チャネル毎に独立した複数のディジタルフィルタ３９が配置される。

このディジタルフィルタ３９により、指向性処理前の複数チャネルの音声データの周波数特性を補正する。周波数特性が補正された音声データに対して指向性処理すると、指向性処理された音声データは、収音角度θに依存しない１つのチャネルの音声データが得られる。

また、上記実施形態では、例えば天井面１０１（図３参照）に対して収音ユニット９０の設置面が傾いた状態で収音ユニット９０が取り付けられた場合、水平角θｈを考慮して、ディジタルフィルタ３９のフィルタ特性を決定してもよい。例えば、アレイマイク１０の形状又はレイアウトを考慮する場合、収音角度演算部３８は、モニタ６１が表示する映像において指定される収音座標から、公知の変換方法を用いて、水平角θｈ及び垂直角θｖを導出してもよい。フィルタ係数決定部４０は、この水平角θｈ及び垂直角θｖに基づいて、ディジタルフィルタ３９のフィルタ特性を導出してもよい。

また、上記実施形態では、各マイクロホン１１が配列される配列面（ｘ−ｙ面）に沿う方向（ｘ軸方向，ｙ軸方向）から到来する音波、つまり垂直角θｖが小さい場合、信号レベルが低く、均一でフラットな収音特性になる傾向がある。また、垂直角θｖが大きくなると、信号レベルが増大し、収音特性が平坦でなくなる傾向がある。例えば、操作者６０が監視する音声のレベルは一定であり、信号レベルは大きいことが望ましいので、監視制御装置３０は、音声データの周波数特性の補正とともに、信号レベルを制御してもよい。

また、上記実施形態では、監視制御装置３０が備える音声処理に係る一部の構成部を、アレイマイク１０が備えてもよい。アレイマイク１０は、例えば、画像認識部３４、収音座標指定部３５、収音角度演算部３８、指向性処理部３７、フィルタ係数決定部４０、ディジタルフィルタ３９、の一部又は全部を有してもよい。これにより、監視制御装置３０の処理負荷を低減できる。なお、アレイマイク１０が音声処理に係る一部の構成部を有する場合には、監視制御装置３０とアレイマイク１０との間において、ネットワーク５０を介して適宜必要なデータが通信される。

また、上記実施形態では、フィルタ係数決定部４０は、画像認識部３４による画像認識結果に応じて、ディジタルフィルタ３９が用いるパラメータを導出してもよい。例えば、画像認識部３４により監視対象物が男性の人物であると認識された場合、フィルタ係数決定部４０は、低周波側の信号レベルを強調して周波数特性を補正するパラメータを導出してもよい。これにより、例えば、男性が発する音声を明瞭に聞き取り可能である。

また、上記実施形態では、複数のマイクロホン１１が１つの円周上に一定の間隔で配置されたアレイマイク１０を例示したが、各マイクロホン１１の配列は異なる配列でもよい。例えば、単方向（例えばｘ軸方向）に沿って一列に一定の間隔で配列されてもよい。また、２方向（例えばｘ軸方向，ｙ軸方向）に沿って十字型に一定の間隔で配列されてもよい。また、径の異なる２つの円周上に一定の間隔で配列されてもよい。

また、上記実施形態では、監視制御装置３０が、カメラ２０を用いずに、実際の空間的な監視範囲とアレイマイク１０の収音角度とを対応づけ、プリセットしてもよい。つまり、監視制御装置３０の図示しないメモリが、上記監視範囲と収音角度との対応情報を保持してもよい。この場合、例えば、ユーザがマウス６２等を介して所定の監視範囲を指定すると、収音角度演算部３８が、メモリに保持された対応情報を参照して、収音角度を導出してもよい。また、例えば、ユーザがマウス６２等を介して収音角度を直接指定し、指定されたデータを収音角度演算部３８により導出されたデータとして扱ってもよい。これにより、カメラ２０を用いずに、指向性の方向を決定できる。

（本発明の一形態の概要）
本発明の一形態の音声処理装置は、複数のマイクロホンを含む収音部により収音された音声データと、撮像部により撮像された映像データと、を取得するデータ取得部と、前記データ取得部により取得された映像データにおける空間的な映像範囲を指定する範囲指定部と、前記音声データにおける前記範囲指定部により指定された前記映像範囲の方向における音声成分を強調する指向性処理部と、前記範囲指定部により指定された前記映像範囲及び前記収音部の収音特性に基づいて、前記音声データの周波数特性を補正する特性補正部と、を備える。

この構成によれば、映像における映像範囲の指定位置に応じて発生する収音特性のばらつきによる影響を軽減でき、映像範囲の指定位置に依存しない音声データを得ることができる。よって、指定された映像範囲において発生した音の音質を向上でき、聞き取り精度を向上できる。また、指定される映像範囲の位置が変化しても、音質を向上でき、音の聞き取り精度の劣化を抑制できる。このように、収音部により収音された音の音質を向上できる。

また、本発明の一形態の音声処理装置は、前記データ取得部が、前記収音部の各マイクロホンにより収音された各第１の音声データを取得し、前記指向性処理部が、前記データ取得部により取得された各第１の音声データに基づいて、前記範囲指定部により指定された前記映像範囲の方向における音声成分が強調された第２の音声データを生成し、前記特性補正部が、前記範囲指定部により指定された前記映像範囲に基づいて、前記指向性処理部により生成された前記第２の音声データの周波数特性を補正し、第３の音声データを生成する。

この構成によれば、指向性処理後に音声データの周波数特性の補正を行うので、補正対象となる音声チャネルが１つであり、特性補正部の数が１つで済み、音声処理装置の構成部品の数を低減できる。

また、本発明の一形態の音声処理装置は、前記データ取得部が、前記収音部の各マイクロホンにより収音された各音声データを取得し、前記特性補正部が、前記範囲指定部により指定された前記映像範囲に基づいて、各第１の音声データの周波数特性を補正し、各第３の音声データを生成し、前記指向性処理部が、前記特性補正部により補正された各第３の音声データに基づいて、前記範囲指定部により指定された前記映像範囲の方向における音声が強調された第２の音声データを生成する。

この構成によれば、音声データの周波数特性を補正した後に指向性処理を行うので、マイクロホン個別の収音特性を考慮して、特性補正できる。

また、本発明の一形態の音声処理装置は、前記範囲指定部により指定された前記映像範囲に基づいて、前記収音部における前記複数のマイクロホンが配列された配列方向に沿う第１の方向と、前記収音部から前記映像範囲に向かう第２の方向と、により形成される収音角度を導出する収音角度導出部を備え、前記特性補正部が、前記収音角度導出部により導出された収音角度に基づいて、前記音声データの周波数特性を補正する。

この構成によれば、収音角度毎に異なる収音部の収音特性のばらつきを、収音特性に対応する周波数特性により補正することで、指定された映像範囲において発生した音の音質を向上でき、聞き取り精度を向上できる。

また、本発明の一形態の音声処理装置は、前記特性補正部が、前記収音角度導出部により導出された収音角度に基づいて補正パラメータを導出し、導出された補正パラメータに基づいて、前記音声データの周波数特性を補正する。

この構成によれば、収音角度毎に異なる収音部の収音特性のばらつきを、収音特性に対応する周波数特性に基づく補正パラメータを用いて補正することで、指定された映像範囲において発生した音の音質を向上でき、聞き取り精度を向上できる。

また、本発明の一形態の音声処理装置は、前記データ取得部が、前記収音部により収音された音声データを前記収音部から取得し、前記撮像部により撮像された映像データを前記撮像部から取得する。

この構成によれば、リアルタイムの映像から所望の映像範囲を指定し、この映像範囲における音声を明瞭に再生できる。従って、例えば、リアルタイムでの監視精度を向上できる。

また、本発明の一形態の音声処理装置は、前記データ取得部が、前記収音部により収音された音声データと前記撮像部により撮像された映像データとを対応づけて記憶する記憶装置から、前記映像データと、当該映像データに対応づけられた音声データと、を取得する。

この構成によれば、過去の映像から所望の映像範囲を指定し、この映像範囲における音声を明瞭に再生できる。従って、例えば、過去の映像を用いた上記映像範囲における音声解析の精度を向上できる。

また、本発明の一形態の音声処理装置は、映像データを表示する表示装置に表示された前記映像データに対する第１の入力を受け付ける操作部を備え、前記範囲指定部が、前記操作部への前記第１の入力に基づいて、前記映像範囲を指定する。

この構成によれば、例えば、操作者が映像を確認しながら、表示装置に表示された詳細な音声を確認したい映像範囲をタッチし、映像範囲を指定できる。従って、操作者が望む映像範囲を選択でき、その範囲における音の音質を向上でき、明瞭に聞き取り可能である。

また、本発明の一形態の音声処理装置は、画像を認識する画像認識部を備え、前記範囲指定部が、前記画像認識部により前記映像データに所定のパターンが含まれると認識された場合、前記映像データにおける前記所定のパターンの空間的な位置に基づいて、前記映像範囲を指定する。

この構成によれば、例えば、映像において監視対象物（例えば人物）が存在する映像範囲を認識し、この映像範囲に指向性を向けることができる。従って、操作者が特別な操作を行うことなく、監視対象物の周辺から発生した音の音質を向上でき、明瞭に聞き取り可能である。

また、本発明の一形態の音声処理装置は、前記特性補正部が、前記画像認識部による認識結果に応じて、前記音声データの周波数特性を補正する。

この構成によれば、画像認識機能と連携して、音声データの周波数特性を所望の状態にできる。

また、本発明の一形態の音声処理装置は、前記特性補正部が、前記収音部の収音特性に応じて前記音声データに付与された周波数特性が平坦化するよう、前記音声データの周波数特性を補正する。

この構成によれば、収音部の収音特性を周波数特性の補正により相殺し、系全体で収音角度に対して周波数特性が平坦化することで、収音部の収音特性による音質の劣化、聞き取りへの影響を抑制できる。

また、本発明の一形態の音声処理装置は、前記特性補正部が、前記収音部の収音特性に応じて前記音声データに付与された周波数特性において、所定周波数帯における信号レベルが大きく、前記所定周波数帯以外における信号レベルが小さくなるように、前記音声データの周波数特性を補正する音声処理装置。

この構成によれば、例えば、映像範囲に含まれる被写体を予測できる場合、この被写体の発する音に対応する周波数の感度を増大することにより、当該音の聞き取り精度を向上できる。

また、本発明の一形態の音声処理システムは、複数のマイクロホンを用いて収音する収音部と、映像を撮像する撮像部と、前記撮像部により撮像された映像データにおける空間的な映像範囲を指定する範囲指定部と、前記収音部により収音された音声データにおける前記範囲指定部により指定された前記映像範囲の方向における音声成分を強調する指向性処理部と、前記範囲指定部により指定された前記映像範囲及び前記収音部の収音特性に基づいて、前記音声データの周波数特性を補正する特性補正部と、を備える。

この構成によれば、映像における映像範囲の指定位置に応じて発生する収音特性のばらつきによる影響を軽減でき、映像範囲の指定位置に依存しない音声データを得ることができる。よって、指定された映像範囲において発生した音の音質を向上でき、聞き取り精度を向上できる。また、指定される映像範囲の位置が変化しても、音質を向上でき、音の聞き取り精度の劣化を抑制できる。このように、収音部により収音された音の音質を向上できる。

また、本発明の一形態の音声処理システムは、前記撮像部を含む撮像装置と、前記収音部を含む収音装置と、前記収音部により収音された音声データを処理する音声処理装置と、を備え、前記音声処理装置が、前記映像データ及び前記音声データを取得するデータ取得部、前記範囲指定部、前記指向性処理部、及び前記特性補正部を含む。

この構成によれば、音声処理装置により、映像範囲の指定、指向性処理、及び周波数特性の補正を実施できる。従って、音声処理に係る収音装置の処理負荷を軽減できる。

また、本発明の一形態の音声処理システムは、前記撮像部を含む撮像装置と、前記収音部を含む収音装置と、前記収音部により収音された音声データを処理する音声処理装置と、を備え、前記音声処理装置が、前記映像データ及び前記音声データを取得するデータ取得部と、前記範囲指定部と、を含み、前記収音装置が、前記指向性処理部及び前記特性補正部を含む。

この構成によれば、音声処理装置により、映像範囲の指定を実施し、収音装置により、指向性処理、及び周波数特性の補正を実施できる。従って、音声処理に係る音声処理装置の処理負荷を軽減できる。

また、本発明の一形態の音声処理システムは、前記撮像装置、前記収音装置、及び前記音声処理装置は、ネットワークを介して接続される。

この構成によれば、各装置間において、容易に様々なデータ（映像データ、音声データ、その他のデータ）を相互に交換できる。

また、本発明の一形態の音声処理システムは、前記収音部に含まれる前記複数のマイクロホンは、前記複数のマイクロホンが配置される配置面において前記撮像部を包囲し、所定間隔毎に略円周状に配置される。

この構成によれば、収音部における収音特性は、収音角度における水平角成分に依存せず、垂直角成分に依存するので、垂直角成分を用いた音声データの周波数特性の補正を実施できる。従って、収音角度を導出するための負荷を低減できる。

また、本発明の一形態の音声処理方法は、音声処理装置における音声処理方法であって、複数のマイクロホンを含む収音部により収音された音声データと、撮像部により撮像された映像データと、を取得するステップと、前記取得された映像データにおける空間的な映像範囲を指定するステップと、前記音声データにおける前記指定された映像範囲の方向における音声成分を強調するステップと、前記指定された映像範囲及び前記収音部の収音特性に基づいて、前記音声データの周波数特性を補正するステップと、を有する。

この方法によれば、映像における映像範囲の指定位置に応じて発生する収音特性のばらつきによる影響を軽減でき、映像範囲の指定位置に依存しない音声データを得ることができる。よって、指定された映像範囲において発生した音の音質を向上でき、聞き取り精度を向上できる。また、指定される映像範囲の位置が変化しても、音質を向上でき、音の聞き取り精度の劣化を抑制できる。このように、収音部により収音された音の音質を向上できる。

また、本発明の一形態の音声処理方法は、音声処理システムにおける音声処理方法であって、複数のマイクロホンを含む収音部を用いて収音するステップと、映像を撮像するステップと、撮像された映像データにおける空間的な映像範囲を指定するステップと、前記収音された音声データにおける前記指定された映像範囲の方向における音声成分を強調するステップと、前記指定された映像範囲及び前記収音部の収音特性に基づいて、前記音声データの周波数特性を補正するステップと、を有する。

この方法によれば、映像における映像範囲の指定位置に応じて発生する収音特性のばらつきによる影響を軽減でき、映像範囲の指定位置に依存しない音声データを得ることができる。よって、指定された映像範囲において発生した音の音質を向上でき、聞き取り精度を向上できる。また、指定される映像範囲の位置が変化しても、音質を向上でき、音の聞き取り精度の劣化を抑制できる。このように、収音部により収音された音の音質を向上できる。

また、本発明の一形態の音声処理装置は、複数のマイクロホンを含む収音部により収音された音声データを取得するデータ取得部と、前記音声データにおける所定方向の音声成分を強調する指向性処理部と、前記指向性処理部により音声成分が強調された所定方向及び前記収音部の収音特性に基づいて、前記音声データの周波数特性を補正する特性補正部と、を備える。

この構成によれば、収音部の収音特性のばらつきによる影響を軽減でき、収音部に対する収音位置に依存しない音声データを得ることができる。よって、収音位置において発生した音の音質を向上でき、聞き取り精度を向上できる。また、収音位置が変化しても、音質を向上でき、音の聞き取り精度の劣化を抑制できる。このように、収音部により収音された音の音質を向上できる。

本発明は、収音部により収音された音の音質を向上できる音声処理装置、音声処理システム、及び音声処理方法等に有用である。

１０ アレイマイク
１１Ａ，１１Ｂ，１１Ｃ マイクロホン
１２Ａ，１２Ｂ，１２Ｃ 増幅器
１３Ａ，１３Ｂ，１３Ｃ Ａ／Ｄ変換器
１４Ａ，１４Ｂ，１４Ｃ 音声エンコーダ
１５ ネットワーク処理部
２０ カメラ
２１ レンズ
２２ センサ
２３ 映像エンコーダ
２４ ネットワーク処理部
３０ 監視制御装置
３１ ネットワーク処理部
３２ 映像デコーダ
３３ 映像出力部
３４ 画像認識部
３５ 収音座標指定部
３６Ａ，３６Ｂ，３６Ｃ 音声デコーダ
３７ 指向性処理部
３８ 収音角度演算部
３９ ディジタルフィルタ
４０ フィルタ係数決定部
４０ａ 補正テーブル
４１ Ｄ／Ａ変換器
４２ 音声出力部
５０ 通信ネットワーク
６０ 操作者
６１ モニタ
６１ａ 表示画面
６２ マウス
６３ スピーカ
７０ レコーダ
７１ ネットワーク処理部
７２ データ記録部
８０ 音源
９０ 収音ユニット
９１ ユニット筐体
１００ 監視システム
１０１ 天井面
１０２ 床面
１２１ 筐体入射面
ＰＡ，ＰＢ，ＰＣ 音源

Claims (20)

1. 複数のマイクロホンを含む収音部により収音された音声データと、撮像部により撮像された映像データと、を取得するデータ取得部と、
   前記データ取得部により取得された映像データにおける空間的な映像範囲を指定する範囲指定部と、
   前記音声データにおける前記範囲指定部により指定された前記映像範囲の方向における音声成分を強調する指向性処理部と、
   前記範囲指定部により指定された前記映像範囲及び前記収音部の収音特性に基づいて、前記音声データの周波数特性を補正する特性補正部と、
   を備える音声処理装置。
2. 請求項１に記載の音声処理装置であって、
   前記データ取得部は、前記収音部の各マイクロホンにより収音された各第１の音声データを取得し、
   前記指向性処理部は、前記データ取得部により取得された各第１の音声データに基づいて、前記範囲指定部により指定された前記映像範囲の方向における音声成分が強調された第２の音声データを生成し、
   前記特性補正部は、前記範囲指定部により指定された前記映像範囲に基づいて、前記指向性処理部により生成された前記第２の音声データの周波数特性を補正し、第３の音声データを生成する音声処理装置。
3. 請求項１に記載の音声処理装置であって、
   前記データ取得部は、前記収音部の各マイクロホンにより収音された各音声データを取得し、
   前記特性補正部は、前記範囲指定部により指定された前記映像範囲に基づいて、各第１の音声データの周波数特性を補正し、各第３の音声データを生成し、
   前記指向性処理部は、前記特性補正部により補正された各第３の音声データに基づいて、前記範囲指定部により指定された前記映像範囲の方向における音声が強調された第２の音声データを生成する音声処理装置。
4. 請求項１ないし３のいずれか１項に記載の音声処理装置であって、更に、
   前記範囲指定部により指定された前記映像範囲に基づいて、前記収音部における前記複数のマイクロホンが配列された配列方向に沿う第１の方向と、前記収音部から前記映像範囲に向かう第２の方向と、により形成される収音角度を導出する収音角度導出部を備え、
   前記特性補正部は、前記収音角度導出部により導出された収音角度に基づいて、前記音声データの周波数特性を補正する音声処理装置。
5. 請求項４に記載の音声処理装置であって、
   前記特性補正部は、前記収音角度導出部により導出された収音角度に基づいて補正パラメータを導出し、導出された補正パラメータに基づいて、前記音声データの周波数特性を補正する音声処理装置。
6. 請求項１ないし５のいずれか１項に記載の音声処理装置であって、
   前記データ取得部は、前記収音部により収音された音声データを前記収音部から取得し、前記撮像部により撮像された映像データを前記撮像部から取得する音声処理装置。
7. 請求項１ないし６のいずれか１項に記載の音声処理装置であって、
   前記データ取得部は、前記収音部により収音された音声データと前記撮像部により撮像された映像データとを対応づけて記憶する記憶装置から、前記映像データと、当該映像データに対応づけられた音声データと、を取得する音声処理装置。
8. 請求項１ないし７のいずれか１項に記載の音声処理装置であって、更に、
   映像データを表示する表示装置に表示された前記映像データに対する第１の入力を受け付ける操作部を備え、
   前記範囲指定部は、前記操作部への前記第１の入力に基づいて、前記映像範囲を指定する音声処理装置。
9. 請求項１ないし７のいずれか１項に記載の音声処理装置であって、更に、
   画像を認識する画像認識部を備え、
   前記範囲指定部は、前記画像認識部により前記映像データに所定のパターンが含まれると認識された場合、前記映像データにおける前記所定のパターンの空間的な位置に基づいて、前記映像範囲を指定する音声処理装置。
10. 請求項９に記載の音声処理装置であって、
    前記特性補正部は、前記画像認識部による認識結果に応じて、前記音声データの周波数特性を補正する音声処理装置。
11. 請求項１ないし９のいずれか１項に記載の音声処理装置であって、
    前記特性補正部は、前記収音部の収音特性に応じて前記音声データに付与された周波数特性が平坦化するよう、前記音声データの周波数特性を補正する音声処理装置。
12. 請求項１ないし１０のいずれか１項に記載の音声処理装置であって、
    前記特性補正部は、前記収音部の収音特性に応じて前記音声データに付与された周波数特性において、所定周波数帯における信号レベルが大きく、前記所定周波数帯以外における信号レベルが小さくなるように、前記音声データの周波数特性を補正する音声処理装置。
13. 複数のマイクロホンを用いて収音する収音部と、
    映像を撮像する撮像部と、
    前記撮像部により撮像された映像データにおける空間的な映像範囲を指定する範囲指定部と、
    前記収音部により収音された音声データにおける前記範囲指定部により指定された前記映像範囲の方向における音声成分を強調する指向性処理部と、
    前記範囲指定部により指定された前記映像範囲及び前記収音部の収音特性に基づいて、前記音声データの周波数特性を補正する特性補正部と、
    を備える音声処理システム。
14. 請求項１３に記載の音声処理装置であって、
    前記撮像部を含む撮像装置と、前記収音部を含む収音装置と、前記収音部により収音された音声データを処理する音声処理装置と、を備え、
    前記音声処理装置は、前記映像データ及び前記音声データを取得するデータ取得部、前記範囲指定部、前記指向性処理部、及び前記特性補正部を含む音声処理システム。
15. 請求項１３に記載の音声処理装置であって、
    前記撮像部を含む撮像装置と、前記収音部を含む収音装置と、前記収音部により収音された音声データを処理する音声処理装置と、を備え、
    前記音声処理装置は、前記映像データ及び前記音声データを取得するデータ取得部と、前記範囲指定部と、を含み、
    前記収音装置は、前記指向性処理部及び前記特性補正部を含む音声処理システム。
16. 請求項１４または１５に記載の音声処理装置であって、
    前記撮像装置、前記収音装置、及び前記音声処理装置は、ネットワークを介して接続された音声処理システム。
17. 請求項１３ないし１６のいずれか１項に記載の音声処理装置であって、
    前記収音部に含まれる前記複数のマイクロホンは、前記複数のマイクロホンが配置される配置面において前記撮像部を包囲し、所定間隔毎に略円周状に配置された音声処理システム。
18. 音声処理装置における音声処理方法であって、
    複数のマイクロホンを含む収音部により収音された音声データと、撮像部により撮像された映像データと、を取得するステップと、
    前記取得された映像データにおける空間的な映像範囲を指定するステップと、
    前記音声データにおける前記指定された映像範囲の方向における音声成分を強調するステップと、
    前記指定された映像範囲及び前記収音部の収音特性に基づいて、前記音声データの周波数特性を補正するステップと、
    を有する音声処理方法。
19. 音声処理システムにおける音声処理方法であって、
    複数のマイクロホンを含む収音部を用いて収音するステップと、
    映像を撮像するステップと、
    撮像された映像データにおける空間的な映像範囲を指定するステップと、
    前記収音された音声データにおける前記指定された映像範囲の方向における音声成分を強調するステップと、
    前記指定された映像範囲及び前記収音部の収音特性に基づいて、前記音声データの周波数特性を補正するステップと、
    を有する音声処理方法。
20. 複数のマイクロホンを含む収音部により収音された音声データを取得するデータ取得部と、
    前記音声データにおける所定方向の音声成分を強調する指向性処理部と、
    前記指向性処理部により音声成分が強調された所定方向及び前記収音部の収音特性に基づいて、前記音声データの周波数特性を補正する特性補正部と、
    を備える音声処理装置。

Images