JP2016146547A - 収音システム及び収音方法 - Google Patents

Abstract

【課題】収音システムにおいて、対象領域内の所望の音源からの音を収音する際の利便性を向上させる。
【解決手段】対象空間の映像を撮像するカメラと、複数のマイクロホンを用いて音声を収音するマイクアレイと、収音された音声データに基づき音源位置を算出する音源解析部５５と、撮像された対象空間の映像と音源位置を示す音源位置表示とを含む画像データをディスプレイ５３に表示させる画像表示処理部５２と、ディスプレイ５３に表示された対象空間画像における指定箇所の指示を受け付けるユーザ入力装置と、収音された音声データを基に、マイクアレイから指定箇所に向かう方向に収音の指向性を形成し、指向性を有する方向の音声を強調した音声データを生成する指向性演算部５７と、指向性処理後の音声データをスピーカに出力して再生させる音声出力部５８と、を備える。
【選択図】図１

Description

本発明は、対象領域内の所望の音源からの音を収音する収音システム及び収音方法に関する。

例えば、講演会場又は大講義室など、多数の聴衆者に対して講演又は講義を行う大きな会場においては、講演者又は講義者の声が会場内に広く届くように拡声するが、聴衆者の中から質問などの発言を受け付ける場合、同様に聴衆者が発する声を拡声する必要がある。このような場合、聴衆者が発する声をマイクロホンによって収音して再生し、講演者又は講義者が聴衆者の発言を容易に聞き取れるようにしたり、会場内の他の聴衆者が両者の発言内容をモニタできるようにしている。

大きな会場内の任意の位置にいる発言者からの声を収音するためには、多数のマイクロホンを会場全体に渡って配置し、発言者の近くのマイクロホンに切り替えて収音する、或いは、マイクロホンを発言者まで移動させて収音する、などの方法が用いられる。この種の用途に利用可能な収音システムとしては、例えば特許文献１、２に開示されているものがある。特許文献１には、複数の赤外線式マイクロホンを備え、これらのマイクロホンからの赤外線信号を切り替えて受信し、複数の位置における収音が可能な赤外線受信装置が開示されている。特許文献２には、共通のネットワークにリンクされたアンテナのアレイに関連付けられたワイヤレスマイクロホンを有し、１又は複数のオーディオソースからの音を収音可能なオーディオシステムが開示されている。

特開２００４−０８０１２１号公報 特開２０１４−１１０６４０号公報

大きな会場において、任意の位置にいる発言者からの声を収音する場合、多数のマイクロホンを配置して切り替える構成では、システムが大型化、複雑化し、多大なコストを要するという課題がある。また、マイクロホンを発言者まで移動させて収音する構成では、会場係が手持ちで運ぶなど、マイクロホンの移動に手間及び時間を要し、運用時に多くの労力がかかる課題がある。

本発明は、上述した課題を解決するために、対象領域内の所望の音源からの音を収音する際の利便性を向上できる収音システム及び収音方法を提供することを目的とする。

本発明は、対象空間の映像を撮像する撮像部と、前記撮像部により撮像された画像データを表示する表示部と、複数のマイクロホンを含み、前記マイクロホンを用いて音声を収音する収音部と、前記収音部により収音された音声データを再生出力する音声再生部と、前記音声データに基づき音源位置を算出する音源解析部と、前記撮像された対象空間の映像と前記音源位置を示す音源位置表示とを含む画像データを前記表示部に表示させる画像表示処理部と、前記表示部に表示された前記画像データにおける指定箇所の指示を受け付ける指示入力部と、前記音声データを基に、前記収音部から、指定された前記画像データの指定箇所に対応する位置に向かう方向に、収音の指向性を形成し、前記指向性を有する方向の音声を強調した音声データを生成又は合成する指向性演算部と、前記指向性に関する処理後の音声データを前記音声再生部に出力して再生させる音声出力部と、を備える収音システムを提供する。

本発明は、撮像部において対象空間の映像を撮像するステップと、複数のマイクロホンを含む収音部において音声を収音するステップと、前記収音された音声データに基づき音源位置を算出するステップと、前記撮像された対象空間の映像と前記音源位置を示す音源位置表示とを含む画像データを表示部に表示させるステップと、前記表示された前記画像データにおける指定箇所の指示を受け付けるステップと、前記音声データを基に、前記収音部から、指定された前記画像データの指定箇所に対応する位置に向かう方向に、収音の指向性を形成し、前記指向性を有する方向の音声を強調した音声データを生成又は合成するステップと、前記指向性に関する処理後の音声データを音声再生部に出力して再生させるステップと、を有する、収音方法を提供する。

本発明によれば、対象領域内の所望の音源からの音を収音する際の利便性を向上させることができる。

本実施形態に係る収音システムの構成を示すブロック図 カメラの外観構成の一例を示す斜視図 （Ａ）マイクアレイの外観構成の一例を示す斜視図、（Ｂ）マイクアレイの構成の一例を示す斜視図 マイクアレイの内部構成を示すブロック図 画像表示装置の構成を示すブロック図 収音システムの使用形態の一例を示す模式図 収音システムの使用時の状態の一例を示す模式図 収音システムの動作手順の第１例を示すフローチャート 収音システムの動作手順の第２例を示すフローチャート

以下、本発明に係る収音システム及び収音方法の実施形態（以下、「本実施形態」という）について、図面を参照して説明する。本実施形態の収音システムは、例えば、講演会場、大講義室、株主総会会場、議会場等の大きな室内空間を有する施設、観光バス等の乗り物の車内、或いは、その他の多数の発言者が存在し得る場所に設置される音響システムに適用される。

図１は、本実施形態に係る収音システムの構成を示すブロック図である。収音システムは、カメラ１０、マイクアレイ２０、スピーカ３０、ユーザ入力装置４０、画像表示装置５０を含む構成である。カメラ１０と、マイクアレイ２０と、スピーカ３０と、ユーザ入力装置４０と、画像表示装置５０とは、ネットワーク６０を介して相互に接続されている。

撮像部の一例としてのカメラ１０は、例えば講演会場に用いられるホール等の室内の天井に設置され、対象空間の映像を撮像する。図２は、カメラ１０の外観構成の一例を示す斜視図である。図２では、室内の空間を３６０°の全方位に渡って撮像可能な全方位カメラの例を示している。カメラ１０は、撮像レンズと、ＣＣＤ（Charge Coupled Device）型イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ等による固体撮像素子とを内蔵した撮像デバイス１１を有する。カメラ１０は、撮像した対象の画像データを出力し、ネットワーク６０を介して画像表示装置５０に送信する。

収音部の一例としてのマイクアレイ２０は、例えば講演会場に用いられるホール等の室内の天井に設置され、対象空間の音を収音する。図３は、マイクアレイ２０の構成例を示す図であり、（Ａ）はマイクアレイ２０の外観構成の一例を示す斜視図、（Ｂ）はマイクアレイ２０の構成の一例を示す斜視図である。

マイクアレイ２０は、筐体２１に複数のマイクロホン２２が一様に配置されたマイクロホンの集合体である。図３（Ｂ）では、複数のマイクロホン２２を、円盤状の筐体２１の一面に設け、筐体２１と同一の中心を有する小さい円状及び大きい円状の２個の同心円状に沿って配置した例を示している。ここで、小さな円状に沿って配置された複数のマイクロホン２２Ａは、互いの間隔が狭く、高い音域に適した特性を有する。また、大きな円状に沿って配置された複数のマイクロホン２２Ｂは、直径が大きく、低い音域に適した特性を有する。マイクアレイ２０は、各々のマイクロホン２２を用いて、対象地点（場所）の周囲の音を収音し、収音した音声データを出力し、ネットワーク６０を介して画像表示装置５０に送信する。

なお、カメラ１０とマイクアレイ２０とは、上記例のように別体に設ける構成に限定されず、１つの筐体にカメラ１０及びマイクアレイ２０を設けた一体的な構成としてもよい。

図４は、マイクアレイ２０の信号処理部の機能構成の一例を示すブロック図である。マイクアレイ２０は、複数のマイクロホン２２、複数の増幅器（ＡＭＰ）２３、複数のＡ／Ｄ変換器２４、符号化部２５、送信部２６を含む構成であり、複数のマイクロホン２２のそれぞれに対して、増幅器２３、Ａ／Ｄ変換器２４が設けられる。増幅器２３は、マイクロホン２２にて収音した音声信号を増幅する。Ａ／Ｄ変換器２４は、増幅器２３の出力の音声信号をディジタルの音声データに変換する。符号化部２５は、複数のＡ／Ｄ変換器２４の出力の音声データを符号化し、複数のマイクロホン２２にて収音した音声データを含む符号化音声データとして出力する。送信部２６は、符号化部２５にて符号化した音声データをネットワーク６０を介して画像表示装置５０に送信する。

画像表示装置５０は、カメラ１０にて撮像した画像データを処理する機能と、画像データを表示する機能と、マイクアレイ２０にて収音した音声データを処理する機能とを有する。

図５は、画像表示装置５０の機能構成の一例を示すブロック図である。画像表示装置５０は、画像受信部５１、画像表示処理部５２、ディスプレイ５３、音声受信部５４、音源解析部５５、ユーザ入力受信部５６、指向性演算部５７、音声出力部５８を含む構成である。画像データ処理機能を実現する構成要素として、画像受信部５１、画像表示処理部５２を有する。画像データ表示機能を実現する構成要素として、ディスプレイ５３を有する。音声データ処理機能を実現する構成要素として、音声受信部５４、音源解析部５５、指向性演算部５７、音声出力部５８を有する。

画像受信部５１は、カメラ１０にて撮像した画像データを受信し、画像表示処理部５２に出力する。音声受信部５４は、マイクアレイ２０にて収音した音声データを受信し、音源解析部５５及び指向性演算部５７に出力する。ユーザ入力受信部５６は、ユーザ入力装置４０から送られるユーザ指示入力を受信し、指向性演算部５７に出力する。音源解析部５５は、マイクアレイ２０にて収音した音声データに基づいて音が到来する方向を解析して音源の位置を算出し、音源位置データを画像表示処理部５２に出力する。この際、音源解析部５５は、マイクアレイ２０の各マイクロホン２２にて収音した複数の音声データの位相差から音源の方向及び音源までの距離を推定し、音源位置を求める。

画像表示処理部５２は、画像データと音源位置データとに基づき、対象空間の映像を示す対象空間画像を生成する。この対象空間画像は、対象空間における音源位置を示す音源位置表示を含む。表示部の一例としてのディスプレイ５３は、例えば液晶表示パネル等の表示装置により構成され、画像表示処理部５２から出力される対象空間画像データを入力し、対象空間画像を表示する。本実施形態では、音源位置表示を対象空間画像中に表示することによって、収音した音声データにおける音源の位置を視覚化する。

指向性演算部５７は、マイクアレイ２０にて収音した音声データに対して、特定方向への強調処理を行って収音の指向性を形成する。この際、指向性演算部５７は、ユーザ指示入力に基づき、マイクアレイ２０の各マイクロホン２２の位置からユーザ指示がなされた指定箇所に向かう方向の音声（音量レベル）を強調（増幅）するために、ユーザの指定方向への収音の指向性を形成した音声データを生成又は合成する。音声出力部５８は、指向性を形成した音声データをアナログの音声再生信号に変換して出力する。

音声再生部の一例としてのスピーカ３０は、画像表示装置５０の近傍に配置され、画像表示装置５０から出力される指向性に関する処理後の音声再生信号を入力し、画像表示装置５０を使用するユーザとしての講演者又は講義者等に対して、音声再生信号を音声出力する。これにより、画像表示装置５０のユーザは、指定位置の音を強調した音声を聴取できる。なお、スピーカ３０は、カメラ１０及びマイクアレイ２０により撮像及び収音する対象空間内など、ホール等の会場の室内の任意の位置に配置し、聴衆者等の画像表示装置５０のユーザ以外の人が聴取できるようにしてもよい。また、音声再生部として、スピーカだけでなく、音声信号に関する各種処理を行う音声処理装置、音声信号を増幅するアンプなど、他の音声再生装置を備えていてもよい。

指示入力部の一例としてのユーザ入力装置４０は、例えばディスプレイ５３の画面に対応して配置され、ユーザの指又はスタイラスペン等によって入力操作が可能なタッチパネル又はタッチパッドを用いて構成される。ユーザ入力装置４０は、ユーザの操作に応じて、音声データの音量レベルの強調を所望する１つ以上の指定箇所の座標データをユーザ指示入力として画像表示装置５０に出力する。なお、ユーザ入力装置４０は、マウス又はキーボード等のポインティングデバイスを用いて構成されてもよい。

ここで、本実施形態における指向性に関する処理（以下、「指向性処理」と記載）について説明する。本実施形態では、例えば遅延和方式を用いた指向性処理によって、ユーザ指示がなされた指定箇所の方向への音声の強調処理を行う。指向性演算部５７は、遅延器及び加算器を有し、各マイクロホン２２にて収音した音声データについて、それぞれ所定の遅延時間を与えて加算する。具体的には、指向性演算部５７は、それぞれの音声データに対して遅延器によって各マイクロホン２２の位置における音波の到達時間差に対応する遅延時間を与えて位相を揃えた後、加算器によって遅延処理後の音声データを加算する。このとき、指向性演算部５７は、それぞれの遅延器の遅延時間を変更することによって、任意の方向の音量レベルを強調した音声データを生成することができる。

図６は、本実施形態の収音システムの使用形態の一例を示す模式図である。図６では、本実施形態の収音システムを講演会場において使用する場合の例を示している。この場合、収音システムのユーザとして、例えば講演者が使用する形態が想定される。講演会場に用いられるホール等の室内の天井７５には、１台のカメラ１０と１台のマイクアレイ２０とが離れた位置に設置されている。室内の床に並べて配置された複数の席にはそれぞれ聴衆者が座っており、講演者８５による講演を聴取している。そして、複数の聴衆者の中から、２人の聴衆者が発言者８１、８２としてほぼ同じタイミングで質問を発言した状態を想定する。

この場合、講演者８５が、カメラ１０にて撮像され画像表示装置５０に表示される対象空間画像を見ながら、画像中の所望の位置をユーザ入力装置４０により指定することによって、スピーカ３０から指定位置の方向への音が強調された音声が再生出力される。例えば、講演者８５が発言者８１の位置を指定すると、発言者８１の方向にマイクアレイ２０の指向性が形成され、発言者８１からの音を強調した音声データが生成され、スピーカ３０より再生される。このとき、画像表示装置５０の指向性演算部５７は、マイクアレイ２０の各マイクロホン２２が収音した音声データを用いて、各マイクロホン２２の位置から指定位置に対応する音声位置に向かう指向方向の音（音量レベル）を強調（増幅）した音声データを生成する。これにより、ユーザとしての講演者８５は、対象空間画像中の所望位置を指示するだけの簡単な操作によって、指定位置にいる発言者８１の発言を良好に聴取できる。

図７は、本実施形態の収音システムの使用時の状態の一例を示す模式図である。画像表示装置５０のディスプレイ５３には、カメラ１０により複数の聴衆者が存在する領域を撮像した対象空間画像９０が表示される。このとき、カメラ１０にて撮像した画像データに基づいて、画像表示装置５０の画像表示処理部５２によって対象空間画像データが生成され、ディスプレイ５３に出力される。

また、マイクアレイ２０により収音した音声データを用いて、画像表示装置５０の音源解析部５５によって音源位置が算出され、画像表示処理部５２では、算出した音源位置データに基づいて音源位置表示の画像データが生成される。これにより、対象空間画像９０には、音源位置を示す音源位置表示９１、９２が重畳されて表示される。音源位置表示９１、９２は、それぞれ発言者８１、８２の位置（すなわち音源位置）に対応している。ユーザとしての講演者８５は、音源位置表示９１、９２によって音源となる発言者の位置を容易に直感的に認識可能である。

ディスプレイ５３上には、ユーザ入力装置４０としてのタッチパネルが配置され、ユーザである講演者８５が指又はスタイラスペン等によって対象空間画像９０中の所望位置を指定することによって指示入力操作が可能になっている。講演者８５は、対象空間画像９０の音源位置表示９１、９２を見て、所望の発言者の位置を指定する。例えば、講演者８５が図中左側の発言者８１に対応する音源位置表示９１の位置を指定したとする。講演者８５による指示入力操作に対応して、対象空間画像９０中の指定箇所の座標データがユーザ指示入力として画像表示装置５０に入力される。そして、画像表示装置５０の指向性演算部５７により、マイクアレイ２０の各マイクロホン２２にて収音した音声データに対して、指定位置（音源位置表示９１の位置）に対する方向への指向性処理が実行され、指定位置の方向から到来する音を強調した音声データが生成される。

ユーザである講演者８５には、スピーカ３０から再生出力される指向性処理後の音声によって、指定位置からの音、すなわち所望の音源（発言者８１）からの音を明瞭に聴き分けることが可能である。また、スピーカ３０を聴衆者がいる客席にも配置することにより、講演者８５によって指定された位置からの音（発言者８１の音声）を強調した状態で他の聴衆者が聴取できる。

図８は、本実施形態の収音システムの動作手順の第１例を示すフローチャートである。ここでは、画像表示装置５０の動作を中心に説明する。画像表示装置５０は、カメラ１０にて撮像した画像データ（カメラ画像）を画像受信部５１にて受信する（ステップＳ１１）。そして、画像表示装置５０は、画像表示処理部５２にて画像データを処理し、ディスプレイ５３に対象空間画像９０を表示する（ステップＳ１２）。

また、画像表示装置５０は、マイクアレイ２０にて収音した音声データ（マイク音声）を音声受信部５４にて受信する（ステップＳ１３）。そして、画像表示装置５０は、音源解析部５５によって音声データから音源位置を解析し、音源位置データを算出する（ステップＳ１４）。続いて、画像表示装置５０は、画像表示処理部５２によって音源位置データに基づいて音源位置を示す画像データを生成し、音源位置表示９１、９２を対象空間画像９０に表示する（ステップＳ１５）。なお、音源位置を表示する場合、対象空間画像９０として、音源位置表示９１、９２の近傍を拡大した（ズームした）画像を表示してもよい。

次に、画像表示装置５０は、ユーザ入力受信部５６におけるユーザ指示入力の受信を監視し、ユーザ入力を検出する（ステップＳ１６）。このユーザ入力検出処理において、ユーザ指示入力の受信によるユーザ入力の有無を判定する（ステップＳ１７）。ステップＳ１７においてユーザ入力有りと判定された場合、画像表示装置５０は、指向性演算部５７によって指向性処理を行い、ユーザ指示入力に対応する指定位置の方向への指向性を形成し、この指定方向に強調処理した音声データを生成する（ステップＳ１８）。そして、画像表示装置５０は、音声出力部５８により指向性処理後の音声データを出力し、スピーカ３０より指定箇所からの音を強調した音声再生信号を音声出力させる（ステップＳ１９）。

このように、本実施形態では、カメラ１０で撮像した対象空間画像において、マイクアレイ２０で収音した音声の音源位置を可視化できる。また、可視化した音源位置表示を目安にして、ユーザが聴取したい所望の音源位置を指定し、指定方向に指向性を形成した音声データを再生できる。

図９は、本実施形態の収音システムの動作手順の第２例を示すフローチャートである。第２例は、ユーザによる指定箇所が実際の音源位置とずれている場合の動作を示すものである。

ステップＳ１１〜Ｓ１７までの動作は上述した第１例と同様であり、カメラ１０にて撮像した画像データに基づく対象空間画像９０の表示、マイクアレイ２０にて収音した音声データに基づく音源解析及び音源位置表示９１、９２の表示が実行される。

ステップＳ１７においてユーザ入力有りと判定された場合、画像表示装置５０は、指向性演算部５７によって指向性処理を行い、ユーザ指示入力に対応する指定位置の方向への指向性を形成し、この指定方向に強調処理した音声データを生成する（ステップＳ１８）。次に、画像表示装置５０は、指向性演算部５７による指向性処理後の音声データの音量レベルを参照し、指定方向の音量が所定のしきい値以上かどうかを判定する（ステップＳ２１）。

ステップＳ２１において指定方向の音量がしきい値未満である場合、画像表示装置５０は、音源位置指定の再入力を促す通知を行う（ステップＳ２２）。通知としては、例えば、画像表示処理部５２によって表示用のメッセージの画像データを生成し、対象空間画像９０上に再入力を促すメッセージを表示する。なお、メッセージの表示に限らず、音声による通知など、他の各種通知手段を用いることが可能である。そして、ステップＳ１６、Ｓ１７に戻り、ユーザ入力検出処理及びユーザ入力判定処理を実行する。

ステップＳ２１において指定方向の音量がしきい値以上である場合、画像表示装置５０は、音声出力部５８により指向性処理後の音声データを出力し、スピーカ３０より指定位置からの音を強調した音声再生信号を音声出力させる（ステップＳ１９）。

第２例では、指定方向に指向性を形成した音声データの音量レベルが小さい場合に、音源位置指定を再度実行させ、指定方向に指向性を形成した音声データを良好に再生できる。なお、ユーザによる指定位置の入力を再度実行させる代わりに、指定位置を少しずつ移動させて音声データの音量レベルが大きくなる方向に指向性を調整し、指向性処理後の音声データとして所定値以上の音量レベルが得られるようにする機能を持たせることも可能である。

従来では、講演会等の会場において、任意の位置にいる発言者からの声を収音する場合、マイクロホンを発言者まで移動させて収音するなど、マイクロホンの移動に手間及び時間を要し、運用時に多くの労力がかかる課題があった。また、マイクロホンを移動させる時にマイクロホンが破損したり、マイクロホンが壊されてしまう課題も生じていた。これに対し、本実施形態では、撮像した対象空間画像中に音源位置を視覚化して表示し、講演者等のユーザが音源位置表示を確認して所望の発言者の位置を指定することにより、収音した音声データにおいて、所望の指定位置からの音を強調した音声を再生できる。これによって、対象領域内の所望の発言者からの音を簡便に収音して再生でき、ユーザの利便性を向上できる。

次に、本実施形態の他の適用例を示す。本実施形態の収音システムは、観光バスの車内など、乗り物の室内に設けることも可能である。この場合、収音システムのユーザとして、例えばバスガイドが使用する形態が想定される。本例では、天井等に配置したカメラによって車内全体を撮像し、ユーザであるバスガイドの近傍に配置したディスプレイに対象空間画像を表示する。また、天井等に配置したマイクアレイによって車内の音を収音し、収音した音声データを基に音源位置を算出して、ディスプレイの対象空間画像中に音源位置表示を表示する。

ここで、ユーザであるバスガイドが所望の位置を指定すると、指定箇所を示すユーザ指示入力に応じて、指定箇所の位置（音源位置など）に向かう方向に指向性を形成し、指向方向の音声を強調した音声データを生成する。そして、指向性処理後の音声データを車内に配置したスピーカに出力し、指定箇所の方向に指向性を持たせた収音音声を再生する。これにより、ユーザであるバスガイドが対象空間画像中の所望位置を指示するだけの簡単な操作によって、指定した位置にいる乗客が発した音声を明瞭に再生して聴取できる。また、スピーカを車内の任意の位置に複数箇所配置することにより、車内にいるバスガイド及び乗客が指定位置からの音を強調した状態で聴取できる。

従来では、観光バスの車内において収音して再生する場合、マイクロホンを発言者まで手渡しで移動させて収音するなど、マイクロホンの移動に手間及び時間を要し、不便であるという課題があった。また、マイクロホンを移動させる時に落下などによりマイクロホンが破損する課題もあった。これに対し、本実施形態では、撮像した対象空間画像中に音源位置を視覚化して表示し、バスガイド等のユーザが音源位置表示を確認して所望の発言者の位置を指定することにより、収音した車内の音声データにおいて、所望の指定位置からの音を強調した音声を再生できる。これによって、対象領域内の所望の発言者からの音を簡便に収音して再生でき、ユーザの利便性を向上できる。

なお、ディスプレイに表示した対象空間画像中に音源位置表示を表示する場合、音源自体の位置を示す音源位置表示に限定されない。音源位置表示の他の例として、音源位置に対して音量レベルが所定値以下の小さい領域を示す静音領域表示を生成し、対象空間画像中に表示するものであってもよい。対象空間内の注目すべき場所としては、音源位置はもちろん、音源位置とは反対に誰も発言していない場所、静かな場所などを表示して、ユーザに認識させることも可能である。この場合、例えば音源位置を含む音量レベルが所定値以上の領域を除外し、消去法によって静音領域を算出可能である。また、時間軸上の音量レベルの統計値に基づいて静音領域を算出することも可能である。本例によれば、音量レベルが小さい領域を視覚化でき、ユーザに容易に認識させることができる。

以上のように、本実施形態の収音システムは、対象空間の映像を撮像するカメラ１０と、カメラ１０により撮像された画像データを表示するディスプレイ５３と、複数のマイクロホン２２を含み、マイクロホン２２を用いて音声を収音するマイクアレイ２０と、マイクアレイ２０により収音された音声データを再生出力するスピーカ３０と、音声データに基づき音源位置を算出する音源解析部５５と、撮像された対象空間画像９０と音源位置を示す音源位置表示９１、９２とを含む画像データをディスプレイ５３に表示させる画像表示処理部５２と、ディスプレイ５３に表示された画像データにおける指定箇所の指示を受け付けるユーザ入力装置４０と、音声データを基に、マイクアレイ２０から指定箇所に対応する位置に向かう方向に、収音の指向性を形成し、指向性を有する方向の音声を強調した音声データを生成又は合成する指向性演算部５７と、指向性処理後の音声データをスピーカ３０に出力して再生させる音声出力部５８と、を備える。

このように、撮像した対象空間の映像とともに音源位置を示す音源位置表示を表示することによって、音源位置を可視化でき、ユーザが容易に音源の位置を認識できる。また、指定箇所の指示入力に応じて収音の指向性を形成し、指向性を有する方向の音声を強調した音声データを生成又は合成することによって、ユーザが所望の音源位置を指定し、指定方向に指向性を形成した音声データを再生できる。これによって、対象領域内の所望の位置の音源からの音を簡便に収音して再生でき、ユーザの利便性を向上できる。

また、本実施形態の収音システムでは、音源解析部５５により算出された音源位置が複数ある場合に、画像表示処理部５２は、複数の音源位置のそれぞれに対応する音源位置表示９１、９２を生成してディスプレイ５３に表示させる。

これにより、ユーザが音源位置表示によって複数の音源のそれぞれの音源位置を容易に認識できる。

また、本実施形態の収音システムでは、ユーザ入力装置４０により複数の音源位置のうちの１つの音源位置に対応する指定箇所の指示を受け付けた場合、指向性演算部５７は、指定箇所の音源位置に向かう方向の音声を強調した音声データを生成又は合成する。

これにより、ユーザが指定した指定箇所に対応する方向への指向性を形成し、指定された音源位置からの音を明瞭に再生できる。

また、本実施形態の収音システムでは、画像表示処理部５２は、音源位置表示として、音源位置に対して所定値以下の音量レベルが小さい領域を示す静音領域表示を生成してディスプレイ５３に表示させる。

これにより、対象空間において音量レベルが小さい領域を視覚化でき、ユーザに容易に認識させることができる。

また、本実施形態の収音方法は、カメラ１０において対象空間の映像を撮像するステップと、複数のマイクロホン２２を含むマイクアレイ２０において音声を収音するステップと、収音された音声データに基づき音源位置を算出するステップと、撮像された対象空間画像９０と音源位置を示す音源位置表示９１、９２とを含む画像データをディスプレイ５３に表示させるステップと、表示された画像データにおける指定箇所の指示を受け付けるステップと、音声データを基に、マイクアレイ２０から指定箇所に対応する位置に向かう方向に、収音の指向性を形成し、指向性を有する方向の音声を強調した音声データを生成又は合成するステップと、指向性処理後の音声データをスピーカ３０に出力して再生させるステップと、を有する。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、本発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。

本発明は、対象領域内の所望の音源からの音を収音する際の利便性を向上できる収音システム及び収音方法等として有用である。

１０ カメラ
１１ 撮像デバイス
２０ マイクアレイ
２２、２２Ａ、２２Ｂ マイクロホン
２３ 増幅器
２４ Ａ／Ｄ変換器
２５ 符号化部
２６ 送信部
３０ スピーカ
４０ ユーザ入力装置
５０ 画像表示装置
５１ 画像受信部
５２ 画像表示処理部
５３ ディスプレイ
５４ 音声受信部
５５ 音源解析部
５６ ユーザ入力受信部
５７ 指向性演算部
５８ 音声出力部
６０ ネットワーク
８１、８２ 発言者
８５ 講演者
９０ 対象空間画像
９１、９２ 音源位置表示

Claims (5)

1. 対象空間の映像を撮像する撮像部と、
   前記撮像部により撮像された画像データを表示する表示部と、
   複数のマイクロホンを含み、前記マイクロホンを用いて音声を収音する収音部と、
   前記収音部により収音された音声データを再生出力する音声再生部と、
   前記音声データに基づき音源位置を算出する音源解析部と、
   前記撮像された対象空間の映像と前記音源位置を示す音源位置表示とを含む画像データを前記表示部に表示させる画像表示処理部と、
   前記表示部に表示された前記画像データにおける指定箇所の指示を受け付ける指示入力部と、
   前記音声データを基に、前記収音部から、指定された前記画像データの指定箇所に対応する位置に向かう方向に、収音の指向性を形成し、前記指向性を有する方向の音声を強調した音声データを生成又は合成する指向性演算部と、
   前記指向性に関する処理後の音声データを前記音声再生部に出力して再生させる音声出力部と、
   を備える、収音システム。
2. 請求項１に記載の収音システムであって、
   前記音源解析部により算出された音源位置が複数ある場合に、前記画像表示処理部は、複数の音源位置のそれぞれに対応する前記音源位置表示を生成して前記表示部に表示させる、収音システム。
3. 請求項２に記載の収音システムであって、
   前記指示入力部により複数の音源位置のうちの１つの音源位置に対応する指定箇所の指示を受け付けた場合、前記指向性演算部は、前記指定箇所の音源位置に向かう方向の音声を強調した音声データを生成又は合成する、収音システム。
4. 請求項１に記載の収音システムであって、
   前記画像表示処理部は、前記音源位置表示として、前記音源位置に対して所定値以下の音量レベルが小さい領域を示す静音領域表示を生成して前記表示部に表示させる、収音システム。
5. 撮像部において対象空間の映像を撮像するステップと、
   複数のマイクロホンを含む収音部において音声を収音するステップと、
   前記収音された音声データに基づき音源位置を算出するステップと、
   前記撮像された対象空間の映像と前記音源位置を示す音源位置表示とを含む画像データを表示部に表示させるステップと、
   前記表示された前記画像データにおける指定箇所の指示を受け付けるステップと、
   前記音声データを基に、前記収音部から、指定された前記画像データの指定箇所に対応する位置に向かう方向に、収音の指向性を形成し、前記指向性を有する方向の音声を強調した音声データを生成又は合成するステップと、
   前記指向性に関する処理後の音声データを音声再生部に出力して再生させるステップと、
   を有する、収音方法。
   

Images