JP2015119393A - 音響信号受聴装置 - Google Patents

Abstract

【課題】大規模なデータベースおよび音源位置の推定を必要とせず、且つ小規模なハードウェア構成で臨場感のある音響信号を提供する。
【解決手段】音源から到来した音を収録する第１、第２、第３、第４のマイクロホン１ａ，１ｂ，１ｃ，１ｄを備え、第１、第２、第３、第４のマイクロホン１ａ，１ｂ，１ｃ，１ｄが収録した音から音響信号を生成する音響環境収録部１と、音響環境収録部１が生成した音響信号から、特定方向に位置する音源から到来した音を強調したビームフォーマを形成する第１、第２、第３のビームフォーマ形成部２，３，４と、第１、第２、第３のビームフォーマ形成部２，３，４が形成した複数のビームフォーマの出力信号を合成してステレオ信号を生成する信号合成部５とを備える。
【選択図】図１

Description

この発明は、例えば危険箇所の遠隔監視、あるいはヴァーチャルリアリティに用いられ、収音した外部音響から臨場感のある音響信号を生成する技術に関するものである。

従来より、収音した外部音響から臨場感のある再生信号を生成する技術が開示されている。例えば、特許文献１の収音再生装置では、１個の参照マイクロホンと２個または３個の比較マイクロホンとを有する音響収音部により収音された音響信号から周波数成分毎の音像方向を推定し、頭部伝達関数（ＨＲＴＦ）データを音の到来方向ごとに記録した頭部伝達関数データベースを参照し、音像方向を推定した音響信号と頭部伝達関数データから２チャンネルのバイノーラル信号を合成し、臨場感のある音響信号を提供している。

また、特許文献２の撮像集音信号再生システムでは、撮像収音装置において、複数のカメラ、複数のバイノーラル音声を収音するマイクロホン、およびマイクロホンの周囲に耳介が設置された円筒部を用いて、対向して配置された２つのマイクロホンで収音した音声信号に基づいてステレオ信号を生成し、臨場感のある音響信号を提供している。

特開２０１３−９１１２号公報 特開２００７−３１２１８１号公報

しかしながら、上述した特許文献１に開示された技術では、大量の頭部伝達関数が必要
となるため、データベースが大規模化するという課題があった。また、音像方向を推定する必要があるため、音像方向が正確に推定できない場合には音響信号の臨場感が低減してしまうという課題があった。
また、上述した特許文献２に開示された技術では、臨場感のある音響信号を提供するためには、円筒部の構成物に頭部と同等の剛性および質量を持たせる必要があり、装置の運搬が困難になるという課題があった。

この発明は、上記のような課題を解決するためになされたもので、大規模なデータベースおよび音源位置の推定を必要とせず、且つ小規模なハードウェア構成で臨場感のある音響信号を提供することを目的とする。

この発明に係る音響信号受聴装置は、音源から到来した音を収録する複数のマイクロホンを備え、マイクロホンが収録した音から音響信号を生成する音響環境収録部と、音響環境収録部が生成した音響信号から、特定方向に位置する音源から到来した音を強調したビームフォーマを形成する複数のビームフォーマ形成部と、ビームフォーマ形成部が形成した複数のビームフォーマの出力信号を合成してステレオ信号を生成する信号合成部とを備えるものである。

この発明によれば、大規模なデータベースおよび音源位置の推定を必要とせず、且つ小規模なハードウェア構成により臨場感のある音響信号を提供することができる。

実施の形態１による音響信号受聴装置の構成を示す図である。 実施の形態１による音響信号受聴装置のマイクロホンの配置例を示す図である。 実施の形態２による音響信号受聴装置の構成を示す図である。 実施の形態２による音響信号受聴装置の信号合成部が生成する音圧分布合成映像のイメージ図である。

実施の形態１．
図１は、実施の形態１による音響信号受聴装置の構成を示す図である。
音響信号受聴装置１０は、音響環境収録部１、第１のビームフォーマ形成部２、第２のビームフォーマ形成部３、第３のビームフォーマ形成部４および信号合成部５で構成されている。

音響環境収録部１は、同一円周上に配置された複数のマイクロホンによって構成される。なお、マイクロホンを配置する円の直径は数ｃｍでよい。図１の例では第１、第２、第３、第４のマイクロホン１ａ，１ｂ，１ｃ，１ｄの４つのマイクロホンで構成された音響環境収録部１を示している。第１、第２、第３、第４のマイクロホン１ａ，１ｂ，１ｃ，１ｄを通じて取り込まれた音響信号は、音響環境収録部１においてＡ／Ｄ（アナログ・デジタル）変換された後、所定のサンプリング周波数（例えば、４４１００Ｈｚ）でサンプリングされる。

第１のマイクロホン１ａで収録された音響信号は第２のビームフォーマ形成部３へ、第２のマイクロホン１ｂで収録された音響信号は第１のビームフォーマ形成部２および第３のビームフォーマ形成部４へ、第３のマイクロホン１ｃで収録された音響信号は第２のビームフォーマ形成部３へ、第４のマイクロホン１ｄで収録された音響信号は第１のビームフォーマ形成部２および第３のビームフォーマ形成部４へそれぞれ出力される。

なお、この実施の形態１では第１、第２、第３、第４のマイクロホン１ａ，１ｂ，１ｃ，１ｄとして無指向性マイクロホンを用いる場合を例に示すが、指向性マイクロホンを用いて構成しても構わない。

第１のビームフォーマ形成部２は、第２のマイクロホン１ｂと第４のマイクロホン１ｄで収録された音響信号を入力とし、図１の矢印Ａ方向から視認して第１のマイクロホン１ａの方向を正面方向としたとき、第１のマイクロホン１ａに対して左方向の音源を強調するビームフォーマの出力信号を信号合成部５へ出力する。
正面方向に対して左方向の音源を強調するビームフォーマは、一般的なものでよく、この実施の形態１では死角制御型ビームフォーマを用いる場合を例に、正面方向を０度として時計回りにθ₁度方向に位置する音源に対して死角を向ける死角制御型ビームフォーマについて説明する。

各マイクロホン１ａ，１ｂ，１ｃ，１ｄが配置されている円の直径をｄとしたとき、正面位置から時計回りにθ₁度方向から到来する音は第２のマイクロホン１ｂと第４のマイクロホン１ｄの間で経路差ｄｓｉｎθ₁となり、音速をｃとすると、遅延時間τ₁は、以下の式（１）で表わすことができる。
τ₁＝ｄｓｉｎθ₁／ｃ ・・・（１）

このとき、死角制御型ビームフォーマの出力信号Ｂ_l（ｔ）は、第２のマイクロホン１ｂの音響信号をｘ₂（ｔ）、第４のマイクロホン１ｄの音響信号をｘ₄（ｔ）とすると、以下の式（２）となる。
Ｂ_l（ｔ）＝ｘ₂（ｔ−τ₁）−ｘ₄（ｔ）・・・（２）

第２のビームフォーマ形成部３は、第１のマイクロホン１ａと第３のマイクロホン１ｃで収録された音響信号を入力とし、図１の矢印Ａ方向から視認して第１のマイクロホン１ａの方向を正面方向としたとき、当該正面方向の音源を強調するビームフォーマの出力信号を信号合成部５へ出力する。
正面方向の音源を強調するビームフォーマは一般的なものでよく、この実施の形態１では死角制御型ビームフォーマを用いる場合について以下で説明する。

第１のマイクロホン１ａの方向を正面方向とし、当該正面方向を０度として、時計回りに、θ₂度方向に位置する音源に対して死角を向ける死角制御型ビームフォーマについて述べる。
正面位置から時計回りにθ₂度方向から到来する音は第１のマイクロホン１ａと、第３のマイクロホン１ｃの間で経路差ｄｓｉｎθ₂となり、遅延時間τ₂は、以下の式（３）で表わすことができる。
τ₂＝ｄｓｉｎθ₂／ｃ ・・・（３）

このとき、死角制御型ビームフォーマの出力信号Ｂ_f（ｔ）は、第１のマイクロホン１ａの音響信号をｘ₁（ｔ）、第３のマイクロホン１ｃの音響信号をｘ₃（ｔ）とすると、以下の式（４）となる。
Ｂ_f（ｔ）＝ｘ₃（ｔ−τ₂）−ｘ₁（ｔ）・・・（４）

第３のビームフォーマ形成部４は、第２のマイクロホン１ｂと第４のマイクロホン１ｄで収録された音響信号を入力とし、図１の矢印Ａ方向から視認して第１のマイクロホン１ａの方向を正面方向としたとき、第１のマイクロホン１ａに対して右方向の音源を強調するビームフォーマの出力信号を信号合成部５へ出力する。
正面方向に対して右方向の音源を強調するビームフォーマは一般的なものでよく、この実施の形態１では死角制御型ビームフォーマを用いる場合を例に、正面方向を０度として時計回りにθ₃度方向に位置する音源に対して死角を向ける死角制御型ビームフォーマについて説明する。

各マイクロホン１ａ，１ｂ，１ｃ，１ｄが配置されている円の直径をｄとしたとき、正面位置から時計回りにθ₃度方向から到来する音は第２のマイクロホン１ｂと第４のマイクロホン１ｄの間で経路差ｄｓｉｎθ₃となり、音速をｃとすると、遅延時間τ₃は、以下の式（５）で表わすことができる。
τ₃＝ｄｓｉｎθ₃／ｃ ・・・（５）

このとき、死角制御型ビームフォーマの出力信号Ｂ_r（ｔ）は、第２のマイクロホン１ｂの音響信号をｘ₂（ｔ）、第４のマイクロホン１ｄの音響信号をｘ₄（ｔ）とすると、以下の式（６）となる。
Ｂ_r（ｔ）＝ｘ₄（ｔ−τ₃）−ｘ₂（ｔ）・・・（６）

なお、上述した実施の形態１の正面位置に対するθ₁、θ₂、θ₃については、図２に示すように第１のマイクロホン１ａを正面方向０度としたとき、それぞれθ₁＝９０°、θ₂＝１８０°θ₃＝２７０°としている。

信号合成部５は、第１のビームフォーマ形成部２が出力する左方向の音源を強調するビームフォーマの出力信号Ｂ_l（ｔ）と、第２のビームフォーマ形成部３が出力する正面方向の音源を強調するビームフォーマの出力信号Ｂ_f（ｔ）と、第３のビームフォーマ形成部４が出力する右方向の音源を強調するビームフォーマの出力信号Ｂ_r（ｔ）とを入力とし、音響信号受聴装置１０の最終的な出力信号となるステレオ信号を生成し、出力する。

信号合成部５が生成するステレオ信号のうち左チャネルのステレオ信号Ｓ_l（ｔ）、および右チャネルのステレオ信号Ｓ_r（ｔ）は、左方向の音源を強調するビームフォーマの出力信号Ｂ_l（ｔ）、正面方向の音源を強調するビームフォーマの出力信号Ｂ_f（ｔ）、および右方向の音源を強調するビームフォーマの出力信号Ｂ_r（ｔ）を用いて、以下の式（７）で表わされる。

上述の式（７）において、αはＢ_f（ｔ）を加算する際に用いる係数である。なお、αは固定値でもよく、Ｂ_l（ｔ）あるいはＢ_f（ｔ）の大きさに基づいて変化する可変値であってもよい。

信号合成部５において、ビームフォーマの出力信号の組み合わせによりステレオ信号を生成することにより、あらかじめ設定した正面方向に対して右方向に音源がある場合にはステレオ信号の右チャネルのパワーが左チャネルのパワーよりも大きくなり、あらかじめ設定した正面方向に対して左方向に音源がある場合はステレオ信号の左チャネルのパワーが右チャネルのパワーよりも大きくなる。
また、あらかじめ設定した正面位置に対して前方向または後方向に音源がある場合は、左右チャネルのパワー差はないが、後ろ方向と比較して前方向から音が到来した場合、左右チャネルのパワーがより大きくなる。
このように、複数のビームフォーマの出力信号を組み合わせてステレオ信号を生成することにより、生成したステレオ信号の左右チャネルのパワー強度差が音源方向によって変化し、ステレオ信号に臨場感を与えることができる。

以上のように、この実施の形態１によれば、音響信号を収録する第１、第２、第３、第４のマイクロホンを備える音響環境収録部１と、第１、第２、第３、第４のマイクロホン１ａ，１ｂ，１ｃ，１ｄで収録された音響信号を入力としてビームフォーマを形成する第１、第２、第３のビームフォーマ形成部２，３，４と、得られたビームフォーマの出力信号を合成してステレオ信号を生成する信号合成部５を備えるように構成したので、小規模なハードウェア構成、且つ膨大なデータベースや音源位置推定を必要とすることなく臨場感ある音響信号を提供することができる。

例えば、使用者があらかじめ設定された正面方向から時計回りに１０度回転したときの音を聞く際、従来のように指向性マイクロホンを用いる構成では、角度に対応した指向性マイクロホンを配置しないとその角度の臨場感を再現することができない。
一方、この実施の形態１によれば、信号合成部５においてビームフォーマを用いてステレオ信号を生成するように構成したので、遅延時間などビームフォーマに与えるパラメータを制御することにより、ビームフォーマの指向性を変化させることができ、角度に対応した切り替えをシームレスに行うことができる。

なお、上述した実施の形態１では、４つの第１、第２、第３、第４のマイクロホン１ａ，１ｂ，１ｃ，１ｄおよび３つの第１、第２、第３のビームフォーマ形成部２，３，４を用いる場合を例に述べたが、信号合成部５の出力信号であるステレオ信号の左右チャネルのパワー強度差が音源方向により上述した説明と同様に変化する場合には、マイクロホンおよびビームフォーマ形成部の構成数を用途あるいは実施形態に基づいて変更可能である。

また、上述した実施の形態１では、マイクロホン１ａを正面方向に設定する場合について説明を行ったが、図２に示したように各マイクロホンを同一円周上に配置するように構成しているため、他のマイクロホンを正面方向に設定した場合のステレオ信号の生成も第１、第２、第３のビームフォーマ形成部２，３，４に与える入力信号を切り替えることにより容易に変更することができる。

実施の形態２．
この実施の形態２では、マイクロホンに加えてカメラを備える構成を示す。
図３は、実施の形態２の音響信号受聴装置の構成を示す図である。
実施の形態２の音響信号受聴装置１０Ａは、図１で示した実施の形態１の音響信号受聴装置１０にカメラ１ｅおよび音圧分布決定部６を追加して設けている。また、信号合成部５Ａへの入力として、カメラ１ｅで収録した映像、および音圧分布決定部６が決定した音圧分布が加わり、音圧分布合成映像およびステレオ信号が出力される。
なお以下では、実施の形態１による音響信号受聴装置１０の構成要素と同一または相当する部分には、図１で使用した符号と同一の符号を付して説明を省略または簡略化する。

音響環境収録部１Ａは同一円周上に配置された第１、第２、第３、第４のマイクロホン１ａ，１ｂ，１ｃ，１ｄおよびカメラ１ｅによって構成される。第１、第２、第３、第４のマイクロホン１ａ，１ｂ，１ｃ，１ｄにより音源から到来した音を収録し、カメラ１ｅによりあらかじめ設定された方向の映像を収録する。第１、第２、第３、第４のマイクロホン１ａ，１ｂ，１ｃ，１ｄを通じて取り込まれた音響信号は、対応する第１、第２、第３のビームフォーマ形成部２，３，４のいずれかに出力されると共に、音圧分布決定部６に出力される。また、カメラ１ｅにより取り込まれた映像信号は信号合成部５に出力される。
カメラ１ｅの設置台数は１台でもよいし、複数台であってもよい。なお、以下では、第１のマイクロホン１ａ方向の映像を収録するカメラを一台設置した場合を例に説明を行う。

音圧分布決定部６は、第１、第２、第３、第４のマイクロホン１ａ，１ｂ，１ｃ，１ｄの音響信号を入力としてビームフォーマを形成し、当該ビームフォーマのパワー情報を用いて音圧分布を算出する。以下に、ビームフォーマに遅延和ビームフォーマを用いて音圧分布を算出する例を示す。

遅延和ビームフォーマは、ある特定方向の音源から各マイクロホンへ到達する時間差を予め算出し、遅延を補償するように、算出した時間差を各マクロホンの音響信号に加算することにより、ある特定方向の音源から到来する音を強調するビームフォーマである。

ここでは、第１のマイクロホン１ａを正面方向、０度としたとき、強調する音源方向を１０度ごとに変更した遅延和ビームフォーマを形成し、ある時間フレーム毎の平均パワーを算出する。ビームフォーマが強調する方向、およびその平均パワー値を音圧分布として信号合成部６に出力する。

信号合成部５Ａは、実施の形態１と同様に第１のビームフォーマ形成部２が出力する左方向の音源を強調するビームフォーマの出力信号Ｂ_l（ｔ）、第２のビームフォーマ形成部３が出力する正面方向の音源を強調するビームフォーマの出力信号Ｂ_f（ｔ）および第３のビームフォーマ形成部４が出力する右方向の音源を強調するビームフォーマの出力信号Ｂ_r（ｔ）からステレオ信号を生成すると共に音圧分布決定部６が決定した音圧分布に関する情報をカメラ１ｅが収録した映像に合成し、音圧分布合成映像を生成する。

図４は、実施の形態２による音響信号受聴装置の信号合成部が生成する音圧分布合成映像のイメージ図である。
図４において、領域Ｘは音圧レベルが高い領域、領域Ｙは音圧レベルが中程度の領域、領域Ｚは音圧レベルが低い領域を示しており、さらに領域Ｘ内には音源が位置する地点Ｏが含まれている。また図４において、領域Ｐはロープを示している。音圧分布とカメラ１ｅが収録した映像を合成することにより、音源が位置する地点が明示的に映像に示されるので、ステレオ信号の臨場感が向上するという効果が得られる。

実施の形態１の信号合成部５と比較して実施の形態２の信号合成部５Ａは映像に音圧分布に関する情報を合成する点が大きく異なる。画像に音圧分布に関する情報を合成する方法としては、例えば図４に示した例のように、段階的に音圧の閾値を設け、画像の方向に対応した遅延和ビームフォーマの平均パワーを参照し、色付けを行う。

以上のように、この実施の形態２によれば、映像を収録するカメラ１ｅと、第１、第２、第３、第４のマイクロホン１ａ，１ｂ，１ｃ，１ｄの音響信号を入力として遅延ビームフォーマを形成し、形成したビームフォーマを用いて音圧分布を算出する音圧分布決定部６と、カメラ１ｅが収録した映像と音圧分布決定部６が算出した音圧分布とを合成して音圧分布合成映像を生成する信号合成部５Ａとを備えるように構成したので、映像内に音源の位置を明示的に示すことができ、ステレオ信号の臨場感を向上させることができる。

なお、上述した実施の形態２では、音圧分布決定部６が１つの遅延和ビームフォーマを形成するために４つのマイクロホンの音響信号を用いる構成を示したが、ビームフォーマの形成に用いるマイクロホンの音響信号は２つあるいは３つでも構成可能である。

また、上述した実施の形態では、音圧分布決定部６において強調する音源方向を１０度ごとに変更した遅延和ビームフォーマを例に説明を行ったが、強調する音源方向の角度の解像度は２０度や５度など適宜変更可能である。

また、上述した実施の形態では、音圧分布決定部６においてある時間ごとにビームフォーマの平均パワーを音圧分布として算出する構成を示したが、ＦＦＴ解析を行い、特定の周波数のパワースペクトルの情報を音圧分布として算出しても良い。これにより、ＳＮ比が悪い帯域の影響を受けにくくなるという効果が得られる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１，１Ａ 音響環境収録部、１ａ 第１のマイクロホン、１ｂ 第２のマイクロホン、１ｃ 第３のマイクロホン、１ｄ 第４のマイクロホン、１ｅ カメラ、２ 第１のビームフォーマ形成部、３ 第２のビームフォーマ形成部、４ 第３のビームフォーマ形成部、５，５Ａ 信号合成部、６ 音圧分布決定部、１０，１０Ａ 音響信号受聴装置。

Claims (3)

1. 音源から到来した音を収録する複数のマイクロホンを備え、前記マイクロホンが収録した音から音響信号を生成する音響環境収録部と、
   前記音響環境収録部が生成した音響信号から、特定方向に位置する前記音源から到来した音を強調したビームフォーマを形成する複数のビームフォーマ形成部と、
   前記ビームフォーマ形成部が形成した複数のビームフォーマの出力信号を合成してステレオ信号を生成する信号合成部とを備えた音響信号受聴装置。
2. 前記音響環境収録部は、前記複数のマイクロホンを同一円周上に配置したことを特徴とする請求項１記載の音響信号受聴装置。
3. あらかじめ設定された方向の映像を収録するカメラと、
   前記音響環境収録部が生成した音響信号に基づいて、前記音が到来した方向と当該方向の音圧とを対応付けた音圧分布を決定する音圧分布決定部とを備え、
   前記信号合成部は、前記カメラが収録した映像と前記音圧分布決定部が決定した音圧分布とを合成した音圧分布合成映像を生成することを特徴とする請求項１または請求項２記載の音響信号受聴装置。

Images