JP2014049885A - 音響再生装置とその方法とプログラム - Google Patents

Abstract

【課題】撮像した画像に対応させたセンター音声信号を再生することで臨場感を強調できる音響再生装置を提供する。
【解決手段】音像中心位置情報生成部が、音像の中心位置を表す音像中心位置情報を生成し、ミキシング部が、複数のマイクロホン収音信号であるマイクロホン収音信号群と音像中心位置情報を入力として、所定チャネル数の所定チャネル音声信号と音像中心位置情報に対応したセンター音声信号を合成する。そして、アンビソニック変換部が、パン情報に対応させて上記所定チャネル音声信号を回転させた所定チャネル音声信号を出力し、センター音強調部が、撮像装置が出力するズーム情報と、ミキシング部が出力するセンター音声信号と所定チャネル音声信号と、を入力として、センター音声信号をズーム情報に対応させて増幅した音声信号を、所定チャネル音声信号に重畳させて出力する。
【選択図】図１

Description

本発明は、撮影画像と連動させて音声を再生するようにした音響再生装置とその方法とプログラムに関する。

従来、例えば、コンサート会場の撮影画像と共に音声を再生する音響再生装置は、カメラの向きを「振って」（以降、カメラの向きを振ることをパン（Pan）と称する）、若しくは拡大（ズーム）して映像を変化させても、音声がそれに連動して変化しなかった。つまり、撮影画像が変化しても再生する音声は、メインマイクロホンで収音したステージ全体の音声を再生するのが一般的であった。

一方、遠方の局所的な音を収音するズームアップマイクロホン（非特許文献１）は、既に開発されているが音声のみであり、撮影画像と音声を連動させるようにした音響再生装置は、いまだ存在していない。

Kenta Niwa,Sumitaka Sakauchi,Kenichi Furuya,Manabu Okamoto,Yoichi Haneda "DIFFUSED SENSING FOR SHARP DIRECTIVITY MICROPHONE ARRAY" ICASSP 2012 AASP-P2.9.

従来の音響再生装置では、撮影画像と音声とが連動しないため、画像と音響とから得られる臨場感が不足する課題があった。

本発明は、この課題に鑑みてなされたものであり、画像と音響とから得られる臨場感を強調することが出来る音響再生装置とその方法とプログラムを提供することを目的とする。

本発明の音響再生装置は、音像中心位置情報生成部と、ミキシング部と、アンビソニック変換部と、センター音強調部と、を具備する。音像中心位置情報生成部は、撮像装置からのパン情報を入力とし、マイク位置マップを参照して音像の中心位置を表す音像中心位置情報を出力する。ミキシング部は、複数のマイクロホン収音信号であるマイクロホン収音信号群と音像中心位置情報を入力として、当該マイクロホン収音信号群を所定チャネル数の所定チャネル音声信号に変換すると共に、音像中心位置情報に対応したセンター音声信号を出力する。アンビソニック変換部は、所定チャネル音声信号とパン情報を入力として、当該所定チャネル音声信号に、音声の指向方向を展開する展開行列と、パン情報に対応させて上記所定チャネル音声信号を回転させる回転行列とを乗じた所定チャネル音声信号を出力する。センター音強調部は、撮像装置が出力するズーム情報と、ミキシング部が出力するセンター音声信号と所定チャネル音声信号と、を入力として、センター音声信号をズーム情報に対応させて増幅した音声信号を、所定チャネル音声信号に重畳して出力する。

本発明の音響再生装置によれば、撮像した画像に対応させたセンター音声信号を再生することが出来るので、画像と音響から得られる臨場感を強調することが可能になる。

この発明の音響再生装置１００の機能構成例を示す図。 音響再生装置１００の動作フローを示す図。 マイク位置マップの一例を示す図。 音像中心位置情報の例を示す図。 アンビソニック変換部１２０で行う演算の計算式を示す図。 この発明の音響再生装置２００の機能構成例を示す図。 音像中心位置情報生成部２４０の機能構成例を示す図。 マイク位置マップの一例を示す図。 音像中心位置情報生成手段２４３が生成する音像中心位置情報の例を示す図。 この発明の音響再生装置３００の機能構成例を示す図。 音像中心位置情報生成部３４０の機能構成例を示す図。 音響再生装置１００′の機能構成例を示す図。

以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。

図１に、この発明の音響再生装置１００の機能構成例を示す。音響再生装置１００は、音像中心位置情報生成部１４０と、ミキシング部１１０と、アンビソニック変換部１２０と、センター音強調部１３０と、を具備する。その動作フローを図２に示す。音響再生装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

音像中心位置情報生成部１４０は、図示しない撮像装置からのパン情報を入力とし、マイク位置マップを参照して音像の中心位置を表す音像中心位置情報を出力する（ステップＳ１４０）。図３に、マイク位置マップを例示する。マイク位置マップとは、マイクロホンの配置情報を記録したデータであり、音像中心位置情報生成部１４０の内部に記憶されている。

図３は、ボーカリストとドラマーとベイシストとギタリストの４人編成からなるバンドのコンサートのステージを平面的に見た図である。ステージ９００の中央にボーカリストが位置し、ボーカリストに向かって左側にドラマー、右側にベイシストとギタリストが位置する。ボーカリストの位置にはマイクロホンＭ_４、ドラマーの位置にはマイクロホンＭ_５、ベイシストの位置にはマイクロホンＭ_６、ギタリストの位置にはマイクロホンＭ_７、の固定マイクロホンが配置されている。そして、ステージの中央から観客席方向に離れた所定の位置にメインマイクロホンＭ_１、メインマイクロホンＭ_１の両外側後方に観客席の音と反響音を収音するマイクロホンＭ_２とＭ_３が配置されている。

ボーカリストの位置のマイクロホンＭ_４とメインマイクロホンＭ_１とを結ぶ直線（ステージ９００と直交する方向）方向のパン情報φをφ＝０°とし、その直線上でメインマイクロホンＭ_１の直後の観客席側に撮像装置９１０が配置されている。その撮像装置９１０を原点とした反時計方向の振り角であるパン情報をプラス、時計方向のパン情報をマイナスで表す。パン情報φ＝３０°の直線上にはマイクロホンＭ_５が、パン情報φ＝−３０°の直線上にはマイクロホンＭ_６が、パン情報φ＝−４５°の直線上にはマイクロホンＭ_７が、それぞれ配置されている。このように、マイク位置マップは、パン情報φに対応させた一覧表である。

音像中心位置情報生成部１４０は、撮像装置９１０からパン情報を取得し、マイク位置マップ（図３）を参照して音像中心位置情報を出力する。図４に、音像中心位置情報を例示する。パン情報φ＝０°の時の音像中心位置情報はマイクロホンＭ_５となる。パン情報φ＝１５°の時の音像中心位置情報はマイクロホンＭ_４とＭ_５の中間となる。

パン情報φは、例えば、撮像装置９１０の撮像方向の振り角と連動して回転する撮像装置９１０を固定する台に装着されたロータリーエンコーダから取得することが可能である。図４では、１５°間隔でしかパン情報を示していないが、パン情報は、例えば1°程度の角度分解能で０°〜３６０°の範囲が有り得る。この例では、ステージ方向に限定したパン情報φの範囲を、例えばφ＝０±９０°とする。

音像中心位置情報生成部１４０は、そのパン情報φに対応させて重み付けした音像中心位置情報を出力する。例えば、パン情報φ＝２０°の時は、マイクロホンＭ_４とマイクロホンＭ_５の重み付けをＭ_４：Ｍ_５＝１：２とした音増中心位置情報を出力する。

ミキシング部１１０は、複数のマイクロホン収音信号であるマイクロホン収音信号群ｍ_１〜ｍ_７と音像中心位置情報を入力として、当該マイクロホン収音信号群を所定チャネル数の所定チャネル音声信号に変換すると共に、音像中心位置情報に対応したセンター音声信号を出力する（ステップＳ１１０）。この例では、所定チャネル数をＣ（Center），Ｌ(Left)，ＲＬ(Rear Left)，ＲＲ(Rear Right)，Ｒ(Right)の５.１チャネルとしている。０.１チャネルに当たる低音域チャネルは省略している。マイクロホン収音信号ｍ_１は、メインマイクロホンＭ_１で収音した収音信号、ｍ_２はメイクロホンＭ_２で収音した収音信号である。

ミキシング部１１０は、音像中心位置情報がマイクロホンＭ_５の時にセンター音声信号（Ｃチャネル）の音声信号をｍ_５として出力する。音像中心位置情報がマイクロホンＭ_４とＭ_５の中間の時には、センター音声信号をｍ_４とｍ_５のマイクロホン収音信号を同じ比率でミキシングした音声信号として出力する。同様に、音像中心位置情報がマイクロホンＭ_４とＭ_６の中間の時（φ＝−１５°）には、センター音声信号を、ｍ_４とｍ_６のマイクロホン収音信号を同じ比率でミキシングした音声信号として出力する。パン情報φ＝２０°の時は、マイクロホンＭ_４とマイクロホンＭ_５のマイクロホン収音信号を、ｍ_４：ｍ_５＝１：２の比率でミキシングしてセンター音声信号として出力する。また、ミキシング部１１０は、マイクロホン収音信号群ｍ_１〜ｍ_７を、ＰＡ卓（ミキシングコンソール）で指定された比率でミキシングした５.１チャネル音声信号に変換して出力する。

アンビソニック変換部１２０は、５.１チャネル音声信号とパン情報φを入力として、その５.１チャネル音声信号に、音声の指向方向を展開する展開行列と、パン情報に対応させて上記所定チャネル音声信号を回転させる回転行列とを乗じた５.１チャネル音声信号を出力する。図５に、アンビソニック変換部１２０で行う演算の計算式（式（１））を示す。

式（１）の右辺第１項は回転行列、第２項は展開行列、第３項は入力信号の５.１チャネル音声信号である。ここで、θ_ｎは３６０°を５等分したスピーカ位置（式（２））、θ_ｎ′は音像中心位置の方向（式（３））である。Ｄ_ｎは仮想音原（２次元座標位置：距離ｄ，角度α）の伝搬遅延（式（４））である。角度αは、ｘ軸（ステージと平行方向）からの仮想音源の角度であり、α＋π/２とすることで、ｙ軸（ステージ正面方向）からの角度となる。

ここで、３４０は音速、ｓＦはサンプリング周波数である。５.１チャネルの再生装置の中心に仮想音源を設定する場合、ｄ＝０，α＝０であるためＤ_ｎ＝０と考えることができる。

センター音強調部１３０は、撮像装置９１０が出力するズーム情報と、ミキシング部１１０が出力するセンター音声信号と５.１チャネル音声信号と、を入力として、センター音声信号をズーム情報に対応させて増幅した音声信号を、５.１チャネル音声信号に重畳して出力する（ステップＳ１３０）。ここでズーム情報とは、撮像装置９１０が被写体をズームする前のその面積Ｓ１と、ズーム後の被写体の面積Ｓ２との比Ｓ２/Ｓ１である。

センター音強調部１３０は、その面積比Ｓ２/Ｓ１を入力としてセンター音声信号を式（５）に示すように増幅した後に、その増幅後のセンター音声信号′を５.１チャネル音声信号に重畳して出力する。

ａは比例係数である。ｍ/ｎの代わりに実数を用いても良い。ｍ＝１，ｎ＝２なら倍率そのものとなる。

以上説明したように動作するこの発明の音響再生装置１００は、撮像装置９１０から入力されるズーム情報とパン情報に対応させて、撮像装置９１０が撮影している箇所の音声信号を強調してセンター音声信号（Ｃチャネル）として出力することができる。その結果、聴取者は映像と音声をより臨場感豊かに視聴することができる。

図６に、この発明の音響再生装置２００の機能構成例を示す。音響再生装置２００は、撮像装置９１０から撮影した画像情報を入力として動作する点で、音響再生装置１００と異なる。

音響再生装置２００は、音像中心位置情報生成部２４０と、ミキシング部１１０と、アンビソニック変換部１２０と、センター音強調部１３０と、を具備する。参照符号から明らかように、ミキシング部１１０とアンビソニック変換部１２０とセンター音強調部１３０は、音響再生装置１００と同じものであり、音像中心位置情報生成部２４０のみが異なる。

音像中心位置情報生成部２４０は、撮像装置９１０からの画像情報を入力とし、マイク位置マップを参照して音像の中心位置を表す音像中心位置情報と、画像情報に対応したパン情報とズーム情報と、を出力する。図７に、音像中心位置情報生成部２４０のより具体的な機能構成例を示す。音像中心位置情報生成部２４０は、画像認識手段２４１と、パノラマ画像２４２と、音像中心位置情報生成手段２４３と、マイク位置マップ２４４と、を備える。

画像認識手段２４１は、撮像装置９１０からの画像情報を、パノラマ画像２４２を参照して撮影対象物を認識し、認識した対象物情報と、ズーム情報と、パン情報と、を出力する。パノラマ画像２４２は、この例ではステージ上の全映であり、その画像の生成方法は例えば参考文献１（特許第４８２５８２４号）に記載されている。パノラマ画像２４２の生成方法は、このように公知の方法であるので詳しい説明は省略する。

画像認識手段２４１は、撮像装置９１０から入力される画像情報を、公知の画像認識方法で認識した後に、パノラマ画像２４２と対比することで、ズーム情報とパン情報と対象物情報を生成する。対象物情報とは、画像情報を認識した結果の例えば人や楽器等の情報である。

ズーム情報は、例えば、ズームの前後で画素数情報が小から大に変化するので、その画素数情報の比から求める。又は、画像認識した結果の画像と、パノラマ画像２４２との関係からズーム情報を生成するようにしても良い。パン情報も、認識した画像情報と、パノラマ画像２４２と、を対比することで求めることができる。なお、パン情報は、上記したようにロータリーエンコーダの角度情報を用いるようにしても良い。

図８に示すオーケストラ用のマイク位置マップを参照して、更に音像中心位置情報生成部２４０の動作を説明する。このマイク位置マップは、ヴァイオリンやチェロ等の弦楽器から、トランペットやホルン等の金管楽器、バスドラムやティンパニー等の打楽器、などからなるオーケストラを対象にした場合のものである。パン情報φとステージ９２０との関係は上記した実施例１で説明した例と同じである。

ステージ９２０の前方中央の指揮者を中心として、ステージ９２０の左右とその奥行き方向に各楽器とその奏者が配置される。画像認識手段２４１は、撮像装置９１０から入力される画像情報を認識した結果に、例えば、対象物情報としてヴァイオリンとオーボエとファゴットとトロンボーンとパーカッションが含まれる場合はパン情報φ＝０°でズーム情報は１〜３（比較的に遠映）、対象物情報としてオーボエとファゴットしか含まれない場合はパン情報φ＝０°でズーム情報は４〜７（やや拡大）、トロンボーンのみしか含まれない場合はパン情報φ＝０°でズーム情報は８〜１１（拡大）といった情報を出力する。

このように、認識した画像とパノラマ画像とを対比することで、ズーム情報とパン情報を生成することができる。パン情報φ＝０°以外でもパノラマ画像と対比することで同様にズーム情報とパン情報を生成することができる。

音像中心位置情報生成手段２４３は、対象物情報とズーム情報とパン情報を入力とし、マイク位置マップ（図８）を参照して音像中心位置情報を生成する。図９に、音像中心位置情報生成手段２４３が生成する音像中心位置情報の例を示す。図９は、この実施例におけるマイク位置マップ（図８）を音像中心位置情報生成部に記憶させるデータの形態の一例を表している。つまり、図９に示す一覧表がこの例におけるマイク位置マップである。

図９の左から１列目は対象物情報、２列目はパン情報、３列目はズーム情報、４列目は音像中心位置情報である。画像認識手段２４１で認識した撮像装置９１０で撮影した画像情報に、対象物情報としてヴァイオリンとフルートとイングリッシュホーンとトランペットが含まれる場合、音像中心位置情報生成手段２４３はマイク位置マップを参照して画像情報の範囲に含まれるマイクロホンを抽出し、音像中心位置情報を生成する。この場合の音像中心位置情報は、マイクロホンＭ_５とマイクロホンＭ_７とマイクロホンＭ_１８の音声信号を、例えば１：１：１で合成させる情報として生成される。

イングリッシュホーンとトランペットのみが対象物情報として検出された場合、音像中心位置情報は、マイクロホンＭ_７とマイクロホンＭ_１８の音声信号を、１：１で合成させる情報として生成される。図９では、作図の関係から各マイクロホンの音声信号を合成する比率を表記していないが、全て１を意味している。

この各マイクロホンの音声信号を合成する比率は、１：１以外の比率も有り得る。この比率は、対象物情報の比率に応じて重み付けされる。例えば、対象物情報としてオーボエとファゴットの２つがあり、その比率が２：１とすると、マイクロホンＭ_４とマイクロホンＭ_６の音声信号を２：１の比率で合成させる情報として、音像中心位置情報が生成される。

このように、音像中心位置情報生成手段２４３は音像中心位置情報を生成してミキシング部１１０に出力する。パン情報はアンビソニック変換部１２０に、ズーム情報はセンター音強調部１３０にそれぞれ出力される。ミキシング部１１０とアンビソニック変換部１２０とセンター音強調部１３０の動作は実施例１で説明したのと同じ動作を行う。なお、ミキシング部１１０は、図８に示すマイク位置マップの場合、２２個のマイクロホン収音信号群ｍ_１〜ｍ_２２のミキシングを行う点のみが異なる。

なお、上記した音像中心位置情報生成部２４０は、音像中心位置情報生成手段２４３とマイク位置マップ２４４を、備える構成で説明したが、それらの構成が無くても良い。つまり、画像認識手段２４１が、音像中心位置も含めて画像認識すれば音像中心位置情報生成部２４０を実現できる。その場合、パノラマ画像２４２がマイク位置マップ２４４に相当することになる。

図１０に、この発明の音響再生装置３００の機能構成例を示す。音響再生装置３００は、例えばポピュラー音楽のグループのように、複数の歌手がマイクを持って歌唱しながら移動するマイクロホンも含めてセンター音声信号を再生できるようにしたものである。音響再生装置３００は、音響再生装置２００に対して、音像中心位置情報生成部３４０と、ミキシング部３１０と、が異なる。

音像中心位置情報生成部３４０は、撮像装置９１０からの画像情報を入力とし、マイク位置マップを更新すると共に、更新したマイク位置マップを参照して音像の中心位置を表す音像中心位置情報と、画像のパン情報とズーム情報とを出力するものである。図１１に、音像中心位置情報生成部３４０のより具体的な機能構成例を示す。

音像中心位置情報生成部３４０は、画像認識手段３４１と、パノラマ画像２４２と、音像中心位置情報生成手段２４３と、マイク位置マップ２４４と、マッピング手段３４２と、を備える。画像認識手段３４１は、例えば歌手が持って移動するマイクロホンも画像認識して検出し、その位置情報をマッピング手段３４２に出力する点で、画像認識手段２４１と異なる。また、マッピング手段３４２を備える点で、音像中心位置情報生成部２４０と異なる。

マッピング手段３４２は、画像認識手段３４１が出力する移動マイクロホンの位置情報を入力として、マイク位置マップ２４４の移動マイクロホンの位置を更新してマッピングする。画像情報から物をマッピングする方法については、例えば上記した参考文献１に記載されている。マッピング手段３４２は、このような公知の方法を用いて移動マイクロホンの位置を逐次更新する。

音像中心位置情報生成手段２４３は、移動マイクロホンの位置が逐次更新されるマイク位置マップを参照して音像中心位置情報を生成する。ミキシング部３１０は、移動マイクロホンの収音信号ｖ_１〜ｖ_ｎも含めてミキシングする点のみが異なり、センター音声信号と５.１チャネル音声信号をミキシングして出力する点は、ミキシング部１１０と同じである。

音響再生装置３００は、位置が逐次変化する移動マイクロホンも含めた音像中心位置情報を用いるので、歌手が移動しながら歌唱する画像に対応させてその音声をセンター音声信号として強調することができる。

移動マイクロホンの位置を、画像情報からマッピングする例を説明したが、他の方法も考えられる。屋外でのコンサート会場を想定した場合、ＧＰＳ（Global Positioning System）の利用が可能である。各移動マイクロホンにＧＰＳ受信機を持たせ、測位情報を移動マイクロホン位置情報として音響再生装置に送信させることで、逐次変化する移動マイクロホンの位置を把握することが可能である。このようにＧＰＳ受信機を用いて移動マイクロホンの位置を検出する方法を用いても、上記した音響再生装置３００と同じ作用効果を得ることができる。

〔変形例〕
音響再生装置１００を変形した音響再生装置１００′を説明する。音響再生装置１００は、画像情報を用いずに撮像装置からのズーム情報とパン情報で、センター音声信号を強調するものであるが、更に撮像装置の仰角情報を用いるようにしても良い。

図８に示したマイク位置マップのように、ステージの奥行き方向の距離が、ある程度ある場合には、ズーム情報とパン情報だけではセンター音声信号を強調する動作が十分に行えないことがある。そこで、撮影方向の仰角情報も用いる方法が考えられる。

図１２に、音響再生装置１００′の機能構成例を示す。音響再生装置１００′は、音響再生装置１００に対して、仰角情報も入力とする音像中心位置情報生成部１４０′のみが異なる。

撮像装置の撮影方向の仰角情報は、パン情報と同じように、撮像装置に仰角センサーを装着することで容易に取得することができる。図８に例示したようなステージの奥行き方向に奏者が配置される場合、各奏者はひな壇形式で奥に位置するほど高い位置に配置されるのが一般的である。

そこで、撮像装置から撮影方向の仰角情報を取得することで、より適切なセンター音声信号を生成することが可能になる。この場合、図９に示した対象物情報が、仰角情報に置き代わる。例えば、手前の対象物情報に対応する仰角情報は小さく、奥に位置する対象物情報に対応する仰角情報は大きく、といった関係になる。

このように仰角情報を用いることで、音響再生装置１００のセンター音声信号の精度をより高める効果が期待できる。

以上説明したように、本発明の音響再生装置によれば、撮影した画像に対応させたセンター音声信号を再生することが出来るので、聴取者は映像と音声をより臨場感豊かに視聴することが可能になる。なお、上記した実施例の所定チャネル音声信号は、５.１チャネルサラウンドを例に説明したが、本発明はこの所定チャネル音声信号に限定されない。所定チャネル音声信号のチャネル数は、チャネル数が更に多い７.１チャネルでも９.１チャネルでも良いし、チャネル数が少ない２.１チャネルや３.１チャネルでもこの発明の音響再生方法を適用することが可能である。また、図３と図８に例示したマイクロホンの配置は、その配置に限定されるものではなく、会場や演目に対応させて自由に配置できるものである。

また、センター音強調部１３０の説明で、ズーム情報に対応させて増幅したセンター音声信号を、所定チャネル音声信号に重畳する例で説明を行ったが、所定チャネル音声信号のＣチャネルと、センター音声信号とを、それぞれズーム情報に対応させて増幅した後に足し合わせても良いし、Ｃチャネルとセンター音声信号を足し合わせた後に増幅するようにしても良い。

上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD（Digital Versatile Disc）、DVD-RAM（Random Access Memory）、CD-ROM（Compact Disc Read Only Memory）、CD-R（Recordable）/RW（ReWritable）等を、光磁気記録媒体として、MO（Magneto Optical disc）等を、半導体メモリとしてEEP-ROM（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (7)

1. 撮像装置からのズーム情報とパン情報を入力とし、マイク位置マップを参照して音像の中心位置を表す音像中心位置情報を出力する音像中心位置情報生成部と、
   複数のマイクロホン収音信号であるマイクロホン収音信号群と上記音像中心位置情報を入力として、当該マイクロホン収音信号群を所定チャネル数の所定チャネル音声信号に変換すると共に、上記音像中心位置情報に対応したセンター音声信号を出力するミキシング部と、
   上記所定チャネル音声信号と上記パン情報を入力として、当該所定チャネル音声信号に、音声の指向方向を展開する展開行列と、上記パン情報に対応させて上記所定チャネル音声信号を回転させる回転行列とを乗じた所定チャネル音声信号を出力するアンビソニック変換部と、
   上記ズーム情報と、上記センター音声信号と所定チャネル音声信号と、を入力として、上記センター音声信号を上記ズーム情報に対応させて増幅した音声信号を、上記所定チャネル音声信号に重畳して出力するセンター音強調部と、
   を具備する音響再生装置。
2. 撮像装置からの画像情報を入力とし、マイク位置マップを参照して音像の中心位置を表す音像中心位置情報と、上記画像情報に対応するパン情報とズーム情報と、を出力する音像中心位置情報生成部と、
   複数のマイクロホン収音信号であるマイクロホン収音信号群と上記音像中心位置情報を入力として、当該マイクロホン収音信号群を所定チャネル数の所定チャネル音声信号に変換すると共に、上記音像中心位置情報に対応したセンター音声信号を出力するミキシング部と、
   上記所定チャネル音声信号と上記パン情報を入力として、当該所定チャネル音声信号に、展開行列と、上記パン情報に対応させて上記所定チャネル音声信号を回転させる回転行列とを乗じた所定チャネル音声信号を出力するアンビソニック変換部と、
   上記ズーム情報と、上記センター音声信号と所定チャネル音声信号と、を入力として、上記センター音声信号を上記ズーム情報に対応させて増幅した音声信号を、上記所定チャネル音声信号に重畳して出力するセンター音強調部と、
   を具備する音響再生装置。
3. 撮像装置からの画像情報を入力とし、マイク位置マップを更新すると共に、更新したマイク位置マップを参照して音像の中心位置を表す音像中心位置情報と、上記画像情報に対応するパン情報とズーム情報とを出力する音像中心位置情報生成部と、
   複数のマイクロホン収音信号である固定マイクロホン収音信号群と移動マイクロホン収音信号を入力として、当該固定マイクロホン収音信号群と当該移動マイクロホン収音信号とを所定チャネル数の所定チャネル音声信号に変換すると共に、上記音像中心位置情報に対応したセンター音声信号を出力するミキシング部と、
   上記所定チャネル音声信号と上記パン情報を入力として、当該所定チャネル音声信号に、展開行列と、上記パン情報に対応させて上記所定チャネル音声信号を回転させる回転行列とを乗じた所定チャネル音声信号を出力するアンビソニック変換部と、
   上記ズーム情報と、上記センター音声信号と所定チャネル音声信号と、を入力として、上記センター音声信号を上記ズーム情報に対応させて増幅した音声信号を、上記所定チャネル音声信号に重畳して出力するセンター音強調部と、
   を具備する音響再生装置。
4. 撮像装置からのズーム情報とパン情報を入力とし、マイク位置マップを参照して音像の中心位置を表す音像中心位置情報を出力する音像中心位置情報生成過程と、
   複数のマイクロホン収音信号であるマイクロホン収音信号群と上記音像中心位置情報を入力として、当該マイクロホン収音信号群を所定チャネル数の所定チャネル音声信号に変換すると共に、上記音像中心位置情報に対応したセンター音声信号を出力するミキシング過程と、
   上記所定チャネル音声信号と上記パン情報を入力として、当該所定チャネル音声信号に、音声の指向方向を展開する展開行列と、上記パン情報に対応させて上記所定チャネル音声信号を回転させる回転行列とを乗じた所定チャネル音声信号を出力するアンビソニック変換過程と、
   上記ズーム情報と、上記センター音声信号と所定チャネル音声信号と、を入力として、上記センター音声信号を上記ズーム情報に対応させて増幅した音声信号を、上記所定チャネル音声信号に重畳して出力するセンター音強調過程と、
   を備える音響再生方法。
5. 撮像装置からの画像情報を入力とし、マイク位置マップを参照して音像の中心位置を表す音像中心位置情報と、上記画像情報に対応するパン情報とズーム情報と、を出力する音像中心位置情報生成過程と、
   複数のマイクロホン収音信号であるマイクロホン収音信号群と上記音像中心位置情報を入力として、当該マイクロホン収音信号群を所定チャネル数の所定チャネル音声信号に変換すると共に、上記音像中心位置情報に対応したセンター音声信号を出力するミキシング過程と、
   上記所定チャネル音声信号と上記パン情報を入力として、当該所定チャネル音声信号に、展開行列と、上記パン情報に対応させて上記所定チャネル音声信号を回転させる回転行列とを乗じた所定チャネル音声信号を出力するアンビソニック変換過程と、
   上記ズーム情報と、上記センター音声信号と所定チャネル音声信号と、を入力として、上記センター音声信号を上記ズーム情報に対応させて増幅した音声信号を、上記所定チャネル音声信号に重畳して出力するセンター音強調過程と、
   を備える音響再生方法。
6. 撮像装置からの画像情報を入力とし、マイク位置マップを更新すると共に、更新したマイク位置マップを参照して音像の中心位置を表す音像中心位置情報と、上記画像情報に対応するパン情報とズーム情報とを出力する音像中心位置情報生成過程と、
   複数のマイクロホン収音信号である固定マイクロホン収音信号群と移動マイクロホン収音信号を入力として、当該固定マイクロホン収音信号群と当該移動マイクロホン収音信号とを所定チャネル数の所定チャネル音声信号に変換すると共に、上記音像中心位置情報に対応したセンター音声信号を出力するミキシング過程と、
   上記所定チャネル音声信号と上記パン情報を入力として、当該所定チャネル音声信号に、展開行列と、上記パン情報に対応させて上記所定チャネル音声信号を回転させる回転行列とを乗じた所定チャネル音声信号を出力するアンビソニック変換過程と、
   上記ズーム情報と、上記センター音声信号と所定チャネル音声信号と、を入力として、上記センター音声信号を上記ズーム情報に対応させて増幅した音声信号を、上記所定チャネル音声信号に重畳して出力するセンター音強調過程と、
   を備える音響再生方法。
7. 請求項１乃至３の何れかに記載した音響再生装置としてコンピュータを機能させるためのプログラム。

Images