JP2011071686A - 映像音響処理装置、映像音響処理方法及びプログラム - Google Patents

Abstract

【課題】複数の映像オブジェクトや音響オブジェクトが混在する中から、映像オブジェクトと音響オブジェクトとを対応づける映像音響処理装置、映像音響処理方法及びプログラムを提供すること。
【解決手段】本発明は、入力映像信号から映像オブジェクトを分離する映像オブジェクト分離部と、前記分離した映像オブジェクトの位置を算出する映像オブジェクト位置算出部と、入力音響信号から音響オブジェクトを分離する音響オブジェクト分離部と、前記分離された音響オブジェクトの位置を算出する音響オブジェクト位置算出部と、前記算出された映像オブジェクトの位置と前記算出された音響オブジェクトの位置との相関に基づいて、前記映像オブジェクトと音響オブジェクトとを対応付けるオブジェクト対応付け部とを有する映像音響処理装置である。
【選択図】図１

Description

本発明は映像音響処理装置、映像音響処理方法及びプログラムに関する。

映像コミュニケーション装置等において、しばしば映像音響信号から特定のオブジェクト（人や物体など）に注目して視聴したいという要望がある。特定オブジェクトへの注目処理に関し、映像信号における注目処理を映像注目処理とし、音響信号における注目処理を音響注目処理とする。

図６を用いて映像注目処理の一例について説明する。元映像フレーム７１に、４つのオブジェクト（オブジェクトＡ７４、オブジェクトＢ７５、オブジェクトＣ７６、オブジェクトＤ７７）が含まれているとする。オブジェクトとは撮影された映像空間を構成する物体であり、例えば人物や自動車、建物などである。元映像フレーム７１内では、これらのオブジェクトの位置を示す矩形が点線で表示されている。ここで、元映像フレーム７１内における注目領域を、注目領域７３で示す実線矩形とする。注目処理映像７２は、注目領域７３に対して映像注目処理を施した一例である。注目処理映像７２は、注目領域を拡大して表示幅が最大となるように表示した例である。

音響注目処理の一例として、注目するオブジェクトに対応した音響信号だけを再生する方法がある。この場合、元映像フレーム７１では、注目領域７３を指定するとその内部に含まれるオブジェクトＤ７７のみの音声が再生されることになる。

上述のような注目処理により、視聴者が興味のある領域だけを詳細に観察することが可能となる。

映像中の音を発する特定オブジェクトへの注目処理を実現するには、音源となっている映像オブジェクトを抽出し、それぞれのオブジェクトが発生する音と映像を分離する必要があった。そこで、このような技術に関連する一例が、特許文献１に記載されている。

特許文献１によれば、ＴＶ会議システムにおいて複数のカメラと複数のマイクを用い、注目領域として特定のカメラ映像を選択すると、その映像に近い位置のマイクのみを動作させることで、注目領域に適した音声を収録・再生することが記載されている。すなわち、１つのオブジェクトに対して、特定のカメラとマイクとを固定することにより、映像オブジェクトと音響オブジェクトとを対応づけて分離している。

特開２００５−４５７７９号公報

しかしながら、特許文献１の技術は、複数のオブジェクトが混在する場合に、音と映像オブジェクトの対応が取れないという点である。その理由は、特定のマイクとカメラには一つのオブジェクトしか対応できないため、１枚の映像中で複数の音源が同時に発声した場合に、映像オブジェクトと音源オブジェクトとの対応が取れないからである。

そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、複数の映像オブジェクトや音響オブジェクトが混在する中から、映像オブジェクトと音響オブジェクトとを対応づける映像音響処理装置、映像音響処理方法及びプログラムを提供することにある。

上記課題を解決する本発明は、入力映像信号から映像オブジェクトを分離する映像オブジェクト分離部と、前記分離した映像オブジェクトの位置を算出する映像オブジェクト位置算出部と、入力音響信号から音響オブジェクトを分離する音響オブジェクト分離部と、前記分離された音響オブジェクトの位置を算出する音響オブジェクト位置算出部と、前記算出された映像オブジェクトの位置と前記算出された音響オブジェクトの位置との相関に基づいて、前記映像オブジェクトと音響オブジェクトとを対応付けるオブジェクト対応付け部とを有する映像音響処理装置である。

上記課題を解決する本発明は、入力映像信号から映像オブジェクトを分離し、前記映像オブジェクトの位置を算出し、入力音響信号から音響オブジェクトを分離し、前記音響オブジェクトの位置を算出し、前記算出された映像オブジェクトの位置と前記算出された音響オブジェクトの位置との相関に基づいて、前記映像オブジェクトと音響オブジェクトとを対応付ける映像音響処理方法である。

上記課題を解決する本発明は、入力映像信号から映像オブジェクトを分離する処理と、
前記分離した映像オブジェクトの位置を算出する処理と、入力音響信号から音響オブジェクトを分離する処理と、前記分離された音響オブジェクトの位置を算出する処理と、前記算出された映像オブジェクトの位置と前記算出された音響オブジェクトの位置との相関に基づいて、前記映像オブジェクトと音響オブジェクトとを対応付けるオブジェクト対応付ける処理とを情報処理装置に実行させるプログラムである。

本発明は、複数の映像オブジェクトや音響オブジェクトが混在する中から、映像オブジェクトと音響オブジェクトとを対応づけることができる。

図１は第１の実施の形態における映像音響処理装置のブロック図である。 図２は第１の実施の形態を説明するための図である。 図３は第１の実施の形態を説明するための図である。 図４は第１の実施の形態を説明するための図である。 図５は第２の実施の形態を説明するための図である。 図６は関連技術を説明するための図である。

本発明の実施の形態を説明する。

図１は第１の実施の形態における映像音響処理装置のブロック図である。

図１を参照すると、第１の実施の形態における映像音響処理装置は、映像オブジェクト分離部１と、音響オブジェクト分離部２と、映像オブジェクト位置算出部３と、音響オブジェクト位置算出部４と、オブジェクト対応付け部５とから構成されている。

映像オブジェクト分離部１は、映像信号から映像フレーム内の映像オブジェクトを分離する。映像オブジェクトの例として、図２におけるオブジェクトＡ７４，オブジェクトＢ７５，オブジェクトＣ７６のような人物オブジェクトがある。またその他、自動車、建物や、草木、など、空間を構成する物体を、映像オブジェクトと見なすことができる。映像オブジェクト分離部１の例として、パターン認識を利用した物体検出方法がある。予め映像オブジェクト画像のテンプレートを作成し、このテンプレートを用いて映像フレーム全体にテンプレートマッチングを施す。テンプレートとの相関値がしきい値以上であれば、所望の映像オブジェクトが存在するものと判断して、該当する部分領域を映像オブジェクト信号として分離する。尚、分離する映像オブジェクトは、複数あってよい。

音響オブジェクト分離部２は、入力されたマルチチャンネルの音響信号を、複数の音源信号に分離する部である。ここで、分離された音源信号を音響オブジェクトと呼ぶ。音響オブジェクト分離部２において、オブジェクト分離情報を生成する方法として、ブラインド信号源分離（Blind Source Separation）や、独立成分分析（Independent Component Analysis）と呼ばれる手法を用いることができる。ブラインド信号源分離および独立成分分析の方法に関連する技術は、非特許文献１（2005年、「スピーチ・エンハンスメント」、シュプリンガー、（Speech Enhancement, Springer, 2005, pp. 271-369）、271ページから369ページ。）に開示されている。適切なパラメータ設定を行うことで、音響オブジェクト分離部２は、入力オーディオ信号から自動的に音源信号に分離することができる。

映像オブジェクト位置算出部３は、分離された映像オブジェクトの映像中の位置を算出する。映像オブジェクトの位置情報は、例えば、当該オブジェクトが含まれる画像領域のｘ，ｙ座標列、又は、当該オブジェクトが含まれる画像領域の重心座標によって表現することができる。

音響オブジェクト位置算出部４は、音響オブジェクト分離部２により分離された音響オブジェクトの映像フレーム中の位置を算出する。音響オブジェクトの映像フレーム中の位置を算出する方法として、音響オブジェクト（音源）の音の到来方向を検出し、この到来方向を用いて音響オブジェクトの映像フレーム中の位置を算出する。

音響オブジェクト（音源）の音の到来方向の算出方法を、図３を用いて説明する。図３では簡単のため２つのセンサによって音を収録することを想定する。音源４１は十分遠方にあると仮定する。センサはマイクＡ４２及びマイクＢ４３（水平方向（ｘ軸方向）に並べられた）である。このとき音源からの到来方向と２つのマイクの位置関係によって、同じ音が２つのマイクに到達する時間に差が生じることがわかる。到達時間の差をΔｔ、音速をλとすると、到来距離差ｄ４５はλ・Δｔで表される。そして、２つのマイク間距離Ｄ４４が既知であるとすると、到来方向である角度φは数１によって算出することができる。

同様に、垂直方向（ｙ軸方向）に対しても測定することにより、３次元の到来方向を算出することができる。

到来方向を推定する他の方法として、入力信号から音響オブジェクト（音源信号）を分離するときに用いる分離行列を用いても良い。

分離行列の算出方法の具体例として、周波数変換した入力信号を用いて分離情報を生成する方法がある。ある周波数帯域fにおける多チャンネル入力信号の周波数成分をXi(f), i=1,2,…M (Mは入力チャンネル数)、分離信号の周波数成分をYi(f), i=1,2,…P (Pは音源信号数)とし、分離行列の周波数成分をW(f)とすると、

となる分離行列W(f)を計算する。ここで、分離行列W(f)は、

となるP行M列の行列である。

分離信号Yi(f)は一般的に未知であるため、分離信号Yi(f)の独立性を最大化するような分離行列W(f)を計算する。分離行列W(f)の計算法に関連する技術は、非特許文献１に開示されている。この分離行列が、入力信号を複数の音源信号に分離するための分離情報となる。

続いて、分離行列の逆行列である再合成行列を算出し、再合成行列から各音源の到来方向を算出する。到来方向算出の具体的な例を説明する。周波数帯域fにおける再合成行列の周波数成分UE(f)を次のように表す。

ここで、Pは、音源信号の個数を表し、Mは、入力信号のチャンネル数を表す。UE(f)は、M行P列の行列であり、再合成行列の各列がそれぞれの音源と入力信号との関係を表す。すなわち、uei(f)を用いて、音源信号iの到来方向を算出することができる。

例えば、入力信号を左チャンネルと右チャンネルの2つ(M=2)とし、音源信号iが空気中などを伝播して2つのチャンネルに到来することとする。このとき、di(f)=ue2i(f)/ue1i(f)を音源信号iの到来方向を算出するための情報として用いることができる。di(f)が複素数信号である場合、di(f)の振幅項が、左チャンネルと右チャンネルに到来した音源信号iの信号の大きさの比を表す。一方で、位相項が左チャンネルと右チャンネルに到来した音源信号iの時間差を表す。各周波数成分の到来方向doai(f)は、di(f)の振幅項と位相項に基づいて算出することができる。

到来方向を算出するさいには、振幅項と位相項のいずれかを用いて生成してもよいし、両方を用いて生成してもよい。例えば、位相項を利用する場合には、位相項から数３と同様に到来方向が算出できる。

位相項を用いず、振幅項のみを用いた場合、di(f)の振幅項の値が1に近ければ近いほど、音源信号iは中央付近から到来したこととなる。一方で、di(f)の値が1より大きくなればなるほど、または1より小さくなればなるほど、左または右方向に音源が存在することになる。

到来方向を算出する方法として、あらかじめ決められた関数に従って、di(f)を到来方向に変換する方法がある。この関数は、線形であってもよいし、非線形であってもよい。また、入力信号の特性に応じて変更してもよい。

入力信号のチャンネル数が２個以上の場合は、特定のチャンネルのペアから到来方向を算出することができる。また、複数のペアで到来方向を算出し、算出した到来方向を統合してもよい。複数のペアを用いて算出することにより、精度の高い到来方向を算出することができる。

上記の到来方向の算出の説明では、周波数成分毎に行う方法について説明してきたが、複数の周波数帯域の再合成情報をまとめてから算出してもよい。

あるいは、各周波数帯域で推定した到来方向から、複数の周波数帯域に対する共通の到来方向を算出しても良い。

例えば、各周波数帯域の到来方向の推定精度に応じた重みを用いて、各周波数帯域の到来方向を重み付け平均することにより、複数の周波数帯域に対する共通の到来方向を算出してもよい。

推定精度に応じた重みとしては、分離信号の各周波数帯域のエネルギを用いることができる。例えば、エネルギの大きい周波数帯域の重みは大きくし、エネルギが小さい周波数帯域の重みは小さくすることにより、聞こえにくい小さなエネルギ成分が到来方向に及ぼす影響を取り除くことができる。

さらに、マスキング効果などの人の聴覚特性に基づいて重みを算出することができる。例えば、マスキング効果を利用して周波数成分毎に算出した聴感的な重要度を重みとして用いてもよい。この重み付けにより、人の聴覚特性に合致した到来方向を推定できる。さらに、音源は周波数に拠らず共通の一点から発振されるため、その到来方向も全周波数帯域に対して共通に推定しても良い。

続いて、音響オブジェクト位置算出部４は、算出した音源到来方向を用いて、音響オブジェクトの映像フレーム中の位置を算出する。

音響オブジェクト位置の算出の一例を図４に示す。図４は、オブジェクトＡ、オブジェクトＢ、オブジェクトＣの３つの音を発生する音響オブジェクトが存在し、それらをカメラ２１と、マイク２２で撮影・録音している様子を示している。

オブジェクトＡは、オブジェクトＡの３次元位置２３に存在する。オブジェクトＢは、オブジェクトＢの３次元位置２４に存在する。オブジェクトＣは、オブジェクトＣの３次元位置２５に存在する。カメラ２１によって撮影される映像は、３次元物体を投影平面３１に投影したときの映像と考える。カメラ２１から投影平面３１を見ると、オブジェクトＡは映像オブジェクト位置Ａ２８にあり、オブジェクトＢは映像オブジェクト位置Ｂ２９にあり、オブジェクトＣは映像オブジェクト位置Ｃ３０にある。

ここで、マイク２２によって集音された音響信号は、音響オブジェクト分離部２によって音響オブジェクトの信号に分離され、これらを音響オブジェクトａ、音響オブジェクトｂとする。そして、音響オブジェクトａの算出された到来方向によって得られる到来角をθａとし、音響オブジェクトｂの算出された到来方向によって得られる到来角をθｂとする。

ここで、音響到来方向を、投影平面３１に投影することによって、各オブジェクトの推定位置として、音推定位置ａ２６と，音推定位置ｂ２７が得られる。これらが音響オブジェクト位置の推定値である。尚、ここでは、理解を容易にするために、音響オブジェクトの到来方向によって得られる到来角を、投影平面３１に対して垂直面の角度（ふたつのマイクを水平方向（ｘ軸方向）に並べて算出）を用いたが、垂直方向（ｙ軸方向）に対して測定された角度も用いれば、より高精度な音響オブジェクトの位置を算出することができる。

オブジェクト対応付け部５は、映像オブジェクトの位置と音響オブジェクトの位置との相関に基づいて、映像オブジェクトと音響オブジェクトとを対応付ける。

例えば、ある音響オブジェクトの位置を基準にして、映像オブジェクトと対応付けを行なう。図４を用いて対応付けの例について説明する。音響オブジェクトａの音推定位置ａ２６から一定の距離内にあり且つ最も近い映像オブジェクトの位置を探索することによって映像オブジェクト位置Ａ２８を求める。映像オブジェクト位置Ａ２８の映像オブジェクトは、映像オブジェクトＡであるので、音響オブジェクトａと、映像オブジェクトＡとを対応付ける。また、音響オブジェクトｂの音推定位置ｂ２７から一定の距離内にあり、かつ、最も近い映像オブジェクト位置は、映像オブジェクト位置Ｃ３０である。従って、音響オブジェクトｂと、映像オブジェクト位置Ｃ３０に対応する映像オブジェクトＣとを対応付ける。

また、映像オブジェクトの位置を基準にして、上述と同様に、音響オブジェクトと対応付けを行っても良い。図４の例では、はじめに映像オブジェクト位置Ａ２８、映像オブジェクト位置Ｂ２９、映像オブジェクト位置Ｃ３０の３個の映像オブジェクト位置が求められているとする。映像オブジェクト位置Ａ２８から一定の距離内にあり、且つ最も近い音響オブジェクトの位置を探索することによって音響推定位置ａ２６が求められる。従って映像オブジェクトＡと、音響推定位置ａ２６の音響オブジェクトａとを対応付ける。次に、映像オブジェクト位置Ｂ２９に対しては、近傍に対応する音響推定位置が存在しないため、映像オブジェクトＢに対応するものはないと判断する。最後に、映像オブジェクト位置Ｃ３０に対して音響推定位置ｂ２７が求められる。従って、映像オブジェクトＣと、音響オブジェクトｂとを対応付ける。

第１の実施の形態によれば、複数のオブジェクトが信号中に混在していても、映像と音響オブジェクトを自動的に対応付けすることができることにある。その理由は、入力映像信号と入力音響信号から、それぞれオブジェクトを分離した後に、各オブジェクトの位置情報を求めて、映像オブジェクトと音響オブジェクトとを対応付けるからである。
＜第２の実施の形態＞
第２の実施の形態を説明する。

第２の実施の形態では、映像オブジェクトの位置の移動と音響オブジェクトの位置の移動とを考慮して、映像オブジェクトと音響オブジェクトとを対応付ける。

映像オブジェクト位置算出部３と音響オブジェクト位置算出部４とは、映像フレーム毎に映像オブジェクトの位置と音響オブジェクトの位置とを算出する。具体的には、図５の例をとると、映像オブジェクト位置算出部３は、時刻ｔにおいて映像オブジェクトＡの位置３０を算出し、時刻（ｔ＋１）において映像オブジェクトＡの位置３１を算出する。また、音響オブジェクト位置算出部４は、時刻ｔにおいて音響オブジェクトａの位置３２を算出し、時刻（ｔ＋１）において音響オブジェクトａの位置３３を算出する。

オブジェクト対応付け部５は、映像オブジェクト位置算出部３と音響オブジェクト位置算出部４との算出位置に基づいて、第１の実施の形態と同様に映像音響オブジェクトと音響オブジェクトとを仮に対応付ける。その後、仮に対応付けた映像音響オブジェクトと音響オブジェクトとの移動方向に相関があれば、仮に対応付けた映像音響オブジェクトと音響オブジェクトとを正式に対応付ける。

具体的には、図５では、時刻ｔにおいて位置３０の映像オブジェクトＡと位置３２の音響オブジェクトａとを仮に対応付ける。その後、時刻ｔの位置３０と時刻（ｔ＋１）の位置３１とから映像オブジェクトＡの移動方向を求める。同様に、時刻ｔの位置３２と時刻（ｔ＋１）の位置３３とから音響オブジェクトａの移動方向を求める。そして、映像オブジェクトＡの移動方向と音響オブジェクトａの移動方向とに相関があれば、映像オブジェクトＡと音響オブジェクトａとを正式に対応付ける。なければ、映像オブジェクトＡの移動方向と音響オブジェクトａの移動方向とに相関がなければ、映像オブジェクトＡと音響オブジェクトａとの対応付けを解除する。

このように、第２の実施の形態では、高精度に、映像オブジェクトと音響オブジェクトとの対応付けを行うことができる。

尚、上述した実施の形態では各部をハードウェアで構成したが、プログラムで動作するＣＰＵ等の情報処理装置で構成しても良い。この場合、プログラムは、上述した動作をＣＰＵ等に実行させる。

以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

１ 映像オブジェクト分離部
２ 音響オブジェクト分離部
３ 映像オブジェクト位置算出部
４ 音響オブジェクト位置算出部
５ オブジェクト対応付け部

Claims (19)

1. 入力映像信号から映像オブジェクトを分離する映像オブジェクト分離部と、
   前記分離した映像オブジェクトの位置を算出する映像オブジェクト位置算出部と、
   入力音響信号から音響オブジェクトを分離する音響オブジェクト分離部と、
   前記分離された音響オブジェクトの位置を算出する音響オブジェクト位置算出部と、
   前記算出された映像オブジェクトの位置と前記算出された音響オブジェクトの位置との相関に基づいて、前記映像オブジェクトと音響オブジェクトとを対応付けるオブジェクト対応付け部と
   を有する映像音響処理装置。
2. 前記オブジェクト対応付け部は、前記算出された映像オブジェクトの位置を基準に、この位置に近傍に位置する音響オブジェクトを選択し、前記映像オブジェクトと選択した音響オブジェクトとを対応付け、又は、前記算出された音響オブジェクトの位置を基準に、この位置に近傍に位置する映像オブジェクトを選択し、前記音響オブジェクトと選択した映像オブジェクトとを対応付ける
   請求項１に記載の映像音響処理装置。
3. 前記オブジェクト対応付け部は、前記算出された映像オブジェクトの位置の移動と前記算出された音響オブジェクトの位置の移動とを考慮し、前記映像オブジェクトと音響オブジェクトとを対応付ける
   請求項１又は請求項２に記載の映像音響処理装置。
4. 前記映像オブジェクト位置算出部は、前記分離された映像オブジェクトの位置を、前記分離された映像オブジェクトが含まれる領域の映像中でのｘ，ｙ座標列、又は、前記分離された映像オブジェクトが含まれる領域の映像中での重心座標として算出する
   請求項１から請求項３のいずれかに記載の映像音響処理装置。
5. 前記映像オブジェクト分離部は、パターン認識により、入力映像信号から映像オブジェクトを分離する
   請求項１から請求項４のいずれかに記載の映像音響処理装置。
6. 前記音響オブジェクト位置算出部は、分離された音響オブジェクトの音の到来方向を算出し、前記到来方向に基づいて前記音響オブジェクトの位置を算出する
   請求項１から請求項５のいずれかに記載の映像音響処理装置。
7. 前記音響オブジェクト位置算出部は、前記音響オブジェクト毎に到来方向を算出する
   請求項６に記載の映像音響処理装置。
8. 前記音響オブジェクト位置算出部は、前記音響オブジェクトの音源信号の位相差を用いて、前記到来方向を算出する
   請求項６又は請求項７に記載の映像音響処理装置。
9. 前記音響オブジェクト位置算出部は、前記音響オブジェクトに分離するための情報を用いて、前記到来方向を算出する
   請求項６から請求項８のいずれかに記載の映像音響処理装置。
10. 入力映像信号から映像オブジェクトを分離し、前記映像オブジェクトの位置を算出し、
    入力音響信号から音響オブジェクトを分離し、前記音響オブジェクトの位置を算出し、
    前記算出された映像オブジェクトの位置と前記算出された音響オブジェクトの位置との相関に基づいて、前記映像オブジェクトと音響オブジェクトとを対応付ける
    映像音響処理方法。
11. 前記オブジェクトの対応付けは、前記算出された映像オブジェクトの位置を基準に、この位置に近傍に位置する音響オブジェクトを選択し、前記映像オブジェクトと選択した音響オブジェクトとを対応付け、又は、前記算出された音響オブジェクトの位置を基準に、この位置に近傍に位置する映像オブジェクトを選択し、前記音響オブジェクトと選択した映像オブジェクトとを対応付ける
    請求項１０に記載の映像音響処理方法。
12. 前記オブジェクト対応付けは、前記算出された映像オブジェクトの位置の移動と前記算出された音響オブジェクトの位置の移動とを考慮し、前記映像オブジェクトと音響オブジェクトとを対応付ける
    請求項１０又は請求項１１に記載の映像音響処理方法。
13. 前記映像オブジェクトの位置の算出は、前記分離された映像オブジェクトの位置を、前記分離された映像オブジェクトが含まれる領域の映像中でのｘ，ｙ座標列、又は、前記分離された映像オブジェクトが含まれる領域の映像中での重心座標として算出する
    請求項１０から請求項１２のいずれかに記載の映像音響処理方法。
14. 前記映像オブジェクトの分離は、パターン認識により、入力映像信号から映像オブジェクトを分離する
    請求項１０から請求項１３のいずれかに記載の映像音響処理方法。
15. 前記音響オブジェクトの位置の算出は、分離された音響オブジェクトの音の到来方向を算出し、前記到来方向に基づいて前記音響オブジェクトの位置を算出する
    請求項１０から請求項１４のいずれかに記載の映像音響処理方法。
16. 前記音響オブジェクトの位置の算出は、前記音響オブジェクト毎に到来方向を算出する
    請求項１５に記載の映像音響処理方法。
17. 前記音響オブジェクトの位置の算出は、前記音響オブジェクトの音源信号の位相差を用いて、前記到来方向を算出する
    請求項１５又は請求項１６に記載の映像音響処理方法。
18. 前記音響オブジェクトの位置の算出は、前記音響オブジェクトに分離するための情報を用いて、前記到来方向を算出する
    請求項１５から請求項１７のいずれかに記載の映像音響処理方法。
19. 入力映像信号から映像オブジェクトを分離する処理と、
    前記分離した映像オブジェクトの位置を算出する処理と、
    入力音響信号から音響オブジェクトを分離する処理と、
    前記分離された音響オブジェクトの位置を算出する処理と、
    前記算出された映像オブジェクトの位置と前記算出された音響オブジェクトの位置との相関に基づいて、前記映像オブジェクトと音響オブジェクトとを対応付けるオブジェクト対応付ける処理と
    を情報処理装置に実行させるプログラム。

Images