JP2011071686A - 映像音響処理装置、映像音響処理方法及びプログラム - Google Patents

映像音響処理装置、映像音響処理方法及びプログラム Download PDF

Info

Publication number
JP2011071686A
JP2011071686A JP2009220200A JP2009220200A JP2011071686A JP 2011071686 A JP2011071686 A JP 2011071686A JP 2009220200 A JP2009220200 A JP 2009220200A JP 2009220200 A JP2009220200 A JP 2009220200A JP 2011071686 A JP2011071686 A JP 2011071686A
Authority
JP
Japan
Prior art keywords
video
acoustic
audio
separated
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009220200A
Other languages
English (en)
Other versions
JP5565552B2 (ja
Inventor
Akira Inoue
晃 井上
Toshiyuki Nomura
俊之 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2009220200A priority Critical patent/JP5565552B2/ja
Publication of JP2011071686A publication Critical patent/JP2011071686A/ja
Application granted granted Critical
Publication of JP5565552B2 publication Critical patent/JP5565552B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

【課題】複数の映像オブジェクトや音響オブジェクトが混在する中から、映像オブジェクトと音響オブジェクトとを対応づける映像音響処理装置、映像音響処理方法及びプログラムを提供すること。
【解決手段】本発明は、入力映像信号から映像オブジェクトを分離する映像オブジェクト分離部と、前記分離した映像オブジェクトの位置を算出する映像オブジェクト位置算出部と、入力音響信号から音響オブジェクトを分離する音響オブジェクト分離部と、前記分離された音響オブジェクトの位置を算出する音響オブジェクト位置算出部と、前記算出された映像オブジェクトの位置と前記算出された音響オブジェクトの位置との相関に基づいて、前記映像オブジェクトと音響オブジェクトとを対応付けるオブジェクト対応付け部とを有する映像音響処理装置である。
【選択図】図1

Description

本発明は映像音響処理装置、映像音響処理方法及びプログラムに関する。
映像コミュニケーション装置等において、しばしば映像音響信号から特定のオブジェクト(人や物体など)に注目して視聴したいという要望がある。特定オブジェクトへの注目処理に関し、映像信号における注目処理を映像注目処理とし、音響信号における注目処理を音響注目処理とする。
図6を用いて映像注目処理の一例について説明する。元映像フレーム71に、4つのオブジェクト(オブジェクトA74、オブジェクトB75、オブジェクトC76、オブジェクトD77)が含まれているとする。オブジェクトとは撮影された映像空間を構成する物体であり、例えば人物や自動車、建物などである。元映像フレーム71内では、これらのオブジェクトの位置を示す矩形が点線で表示されている。ここで、元映像フレーム71内における注目領域を、注目領域73で示す実線矩形とする。注目処理映像72は、注目領域73に対して映像注目処理を施した一例である。注目処理映像72は、注目領域を拡大して表示幅が最大となるように表示した例である。
音響注目処理の一例として、注目するオブジェクトに対応した音響信号だけを再生する方法がある。この場合、元映像フレーム71では、注目領域73を指定するとその内部に含まれるオブジェクトD77のみの音声が再生されることになる。
上述のような注目処理により、視聴者が興味のある領域だけを詳細に観察することが可能となる。
映像中の音を発する特定オブジェクトへの注目処理を実現するには、音源となっている映像オブジェクトを抽出し、それぞれのオブジェクトが発生する音と映像を分離する必要があった。そこで、このような技術に関連する一例が、特許文献1に記載されている。
特許文献1によれば、TV会議システムにおいて複数のカメラと複数のマイクを用い、注目領域として特定のカメラ映像を選択すると、その映像に近い位置のマイクのみを動作させることで、注目領域に適した音声を収録・再生することが記載されている。すなわち、1つのオブジェクトに対して、特定のカメラとマイクとを固定することにより、映像オブジェクトと音響オブジェクトとを対応づけて分離している。
特開2005−45779号公報
しかしながら、特許文献1の技術は、複数のオブジェクトが混在する場合に、音と映像オブジェクトの対応が取れないという点である。その理由は、特定のマイクとカメラには一つのオブジェクトしか対応できないため、1枚の映像中で複数の音源が同時に発声した場合に、映像オブジェクトと音源オブジェクトとの対応が取れないからである。
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、複数の映像オブジェクトや音響オブジェクトが混在する中から、映像オブジェクトと音響オブジェクトとを対応づける映像音響処理装置、映像音響処理方法及びプログラムを提供することにある。
上記課題を解決する本発明は、入力映像信号から映像オブジェクトを分離する映像オブジェクト分離部と、前記分離した映像オブジェクトの位置を算出する映像オブジェクト位置算出部と、入力音響信号から音響オブジェクトを分離する音響オブジェクト分離部と、前記分離された音響オブジェクトの位置を算出する音響オブジェクト位置算出部と、前記算出された映像オブジェクトの位置と前記算出された音響オブジェクトの位置との相関に基づいて、前記映像オブジェクトと音響オブジェクトとを対応付けるオブジェクト対応付け部とを有する映像音響処理装置である。
上記課題を解決する本発明は、入力映像信号から映像オブジェクトを分離し、前記映像オブジェクトの位置を算出し、入力音響信号から音響オブジェクトを分離し、前記音響オブジェクトの位置を算出し、前記算出された映像オブジェクトの位置と前記算出された音響オブジェクトの位置との相関に基づいて、前記映像オブジェクトと音響オブジェクトとを対応付ける映像音響処理方法である。
上記課題を解決する本発明は、入力映像信号から映像オブジェクトを分離する処理と、
前記分離した映像オブジェクトの位置を算出する処理と、入力音響信号から音響オブジェクトを分離する処理と、前記分離された音響オブジェクトの位置を算出する処理と、前記算出された映像オブジェクトの位置と前記算出された音響オブジェクトの位置との相関に基づいて、前記映像オブジェクトと音響オブジェクトとを対応付けるオブジェクト対応付ける処理とを情報処理装置に実行させるプログラムである。
本発明は、複数の映像オブジェクトや音響オブジェクトが混在する中から、映像オブジェクトと音響オブジェクトとを対応づけることができる。
図1は第1の実施の形態における映像音響処理装置のブロック図である。 図2は第1の実施の形態を説明するための図である。 図3は第1の実施の形態を説明するための図である。 図4は第1の実施の形態を説明するための図である。 図5は第2の実施の形態を説明するための図である。 図6は関連技術を説明するための図である。
本発明の実施の形態を説明する。
図1は第1の実施の形態における映像音響処理装置のブロック図である。
図1を参照すると、第1の実施の形態における映像音響処理装置は、映像オブジェクト分離部1と、音響オブジェクト分離部2と、映像オブジェクト位置算出部3と、音響オブジェクト位置算出部4と、オブジェクト対応付け部5とから構成されている。
映像オブジェクト分離部1は、映像信号から映像フレーム内の映像オブジェクトを分離する。映像オブジェクトの例として、図2におけるオブジェクトA74,オブジェクトB75,オブジェクトC76のような人物オブジェクトがある。またその他、自動車、建物や、草木、など、空間を構成する物体を、映像オブジェクトと見なすことができる。映像オブジェクト分離部1の例として、パターン認識を利用した物体検出方法がある。予め映像オブジェクト画像のテンプレートを作成し、このテンプレートを用いて映像フレーム全体にテンプレートマッチングを施す。テンプレートとの相関値がしきい値以上であれば、所望の映像オブジェクトが存在するものと判断して、該当する部分領域を映像オブジェクト信号として分離する。尚、分離する映像オブジェクトは、複数あってよい。
音響オブジェクト分離部2は、入力されたマルチチャンネルの音響信号を、複数の音源信号に分離する部である。ここで、分離された音源信号を音響オブジェクトと呼ぶ。音響オブジェクト分離部2において、オブジェクト分離情報を生成する方法として、ブラインド信号源分離(Blind Source Separation)や、独立成分分析(Independent Component Analysis)と呼ばれる手法を用いることができる。ブラインド信号源分離および独立成分分析の方法に関連する技術は、非特許文献1(2005年、「スピーチ・エンハンスメント」、シュプリンガー、(Speech Enhancement, Springer, 2005, pp. 271-369)、271ページから369ページ。)に開示されている。適切なパラメータ設定を行うことで、音響オブジェクト分離部2は、入力オーディオ信号から自動的に音源信号に分離することができる。
映像オブジェクト位置算出部3は、分離された映像オブジェクトの映像中の位置を算出する。映像オブジェクトの位置情報は、例えば、当該オブジェクトが含まれる画像領域のx,y座標列、又は、当該オブジェクトが含まれる画像領域の重心座標によって表現することができる。
音響オブジェクト位置算出部4は、音響オブジェクト分離部2により分離された音響オブジェクトの映像フレーム中の位置を算出する。音響オブジェクトの映像フレーム中の位置を算出する方法として、音響オブジェクト(音源)の音の到来方向を検出し、この到来方向を用いて音響オブジェクトの映像フレーム中の位置を算出する。
音響オブジェクト(音源)の音の到来方向の算出方法を、図3を用いて説明する。図3では簡単のため2つのセンサによって音を収録することを想定する。音源41は十分遠方にあると仮定する。センサはマイクA42及びマイクB43(水平方向(x軸方向)に並べられた)である。このとき音源からの到来方向と2つのマイクの位置関係によって、同じ音が2つのマイクに到達する時間に差が生じることがわかる。到達時間の差をΔt、音速をλとすると、到来距離差d45はλ・Δtで表される。そして、2つのマイク間距離D44が既知であるとすると、到来方向である角度φは数1によって算出することができる。
Figure 2011071686
同様に、垂直方向(y軸方向)に対しても測定することにより、3次元の到来方向を算出することができる。
到来方向を推定する他の方法として、入力信号から音響オブジェクト(音源信号)を分離するときに用いる分離行列を用いても良い。
分離行列の算出方法の具体例として、周波数変換した入力信号を用いて分離情報を生成する方法がある。ある周波数帯域fにおける多チャンネル入力信号の周波数成分をXi(f), i=1,2,…M (Mは入力チャンネル数)、分離信号の周波数成分をYi(f), i=1,2,…P (Pは音源信号数)とし、分離行列の周波数成分をW(f)とすると、
Figure 2011071686
となる分離行列W(f)を計算する。ここで、分離行列W(f)は、
Figure 2011071686
となるP行M列の行列である。
分離信号Yi(f)は一般的に未知であるため、分離信号Yi(f)の独立性を最大化するような分離行列W(f)を計算する。分離行列W(f)の計算法に関連する技術は、非特許文献1に開示されている。この分離行列が、入力信号を複数の音源信号に分離するための分離情報となる。
続いて、分離行列の逆行列である再合成行列を算出し、再合成行列から各音源の到来方向を算出する。到来方向算出の具体的な例を説明する。周波数帯域fにおける再合成行列の周波数成分UE(f)を次のように表す。
Figure 2011071686
ここで、Pは、音源信号の個数を表し、Mは、入力信号のチャンネル数を表す。UE(f)は、M行P列の行列であり、再合成行列の各列がそれぞれの音源と入力信号との関係を表す。すなわち、uei(f)を用いて、音源信号iの到来方向を算出することができる。
例えば、入力信号を左チャンネルと右チャンネルの2つ(M=2)とし、音源信号iが空気中などを伝播して2つのチャンネルに到来することとする。このとき、di(f)=ue2i(f)/ue1i(f)を音源信号iの到来方向を算出するための情報として用いることができる。di(f)が複素数信号である場合、di(f)の振幅項が、左チャンネルと右チャンネルに到来した音源信号iの信号の大きさの比を表す。一方で、位相項が左チャンネルと右チャンネルに到来した音源信号iの時間差を表す。各周波数成分の到来方向doai(f)は、di(f)の振幅項と位相項に基づいて算出することができる。
到来方向を算出するさいには、振幅項と位相項のいずれかを用いて生成してもよいし、両方を用いて生成してもよい。例えば、位相項を利用する場合には、位相項から数3と同様に到来方向が算出できる。
位相項を用いず、振幅項のみを用いた場合、di(f)の振幅項の値が1に近ければ近いほど、音源信号iは中央付近から到来したこととなる。一方で、di(f)の値が1より大きくなればなるほど、または1より小さくなればなるほど、左または右方向に音源が存在することになる。
到来方向を算出する方法として、あらかじめ決められた関数に従って、di(f)を到来方向に変換する方法がある。この関数は、線形であってもよいし、非線形であってもよい。また、入力信号の特性に応じて変更してもよい。
入力信号のチャンネル数が2個以上の場合は、特定のチャンネルのペアから到来方向を算出することができる。また、複数のペアで到来方向を算出し、算出した到来方向を統合してもよい。複数のペアを用いて算出することにより、精度の高い到来方向を算出することができる。
上記の到来方向の算出の説明では、周波数成分毎に行う方法について説明してきたが、複数の周波数帯域の再合成情報をまとめてから算出してもよい。
あるいは、各周波数帯域で推定した到来方向から、複数の周波数帯域に対する共通の到来方向を算出しても良い。
例えば、各周波数帯域の到来方向の推定精度に応じた重みを用いて、各周波数帯域の到来方向を重み付け平均することにより、複数の周波数帯域に対する共通の到来方向を算出してもよい。
推定精度に応じた重みとしては、分離信号の各周波数帯域のエネルギを用いることができる。例えば、エネルギの大きい周波数帯域の重みは大きくし、エネルギが小さい周波数帯域の重みは小さくすることにより、聞こえにくい小さなエネルギ成分が到来方向に及ぼす影響を取り除くことができる。
さらに、マスキング効果などの人の聴覚特性に基づいて重みを算出することができる。例えば、マスキング効果を利用して周波数成分毎に算出した聴感的な重要度を重みとして用いてもよい。この重み付けにより、人の聴覚特性に合致した到来方向を推定できる。さらに、音源は周波数に拠らず共通の一点から発振されるため、その到来方向も全周波数帯域に対して共通に推定しても良い。
続いて、音響オブジェクト位置算出部4は、算出した音源到来方向を用いて、音響オブジェクトの映像フレーム中の位置を算出する。
音響オブジェクト位置の算出の一例を図4に示す。図4は、オブジェクトA、オブジェクトB、オブジェクトCの3つの音を発生する音響オブジェクトが存在し、それらをカメラ21と、マイク22で撮影・録音している様子を示している。
オブジェクトAは、オブジェクトAの3次元位置23に存在する。オブジェクトBは、オブジェクトBの3次元位置24に存在する。オブジェクトCは、オブジェクトCの3次元位置25に存在する。カメラ21によって撮影される映像は、3次元物体を投影平面31に投影したときの映像と考える。カメラ21から投影平面31を見ると、オブジェクトAは映像オブジェクト位置A28にあり、オブジェクトBは映像オブジェクト位置B29にあり、オブジェクトCは映像オブジェクト位置C30にある。
ここで、マイク22によって集音された音響信号は、音響オブジェクト分離部2によって音響オブジェクトの信号に分離され、これらを音響オブジェクトa、音響オブジェクトbとする。そして、音響オブジェクトaの算出された到来方向によって得られる到来角をθaとし、音響オブジェクトbの算出された到来方向によって得られる到来角をθbとする。
ここで、音響到来方向を、投影平面31に投影することによって、各オブジェクトの推定位置として、音推定位置a26と,音推定位置b27が得られる。これらが音響オブジェクト位置の推定値である。尚、ここでは、理解を容易にするために、音響オブジェクトの到来方向によって得られる到来角を、投影平面31に対して垂直面の角度(ふたつのマイクを水平方向(x軸方向)に並べて算出)を用いたが、垂直方向(y軸方向)に対して測定された角度も用いれば、より高精度な音響オブジェクトの位置を算出することができる。
オブジェクト対応付け部5は、映像オブジェクトの位置と音響オブジェクトの位置との相関に基づいて、映像オブジェクトと音響オブジェクトとを対応付ける。
例えば、ある音響オブジェクトの位置を基準にして、映像オブジェクトと対応付けを行なう。図4を用いて対応付けの例について説明する。音響オブジェクトaの音推定位置a26から一定の距離内にあり且つ最も近い映像オブジェクトの位置を探索することによって映像オブジェクト位置A28を求める。映像オブジェクト位置A28の映像オブジェクトは、映像オブジェクトAであるので、音響オブジェクトaと、映像オブジェクトAとを対応付ける。また、音響オブジェクトbの音推定位置b27から一定の距離内にあり、かつ、最も近い映像オブジェクト位置は、映像オブジェクト位置C30である。従って、音響オブジェクトbと、映像オブジェクト位置C30に対応する映像オブジェクトCとを対応付ける。
また、映像オブジェクトの位置を基準にして、上述と同様に、音響オブジェクトと対応付けを行っても良い。図4の例では、はじめに映像オブジェクト位置A28、映像オブジェクト位置B29、映像オブジェクト位置C30の3個の映像オブジェクト位置が求められているとする。映像オブジェクト位置A28から一定の距離内にあり、且つ最も近い音響オブジェクトの位置を探索することによって音響推定位置a26が求められる。従って映像オブジェクトAと、音響推定位置a26の音響オブジェクトaとを対応付ける。次に、映像オブジェクト位置B29に対しては、近傍に対応する音響推定位置が存在しないため、映像オブジェクトBに対応するものはないと判断する。最後に、映像オブジェクト位置C30に対して音響推定位置b27が求められる。従って、映像オブジェクトCと、音響オブジェクトbとを対応付ける。
第1の実施の形態によれば、複数のオブジェクトが信号中に混在していても、映像と音響オブジェクトを自動的に対応付けすることができることにある。その理由は、入力映像信号と入力音響信号から、それぞれオブジェクトを分離した後に、各オブジェクトの位置情報を求めて、映像オブジェクトと音響オブジェクトとを対応付けるからである。
<第2の実施の形態>
第2の実施の形態を説明する。
第2の実施の形態では、映像オブジェクトの位置の移動と音響オブジェクトの位置の移動とを考慮して、映像オブジェクトと音響オブジェクトとを対応付ける。
映像オブジェクト位置算出部3と音響オブジェクト位置算出部4とは、映像フレーム毎に映像オブジェクトの位置と音響オブジェクトの位置とを算出する。具体的には、図5の例をとると、映像オブジェクト位置算出部3は、時刻tにおいて映像オブジェクトAの位置30を算出し、時刻(t+1)において映像オブジェクトAの位置31を算出する。また、音響オブジェクト位置算出部4は、時刻tにおいて音響オブジェクトaの位置32を算出し、時刻(t+1)において音響オブジェクトaの位置33を算出する。
オブジェクト対応付け部5は、映像オブジェクト位置算出部3と音響オブジェクト位置算出部4との算出位置に基づいて、第1の実施の形態と同様に映像音響オブジェクトと音響オブジェクトとを仮に対応付ける。その後、仮に対応付けた映像音響オブジェクトと音響オブジェクトとの移動方向に相関があれば、仮に対応付けた映像音響オブジェクトと音響オブジェクトとを正式に対応付ける。
具体的には、図5では、時刻tにおいて位置30の映像オブジェクトAと位置32の音響オブジェクトaとを仮に対応付ける。その後、時刻tの位置30と時刻(t+1)の位置31とから映像オブジェクトAの移動方向を求める。同様に、時刻tの位置32と時刻(t+1)の位置33とから音響オブジェクトaの移動方向を求める。そして、映像オブジェクトAの移動方向と音響オブジェクトaの移動方向とに相関があれば、映像オブジェクトAと音響オブジェクトaとを正式に対応付ける。なければ、映像オブジェクトAの移動方向と音響オブジェクトaの移動方向とに相関がなければ、映像オブジェクトAと音響オブジェクトaとの対応付けを解除する。
このように、第2の実施の形態では、高精度に、映像オブジェクトと音響オブジェクトとの対応付けを行うことができる。
尚、上述した実施の形態では各部をハードウェアで構成したが、プログラムで動作するCPU等の情報処理装置で構成しても良い。この場合、プログラムは、上述した動作をCPU等に実行させる。
以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
1 映像オブジェクト分離部
2 音響オブジェクト分離部
3 映像オブジェクト位置算出部
4 音響オブジェクト位置算出部
5 オブジェクト対応付け部

Claims (19)

  1. 入力映像信号から映像オブジェクトを分離する映像オブジェクト分離部と、
    前記分離した映像オブジェクトの位置を算出する映像オブジェクト位置算出部と、
    入力音響信号から音響オブジェクトを分離する音響オブジェクト分離部と、
    前記分離された音響オブジェクトの位置を算出する音響オブジェクト位置算出部と、
    前記算出された映像オブジェクトの位置と前記算出された音響オブジェクトの位置との相関に基づいて、前記映像オブジェクトと音響オブジェクトとを対応付けるオブジェクト対応付け部と
    を有する映像音響処理装置。
  2. 前記オブジェクト対応付け部は、前記算出された映像オブジェクトの位置を基準に、この位置に近傍に位置する音響オブジェクトを選択し、前記映像オブジェクトと選択した音響オブジェクトとを対応付け、又は、前記算出された音響オブジェクトの位置を基準に、この位置に近傍に位置する映像オブジェクトを選択し、前記音響オブジェクトと選択した映像オブジェクトとを対応付ける
    請求項1に記載の映像音響処理装置。
  3. 前記オブジェクト対応付け部は、前記算出された映像オブジェクトの位置の移動と前記算出された音響オブジェクトの位置の移動とを考慮し、前記映像オブジェクトと音響オブジェクトとを対応付ける
    請求項1又は請求項2に記載の映像音響処理装置。
  4. 前記映像オブジェクト位置算出部は、前記分離された映像オブジェクトの位置を、前記分離された映像オブジェクトが含まれる領域の映像中でのx,y座標列、又は、前記分離された映像オブジェクトが含まれる領域の映像中での重心座標として算出する
    請求項1から請求項3のいずれかに記載の映像音響処理装置。
  5. 前記映像オブジェクト分離部は、パターン認識により、入力映像信号から映像オブジェクトを分離する
    請求項1から請求項4のいずれかに記載の映像音響処理装置。
  6. 前記音響オブジェクト位置算出部は、分離された音響オブジェクトの音の到来方向を算出し、前記到来方向に基づいて前記音響オブジェクトの位置を算出する
    請求項1から請求項5のいずれかに記載の映像音響処理装置。
  7. 前記音響オブジェクト位置算出部は、前記音響オブジェクト毎に到来方向を算出する
    請求項6に記載の映像音響処理装置。
  8. 前記音響オブジェクト位置算出部は、前記音響オブジェクトの音源信号の位相差を用いて、前記到来方向を算出する
    請求項6又は請求項7に記載の映像音響処理装置。
  9. 前記音響オブジェクト位置算出部は、前記音響オブジェクトに分離するための情報を用いて、前記到来方向を算出する
    請求項6から請求項8のいずれかに記載の映像音響処理装置。
  10. 入力映像信号から映像オブジェクトを分離し、前記映像オブジェクトの位置を算出し、
    入力音響信号から音響オブジェクトを分離し、前記音響オブジェクトの位置を算出し、
    前記算出された映像オブジェクトの位置と前記算出された音響オブジェクトの位置との相関に基づいて、前記映像オブジェクトと音響オブジェクトとを対応付ける
    映像音響処理方法。
  11. 前記オブジェクトの対応付けは、前記算出された映像オブジェクトの位置を基準に、この位置に近傍に位置する音響オブジェクトを選択し、前記映像オブジェクトと選択した音響オブジェクトとを対応付け、又は、前記算出された音響オブジェクトの位置を基準に、この位置に近傍に位置する映像オブジェクトを選択し、前記音響オブジェクトと選択した映像オブジェクトとを対応付ける
    請求項10に記載の映像音響処理方法。
  12. 前記オブジェクト対応付けは、前記算出された映像オブジェクトの位置の移動と前記算出された音響オブジェクトの位置の移動とを考慮し、前記映像オブジェクトと音響オブジェクトとを対応付ける
    請求項10又は請求項11に記載の映像音響処理方法。
  13. 前記映像オブジェクトの位置の算出は、前記分離された映像オブジェクトの位置を、前記分離された映像オブジェクトが含まれる領域の映像中でのx,y座標列、又は、前記分離された映像オブジェクトが含まれる領域の映像中での重心座標として算出する
    請求項10から請求項12のいずれかに記載の映像音響処理方法。
  14. 前記映像オブジェクトの分離は、パターン認識により、入力映像信号から映像オブジェクトを分離する
    請求項10から請求項13のいずれかに記載の映像音響処理方法。
  15. 前記音響オブジェクトの位置の算出は、分離された音響オブジェクトの音の到来方向を算出し、前記到来方向に基づいて前記音響オブジェクトの位置を算出する
    請求項10から請求項14のいずれかに記載の映像音響処理方法。
  16. 前記音響オブジェクトの位置の算出は、前記音響オブジェクト毎に到来方向を算出する
    請求項15に記載の映像音響処理方法。
  17. 前記音響オブジェクトの位置の算出は、前記音響オブジェクトの音源信号の位相差を用いて、前記到来方向を算出する
    請求項15又は請求項16に記載の映像音響処理方法。
  18. 前記音響オブジェクトの位置の算出は、前記音響オブジェクトに分離するための情報を用いて、前記到来方向を算出する
    請求項15から請求項17のいずれかに記載の映像音響処理方法。
  19. 入力映像信号から映像オブジェクトを分離する処理と、
    前記分離した映像オブジェクトの位置を算出する処理と、
    入力音響信号から音響オブジェクトを分離する処理と、
    前記分離された音響オブジェクトの位置を算出する処理と、
    前記算出された映像オブジェクトの位置と前記算出された音響オブジェクトの位置との相関に基づいて、前記映像オブジェクトと音響オブジェクトとを対応付けるオブジェクト対応付ける処理と
    を情報処理装置に実行させるプログラム。
JP2009220200A 2009-09-25 2009-09-25 映像音響処理装置、映像音響処理方法及びプログラム Active JP5565552B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009220200A JP5565552B2 (ja) 2009-09-25 2009-09-25 映像音響処理装置、映像音響処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009220200A JP5565552B2 (ja) 2009-09-25 2009-09-25 映像音響処理装置、映像音響処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2011071686A true JP2011071686A (ja) 2011-04-07
JP5565552B2 JP5565552B2 (ja) 2014-08-06

Family

ID=44016536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009220200A Active JP5565552B2 (ja) 2009-09-25 2009-09-25 映像音響処理装置、映像音響処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5565552B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014103331A1 (ja) * 2012-12-27 2014-07-03 パナソニック株式会社 音声処理システム及び音声処理方法
JP2015100125A (ja) * 2012-12-27 2015-05-28 パナソニックIpマネジメント株式会社 音声処理システム及び音声処理方法
WO2020003343A1 (ja) * 2018-06-25 2020-01-02 日本電気株式会社 波源方向推定装置、波源方向推定方法、およびプログラム記録媒体
WO2020003342A1 (ja) * 2018-06-25 2020-01-02 日本電気株式会社 波源方向推定装置、波源方向推定方法、およびプログラム記録媒体
WO2020116054A1 (ja) * 2018-12-06 2020-06-11 パナソニックIpマネジメント株式会社 信号処理装置及び信号処理方法
US10735882B2 (en) 2018-05-31 2020-08-04 At&T Intellectual Property I, L.P. Method of audio-assisted field of view prediction for spherical video streaming
US10909384B2 (en) 2015-07-14 2021-02-02 Panasonic Intellectual Property Management Co., Ltd. Monitoring system and monitoring method
GB2601114A (en) * 2020-11-11 2022-05-25 Sony Interactive Entertainment Inc Audio processing system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05244587A (ja) * 1992-02-26 1993-09-21 Mitsubishi Electric Corp テレビ会議用カメラ制御装置
JP2006261900A (ja) * 2005-03-16 2006-09-28 Casio Comput Co Ltd 撮像装置、撮像制御プログラム
JP2007215163A (ja) * 2006-01-12 2007-08-23 Kobe Steel Ltd 音源分離装置,音源分離装置用のプログラム及び音源分離方法
JP2008278433A (ja) * 2007-05-07 2008-11-13 Casio Hitachi Mobile Communications Co Ltd 情報処理装置、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05244587A (ja) * 1992-02-26 1993-09-21 Mitsubishi Electric Corp テレビ会議用カメラ制御装置
JP2006261900A (ja) * 2005-03-16 2006-09-28 Casio Comput Co Ltd 撮像装置、撮像制御プログラム
JP2007215163A (ja) * 2006-01-12 2007-08-23 Kobe Steel Ltd 音源分離装置,音源分離装置用のプログラム及び音源分離方法
JP2008278433A (ja) * 2007-05-07 2008-11-13 Casio Hitachi Mobile Communications Co Ltd 情報処理装置、プログラム

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9826211B2 (en) 2012-12-27 2017-11-21 Panasonic Intellectual Property Management Co., Ltd. Sound processing system and processing method that emphasize sound from position designated in displayed video image
US10244219B2 (en) 2012-12-27 2019-03-26 Panasonic Intellectual Property Management Co., Ltd. Sound processing system and sound processing method that emphasize sound from position designated in displayed video image
JP2015100125A (ja) * 2012-12-27 2015-05-28 パナソニックIpマネジメント株式会社 音声処理システム及び音声処理方法
JP2015118386A (ja) * 2012-12-27 2015-06-25 パナソニックIpマネジメント株式会社 音声処理システム及び音声処理方法
JP2015122756A (ja) * 2012-12-27 2015-07-02 パナソニックIpマネジメント株式会社 音声処理システム及び音声処理方法
CN104904236A (zh) * 2012-12-27 2015-09-09 松下知识产权经营株式会社 声音处理系统以及声音处理方法
JP2014143678A (ja) * 2012-12-27 2014-08-07 Panasonic Corp 音声処理システム及び音声処理方法
WO2014103331A1 (ja) * 2012-12-27 2014-07-03 パナソニック株式会社 音声処理システム及び音声処理方法
US10536681B2 (en) 2012-12-27 2020-01-14 Panasonic Intellectual Property Management Co., Ltd. Sound processing system and sound processing method that emphasize sound from position designated in displayed video image
CN104904236B (zh) * 2012-12-27 2018-09-14 松下知识产权经营株式会社 声音处理系统以及声音处理方法
US10909384B2 (en) 2015-07-14 2021-02-02 Panasonic Intellectual Property Management Co., Ltd. Monitoring system and monitoring method
US12010504B2 (en) 2018-05-31 2024-06-11 At&T Intellectual Property I, L.P. Method of audio-assisted field of view prediction for spherical video streaming
US11463835B2 (en) 2018-05-31 2022-10-04 At&T Intellectual Property I, L.P. Method of audio-assisted field of view prediction for spherical video streaming
US10735882B2 (en) 2018-05-31 2020-08-04 At&T Intellectual Property I, L.P. Method of audio-assisted field of view prediction for spherical video streaming
JP7056739B2 (ja) 2018-06-25 2022-04-19 日本電気株式会社 波源方向推定装置、波源方向推定方法、およびプログラム
JPWO2020003343A1 (ja) * 2018-06-25 2021-06-24 日本電気株式会社 波源方向推定装置、波源方向推定方法、およびプログラム
JPWO2020003342A1 (ja) * 2018-06-25 2021-06-24 日本電気株式会社 波源方向推定装置、波源方向推定方法、およびプログラム
US11408963B2 (en) 2018-06-25 2022-08-09 Nec Corporation Wave-source-direction estimation device, wave-source-direction estimation method, and program storage medium
WO2020003342A1 (ja) * 2018-06-25 2020-01-02 日本電気株式会社 波源方向推定装置、波源方向推定方法、およびプログラム記録媒体
WO2020003343A1 (ja) * 2018-06-25 2020-01-02 日本電気株式会社 波源方向推定装置、波源方向推定方法、およびプログラム記録媒体
JP2020092358A (ja) * 2018-12-06 2020-06-11 パナソニックIpマネジメント株式会社 信号処理装置及び信号処理方法
WO2020116054A1 (ja) * 2018-12-06 2020-06-11 パナソニックIpマネジメント株式会社 信号処理装置及び信号処理方法
JP7194897B2 (ja) 2018-12-06 2022-12-23 パナソニックIpマネジメント株式会社 信号処理装置及び信号処理方法
GB2601114A (en) * 2020-11-11 2022-05-25 Sony Interactive Entertainment Inc Audio processing system and method

Also Published As

Publication number Publication date
JP5565552B2 (ja) 2014-08-06

Similar Documents

Publication Publication Date Title
JP5565552B2 (ja) 映像音響処理装置、映像音響処理方法及びプログラム
JP6367258B2 (ja) オーディオ処理装置
US10397722B2 (en) Distributed audio capture and mixing
US10397699B2 (en) Audio lens
CN109804559B (zh) 空间音频系统中的增益控制
CN108370487B (zh) 声音处理设备、方法和程序
CN109565629B (zh) 用于控制音频信号的处理的方法和装置
KR101812862B1 (ko) 오디오 장치
JP2015019371A5 (ja)
JP2021007216A5 (ja)
US9500739B2 (en) Estimating and tracking multiple attributes of multiple objects from multi-sensor data
CN107113496B (zh) 移动设备的环绕声记录
JP2011071685A (ja) 映像音響処理システム、映像音響処理方法及びプログラム
JP5435221B2 (ja) 音源信号分離装置、音源信号分離方法及びプログラム
JP2012058314A (ja) 音響処理システム及びこれを用いた機械
JP2011071683A (ja) 映像オブジェクト検出装置、映像オブジェクト検出方法及びプログラム
JP2006072163A (ja) 妨害音抑圧装置
JP2015119393A (ja) 音響信号受聴装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130703

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140603

R150 Certificate of patent or registration of utility model

Ref document number: 5565552

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150