JP2011071683A - 映像オブジェクト検出装置、映像オブジェクト検出方法及びプログラム - Google Patents

Abstract

【課題】複数の音源が同時に音を発生する場合であっても、各音源信号の到来方向を算出し、複数の到来方向に存在する映像オブジェクトを各々検出する映像オブジェクト検出装置、映像オブジェクト検出方法及びプログラムを提供すること。
【解決手段】本発明は、所定の位置における、複数の音源信号の到来方向を検出する到来方向検出部と、前記到来方向の映像オブジェクトを検出する映像オブジェクト検出部とを有する映像オブジェクト検出装置である。
【選択図】図１

Description

本発明は、映像オブジェクト検出装置、映像オブジェクト検出方法及びプログラムに関する。

映像コミュニケーション装置等において、出力映像の構成と出力音声とを一致させたいという要望があった。このような要望に対する技術の一例が特許文献１に記載されている。

特許文献１に記載された技術は、入力された各映像データのフレームを任意サイズでブロック化するとともに、入力された各映像データに対応する音声データを音源毎に分離し、各音源の画面上での座標を特定し、各入力映像データの出力位置を管理する。そして、これにより、入力された部分画像データ、音源別データ、画面位置関係情報を１つのデータ単位であるタイルデータとしてまとめる際に、画面位置関係情報を元にして、再生すべき音源別データの判断と音量情報の生成を行うようにすることにより、出力画面上に表示される音源オブジェクトと出力音声とを一致させたタイルデータを構成できるようにしている。

また、映像コミュニケーション装置等において、映像音響信号から特定のオブジェクト（人や物体など）に注目して視聴したいという要望もあった。このような要望に対する技術の一例が、特許文献２に記載されている。

特許文献２に記載された技術は、ＴＶ会議システムにおいて複数のカメラと複数のマイクとを備える。そして、複数のマイクから構成される可変指向性マイクを用いて、音源位置の方向を算出し、当該音源位置方向に応じて映像オブジェクトを切り出している。

ここで、可変指向性マイクを構成する手法としてはディレイアンドサムと呼ばれる基本的なマイクアレイ方式を用いることが出来る。これは、複数マイクの入力オーディオ信号間の位相差と相関とを算出し、位相差と相関とに応じて各マイクの出力信号に異なる位相を与えて合成することにより、音源毎に異なる指向性を与えることができる。この指向性を与えた方向が音源位置の方向となり、入力映像信号から当該音源位置方向を用いて映像オブジェクトを検出する。

特開２００８−１６７０３２号公報 特開平１１−３３１８２７号公報

上述した特許文献１の技術では、音源の分離、座標の特定の手法として、オブジェクト認識を用いることが記載されている。

しかしながら、音源の分離、座標の特定の手法にオブジェクト認識を用いることは、オブジェクトが既に認識又は検出されていることが前提であり、特許文献１の技術は、オブジェクトの検出には利用できなかった。

一方、特許文献２の技術においては、音源位置の方向検出が一つのオブジェクトにしか対応することができない。よって、複数の音源が同時に音を発生する場合は、音源位置の方向を正しく検出できないために、当該音源位置方向の映像オブジェクトを検出できないという問題があった。よって、複数の音源が同時に音を発生する場合は、音源位置の方向を正しく検出できないために映像オブジェクトを検出できなかった。

そこで、本発明は、上記課題に鑑みて発明されたものであって、その目的は、複数の音源が同時に音を発生する場合であっても、各音源信号の到来方向を算出し、複数の到来方向に存在する映像オブジェクトを各々検出する映像オブジェクト検出装置、映像オブジェクト検出方法及びプログラムを提供することにある。

上記課題を解決する本発明は、所定の位置における、複数の音源信号の到来方向を検出する到来方向検出部と、前記到来方向の映像オブジェクトを検出する映像オブジェクト検出部とを有する映像オブジェクト検出装置である。

上記課題を解決する本発明は、所定の位置における、複数の音源信号の到来方向を検出し、前記到来方向の映像オブジェクトを検出する映像オブジェクト検出方法である。

上記課題を解決する本発明は、所定の位置における、複数の音源信号の到来方向を検出する到来方向検出処理と、前記到来方向の映像オブジェクトを検出する映像オブジェクト検出処理とを情報処理装置に実行させるプログラムである。

本発明は、複数の音源が同時発生しても映像オブジェクトを検出できる。

図１は本発明の実施の形態の構成を示すブロック図である。 図２は音源の到来方向算出の説明図である。 図３は音推定位置と映像オブジェクトの説明図である。 図４は映像オブジェクトの説明図である。

本発明の実施の形態を説明する。

図１は実施の形態における映像オブジェクト検出装置のブロック図である。

図１を参照すると、映像オブジェクト検出装置は、到来方向検出部１と、映像オブジェクト検出部２とから構成されている。そして、複数の音源信号を含むオーディオ信号が到来方向検出部１に入力される。映像信号は、映像オブジェクト検出部２に入力される。

到来方向検出部１は、複数の音源信号を含むオーディオ信号から、各音源信号の到来方向（オーディオ信号を入力したマイク等の収音装置や、収音装置を含む映像オブジェクト検出装置の場合は映像オブジェクト検出装置を基準とした到来方向）を検出するものである。

映像オブジェクト検出部２は、複数の到来方向に位置する映像オブジェクトを映像信号から検出し、映像オブジェクト信号として出力する。

次に、到来方向検出部１の具体的な構成について説明する。

到来方向検出部１は、音源分離部１１と、到来方向算出部１２とを備える。

音源分離部１１は、オーディオ信号を少なくとも一以上の音源の音源信号に分離し、分離した音源信号を到来方向算出部１２に出力する。

音源分離部１１の実現例の一例として、非特許文献１（2005年、「スピーチ・エンハンスメント」、シュプリンガー、（Speech Enhancement, Springer, 2005, pp. 299-327）、299ページから327ページ）に記載されているブラインド信号源分離（Blind Source Separation）や、独立成分分析（Independent Component Analysis）と呼ばれる手法を用いることができる。ブラインド信号源分離および独立成分分析の方法に関連する技術は、非特許文献１に開示されている。これらの関連技術は音源数を適切に設定することで入力オーディオ信号から自動的に音源信号に分離することができる。

また、音源分離部１１の他の実現例として、特許文献２（特開２００２−２０４１７５号公報）に記載された技術を用いることができる。

特許文献２（特開２００２−２０４１７５号公報）に記載された技術は、所望音声と背景雑音とから構成される入力オーディオ信号から、各音源信号である所望音声と背景雑音とに分離し、背景雑音を抑圧する手法である。雑音抑圧は、所望の音声信号に重畳されている雑音(ノイズ)を抑圧する手法である。一般的に、雑音抑圧は、周波数領域に変換した入力信号を用いて雑音成分のパワースペクトルを推定し、入力信号から雑音成分の推定パワースペクトルを差し引く。これにより、所望の音声信号に混在する雑音が抑圧される。さらに、これらの手法は、雑音成分のパワースペクトルを継続的に推定することにより、非定常な雑音の抑圧にも適用される。

続いて、音源分離部１１の動作を詳細に説明する。

音源分離部１１は、入力信号を分析することにより分離情報を生成し、分離情報を用いて入力信号を複数の音源信号に分離する。そして、音源分離部１１は分離情報と分離信号とを到来方向算出部１２に出力する。

分離情報の算出方法の具体例として、周波数変換した入力信号を用いて分離情報を生成する方法がある。ある周波数帯域fにおける多チャンネル入力信号の周波数成分をXi(f), i=1,2,…M (Mは入力チャンネル数)、分離信号の周波数成分をYi(f), i=1,2,…P (Pは音源信号数)とし、分離行列の周波数成分をW(f)とすると、

となる分離行列W(f)を計算する。ここで、分離行列W(f)は、

となるP行M列の行列である。

分離信号Yi(f)は一般的に未知であるため、分離信号Yi(f)の独立性を最大化するような分離行列W(f)を計算する。分離行列W(f)の計算法に関連する技術は、非特許文献１に開示されている。この分離行列が、入力信号を複数の音源信号に分離するための分離情報となる。

次に、到来方向算出部１２について説明する。

到来方向算出部１２は、分離された少なくとも一以上の音源信号から、所定の位置における、音源の音の到来方向を検出し、映像オブジェクト検出部２に出力する。

到来方向算出部１２における到来方向の算出方法を、図２を用いて説明する。図２では簡単のため２つのセンサによって音を収録することを想定する。音源４１は十分遠方にあると仮定する。センサはマイクＡ４２と、マイクＢ４３とである。このとき音源からの到来方向と２つのマイクの位置関係によって、同じ音が２つのマイクに到達する時間に差が生じることがわかる。到達時間の差をΔｔ、音速をλとすると、到来距離差ｄ４５はλ・Δｔで表される。そして、２つのマイク間距離Ｄ４４が既知であるとすると、到来方向である角度φは数３によって算出することができる。

到来方向を推定する他の方法として、音源分離部１１で算出した分離行列を用いても良い。例えば、分離行列の逆行列である再合成行列を算出し、再合成行列から各音源の到来方向を算出することができる。到来方向算出の具体的な例を説明する。周波数帯域fにおける再合成行列の周波数成分UE(f)を次のように表す。

ここで、Pは、音源信号の個数を表し、Mは、入力信号のチャンネル数を表す。UE(f)は、M行P列の行列であり、再合成行列の各列がそれぞれの音源と入力信号との関係を表す。すなわち、uei(f)を用いて、音源信号iの到来方向を算出することができる。

例えば、入力信号を左チャンネルと右チャンネルの2つ(M=2)とし、音源信号iが空気中などを伝播して2つのチャンネルに到来することとする。このとき、di(f)=ue2i(f)/ue1i(f)を音源信号iの到来方向を算出するための情報として用いることができる。di(f)が複素数信号である場合、di(f)の振幅項が、左チャンネルと右チャンネルに到来した音源信号iの信号の大きさの比を表す。一方で、位相項が左チャンネルと右チャンネルに到来した音源信号iの時間差を表す。各周波数成分の到来方向doai(f)は、di(f)の振幅項と位相項に基づいて算出することができる。

到来方向を算出するさいには、振幅項と位相項のいずれかを用いて生成してもよいし、両方を用いて生成してもよい。例えば、位相項を利用する場合には、位相項から数３と同様に到来方向が算出できる。

位相項を用いず、振幅項のみを用いた場合、di(f)の振幅項の値が1に近ければ近いほど、音源信号iは中央付近から到来したこととなる。一方で、di(f)の値が1より大きくなればなるほど、または1より小さくなればなるほど、左または右方向に音源が存在することになる。

到来方向を算出する方法として、あらかじめ決められた関数に従って、di(f)を到来方向に変換する方法がある。この関数は、線形であってもよいし、非線形であってもよい。また、入力信号の特性に応じて変更してもよい。

入力信号のチャンネル数が２個以上の場合は、特定のチャンネルのペアから到来方向を算出することができる。また、複数のペアで到来方向を算出し、算出した到来方向を統合してもよい。複数のペアを用いて算出することにより、精度の高い到来方向を算出することができる。

上記の到来方向の算出の説明では、周波数成分毎に行う方法について説明してきたが、複数の周波数帯域の再合成情報をまとめてから算出してもよい。

あるいは、各周波数帯域で推定した到来方向から、複数の周波数帯域に対する共通の到来方向を算出しても良い。

例えば、各周波数帯域の到来方向の推定精度に応じた重みを用いて、各周波数帯域の到来方向を重み付け平均することにより、複数の周波数帯域に対する共通の到来方向を算出してもよい。

推定精度に応じた重みとしては、分離信号の各周波数帯域のエネルギを用いることができる。例えば、エネルギの大きい周波数帯域の重みは大きくし、エネルギが小さい周波数帯域の重みは小さくすることにより、聞こえにくい小さなエネルギ成分が到来方向に及ぼす影響を取り除くことができる。

さらに、マスキング効果などの人の聴覚特性に基づいて重みを算出することができる。例えば、マスキング効果を利用して周波数成分毎に算出した聴感的な重要度を重みとして用いてもよい。この重み付けにより、人の聴覚特性に合致した到来方向を推定できる。さらに、音源は周波数に拠らず共通の一点から発振されるため、その到来方向も全周波数帯域に対して共通に推定しても良い。

次に、映像オブジェクト検出部２の具体的な構成について説明する。

映像オブジェクト検出部２は、到来方向算出部１２によって得られる到来方向を用いて音推定位置を算出し、音推定位置に存在する映像オブジェクトを映像信号から検出する。

オブジェクト位置算出の一例を図３に示す。図３は、オブジェクトＡ、オブジェクトＢ、オブジェクトＣの３つの音を発生するオブジェクトが存在し、それらをカメラ２１と、マイク２２で撮影・録音している様子を示している。

オブジェクトＡは、オブジェクトＡ３次元位置２３に存在する。オブジェクトＢは、オブジェクトＢ３次元位置２４に存在する。オブジェクトＣは、オブジェクトＣ３次元位置２５に存在する。カメラ２１によって撮影される映像は、３次元物体を投影平面３１に投影したときの映像と考える。カメラ２１から投影平面３１を見ると、オブジェクトＡは映像オブジェクト位置Ａ２８にあり、オブジェクトＢは映像オブジェクト位置Ｂ２９にあり、オブジェクトＣは映像オブジェクト位置Ｃ３０にある。

マイク２２によって集音されたオーディオ信号は、上述の通り、音源分離部１で音源信号に分離される。これらを音源信号ａ、音源信号ｂとする。さらに、上述の通り、到来方向算出部１２で各音源信号について、音響到来方向を算出する。算出された到来方向によって得られる到来角を、θa、θbとする。到来方向を、投影平面３１に投影することによって、各オブジェクトの推定位置として、音推定位置ａ２６と，音推定位置ｂ２７が得られる。

映像オブジェクト検出部３は、さらに、映像信号の映像フレーム内における音推定位置に存在する映像オブジェクトを分離する。映像オブジェクトの例として、図４におけるオブジェクトＡ７４，オブジェクトＢ７５，オブジェクトＣ７６のような、人物オブジェクトがある。その他、自動車、建物、草木、など、空間を構成する物体は、映像オブジェクトと見なすことができる。

映像オブジェクトの検出方法として、例えば、パターン認識を利用したオブジェクト検出方法が知られている。これらの手法では、予め映像オブジェクトのテンプレートを作成し、このテンプレートを用いて映像フレーム全体にテンプレートマッチングを施す。テンプレートとの相関値がしきい値以上であれば、所望の映像オブジェクトが存在するものと判断する。このようにして映像オブジェクト検出手段１は、所望の映像オブジェクトを自動的に検出し、映像オブジェクト信号として出力する。

尚、上述した実施の形態では各部をハードウェアで構成したが、プログラムで動作するＣＰＵ等の情報処理装置で構成しても良い。この場合、プログラムは、上述した動作をＣＰＵ等に実行させる。

以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

本発明は、映像コンテンツ制作・編集装置といった用途に適用できる。また、映像と音声を使った遠隔コミュニケーション装置や、監視装置といった用途にも適用可能である。

１ 到来方向検出部
２ 映像オブジェクト検出部
１１ 音源分離部
１２ 到来方向算出部
２１ カメラ
２２ マイク
２３ オブジェクトＡ３次元位置
２４ オブジェクトＢ３次元位置
２５ オブジェクトＣ３次元位置
２６ 音推定位置ａ
２７ 音推定位置ｂ
２８ 映像オブジェクト位置Ａ
２９ 映像オブジェクト位置Ｂ
３０ 映像オブジェクト位置Ｃ
３１ 投影平面
４１ 音源
４２ マイクＡ
４３ マイクＢ
４４ マイク間距離Ｄ
４５ 到来距離差ｄ
７１ 元映像フレーム
７２ 注目処理画像
７３ 注目領域
７４ オブジェクトＡ
７５ オブジェクトＢ
７６ オブジェクトＣ

Claims (13)

1. 所定の位置における、複数の音源信号の到来方向を検出する到来方向検出部と、
   前記到来方向の映像オブジェクトを検出する映像オブジェクト検出部と
   を有する映像オブジェクト検出装置。
2. 前記到来方向検出部は、
   複数の音源を含むオーディオ信号から複数の音源の音源信号を分離する音源分離部と、
   前記音源信号に基づいて、所定の位置における前記音源からの音の到来方向を算出する到来方向算出部と
   を有する請求項１に記載の映像オブジェクト検出装置。
3. 前記到来方向算出部は、前記音源信号毎に到来方向を算出する
   請求項２に記載の映像オブジェクト検出装置。
4. 前記到来方向算出部は、前記音源信号の位相差を用いて、前記到来方向を算出する
   請求項２又は請求項３に記載の映像オブジェクト検出装置。
5. 前記到来方向算出部は、音源信号に分離するための情報を用いて、前記到来方向を算出する
   請求項２又は請求項３に記載の映像オブジェクト検出装置。
6. 前記映像オブジェクト検出部は、前記到来方向に基づいて、映像表示平面上の音推定位置を算出し、音推定位置内に存在する映像オブジェクトを検出する
   請求項１から請求項５のいずれかに記載の映像オブジェクト検出装置。
7. 所定の位置における、複数の音源信号の到来方向を検出し、
   前記到来方向の映像オブジェクトを検出する
   映像オブジェクト検出方法。
8. 複数の音源を含むオーディオ信号から複数の音源の音源信号を分離し、
   前記音源信号に基づいて、所定の位置における前記音源からの音の到来方向を算出する
   請求項７に記載の映像オブジェクト検出方法。
9. 前記到来方向の算出は、前記音源信号毎に到来方向を算出する
   請求項８に記載の映像オブジェクト検出方法。
10. 前記到来方向の算出は、前記音源信号の位相差を用いて、前記到来方向を算出する
    請求項８又は請求項９に記載の映像オブジェクト検出方法。
11. 前記到来方向の算出は、音源信号に分離するための情報を用いて、前記到来方向を算出する
    請求項８又は請求項９に記載の映像オブジェクト検出方法。
12. 前記映像オブジェクトの検出は、前記到来方向に基づいて、映像表示平面上の音推定位置を算出し、音推定位置内に存在する映像オブジェクトを検出する
    請求項７から請求項１１のいずれかに記載の映像オブジェクト検出方法。
13. 所定の位置における、複数の音源信号の到来方向を検出する到来方向検出処理と、
    前記到来方向の映像オブジェクトを検出する映像オブジェクト検出処理と
    を情報処理装置に実行させるプログラム。
    
    

Images