JP2009151785A - オーディオビデオ文書の特徴マップを計算する装置及び方法 - Google Patents

Abstract

【課題】聴覚的な特性を視覚的な特性と関連付けする、オーディオビデオ文書の特徴マップを判定する方法を提案する。
【解決手段】本方法は、前記文書のビデオ部分に関して特徴マップを計算するステップ（Ｅ１）、前記文書を表す少なくとも１つのオーディオ記述子を決定するステップ（Ｅ２）、前記オーディオ記述子の変動の関数としてビデオ特徴マップを重み付けするステップ（Ｅ４）を含む。
【選択図】図１

Description

本発明は、オーディオビデオ文書の特徴を判定するオーディオ特性の認識に関する。

オーディオビデオ文書の特徴ゾーンの判定は、圧縮（特徴ゾーンがたとえば多数のビットで符号化されるか、前記ゾーンの量子化ステップが変更される）、インデックス（これら特徴ゾーンにおける情報を使用することで文書を索引付けすることが可能である）等のような異なるアプリケーションにとって有効である。

ビデオ文書の特徴を判定する幾つかの方法が存在する。2004年12月14日にThomson Licensing社の名前で提出された欧州特許EP1695288は、ビデオ文書の特徴マップを確立する特に効果的な方法を記載している。
WO 2004/043054 US 2004/088726 A1

しかし、幾つかのケースでは、ビデオは、オーディオビデオ文書の特徴を十分に正確なやり方で取得するのを可能にしない。
現在の方法の関連性を改善するため、本発明は、聴覚的な特性を視覚的な特性と関連付けすることを提案する。

この目的のため、本発明は、オーディオビデオ文書の特徴マップを判定する方法を提案するものであり、文書のビデオ部分に関して特徴マップを計算するステップ、文書を表す少なくとも１つのオーディオ記述子を決定するステップ、オーディオ記述子の変数の関数としてビデオ特徴マップを重み付けするステップを含む。

好ましくは、オーディオ記述子は、文書の全体のサウンドレベル、音響の環境、それぞれのオーディオチャネルのサウンドレベル、サウンドレベルの時間的な変動、サウンドレベルの空間−時間的な変動、及びこれらのコンポーネントの任意の組み合わせのうちから選択される。

好ましくは、それぞれのオーディオチャネルのサウンドレベル及び全体のサウンドレベルは、オーディオ記述子として使用されるとき、それぞれのオーディオチャネルのゲインは、サウンドレベル、及び全てのチャネルのサウンドレベルの関数として計算される（Ｅ３）。

有利なことに、重み付け窓は、視覚的な特徴画素と呼ばれる、予め決定されたレベルよりも大きな視覚的な特徴を有するそれぞれの画素について決定され、視覚的な特徴画素の位置の空間的な位置は、ピクチャにおいて決定され、それぞれのチャネルの重み付け関数は、それぞれのオーディオチャネルのゲイン、及びピクチャ内の画素の空間的な位置の関数としてそれぞれ視覚的な特徴画素について決定される。

好適な実施の形態によれば、重み付け関数は、ピクチャにおけるその空間的な位置、及びオーディオチャネルのゲインの値の関数として、それぞれのチャネルについて、及びそれぞれのピクチャの画素について計算される。

好ましくは、それぞれのチャネルの重み付け関数は、チャネルサイドに位置される画素がチャネルから空間的に離れて位置される画素よりも大きな重みを有するように、線形な関数である。

オーディオがステレオタイプであるとき、有利なことに、ピクチャの左に位置される画素は、左手のチャネルの重み付け関数について大きな重みを有し、ピクチャの右に位置される画素について小さな重みを有する。

好適な実施の形態によれば、特徴マップは、複数の特徴マップを得るため、複数の重み付け関数によりビデオ部分に関して乗算される。オーディオビデオ特徴マップは、前記特徴マップを平均することで得られる。

好ましくは、特徴マップは、サウンドレベルの時間的な変化に依存する係数により重み付けされる。

また、本発明は、オーディオビデオ文書の特徴マップを判定する装置に関する。本発明によれば、本装置は、前記文書のビデオ部分に関する特徴マップを計算する手段、文書を表す少なくとも１つのオーディオ記述子を決定する手段、オーディオ記述子の変数の関数としてビデオ特徴マップを重み付けする手段を有する。

本発明は、添付図面を参照して、限定することなしに、実施の形態及び実現により良好に理解及び例示されるであろう。

図示されるモジュールは、物理的に区別可能なユニットに対応する場合があるか、対応しない場合がある機能ユニットである。たとえば、これらのモジュール又はそれらのうちの幾つかは、１つのコンポーネントで互いにグループ化することができるか、又は同じソフトウェアの機能を構成することができる。対照的に、幾つかのモジュールは、個別の物理的なエンティティから構成される場合がある。

図１は、別のゴルフボールと話される一方のゴルフボールを示すビデオ系列に適用される本発明の好適なモードの実施の形態を示す。

ステップＥ１では、特徴マップは、ビジュアルアテンションモデルからビデオドキュメントにより決定される。特徴マップは、それぞれのピクチャＩｍ１及びＩｍ２についてそれぞれビューＣ１及びＣ２で決定されるように取得される。次いで、取得された２つの特徴マップＣ１及びＣ２に関して、それぞれのボールと関連付けされる特徴は非常に類似することが観察される。確かに、２つのボールは、非常に類似した特性を有するが、これらのボールに関連される音声は非常に異なる。確かに、右手のボールは聴く一方で、左手のボールは話す。オーディオビデオ文書を見ている人物の注意は、左手のボールに自然にフォーカスされる。したがって、取得された特徴マップＣ１及びＣ２は、オーディオビデオ文書を十分に表していない。

したがって、ステップＥ２の間、オーディオビデオ文書のオーディオコンテンツを表すオーディオ記述子が決定される。これら記述子のなかで、オーディオトラックからの記述子が決定される。

それぞれのチャネルのサウンドレベル（ＣＳＬ）（right(r), left(l), bottom(b),
top(t), back right(rl), back left(bl) 等）、ＣＳＬチャネルのサウンドレベルの全体の合計である全体のサウンドレベル（ＯＳＬ）（特徴の期間、アクティビティの期間）、音響の環境（ＡＥ）、サウンドレベルの時間的な変化（ＳＬＴＶ）（静寂から強いアクティビティへの経過）、サウンドレベルの空間−時間の変化（ＳＬＳＴＶ）（左から右への経過）。

これらオーディオ記述子から、重み付け関数は、ステップＥ３の間に決定される。この重み付け関数は、それぞれの画素を、特徴が強調されることが要求されるか又は低減されることが要求されるかに依存して高い重み又は低い重みを関連付ける。したがって、この関数は、ディメンジョンとしてピクチャの解像度を有するサポートを有する。デフォルトにより、オーディオデータが利用可能ではないとき、重み付け関数は一様であり、これは全体のピクチャについて値“１”からなる。

「それぞれのチャネルのサウンドレベルを考慮」
ステレオサウンドが利用可能である場合、それぞれのピクチャのサイドについて１つである２つのチャネルが存在する。ビデオのサウンドを編集するとき、したがって、右手側が強調されることが要求される場合、たとえばピクチャの右手側にある人物が話す一方で、左手側にいる人物が話さない場合、左手側よりも右手側により多くの音を与えることが可能である。

したがって、サウンドは、あるピクチャについて全体的に必要ではないが、より局所的とすることができる。たとえばステレオサウンドにより、左は右から区別される。Ｄｏｌｂｙ５．１サウンドにより、左、右、前、後等を区別することができる。

それぞれのチャネルは、そのオーディオマスキングキャパシティに依存するゲインを有する重み関数を定義する。他に関して低い振幅のサウンドを聴くことができず、したがって、このサウンドを搬送するチャネルは低いゲインを有する。重み付け関数は、異なるゲインを有するGauss_σ（σはガウスエンベロープの空間的な広がり）で示される、１の振幅からなるガウス分布であることが好ましい。

重み付け関数の適用の中央は、予め決定されたグリッドによりそれぞれのチャネルについて設定される。図２に例が与えられる（この場合、たとえば６つのチャネルが存在し、ポイントはピクチャで一様に分散される）。

この図は９つのポイントを示し、重み付け関数はこれら９つのポイントをそれらの中央に有する。

重み付け関数の適用の中央は、図３に示されるように、それぞれの象限における特徴の最大に位置されることが好ましい。次いで、予め決定される閾値を越える特徴を有する特徴のポイントが使用され、この場合、予め定義された数の特徴ポイントのみを保存することが決定され、又は、特徴ポイントの位置に続いて、低減されたピクチャのゾーンが特徴ポイントの大部分を含み、ピクチャが幾つかの分散された特徴のゾーンを含むとき、唯一の特徴ポイントが保存される。

他の実施の形態では、固定されるか又は可変であるサイズをもち、あるポイントでセンタリングされる方形波窓により表されるラプラス型の関数を使用することができる。

それぞれのオーディオチャネルのゲインは、以下の式により与えられる。

GainWeight_iは、チャネルｉのゲインを示し、ＣＳＬ_iは、チャネルｉのサウンドレベルを示す。Ｐは、好ましくは値２の指数である。εは、ゼロによる除算を防止する低い値の定数である。チャネルが同じサウンドレベルを有するか、又は非常に近いサウンドレベルを有する場合、それぞれのチャネルと関連付けされるゲインは同じである。しかし、他のチャネルのサウンドレベルと比較してチャネルのサウンドレベルが高い場合、そのゲインも高くなる。

それぞれのチャネルゲインは、Weightとして示される前もって定義される重み付け窓のゲインを乗算する。

この重み付け窓の振幅は、チャネルのゲインに依存する。

したがって、重み付け関数の適用の中央が特徴の最大に位置されるとき、この最大の周りの重み付け窓は、図３に示されるように定義される。ステレオモードにあるとき、特徴の最大の位置は、この重み付け関数を適用するために重要である。確かに、ピクチャの右に位置される特徴の最大について、それに右手のチャネルのGainWeight値を適用することは重要であり、逆に、ピクチャの左に位置される最大について、それに左手のチャネルのGainWeight値を適用することは重要である。したがって、特徴の最大の距離は、ピクチャのエッジに関して計算される。右手のチャネルの重み付け関数について、ピクチャの右手のエッジの近くに位置される最大の高いGainWeight係数が適用され、ピクチャの左手のエッジの近くに位置される画素の低い係数が適用される。

左手のチャネルの重み付け関数について、ピクチャの左手のエッジの近くに位置される最大の高いGainWeight係数が適用され、ピクチャの右手のエッジの近くに位置される画素の低い係数が適用される。

オーディオがステレオではなくDolby5.1であるとき、ピクチャのエッジに関して距離が計算されないが、ピクチャにおける位置が計算される。この位置に従って、このポイントのチャネルの影響が決定される。

距離を考慮するため、更なる重み付けファクタは、前の式

に加えることができる。

距離の概念に依存する式は、以下のようになる。

αは中央（ｘc，ｙc）に関して偏心に依存する。すなわち、現在のポイント（ｘ，ｙ）、alpha(x,y) = (x-xc)²
− (y-yc)²である。したがって、（ｘ,ｙ）＝（ｘc,ｙc）である場合、αはゼロに向かう傾向にあり、さもなければ、αは中央に関して距離と共に増加する。

図４ａから図７ｂは、右手チャネル及び左手チャネルを有する、ステレオサウンドの場合におけるGainWeight2の異なる実施の形態を示す。これら実施の形態は、上述されたビジュアルマップの最大の特徴を変化するだけでなく、ピクチャの全てのポイントの特徴を変化させる。

図４ａは、右手のチャネルについて第一の実施の形態を示す。GainWeight2dは、ピクチャの右に位置されるポイントについて最大であり、中央のポイント及び中央のポイントの左に位置されるピクチャのポイントについて１に等しくなる。

図４ｂは、左手のチャネルについて第一の実施の形態を示す。GainWeight2gは、ピクチャの左に位置されるポイントについて最大であり、中央のポイント及び中央のポイントの右に位置されるピクチャのポイントについて１に等しくなる。したがって、Weightは線形関数を表す。

この線形関数は予め定義され、バリエーションは、ユーザにより要求される変調の強度に依存することができる。

図４ａ及び図４ｂでは、左手のチャネルのゲインは、右手のチャネルのゲインよりも大きい。したがって、全ての重み付け関数により乗算するとき、右へのポイントについてよりも左へのポイントについて、より強調された特徴が得られる。

図５ａ及び図５ｂは、右及び左での対数型の減少を示す。

図５ａは、右手のチャネルについて第二の実施の形態を示す。GainWeight2dは、ピクチャの右に位置されるポイントについて最大であり、中央のポイント及び中央のポイントの左に位置されるピクチャのポイントについて１に等しくなる。したがって、Weightは増加する指数関数exp(x)を表す。

図５ｂは、左手のチャネルについて第二の実施の形態を示す。GainWeight2gは、ピクチャの左に位置されるポイントについて最大であり、中央のポイント及び中央のポイントの右に位置されるピクチャのポイントについて１に等しくなる。したがって、Weightは減少する指数関数exp(x)を表す。

この増加又は減少する指数関数は予め定義され、バリエーションは、ユーザにより要求される変調の強度に依存することができる。

図６ａは、右手のチャネルについて第三の実施の形態を示す。GainWeight2dは、ピクチャの右に位置されるポイントについて最大であり、中央の右へのピクチャのゾーン、たとえばピクチャの右手の４分の１に位置されるゾーンについて一定のままであり、さもなければ値“１”を有する。

図６ｂは、左手のチャネルについて第二の実施の形態を示す。GainWeight2dは、ピクチャの左に位置されるポイントについて最大であり、中央の右へのピクチャのゾーン、たとえばピクチャの右手の４分の１に位置されるゾーンについて一定のままであり、さもなければ値“１”を有する。

この関数は予め定義され、バリエーションは、ユーザにより要求される変調の強度に依存することができる。

図７ａは、右手のチャネルについて第四の実施の形態を示す。GainWeight2dは、ピクチャの右に位置されるポイントについて最大であり、ピクチャの左にまで線形に減少する。

図７ｂは、左手のチャネルについて第四の実施の形態を示す。GainWeight2dは、ピクチャの左に位置されるポイントについて最大であり、ピクチャの右にまで線形に減少する。

これら２つの最後の曲線の傾斜は同一である。右手のチャネルのゲインは、左手のチャネルのゲインよりも大きく、ピクチャの右に位置されるポイントは、ピクチャの左に位置されるポイントよりも、それらの特徴において大きな増加を有する。この関数は予め定義され、バリエーションは、ユーザにより要求される変調の強度に依存することができる。

図１のステップＥ４の間、視覚的な特徴マップは、全てのＮの重み付け関数により乗算される。取得されるＮ個のマップは、中間のマップＳＭＭｏｄを取得するために平均化される。ＳＭのビジュアルな特徴マップが与えられ、ＳＭＭｏｄのオーディオビジュアルな特徴マップが与えられ、Ｎのサウンドチャネルが与えられ、Ｎｏｒｍのスケールファクタが与えられる。

次いで、オーディオビジュアルな特徴マップが以下の式から得られる。GainWeight2i値は、重み付け窓の値の合計により正規化される。

［サウンドレベルの時間的な変化を考慮］
ステップＥ５の間、サウンドレベルの時間的な変化が考慮される。

サウンドレベルが突然に変化したとき、より詳細には、レベルがロウレベルからハイレベルになったとき、視覚的な注意の増加はハイである。さらに、特徴に経過するとき、視覚的な注意は、確かに少ない。

したがって、一時的な減衰係数いついてＴＡＣ（temporal attenuation
coefficient）として示される、特徴の変調係数を一時的に適用することが提案される。図３は、全体のサウンドレベルの関数としてＴＡＣ係数の変化の例を示す。

一時的な減衰係数ＴＡＣは、数秒にわたり統合される全体のサウンドレベルＯＳＬ（overall sound level）の値、及び時間的に平均されるその振幅の時間的な変動性に依存する。この係数は、特徴マップに一様に適用される。デフォルトにより、この係数は１である。

他の観点では、特徴の期間の間、特徴は、一方のゾーンから別のゾーンにわたり優先度を与えないように、０に向かう係数により重み付けされる。

上述された異なる実施の形態で記載された発明は、ピクチャの中央の特徴を低減する傾向にあることを更に述べておく。しかし、この特徴を減衰させるよりはむしろ、特徴を低減しないことが重要なことがある。

デフォルトにより、異なるチャネルのゲインが類似する場合（音はチャネル間で一様に分散される）、何も行なわれないか、又は中央はデフォルトにより増強される。

上述されたアプリケーションは、２人の間での会話の環境で特に適用される。より一般的なケースについて、ピクチャの中央は、アトラクションの優先ゾーンに残る。

本発明の実施の形態、及びオーディオビデオ文書に適用される本発明の効果を示す図である。 重み付け関数の適用の中央の例を示す図である。 適用の中央として、重み付け関数、それらの関連する重み付け窓とのビデオマップの特徴ポイントを示す好適な実施の形態を表す図である。 図４ａ及び図４ｂは、ステレオの場合の重み付け関数の第一の変形例を右手のチャネルと左手のチャネルのそれぞれについて示す図である。 図５ａ及び図５ｂは、ステレオの場合の重み付け関数の第二の変形例を右手のチャネルと左手のチャネルのそれぞれについて示す図である。 図６ａ及び図６ｂは、ステレオの場合の重み付け関数の第三の変形例を右手のチャネルと左手のチャネルのそれぞれについて示す図である。 図７ａ及び図７ｂは、ステレオの場合の重み付け関数の第四の変形例を右手のチャネルと左手のチャネルのそれぞれについて示す図である。 全体のサウンドレベルと時間的な減衰係数の間の関係を示す図である。

符号の説明

Ｉｍ１，Ｉｍ２：ピクチャ
Ｃ１，Ｃ２：ビュー

Claims (10)

1. オーディオビデオ文書の特徴マップを決定する方法であって、
   前記文書のビデオ部分に関して特徴マップを計算するステップと、
   前記文書を表す少なくとも１つのオーディオ記述子を決定するステップと、
   前記オーディオ記述子の変動の関数としてビデオ特徴マップを重み付けするステップと、
   を含むことを特徴とする方法。
2. 前記オーディオ記述子は、前記文書の全体のサウンドレベル、音響環境、それぞれのオーディオチャネルのサウンドレベル、前記サウンドレベルの時間的な変動、前記サウンドレベルの空間−時間の変動、及び上記の任意の組み合わせのうちから選択される、
   ことを特徴とする請求項１記載の方法。
3. それぞれのオーディオチャネルのサウンドレベル及び全体のサウンドレベルがオーディオ記述子として使用されるとき、それぞれのオーディオチャネルのゲインは、前記サウンドレベル及び全てのチャネルのサウンドレベルの関数として計算される、
   ことを特徴とする請求項１又は２記載の方法。
4. 視覚的に特徴的な画素と呼ばれる予め決定されたレベルよりも大きな視覚的な特徴を有するそれぞれの画素について重み付け窓が決定され、
   前記視覚的に特徴的な画素の位置の空間的な位置がピクチャにおいて決定され、
   それぞれのオーディオチャネルのゲイン及びピクチャ内の画素の空間的な位置の関数として、それぞれ視覚的に特徴的な画素について、それぞれのチャネルの重み付け関数が計算される、
   ことを特徴とする請求項３記載の方法。
5. ピクチャにおけるその空間的な位置及び前記オーディオチャネルのゲインの値の関数として、それぞれのチャネルについて及びピクチャのそれぞれの画素について、重み付け関数が計算される、
   ことを特徴とする請求項３記載の方法。
6. それぞれのチャネルの前記重み付け関数は線形関数であり、チャネルサイドに位置される画素は、前記チャネルから空間的に離れて位置される画素よりも大きな重みを有する、
   ことを特徴とする請求項５記載の方法。
7. 前記オーディオがステレオタイプであるとき、ピクチャの左に位置される画素は、左手のチャネルの重み付け関数について大きな重みを有し、ピクチャの右に位置される画素について小さな重みを有する、
   ことを特徴とする請求項６記載の方法。
8. 前記特徴マップは、複数の特徴マップを得るため、複数の重み関数によりビデオ部分に関して乗算され、
   前記オーディオビデオの特徴マップは、前記特徴マップを平均することで得られる、
   ことを特徴とする請求項４記載の方法。
9. 前記特徴マップは、サウンドレベルの時間的な変動に依存する係数により重み付けされる、
   ことを特徴とする請求項５記載の方法。
10. オーディオビデオ文書の特徴マップを決定する装置であって、
    前記文書のビデオ部分に関して特徴マップを計算する手段と、
    前記文書を表す少なくとも１つのオーディオ記述子を決定する手段と、
    前記オーディオ記述子の変動の関数として前記ビデオ特徴マップを重み付けする手段と、
    を有する装置。
    

Images