JP2004522354A - データ圧縮パラメータを利用したビデオコンテンツ分析方法およびシステム - Google Patents

Abstract

【課題】
【解決手段】ビデオデータの圧縮プロセスは、圧縮プロセスで必要とされる種々のデータ計算を伴う。本発明は、圧縮プロセスから派生するこれらのデータの少なくとも一部を利用して、たとえばコマーシャル検出などのコンテンツの識別を行う。輝度、動きベクトル場、残差、量子化データ、ビットレートなどはすべて、直接または組み合わせにより、コンテンツ固有の特性値として用いることができる。コンテンツ検出プロセスは、１以上の圧縮特性データを、特定種類のコンテンツを含むシーケンスの開始および／または終了インジケータとして用い、別の圧縮特性データを、開始および／または終了インジケータで区画されるコンテンツの種類の検証手段として用いる。これらの特性データを、組み合わせ、精錬することによって、計算効率とコンテンツ部位類の実効性の高い、より高レベルの特性データを生成することができる。

Description

【０００１】
［関連出願］
本件出願は、下記の特許／出願と関連し、これら関連文献の全内容は本件出願に参照により組み込まれる。
（１）１９９８年７月２８日に出願され、特許発行された、Nevenka Dimitrova他５名による米国特許第６，１００，９４１号『ビデオデータストリーム内のコマーシャル位置の特定装置および方法（”Apparatus and Method for Locating a Commercial Disposed Witin a Video Data Stream”）』
（２）１９９９年１０月１３日に出願された、Nevenka Dimitrova他２名による米国特許出願第０９／４１７，２８８号『コマーシャルその他のビデオコンテンツの特性に基づく自動検出、認識および抽出（”Automatic Signature-Based Spotting, Learning and Extracting of Commercials and Other video Content”）』
【技術分野】
【０００２】
本発明は、ビデオデータストリームに含まれるコマーシャル等のコンテンツ検出に関し、特に、ある種類のコンテンツから別の種類のコンテンツへの遷移、たとえばコマーシャルを区画する時間的境界を正確に特定する技術に関する。
【背景技術】
【０００３】
放映ビデオの内容を編集、記録するパーソナルビデオレシーバ／レコーダが普及しつつある。あらかじめ記憶されたユーザの好みに応じて、自動的に番組をハードディスク上に記録するビデオレコーダも、そのひとつである。このようなシステムの特徴のひとつに、コンテンツ検出がある。たとえば、コマーシャル検出機能のあるシステムを例にとると、ビデオストリーム中に別の広告を挿入する（コマーシャル差し替え）、あるいはコマーシャル中に別のことをしていても、番組の内容を見逃さないようにコマーシャル終了時点でビデオを休止させることが可能になる。
【０００４】
コマーシャル検出方法のひとつに、シーン中の突然の変化による場面変化速度（シーンカットレート）の検出がある。これは、時間的に連続するフレーム間にフェーディング（フェイドアウト／フェイドイン）や動作遷移がないシーンにおける急激な変化を検出するものであるが、カットがフェーディングを含むこともあり、かならずしもハードカットであるとは限らない。より確実な判断基準は、遷移レートの上昇である。さらに別の指標として、コマーシャルブレークの開始を示す無音区間でのブラックフレーム（あるいは白黒フレーム）の検出が知られている。また、公知のコマーシャルインジケータとして、アクティビティ（動き率）の高さが用いられている。これは、コマーシャル中は、コマーシャル以外の番組に比較して動きが早く、より激しく変化するという観察／推論から導かれる指標である。これらの方法により、ある程度有効な結果はでるが、信頼性に欠ける。一方、白黒フレームと高アクティビティの検出を組み合わせたコマーシャル抽出に関する多くの特許が存在する。さらに、「エッジ変化率と動きベクトル長」と呼ばれる技術によって検出される白黒フレーム、シーンブレーク、アクションなどの利用が報告されている。
【０００５】
ブラックフレーム検出と、輝度レベルの変化率で表わされる「アクティビティ（動き率）」の組み合わせも検討されている。しかし、なにが「アクティビティ」を構成するかを判断するのは困難であり、開始点と終了点を正確に特定するのはむずかしい。さらに、ブラックフレームは、ディソルブ（フェインドインやフェイドアウト）中でも用いられるので、偽陽性を示しやすい。したがって、ブラックフレームに続くハイアクションのシーケンスは、コマーシャルであると誤判断されて、スキップされる可能性がある。
【０００６】
ブラックフレーム間の間隔を判断してコマーシャルの存在を判断する方法もある。画像のマッチングに基づいてコマーシャルを特定する方法、換言すると、画像コンテンツの質の相違を判断の指標として使用するコマーシャル特定方法も知られている。ビデオフレーム中にコマーシャルの境界を画定する所定のインジケータを用いる方法もあるが、これはあらかじめわかっているコマーシャルを示す方法にすぎず、コマーシャルを検出する方法ではない。ビデオストリームの分析に基づいてコンテンツを区別すべく訓練されたニューラルネットワークに基づくコマーシャル検出も提案されているが、現時点では、成功しているとは言えない。また、ニューラルネットワークをコマーシャル検出のために実施するのは、複雑でコスト高である。
【０００７】
［発明の開示］
そこで、本発明は、ビデオ圧縮のプロセスで自動的に生成される低レベルおよび中間レベルの特性データを、様々な分類ツールへの入力として利用する。分類ツールは、コマーシャルの特性データを識別し、識別された特性データに応じた測定値を生成するように訓練される。複数の測定値を組み合わせて用い（スーパー分類器）、コマーシャルの境界を検出する。このような低レベルおよび中間レベルの特性データを用いることの利点は、これらの特性データは、ＡＳＩＣやＡＳＩＰなどの比較的安価な電子部品を用いていて迅速に生成、処理される点にある。
【０００８】
一般に、画像圧縮に関連するプロセスは高速処理を必要とするので、通常は、消費者の機器において専用チップで画像圧縮を行う。本発明の一側面では、圧縮プロセスから生じる結果を、データ圧縮だけではなく、特定種類のコンテンツの検出に必要とされるビデオデータの分析にも活用する。ビデオデータの圧縮デバイスとして、たとえば、ＭＰＥＧ−２と呼ばれるＭＰＥＧ（Motion Picture Expert Group）圧縮規格がある。
【０００９】
ＭＰＥＧ−２では、ビデオデータは、ビデオシーケンスで表わされる。各シーケンスはＧＯＰ（Group of Picture：ピクチャ・グループ）と呼ばれるデータから成り、各ＧＯＰはピクチャ、すなわち映像を構成する「フレーム」で構成される。フレームは、ビデオシーケンスの一次符号化の単位である。ピクチャは、３つの三角行列、すなわち輝度（フレームの様々な部分の強度）を表わす１つの行列と、色差（フレームの様々な部分の色差）を表わす２つの行列Ｃｂ、Ｃｒで構成される。輝度を表わす行列は、偶数個の行と列を有する。色差を表わす行列は、各方向（水平および垂直）に輝度（Ｙ）行列の半分のサイズを有する。人間の視覚は、輝度に対するよりも色に対するほうが、より細かく認識できるからである。各フレームは、さらに１以上の隣接するマクロブロックに分割され、マクロブロックは、「スライス」ごとにグループ分けされる。スライス内に配置されるマクロブロックの順序は、左から右、上から下である。ＭＰＥＧ−２規格において、マクロブロックは、基本的な符号化ユニットであり、フレーム中の１６×１６画素を表わす。各色差成分は、水平および垂直方向において、輝度成分の半分の解像度を有するので、マクロブロックは、４つの輝度領域と、Ｃｂ領域とＣｒ領域をそれぞれ１つずつで構成される。輝度を表わす各マクロブロックは、さらに４つの４×４画素領域に分割される。
【００１０】
ＭＰＥＧ−２では、フレームは３つのタイプに分けられる。第１のタイプは、イントラ・フレームまたはＩフレームと呼ばれ、他のフレームのコンテンツから独立している。この構成により、再生装置はＩフレームがロードされた任意のポイントでビデオファイルに入ることができる。上述したように、ＭＰＥＧ−２では、フレームはＧＯＰと呼ばれるピクチャ・グループにグループ分けされ、Ｉフレームは、常にＧＯＰの先頭にある。第２のタイプは、Ｉフレームとは区別される予測フレーム（Ｐフレーム）である。Ｐフレームは、一部にはこのＰフレームに対応するフレームデータを参照し、一部には１以上の過去のフレームデータを参照して定義される動き予測フレームである。第３のタイプは、双方向フレーム（Ｂフレーム）と呼ばれ、Ｂフレームそれ自体に対応するデータと、過去および将来のフレームからのデータによって表わされる双方向の動き予測フレームである。ＭＰＥＧ−２でのデータ圧縮方法は、フレームの種類に依存する。Ｉフレームのブロックの各々は、離散コサイン変換（ＤＣＴ）と呼ばれる別のフォーマットへの変換処理を受ける。このプロセスは、大まかに言えば、各ブロックの出現を、あらかじめ定義された異なる複数の波形パターンの総和として定義するプロセスである。非常に細かいパターンは、多数の短い波形パターンを含む。滑らかなパターンは長い波形パターンを含むか、あるいは波形を含まない。離散コサイン変換を行う理由は、ビデオ画像では通常多くのブロックが滑らかなパターンを含み、このようなブロックでは、短い波形パターンで表わされるデータをランレングス法によりかなりの程度圧縮することができるからである。また、ボトルネックへのデータ押し込みのためにデータの一部を犠牲にしなければならない場合でも、原画像からデータを間引くと欠陥が生じるが、ＤＣＴによる周波数分布からデータを間引くことにより、画質が良好に維持される。
【００１１】
ＤＣＴデータは多数の異なる波形パターンで表わされる場合もあれば、間隔のあいた数個の波形パターンで表わされる場合もある。ＤＣＴデータは、当初は非常にきめが細かいが、圧縮プロセスの一部として、ＤＣＴデータは量子化とよばれるプロセスを経る。異なる波形パターンの相対的な寄与度に応じ、データがどの程度圧縮されたかによって、粗い粒子スケールまたは細かい粒子スケールで表わされることになる。
【００１２】
ビデオ画像を圧縮してＰフレームとＢフレームを生成するときは、より複雑なプロセスを経る。コンピュータは第１の画像と、その先行画像を取り込み、各ブロック（ユーザの選択によってはマクロブロック）のどの部分で、１の画像から次の画像に移動したかを求める。ＭＰＥＧ−２では、Ｐフレームの全てのブロックを記述するかわりに、先行フレームのどのブロックが、新規のフレームのどこに移動したかのみを示す。移動はベクトル、線、矢印、などで示され、長さは移動距離を、向き移動方向を表わす。この方法は、ビデオ中のすべての動きを移動ブロッブとして記述できるわけではないので、ある面で不完全ではある。しかし、この欠点は、動き予測された画像と実際の画像との差異を示す補償を行うことで回復される。この補償を残差と呼ぶ。動きデータと残差データは、Ｉフレーム画像データと同様に、ＤＣＴおよび量子化を受ける。Ｂフレームは、符号化する際に過去のフレームと将来のフレームの双方を参照して予測符号化する点を除いて、Ｐフレームと同様である。
【００１３】
本発明の実施形態に係るビデオ圧縮装置は、圧縮プロセスの副産物として、フレームごとに下記のデータを生成する。以下の例は、圧縮エンコーダから効率的に求められる特性データの一例にすぎず、決して包括的なものではない。また、生成される特性データはエンコーダの種類によっても異なることに留意すべきである。
−フレーム・インジケータ：フレームの種類（Ｉ、Ｐ、Ｂ）を示すために用いられるフレーム識別子
−輝度ＤＣトータル値：Ｉフレームの輝度を示す値
−量子化スケール：ＤＣＴデータに用いられる量子化スケール
−ＭＡＤ（Mean Absolute Difference：平均絶対差）：Ｐ画像またはＢ画像をブロックの移動として記述するベクトルの大きさの平均。フレーム全体の上部または下部のみを表わす平均値や、フレーム中のすべてのブロックを含む平均値など、いくつかの生成例がある。
−現在のビットレート：ＧＯＰを表わすデータ量
−プログレッシブ／インテーレース値：画像が、テレビビデオに通常みられるインターレースタイプのものか、あるいは映画やコンピュータアニメーションに通常みられるプログレッシブタイプのものかを示すインジケータ。
−輝度ＤＣ差分値：フレーム中のマクロブロック間での輝度の変動を示す値。変動が小さければ画像が同質であり、空白画面であり得る。
−色差ＤＣトータル値：輝度トータル値に類似するが、輝度成分ではなく色差成分に基づく値。
−色差ＤＣ差分値：輝度差分値に類似するが、輝度成分ではなく色差成分に基づく値。
−レターボックス値：ワイドスクリーンフォーマットがテレビ画面に映し出されているときに、フレームの上下で同質の帯域を探してビデオイメージの形状を定義する。
−タイムスタンプ：コマーシャル用の印ではないが、ビデオストリーム中のロケーションを示し、ビデオシーケンスの開始と終点に印をつけてコンテンツ内容を区別するのに用いられる。
−シーン変化検出：平均ＭＡＤ値の急変によるシーンコンテンツの突然の変化を示す。
−キーフレーム間隔：場面カット間のフレーム数を表わす。
【００１４】
識別され時間的にブラケットで特定されるコンテンツ検出の例として、コマーシャルを含む１５時間以上のビデオデータについてテストを行い、コマーシャルシーケンスの開始と終了を示すインジケータとして、種々の特性データの効果と、その組み合わせを実験した。
【００１５】
インジケータとして個別の特性データを用いるよりも、組み合わせて用いるほうが、信頼性が高くなることがわかった。テスト結果から、圧縮プロセスで生成される特性データを多様な方法で組み合わせることによって、信頼の高いコンテンツの検出、特にコマーシャルの検出が可能になることが確認された。
【００１６】
以下で、添付図面を参照して、本発明の良好な実施形態について説明する。図面に描かれているのは、良好な実施の形態を説明する目的で示された一例にすぎず、本発明の原理と思想を容易に理解せしめるのに適切であると思われる形態を例示するだけである。本発明の基本的な理解に必要な範囲を超えた細部構成を図示する意図はないことに留意されたい。図面を参照した以下の詳細な説明により、当業者にとって発明を具体化する様々な形態があることが明らかになるはずである。
［発明を実施するための良好な形態］
【００１７】
図１は、ビデオ圧縮プロセスで生成されるデータを利用したコンテンツ検出に用いられるシステムの概略構成図である。本実施形態において、ＭＰＥＧエンコーダ１００は、インターネット、記憶装置、放送番組、その他任意の情報源から送られてくる生データから、ビデオデータ９０を符号化する。ＭＰＥＧエンコーダ１００は圧縮データを生成し、圧縮したデータをハードディスク、ＤＶＤ、ＣＤＲＯＭ、その他任意の格納手段１１０に格納する。あるいは、圧縮データをバッファして、適切な手段によって配信する構成としてもよい。ＭＰＥＧエンコーダ１００は、圧縮過程で様々なデータ値を生成する。その一部を以下にリストする。
−フレーム・インジケータ
−輝度ＤＣトータル値
−量子化スケール
−ＭＡＤ（Mean Absolute Difference：平均絶対差）
−現在のビットレート
−Ｘ方向へのフィールド移動平均
−輝度ＤＣ差分値
−上部ＭＡＤトータル値：すべてのＭＡＤ値の総和
−下部ＭＡＤトータル値：すべてのＭＡＤ値の総和
−レターボックス値
−タイムスタンプ
−色差ＤＣトータル値
−色差ＤＣ差分値。
【００１８】
一般に、チップベースの圧縮エンコーダは上記リストのすべての値を生成するわけではなく、生成された値を保持するレジスタは、それ以外の目的に用いられることはないので保持した値が公開されることはない。これに対し、本発明では、これらの値をコンテンツ識別のためのプロセスに適用する。上記リストのデータ値のいくつかを生成し、レジスタに保持されるこれらのデータ値を外部プロセスに公開するように、圧縮チップの変更を要する場合もある。チップに多少の変更を加えることによって、圧縮チップに対する計算負荷の増大を抑制することができる。このような圧縮チップの設計変更は、当業者が容易になし得る範囲内にある。純粋ソフトウェアシステムでは、変数の定義変更などの単純なソフトウェア変更によって、これらのデータを任意のプロセスに適用することができる。圧縮データは、ＭＰＥＧエンコーダ１００から生の形式でコンテンツアナライザ１２０に出力されてもよいし、エンコーダ１００とコンテンツアナライザ１２０の間の機能割当てに応じて、データを精製してもよい。圧縮過程で生成されるこれらのデータはＭＰＥＧの分野では標準的なものではあるが、便宜上、以下で説明するとともに、これらのデータがどのように用いられ、フィルタリングされるかを述べることとする。
【００１９】
再生セレクタ１３０は、コンテンツアナライザ１２０の処理結果を使用して、圧縮ビデオを編集する。たとえば、コマーシャルやハイアクションのシーケンスをビデオデータから削除したい場合は、再生セレクタ１３０は、データ格納手段１１０のＭＰＥＧファイルに格納された分析結果を参照して、コンテンツアナライザ１２０によりマーカーでブラケットされたデータ部分をスキップする。圧縮プロセスで生成される利用可能なＭＰＥＧデータの例を、以下で説明する。
【００２０】
＜フレーム・インジケータ＞
フレーム・インジケータは、フレームの順序を表わす識別子である。フレーム・インジケータは、Ｉフレーム、Ｐフレーム（およびＢフレーム）を区別する。ＧＯＰサイズが６の場合は、Ｉフレームは値“０”を有し、Ｐフレーム（またはＢフレーム）は、１、２、３、４、５のいずれかの値をとる。ＩフレームとＰフレーム（またはＢフレーム）の表示は、以下で述べるようなコンテンツ検出に用いられる。
【００２１】
＜輝度トータル値＞
輝度トータル値は、フレームを構成する各マクロブロックの４つの輝度ＤＣ値のうち、第１の輝度ＤＣ値のフレーム内の総和をとったものである。これ以外に、任意のＤＣ（輝度または色差）値を選択して用いてもよい。前者（第１の輝度ＤＣ値）を用いた場合は、Ｉフレームのみに有用である。ＰフレームとＢフレームについては、輝度トータル値は前のフレームに基づいて計算される。輝度トータル値を、ブラックフレーム検出に用いることもできる。後述するように、総数値、輝度差分値を用いても、単色（ブラックではないが、同色のフレーム）やその他の効果を提供できる。輝度トータル値はフラッシュの検出など、ある種の検出に効果的である。
【００２２】
＜量子化スケール＞
量子化スケールは、ＭＰＥＧエンコーダ１００でビデオデータを量子化する際に用いられる量子化値である。量子化値を用いて、ビットレートが所定の範囲にあることを確保することができる。この特徴は、複雑で速い動きのシーンを検出するのに有効である。量子化値は、Ｉフレーム、Ｐフレーム、Ｂフレームに関係する。
【００２３】
＜上部ＭＡＤトータル値＞
上述したように、ＭＰＥＧ符号化プロセスは、ひとつのフレームから別のフレームへの、色および輝度フィールドの動き変化の予測を一部に含む。このプロセスの処理結果は、変位ベクトルとして得られる。ベクトル値は、ＭＡＤマッチング判定によって決定される。上部のＭＡＤトータル値は、急激なシーンの変化を示す。フレームは上部（スライス０〜２５）と、下部（スライス２６〜３５）に分割される。フレームの上部では字幕が表示されないので、字幕の変化による誤検出がない。上部ＭＡＤトータル値は、スライス０〜２５のマクロブロックのすべてのＭＡＤ値（平均絶対値差）の総和である。静的なシーンでは、マクロブロックでの変位は、あったとしてもごくわずかであり、基準マクロブロックとのマッチングが非常によい。したがって、ＭＡＤ値は非常に小さく、ゼロに近くなる。急激な変化があると、マクロブロックのマッチングがほとんどなくなるか、大きなコンテンツの相違がある。したがって、急激なシーン変化におけるＭＡＤ値は、平均的なＭＡＤ値よりもずっと高くなる。
【００２４】
＜下部ＭＡＤトータル値＞
下部ＭＡＤトータル値の計算は、フレームの上部のＭＡＤトータル値の計算と同じである。下部ＭＡＤトータル値は、スライス２６〜３５のマクロブロックのＭＡＤ値の総和である。上述したように、字幕（ヨーロッパのいくつかの国では頻繁に用いられる）の変化がシーン変化の誤検出の原因となるので、フレームは上下に分割される。フレーム下部のＭＡＤ値は、字幕変化の検出と、急激なシーン変化検出のサポートとして有効に用いられる。
【００２５】
＜現在のビットレート＞
現在のビットレートは、ＭＰＥＧデータの送信ビットレートを示し、ＧＯＰごとに固定値を有する。ビットレートを所定の範囲内に保持するために、現在の実際のビットレートに応じて量子化値が増減される。現在のビットレートを量子化値と組み合わせて、速い変化や複雑な場面を示すのに用いられる。
【００２６】
＜プログレッシブ／インターレース値＞
Ｘ方向へのフィールド移動平均値は、各マクロブロックのＸ方向への変位を示す。この値は、たとえば、シーン中の十分な動きのチェックとして用いることができる。そして、プログレッシブからインターレースビデオへ、またはその逆への遷移があったかどうかを示すのに用いられる。実際のマクロブロックの水平方向の変位の絶対値が、８半画素（左右への十分な動き制御の範囲）よりも大きい場合、そのマクロブロックがフレームＤＣＴ符号化（マクロブロックのＤＣＴモードは０）されているときは、実際のフレームのプログレッシブ／インターレース値は１だけ増大する。マクロブロックがフィールドＤＣＴ符号化（マクロブロックのＤＣＴモードは１）されているときは、１だけ減少する。しきい値に対するプログレッシブ／インターレース値は、現在のビデオがプログレッシブかインターレースかを示すインジケータとして使用される。
【００２７】
＜輝度ＤＣ差分値＞
輝度ＤＣ差分値は、ブラックフレーム、単色フレーム、情報内容の低いフレームを示すのに用いられる。輝度ＤＣ差分値を計算するには、まず、各スライス中の連続するマクロブロックのＤＣ値（各マクロブロックの第１のＤＣ値のみ）の絶対差の総和を求める。次に、フレーム中のすべてのスライスにおける総和を、さらに足し合わせて、トータル値を求める。
【００２８】
＜色差ＤＣ差分値＞
この値は、ブラックフレーム、単色フレーム、情報内容の低い（あるいは高い）フレームを示す補助値として用いられる。色差ＤＣ差分値を求めるには、まず、各スライス中の連続するマクロブロックのＤＣ値（あるいはそのサブセット）の絶対差の総和を求める。別々の色差信号、すなわちＣｒとＣｂの各々について、個別に総和を求める。
【００２９】
圧縮エンコーダからカラーヒストグラムを出力してもよい。ヒストグラムを用いて、単色フレームを示すことができる。ヒストグラムは、独立した特性デバイスとして機能することもできる。すなわち、その他のパラメータとともに、あるいは単独で、ある種のコンテンツをその他のコンテンツから区別する機能を有する。ブロックは原画像よりも解像度が低いので、効率的にヒストグラムを生成することができる。
【００３０】
＜レターボックス値＞
レターボックス値は、輝度ＤＣ値に基づく。最初の２つのスライス（スライス０および１）のマイクロブロックの輝度ＤＣトータル値と、最後の２つのスライス（ＰＡＬではスライス３４および３５）のマクロブロックの輝度ＤＣトータル値を足し合わせて、これら双方の大きいほうの値をレターボックス値とする。レターボックス値は、輝度差分値またはトータル値に基づいて算出される。
【００３１】
＜オーディオ特性＞
後述するように、オーディオデータの圧縮プロセスでも、様々な有用なデータ値が生成されるので、これらをコンテンツの分類に用いることができる。たとえば、量子化されたサブバンドデータに作用する機能を利用して、さらなる特性データを生成することができる。
【００３２】
＜タイムスタンプ＞
タイムスタンプは、フレーム検索してコンテンツの切れ目を検出するのに用いられる。
【００３３】
上述した特性データから、さらに中間レベルの特性データを導き出せる。以下にリストする中間データで、コマーシャルブレーク検出のための補助機能をテストした。
−シーン変化検出
−ブラックフレーム／単色フレーム検出
−レターボックス検出
−インテーレース／プログレッシブインジケータ
−キーフレーム間隔
これらの特性を説明する。
【００３４】
＜シーン変化検出＞
シーン変化のインジケータは、フレーム上部のＭＡＤトータル値から導き出せる。急激なシーン変化があった場合は、１，２のフレームでこのインジケータ値が急増して非常に高い値を示し、そして、もとの低い値にもどる。スライド時間ウィンドウを用いて、現在のフレームと以降のフレームの周囲の平均ＡＭＤ値を計算してもよい。現在のフレームのＭＡＤ値（あるいは現在の値と以降のフレームの値の総和）が、平均ＭＡＤ値と関連する所定のしきい値を超える場合は、シーン変化検出器の値を変化させることによって、急激なシーン変化の存在を示す構成とできる。
【００３５】
＜ブラックフレーム／単色フレーム検出器＞
輝度ＤＣ差分値が所定のしきい値より小さい範囲にとどまっている場合は、複数のしきい値を用いて、ブラックフレームまたは単色フレームを検出することができる。コマーシャル間にブラックフレームのかわりに単色フレーム（たとえば青フレーム）を使用する放送局もあるので、この場合は、コマーシャル検出に単色フレーム用のインジケータを用いる。
【００３６】
＜インターレース／プログレッシブインジケータ＞
インターレース／プログレッシブ値は、インターレースビデオとプログレッシブビデオを区別するのに用いられる。ランニングサムに各フレームのインターレース／プログレッシブ値を足し合わせて、さらにランニングサムを生成してもよい。ランニングサムがしきい値（たとえば２０００）を超えると、ビデオデータはインテーレースビデオと判断されしきい値以下だと、プログレッシブビデオと判断される。ビデオデータが定義されていない場合は、２つのしきい値の間にデッドバンドを設定してもよい。このインジケータは、コマーシャルの検出に有用である。なぜなら、コマーシャルは様々な予算で様々な機器を用いて作成されるからである。したがって、コマーシャルブロックに含まれるビデオデータは、インターレースビデオになったり、プログレッシブビデオになったり、頻繁に変化する。
【００３７】
＜レターボックス検出器＞
レターボックス検出器は、異なるアスペクト比（たとえば４：３、１６：９など）の映像を区別するために用いられる。ある映像、たとえばコマーシャルは、主要番組データのフォーマットと異なるフォーマットで送信される。主要番組（映画などの）をレターボックスにいれてもよいし、変化そのものが重要なデータであるときは、コマーシャルをレターボックスに入れてもよい。レターボックスは、２つの上部スライスと下部スライスがブラックか否かを示す。広告のバナーや、黒い背景に小さな物体が存在する場合は、誤検出になることもあり得るが、これら特定のシーケンスは、ブラック（単色）フレームに含まれていないことのほうが多いので、コマーシャル検出にさほど影響しない。ブラック（単色）フレームに含まれる短いレターボックスシーケンスは、コマーシャルブロックであることの示す有効な表示手段である。
【００３８】
＜キーフレーム間隔検出器＞
キーフレーム間隔検出は、時間（もしくはフレーム数やＧＯＰ数）の測定である。平均キーフレームのフレーム間隔検出器を用いて、ゆっくりと変化するビデオデータと急激に変化するビデオデータを示すことができる。コマーシャルブレークの間は、キーフレーム間隔は短く、一般に１０〜１５ＧＯＰ程度で変化する。通常の番組の間は、キーフレーム間隔は４０ＧＯＰ程度であり、ときには１００ＧＯＰを超える場合もある。平均キーフレーム間隔は、一定のキーフレームウィンドウ内のキーフレーム間隔から、ランニングアベレージとして求める。たとえば、しきい値を５フレームにして、コマーシャルやアクションコンテンツをその他のコンテンツから区別する。
【００３９】
コマーシャル検出のために、テレビ放送された映像サンプルから、多様なＭＰＥＧデータを、単独あるいは組み合わせで導き出し、比較した。ヨーロッパコンテンツの時間スケジュール上に配置される実際のコマーシャルブレークを用いて、時間に対するすべての組み合わせをグラフにプロットした。グラフの分析に基づき、コマーシャルブレーク検出能力を、特性データごと、および他の特性データとの組み合わせにおいて分析した。分析結果を表Ｉおよび表ＩＩに示す。
【００４０】
【表１】

【００４１】
【表２】

表は、番組のジャンルの他に、ブラックフレーム、レターボックス、プログレッシブ／インターレース変化、平均キーフレーム間隔を特性データとして示している。表Ｉでは、特性データごとに、その特性が単独でコマーシャル位置を示すインジケータとして使用され得るかどうかのテスト結果を示したものである。表ＩＩは、特性ごとに、その特性が単独で、コマーシャルの正しい境界の検出に寄与できるかどうかを示す。表Ｉでは、ブラックフレームと、プログレッシブ／インターレース変化が、単独で番組中のコマーシャル位置を特定する有力なインジケータとして使用できることを示している。キーフレーム間隔は、ブラックフレームやプログレッシブ／インターレース変化に比較して弱いインジケータである。プログレッシブ／インターレースのビデオ変化に依存すると、偽陽性の発生が多くなるが、コマーシャル境界の見落しは非常に少なくなる。これは、その他の特性データについても言えることである。そこで、１の特性データをコマーシャル検出のトリガとして用い、さらに別の１以上の特性データを検証用に用いて、偽陽性を除去する方法を提案する。
【００４２】
表ＩＩは、個々の特性データを単独で用いるだけでは、コマーシャルブレークの正しい境界を高い信頼度で検出することはできないことを示している。しかし、上記表の生成に際して、（２秒で）厳密な境界を見つけるという厳しいトレランスを採用したため、２秒よりも早め、あるいは遅れてコマーシャルの境界が検出された場合は、検出失敗とみなされた。この基準を緩めると、ある種の特性データ、特に単色フレーム値は、単独で用いても十分検出効果を発揮するはずである。表ＩＩでは、各特性データが、それぞれ単独でコマーシャルブレークの開始と終端を正確に特定できるかどうかを示すものである。ブラックフレームは、誤判断につながりやすい。放送局がいつも適正にブラックフレームを挿入するとは限らないし、輝度レベルが変化してブラックフレームを検出できないかもしれないからである。このトレランスは、ブラック（単色）フレームのテストで隣接するフレーム間の輝度の変化をより許容する方向のしきい値を設定することによって、調整することができる。レターボックスとキーフレーム間隔は、コマーシャルブレークの境界の検出に用いるには、信頼性が低い。ブラックフレームは、検出見落としの基準を緩めれば、全体的に平均してかなりの精度でコマーシャル境界の検出に用い得る。上記の表は、２秒で検出されないものは完全に検出失敗として扱う基準に基づいているので、実際には、ブラックフレーム検出に基づく検出器は、かなり正確にコマーシャル検出に用いることができる。
【００４３】
図２を参照して、コマーシャル検出などのコンテンツ検出方法について説明する。ここでは、以下の特性データに基づいて検出を行う。
−ブラックフレーム検出
−単色フレーム検出
−プログレッシブ／インターレースモード検出
−キーフレーム間隔
−レターボックス
−ＭＡＤ値の密度
まずステップＳ９０で、ビデオデータの圧縮にともなって、各Ｉフレームで、生データと上記特性データ値が計算される。ステップＳ１００で、境界シーケンスが特定され記録される。フレーム識別子があれば、それを用いて特定する。ステップＳ１１０で、検証データを特定し、適切なフレーム識別子がある場合は、その識別子とともに検証データを記録する。ステップＳ１２０で処理が完了したかどうかを判断し、未完了の場合は、ステップＳ９０に戻って、次のビデオデータを圧縮する。処理が完了すると、上述した特性データでビデオシーケンスを評価したデータ集合が、圧縮ビデオデータとともに格納される。ステップＳ１３０で、格納されたデータを参照して、ビデオ表示のための適切な編集が行われる。
【００４４】
特定のビデオシーケンスが圧縮される時点では、どのような編集が施されるか正確にはわかっていないので、ビデオデータの圧縮にしたがって、派生する圧縮特性の全記録を記録してもよい。これによって、再生鑑賞時に所望の編集を行うことができる。あるいは、映像に施す編集がわかっていれば、格納された圧縮ビデオデータをあらかじめ編集してよいし、編集のインストラクション集合を格納して、圧縮特性データの記録をその後破棄してもよい。
【００４５】
図３を参照すると、映像マテリアルの特定や編集は、リアルタイムの処理に近いプロセスで行われるのが望ましい。たとえば、パーソナルディジタルレコーダで放映ビデオを圧縮してバッファ（一時格納）しておき、その後時間を置いてからユーザが再生する場合、放送番組が圧縮されている最中にコンテンツシーケンスの特定も行えれば有用である。圧縮を完了してしまうかわりに、そのときにコンテンツシーケンスを特定し、コマーシャルの間はボリュームを下げるなどの適切な編集を施すだけにする。図３は、特定の形態のコンテンツを識別する別の方法を示すフローチャートである。図３において、ステップＳ１０で、ビデオデータを圧縮する。ステップＳ２０で、システムは境界トリガイベントがあるかどうかを判断する。トリガイベントは、たとえば、輝度差分の検出によって示される一連のブラック（あるいは単色）フレームや、プログレッシブからインターレースへの遷移である。トリガイベントが検出されたならば、ステップＳ３０で、特定種類のコンテンツの開始が検出されたことを示すフラグをセットする。フレームが検出されたときは、そのフレームの識別情報も記録に含ませる。これによって、イベントのタイムシーケンスを作成することができる。種々の異なる種類のビデオシーケンスの各々にフラグがある（たとえば、コマーシャル用フラグ、バイオレンス用のフラグ、アクション用のフラグ、トーキングヘッド用のフラグなど）。
【００４６】
ステップＳ２０でトリガイベントがない場合は、処理はステップＳ４０に進み、コマーシャルやその他の種類のビデオコンテンツのシーケンスを検証するためのデータがあるかどうかを特定する。そのような検証データがあれば、ステップＳ５０でそれを格納する。ステップＳ５５で、特定種類のコンテンツであると検証されるべき主題の区画されたシーケンスがあるかどうかを判断する。そのようなシーケンスがあれば、ステップＳ６５で、特定されたフレームの識別情報とともにそのシーケンスを記録する。ステップＳ６５で編集が必要であれば、編集のインストラクションが記録され、後に（あるいは即座に）編集が行われる。ステップＳ７０で圧縮処理が完了すると、プロセスは終了する。処理が完了していない場合は、ステップＳ１０へ戻って処理を繰り返す。
【００４７】
コマーシャル等の特定種類の映像の開始および／または終了を示すイベントは、適切な任意の特性データを用いることができる。テスト結果から、コマーシャル検出に特に有用であると思われる特性データは、検出された単色またはブラックフレーム間（あるいは連続するブラックまたは単色フレームシーケンス間）のフレーム間隔である。このようなイベントは、トリガとして用いられる
いくつかの国では、特定の場合にブラックフレームのかわりに別の単色フレームを用いる放送局がある。ブラックフレーム間隔が特定のパターン（間隔は２０〜４０秒の間である）に一致すれば、アルゴリズムはブラックフレームのカウントを開始する。３つのブラックフレームがカウントされると、コマーシャル検出の確率が高くなり、コマーシャルの見込み終了がセットされる。コマーシャルトリガとして別の特性データを用いることもできるが、その場合は検証のためのより複雑なアルゴリズムが必要になる。
【００４８】
テスト結果から、ブラックフレームシーケンスの出現も、コマーシャル検出のトリガとして用いられ得る。通常、コマーシャルブレークでは、各コマーシャルを区画するためにブラックフレーム（または単色フレーム）がコンテンツクリエータによって挿入される。同様に、コマーシャルブレーク全体の開始時と終了時にもブラックフレーム（単色フレーム）が用いられる。コマーシャルブレークは、一連のブラック（単色）フレームによって開始され、コマーシャルブレーク中は、１２００フレーム以内にひとつのブラックフレームが配置されると考えられる。コマーシャルの期間に制約を課してもよい。たとえば、コマーシャルであると検証されるには、１５００フレーム以上、１００００フレーム以下のシーケンスであることを要求するなどである。（ヨーロッパのコンテンツでは１秒あたり２５フレーム、アメリカでは１秒あたり３０フレームである。） コマーシャルとして検出される前に、候補のシーケンスの間の最小時間に制約をつける構成としてもよい。たとえば、コマーシャルは少なくとも２分（３０００フレーム）離れていることを要求する。この最後の制約は、コマーシャルである可能性のあるセグメントをリンクさせるために重要である。リンクが長時間許されると、コマーシャル以外の主題を含む過度に長い「コマーシャル」ブレークが検出される結果になる。
【００４９】
ブラックフレームの検出などにより見込みコマーシャルが検出されると、その他の特性データをテストして、検出されたブラックフレームやその他のトリガイベントで実際にコマーシャルブレークの開始が示される確率の高低を判断する。たとえば、ブラックフレームの直後にレターボックスの変化があるかどうか、プログレッシブからインターレースビデオ（あるいはその逆）への遷移があるか、カットレートは高いか、ＭＡＤ密度は高いか、キーフレーム間隔は短いか、などを検証手段として用いることができる。キーフレーム間隔が短い（あるいはカットレートが高い）場合は、たとえばしきい値を超えるとコマーシャルである確率が高くなり、しきい値以下だとその確率が低くなるように、しきい値を設定することができる。あるいは、確率はキーフレーム間隔の逆数に比例し、ＭＡＤ密度に比例するように設定してもよい。
【００５０】
コマーシャルでのカット間の平均キーフレーム数は、たかだか５ＧＯＰであることが経験的に知られている。キーフレーム間隔に用いられるしきい値を１０〜１５の範囲に設定すると、よい結果が得られる。互いに近接するセグメントはリンクされて、コマーシャルブレーク全体を示すと推定される。長いキーフレーム間隔のコマーシャルも中にはあるので、これを許容するために、ある最大インターバル、たとえば７５０フレーム（３０秒）のときは、キーフレーム間隔がより高くなるようにトレランスを設定する。
【００５１】
圧縮エンコーダから生成される上述した特性データは、異なる種類のコンテンツを認識するのにより洗練された方法で応用され得る。たとえば、圧縮プロセスから生成される特性データと、これらの特性データからさらに導き出せる中間の特性データを、ニューラルネットワーク、隠れマルコフモデル、ベイズネットワーク、その他の分類エンジンに入力して、多様な種類のビデオコンテンツを認識させることができる。コマーシャルの見込み開始を示すトリガ特性としてひとつの特性データを抽出するよりは、全体の特性集合を用いてネットワークを訓練し、コマーシャルを特定するほうが望ましい。後者の場合は、コマーシャル区間を示す開始イベントと終了イベントの判断において、種々の特性の意義をその訓練プロセスにおいて決定させる。
【００５２】
上述した例では、主としてビデオ特性に焦点をあてて述べてきたが、オーディオデータや、ビデオデータの音声部分の圧縮中に生成されるオーディオ特性を、上述したのと同様に活用することができる。たとえば、ビデオデータのコマーシャル部分やアクションシーケンスの音量は、他の部分と異なる。オーディオ圧縮エンコーダは、オーディオデータを表わす多種の特性を生成するが、このような特性は、自動化されたシステムで認識されてある種のコンテンツを他から区別するのを促進する固有の特徴を有するといえる。たとえば、現在のビットレートあるいは量子化値は、無音時間間隔の量を示す。別の例として、コマーシャルのようなハイアクションで注意を喚起する内容に対応するＤＣＴ係数は、通常の番組に対応するＤＣＴ係数とは非常に異なる。これらの特徴特性は、ベイズ分類器、ニューラルネットワーク、隠れマルコフモデルなどの分類器で定義され得る。
【００５３】
上述した実施形態では、圧縮プロセスから得られる特性を用いてビデオストリーム中のコンテンツを分類するが、これらの特性は、その他の特性（たとえばリアルタイム特性）と関連して同様の目的で用いることもできる。たとえば、リアルタイムの音量をブラックフレーム（単色フレーム）の検出と関連して用い、コマーシャルへの、あるいはコマーシャルからの遷移を特定することができる。ビデオソースから追加のデータを生成する多様な方法があり、それらのデータを、現在の圧縮エンコーダから求められるデータと組み合わせてもよいし、エンコーダで生成されたデータと関連してビデオ／オーディオ分類に用いてもよい。すなわち、圧縮特性データは二次特性集合として用いられて、テキスト認識や顔認識などの詳細なコンテンツ分析に用いられる一次特性データ集合を補強し得る。
【００５４】
本発明は詳細に上述した実施例に限定されず、本発明の趣旨あるいは本質的な特徴から離れることなく、多様な具体的形態をとり得ることは、当業者にとって明らかである。上述した実施形態はあらゆる点で例示にすぎず、本発明を制限するものではない。本発明の範囲は、上述した実施形態によってではなく、添付の請求の範囲によって定義される。請求項の記載およびその均等の範囲内でなされ得る多様な変更例も、本発明の範囲に含まれる。
【図面の簡単な説明】
【００５５】
【図１】本発明の一実施形態に係る圧縮特性データに基づいたビデオコンテンツ識別プロセスを実行するハードウェアシステム図である。
【図２】本発明の一実施形態に係る圧縮特性データを利用したコンテンツシーケンス識別プロセスを示すフローチャートである。
【図３】本発明の別の実施形態に係る圧縮特性データを利用したコンテンツシーケンス識別プロセスを示すフローチャートである。

Claims (22)

1. ビデオデータを圧縮して圧縮ビデオデータを生成する圧縮プロセスの一部として、ビデオシーケンスから第１および第２の特性データを生成し、当該第１および第２の特性データを前記圧縮ビデオデータから抽出するビデオ圧縮エンコーダと、
   前記第１および第２の特性データを受け取り、当該第１および第２の特性データの少なくとも一方から第３の特性データを算出する分析エンジンと、
   少なくとも前記第３の特性データに応じて、前記圧縮ビデオデータを編集する再生セレクタと
   を備えるコンテンツエディタ。
2. 前記再生セレクタは、前記第１および第２の特性データの少なくとも一方に応じて、前記圧縮ビデオデータを編集することを特徴とする請求項１に記載のコンテンツエディタ。
3. 前記第３の特性データは、単色フレームのシーケンスの存在を識別する識別子を含むことを特徴とする請求項１に記載のコンテンエディタ。
4. 前記第３の特性データは、レターボックスフォーマットと非レターボックスフォーマットの間の遷移を識別する識別子を含むことを特徴とする請求項１に記載のコンテンツエディタ。
5. 前記第３の特性データは、インターレースビデオとプログレッシブビデオの間の遷移を識別する識別子を含むことを特徴とする請求項１に記載のコンテンツエディタ。
6. 前記第３の特性データは、シーンカット（場面転換）の頻度を表わす識別子を含むことを特徴とする請求項１に記載のコンテンツエディタ。
7. 前記第３の特性データは、フレームを表わすカラーヒストグラムを含むことを特徴とする請求項１に記載のコンテンツエディタ。
8. 前記第１および第２の特性データは、前記ビデオシーケンスのオーディオ特性を含むことを特徴とする請求項１に記載のコンテンツエディタ。
9. 前記再生セレクタは、前記第１、第２および第３の特性データの少なくともひとつに応じて、前記圧縮ビデオデータを編集し、前記少なくともひとつの特性データは、動きベクトル平均、現在のビットレート、フレーム中の輝度変化、フレーム中の色変化、フレームのトータル輝度、フレームのトータルカラー、フレーム間の輝度変動、平均絶対差、および量子化スケールの少なくともひとつを含むことを特徴とする請求項１に記載のコンテンツエディタ。
10. 非圧縮ビデオデータを受信して圧縮ビデオデータを生成するビデオ圧縮エンコーダと、
    前記ビデオ圧縮エンコーダに接続されて当該ビデオ圧縮エンコーダから第１のデータを受け取り、前記第１のデータに応じて、前記圧縮ビデオデータ中の特定種類のコンテンツの開始を特定する識別子を生成する分析エンジンと
    を備え、前記第１のデータは圧縮プロセスの結果として生成され、前記圧縮ビデオデータから抽出されることを特徴とするビデオコンテンツ検出装置。
11. 前記第１のデータは、量子化スケール、動きベクトルデータ、フレーム中の輝度変化、フレーム中のカラー変化、クレームのトータル輝度、フレームのトータルカラー、フレーム間の輝度変動、および平均絶対差の少なくともひとつを含むことを特徴とする請求項１０に記載のコンテンツ検出装置。
12. 前記分析エンジンは、前記第１のデータの少なくともひとつから派生特性データを算出し、当該派生特性データに応じて前記識別子を生成することを特徴とする請求項１０に記載のコンテンツ検出装置。
13. 前記分析エンジンは、前記第１のデータに応じて、前記非圧縮ビデオデータ中のレターボックスの有無を判断し、前記レターボックスの有無に一致して、前記圧縮ビデオデータのシーケンス中のロケーションを特定する識別子を生成することを特徴とする請求項１０に記載のコンテンツ検出装置。
14. 前記分析エンジンは、前記第１のデータに応じて、前記非圧縮ビデオデータ中のインターレースまたはプログレッシブビデオフォーマットの有無を判断し、前記インターレースまたはプログレッシブビデオフォーマットに一致して、前記圧縮ビデオデータのシーケンス中のロケーションを特定する識別子を生成することを特徴とする請求項１０に記載のコンテンツ検出装置。
15. 前記分析エンジンは、前記第１のデータに応じて、前記非圧縮ビデオデータ中の単色フレームの存在を特定し、前記単色フレームに一致して、前記圧縮ビデオデータのシーケンス中のロケーションを特定する識別子を生成することを特徴とする請求項１０に記載のコンテンツ検出装置。
16. 前記分析エンジンは、前記第１のデータに応じて、前記非圧縮ビデオデータ中のシーンカット（場面変化）のインジケータまたは頻度を特定し、前記シーンカットの頻度に一致して、前記圧縮ビデオデータのシーケンス中のロケーションを特定する識別子を生成することを特徴とする請求項１０に記載のコンテンツ検出装置。
17. 圧縮ビデオストリームからコマーシャルを検出する方法であって、
    ビデオデータを圧縮して、圧縮ビデオデータと、ビデオデータ圧縮の副産物としての第１のデータを生成する工程と、
    前記第１のデータから、コマーシャルシーケンスの見込み開始点を示す第１イベントを識別する工程と、
    前記見込み開始点に引き続くビデオコンテンツがコマーシャルシーケンスの特性を有することを前記第１のデータに応じて検証する工程と、
    前記識別工程および検証工程の結果に応じて、コマーシャルの存在を示す肯定と
    を含むことを特徴とするコマーシャル検出方法。
18. 前記検証工程は、シーンカットレート、単色フレームシーケンス、ビデオフレームのレターボックス境界、およびビデオフォーマットがプログレッシブかインターレースかを示す指標、の少なくともひとつを算出する工程を含むことを特徴とする請求項１７に記載のコマーシャル検出方法。
19. ビデオデータ中のコンテンツ検出方法であって、
    ビデオデータを圧縮して、圧縮ビデオデータと、ビデオデータ圧縮の副産物としての圧縮特性データとを生成する工程と、
    前記圧縮特性データと、非圧縮特性データとの組み合わせに基づいて、前記ビデオデータのコンテンツ部分を分類する工程と、
    前記分類工程で識別されたコンテンツを示す工程と
    を含むことを特徴とするコンテンツ検出方法。
20. 前記分類工程は、前記あらかじめ定義されたコンテンツの例に基づいて分類エンジンをプログラムする工程を含むことを特徴とする請求項１９に記載の方法。
21. 前記分類工程は、分類器を訓練し、当該分類器を用いて前記あらかじめ定義されたコンテンツを分類することを特徴とする請求項１９に記載の方法。
22. 前記分類器は、ベイズ分類器、ニューラルネットワーク、隠れマルコフモデル分類器の少なくともひとつを含むことを特徴とする請求項２１に記載の方法。

Images