JP2000299816A

JP2000299816A - ビデオセグメンテーションシステム

Info

Publication number: JP2000299816A
Application number: JP2000069801A
Authority: JP
Inventors: Bozudagi Gezude; ボズダギゲズデ; Hong Heather Yu; ヒーザーユホン; Steven J Harrington; ジェイ．ハリントンスティーブン; Buriiru Robert; ブリールロバート
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 1999-03-18
Filing date: 2000-03-14
Publication date: 2000-10-24
Also published as: US6493042B1; EP1039757A3; EP1039757A2

Abstract

(57)【要約】【課題】ビデオシーケンスにおけるフェード、及び／
又はディゾルブをロバストに検出する。【解決手段】ビデオセグメンテーションシステムにお
いて、ビデオセグメントの一対の不連続カット間の少な
くとも２つのフレームのヒストグラムを決定するヒスト
グラムコンパレータ１３２と、該少なくとも２つのフレ
ーム間の分散を決定する分散値判定部１３４と、該少な
くとも２つのフレーム間の分散に基づく漸次変化を識別
するセグメント識別子１３６とによって、不連続カット
間の漸次変化を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は概してビデオセグメ
ンテーションに関する。特に、本発明は、フェード（フ
ェード・アウト又はフェード・イン）、及び／又はビデ
オシーケンスにおけるディゾルブ（フェード・アウトと
同時に発生するフェード・イン）をロバストに検出する
システムならびに方法のためのものである。

【０００２】

【従来の技術】ビデオセグメンテーションに使用されて
いる主な技術は、ヒストグラム比較、画素の明度比較、
動作に基づく比較、圧縮要素又は差分の比較、及び小部
分エッジ比較として要約することができる。

【０００３】２個のフレームが互いに大きく相違してい
るか否かを検出するための最も簡単な方法は、これら２
個のフレームにおける対応する画素を比較することであ
る。対象画素と第２のフレームにおける空間的に対応す
る画素との差が閾値よりも大きいとされる画素の数によ
って、これら２個のフレーム間の距離（違い）の測定が
なされる。これらの方法の大きな欠点は、対象を移動さ
せることと、及びカメラの動作に対する敏感さである。
例えば、カメラパンニング又はフレームの小領域におけ
る大きな変化によって、誤った検出をもたらすことがあ
る。

【０００４】明度ヒストグラムを用いた方法は、これら
の比較技術よりもうまく機能するように思われる。この
カテゴリーにおいて２つの基本的技術がある。一つは、
２つの連続するフレームのヒストグラムの差分が閾値を
超えると境界が宣言されるという、大域ヒストグラム比
較であり、もう一つは、フレームを最初にオーバーラッ
プしない領域に分割して、さらにそれぞれの個別の領域
のヒストグラムを決定する、という、局所ヒストグラム
比較である。しかしながら、これらの方法は、画面がま
ったく異なるように見える一方で同様な分布を有する場
合に、カットを見落とすことがある。

【０００５】動作に基づく比較方法は、ビデオの各フレ
ームにおける動作に対する速度比、即ち、動作の変化
率、及び平均フレーム間相関係数に基づいている。動作
に基づく比較では、境界点は、フレーム間の相関が低く
且つ動作する速度の比率が高い点として定義される。

【０００６】ビデオをセグメント（分割）するための特
徴に基づく技術では、連続するフレーム間で入出するエ
ッジの割合が決定され、これは境界を検出するために使
用される。しかしながら、この技術では、連続するフレ
ームを位置合わせするために事前に動作を予測すること
が要求される。このセグメントの検出の成否は、動作予
測技術のロバスト性に左右される。

【０００７】

【発明が解決しようとする課題】これら従来の方法が非
連続境界に対して適正な結果を付与する一方、これらの
方法は、ディゾルブ、ワイプ、フェード・イン、フェー
ド・アウト、及び連続カットによる境界を検出すること
においてロバストではない。

【０００８】

【課題を解決するための手段】ビデオセグメンテーショ
ンは、ディジタルビデオシーケンスの自動注釈に対する
第１のステップである。ビデオソースをセグメント化す
ることは、連続する２つのフレーム、Ｉ_k及びＩ_k+1の関
数、Ｓ（Ｉ_k，Ｉ_k+1）を評価することによってビデオの
中断のない連続したセグメント間の境界、即ち、シーン
の変わり目を検出することを含む。ビデオシーケンス内
で、連続するフレームは、対象及び／又はカメラの動
作、照明変化、漸次（緩やかな）変化、例えば、連続カ
ット、又は急激な変化、例えば、カメラカット及び／又
は非連続カットにより、相違することもある。画面変化
検出方法はどれも、漸次変化及び急激変化に対し感知可
能である必要があるが、照明変化と同様に対象及びカメ
ラの動作を可能な限り無視する必要もある。これを実施
するための一つの方法は、画面変化の検出の前にフレー
ムデータ上で大きな空間的平均化を実行することであ
る。しかしながら、これによって急激変化と漸次変化を
同時に検出することは困難である。

【０００９】本発明の方法とシステムは、低解像度画像
上でカメラカットを検出し、高解像度画像上で漸次変化
を検出する２路式手順を用いる。カメラカット検出で
は、ヒストグラム比較技術をそのロバスト性のために使
用する。明度比較とフレーム構造技術を用いて予め検出
された不連続カット間のフレームを検査することによっ
て、漸次変化が検出される。

【００１０】

【発明の実施の形態】図１は本発明にかかるビデオセグ
メントシステム１０を示している。ビデオセグメントシ
ステム１０は、不連続カット検出器２０、漸次変化検出
器３０、フレーム取得装置４０、コントローラ５０、Ｉ
／Ｏインターフェース５５、データバス９０、及びメモ
リ６０を有する。ビデオセグメントシステム１０はビデ
オデータソース７０からビデオ信号を入力され、セグメ
ント化されたビデオデータ信号をセグメント化されたビ
デオデータシンク８０へ出力する。セグメント化された
ビデオデータ信号はさらに出力されてもよい。

【００１１】ビデオ画像データソース７０は、ビデオカ
メラ、又はビデオセグメントシステム１０にビデオ信号
を付与することができるその他のビデオ画像データソー
スでもよい。ビデオセグメントシステム１０は、信号ラ
イン又はリンク７１を介してビデオ画像データを付与す
るビデオ画像データソース７０と接続され、さらに、ビ
デオセグメントシステム１０によって出力されたセグメ
ント化ビデオを信号ライン又はリンク８１を介して受信
するセグメント化ビデオデータ受信装置８０と接続され
ている。一般に、ビデオ画像データソース７０は、ビデ
オレコーダ、カムコーダ、ビデオカセットプレーヤ／レ
コーダ、ディジタルビデオディスクプレーヤ／レコー
ダ、又は、ケーブルテレビネットワークやインターネッ
ト、特にワールドワイド・ウェブ等のネットワークのク
ライアントやサーバー等、電子ビデオ画像データを格納
及び／又は転送するのに適切な装置、などの多数の異な
るソースのいずれかであればよい。

【００１２】このように、ビデオ画像データソース７０
は、本発明のビデオセグメントシステム１０にアナログ
又はディジタルビデオ画像データを付与することのでき
る、周知のソース又は後日開発されるソースでもよい。
同様に、セグメント化ビデオデータ受信装置８０は、ビ
デオセグメント化システム１０によって出力されたセグ
メント化ビデオデータを受信し、且つ該セグメント化ビ
デオデータを格納、転送、又は表示することができる周
知の装置、又は後日開発される装置でもよい。したがっ
て、セグメント化ビデオデータ受信装置は、表示又は格
納のためのセグメント化ビデオデータを転送するための
チャネルデバイス、及び、セグメント化ビデオデータを
表示又は、さらに転送する必要性が生じるまで、該セグ
メント化ビデオデータを無期限に格納するための記憶装
置、のいずれか、又はこれら両装置でもよい。

【００１３】リンク７１及び８１は、ビデオセグメント
化システム１０にビデオ画像データを転送するための、
又は、ビデオセグメント化システム１０から物理的に離
れた、もしくは物理的に配列された記憶装置あるいは表
示装置へビデオ画像データを転送するための周知の構造
又は装置でもよい。したがって、リンク７１及び８１
は、ハードワイヤ（配線）リンク、ワイヤレスリンク、
公衆交換電話回線網、局所又は広域ネットワーク、イン
トラネット、インターネット、ワイヤレス伝送チャネ
ル、その他の分散ネットワーク等でもよい。同様に、記
憶装置はセグメント化ビデオデータを格納するための周
知構造の装置、例えば、ＲＡＭ、ハードドライブ及びデ
ィスク、フロッピードライブ及びディスク、光ドライブ
及びディスク、フラッシュメモリ等であってもよい。

【００１４】ビデオセグメント化システム１０はＩ／Ｏ
インタフェース５５を介して入力されたビデオ画像デー
タを受信する。不連続カット検出器２０は、コントロー
ラ５０の指令によって、ヒストグラム比較技術を用いて
不連続カットを検出する。ヒストグラム比較技術は、
「記録済みビデオ処理技術」（Ｙ．トノムラ他著、ＮＴ
Ｔレビュー、第５巻、８２乃至６０ページ、１９９３年
３月）("Stored Video Handling Techniques," Y.Tonom
ura, et al., NTT Review, vol.5, pp.82-60, March 19
93)に詳細に記載され、参照によりその全体が本明細書
に組み込まれる。しかしながら、本発明の方法ならびに
システムがこのヒストグラム技術に依存されないことを
認識しなければならない。周知の、又は後日開発される
技術を用いて入力ビデオ信号における不連続カットを決
定することができ、かかる技術が本発明の方法及びシス
テムと同程度に機能するであろうことは、いずれの当業
者によっても理解され得る。

【００１５】既述のように、ヒストグラム技術は対様式
の比較技術よりもうまく機能するように思われる。しか
しながら、ヒストグラム技術の欠点は、シーンが異なる
ように見える一方で、同様の分散を有する場合にカット
を見落とす可能性があるということである。

【００１６】上記した手順によって不連続境界に対し妥
当な結果が付与されるとはいえ、該手順は、ディゾル
ブ、ワイプ、フェード・イン、及びフェード・アウトに
よる境界を検出する際にロバストではない。本発明のシ
ステムならびに方法は、不連続カット検出器２０を漸次
変化検出器３０と組み合わせて、連続カット及び不連続
カットの両者を同時に且つロバストに検出する。

【００１７】したがって、不連続カット検出器２０は、
フレーム取得装置４０、コントローラ５０、及びメモリ
６０と協働して、不連続カットを検出する。

【００１８】しかしながら、不連続カット間のビデオセ
グメントは静止フレームと、漸次遷移、局所動作又は大
域動作、例えば、パン、ズーム等、の影響を受けたフレ
ームを含むこともある。これらの作用は漸次変化検出器
３０によって容易に検出することができる。

【００１９】さらに、フェード・イン、フェード・アウ
ト、及びディゾルブは、いかなるビデオ処理においても
見ることのできる一般的な効果である。フェード・アウ
トでは、画像の明度は低下し、時間の経過によりゼロに
近づく。ブランクフレームとして始まるフェード・イン
では、画像は時間の経過により出現し始める。ディゾル
ブでは、１つの画像が消滅する一方で、別の画像が同時
に出現する。したがって、異なるビデオセグメント間の
円滑な遷移をもたらすために、これらの作用を操作する
ことができる。

【００２０】図２は、図１の漸次変化検出器３０をさら
に詳細に示している。漸次変化検出器３０は、明度判定
部３２、エッジカウンタ３４、フェード検出器３６、及
びディゾルブ検出器３８から構成される。漸次変化検出
器３０はデータバス９０を介し、不連続カット検出器２
０によって検出された不連続カット間に生じるビデオセ
グメントを受信する。明度判定部３２は不連続カットセ
グメント内の各フレームの明度を判定する。

【００２１】エッジカウンタ３４は、各フレームにおけ
るエッジ画素の数、即ち、エッジカウントを決定する。
フレーム内のエッジ情報は、フレームの構造に関する情
報を提供する。しかしながら、エッジカウント情報はロ
バストな緩やかに変化するシーンの変わり目の検出に対
して不十分である。

【００２２】したがって、フェードのエッジ情報に対応
する明度値特性を識別しているフェード検出器３６は、
フェードの最初と最後のフレームとして、一定の閾値エ
ッジ情報でフレームをラベル付けする。同様に、ディゾ
ルブ検出器３８は、エッジカウント情報を使用すること
に加えて、エッジカウンタ３４によって認識される最小
エッジカウントのあるフレームの両側においてエッジカ
ウント最大値を決定する。ディゾルブ検出器３８はこの
ように、検出された最大値の間にあるすべてのフレーム
に対して２重色差（以下に詳述される）を決定する。大
域最小２重色差が一定の範囲内にあれば、セグメントは
ディゾルブと識別される。

【００２３】漸次変化を検出することは、漸次変化の特
性を識別することに基づいている。したがって、漸次変
化を検出するために、漸次遷移の間隔を抽出し且つ分類
する。フェードにおいて、第１のシーンは第２のシーン
が徐々に出現する前に徐々に消滅する。ディゾルブにお
いては、第１のシーンが徐々に消滅するのと同時に、第
２のシーンが徐々に出現する。このため、図３を参照す
ると、時間（t）における漸次変化内での明度は、Ｅ
（ｘ、ｙ、ｔ）としてモデル化される。詳細には、ｘ及
びｙはフレーム内の画素を位置決めするための座標であ
り、ｔは画素が発生するフレームを示す。時間ｔが大き
くなるにつれて、フレーム番号も大きくなる。特に、時
間ｔにおけるフェードアウトに対する明度Ｅ（ｘ、ｙ、
ｔ）は、以下の式としてモデル作成され得る。

【００２４】Ｅ(ｘ，ｙ，ｔ) ＝Ｉ（ｘ，ｙ，ｔ₁)α（ｔ）＋Ｏ（ｘ，ｙ，ｔ₂）[１-α（ｔ）] ＋Ｂ（ｘ，ｙ）・・・（１）

【００２５】式（１）と対照的に、時間（ｔ）でのフェ
ードインに対する明度Ｅ（ｘ、ｙ、ｔ）は、以下の式と
してモデル作成され得る。

【００２６】Ｅ（ｘ，ｙ，ｔ）＝Ｏ（ｘ，ｙ，ｔ₁）α（ｔ）＋Ｉ（ｘ，ｙ，ｔ₂）[１−α （ｔ）]＋Ｂ（ｘ，ｙ）・・・（２）

【００２７】一方、時間（ｔ）でのディゾルブに対する
明度Ｅ（ｘ、ｙ、ｔ）は、以下の式としてモデル作成さ
れ得る。

【００２８】Ｅ（ｘ，ｙ，ｔ）＝Ｉ（ｘ，ｙ，ｔ₁）α（ｔ）＋Ｉ（ｘ，ｙ，ｔ₂）[１−α（ｔ）] ＋Ｂ（ｘ，ｙ）・・・（３）

【００２９】ここで、α（ｔ）は対応する漸次変化ラン
プ関数から得られるビデオ画像データ信号値であり、ｔ
₁及びｔ₂は漸次変化の開始地点及び終了地点であり、Ｉ
（ｘ，ｙ，ｔ）は時間（ｔ）で発生するフレームにおけ
る空間位置（ｘ，ｙ）における画素の明度であり、Ｂ
（ｘ，ｙ）は、使用されるのであれば任意の背景画像の
空間位置（ｘ，ｙ）における画素の明度であり、Ｏ
（ｘ，ｙ，ｔ）は時間（ｔ）で発生するフレーム内での
空間位置（ｘ，ｙ）における黒色画素値を示すように、
すべてのｘとｙに対して、以下の式が設定される。Ｏ（ｘ，ｙ，ｔ₁）＝Ｏ（ｘ，ｙ，ｔ₂）＝０・・・（４）

【００３０】例えば、α（ｔ）は図４に示されるフェー
ドアウトに対する減少ランプ関数であってもよく、α
（ｔ₁）＝１及びα（ｔ₂）＝０である。フェード・イン
及びディゾルブに対するランプ関数は、漸次変化内のフ
レームの時間的位置に基づいてビデオ画像データ信号の
明度の重みづけに対応するランプ関数と同様である。例
えば、フェード・インに対する信号明度レベルはフェー
ド・インの進行とともに最大値に向かうことになる。デ
ィゾルブについては、１つの画像がフェード・インし、
他の画像がフェード・アウトするαに対し、両者の重み
づけの組み合わせが使用される。

【００３１】背景画像Ｂが使用される場合には、すべて
のフレームに共通の画像、例えば、ニュースプログラム
におけるステーションロゴ等の、漸次変化内におけるす
べてのフレームに存在するテキスト又はラベルである。

【００３２】これら方程式において、関数α（ｔ）が時
間的方向におけるぼけ関数であることを理解すべきであ
る。したがって、フレーム内のエッジ情報は該フレーム
の構造に関する情報を提供する。例えば、時間の関数と
してエッジカウントは漸次変化の際に局所最小値を有す
ることになる。しかしながら、図５に示されるように、
エッジカウントは漸次変化に関する限り、ズーム、パ
ン、又はワイプの際に同一のふるまいを示すこともあ
る。詳細には、図５においてフレーム番号が６００乃至
６５０ではディゾルブが行なわれている。対照的に、フ
レーム番号が７００乃至８００ではズームが行なわれて
いる。明確に、これら２つの関数が生じると、エッジカ
ウントは同様となる。そこで、エッジ画素の数に加え
て、本発明のシステムと方法は、シーンの変わり目の検
出に対して、例えば、ディゾルブ及び／又はフェードの
ような漸次変化の発生の背後にある原理を利用する。

【００３３】フェードの際に、開始画像又は最終画像は
定数の、即ち、単一の明度値を有する、式（１）と
（２）に示されるような画像である。そのため、エッジ
画素の数は、これら開始画像又は最終画像においてゼロ
に近い数でなければならない。即ち、既存するエッジは
背景画像Ｂ（ｘ，ｙ）に帰すべきものにすぎない。さら
に、エッジ画素の数は、フェード・イン又はフェード・
アウトの特性に基づいて最小値から漸次的に増加しなけ
ればならない。

【００３４】式（１）において、漸次変化内のフレーム
における画素の明度が判定される。したがって、フェー
ド・アウトの開始時に画素の明度は以下の式（５）によ
って表わすことができる。Ｉ(ｘ，ｙ，ｔ₁）＋Ｂ(ｘ，ｙ) ．．．（５）

【００３５】フェード・アウトの最後では、背景画像Ｂ
が存在する画素位置を除いたすべての画素値がゼロであ
る黒色の画面が残存する。これら画素値は以下の式
（６）によって与えられる。Ｏ（ｘ，ｙ，ｔ₂）＋Ｂ（ｘ，ｙ）．．．（６）

【００３６】同じ推論が式（２）及び式（３）にも適用
され得る。したがって、図６を参照すると、フェードを
検出するための方法は、（１）所与の一対の不連続カッ
ト、ｋ_i及びｋ_i+1のエッジ画素の数を決定し、（２）ノ
イズを除去又は低減するためにエッジ画素の画像を平滑
化し、（３）所与の閾値よりも小さな局所最小値を決定
し、（４）決定された局所最小値ｊの各々に対して、決
定した最小値の左右両側に第１の局所最大値を見出し、
（５）位置決めされた局所最大値に対応するフレームを
識別し、（６）識別されたフレームをｉ_O及びｉ_Nとして
ラベル付けし、（７）ｉ_O及びｉ_N間のエッジカウントの
変化を決定することを有する。

【００３７】図６は本発明による、セグメントを識別す
るための方法の一つの具体的な実施の形態を概略図示し
ている。制御はステップＳ１００から開始する。ステッ
プＳ２００では、不連続カットが決定される。さらに、
ステップＳ３００では、不連続カット間のフレームのエ
ッジカウントが決定される。次に、ステップＳ４００で
は、ノイズフィルターを不連続カット間のエッジ画素の
画像を平滑化するために適用する。制御はさらにステッ
プＳ５００に続く。

【００３８】ステップＳ５００では、局所最小値が決定
される。次に、ステップＳ６００では、現在の局所最小
値の左側にある第１の局所最大値が決定される。さら
に、ステップＳ７００では、現在の局所最小値の右側に
ある第１の局所最大値が決定される。制御はさらにステ
ップＳ８００に続く。

【００３９】ステップＳ８００では、エッジカウントＥ
Ｃ’の変化が第１と第２のそれぞれの閾値の間にあるか
否かが判断される。エッジカウントＥＣ’の変化が第１
と第２の各閾値の間にあると、制御はステップＳ９００
に移行する。そうでない場合には、制御はステップＳ１
０００へとジャンプする。ステップＳ９００では、セグ
メントはフェード・アウトとして識別される。制御はさ
らにステップＳ１３００へとジャンプする。

【００４０】ステップＳ１０００では、エッジカウント
ＥＣ’の変化が第３と第４の閾値の間にあるか否かが判
断される。エッジカウントＥＣ’の変化が第３と第４の
各閾値の間にないと、制御はステップＳ１２００へとジ
ャンプする。そうでない場合には、制御はステップＳ１
１００に進む。ステップＳ１１００では、セグメントは
フェード・インとして識別される。制御はさらにステッ
プＳ１３００へとジャンプする。

【００４１】ステップＳ１２００では、セグメントを解
析して、該セグメントがディゾルブであるか否かを判断
する。さらに、ステップＳ１３００では、すべての局所
最小値が解析されたか否かを判断する。すべての局所最
小値の解析が完了されていないと、制御はステップＳ６
００に戻る。そうでない場合、制御はステップＳ１４０
０に移行して、制御ルーチンは終了する。

【００４２】したがって、図５を参照すると、ＥＣ '_i
が、ｔ＝ｉ及びｔ＝ｉ＋１におけるフレーム間のエッジ
カウントの変化であるとすれば、ｉ_O及びｊ間のすべて
のフレームに対する変化の和は以下の通りである。

【００４３】

【数１】

【００４４】ここで、α₁及びα₂は閾値であり、ＥＣ’
はエッジカウントにおける変化であり、セグメント（ｉ
₀，ｊ］はフェード・アウトを表わす。フレームｉ₀から
（但し、フレームｉ₀は含まれない）フレームｊ（但
し、フレームｊは含む）までの中間フレーム、即ち、デ
ィゾルブの中間フレーム、の左側にあるすべてのフレー
ムに対しての合計が求められる。

【００４５】上記合計が閾値α₁及びα₂の間にあるとす
れば、セグメント（ｉ_O，ｊ］はフェード・アウトであ
る。中間フレームから最小値の右側にあるフレームｉ_N
（但し、ｉ_Nは含まれない）の右側までの合計は以下の
通りである。

【００４６】

【数２】

【００４７】ここで、α₃及びα₄は閾値であり、セグメ
ント［ｊ，ｉ_N）はフェード・インを表わす。さらに、
フレームｊ（ｊを含む）からフレームｉ_N（ｉ_Nは含まれ
ない）までの中間フレームの右側にあるすべてのフレー
ムに対しての合計が求められる。合計が閾値α₃及びα₄
の間にあるとすれば、セグメント［j,i_N）はフェード・
インである。

【００４８】開始フレームと最終フレームを用いてディ
ゾルブ内の任意のフレームを補償するために、本発明の
方法とシステムは局所動作が小さいことを想定してい
る。しかしながら、同一の論証はズーム又はパンに対し
ては無効である。図８を参照すると、ディゾルブを検出
するために、中間フレーム内の画素、例えば、ｉ_kの、
ディゾルブのどこかにあるフレーム内の画素、例えば、
ｉ_d、に対する比較を実行しなければならない。このた
め、図７を参照すると、ディゾルブに対してはＩ（ｘ，
ｙ，ｉ_k）となり、以下のように表わされる。

【００４９】

【数３】

【００５０】ここで、ｉ_O、ｉ_k、ｉ_Nは各々、ディゾル
ブの開始、中間、終了を示し、Ｉは明度を示す。この事
実に基づき、さらに図９乃至図１１を参照すると、ディ
ゾルブｉ_dの中間にはないフレームに対する２重色差
（ＤＣＤ）は次の式で表わされる。

【００５１】

【数４】

【００５２】ここでｆは閾値関数である。

【００５３】図９乃至図１１はシーケンスの中間にない
フレームｉ_dに対する２重色差のプロットを示してい
る。図９はズームが行なわれたシーケンスに対する２重
色差を示し、図１０はパンが行なわれたシーケンスに対
する２重色差を示し、図１１はディゾルブが行なわれた
シーケンスに対する２重色差を示している。

【００５４】したがって、図１２を参照すると、ディゾ
ルブを検出するための工程は、（１）所与の一対の不連
続カットｋ_i及びｋ_i+1間のエッジカウントを決定し、
（２）ノイズを除去又は低減するためにエッジ画素の画
像を平滑化し、（３）局所最小値、即ち、ディゾルブの
中間を指示する点、を見出し、（４）各々の局所最小値
ｊについて、最小値の左右両側にある第１の局所最大値
を見出し、これらフレームをｉ_O及びｉ_Nとしてラベル付
けし、（５）ｉ_O及びｉ_N間の各フレームについて２重色
差（ＤＣＤ）を演算することから成る。

【００５５】２重色差の大域最小値に対応するフレーム
のフレーム番号は以下の通りである。

【００５６】

【数５】

【００５７】ここで、ｎ₁及びｎ₂は小さな整数値であ
り、ｍ_DCDはフレーム番号、又は２重色差（ＤＣＤ）の
大域最小値に対応するフレームの指標である。式（１
１）が満たされると、セグメント（ｉ_O、ｉ_N）はディゾ
ルブを表わす。そうでない場合、セグメント（ｉ_O、
ｉ_N）はディゾルブではなく、該セグメントはズーム、
パン、等の可能性がある。

【００５８】詳細には、図１２は本発明による、セグメ
ントをディゾルブとして識別するための方法の１つの具
体的な実施の形態をより詳細に示している。

【００５９】制御はステップＳ１２００から開始し、ス
テップＳ１２１０に続き、現在のラベルづけされたフレ
ームに対する２重色差が決定される。次に、ステップＳ
１２２０では、すべてのフレームに対する２重色差が決
定されたか否かが判断される。すべてのフレームに対し
て２重色差が決定されなかった場合、制御はステップＳ
１２１０に戻る。そうでない場合、制御はステップＳ１
２３０へ移行する。

【００６０】ステップＳ１２３０では、２重色差の大域
最小値に対応するフレームの指標が、（ｊ−ｎ₁，ｊ＋
ｎ₂）のエレメントであるか否かが判断される。２重色
差の大域最小値が（ｊ−ｎ₁，ｊ＋ｎ₂）のエレメントで
ある場合、制御はステップＳ１２４０に移行する。そう
でない場合、制御はステップＳ１２５０にジャンプす
る。

【００６１】ステップＳ１２４０では、セグメントはデ
ィゾルブとして識別される。制御はさらにステップＳ１
２６０へジャンプする。対照的に、ステップＳ１２５０
では、セグメントはズーム、パン、等として識別され
る。制御はさらにステップＳ１２６０へ移行して、ステ
ップＳ１３００へと戻る。

【００６２】ディゾルブ検出方法を検査することにより
以下の結果が判明する。具体的な記録済みニュースプロ
グラムの入力に対して、図１３は各フレームごとの平均
明度ヒストグラムの差のプロットを示している。シーケ
ンスは、不連続カット、連続カット、及び大域カメラ動
作を含む。図１４は、原画像を４個ずつ消去することに
より得られた低解像画像上で検出された不連続カットを
示している。詳細には、不連続カットはフレーム番号２
００及び３４０で確認することができる。図１５は第１
と第２のそれぞれの検出された不連続カット間の領域に
あるフレームの各フレームごとのエッジカウントを示し
ている。図１６は第１と第２のそれぞれの検出された不
連続ユニット間の領域に対する２重色差を示している。
グラフが図１１の２重色差と類似しているので、セグメ
ントはディゾルブであると判断される。したがって、図
１７は具体的なシーケンスのディゾルブの開始フレー
ム、終了フレーム、及び中間フレームとして検出された
フレームを示している。

【００６３】上記方法ならびに装置は、エッジカウント
と、２重色差の判断に基づいて漸次変化を検出する。こ
の基本概念は、漸次変化がほぼリアルタイムで検出可能
であるようにさらに改良され且つ最適化される。

【００６４】詳細には、ビデオセグメンテーションはデ
ィジタルビデオシーケンスの自動注釈とストーリ・ボー
ディングのための第１の工程である。任意のロバストな
ビデオセグメンタもフレーム間の急激且つ漸次的遷移の
双方に対し敏感でなければならない。単純な差メトリッ
ク及び単一の閾値はこれらの変化を同時に検出するのに
十分ではない。図１８は、急激な遷移（例えば、フレー
ム１０３）、ディゾルブ（例えば、フレーム６０乃至７
０）、さらに大域動作（例えば、フレーム５０までのフ
レーム）のあるビデオシーケンスのフレームの数に対し
てプロットされたフレーム差を示している。この場合、
単一の閾値によって、漸次変化の誤検出が多数生じる。
上記アプローチを変更して、エッジカウント等の局所画
像特徴よりもむしろ、画像における大域特徴、例えば、
すべての画素明度の平均値、あるいは、平均値と画素
（の明度）との差などの偏差、に依存することにより、
解析率が上昇し得る。詳細には、実験結果は、ビデオシ
ーケンスをこの最適化アプローチを用いて毎秒１７個の
フレームの割合で処理可能であることを示している。

【００６５】図１９は、リアルタイムで漸次変化を検出
するために最適化される漸次変化検出器１３０の第２の
実施の形態を示している。最適化された漸次変化検出器
１３０は、ヒストグラムコンパレータ１３２、分散値決
定部１３４、及びセグメント識別子１３６から構成され
る。最適化漸次変化検出器１３０はデータバス９０を介
して、不連続カット検出器２０によって検出される不連
続カット間に発生するビデオセグメントを受信する。ヒ
ストグラムコンパレータ１３２は検出された不連続カッ
トによって定義されるビデオセグメント内のすべてのフ
レームのヒストグラムを生成する。分散決定部１３４は
さらに各フレーム間の分散の増減率を決定する。決定さ
れた分散の増減率と、ヒストグラム値に基づいて、セグ
メント識別子１３６は該セグメントをフェード又はディ
ゾルブとして識別する。

【００６６】既に論じたように、時間（ｔ）におけるデ
ィゾルブに対する明度Ｅ（ｘ，ｙ，ｔ）は以下のように
モデル化される。

【００６７】Ｅ（ｘ，ｙ，ｔ）＝Ｉ（ｘ，ｙ，ｔ₁）α（ｔ）＋Ｉ（ｘ，ｙ，ｔ₂）[１−α（ｔ）］＋Ｂ（ｘ，ｙ）．．．（１２）

【００６８】ここで、フェード・インの場合、Ｉ（ｘ，
ｙ，ｔ₁）＝０、フェード・アウトの場合、Ｉ（ｘ，
ｙ，ｔ₂）＝０、ｔ₁及びｔ₂は、漸次変化の開始及び終
了の各点、α（ｔ）は漸次変化内のフレームの時間的位
置に基づくビデオ画像データ信号値の明度関数、即ち、
ランプ関数であり、Ｂ（ｘ，ｙ）は、背景画像Ｂの
（ｘ，ｙ）での画素の明度値である。ランプ関数α
（ｔ）に対する単純線形表示は、以下の式として表わさ
れる。 α（ｔ）＝（ｔ−ｔ₂）／（ｔ₁−ｔ₂）．．．（１３）漸次変化内の任意のフレームの分散、即ち、明度偏差、
に対する二次関数は、以下の通りである。分散＝（Ａｔ−Ｂ）²＋Ｃ．．．（１４）ここで、Ａ、Ｂ、及びＣは各々、ｔ₁及びｔ₂と同様、Ｉ
（ｘ，ｙ，ｔ₁）、Ｉ（ｘ，ｙ，ｔ₂）、及びＢ（ｘ，
ｙ）の各関数である。

【００６９】図２０は分散が最小値Ｃを有することを示
し、これは、画素の明度分布がほぼ均一である点、即
ち、フェード・インの開始、フェード・アウトの終了、
又はディゾルブの中間、に相当する、時間＝Ｂ／Ａでの
背景に対応する。図２１は、フレーム６４と８３の間に
生じるディゾルブを含む具体的なビデオセグメントの分
散プロットである。

【００７０】図２０及び図２１を参照して、漸次変化又
は局所最小値を分散プロットを用いて容易に検出するこ
とができる。しかしながら、図２２に示されるように該
分散プロットは大域又は強変化局所動作の場合に同様の
ふるまいを示すこともある。例えば、図２２では、フレ
ーム７５乃至９７の間にディゾルブがあり、フレーム１
００乃至１３０の間に強変化局所動作がある。

【００７１】局所／大域動作に対応する誤った漸次変化
検出を取り除くために、分散の増減率が決定される。分
散曲線の増減率が予め定義された閾値よりも大きいと、
検出された領域の開始及び終了でのフレームのヒストグ
ラムが点検される。ヒストグラム間の差も予め定義され
た閾値よりも大きいと、該領域はディゾルブの効果を受
ける領域としてマークされる。

【００７２】図２３はフレーム間の急激遷移と漸次的遷
移の双方を同時に検出する具体的な方法を示している。
制御はステップＳ２０００から開始する。ステップＳ２
１００では、漸次変化内におけるすべてのフレームのヒ
ストグラムが決定される。次に、ステップＳ２２００で
は、分散の増減率がこれらフレームについて決定され
る。さらに、ステップＳ２３００では、分散の増減率が
少なくとも「Ｋ」個のフレームに対する所定の閾値より
も大きいか否かについて判断される。例えば、Ｋは作業
モデルでは、任意に７に設定される。７個のフレームは
偽急激変化を除去するのに十分であると認識されてい
る。しかしながら、精度を最大化するフレームの数は選
択可能であることは認識すべきである。分散の増減率が
閾値よりも小さいと、制御はステップＳ２７００へジャ
ンプする。そうでない場合、制御はステップＳ２４００
へと進む。

【００７３】ステップＳ２４００では、検出された領域
の開始及び終了におけるフレームについてヒストグラム
間の差が決定される。次に、ステップＳ２５００では、
これら終了フレームのヒストグラム差が閾値よりも大き
いか否かが判断される。ヒストグラム差が閾値よりも大
きいと、制御はステップＳ２６００に移行し、そうでな
い場合、制御はステップＳ２７００へジャンプする。ス
テップＳ２６００では、セグメントにはディゾルブが行
なわれるものとしてラベル付けされる。制御はさらにス
テップＳ２７００へと進む。ステップＳ２７００では、
制御シーケンスは終了する。

【００７４】図２４は、フレーム間での漸次遷移を同時
に検出するための方法の第２の具体的な実施の形態を示
している。制御はステップＳ３０００から始まる。ステ
ップＳ３１００では、各フレームの分散が決定される。
次に、ステップＳ３２００では、分散の局所最小値が決
定される。さらに、ステップＳ３３００では、局所最小
値における分散の変化率が決定される。制御はさらにス
テップＳ３４００へと続く。

【００７５】ステップＳ３４００では、変化率が第１の
閾値よりも小さいか否かが判断される。変化率が第１の
閾値よりも小さいと、制御はステップＳ４０００へとジ
ャンプし、そうでない場合、制御はステップＳ３５００
へと進む。

【００７６】ステップＳ３５００では、局所最小値前の
局所最大値と、局所最小値後の局所最大値が決定され
る。次に、ステップＳ３６００では、局所最大値でのヒ
ストグラムが決定される。さらに、ステップＳ３７００
では、局所最大値ごとに決定されたヒストグラム間のヒ
ストグラム差が決定される。制御はさらにステップＳ３
８００へと進む。

【００７７】ステップＳ３８００では、その差が第２の
閾値よりも大きいか否かが判断される。差が第２の閾値
よりも大きくなければ、制御はステップＳ４０００へジ
ャンプし、制御シーケンスは終了する。そうでない場
合、制御はステップＳ３９００へと進む。ステップＳ３
９００では、領域がディゾルブ／フェードを経験するも
のとして識別される。制御はさらにステップＳ４０００
へと進み、制御シーケンスは終了する。

【００７８】図２５は、いくつかの急激な変化、大域動
作、及びディゾルブのある具体的なビデオシーケンスか
ら検出されたディゾルブを示している。図２６は、該方
法の動作を説明するための、同一シーケンスから検出さ
れたすべてのカットを示している。

【００７９】図１、図２、及び図１９に示されるよう
に、特徴に基づくビデオセグメンテーションを実行する
ためのシステムならびに方法は好ましくは、プログラム
される汎用コンピュータにおいて実施される。しかしな
がら、この特徴に基づくビデオセグメンテーションを実
行するためのシステムならびに方法を、専用コンピュー
タ、プログラムされるマイクロプロセッサ又はマイクロ
コントローラ及び周辺集積回路素子、ＡＳＩＣ又はその
他の集積回路、ディジタル信号プロセッサ、離散素子回
路等のハード配線電子又は論理回路、ＰＬＤ、ＰＬＡ、
ＦＰＧＡ、ＰＡＬ等のプログラマブル論理デバイス、等
において実施することもできる。一般に、図６、図１
２、図２３、及び図２４に示された各フローチャートを
実施可能な有限状態マシンを実行することのできる任意
のデバイスを使用してビデオセグメンテーションのため
のシステムを実施することができる。

【００８０】

【発明の効果】本発明は上記のように構成されているの
で、フェード、及び／又はビデオシーケンスにおけるデ
ィゾルブをロバストに検出することが可能であるという
優れた効果を有する。

【図面の簡単な説明】

【図１】ビデオセグメント化システムの一つの実施の形
態の機能ブロック図である。

【図２】図１の漸次変化検出器をさらに詳細に示す機能
ブロック図である。

【図３】具体例として画素位置を示す図である。

【図４】ディゾルブ／フェード関数の具体例を示すグラ
フである。

【図５】数か所にディゾルブとズームを含むシーケンス
の具体例を示すグラフである。

【図６】本発明による、ビデオ信号におけるフェード・
イン又はフェード・アウトとしてセグメントを識別する
ための方法の一つの実施の形態の概要を図示する具体的
なフローチャートである。

【図７】ディゾルブの中間における具体的なフレームを
示す図である。

【図８】具体的なディゾルブのフレームを示す図であ
る。

【図９】ズームに関する２重色差の具体例としてのグラ
フである。

【図１０】パンに関する２重色差の具体例としてのグラ
フである。

【図１１】ディゾルブに関する２重色差の具体例として
のグラフである。

【図１２】本発明による、ビデオ信号におけるディゾル
ブを検出するための方法の一つの実施の形態の概要を示
す具体的なフローチャートである。

【図１３】もとの具体的なビデオシーケンスのヒストグ
ラム差分の具体例としてのグラフである。

【図１４】ビデオシーケンスにおける検出された不連続
カットを示す具体例を示すグラフである。

【図１５】図１４の第１及び第２のカット間のフレーム
の具体的なエッジカウントを示すグラフである。

【図１６】図１４の第１及び第２のカット間のフレーム
に対する具体的な２重色差を示すグラフである。

【図１７】検出されたディゾルブセグメントの開始、中
間及び終了を示す図である。

【図１８】ディゾルブ、カット、及び大域動作を有する
ビデオシーケンスに対する具体的なフレーム差分プロッ
トを示すグラフである。

【図１９】本発明による漸次変化検出器の第２の具体的
な実施の形態の機能ブロック図である。

【図２０】分散対フレーム数の具体的なプロットを示す
グラフである。

【図２１】ディゾルブを有するビデオシーケンスに関す
る分散の具体的なプロットを示すグラフである。

【図２２】ディゾルブ及び局所動作を有するビデオシー
ケンスに関する分散の具体的なプロットを示すグラフで
ある。

【図２３】本発明による、ビデオ信号におけるディゾル
ブのリアルタイム検出のための方法の一つの実施の形態
の概要を示す第２の具体例としてのフローチャートであ
る。

【図２４】本発明による、ビデオ信号におけるディゾル
ブのリアルタイム検出のための方法の一つの実施の形態
の概要を示す第２の具体例としてのフローチャートであ
る。

【図２５】具体的なビデオシーケンスからの検出された
ディゾルブ及びカットを示す図である。

【図２６】図１７に示されたシーケンスから検出された
カットを示す図である。

【符号の説明】

１０ビデオセグメント化システム２０不連続カット検出器３０漸次変化検出器４０フレーム取得装置５０コントローラ５５Ｉ／Ｏインタフェース６０メモリ７０ビデオデータソース８０ビデオデータシンク９０データバス

フロントページの続き (72)発明者ホンヒーザーユアメリカ合衆国 08536 ニュージャージー州プレインズボロリンデンレーン 28 (72)発明者スティーブンジェイ．ハリントンアメリカ合衆国 14580 ニューヨーク州ウェブスターバーネット 251 (72)発明者ロバートブリールアメリカ合衆国 60608 イリノイ州シカゴサウスヘインズコート 3001

Claims

【特許請求の範囲】

【請求項１】不連続カット間の漸次変化を検出するビ
デオセグメンテーションシステムであって、ビデオセグメントの一対の不連続カット間の少なくとも
２つのフレームのヒストグラムを決定するヒストグラム
コンパレータと、該少なくとも２つのフレーム間の分散を決定する分散判
定部と、該少なくとも２つのフレーム間の分散に基づく漸次変化
を識別するセグメント識別子と、を有するビデオセグメンテーションシステム。