JP2010507155A - ビデオシーケンス内の漸進的遷移の検出 - Google Patents

Abstract

フェード遷移及びディゾルブ遷移のような、ビデオシーケンスのフレーム間の漸進的遷移を検出する技法を開示する。各フレームに関して、対象フレームを含む或る時間枠のフレーム内の対応する位置における画素の強度値を比較し、符号を、計算された差に割り当てる。各タイプの符号の個数を各画素位置に関して求めて、一致する符号の多い方の個数を、当該フレームと周りのフレームとの間の、画素位置における強度変化の方向の単調性の測度として指定する。その後、大域的単調性測度を、各画素位置に関する単調性値を使用してフレーム全体に関して計算する。これをフレームごとに繰り返して、フレーム強度変化単調性測度の時間シーケンスを生成する。ビデオフレーム間の漸進的遷移を表す、この時間シーケンス内の傾きを検出する。代替的に、時間シーケンス内の値を閾値と比較して、ビデオフレーム間の漸進的遷移を表す値を特定する。

Description

本発明は、デジタルビデオシーケンスのフレーム間の漸進的遷移の検出に関し、より詳細には（しかし排他的ではない）、フェード漸進的ショット遷移及びディゾルブ漸進的ショット遷移(fade and dissolve gradual shot transitions)の検出に関する。

近年、消費者がアクセスすると共に自身のビデオライブラリに保有するデジタルビデオデータの量が急増している。これらのビデオは、市販のＤＶＤ及びＶＣＤ、個人用ビデオカメラの録画、ＨＤＤ及びＤＶＲシステムへの放送の録画、パーソナルコンピュータ又は携帯電話又はＰＤＡ又はポータブルプレーヤへのビデオダウンロード等の形態を取り得る。デジタルビデオライブラリのこの増大は、Ｂｌｕ−Ｒａｙ及びＨＤ−ＤＶＤのような新たな大容量技術の可用性の上昇と共に、継続及び加速すると予想される。しかしながら、この多量のビデオマテリアルはユーザにとって問題でもあり、ユーザは自身のビデオコレクションを管理するのが益々困難になると感じる。これに対処するために、ユーザが自身のビデオコンテンツと、ビデオ分類、要約、検索等のような機能とに効率的にアクセスすることを可能にする新たな自動ビデオ管理技術が開発されている。

このような機能の実現は、個々のビデオの分析及び理解に依存する。したがって、ビデオの分析における第１のステップは、ほとんどの場合、ビデオの構造分割であり、特に、ビデオの構成ショットへの分割である。このステップは、その成果が後続のあらゆるビデオ分析ステップの結果の質に影響を与えるため、非常に重要である。

ショットは典型的には、カメラの「録画開始」操作と「録画停止」操作との間に捕捉されるビデオセグメントとして定義される。したがって、ビデオは多数のショットのシーケンスとして構築される。たとえば、１時間のテレビ番組は典型的には、約１０００個のショットを含む。編集処理においてショットを統合し（put together）、それによって、完成したビデオを形成する様々な方法がある。最も簡単なメカニズムは単にショットを追加することであって、これによって１つのショットの最後のフレームの直後に次のショットの第１のフレームが続くようになる。これによって急なショット遷移が生じ、これは一般に「カット」と呼ばれている。ショットを結合するためのより複雑なメカニズムもあり、これは、複数のフレームにわたって続く漸進的ショット遷移を使用する。漸進的ショット遷移の一般的な例はフェードであり、これによって、ショットの強度が徐々に低下し、最終的に黒の単色フレームとなる（フェードアウト）か、又は黒の単色フレームの強度が徐々に上昇して、実際のショットがその通常の強度において見えるようになる（フェードイン）。黒へのフェード及び黒からのフェードがより一般的だが、他の色の単色フレームを伴うフェードも使用される。漸進的ショット遷移の別の例はディゾルブであり、これは、組み合わされたフェードアウト及びフェードインとして想像することができる。ディゾルブは２つのショットを伴い、複数のフレームにわたって重なり合い、この時間中に第１のショットが徐々に暗くなり、第２のショットが徐々により明瞭になる。

通常、急な遷移は漸進的遷移よりもはるかにより一般的であり、ビデオにおいて見られる全遷移の９９％以上を占める。したがって、急なショット遷移の正確な検出は非常に重要であり、本特許出願と同一の出願人による同時係属中の特許文献１及び特許文献２において検討されている。他方、漸進的遷移は高い意味上の重要性を有するため、このような遷移の検出も非常に重要である。たとえば、フェード及びディゾルブは一般的に、時間の経過又はストーリーにおけるシーンの変化を示すために使用される。したがって、様々な研究者がフェード遷移及びディゾルブ遷移の検出のための方法を提案してきた。

非特許文献１において、ビデオ内のフェード遷移の検出方法が提示されており、この方法は以下のように進行する。まず、ビデオ内で単色フレームを検出する。その後、各単色フレームシーケンスに関してフレーム輝度分散曲線の２次差分曲線における負のスパイクの探索を実行する。このようなスパイクは通常、フェードアウトの開始又はフェードインの終了を表すが、動きによってもたらされる場合もある。このような誤り検出は、フレーム輝度平均曲線の１次差分曲線が比較的一定したままであり、フェード中にその符号が変化しないことを観察することによって除去される。動きが平均特徴(mean feature)も変形させることがあるため、符号チェックを実行する前にこの１次差分曲線が平滑化される。その後、分散曲線がフェードアウト中に下降するとともにフェードイン中に上昇することを観察することによって、フェードアウトをフェードインから区別する。暗いショットによってもたらされる誤った肯定を除去するために、フェードアウトの開始フレーム及びフェードインの終了フレームの分散が特定の閾値を上回っていることも必要である。この方法の難点は、単色フレームの正確な検出に大きく依存していることである。たとえば、速いフェードの場合、単色又は概ね単色のフレームは非常に少ないことがあり、それらのフレームを検出するのは困難であり、結果的にフェード遷移を見落とすおそれがある。逆に、暗いシーンのような特定のビデオセグメントは一般的に単色フレーム誤検出をもたらす。フレーム輝度分散及び平均曲線並びにそれらの導関数に対する条件が、フェード遷移の存在のみでなく、動きのような他の一般的なイベントによっても満たされるという事実と組み合わせると、これらの単色フレーム誤検出によって、一般的に、後続のフェード検出は誤検出となってしまう。暗いシーンによってもたらされる誤検出を除去するためにフェードイン（アウト）終了（開始）フレームの分散に制限を課すことは有用であり得るが、暗いシーンにおける実際のフェードを検出する方法の能力も制限してしまう。

Truong他による上述の著作においては、ビデオ内のディゾルブ遷移の検出方法も提示されている。この方法では、フレーム輝度分散曲線の１次差分曲線におけるゼロ交差シーケンスによってディゾルブの存在がトリガされ、これによって、開始値が負の閾値を下回り、次いで連続的に増加し、そして終了値が正の閾値を上回るようになる。ノイズ及び動きの影響を低減するために、ゼロ交差シーケンスの探索が行われる前に、曲線が平滑化される。しかしながら、この平滑化工程によって、ディゾルブによってもたらされる差分曲線における負及び正のピークの位置はもはや、それらの実際の位置とは一致しない。したがって、差の値が増加して負の閾値を上回るまで負のピークの位置を後方に動かすと共に、差の値が減少して正の閾値を下回るまで正のピークの位置を前方に動かすことによって、位置が調整される。分散曲線はディゾルブの間に放物線形状を有するため、最小値が取得されるはずであるフレームｎを発見することができ、開始フレームｓ、終了フレームｅ、フレームｎにおける分散、及び構成ショット（component shot）分散に関連するさらなる条件を導出することができる。この手法の限界は、それが一定の制約の下で、すなわち、ディゾルブの構成ショットの分散が閾値を超えるという制約、及びディゾルブの持続期間が決して一定の長さを超えないという制約（推奨されている最大長さは２秒である）下で動作することである。第１の制約に関して、これは有効なディゾルブの見落としをもたらすであろう。第２の制約について、通常、このような人為的な制限を課すことは同様に見落としを生じさせるであろう。特に、２秒の最大長さは不得策である。これは、本発明者らが、ディゾルブが一般的にこの持続期間を超えることを発見したためである。

特許文献３「Detection of Transitions in Video Sequences」において、フェード遷移及びディゾルブ遷移の検出のための別の方法が提示されている。この方法では、指定されたタイミングウィンドウサイズによって分離されるビデオシーケンス内のフレームの対に対して、フレーム非類似性測度（ＦＤＭ）値が生成される。各ＦＤＭ値は、２つのフレーム間の正味の非類似性Ｄ_netと、上述した２つのフレーム間のフレーム対のＤ_net値の和として計算される累積非類似性Ｄ_cumとの比として計算される。Ｄ_net及びＤ_cumは、例えばフレームヒストグラム差又は画素ごとのフレーム差等として計算され得る。そして、一定の第１の閾値を超えるＦＤＭデータ内のピークが遷移を示し、一定の第２の閾値を下回るピークの両側におけるＦＤＭ値が遷移の境界を示す。

圧縮領域においてフェード及びディゾルブを検出する様々な方法も提示されている。特許文献４「Methods of Scene Fade Detection for Indexing of Video Sequences」において、圧縮解除を伴わない圧縮ビデオ内のフェード遷移の検出方法が開示されている。この方法の前提は、フェード中に、ほとんどのＰフレームブロックがＤＣ補正項を有することである。フェードインの場合、ＤＣ補正項はたいてい正であり、一方フェードアウトの場合、ＤＣ補正項はたいてい負である。典型的なフェード時間間隔、たとえば１秒が想定され、この時間中、フレームは一貫して、それぞれの遷移を宣言するためのフェードインフレーム又はフェードアウトフレームでなければならない。特許文献５「Method of Detecting Dissolve/Fade in MPEG-compressed Video Environment」において、圧縮解除を伴わない、圧縮ビデオ内のフェード遷移及びディゾルブ遷移の両方の検出方法が開示されている。この方法では、ショット遷移検出方法を用いて、たとえば離れたフレームのヒストグラムを比較することによって、フェード又はディゾルブを含むと推定される候補シーケンスを最初に検出する。その後、この候補シーケンスに関して、アンカーフレームに隣接するＢフレームの時空間的マクロブロックタイプの分布を検査して、この分布が、フェード及びディゾルブを特徴付ける分布に一致しているか否かを確認する。このような一致が見つかった場合、潜在的な遷移の長さが特定限界値と比較されて、この長さがこの限界値を超える場合に遷移を宣言する。この方法及び特許文献４における上述した方法の両方は、ビデオの圧縮解除を必要としないという事実に起因して魅力的であるが、この事実は、方法の適用可能な対象を特定の方法で圧縮されたビデオのみに限定するため制限要素でもある。

ビデオシーケンスのショット間の漸進的遷移は、ビデオシーケンス内に存在すると共に検出を必要とする可能性がある漸進的遷移の唯一のタイプではないことに留意されたい。たとえば、特別な効果によってもたらされる漸進的遷移がフレーム間で生じる可能性もあり、これらのタイプの漸進的遷移を検出することが可能であることも同様に重要である。

欧州特許出願公開第１ ６４０ ９１４号 欧州特許出願公開第１ ６４０ ９１３号 米国特許第５，９９０，９８０号明細書 米国特許第６，３２７，３９０号明細書 米国特許出願公開第２００１／００２１２６７号

Truong, B. T.、Dorai, C、Venkatesh, S.著「New Enhancements to Cut, Fade and Dissolve Processes in Video Segmentation」（Proceedings of the 2000 8th ACM International Conference on Multimedia, pp. 219-227, Nov. 2000）

本発明によれば、ビデオシーケンス内のフレーム間の漸進的時間的遷移を検出する方法であって、
シーケンス内の複数のフレームのうちのそれぞれを処理することであって、このために、当該フレームとシーケンス内の他のフレームとの間の強度変化の方向の均一性の測度を求める、処理すること、及び
結果的に得られる均一性測度値の時間シーケンスを処理することであって、ビデオシーケンス内のフレーム間の漸進的時間遷移を検出する、処理すること、
を含む、方法が提供される。

本発明は、ビデオシーケンスのフレーム内の画像データ間の漸進的時間遷移を検出する方法も提供し、この方法は、
シーケンス内の複数のフレームのうちのそれぞれを処理することであって、
当該フレーム内の画素の強度値と、シーケンス内の少なくとも１つの他のフレーム内の画素の強度値とを比較して、強度の差の値を生成し、
各強度の差の値の符号を求め、
当該フレームを含む時間枠内の複数のフレームにわたって、複数の画素位置のそれぞれに関して、各タイプの符号の個数を求め、
各タイプの符号の求められた個数に従って、当該フレームと時間枠内の他のフレームとの間の強度変化の方向の均一性の測度を求める、処理すること、及び
均一性測度の値における傾きを検出する傾き検出と、閾値を超える値を有する均一性測度を検出する閾値比較とのうちの少なくとも一方を実行することによって、複数のフレームに関して計算された均一性測度を処理すること、
を含む。

これらの特徴の結果として、フレーム間の漸進的遷移を示す均一性測度を検出することができる。

本明細書で使用される場合、用語「強度」は、赤、緑、若しくは青の色成分値、輝度値、又は色差値等のような任意の画素値を指すことに留意されたい。

本発明は、上記の方法を実行するための構成要素を有する各装置も提供する。

本発明は、プログラム可能な処理装置を、上述した方法を実行するように動作可能になるようにプログラムするためのコンピュータプログラム命令を搬送するコンピュータプログラム製品をさらに提供する。

これより、本発明の実施形態を、添付の図面を参照して例としてのみ説明する。

処理装置の構成要素がコンピュータプログラム命令によってプログラムされたときにその中に構成されたとみなされることができる概念的な機能処理装置と共に、本発明の第１の実施形態の構成要素を示す概略図である。 ビデオシーケンス内の各フレームと、シーケンス内の複数の他のフレームとの間の強度変化の方向の単調性の測度を計算するために、図１の処理装置によって実行される処理動作を示す図である。 典型的なフェード遷移の場合の、強度変化の方向の単調性の測度の時間シーケンスのグラフを示す図である。 典型的なディゾルブ遷移の場合の、強度変化の方向の単調性の測度の時間シーケンスのグラフを示す図である。 強度変化の方向の単調性の測度の時間シーケンス内の傾きを検出するために、図１の処理装置によって実行される処理動作を示す図である。

図１を参照すると、本発明の一実施形態は、１つ又は複数のプロセッサ、メモリ、グラフィクスカード等を従来の様態で含むパーソナルコンピュータ（ＰＣ）のようなプログラム可能な処理装置２を、従来のパーソナルコンピュータモニタのような表示装置４、及びキーボードやマウス等のようなユーザ入力装置６と共に備える。

処理装置２は、たとえば、（光ＣＤ ＲＯＭ、半導体ＲＯＭ、磁気記録媒体等のような）データ記憶媒体１２上に記憶されるデータ、及び／若しくは信号１４（たとえば遠隔データベースからの、インターネットのような通信ネットワーク（図示せず）を介する送信又は大気を通じての送信による、たとえば処理装置２への電気又は光信号入力）のようなプログラミング命令入力、並びに／又はキーボードのようなユーザ入力装置６を介してユーザによって入力されるプログラミング命令入力に従って動作するようにプログラムされる。

以下でより詳細に説明するように、プログラミング命令は、ビデオの各フレームの近傍における多数のフレーム間比較に基づいて時間的強度変化単調性（すなわち均一性）測度Ｍ_iを計算すると共に、漸進的ショット遷移の開始点及び終了点をそれぞれ示す、シーケンスＭ_iにおける正の傾き及び負の傾きを検出することによって、ビデオのフレームを処理してフェード遷移及びディゾルブ遷移を検出するように構成されるようになるように処置装置２をプログラムするための命令を含む。

以下の説明から理解されるように、この実施形態は、ビデオ内のフェード遷移及びディゾルブ遷移を検出する新しい方法及び装置を提供する。
この方法及び装置は、
フェード及びディゾルブの検出のための統合された方法であり、異なるタイプを区別する任意選択のステップを含み、
単色フレームの先行する検出(the prior detection)に依存せず、
遷移の長さを想定せず、
異なるフレーム解像度において高い検出性能を有し、圧縮ビデオのコンテキストにおいてＤＣ及びサブＤＣを含み、
シーンコンテンツを問わず高い検出性能を有し、暗いシーン若しくは明るいシーン、又は空のショットのようなテクスチャが乏しいシーンによって制限されない。

プログラミング命令によってプログラムされる場合、処理装置２は、処理動作を実行する複数の機能装置として構成されているとみなすことができる。このような機能装置及びこれらの相互接続の例は図１に示されている。しかし、図１に示されている装置及び相互接続は、概念的なものであり、理解を助けるように例示のためにのみ示されている。これらは、必ずしも、処理装置２のプロセッサ、メモリ等がその中に実際に構成される装置及び接続を表していない。

図１に示されている機能装置を参照すると、中央コントローラ２０は、ユーザ入力装置６からの入力を処理すると共に、さらに他の機能装置に制御及び処理を提供するように動作可能である。メモリ３０が、中央コントローラ２０及び他の機能装置による使用のために設けられる。

入力データインタフェース４０は、処理装置２内の入力データの記憶を制御するように動作可能である。データは、たとえば記憶媒体４２上に記憶されるデータとして、処理装置２に送信される信号４４として、又はユーザ入力装置６を使用して、処理装置２に入力することができる。

この実施形態では、入力データは、ビデオ画像のシーケンスを規定するデータを含む。

入力画像記憶装置５０は、処理装置２へのビデオ画像入力のシーケンスを記憶するように構成される。

強度差計算器６０は、異なるビデオフレーム内の対応する空間位置における画素の強度値を比較して、強度値間の差を計算するように動作可能である。

符号計算器７０は、強度差計算器６０によって生成される差の値を処理して、所定の符号関数に従って各差の符号を求めるように動作可能である。

符号カウンタ８０は、符号計算器７０によって割り当てられるそれぞれの各符号を有する差の値の個数を計算するように動作可能である。より詳細には、符号カウンタ８０は、各画素位置及び強度差計算器６０によって比較される画素強度値の各タイプに関して、正の符号の差の値の個数と、負の符号の差の値の個数とを求めるように動作可能である。

最大値選択器９０は、正の符号を有する差の値の個数及び負の符号を有する差の値の個数から最大個数を選択するように動作可能である。すなわち、最大値選択器９０は、各画素位置及び強度差計算器６０によって比較される画素強度値の各タイプに関して、一致する符号の多い方の個数を選択するように動作可能である。

単調性値計算器１００は、ビデオフレーム近傍内の画素ごとの強度変化の方向の単調性の局所的測度を計算するように動作可能であり、さらに、各ビデオフレームの全体に関して、強度変化の方向の単調性の大域的測度を計算するように動作可能である。

傾き抽出器１１０は、単調性値計算器１００によって計算される大域的単調性値の時間シーケンス内で正の傾き及び負の傾きを検出するように動作可能である。

遷移タイプ検出器１２０は、単色フレームが、検出される遷移の最初において存在するのか又は最後において存在するのか判断するように動作可能であり、それによって、遷移のタイプを確定することができる。

ディスプレイコントローラ１３０は、中央コントローラ２０の制御下で、表示装置４を制御して、処理装置２へのビデオフレーム入力を表示するように動作可能である。

出力データインタフェース１４０は、処理装置２からのデータの出力を制御するように動作可能である。この実施形態では、出力データは、ビデオフレームにおいて検出される漸進的遷移の位置及び任意選択的にタイプを規定する。

図２は、この実施形態における、ビデオフレームのシーケンスを処理するために処理装置２によって実行される処理動作を示す。

図２を参照すると、処理が、ビデオフレームシーケンス

に関して実行される。式中、ｉはフレームインデックスであり、Ｔはビデオ内のフレームの総数であり、ｃは色チャネルインデックスであり、Ｃ₁〜Ｃ_Kは色チャネルであり、Ｋは色チャネルの個数であり、たとえば｛Ｃ₁、Ｃ₂、Ｃ₃｝＝｛Ｒ、Ｇ、Ｂ｝又は｛Ｃ₁、Ｃ₂、Ｃ₃｝＝｛Ｙ、Ｃ_b、Ｃ_r｝であり、ｘ及びｙは空間座標であり（したがってフレーム内の画素位置を規定する）、Ｍは水平フレーム次元であり、Ｎは垂直フレーム次元である。

ステップＳ１０において、強度差計算器６０は、以下のように、各フレームと前のフレームとの間の差ｄを計算する。

したがって、ｄ_i ^c（ｘ，ｙ）は、色チャネルｃに関して、フレームｉ内の位置（ｘ，ｙ）における画素の強度値の差を表す。ここで「強度」は、Ｒ、Ｇ若しくはＢの色成分値、輝度値（ｙ）、又は色差値(chrominance)Ｃ_b若しくはＣ_r等のような任意の画素値を指す（特定タイプの画素値はこの式において色チャネルｃによって求められる）。

その後、ステップＳ１２において、符号計算器７０が符号関数ｓを以下のように計算する。

フェード遷移及びディゾルブ遷移の検出は、局所的時間的強度変化単調性測度ｍ_iに依存する。簡単に述べると、ｍ_iは、フレームｆ_iの近傍におけるフレーム間の強度変化の方向の一貫性の測度である。したがって、ｍ_iは、ｆ_iの時間的近傍において、すなわち、サイズ２ｗ＋１の時間枠内のフレーム［ｆ_i-w、ｆ_i+w］に関して強度変化のパターンを観察することによって、ｆ_iの各色チャネル及び空間位置において計算される。より詳細には、本発明のこの実施形態では、ｍ_iは以下のように計算される。まず、ステップＳ１４、Ｓ１６、及びＳ１８において、測度ｐ_i、ｎ_i、及びｕ_iが、符号カウンタ８０及び最大値選択器９０によって以下のように計算される。

実際には、ｐ_i ^c（ｘ，ｙ）は、色チャネルｃ及び空間位置（ｘ，ｙ）に関して、フレームｆ_iの時間的近傍における正の符号の個数、ひいては強度上昇を示す。同様に、ｎ_i ^c（ｘ，ｙ）は、負の符号の個数、ひいては強度低下を示し、ｕ_i ^c（ｘ，ｙ）は、正であるか又は負であるかを問わず、一致する符号の多い方の個数を示す。

その後、ステップＳ２０において、局所的時間的強度変化単調性測度ｍ_iが単調性値計算器１００によって以下のように計算される。

式中、φは閾値である。本発明者らは、良好な閾値はφ＝４ｗ／３であることを発見した。ここで、上述したように、ｗはフレーム時間枠サイズを制御する。簡単に述べると、ｍ_i ^c（ｘ，ｙ）は、チャネルｃの位置（ｘ，ｙ）において観察される一致する符号の多い方の個数が十分に多く且つ時間枠サイズに関して有意である（significant）場合は、当該個数に等しく、そうでない場合は０に等しい。たとえば、ｗ＝７の場合（本発明者らは、７が漸進的遷移の検出に関して良好な値であることを発見した）、時間枠は７つのフレームを含み、６回のフレーム比較を提供し、結果として、正（単調強度が上昇する）又は負（単調強度が低下する）の、最大６つの一致する符号を有することが可能である。したがって、式（７）によれば、ｍ_i ^c（ｘ，ｙ）は{０，５，６}の値をとる。

その後、ステップＳ２２において、フレームｆ_iの大域的時間的強度変化単調性測度Ｍ_iが単調性値計算器１００によって以下のように計算される。

図３及び図４は、典型的なフェード遷移及びディゾルブ遷移の場合の、ｉに対するＭ_iのグラフを示す。図３では、点Ａ及びＢはフェードアウトの開始点及び終了点であり、一方、Ｃ及びＤはフェードインの開始点及び終了点である。図４では、Ｅ及びＦは、ディゾルブの開始点及び終了点である。したがって、シーケンスＭ_iがフェード遷移又はディゾルブ遷移の最初において正の傾きを示し、その後、遷移の持続期間中、高い値を保ち、そして遷移の最後において負の傾きを示すことが明らかである。これは、フェード又はディゾルブ中、ショットにおける大多数のフレーム強度値が、複数のフレームにわたって且つ或る程度の一貫性を有した状態で新しい値に収束するという事実に起因する。したがって、フェード及びディゾルブの検出は、Ｍ_iにおける正の傾き及び負の傾きを検出する問題となる。

このような傾きの検出は、たとえばＭ_iの導関数を処理することによって達成することができる。本発明のこの実施形態においてこのような傾きを検出するために傾き抽出器１１０によって実行される処理を図５に示す。

図５を参照すると、ステップＳ３０において、差分系列Ｄ_iが以下のように計算される。

その後、ステップＳ３２〜Ｓ３８において、以下の場合に、フレームインデックスαとフレームインデックスβとの間の正の傾きが検出される。

ここで、τ^p _stpはステップ閾値であり、τ^p _totは総上昇閾値である。同様に、ステップＳ４０〜Ｓ４６において、以下の場合に、αとβとの間の負の傾きが検出される。

ここで、τⁿ _stpはステップ閾値であり、τⁿ _totは総上昇閾値である。

本発明の好ましい一実施形態では、シーケンスＭ_iは、正の傾き及び負の傾きの検出前に、何らかの平滑化を受ける。時折、ショットにおける速い動き及び照明変化のような特定のビデオ特徴によって結果的に、有効な遷移の傾きのうちの１つの明瞭性が低減し、検出が困難になる場合があることにも留意されたい。上記の傾き検出処理がこのような傾きを見落とす場合、遷移の検出は、他の傾きの斜度とデフォルトの遷移長さとに基づくことができる。

線形回帰のような、Ｍ_iにおける正の傾き及び負の傾きを検出するための他の手法も適切であり得るが、より複雑な計算が必要となる。

この実施形態では、遷移タイプ検出器１２０が、フェードイン遷移、フェードアウト遷移、及びディゾルブ遷移の曖昧性を排除するための処理を実行するように提供される。より詳細には、この実施形態では、遷移タイプ検出器１２０は、遷移が単色フレームにおいて開始するか又は終了するか否かを判断する。遷移の検出のために単色フレーム検出に依存する上述の方法とは異なり、この実施形態は遷移の曖昧性排除のみのための技法を使用し、したがって、この単色フレーム検出処理の一部におけるいかなるエラーも遷移の見落とし又は遷移の誤検出をもたらさないことに留意されたい。単色フレームの検出のための１つの可能性は、検出される遷移の両側における複数のフレームに関してフレーム間強度分散を計算すると共に、単色フレームが検出されるようにこの分散測度が閾値を必ず下回るようにすることである。このような手法の欠点は、分散計算が必要とするより複雑な計算である。したがって、この実施形態では、遷移タイプ検出器１２０は、点ＢとＣとの間における図３の観察から分かるように、単色フレームシーケンスの場合に略ゼロ又はゼロの値を得るＭ_iから単色フレームを直接検出する。対照的に、このような低い値は典型的には、動きが非常に少ない場合でも通常のビデオフレームでは観察されないが、静止画シーケンスの場合はこの限りではない。

多数の変更及び変形を上記の実施形態に対して行うことができる。たとえば、式（２）〜（８）は、局所的時間的強度変化単調性測度ｍ_i及び大域的時間的強度変化単調性測度Ｍ_iの計算の一例に過ぎない。本発明の代替の実施形態では、異なる技法を使用することができる。たとえば、式（３）の代わりに以下を用いることができる。

ここで、閾値θ^p及びθⁿは、ノイズ又は圧縮等によって生じる小さな強度変動が後続の計算を損なわないことを確実にする。さらに、強度上昇の絶対値Ｐ_i及び強度低下の絶対値Ｎ_iを以下のように測定することもできる。

次いで、ｍ_iを、式（４）及び（５）において示したようにｐ_i及びｎ_iの関数として、また上記で示したようにＰ_i及びＮ_iの関数として計算することができる。たとえば以下の通りである。

ここで、φ、ω、及びζは閾値である。このように、式（１５）は式（４）に類似しているが、（１５）では、強度の上昇及び低下の量もｍ_iの計算において考慮される。

さらに、前述の実施形態では、ビデオ内の全フレームを測度の計算のために処理する。本発明の代替の実施形態では、異なる時間ステップサイズを使用し、その結果１つおき又は２つおき等でフレームを処理し、結果的にビデオの処理を加速することができる。
また、上述の実施形態では、フレームｆ_iの局所的時間的強度変化単調性測度ｍ_iを、ｆ_iを中心にしたサイズ２ｗ＋１のフレームの時間的近傍において計算する。本発明の代替の実施形態では、上記近傍を、任意のサイズを有するものと想定し、ｆ_iを中心としなくてもよいようにすることができる。
さらに、上述の実施形態では、ビデオフレームの全色チャネルを測度の計算のために使用する。本発明の代替の実施形態では、チャネルのサブセットのみを使用することができるか、又は大域的時間的強度変化単調性測度Ｍ_iの計算において各チャネルにおけるｍ_i値をその色チャネルに従って重み付けすることができる。

上述の実施形態では、ビデオフレーム内の全画素位置（ｘ，ｙ）に関して局所的単調性測度ｍ_iを計算し、全画素位置に関してｍ_iを考慮に入れて各フレームの全体に関して大域的単調性測度Ｍｉを計算する。しかしながら、代わりに、各フレームの中央部分のような各フレームの一部のみの画素位置を使用することができる。このような処理は、たとえばフレームが、各フレームの端における黒いバーがフレームの一部として符号化されるワイドスクリーンビデオフレームである場合に利点を提供することができる。

さらに、各色チャネルｃに関して、ｍ_i ^c（ｘ，ｙ）が２次元信号であることは当業者には明らかであろう。したがって、各色チャネルｃに関して、この信号を、大域的測度Ｍ_iの計算前に空間的に処理することができる。たとえば、スプリアスノイズ除去アルゴリズムを使用して、ゼロではないがゼロの値によって囲まれているｍ_i値をゼロに設定することができる。このような処理は、大域的Ｍ_i測度の安定性を向上させることができる。

さらに、上述の実施形態では、漸進的遷移の検出は、Ｍ_iにおける傾きの検出に基づいている。本発明の代替の実施形態では、漸進的遷移の検出はＭｉにおける実際の値に基づくことができる。したがって、代替の一実施形態では、閾値をＭ_iシーケンスに適用することができ、Ｍｉ値がこの閾値を超えるときに漸進的遷移を検出する。この方法を、前の実施形態の傾き検出方法と組み合わせることもできる。

本明細書において説明する方法は、様々な空間解像度のビデオに適用され得る。本発明の好ましい一実施形態では、高い解像度フレームが処理前に何らかのサブサンプリングを受け、それによってビデオの処理を加速すると共にまた、ノイズ、圧縮、動き等から生じる不安定性を軽減する。特に、本明細書において説明する方法は、水平及び垂直において、圧縮ビデオのＤＣ解像度、典型的な数十の画素において首尾よく動作する。これの追加の利点は、圧縮ビデオを完全に復号化して処理する必要がないということである。ＩフレームをＤＣレベルにおいて容易に復号化することができ、一方、ＤＣ動き補償を他のタイプのフレームに使用することができる。

さらに、本明細書において説明する方法は、動きに対して著しいロバスト性を示すが、さらにフレーム間差分の計算の前に大域的動き補償アルゴリズムを導入することによって向上させることができ、それによってそのロバスト性がさらに向上する。

フェード遷移及びディゾルブ遷移を検出する処理を上記の実施形態において説明してきたが、この実施形態を使用して、特定のタイプの特別効果によってもたらされる漸進的遷移のような、同様の特徴を有する他のタイプの漸進的遷移を検出することもできる。

上述した実施形態では、処理は、コンピュータプログラム命令によって規定される処理ルーチンを使用してプログラム可能なコンピュータ処理装置によって実行される。しかしながら、代わりにハードウェアを使用して、処理のうちの幾つか又は全てを実行することができる。

当然のことながら、他の変更が可能である。

Claims (28)

1. ビデオフレームのシーケンスを処理してフレーム間の漸進的遷移を検出する方法であって、
   前記シーケンス内の複数のフレームのうちのそれぞれに関して、該フレームと前記シーケンス内の他のフレームとの間の強度変化の方向の単調性の測度を計算することであって、それによって、前記複数のフレームのうちのそれぞれに関する各強度変化単調性測度値を含む強度変化単調性測度値の時間シーケンスを生成する、計算すること、及び
   前記強度変化単調性測度値を処理することであって、ビデオフレーム間の漸進的遷移を表す、前記時間シーケンス内の単調性測度値を検出する、処理すること、
   を含む、方法。
2. 前記複数のフレームのうちのそれぞれを含む、フレームの時間枠のフレーム間で画素の強度値を比較することによって、前記複数のフレームのうちのそれぞれを処理して、該フレームと前記シーケンス内の他のフレームとの間の強度変化の方向の単調性の測度を計算する、請求項１に記載の方法。
3. 複数の各色チャネルにおいて前記複数のフレーム内の画素の強度値を比較することによって、前記複数のフレームのうちのそれぞれを処理して、該フレームと前記シーケンス内の他のフレームとの間の強度変化の方向の単調性の測度を計算する、請求項１又は請求項２に記載の方法。
4. 前記複数のフレーム内の画素の強度値を比較することであって、該強度値間の差を計算する、比較すること、
   前記計算された差の符号を求めること、及び
   前記求められた符号を処理することであって、強度変化の方向の単調性の測度を生成する、処理すること、
   によって、前記複数のフレームのうちのそれぞれを処理して、該フレームと前記シーケンス内の他のフレームとの間の前記強度変化の方向の単調性の測度を計算する、請求項１から請求項３までのいずれか一項に記載の方法。
5. 各前記計算された差の符号は、該差と上側閾値及び下側閾値とを比較すること、並びに該差が該下側閾値を下回るか、該上側閾値を上回るか、又は該下側閾値と該上側閾値との間にあるかに従って前記符号を割り当てることによって求められる、請求項４に記載の方法。
6. 各フレームに関する前記強度変化の方向の単調性の測度を、各符号の計算された差の個数に従って生成する、請求項４又は請求項５に記載の方法。
7. 各フレームに関する前記強度変化の方向の単調性の測度を、各画素位置における、一致する符号の多い方の個数に従って生成する、請求項６に記載の方法。
8. 前記フレームを含む、フレームの時間枠の前記フレーム内の対応する画素位置における画素の強度値を比較して該強度値間の差を計算し、
   各画素位置に関する一致する符号の多い方の個数が閾値よりも大きいか否かに従って、前記強度変化の方向の単調性の測度を生成し、前記閾値は前記時間枠内のフレームの個数に従う値を有する、請求項７に記載の方法。
9. 各フレームに関する前記強度変化の方向の単調性の測度を、さらに前記差の量に従って生成する、請求項４から請求項８までのいずれか一項に記載の方法。
10. 前記強度変化単調性測度値を処理して、前記時間シーケンス内の該強度変化単調性測度値の傾きを検出することによって、ビデオフレーム間の漸進的遷移を表す、前記時間シーケンス内の単調性測度値を検出する、請求項１から請求項９までのいずれか一項に記載の方法。
11. 前記時間シーケンス内の隣接する単調性測度値間の差を求めることであって、単調性の差を生成する、求めること、
    単一の単調性の差又は複数の連続する単調性の差を含む単調性の差のセットを特定することであって、該セット内の各単調性の差は、単調性の差の第１の閾値を上回る値を有する、特定すること、及び
    前記セット内の前記単調性の差の値の和が単調性の差の第２の閾値を上回る否かを判断すること、
    によって、前記時間シーケンス内の該強度変化単調性測度値の傾きを検出するために前記強度変化単調性測度値を処理する、請求項１０に記載の方法。
12. 前記時間シーケンス内の隣接する単調性測度値間の差を求めることであって、単調性の差を生成する、求めること、
    単一の単調性の差又は複数の連続する単調性の差を含む単調性の差のセットを特定することであって、該セット内の各単調性の差は、単調性の差の第３の閾値を下回る値を有する、特定すること、及び
    前記セット内の前記単調性の差の値の和が単調性の差の第４の閾値を下回る否かを判断すること、
    によって、前記時間シーケンス内の該強度変化単調性測度値の傾きを検出するために前記強度変化単調性測度値を処理する、請求項１０又は請求項１１に記載の方法。
13. 前記方法は、単色フレームが、ビデオフレーム間の検出された漸進的遷移の付近におけるフレーム内に存在するか否かを判断することをさらに含む、請求項１から請求項１２までのいずれか一項に記載の方法。
14. ビデオフレームのシーケンスを処理してフレーム間の漸進的遷移を検出するように動作可能な装置であって、
    前記シーケンス内の複数のフレームのうちのそれぞれに関して、該フレームと前記シーケンス内の他のフレームとの間の強度変化の方向の単調性の測度を計算して、前記複数のフレームのうちのそれぞれに関する各強度変化単調性測度値を含む強度変化単調性測度値の時間シーケンスを生成するように動作可能な監視測度計算器と、
    前記強度変化単調性測度値を処理して、ビデオフレーム間の漸進的遷移を表す、前記時間シーケンス内の単調性測度値を検出するように動作可能な遷移検出器と、
    を備える、装置。
15. 前記単調性測度計算器は、前記複数のフレームのうちのそれぞれを含む、フレームの時間枠のフレーム間で画素の強度値を比較することによって、前記複数のフレームのうちのそれぞれを処理して、該フレームと前記シーケンス内の他のフレームとの間の強度変化の方向の単調性の測度を計算するように動作可能である、請求項１４に記載の装置。
16. 前記単調性測度計算器は、複数の各色チャネルにおいて前記フレーム内の画素の強度値を比較することによって、前記複数のフレームのうちのそれぞれを処理して、該フレームと前記シーケンス内の他のフレームとの間の強度変化の方向の単調性の測度を計算するように動作可能である、請求項１４又は請求項１５に記載の装置。
17. 前記単調性測度計算器は、
    前記複数のフレーム内で画素の強度値を比較することであって、該強度値間の差を計算する、比較すること、
    前記計算された差の符号を求めること、及び
    前記求められた符号を処理することであって、強度変化の方向の単調性の測度を生成する、処理すること、
    によって、前記複数のフレームのうちのそれぞれを処理して、該フレームと前記シーケンス内の他のフレームとの間の前記強度変化の方向の単調性の測度を計算する、請求項１４から請求項１６までのいずれか一項に記載の装置。
18. 前記単調性測度計算器は、各前記計算された差の符号を、該差と上側閾値及び下側閾値とを比較すること、並びに該差が該下側閾値を下回るか、該上側閾値を上回るか、又は該下側閾値と該上側閾値との間にあるかに従って前記符号を割り当てることによって求めるように動作可能である、請求項１７に記載の装置。
19. 前記単調性測度計算器は、各フレームに関する前記強度変化の方向の単調性の測度を、各符号の計算された差の個数に従って生成するように動作可能である、請求項１７又は請求項１８に記載の装置。
20. 前記単調性測度計算器は、各フレームに関する前記強度変化の方向の単調性の測度を、各画素位置における、一致する符号の多い方の個数に従って生成するように動作可能である、請求項１９に記載の装置。
21. 前記単調性測度計算器は、前記複数のフレームのうちのそれぞれに関して、該フレームを含む、フレームの時間枠の前記フレーム内の対応する画素位置における画素の強度値を比較して該強度値間の差を計算するように動作可能であり、
    前記単調性測度計算器は、各画素位置に関する一致する符号の多い方の個数が閾値よりも大きいか否かに従って、前記強度変化の方向の単調性の測度を生成するように動作可能であり、前記閾値は前記時間枠内のフレームの個数に従う値を有する、請求項２０に記載の装置。
22. 前記単調性測度計算器は、各フレームに関する前記強度変化の方向の単調性の測度を、さらに前記差の量に従って生成するように動作可能である、請求項１７から請求項２１までのいずれか一項に記載の装置。
23. 前記遷移検出器は、前記強度変化単調性測度値を処理して、前記時間シーケンス内の該強度変化単調性測度値の傾きを検出するように動作可能な傾き検出器を含む、請求項１４から請求項２２までのいずれか一項に記載の装置。
24. 前記傾き検出器は、
    前記時間シーケンス内の隣接する単調性測度値間の差を求めることであって、単調性の差を生成する、求めること、
    単一の単調性の差又は複数の連続する単調性の差を含む単調性の差のセットを特定することであって、該セット内の各単調性の差は、単調性の差の第１の閾値を上回る値を有する、特定すること、及び
    前記セット内の前記単調性の差の値の和が単調性の差の第２の閾値を上回る否かを判断すること、
    によって、前記時間シーケンス内の該強度変化単調性測度値の傾きを検出するために前記強度変化単調性測度値を処理するように動作可能である、請求項２３に記載の装置。
25. 前記傾き検出器は、
    前記時間シーケンス内の隣接する単調性測度値間の差を求めることであって、単調性の差を生成する、求めること、
    単一の単調性の差又は複数の連続する単調性の差を含む単調性の差のセットを特定することであって、該セット内の各単調性の差は、単調性の差の第３の閾値を下回る値を有する、特定すること、及び
    前記セット内の前記単調性の差の値の和が単調性の差の第４の閾値を下回る否かを判断すること、
    によって、前記時間シーケンス内の該強度変化単調性測度値の傾きを検出するために前記強度変化単調性測度値を処理するように動作可能である、請求項２３又は請求項２４に記載の装置。
26. 前記装置は、単色フレームが、ビデオフレーム間の検出された漸進的遷移の付近におけるフレーム内に存在するか否かを判断するように動作可能である単色フレーム検出器をさらに備える、請求項１４から請求項２５までのいずれか一項に記載の装置。
27. プログラム可能な処理装置を、請求項１から請求項１３までのうちの少なくとも一項に記載の方法を実行するように動作可能になるようにプログラムするためのコンピュータプログラム命令を記憶する記憶媒体。
28. プログラム可能な処理装置を、請求項１から請求項１３までのうちの少なくとも一項に記載の方法を実行するように動作可能になるようにプログラムするためのコンピュータプログラム命令を搬送する信号。

Images