JP2008544666A - 画像シーケンスでフェードを検出するための手順及び装置 - Google Patents

Abstract

本発明は画像のシーケンスにおいてフェードを検出する方法に関連し、以下のステップを含む：
‐検出窓と呼ぶ連続的なＮ枚の画像の長さの窓の各々の画像、及び該検出窓に先行する画像の算出であって、輝度レベルが各々の該画像の各々の該画素と関連する輝度値に基づいているような算出（１０）；
−該現在の画像と関連する輝度レベル及び該現在の画像に先行する画像と関連する輝度レベル間の差異に基づいた該検出窓の該Ｎ枚の画像の各々に対するフェードの検出（１１）；
及び−２≦ｋ≦Nにおいて、前記検出窓の少なくともｋ枚の画像においてフェードが検出された場合、そこからの該検出窓のフェードの存在の推定（１２）。

Description

本発明は、画像シーケンスでフェード（fade）を検出するための手順及び装置に関する。

画像処理の領域（例えば圧縮、内容の改良）において、例えば、２つの画像間の動作を予想する、または、シーケンスの画像へ時間的なフィルタをかけるため、画像シーケンスに適用される方法は、多くの場合、情報の時間的追跡を必要とする。しかし、画像のシーケンスにおける時間的連続の中断は、これらの方法の実施を中断させる。この多少急な中断は多かれ少なかれ、２つの連続した画像間の有意な内容の（例えば転移）修正に対応する。その識別は、これらの方法を適用する間、この切れ目を考慮し、したがって、それらの堅固性を改善するために必要である。

より詳しくは、ショットまたはシーケンスショットは、単一の画像取込み部のカメラまたはカムコーダによって撮影された中断されない連続した画像である。このショットは、ビデオ内容を分析または構成するために使用される基本的なユニットである。ビデオシーケンスは、ビデオ編集手順を用いて相互に連結したショットの連続を一般に含む。これらの手順は特に、２つのショット間での突然の転移や、２つの画像を混合することによってある画像を次第に他の画像に変えるによる段階的転移（例えばフェード）の作成を可能にする。これらの転移の検出は、画像シーケンス符号化適用の場合に、コーダによって作成される選択（例えば一群の画像の構造または「ＧＯＰ」）のこれらの転移を考慮することによって符号化品質を改善することを可能にする。この検出も、特に内容周辺で非線形のナビゲーションを可能にするため、ショット境界及び話のユニットの検索を可能にする。

本発明は、画像のシーケンスにおける段階的転移、特にフェードの検出を目的とする。

本発明は、それぞれが少なくとも一つの輝度値と関連する画素または像点を含む画像のシーケンスにおいてフェードを検出するための方法に関し、それは以下のステップを含む：
検出窓（window）と呼ばれる、連続的なＮ枚の画像の長さの窓の各々の画像、及び、検出窓に先行する画像の算出（１０）、であって、輝度レベルは、各々の画像の各々の画素と関連する輝度値を基礎としたものである；
現在の画像と関連する輝度レベル及び現在の画像に先行する画像と関連する輝度レベル間の差異に基づいた検出窓のＮ枚の画像の各々に対するフェードの検出（１１）；
及び−２≦ｋ≦Ｎにおいて、検出窓の少なくともｋ枚の画像に対してフェードが検出された場合、検出窓に対するフェードの存在のそこからの推定（１２）。

好ましくは、画像と関連している輝度レベルは、画像の各々の画素と関連している輝度値の合計に等しい。

好都合にも、発明の方法は、検出窓と関連している動作レベルが所定の基準値より少ない場合、検出窓のフェードの存在を確認するためのさらに追加的なステップを含む。

好ましくは、現在の画像と関連している動作のレベルは、現在の画像、及び、先行画像と呼ばれる現在の画像に先行する画像の間で算出される時間的活動と現在の画像のために算出される空間的活動との間の比率に等しい。さらに、決定窓と関連している動作のレベルは、決定窓の最後の画像と関連している動作のレベルに等しい。

好ましくは、画像及び先行画像間の時間的活動は、画像の各々の画素と関連している輝度値及び先行する画像の各々の画素と関連している輝度値間の画素に関する差異の絶対値の合計と等しい。さらに、画像の空間的活動は、画像の各々の画素と関連している輝度値の絶対値の合計に等しい。

本発明は、それぞれは少なくとも一つの輝度値と関連する画素または像点を含む画像のシーケンスにおいてフェードを検出する装置にも関連する。それは、以下の構成を含む：
検出窓と呼ばれる連続的な画像の長さの窓Ｎの各々の画像、及び、検出窓に先行する画像を算出するための計算手段（３２、３３、３４）であって、輝度レベルは、各々の画像の各々の画素と関連する輝度値を基礎としたものであるような計算手段；
現在の画像と関連する輝度レベル及び現在の画像に先行する画像と関連する輝度レベル間の差異に基づいた検出窓の各々のＮ画像のためのフェードを検出するための検出手段（３２、３３、３４）；及び、
検出窓の少なくともｋ画像のために、フェードが２≦ｋ≦Ｎで検出された場合、検出窓のためのフェード存在を導き出すための手段（３２、３３、３４）。

本発明は、発明のフェードを検出する符号化手段及び装置を含むビデオ・コーディング機構にさらに関連がある。

本発明は、指数化手段及び発明のフェードを検出する装置を含むことにおいて特徴付けられる画像のシーケンスを構築する装置にさらに関連がある。

本発明は、全体において非制限的で好適な例示的実施形態及び添付された図に関する実施の方式によってよりよく理解され、図示される。

本発明は、画像のシーケンスにおいてフェードを検出する狙いがあり、シーケンスは段階的またはインタレースされていて、各々の画像は、各々が特に輝度値と関連する画素を含んでいる。インタレース・シーケンスの場合、各々の画像は、偶数領域と奇数領域とを備える。各々の領域は、各々が特に輝度値と関連する画素または像点を含む。画像ｓのシーケンス及び画像fのシーケンスを考慮すると（例えば黒色またはほとんど均一の画像のシーケンス）、fからsへのフェードはフェードインと呼ばれ、その逆も同じで、ｓからｆへのフェードはフェードアウトと呼ばれる。ｓからｆへのフェードまたはｆからｓへのフェードを含む画像のシーケンスは、次のように定義される：

ｅ（ｘ，ｙ，ｎ）＝（１−ｘ（ｎ））．ｓ（ｘ，ｙ，ｎ） ＋ ｘ（ｎ）．ｆ（ｘ，ｙ，ｎ）
ここで：ｘ(ｎ)はフェード係数であり、ｎはシーケンスの画像の指標であり、(ｘ，ｙ)は画像の画素の座標である。係数ｘ(ｎ)は、画像またはフレーム内部で均一であり（すなわちx及びyから独立している）、０及び１の間で存在する。提供された画像またはフレームｎのための輝度レベルＬ_ｅ(ｎ）を以下のように定義する：

それは、

に従い、それゆえにＬ_ｅ（ｎ）＝(１−ｘ（ｎ））＊Ｌ_ｓ（ｎ）＋ｘ（ｎ）Ｌ_ｆ（ｎ）である。画像ｆ(ｘ，ｙ，ｎ)が均一であり、Ｌ_ｆ及びＬ_ｆ（ｎ）＝Ｌ_ｆ（ｎ＋１）に等しい輝度レベルを有すとみなすことによって、画像またはフレームｎと関連する輝度レベル及び画像またはフレームｎ＋１と関連している輝度レベル間の差異が：

Ｌ_ｅ（ｎ＋１）−Ｌ_ｅ（ｎ）＝（１−ｘ（ｎ＋１））＊Ｌ_ｓ（ｎ＋１）−（１−ｘ（ｎ））＊Ｌ_ｓ（ｎ）＋（ｘ（ｎ＋１）−ｘ（ｎ））Ｌ_ｆ
と等しくなる。
輝度の差のＬ_ｓ（ｎ＋１）−Ｌ_ｓ（ｎ）＝ΔＬ_ｓ（ｎ＋１）は、
Ｌ_ｓ（ｎ＋１）−Ｌ_ｅ（ｎ）＝ΔＬ_ｓ（ｎ＋１）＊（１−ｘ（ｎ））−（ｘ（ｎ＋１）−ｘ（ｎ））＊（Ｌ_ｓ（ｎ＋１）−Ｌ_ｆ）
と等しい。
フェード係数ｘ（ｎ）は、指標0の画像（またはフレーム）から指標Ｎの画像（またはフレーム）までのＮ画像またはフレームの間続くフェードにおいて直線である場合、ｘ（ｎ）は以下の方法で分割される：

ｋ_１及びｋ_２は、フェード係数の直線の性質を表すことができる2つの係数である。フェードインの場合：ｘ(０)＝１及びｘ(Ｎ)＝０である。フェードアウトの場合：ｘ(０)＝０及びｘ(Ｎ)＝１である。したがって、画像ｎとｎ＋１の間の輝度レベルの振幅は：

に等しい。
シーケンスｓの２つの連続した画像（またはフレーム）間の輝度レベルの振幅は、シーケンスｓ及びシーケンスｆ間の輝度振幅に関して一般にごくわずかであり、このことにより、それを上記の式を以下のように単純にすることができる：

シーケンスｓに沿って輝度レベルの定常性を仮定することによって、式は以下の方法で単純にされる：

後者の仮定は、ほとんどのフェードが弱い動作のシーケンスに基づいて発生する限り、ほとんどの場合有効である。したがってフェードの間、２つの画像（またはフレーム）間の輝度レベルの振幅は、フェードの開始及び終わりの間の輝度レベルの振幅（Ｌ_ｓ−Ｌ_ｆ）に依存し、フェードの継続時間（Ｎ画像またはフレーム）に反比例する。発明の方法は、したがって、２つの連続した画像の間の輝度レベルの振幅の検出に基づく。この振幅はその後で、実験的に定義された基準値と比較される。

好適な実施の形態によれば、図１で図示される方法は１０から１３で示される４つのステップに分割される。この図において、表されるモジュールは、物理的に識別可能なユニットに対応するまたは対応しない機能単位である。例えば、これらのモジュールまたはそれらの一部は、単一の構成要素において一緒に集められる、または、同じ一つのソフトウェアの機能を構成する可能性がある。反対に、特定のモジュールは、可能であれば別々の物理的な構成要素から構成される可能性がある。以下の文献において、説明を単純にするため、用語「画像」は、２つのフレームまたは1つのフレームのみからなる画像だけを表わすために使われる。

ステップ１０は、検出窓と呼ばれるＮ枚の画像の長さの窓の上で、検出窓の各々の画像、及び、この窓に先行するシーケンスの画像のための輝度レベルの算出で構成される。以前に定義されるように、画像の輝度レベルは、この画像の各々の画素と関連している全体の画像の輝度値の合計である。Ｎ枚の画像の長さの窓は、Ｎ枚の連続した画像を含むシーケンスの一部である。

ステップ１１は、現在の画像と呼ばれる画像及びそれに先行する画像の間の輝度レベルの振幅を基準値と比較することによって、検出窓の各々の画像のフェードの検出で構成される。この基準値は、多くの画素としての画像のサイズの倍数である。例えば、それは、多くの画素として、幅及び画像の高さによって逓倍した１．７５に等しい。輝度レベルの振幅がこの基準値より大きい場合、フェードは現在の画像のために検出される。フェードインまたはフェードアウトの検出を求めるか次第で、輝度レベルの振幅は、異なって算出される。したがって、フェードインの場合、輝度レベルの振幅は、現在の画像に先行する画像の輝度レベル及び現在の画像の輝度レベル間の差異に等しい。フェードアウトの場合、輝度レベルの振幅は、現在の画像の輝度レベル及びそれに先行する画像の輝度レベル間の差異に等しい。このステップは、検出窓の各々の画像のフェードイン及びフェードアウトについて別々にそれらの検出を可能にする。好都合にも、異なる基準値が、フェードイン及びフェードアウトを検出するために定義されることができる。

ステップ１２は、ステップ１１において実行される検出に基づいた検出窓に対するフェードの存在の推定で構成される。より正確に言うと、このステップは、フェードが検出された検出窓の画像の数の算出で構成される。このステップの間、フェードイン及びフェードアウトの先行するステップから生じる結果は結合され、このことにより、それがフェードインまたはフェードアウトであってもフェードを検出することを可能にする。このために、ステップ１１においてフェードインまたはフェードアウトが検出窓の少なくともｋ(２≦ｋ≦Ｎ)枚の画像に対して検出された場合、そこから検出窓に対してフェードの存在を導き出す。好ましくは検出窓の長さは8に等しく、ｋは６に等しい。このステップは特には、ノイズまたはシーケンスの間の輝度の不安定性に起因する誤ったフェードの決定を回避することを可能にする。

好都合にも、任意のステップ１３の間、先行するステップ１２の結果は、決定窓の動作のレベルの局所的評価と結合される。これは、おそらく不当にフェードとみなされるかもしれない強い動作について画像のシーケンスの部分上の過剰検出の回避を可能にする。このレベルの動作は例えば、符号化デバイスの画像レベル決定モジュールにより提供される（例えば、符号化のフレーム／画像モードの決定、その画像Ｉ、ＰまたはＢ...のタイプの決定）。それは、この画像及び先行する画像間で算出される時間的活動（例えば、この画像の各々の画素と関連している輝度値及び先行する画像の各々の画素と関連している輝度値の間の画素に関する差異の絶対値の合計）、及び、この画像に対して算出される空間的活動（例えば、この画像の各々の画素と関連している輝度値の絶対値の画像の合計）間の比率を計算することによって画像のために算出されることができる。より正確には、決定窓の最後の画像に対して算出される動作のレベルは、決定窓と関連している動作のレベルである。フェードの存在が先行するステップ12で検出窓のために導き出され、この窓のための動作のレベルが特定の基準値よりも少ない場合、検出窓のためのフェードの存在は確認される。

インタレース・シーケンスの特定の場合において、それは、決定窓と呼ばれる引窓を定義するために都合が良い。この窓は、例えば３つのフレームのサイズを有することができる。図２において示されるこの窓が、画像レベル決定モジュールによって、符号化デバイスにおいて特に使われることができる。図２において、窓は、Ｆ_ｉ−１及びＦ_ｉ−２で示されるフレームに対応するＰ_ｋで示される画像の画像レベル決定をするように配置される。より正確には、画像Ｐ_ｋは、２つのフレームＦ_ｉ−１及びＦ_ｉ−２の結合からなる画像（「フレーム画像」）、または、２つの独立したフレームＦ_ｉ−１及びＦ_ｉ−２からなる画像（「領域画像」）のいずれかである。文献（「情報技術−動いている画像及び関連する音声情報：映像の一般的な符号化」という題名である）ＩＳＯ／ＩＥＣ １３８１８−２において定義されるＭＰＥＧ−２規格の場合、画像レベル決定は、（例えば、符号化の「フレーム画像」／「領域画像」モードの決定、画像Ｉ、ＰまたはＢ...のタイプの決定）少なくとも２つ以上の連続したフレームに適用される。２４−画像調整タイプ（「デテレシネ」または「３:２プルダウン」）の変換を受けたシーケンスの特定の場合において、フレームは、反復される。決定窓のサイズは、したがって、３つのフレームである。フェード検出を画像レベル決定に結びつけるため、ステップ１１において算出される輝度レベルの振幅は、Ｐ_ｋ−ｉと示される先行する画像の画像レベル決定をとるために配置されるように、引窓のＦ_ｉ−１に置かれるフレーム及び引窓の同じ位置のフレーム間で算出される。図３及び４は、続く画像Ｐ_ｋ＋１のための決定窓の位置を表す。具体的には、Ｐ_ｋがＦ_ｉ−１及びＦ_ｉ−２の結合から成る、及び、Ｆ_ｉが反復されたフレームでない、または、Ｐ_ｋがＦ_ｉ−１及びＦ_ｉ−２の２つの独立したフレームから成る場合、画像Ｐ_ｋ＋１のための決定窓の続く位置は、図３で図示される。一方で、Ｐ_ｋがＦ_ｉ−１及びＦ_ｉ−２の結合から成る、及び、Ｆ_ｉが反復されたフレーム（「デテレシネ」の場合）である場合、画像Ｐ_ｋ＋１のための決定窓の続く位置は、図４で図示される。

本発明は、以前に記載された方法を実行する図５において３０で示されるフェードを検出する装置にも関する。装置の重要な要素のみが図５において表される。装置３０は：ランダム・アクセス・メモリ３２（ＲＡＭまたは同様の構成要素）、読み取り専用メモリ３３（ハードディスクまたは同様の構成要素）、マイクロプロセッサまたは同様の構成要素のような処理ユニット３４、及び、入力／出力インターフェース３５を含む。これらの要素は、アドレス及びデータ・バス３１によって一緒に連結される。読み取り専用メモリ３３は、発明の方法のステップ１０から１２を実行するアルゴリズム、及び任意のステップ１３を含む。パワーアップにおいて、処理ユニット３４が搭載され、これらのアルゴリズムの指示を実行する。ランダム・アクセス・メモリ３２は特に、処理される画像と同様に、器具のパワーアップで搭載される処理ユニット３４を作動するためのプログラムを含む。入力／出力インターフェース３５は、本発明の方法のステップ１０から１２（または１３）によれば、入力信号（すなわち供給画像シーケンス）を受ける機能を有し、フェード検出の結果を出力する。

本発明は、画像シーケンス圧縮の領域に適用される。具体的には、フェード３０を検出する装置が、図６の４０で示される符号化デバイスにおいて使用することができる。この装置は特に、供給画像シーケンス４００の符号化のための符号化手段４１を含む。符号化手段は、少なくとも画像のタイプ（例えば、内部(Ｉ画像)、予測（Ｐ画像）、双方向性（Ｂ画像））の選択を可能にしている決定手段を含む。このモジュールは例えば、（「情報技術−動いている画像及び関連する音声情報：映像の一般的な符号化」という題名である）文献ＩＳＯ／ＩＥＣ １３８１８−２において、特に定義されるＭＰＥＧ−２符号化規格を実行することができる。さらに一般的にいえば、それは符号化画像シーケンスのためのあらゆる規格を実行することができる。特にそれは、画像のタイプを動的に適応させるため、装置３０によって提供される情報を使用する。これは、圧縮の費用及び復号化画像の品質を改善することを可能にすることができる。

フェード３０を検出する装置はまた、図５において５０で示される画像シーケンスを構築する装置と一体化されることができる。この装置５０は、特に供給画像シーケンス４００の記述５０１を作成することを可能する指数化手段５１を含む（例えば、フェードの開始及び終わりの時間的マーカ、別名「時間コード」）。この装置５０は特に、シーケンスを通じた非線形での進行を可能にする、又はダイジェストの生成を可能にするように、ショット境界及び物語ユニットを取り出すことを可能にする。より正確に言うと、それは、フェード３０を検出する装置によって、フェードが編集の間導入された場合、適切なショット境界を取り出すことを可能にし、したがって、より良好な構築ベースを物語ユニットに提供する。さらに、フェードについての知識は、映像の構築における高レベルの情報を提供する。装置５０は、したがって、ＤＶＤにおいてのように画像のデジタル・シーケンスの場合、例えばチャプタ及びサブチャプタへのシーケンスを構築するのを可能にする。具体的には、フィルムにおいて、ブラックへのフェードまたはフェードアウトに続く、ブラックからのフェードにまたはフェードインは、きわめて多くの場合、「チャプタ」の変化を示す。さらに、スポーツ送信で、ゲームの興味深い局面の検出を可能にするスローモーションは、頻繁にフェードによって区切られる。

もちろん、本発明は、前述の例示的な実施例に限られていない。特に、当業者は、あらゆる変形を実施例説明に導入し、それらの様々な利点から利益を得るためにそれらを結合することができる。

発明のフェードを検出するための方法を示す図である。 決定窓の位置を示す図である。 決定窓の移動を示す図である。 決定窓の他の移動を示す図である。 本発明による装置を示す図である。 発明の画像シーケンス符号化装置を示す図である。 発明の画像シーケンス構築装置を示す図である。

Claims (8)

1. 画像のシーケンスにおけるフェードを検出し、該画像はそれぞれが少なくとも一つの輝度値と関連する画素または像点を含む方法であって、
   検出窓と呼ぶ連続的なＮ枚の画像の長さの窓の各画像、及び該検出窓に先行する画像について、各該画像の各該画素と関連する輝度値に基づいて輝度レベルを算出するステップ（１０）と、
   前記検出窓の前記Ｎ枚の各画像について、該現在の画像と関連する輝度レベル及び該現在の画像に先行する画像と関連する輝度レベル間の差異に基づいて、フェードを検出するステップ（１１）と、
   ２≦ｋ≦Ｎにおいて、前記検出窓の少なくともｋ枚の画像でフェードが検出された場合、そこからの該検出窓に対するフェードの存在を推定するステップ（１２）と
   を備えたことを特徴とする方法。
2. 画像と関連する前記輝度レベルは、前記画像の各前記画素と関連する輝度値の合計に等しいことを特徴とする請求項１に記載の方法。
3. 前記検出窓と関連する動作のレベルが所定の基準値より少ない場合、該検出窓のフェードの存在を確認するための追加的なステップ（１３）をさらに備えることを特徴とする請求項１又は２のいずれか一つに記載の方法。
4. 画像と関連する前記動作のレベルは、前記画像及び先行画像と呼ばれる該画像に先行する画像の間で算出される時間的活動、及び、該画像に対して算出される空間的活動間の比率に等しく、前記決定窓と関連する動作のレベルは、前記決定窓の最後の画像と関連する動作のレベルに等しいことを特徴とする請求項３に記載の方法。
5. 前記画像及び前記先行する画像間の前記時間的活動は、前記画像の各画素と関連する輝度値及び前記先行する画像の各画素と関連する輝度値の間の画素に関する差異の絶対値の合計に等しく、該画像の空間的活動は、該画像の各画素と関連する輝度値の絶対値の合計に等しいことを特徴とする請求項４に記載の方法。
6. それぞれが少なくとも一つの輝度値と関連する画素または像点を有する画像のシーケンスにおけるフェードを検出する装置であって、
   検出窓と呼ばれる連続的なＮ枚の画像の長さの窓の各画像、及び該検出窓に先行する画像について、各該画像の各該画素と関連する輝度値に基づいて輝度レベルを算出するための算出手段（３２、３３、３４）と、
   前記検出窓の前記Ｎ枚の各画像について、前記現在の画像と関連する輝度レベル及び該現在の画像に先行する画像と関連する輝度レベル間の差異に基づいてフェードを検出するための検出手段（３２、３３、３４）と、
   ２≦ｋ≦Ｎにおいて、前記検出窓の少なくともｋ枚の画像で該検出手段によりフェードが検出された場合、該検出窓に対するフェードの存在を推定する手段（３２、３３、３４）と
   を備えたことを特徴とする装置。
7. 符号化手段（４１）及び請求項６に記載のフェード（３０）を検出する装置を備えることを特徴とするビデオ符号化デバイス（４０）。
8. 指数化手段（５１）及び請求項６に記載のフェードを検出する装置（３０）を備えることを特徴とする画像のシーケンスを構築する装置（５０）。

Images