JP5621734B2

JP5621734B2 - フェード種別判定装置

Info

Publication number: JP5621734B2
Application number: JP2011186258A
Authority: JP
Inventors: 慎太郎千葉; 豊矢野; 克之尾崎; 林俊幸; 俊幸林
Original assignee: NTT Electronics Corp
Current assignee: NTT Electronics Corp
Priority date: 2011-08-29
Filing date: 2011-08-29
Publication date: 2014-11-12
Anticipated expiration: 2031-08-29
Also published as: US9307240B2; WO2013031325A1; JP2013048377A; US20140198853A1

Description

本発明は、符号化前の動画像のフェードの種別を判定するフェード種別判定装置に関する。

動画像におけるフェードとは、ある画像から異なる画像に、重なり合いながら徐々に変化する現象をいう。フェードには、単色の静止画から動画への変化であるフェードイン、動画から単色の静止画への変化であるフェードアウト、動画から別の動画への変化であるクロスフェード（ディゾルブ又はオーバーラップとも呼ばれる）がある。

特許３７２４９５６号公報特許３６５６０３６号公報特開２０１０−１８３３８３号公報

フェードを含む動画像をそのまま符号化すると、動き予測の精度が低下するため、符号化後の画質が劣化する。そこで、動画像を符号化する前にフェードの種別を判定して符号化処理部に伝達することが望ましい。これにより、フェードの種別に応じて効果的な符号化方法を選択できるため、符号化後の画質を向上させることができる。この判定は、符号化処理全体のリアルタイム性を確保するため、できる限り高速であることが求められる。

動画像の輝度や色差の一様な変化を予測する手法が提案されている。しかし、この手法はフェードインやフェードアウトを予測できるが、クロスフェードは輝度や色差の変化が一様でないため予測できない。

動画像の輝度又は色差を時系列的に隣接した２つのピクチャ間で比較してフェードを判定する手法が提案されている（例えば、特許文献１参照）。しかし、この手法はフェードの種別を区別することはできない。

予め動画像の符号化してフェードの種別を判定する手法が提案されている（例えば、特許文献２参照）。しかし、この手法は符号化した後にフェードを判定するものである。

コンテンツのダイジェストを生成する際にクロスフェード区間を判定する手法が提案されている（例えば、特許文献３参照）。しかし、この手法は蓄積データを対象とするものであり、リアルタイム性は期待できない。

本発明は、上述のような課題を解決するためになされたもので、その目的は符号化前の動画像に含まれるフェードの種別を高速に判定することができるフェード種別判定装置を得るものである。

本発明に係るフェード種別判定装置は、動画像を符号化する符号化処理部の前段に設けられ、符号化前の前記動画像に含まれる対象ピクチャのフェード種別を判定して前記符号化処理部に通知するフェード種別判定装置であって、前記対象ピクチャとそれ以前のピクチャとの間におけるピクチャ全体の輝度又は色差の時間変化を示す第１の特徴量が所定の第１の閾値以上の場合に前記対象ピクチャがフェード状態であると判定し、前記第１の特徴量が前記第１の閾値未満の場合に前記対象ピクチャがフェード状態でないと判定するフェード状態判定部と、前記対象ピクチャがフェード状態と判定された場合において、前記対象ピクチャとそれ以前のピクチャとの間における複雑度の時間変化を示す第２の特徴量が所定の第２の閾値以上であり、かつ前記対象ピクチャの１つ前のピクチャとそれ以前のピクチャとの非類似度を表す第３の特徴量が所定の第３の閾値未満の場合に前記対象ピクチャがフェードインであると判定し、前記第２の特徴量が前記第２の閾値未満又は前記第３の特徴量が前記第３の閾値以上の場合に前記対象ピクチャがフェードインでないと判定するフェードイン判定部と、前記対象ピクチャがフェード状態と判定された場合において、前記第２の特徴量が前記第２の閾値より小さい所定の第４の閾値未満の場合に前記対象ピクチャがフェードアウトであると判定し、前記第２の特徴量が前記第４の閾値以上の場合に前記対象ピクチャがフェードアウトでないと判定するフェードアウト判定部と、前記対象ピクチャがフェード状態と判定され、かつフェードインでもフェードアウトでもないと判定された場合に、前記対象ピクチャがクロスフェードであると判定するクロスフェード判定部とを備えることを特徴とする。

本発明により、符号化前の動画像に含まれるフェードの種別を高速に判定することができる。

本発明の実施の形態に係る符号化装置を示す図である。本発明の実施の形態に係るフェード種別判定装置を示す図である。本発明の実施の形態に係るフェード種別判定方法を示すフローチャートである。本発明の実施の形態に係る判定方法による判定結果を示す図である。本発明の実施の形態に係る判定方法による判定結果を示す図である。本発明の実施の形態に係る判定方法による判定結果を示す図である。

図１は、本発明の実施の形態に係る符号化装置を示す図である。フェード種別判定装置１が符号化処理部２の前段に設けられている。フェード種別判定装置１は、符号化前の動画像に含まれる対象ピクチャのフェードの種別を判定して符号化処理部２に通知する。符号化処理部２は、フェードの種別に応じて効果的な符号化方法を選択して動画像を符号化する。

図２は、本発明の実施の形態に係るフェード種別判定装置１を示す図である。図３は、本発明の実施の形態に係るフェード種別判定方法を示すフローチャートである。図２及び図３を参照して、フェード種別判定装置１によるフェード種別判定方法を説明する。

まず、前ピクチャフェード状態確認部３は、記憶部４にアクセスして、対象ピクチャの１つ前のピクチャである前ピクチャがフェード状態かどうかを確認する（ステップＳ１）。記憶部４は、前ピクチャがフェード状態かどうか及び前ピクチャのフェード種別を記憶している。前ピクチャがフェード状態でない場合には、対象ピクチャのフェード開始判定を行うステップＳ２〜Ｓ５に移行する。一方、前ピクチャがフェード状態である場合には、対象ピクチャのフェード終了判定を行うステップＳ６〜Ｓ９に移行する。

前ピクチャがフェード状態でない場合には、フェード状態判定部５がフェード状態判定を行う（ステップＳ２）。具体的には、フェード状態判定部５は、対象ピクチャの特徴量Ａが所定の閾値ＴＨ＿Ａ以上の場合には、対象ピクチャがフェード状態であると判定して、フェードイン判定に移行する。一方、特徴量Ａが閾値ＴＨ＿Ａ未満の場合には、対象ピクチャがフェード状態でないと判定して、対象ピクチャに対する判定を終了する。

ここで、特徴量Ａは、対象ピクチャとそれ以前のピクチャ（時系列的に近い過去のピクチャ）との間におけるピクチャ全体の輝度又は色差の時間変化を示す。具体的には、特徴量Ａは、対象ピクチャとそれ以前のピクチャとの間における画素累算値の差分絶対値である。画素累算値は、１画素（ピクセル）の輝度又は色差値を１ピクチャ分加算した値である。なお、特徴量Ａとして、輝度又は色差分散値の時間変化を使用することもできる。

次に、対象ピクチャがフェード状態と判定された場合には、フェードイン判定部６がフェードイン判定を行う（ステップＳ３）。具体的には、フェードイン判定部６は、対象ピクチャの特徴量Ｂが所定の閾値ＴＨ＿Ｂ１以上であり、かつ対象ピクチャの１つ前のピクチャの特徴量Ｃが所定の閾値ＴＨ＿Ｃ未満の場合には、対象ピクチャがフェードインであると判定して、対象ピクチャに対する判定を終了する。一方、特徴量Ｂが閾値ＴＨ＿Ｂ１未満又は特徴量Ｃが閾値ＴＨ＿Ｃ以上の場合には、対象ピクチャがフェードインでないと判定して、フェードアウト判定に移行する。

ここで、特徴量Ｂは、対象ピクチャとそれ以前のピクチャとの間における複雑度の時間変化を示す。具体的には、特徴量Ｂは、対象ピクチャとそれ以前のピクチャとの間における隣接画素間差分絶対値和の差分値である。隣接画素間差分絶対値和は、ピクチャ内で空間的に隣接する画素間の輝度又は色差値の差分絶対値を１ピクチャ分加算した値である。

また、特徴量Ｃは、対象ピクチャの１つ前のピクチャとそれ以前のピクチャとの非類似度を表す。具体的には、特徴量Ｃは、対象ピクチャの１つ前のピクチャとそれ以前のピクチャを任意のサイズのブロックで分割し、対象ピクチャの１つ前のピクチャのブロックごとに輝度又は色差値の差分絶対値和が最も小さいブロックをそれ以前のピクチャのブロックの中から探索して対応付け、対応付けしたブロック間の輝度又は色差値の差分絶対値和を１ピクチャ分加算した値である。

なお、一般的に、特徴量Ｃは、予測誤差差分絶対値和または動き補償差分絶対値和（ＭＣＳＡＤ）と呼ばれ、あるピクチャとそれに時系列的に隣接（過去・未来）したピクチャとの間で動き補償を行い、対応付けしたブロック間の輝度又は色差値の差分絶対値和を１ピクチャ分加算した値である。動き補償は、あるピクチャとそれに時系列的に隣接したピクチャで最も似ている箇所を探す処理である。具体的には、あるピクチャを任意のサイズのブロックで分割し、ブロックごとに輝度又は色差値の差分絶対値和が最も小さい（最も似ている）ブロックを、時系列的に隣接したピクチャの中から探索し、対応付ける処理である。

次に、対象ピクチャがフェード状態であり、かつフェードインでないと判定された場合には、フェードアウト判定部７がフェードアウト判定を行う（ステップＳ４）。具体的には、フェードアウト判定部７は、特徴量Ｂが閾値ＴＨ＿Ｂ１より小さい所定の閾値ＴＨ＿Ｂ２未満の場合には、対象ピクチャがフェードアウトであると判定して、対象ピクチャに対する判定を終了する。一方、特徴量Ｂが閾値ＴＨ＿Ｂ２以上の場合には、対象ピクチャがフェードアウトでないと判定して、クロスフェード判定に移行する。

次に、対象ピクチャがフェード状態と判定され、かつフェードインでもフェードアウトでもないと判定された場合には、クロスフェード判定部８は、対象ピクチャがクロスフェードであると判定して、対象ピクチャに対する判定を終了する（ステップＳ５）。なお、厳密には上述のクロスフェードの定義にそぐわない場合もあるが、ここでは全てクロスフェードであると判定する。

前ピクチャがフェード状態の場合には、前ピクチャフェード種別確認部９が、記憶部４にアクセスして、前ピクチャのフェード種別を確認する（ステップＳ６）。前ピクチャがフェードインである場合にはフェードイン終了判定に移行し、フェードアウトである場合にはフェードアウト終了判定に移行し、クロスフェードである場合にはクロスフェード終了判定に移行する。

前ピクチャがフェードインの場合には、フェードイン終了判定部１０がフェードイン終了判定を行う（ステップＳ７）。具体的には、フェードイン終了判定部１０は、特徴量Ａが閾値ＴＨ＿Ａ未満又は特徴量Ｂが閾値ＴＨ＿Ｂ１未満の場合には、フェード状態及びフェードインが終了したと判定する。一方、特徴量Ａが閾値ＴＨ＿Ａ以上かつ特徴量Ｂが閾値ＴＨ＿Ｂ１以上の場合には、フェード状態及びフェードインが継続していると判定する。

前ピクチャがフェードアウトの場合には、フェードアウト終了判定部１１がフェードアウト終了判定を行う（ステップＳ８）。具体的には、フェードアウト終了判定部１１は、特徴量Ａが閾値ＴＨ＿Ａ未満又は特徴量Ｂが閾値ＴＨ＿Ｂ２以上の場合には、フェード状態及びフェードアウトが終了したと判定する。一方、特徴量Ａが閾値ＴＨ＿Ａ以上かつ特徴量Ｂが閾値ＴＨ＿Ｂ２未満の場合には、フェード状態及びフェードアウトが継続していると判定する。

前ピクチャがクロスフェードの場合には、クロスフェード終了判定部１２がクロスフェード終了判定を行う（ステップＳ９）。具体的には、クロスフェード終了判定部１２は、特徴量Ａが閾値ＴＨ＿Ａ未満の場合には、フェード状態及びクロスフェードが終了したと判定する。一方、特徴量Ａが閾値ＴＨ＿Ａ以上の場合には、フェード状態及びクロスフェードが継続していると判定する。

これらのフェード状態判定部５、フェードイン判定部６、フェードアウト判定部７、クロスフェード判定部８、フェードイン終了判定部１０、フェードアウト終了判定部１１、又はクロスフェード終了判定部１２による判定結果は、符号化処理部２に通知されると同時に、記憶部４に記憶される。

図４〜図６は、本発明の実施の形態に係る判定方法による判定結果を示す図である。横軸は時間軸であり、縦軸は特徴量Ａ，Ｂ，Ｃである。閾値ＴＨ＿Ａは対象ピクチャの輝度値総和の０．５％、閾値ＴＨ＿Ｂ１は４０、閾値ＴＨ＿Ｂ２は−６０、閾値ＴＨ＿Ｃは２００と定義している。それぞれの図において、特徴量Ａ，Ｂ，Ｃの変化に応じて、フェードイン、フェードアウト、クロスフェードが問題なく判定できていることが分かる。

以上説明したように、本実施の形態に係るフェード種別判定装置１は、符号化前の動画像に含まれる対象ピクチャのフェードの種別を判定して符号化処理部２に通知する。これにより、符号化処理部２は、フェードの種別に応じて効果的な符号化方法を選択できるため、符号化後の画質を向上させることができる。

また、本実施の形態では、特徴量Ａを用いて、対象ピクチャがフェード状態かどうかを判定する。ここで、フェード中はピクチャ全体の輝度や色差が大きく時間変化するため、フェード状態かどうかの判定に特徴量Ａを用いている。そして、特徴量Ｂと特徴量Ｃを用いて、対象ピクチャのフェードの種別（フェードイン、フェードアウト、クロスフェード）を判定する。

ここで、フェードインは単色の静止画から動画への変化であるため、フェードインでは複雑度が相対的に低から高へと変化する。一方、フェードアウトではこの逆の変化が起きる。クロスフェードは動画から別の動画への移り変わりであるため、複雑度の時間変化がフェードインやフェードアウトより小さい。このフェードごとの複雑度の時間変化の差異を捉えるため、特徴量Ｂを用いている。

また、特徴量Ｂによるフェードイン判定を補助するために、特徴量Ｃを用いている。フェードイン発生直前はピクチャ間の類似度が高いため、対象ピクチャとそれ以前のピクチャとの非類似度を表す特徴量Ｃを補助的に用いることで、フェードインの判定精度が向上する。なお、フェードアウト判定の場合には、対象ピクチャとフェードアウト終了直後の（未来の）ピクチャとの非類似度を表す特徴量Ｃを用いる必要があり、処理が遅延する。従って、特徴量Ｃをフェードアウト判定に用いるのは有効ではないため、特徴量Ｃをフェードイン判定のみに用いる。

また、対象ピクチャとそれ以前のピクチャとの間における変化である特徴量Ａ，Ｂ，Ｃを用いるため、高速性が期待できる。よって、本実施の形態により、符号化前の動画像に含まれるフェードの種別を高速に判定することができる。

また、フェードイン判定部６は特徴量Ｂだけでなく特徴量Ｃも用いる。一方、フェードアウト判定部７は特徴量Ｂだけを用いる。このため、フェードイン判定部６の方がフェードアウト判定部７よりも判定精度が高い。そこで、本実施の形態では、フェードイン判定部６により対象ピクチャがフェードインでないと判定された場合に、フェードアウト判定部７が判定を行う。これにより、判定制度が向上する。

また、前ピクチャのフェード状態とフェード種別を確認し、それに応じた判定を行うことにより、動画像に含まれる一連のピクチャからフェード状態にあるピクチャを判定し、その開始ピクチャと終了ピクチャを判定すると共に、フェードの種別も判定することができる。

なお、特徴量Ａ，Ｂ，Ｃにおいて、対象ピクチャと比較するピクチャを時系列的にどこから取るかは任意である。本実施の形態では、フェード判定の高速処理性能を重視する観点から、特徴量Ａ，Ｂでは対象ピクチャから時系列的に２つ前のピクチャを用い、特徴量Ｃでは対象ピクチャから時系列的に１つ前のピクチャを用いる。

１フェード種別判定装置、２符号化処理部、３前ピクチャフェード状態確認部
４記憶部、５フェード状態判定部、６フェードイン判定部
７フェードアウト判定部、８クロスフェード判定部
９前ピクチャフェード種別確認部、１０フェードイン終了判定部
１１フェードアウト終了判定部、１２クロスフェード終了判定部

Claims

動画像を符号化する符号化処理部の前段に設けられ、符号化前の前記動画像に含まれる対象ピクチャのフェード種別を判定して前記符号化処理部に通知するフェード種別判定装置であって、
前記対象ピクチャとそれ以前のピクチャとの間におけるピクチャ全体の輝度又は色差の時間変化を示す第１の特徴量が所定の第１の閾値以上の場合に前記対象ピクチャがフェード状態であると判定し、前記第１の特徴量が前記第１の閾値未満の場合に前記対象ピクチャがフェード状態でないと判定するフェード状態判定部と、
前記対象ピクチャがフェード状態と判定された場合において、前記対象ピクチャとそれ以前のピクチャとの間における複雑度の時間変化を示す第２の特徴量が所定の第２の閾値以上であり、かつ前記対象ピクチャの１つ前のピクチャとそれ以前のピクチャとの非類似度を表す第３の特徴量が所定の第３の閾値未満の場合に前記対象ピクチャがフェードインであると判定し、前記第２の特徴量が前記第２の閾値未満又は前記第３の特徴量が前記第３の閾値以上の場合に前記対象ピクチャがフェードインでないと判定するフェードイン判定部と、
前記対象ピクチャがフェード状態と判定された場合において、前記第２の特徴量が前記第２の閾値より小さい所定の第４の閾値未満の場合に前記対象ピクチャがフェードアウトであると判定し、前記第２の特徴量が前記第４の閾値以上の場合に前記対象ピクチャがフェードアウトでないと判定するフェードアウト判定部と、
前記対象ピクチャがフェード状態と判定され、かつフェードインでもフェードアウトでもないと判定された場合に、前記対象ピクチャがクロスフェードであると判定するクロスフェード判定部とを備えることを特徴とするフェード種別判定装置。
前記第１の特徴量は、前記対象ピクチャとそれ以前のピクチャとの間における画素累算値の差分絶対値であり、
前記画素累算値は、１画素の輝度又は色差値を１ピクチャ分加算した値であり、
前記第２の特徴量は、前記対象ピクチャとそれ以前のピクチャとの間における隣接画素間差分絶対値和の差分値であり、
前記隣接画素間差分絶対値和は、ピクチャ内で空間的に隣接する画素間の輝度又は色差値の差分絶対値を１ピクチャ分加算した値であり、
前記第３の特徴量は、前記対象ピクチャの１つ前のピクチャとそれ以前のピクチャを任意のサイズのブロックで分割し、前記対象ピクチャの１つ前のピクチャのブロックごとに輝度又は色差値の差分絶対値和が最も小さいブロックを前記それ以前のピクチャのブロックの中から探索して対応付け、対応付けしたブロック間の輝度又は色差値の差分絶対値和を１ピクチャ分加算した値であることを特徴とする請求項１に記載のフェード種別判定装置。
前記フェードイン判定部により前記対象ピクチャがフェードインでないと判定された場合に、前記フェードアウト判定部が判定を行うことを特徴とする請求項１又は２に記載のフェード種別判定装置。
前記対象ピクチャの１つ前のピクチャである前ピクチャがフェード状態かどうか及び前記前ピクチャのフェード種別を記憶する記憶部と、
前記前ピクチャがフェード状態かどうかを確認する前ピクチャフェード状態確認部と、
前記前ピクチャがフェード状態の場合に、前記前ピクチャのフェード種別を確認する前ピクチャフェード種別確認部と、
前記前ピクチャがフェードインの場合において、前記第１の特徴量が第１の閾値未満又は前記第２の特徴量が第２の閾値未満の場合にフェード状態及びフェードインが終了したと判定し、前記第１の特徴量が第１の閾値以上かつ前記第２の特徴量が第２の閾値以上の場合にフェード状態及びフェードインが継続していると判定するフェードイン終了判定部と、
前記前ピクチャがフェードアウトの場合において、前記第１の特徴量が第１の閾値未満又は前記第２の特徴量が第４の閾値以上の場合にフェード状態及びフェードアウトが終了したと判定し、前記第１の特徴量が第１の閾値以上かつ前記第２の特徴量が第４の閾値未満の場合にフェード状態及びフェードアウトが継続していると判定するフェードアウト終了判定部と、
前記前ピクチャがクロスフェードの場合において、前記第１の特徴量が第１の閾値未満の場合にフェード状態及びクロスフェードが終了したと判定し、前記第１の特徴量が第１の閾値以上の場合にフェード状態及びクロスフェードが継続していると判定するクロスフェード終了判定部とを更に備え、
前記前ピクチャがフェード状態でない場合に、前記フェード状態判定部が判定を行うことを特徴とする請求項１〜３の何れか１項に記載のフェード種別判定装置。