JP2008259018A - シーンチェンジ検出装置 - Google Patents

Abstract

【課題】動画像がフェードインやフェードアウトする場合でも、誤検出することなく、適切にシーンチェンジを検出する。
【解決手段】Ｈ．２６４規格に準拠した動画像の重み付け予測に関するフラグに基づいて重み付け予測を行うか否かを示した重み付けフラグを生成すると共に、動画像の動きベクトルから動き量を算出し、生成した重み付けフラグと算出した動画像の動き量とフレーム画像とを同期させて出力するデコーダと、デコーダにより同期されて出力された重み付けフラグ、動き量、及びフレーム画像を入力し、入力した重み付けフラグが重み付け予測を行うことを示しており、且つ動き量が所定の閾値を超えている場合には、重み付けフラグ、及び動き量に同期されたフレーム画像をシーンチェンジとして検出しないようにするシーンチェンジ検出手段とを備える。
【選択図】図１

Description

本発明は、動画像を表現する時系列に連続するフレーム画像の区分点となるシーンチェンジを検出するシーンチェンジ検出装置に関する。

一般的に、動画像を表現する時系列に連続するフレーム画像の区分点であるシーンチェンジは、フレーム画像の中から代表となる画像を抽出して動画像全体を把握するための静止画像やサムネイル画像を作成するために利用される。また、時間的に累積した画像をリセットするための起点として利用される。そのため動画像の中からシーンチェンジを検出することが必要となる。

特許文献１には、画像が出力される画面を複数の領域に分割し、それぞれの領域について画像間の相関値と動きベクトルを求め、また、画面内の色について画像間の相関を求め、求めた色の相関と動きベクトルの相関とからシーンチェンジを検出する動画像のシーンチェンジ検出装置が提案されている。

また、特許文献２には、動画像を表現する時系列に連続するフレーム画像のうち、先行する画像と後続する画像のヒストグラムの類似程度に基づいて、シーンチェンジを検出するシーンチェンジ検出方法が提案されている。

さらに、特許文献３には、圧縮された動画像データから、最低限の復号処理であるビデオ信号多重化復号のみで抽出される符号化パラメータのみを用いてシーンチェンジを検出するシーンチェンジ検出装置が提案されている。
特開平６−１５３１４６号公報 特開平１０−２７６４３５号公報 特開平１１−２５２５０９号公報

しかしながら、特許文献１に記載の動画像のシーンチェンジ検出装置では、分割した領域について画像間の相関値と動きベクトルを求め、また、画面内の色について画像間の相関を求め、求めた色の相関と動きベクトルの相関とからシーンチェンジを検出するので、動画像がフェードインやフェードアウトするような場合、シーンチェンジとして誤検出してしまう場合があった。即ち、動画像がフェードインやフェードアウトするような場合は、輝度や色差が数フレームにわたり僅かづつ変化する。そのため、フェードインやフェードアウトをシーンチェンジとして誤検出してしまう場合があった。

また、特許文献２に記載のシーンチェンジ検出方法や、特許文献３に記載のシーンチェンジ検出装置でも、同様に動画像がフェードインやフェードアウトするような場合、シーンチェンジとして誤検出する場合があった。

本発明は、上記問題に鑑みてなされたものであり、動画像がフェードインやフェードアウトする場合でも、誤検出することなく、適切にシーンチェンジを検出できるシーンチェンジ検出装置を提供することを目的とする。

上記目的を解決するため、本発明に係るシーンチェンジ検出装置の第１の特徴は、動画像の重み付け予測に関するフラグに基づいて重み付け予測を行うか否かを示した重み付けフラグを生成すると共に、動画像の動きベクトルから動き量を算出し、生成した重み付けフラグと算出した動画像の動き量とフレーム画像とを同期させて出力するデコーダと、デコーダにより同期されて出力された重み付けフラグ、動き量、及びフレーム画像を入力し、入力した重み付けフラグが重み付け予測を行うことを示しており、且つ入力した動き量が所定の閾値を超えている場合には、入力した重み付けフラグ、及び入力した動き量に同期されたフレーム画像をシーンチェンジとして検出しないようにするシーンチェンジ検出手段とを備えたことにある。

本発明に係るシーンチェンジ検出装置によれば、動画像がフェードインやフェードアウトする場合でも、誤検出することなく適切にシーンチェンジを検出できる。

以下、本発明を実施するための最良の形態について説明する。

本発明を実施するための一実施形態では、ITU-T(International Telecommunication Union-Telecommunication Standardization Sector)によって策定された動画像信号の圧縮符号化に関する規格であるＨ．２６４に導入されている重み付け予測に関するフラグと動き量に基づいて、シーンチェンジを検出するシーンチェンジ検出装置について説明する。

Ｈ．２６４では、重み付け予測を復号するためのフラグとして「weighted_pred_flag」と「weighted_bipred_idc」とを用いている。

ここで、「weighted_pred_flag」及び「weighted_bipred_idc」は、動画像の明るさを予測するために用いられ、「weighted_pred_flag」は、値が“１”の場合、Ｐ又はＳＰスライスで重み付き予測が用いられることを示している。また、「weighted_bipred_idc」は、値が“１”の場合、明示的(Explicit)モードで重み付き予測がＢスライスに用いられることを示している。

そして、この重み付け予測を復号するためのフラグにより、動画像のフェードイン（暗い動画像がだんだん明るくなっていく動画像）、フェードアウト（明るい動画像がだんだん暗くなっていく動画像）のように、明るさが時間的に変化する動画像において、重み付け係数を掛けた信号を予測に用いることによって、動画像の品質劣化を防止している。

図３は、Ｈ．２６４に用いられる重み付け予測に関するフラグの一例を示した説明図である。

図３に示すように、重み付け予測を復号するためのフラグ「weighted_pred_flag」３０２と、「weighted_bipred_idc」３０３と、「PredFlagL0」３０４と、「PredFlagL1」３０５の一例を挙げている。ここで、「PredFlagL0」３０４はＬ０予測（主として前方向予測に用いる予測）による予測ありを示すフラグであり、「PredFlagL1」３０５は、Ｌ１予測（主として後方向予測に用いる予測）による予測ありを示すフラグである。

「process」３０６の“default”は、重み付け予測ではないことを示し、“explicit”は、明示的な重み付け予測であることを示し、“implicit” は、暗示的な重み付け予測であることを示している。

そして、「weighted_pred_flag」３０２の値と、「weighted_bipred_idc」３０３の値と、「PredFlagL0」３０４の値と、「PredFlagL1」３０５の値とから、「process」３０６が“default”、“explicit”、又は“implicit”であることが決定される。例えば、「weighted_pred_flag」３０２の値が“１”で、「PredFlagL0」３０４の値の“１”である場合、「process」の値は“explicit”モードで重み付け予測を行うことが解る。

一方、Ｈ．２６４では、動きベクトルによる予測が用いられので、この動きベクトルをピクチャ毎に累積し、フレーム予測ピクチャ毎の動き量を算出することができる。

本発明を実施するための一実施形態であるシーンチェンジ検出装置では、これらの重み付け予測に関するフラグと動き量とに基づいて、動画像がフェードインやフェードアウトする場合でも、誤検出することなく適切にシーンチェンジを検出する。

図１は、本発明を実施するための一実施形態であるシーンチェンジ検出装置の構成を示した構成図である。

図１に示すようにシーンチェンジ検出装置１は、Ｈ．２６４デコーダ１１と、シーンチェンジ検出部１２と、動画像処理部１３と、表示部１４とを備える。

Ｈ．２６４デコーダ１１は、ＭＰＥＧ規格に準拠した前記動画像の重み付け予測に関するフラグに基づいて重み付け予測を行うか否かを示した重み付けフラグを生成すると共に、動画像の動きベクトルから動き量を算出し、生成した重み付けフラグと算出した動画像の動き量と動画像を表現するフレーム画像とを同期させてシーンチェンジ検出部１２へ出力する。また、Ｈ．２６４デコーダ１１は、同時に映像処理部１３に動画像を表現するフレーム画像を出力する。

ここで、図１では、重み付けフラグを「ｗｅｉ」で示し、動画像の動き量を「ａｍｖ」で示し、動画像を表現するフレーム画像を「ｄａｔ」で示している。

シーンチェンジ検出部１２は、デコーダ１１により同期されて出力された重み付けフラグｗｅｉ、動き量ａｍｖ、及びフレーム画像ｄａｔを入力し、この重み付けフラグｗｅｉが重み付け予測を行うことを示しており、且つ動き量ａｍｖが所定の閾値を超えている場合には、重み付けフラグｗｅｉ、及び動き量ａｍｖに同期されたフレーム画像ｄａｔはシーンチェンジを示していないと判定する。そして、適切に検出した真のシーンチェンジをシーンチェンジ判定信号として動画像処理部１３へ供給する。

動画像処理部１３は、シーンチェンジ検出部１２から供給されたシーンチェンジ判定信号に基づいて、Ｈ２６４．デコーダ１１から供給された動画像からシーンチェンジのときのサムネイル画像を生成したり、シーンチェンジのときを起点として時間的に累積した動画像情報をリセットしたりする。

表示部１４は、動画像処理部１３からの出力信号に従って、動画像を表示する。

＜作用＞
次に、本発明を実施するための一実施形態であるシーンチェンジ検出装置１の作用について説明する。

図２は、本実施形態であるシーンチェンジ検出装置１の処理手順について説明したフローチャートである。

まず、シーンチェンジ検出装置１のＨ２６４．デコーダ１１は、外部からエンコードされた動画像ストリームが供給されると、供給された動画像ストリームから動画像データと共に動きベクトルもデコードする。そして、この動きベクトルを動画像データのピクチャ毎に累積し、フレーム予測ピクチャ毎の動き量ａｍｖを生成する。

また、シーンチェンジ検出装置１のＨ２６４．デコーダ１１は、重み付けフラグｗｅｉを生成する。具体的には、図３に示したように、「weighted_pred_flag」３０２の値と、「weighted_bipred_idc」３０３の値と、「PredFlagL0」３０４の値と、「PredFlagL1」３０５の値とから、「process」３０６が“default”、“explicit”、又は“implicit”であることが決定されるので、「process」３０６が“default”の場合は、「ｗｅｉ」の値を“０”に設定し、「process」３０６が“explicit”、又は“implicit”の場合は、「ｗｅｉ」の値を“１”に設定する。

そして、Ｈ２６４．デコーダ１１は、デコードした動画像を表現するフレーム画像ｄａｔと共に生成した重み付けフラグｗｅｉと動き量ａｍｖとを同期させてシーンチェンジ検出部１２に出力し、シーンチェンジ検出部１２は、入力したフレーム画像ｄａｔと重み付けフラグｗｅｉと動き量ａｍｖとを内蔵するメモリに一時的に記憶する。

そして、シーンチェンジ検出装置１のシーンチェンジ検出部１２は、入力したフレーム画像と重み付けフラグｗｅｉと動き量ａｍｖとを内蔵するメモリから読み出す（ステップＳ１０１）。

次に、シーンチェンジ検出部１２は、読み出した重み付けフラグｗｅｉが重み付け予測を行うことを示しているか否かを判定する（ステップＳ１０２）。具体的には、読み出した重み付けフラグｗｅｉが“１”であれば、重み付け予測を行うことを示していると判定し、読み出した重み付けフラグｗｅｉが“０”であれば、重み付け予測を行わないことを示していると判定する。

そして、ステップＳ１０２において、重み付け予測を行うことを示していると判定した場合には、動き量が大きいか否かを判定する（ステップＳ１０３）。具体的には、シーンチェンジ検出部１２は、動き量ａｍｖの値が予め定めた所定の閾値amv_set_valより大きい場合には動き量が大きいと判定し、動きベクトルａｍｖの値が予め定めた設定値amv_set_val以下の場合には動き量が小さいと判定する（ステップＳ１０３）。

ここで、閾値amv_set_valは、高すぎるとシーンチェンジ検出部１２はフェードイン／フェードアウトではない動画像をフェードイン／フェードアウトとして検出しやすくなる。また、閾値amv_set_valは、低すぎるとフェードイン／フェードアウトを検出できなくなり、いずれの場合でも、適切にシーンチェンジを検出することができなくなる。そのため、予め提供者等が実測に基づいた適正な値を算出し、提供者や利用者等が予め適正な値を設定しておく必要がある。

そして、ステップＳ１０３において、動き量が大きいと判定した場合には、シーンチェンジ検出部１２は、Ｈ２６４．デコーダ１１から供給されたフレーム画像がフェードイン／フェードアウトである可能性が高いと判定し、「Fade_in_out_flag」の値を“１”に設定する。

一方、ステップＳ１０２において、重み付け予測を行わないことを示していると判定した場合、又はステップＳ１０３において、動き量が小さいと判定した場合には、シーンチェンジ検出部１２は、Ｈ２６４．デコーダ１１から供給されたフレーム画像がフェードイン／フェードアウトである可能性は低いと判定し、「Fade_in_out_flag」の値を“０”に設定する（ステップＳ１０５）。

そして、シーンチェンジ検出部１２は、「Fade_in_out_flag」の値が“１”と設定されたフレーム画像をシーンチェンジではないと判定する。具体的には、「Fade_in_out_flag」の値が“１”である検出期間をマスクしたり、シーンチェンジ検出をするための条件に重み付けをする等の処理を行い、フェードイン／フェードアウトのフレーム画像をシーンチェンジとして誤検出することを防止する。

このようにして、誤検出することなく、真にシーンチェンジを検出したシーンチェンジ判定信号を動画像処理部１３へ供給する。

動画像処理部１３は、シーンチェンジ検出部１２から供給されたシーンチェンジ判定信号に基づいて、Ｈ２６４．デコーダ１１から供給されたフレーム画像からシーンチェンジのときのサムネイル画像を生成したり、シーンチェンジのときを起点として時間的に累積した動画像情報をリセットしたりする。

以上のように、本実施形態であるシーンチェンジ検出装置１によれば、重み付けフラグｗｅｉ及び動き量ａｍｖを用いて、シーンチェンジを検出するので、動画像がフェードインやフェードアウトする場合でも、誤検出することなく適切にシーンチェンジを検出できる。

本発明を実施するための一実施形態であるシーンチェンジ検出装置の構成を示した構成図である。 本発明を実施するための一実施形態であるシーンチェンジ検出装置の処理手順について説明したフローチャートである。 Ｈ．２６４に用いられる重み付け予測に関するフラグの一例を示した説明図である。

符号の説明

１…シーンチェンジ検出装置
１１…Ｈ．２６４デコーダ（デコーダ）
１２…シーンチェンジ検出部（シーンチェンジ検出手段）
１３…動画像処理部（動画像処理手段）
１４…表示部

Claims (1)

1. 時系列的に連続するフレーム画像を備えたＨ．２６４規格に準拠した動画像から、この動画像の変化の度合に基づいてシーンチェンジを検出するシーンチェンジ検出装置であって、
   前記動画像の重み付け予測に関するフラグに基づいて重み付け予測を行うか否かを示した重み付けフラグを生成すると共に、前記動画像の動きベクトルから動き量を算出し、生成した前記重み付けフラグと前記算出した動画像の動き量と前記フレーム画像とを同期させて出力するデコーダと、
   前記デコーダにより同期されて出力された前記重み付けフラグ、前記動き量、及び前記フレーム画像を入力し、入力した前記重み付けフラグが重み付け予測を行うことを示しており、且つ入力した前記動き量が所定の閾値を超えている場合には、前記入力した重み付けフラグ、及び前記入力した動き量に同期されたフレーム画像をシーンチェンジとして検出しないようにするシーンチェンジ検出手段と
   を備えるシーンチェンジ検出装置。

Images