JP2007288402A - ディゾルブ／フェード区間検出装置、ディゾルブ／フェード区間検出方法、プログラム、復号装置及び再符号化装置 - Google Patents

Abstract

【課題】圧縮動画像データを完全に復号する前に精度良くディゾルブ／フェード区間を検出することができるディゾルブ／フェード区間検出装置、ディゾルブ／フェード区間検出方法、プログラム、復号装置及び再符号化装置を提供する。
【解決手段】領域変化方向算出部１０１が輝度差分情報１６を基に領域変化方向１７を規定し、参照先領域算出部１０２が参照可能領域１９の数ｃｎｔをカウントする。ディゾルブ／フェード領域抽出部１０３が領域変化方向１７を基に、その領域がディゾルブ／フェード領域２０であるか否かを判定し、予測符号化ピクチャ１２全体のディゾルブ／フェード領域２０の数ｆｃｎｔをカウントし、判定部１０４がｆｃｎｔ／ｃｎｔと所定のしきい値とを比較して現在のピクチャがディゾルブ／フェード区間であるか否かを判定する。
【選択図】図１

Description

本発明は、動き予測を伴った画像圧縮技術によって圧縮された動画像データのディゾルブ／フェード区間を検出する方法、ディゾルブ／フェード区間を検出する装置、プログラム、当該装置を有する復号装置及び再符号化装置に関する。

動画像データからディゾルブ／フェードといった特殊効果を検出することは、特徴的な場面の抽出や、ＭＰＥＧ方式等に効率よく画像圧縮するために非常に重要な技術となる。例えば画像圧縮の際には、検出結果に基づいて重み付き予測等による処理を行うことができる。
ディゾルブとは、画像が徐々に変わっていく効果である。
フェードとは、変化の無い画像（白や黒）から画像がディゾルブする（フェードイン）、或いは変化の無い画像に変化する（フェードアウト）効果であり、ディゾルブの一形態と考えることができる。
ディゾルブ／フェード区間は、動きが小さく、輝度が変化することが特徴である。

一般に動画像データはすでにＭＰＥＧ方式などによって符号化されたものが多く、そのような動画像からディゾルブやフェードを検出するためには、一旦完全にデコード（復号）を行いベースバンドの画像データに戻した後、映像の明るさ（輝度）が徐々に一定の割合で変化する単調変化性を検出する方法が一般的である。しかし、動画像データのデコードを行うために多くの時間がかかり、また処理量が多くなってしまうために装置の負担が大きい、といった不利益があった。

上記不利益を解消するために、例えば特許文献１に開示されているような、輝度の差分情報を隣接するピクチャ間で比較することにより動画像データを圧縮したままディゾルブ区間を検出することができる技術が開発されている。
特開平９−３２２１７１号公報

しかし、上記特許文献１に開示された方法には以下のような不利益がある。
特許文献１に開示された技術においては、隣接するピクチャ同士の同じ位置にある領域の輝度を比較するため、例えばＭＰＥＧ２のように動き予測を伴う符号化圧縮方式で圧縮された動画像データに対しては、動き予測による参照先の領域のずれが考慮されない。すなわち、動きの有無を考慮せずに輝度の変化のみに基づいてディゾルブ／フェード検出をするので、ズームやパンといった動きを伴った区間（シーン）等を誤って検出してしまい、特徴的な場面の抽出精度や、再び圧縮する際の効率が低下する。
更に特許文献１において、動き予測による参照先の領域のずれを考慮に入れてディゾルブ／フェード検出を行っても、ディゾルブやフェード区間のようにピクチャ全体の輝度が変化するシーンでは動き予測自体が難しい。またエンコーダ（符号化手段）の特性等によって動き予測の結果が大きく左右される。更に、ディゾルブ区間では大きな動きを伴ったシーンがあることが非常に少ないため、動きが大きい場面におけるディゾルブ検出では検出精度が低下する、という不利益がある。

本発明は、上述した不利益を解消するために、圧縮動画像データを完全に復号する前に精度良くディゾルブ／フェード区間を検出することができるディゾルブ／フェード区間検出装置、ディゾルブ／フェード区間検出方法、そのプログラムを提供することを目的とする。
また、本発明は、当該装置を有する復号装置及び再符号化装置を提供することを目的とする。

上述した目的を達成するために、本発明のディゾルブ／フェード検出装置は、フレーム間またはフィールド間の画像データについて動き予測を行って圧縮符号化し、圧縮された画像データ列の輝度情報に基づいて画像データ内の各領域の輝度の領域変化方向を算出する領域変化方向算出部と、動き予測処理のとき参照する前記画像データ内の参照先領域を当該領域の動きベクトルを基に算出し、存在する場合その参照先領域を参照可能領域として前記画像データ内の数をカウントする参照先領域算出部と、前記参照先領域算出部が算出した前記参照先領域と前記領域変化方向算出部が算出した前記領域変化方向が等しく、かつ前記領域変化方向が０ではない領域を抽出し、当該領域をディゾルブ／フェード領域として前記画像データ内の数をカウントするディゾルブ／フェード領域抽出部と、前記参照先領域算出部が算出した前記参照可能領域の数に対する前記ディゾルブ／フェード領域抽出部が抽出した前記ディゾルブ／フェード領域の数の割合を所定のしきい値と比較し、前記割合が前記所定のしきい値よりも大きければ当該画像データがディゾルブ／フェード区間のデータであると判定する判定部と、を有する。

本発明のディゾルブ／フェード区間検出方法は、フレーム間またはフィールド間の画像データについて動き予測を行って圧縮符号化し、圧縮された画像データ列の輝度情報に基づいて画像データ内の各領域の輝度の領域変化方向を算出する第１の工程と、動き予測処理のとき参照する前記画像データ内の参照先領域を当該領域の動きベクトルを基に算出し、存在する場合その参照先領域を参照可能領域として前記画像データ内の数をカウントする第２の工程と、前記第１の工程において算出された前記参照先領域と前記第２の工程において算出された前記領域変化方向が等しく、かつ前記領域変化方向が０ではない領域を抽出し、当該領域をディゾルブ／フェード領域として前記画像データ内の数をカウントする第３の工程と、前記前記第２の工程において算出された前記参照可能領域の数に対する前記ディゾルブ／フェード領域抽出部が抽出した前記ディゾルブ／フェード領域の数の割合を所定のしきい値と比較し、前記割合が前記所定のしきい値よりも大きければ当該画像データがディゾルブ／フェード区間のデータであると判定する第４の工程と、を有する。

本発明のプログラムは、フレーム間またはフィールド間の画像データについて動き予測を行って圧縮符号化し、圧縮された画像データ列の内、どの領域がディゾルブ／フェード領域であるかを検出する装置に実行させるプログラムであって、フレーム間またはフィールド間の画像データについて動き予測を行って圧縮符号化し、圧縮された画像データ列の輝度情報に基づいて画像データ内の各領域の輝度の領域変化方向を算出する第１の手順と、動き予測処理のとき参照する前記画像データ内の参照先領域を当該領域の動きベクトルを基に算出し、存在する場合その参照先領域を参照可能領域として前記画像データ内の数をカウントする第２の手順と、前記第１の手順において算出された前記参照先領域と前記第２の手順において算出された前記領域変化方向が等しく、かつ前記領域変化方向が０ではない領域を抽出し、当該領域をディゾルブ／フェード領域として前記画像データ内の数をカウントする第３の手順と、前記前記第２の手順において算出された前記参照可能領域の数に対する前記ディゾルブ／フェード領域抽出部が抽出した前記ディゾルブ／フェード領域の数の割合を所定のしきい値と比較し、前記割合が前記所定のしきい値よりも大きければ当該画像データがディゾルブ／フェード区間のデータであると判定する第４の手順と、を前記装置に実行させる。

本発明の復号装置は、画像データ列を復号する復号装置であって、前記画像データ列から、フレーム間またはフィールド間の画像データについて動き予測を行って圧縮符号化し、圧縮された画像データを抽出して当該画像データの符号化情報を抽出する符号化情報抽出部と、前記符号化情報を基に、前記画像データ列の内、どの画像がディゾルブ／フェード領域を含む画像であるかを検出し、ディゾルブ／フェード結果として出力するディゾルブ／フェード区間検出部と、前記画像データ列の復号を行う復号部と、を有し、前記ディゾルブ／フェード区間検出部は、前記符号化情報抽出部が抽出した前記符号化情報に基づいて画像データ内の各領域の輝度の領域変化方向を算出する領域変化方向算出部と、動き予測処理のとき参照する前記画像データ内の参照先領域を当該領域の動きベクトルを基に算出し、存在する場合その参照先領域を参照可能領域として前記画像データ内の数をカウントする参照先領域算出部と、前記参照先領域算出部が算出した前記参照先領域と前記領域変化方向算出部が算出した前記領域変化方向が等しく、かつ前記領域変化方向が０ではない領域を抽出し、当該領域をディゾルブ／フェード領域として前記画像データ内の数をカウントするディゾルブ／フェード領域抽出部と、前記参照先領域算出部が算出した前記参照可能領域の数に対する前記ディゾルブ／フェード領域抽出部が抽出した前記ディゾルブ／フェード領域の数の割合を所定のしきい値と比較し、前記割合が前記所定のしきい値よりも大きければ当該画像データがディゾルブ／フェード区間のデータであると判定する判定部と、を更に有する。

本発明の再符号化装置は、所定の符号化圧縮方式によって圧縮された画像データ列を再符号化する再符号化装置であって、前記画像データ列から、フレーム間またはフィールド間の画像データについて動き予測を行って圧縮符号化し、圧縮された画像データを抽出して当該画像データの符号化情報を抽出する符号化情報抽出部と、前記符号化情報を基に、前記画像データ列の内、どの画像がディゾルブ／フェード領域を含む画像であるかを検出し、ディゾルブ／フェード結果として出力するディゾルブ／フェード区間検出部と、前記画像データ列の復号を行う復号部と、前記復号部が復号した前記画像データ列を基に前記所定の符号化圧縮方式とは異なる符号化圧縮方式によって再符号化を行う再符号化部と、を有し、前記ディゾルブ／フェード区間検出部は、前記符号化情報抽出部が抽出した前記符号化情報に基づいて画像データ内の各領域の輝度の領域変化方向を算出する領域変化方向算出部と、動き予測処理のとき参照する前記画像データ内の参照先領域を、当該領域の動きベクトルを基に算出し、存在する場合その参照先領域を参照可能領域として前記画像データ内の数をカウントする参照先領域算出部と、前記参照先領域算出部が算出した前記参照先領域と前記領域変化方向算出部が算出した前記領域変化方向が等しく、かつ前記領域変化方向が０ではない領域を抽出し、当該領域をディゾルブ／フェード領域として前記画像データ内の数をカウントするディゾルブ／フェード領域抽出部と、前記参照先領域算出部が算出した前記参照可能領域の数に対する前記ディゾルブ／フェード領域抽出部が抽出した前記ディゾルブ／フェード領域の数の割合を所定のしきい値と比較し、前記割合が前記所定のしきい値よりも大きければ当該画像データがディゾルブ／フェード区間のデータであると判定する判定部と、を更に有し、前記再符号化部は、前記ディゾルブ／フェード区間検出部が検出した前記ディゾルブ／フェード区間の再符号化の際には、所定の再符号化処理を行う。

本発明によれば、動き予測を伴う動画像圧縮データから、動きベクトルが小さい領域、すなわち画面全体の動きが少ない場面のみを抽出し、その中から輝度が連続して変化している領域をディゾルブ／フェード領域として判定するので、ズームやパンといった動きが比較的大きい区間を誤って検出してしまうことが無く、動き予測が誤っている可能性が高い領域を除外して判定を行うので、精度良くディゾルブ／フェード区間を検出できるディゾルブ／フェード区間検出装置、ディゾルブ／フェード区間検出方法、プログラム、復号装置及び再符号化装置を提供することができる。

＜第１実施形態＞
以下、本発明の第１実施形態のデコーダ２００について説明する。
本第１実施形態のデコーダ２００は、入力された動画像圧縮データ１１のディゾルブ／フェード区間を復号前に検出することによって、復号化の効率低下を避けることができる。
デコーダ２００の構成を図１に示す。
図１に示すように、デコーダ２００は、符号化情報抽出部２０１、ディゾルブ／フェード区間検出部２０２、復号部２０３を有する。
また、ディゾルブ／フェード区間検出部２０２は、更に領域変化方向算出部２０２１、参照先領域算出部２０２２、ディゾルブ／フェード領域抽出部２０２３、判定部２０２４、バッファメモリ２０２５及び２０２６を有する。

符号化情報抽出部２０１は、入力された動画像圧縮データ１１に解凍処理及び逆量子化処理を行い、予測符号化ピクチャ１２を抽出すると同時に、ディゾルブ／フェード区間検出部２０２の行うディゾルブ／フェード区間検出処理に必要なパラメータ（輝度情報１３、予測符号化／非予測符号化情報１４、動き予測情報１５）を抽出する。
輝度情報１３は、予測符号化ピクチャ１２の各領域（マクロブロック）の輝度の情報であり、予測符号化／非予測符号化情報１４は、同該領域が予測符号化されているか否かを示す情報であり、動き予測情報１５は、当該領域の動きベクトル情報である。

ここで、符号化情報抽出部２０１に入力される動画像圧縮データ１１は、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４／ＡＶＣ等、動き予測とフレーム或いはフィールド間順方向予測符号化を備えた方式により作成されている必要がある。
予測符号化ピクチャ１２は、例えば、フレーム間またはフィールド間予測符号化方式によって圧縮されたＰピクチャ画像データ列である。
予測符号化ピクチャ１２は、例えばＨＤＤ（Hard Disk Drive）やＣＤ−ＲＯＭ等の記録装置に記録されたデータ、或いはインターネット等のネットワークを経由して伝送されるデータ等である。

符号化情報抽出部２０１は、予測符号化ピクチャ１２から各領域の輝度情報１３、予測符号化／非予測符号化情報１４、動き予測情報１５を抽出し、ディゾルブ／フェード区間検出部２０２に出力される。輝度情報１３は、領域変化方向算出部２０２１に入力される。予測符号化／非予測符号化情報１４、動き予測情報１５は参照先領域算出部２０２２に入力されると共に、バッファメモリ２０２５に格納される。

ディゾルブ／フェード区間検出部２０２は、符号化情報抽出部２０１が抽出したパラメータ（輝度情報１３、予測符号化／非予測符号化情報１４、動き予測情報１５）を利用して、動画像圧縮データ１１のディゾルブ／フェード区間を検出する。

領域変化方向算出部２０２１は、符号化情報抽出部２０１が動画像圧縮データ１１から抽出した輝度情報１３から、予測符号化ピクチャ１２の各領域の輝度がどのような傾向で変化しているかを算出する。予測符号化が行われた領域において、フレーム間の輝度情報１３の変化を輝度差分情報１６として算出し、輝度差分情報１６が正であるか、負であるか、０であるかの３レベルに分けて輝度の領域変化方向１７を規定する。この際、単純に輝度差分情報１６の符号によって領域変化方向１７を規定しても良いし、ある所定のしきい値を超えた値を正、しきい値未満を負、その他を０としてもよい。更に細かいレベルに分類する手法を採っても良い。
なお、予測符号化ピクチャ１２がＰピクチャである場合、予測符号化された領域（インターマクロブロック）は輝度差分情報１６を元々有しているので、領域変化方向算出部２０２１が輝度情報１３から輝度差分を算出する必要がなく、ディゾルブ／フェード区間検出部２０２の処理が早くなる。
ここで算出された領域変化方向１７は、ディゾルブ／フェード領域抽出部２０２３に入力され、また同時にバッファメモリ２０２６に格納される。

参照先領域算出部２０２２は、符号化情報抽出部２０１から入力された予測符号化／非予測符号化情報１４、動き予測情報１５と、以前にバッファメモリ２０２５に格納された過去の予測符号化ピクチャ１２の予測符号化／非予測符号化情報１４、動き予測情報１５とを利用して、予測符号化ピクチャ１２の各領域において、どの領域から予測されたのかを参照先領域１８として算出する。すなわち、予測符号化が行われた領域において、その領域の動き予測情報１５を基に参照先領域１８を算出する。具体的には、例えば、領域を（ｉ，ｊ）で表し、動き予測情報１５を動きベクトル（ＭＨＶ（ｉ，ｊ），ＭＶＶ（ｉ，ｊ））で表すとき、参照先領域１８は（ｉ−ＭＨＶ（ｉ，ｊ），ｊ−ＭＶＶ（ｉ，ｊ））で求められる。ここで、参照先領域１８が領域の単位に一致しない場合等でも、最も近い領域を参照先領域１８とするなど適宜処理を行って参照先領域１８を算出することができる。或いは、参照先領域１８が現在の領域から離れている、参照先領域１８が予測符号化されていない、等のさまざまな条件下においては、参照先領域１８を存在しないと規定することができる。
また、参照先領域算出部２０２２は、存在する参照先領域１８の数を参照可能領域１９としてカウントする。

ディゾルブ／フェード領域抽出部２０２３は、領域変化方向算出部２０２１から入力された領域変化方向１７と、以前にバッファメモリ２０２６に格納された過去のピクチャの領域変化方向１７とを利用して、参照先領域１８と比較して領域変化方向１７が等しく、かつ非０である領域を抽出し、ディゾルブ／フェード領域２０としてその数をカウントする。この処理は、すなわち輝度が継続して変化している領域を抽出する処理である。

判定部２０２４は、参照先領域算出部２０２２がカウントした参照可能領域１９の数（以下ｃｎｔと称する）に対するディゾルブ／フェード領域抽出部２０２３がカウントしたディゾルブ／フェード領域２０の数（以下ｆｃｎｔと称する）の割合（ｆｃｎｔ／ｃｎｔ）と所定のしきい値との比較を行い、所定のしきい値よりも当該割合が大きい場合には、その予測符号化ピクチャ１２をディゾルブ／フェード領域を含むピクチャ（ディゾルブ／フェード区間）であると判定し、どのピクチャがディゾルブ／フェード区間であるかを示すディゾルブ／フェード結果として出力する。ただし、ここで参照可能領域１９が予測符号化ピクチャ１２内に占める割合が小さい場合は、そのピクチャにおけるディゾルブ／フェード結果を無効にし、そのピクチャはディゾルブ／フェード区間ではないという判定をしてもよい。

判定部２０２４が行う判定の一例を図３に示す。
図３はディゾルブ／フェード結果の一例を示す図である。図３では縦軸にある動画像圧縮データのｆｃｎｔ／ｃｎｔ、横軸にピクチャフレームをとった図である。図３中の破線がしきい値の一例であり、判定部２０２４はｆｃｎｔ／ｃｎｔがこれを超えているピクチャをディゾルブ／フェード区間であると判定する。すなわち、判定部２０２４は、図３に示す、しきい値よりディゾルブ／フェード結果が大きい区間をディゾルブ／フェード区間であると判定する。
ここで、しきい値は例えば経験的に決定される所定の値であり、全ての領域に対して一定のしきい値を使用し判定を行う。

復号部２０３は、判定部２０２４が判定したディゾルブ／フェード結果を参照して、動画像圧縮データ１１の精度よい復号を行う。

第１実施形態のデコーダ２００の動作例を図２と関連付けて説明する。
図２は、デコーダ２００の動作例を示すフローチャートである。

ステップＳＴ１：
符号化情報抽出部２０１は、入力された動画像圧縮データ１１を解凍し、逆量子化を行って予測符号化ピクチャ１２を抽出し、予測符号化ピクチャ１２の各領域（マクロブロック）の輝度情報１３、予測符号化／非予測符号化情報１４、動き予測情報１５を抽出する。
符号化された動画像圧縮データを復号（デコード）し再生するためには、順に解凍、逆量子化、逆ＤＣＴ変換が必要であるが、ステップＳＴ２以降の処理において、輝度情報１３が必要になるため、本ステップにおいて逆量子化まで済ませておく。何故なら、逆量子化を済ませていないと輝度情報１３を参照することができないからである。
ステップＳＴ２：
領域変化方向算出部２０２１は、現在の領域とその領域の過去の輝度情報１３を基に輝度差分情報１６を算出し、これの符号の基に領域変化方向１７を規定する。

ステップＳＴ３：
参照先領域算出部２０２２は、現在の領域の予測符号化／非予測符号化情報１４、動き予測情報１５と当該領域の過去の予測符号化／非予測符号化情報１４、動き予測情報１５を基に参照先領域１８を算出し、その内予測符号化されているものを参照可能領域１９として、その数ｃｎｔを算出する。
ステップＳＴ４：
ディゾルブ／フェード領域抽出部２０２３は、ステップＳＴ２において領域変化方向算出部２０２１が算出した領域変化方向１７を基に、その領域がディゾルブ／フェード領域２０であるか否かを判定し、予測符号化ピクチャ１２全体のディゾルブ／フェード領域２０を抽出してその数ｆｃｎｔをカウントする。

ステップＳＴ５：
判定部２０２４が、参照可能領域１９とディゾルブ／フェード領域２０から現在の領域がディゾルブ／フェード区間であるか否かを判定する。
ステップＳＴ６：
復号部２０３が、入力された動画像圧縮データ１１を復号する。

次に、ディゾルブ／フェード区間検出部２０２が行う処理の詳細について、図４を参照しながら説明する。
図４は、ディゾルブ／フェード区間検出部２０２が行う処理の例を示したフローチャートである。

各ステップについて説明する前に、各変数について説明する。
ｃｎｔは参照可能領域１９の数、ｆｃｎｔはディゾルブ／フェード領域２０の数、（ｎ，ｉ，ｊ）はｎ番目（ｎは正整数）のピクチャ内の座標（ｉ，ｊ）で表される領域、ＭＶＨ（ｎ，ｉ，ｊ）とＭＶＶ（ｎ，ｉ，ｊ）はそれぞれ（ｎ，ｉ，ｊ）領域の水平、垂直動きベクトル、Δｙ（ｎ，ｉ，ｊ）は（ｎ，ｉ，ｊ）領域の輝度の差分情報である。ｐｒｅｄ（ｎ，ｉ，ｊ）はｎ番目の(現在の)予測符号化ピクチャの（ｎ，ｉ，ｊ）領域が予測符号化されているかを０或いは１で保持する（ここでは予測符号化されていない場合を０、そうでない場合を１とする）。領域変化方向１７を示すｓｉｇｎ（ｎ，ｉ，ｊ）は、ｎ番目の予測符号化ピクチャのΔｙ（ｎ，ｉ，ｊ）の符号を正、負、０のいずれかで示す。

ステップＳＴ１１：
ディゾルブ／フェード区間検出部２０２は、ｎ番目のピクチャについて、ディゾルブ／フェード領域検出処理を開始する。
ステップＳＴ１２：
ディゾルブ／フェード区間検出部２０２は、各変数の初期化を行い、０に設定する。

ステップＳＴ１３：
ディゾルブ／フェード区間検出部２０２は、現在の領域（ｎ，ｉ，ｊ）が予測符号化されている領域であるか否かを判定する。現在の領域（ｎ，ｉ，ｊ）の予測符号化／非予測符号化情報１４を基に予測符号化されている領域であるか否かの判定を行い、されている場合はステップＳＴ１４に進み、そうでないときはステップＳＴ２３に進む。
ステップＳＴ１４：
ディゾルブ／フェード区間検出部２０２は、輝度情報１３を基に、参照先領域１８との輝度差分情報１６：Δｙ（ｎ，ｉ，ｊ）を算出し、その符号を領域変化方向１７：ｓｉｇｎ（ｎ，ｉ，ｊ）として保持する。また、同時に、ステップＳＴ１３において領域（ｎ，ｉ，ｊ）は予測符号化された領域であることが明らかになっているので、ｐｒｅｄ（ｎ，ｉ，ｊ）を１に設定して保持する。

ステップＳＴ１５：
ディゾルブ／フェード区間検出部２０２は、領域（ｎ，ｉ，ｊ）の水平方向の動きベクトル（動き予測情報１５）ＭＶＨ（ｎ，ｉ，ｊ）及び垂直方向の動きベクトル（ｎ，ｉ，ｊ）がそれぞれしきい値ベクトルＭＶｔｈよりも小さいか否かを判定し、水平垂直どちらもしきい値ベクトルＭＶｔｈよりも小さい場合はステップＳＴ１６に進み、そうでない場合はステップＳＴ２１に進む。
しきい値ベクトルＭＶｔｈの大きさは、例えば所定の経験的に求められた値等でよく、本実施形態では限定しない。
ステップＳＴ１６：
ディゾルブ／フェード区間検出部２０２は、参照先のずれを補正するために、領域（ｎ，ｉ，ｊ）の参照先領域１８：（ｎ−１，ｉ’，ｊ’）をｉ’＝ｉ−ＭＶＨ（ｎ，ｉ，ｊ）、ｊ’＝ｊ−ＭＶＶ（ｎ，ｉ，ｊ）で算出する。参照先領域１８は、過去のピクチャ（例えばｎ−１番目のピクチャ）上に存在する。

ステップＳＴ１７：
ディゾルブ／フェード区間検出部２０２は、参照先領域１８：（ｎ−１，ｉ’，ｊ'）が予測符号化されているか否かを参照先領域１８の予測符号化／非予測符号化情報１４を基に判定し、されている場合はステップＳＴ１８に進み、そうでない場合はステップＳＴ２１に進む。
ステップＳＴ１８：
ディゾルブ／フェード区間検出部２０２は、参照先領域１８が予測を行われた領域である場合は参照可能領域１９であるとしてカウントし（参照可能領域１９の数ｃｎｔに１を加算して）、ステップＳＴ１９に進む。

ステップＳＴ１９：
ディゾルブ／フェード区間検出部２０２は、領域（ｎ，ｉ，ｊ）と参照先領域１８：（ｎ−１，ｉ’，ｊ’）との輝度差分情報１６：Δｙ（ｎ，ｉ，ｊ）と、参照先領域１８：（ｎ−１，ｉ’，ｊ’）との輝度の差分情報１６：Δｙ（ｎ−１，ｉ’，ｊ’）とが同一符号かつ０でないことを条件に、ステップＳＴ２０に進み、上記条件を満たさない場合はステップＳＴ２１に進む。このステップは、すなわち、輝度が連続して変化しているか否かを判定するステップである。
ステップＳＴ２０：
ステップＳＴ９の条件を満たしていた領域（ｎ，ｉ，ｊ）をディゾルブ／フェード領域２０であるとしてカウントし（ディゾルブ／フェード領域２０の数ｆｃｎｔに１を加算して）、ステップＳＴ２１に進む。

ステップＳＴ２１：
ｉが横方向の領域数、すなわち予測符号化ピクチャ１２内の横方向のマクロブロック数よりも小さい場合はステップＳＴ２４に進む。ｉが予測符号化ピクチャ１２内の横方向の領域数と等しくなったら、横一列分の領域の処理が終了したとしてステップＳＴ２２に進む。
ステップＳＴ２２
ｊが縦方向の領域数、すなわち予測符号化ピクチャ１２内の縦方向のマクロブロック数よりも小さい場合はステップＳＴ２５に進み、現在のｉに１を加えてステップＳＴ１３に戻る。ｊが予測符号化ピクチャ１２内の縦方向の領域数と等しくなったら、全ての領域の処理が終了したとしてｎ番目のピクチャに対する処理は終了する。

ステップＳＴ２３：
ステップＳＴ３において領域（ｎ，ｉ，ｊ）が予測符号化されていないと明らかになった場合は、ｐｒｅｄ（ｎ，ｉ，ｊ）を０に保持してステップＳＴ２１に進む。
ステップＳＴ２４：
現在のｉに１を加えてステップＳＴ１３に戻る。すなわち、予測符号化ピクチャ１２内の横方向の領域全てに上述した処理を行うまで上記ステップＳＴ１３〜ＳＴ２０を繰り返す。
ステップＳＴ２５：
現在のｊに１を加えてステップＳＴ１３に戻る。すなわち、予測符号化ピクチャ１２内の領域全てに上述した処理を行うまで上記ステップＳＴ１３〜ＳＴ２０を繰り返す。

以上説明したように、以上説明したように、本第１実施形態のデコーダ２００はディゾルブ／フェード区間検出部２０２を有し、ディゾルブ／フェード区間検出部２０２は、動き予測を伴う動画像圧縮データから、動きベクトルが小さい領域、すなわち画面全体の動きが少ない場面のみを抽出し、その中から輝度が連続して変化している領域をディゾルブ／フェード領域として判定しているので、ズームやパンといった動きが比較的大きい区間を誤って検出してしまうことが無く、動き予測が誤っている可能性が高い領域（動きベクトルが大きい領域）を除外して判定を行うので、精度良くディゾルブ／フェード区間を検出することができる。
また、本第１実施形態のデコーダ２００によると、入力された動画像圧縮データ１１を完全にデコードせずともディゾルブ／フェード区間を検出できるので、計算量を減らすことができる。
また、予測符号化ピクチャ１２にはＰピクチャを使用するので、輝度差分情報１６を算出する必要がなく、処理を早めディゾルブ／フェード区間検出部２０２にかかる負荷を小さくすることができる。

本第１実施形態では、判定部２０２４が、ディゾルブ／フェード領域２０（上記図４に関連した説明におけるｆｃｎｔ）が参照可能領域１９（上記図４に関連した説明におけるｃｎｔ）に占める割合（ｆｃｎｔ／ｃｎｔ）と比較を行うしきい値は、本実施形態では所定の値としたが、本発明はこれには限定されない。例えば、各領域の動きベクトルの大きさに合わせてしきい値を変化させ、より検出精度を上げるようにするような構成も考えられる。
＜第２実施形態＞
第２実施形態では、予測符号化された動画像圧縮データ１１を基に、再符号化を行う再符号化装置３００について説明する。
具体的には、再符号化装置３００は、ＭＰＥＧ１、ＭＰＥＧ２、Ｈ２６４．ＡＶＣのように動き予測を伴う動画像圧縮データを入力されて、入力されたデータと同一もしくは異なるフォーマットに再符号化した動画像圧縮データを出力する。
入力されるデータと、再符号化装置３００が出力するデータは、本発明では特に限定しない。ただし、入力されるデータは動き予測を伴う動画像圧縮データでなければならない。

図５は、再符号化装置３００の構成を示すブロック図である。
再符号化装置３００は、図５に示すように、符号化情報抽出部３０１、ディゾルブ／フェード区間検出部３０２、復号部３０３、再符号化部３０４を有する。
また、ディゾルブ／フェード区間検出部３０２は、更に領域変化方向算出部３０２１、参照先領域算出部３０２２、ディゾルブ／フェード領域抽出部３０２３、判定部３０２４、バッファメモリ３０２５及び３０２６を有する。
本第２実施形態のディゾルブ／フェード区間検出部３０２は、第１実施形態のディゾルブ／フェード区間検出部２０２と同様の構成を有し同様の動作を行う。同様に、ディゾルブ／フェード区間検出部３０２の各構成要素も第１実施形態で説明したディゾルブ／フェード区間検出部２０２の各構成要素と同様の動作を行う。すなわち、領域変化方向算出部３０２１は領域変化方向算出部２０２１と、参照先領域算出部３０２２は参照先領域算出部２０２２と、ディゾルブ／フェード領域抽出部３０２３はディゾルブ／フェード領域抽出部２０２３と、判定部３０２４は判定部２０２４と、バッファメモリ３０２５及び３０２６はバッファメモリ２０２５及び２０２６と同様の動作を行う。

符号化情報抽出部３０１は、入力された動画像圧縮データ１１に解凍処理及び逆量子化処理を行い、予測符号化ピクチャ１２を抽出すると同時に、ディゾルブ／フェード区間検出部３０２の行うディゾルブ／フェード区間検出処理に必要なパラメータ（輝度情報１３、予測符号化／非予測符号化情報１４、動き予測情報１５）を抽出する。
ここで、符号化情報抽出部３０１に入力される動画像圧縮データ１１は、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４／ＡＶＣ等、動き予測とフレーム或いはフィールド間順方向予測符号化を備えた方式により作成されている必要がある。
予測符号化ピクチャ１２は、例えば、フレーム間またはフィールド間予測符号化方式によって圧縮されたＰピクチャ画像データ列である。
予測符号化ピクチャ１２は、例えばＨＤＤ（Hard Disk Drive）やＣＤ−ＲＯＭ等の記録装置に記録されたデータ、或いはインターネット等のネットワークを経由して伝送されるデータ等である。

符号化情報抽出部３０１は、予測符号化ピクチャ１２から各領域の輝度情報１３、予測符号化／非予測符号化情報１４、動き予測情報１５を抽出し、ディゾルブ／フェード区間検出部３０２に出力される。輝度情報１３は、領域変化方向算出部３０２１に入力される。予測符号化／非予測符号化情報１４、動き予測情報１５は参照先領域算出部３０２２に入力されると共に、バッファメモリ３０２５に格納される。

ディゾルブ／フェード区間検出部３０２は、符号化情報抽出部３０１が抽出したパラメータ（輝度情報１３、予測符号化／非予測符号化情報１４、動き予測情報１５）を利用して、動画像圧縮データ１１のディゾルブ／フェード区間を検出する。

領域変化方向算出部３０２１は、符号化情報抽出部３０１が動画像圧縮データ１１から抽出した輝度情報１３から、予測符号化ピクチャ１２の各領域の輝度がどのような傾向で変化しているかを算出する。予測符号化が行われた領域において、輝度情報１３の変化を輝度差分情報１６として算出し、輝度差分情報１６が正であるか、負であるか、０であるかの３レベルに分けて領域変化方向１７を規定する。この際、単純に輝度差分情報１６の符号によって領域変化方向１７を規定しても良いし、ある所定のしきい値を超えた値を正、しきい値未満を負、その他を０としてもよい。更に細かいレベルに分類する手法を採っても良い。
ここで算出された領域変化方向１７は、ディゾルブ／フェード領域抽出部３０２３に入力され、また同時にバッファメモリ３０２６に格納される。

参照先領域算出部３０２２は、符号化情報抽出部３０１から入力された予測符号化／非予測符号化情報１４、動き予測情報１５と、以前にバッファメモリ３０２５に格納された過去のピクチャの予測符号化／非予測符号化情報１４、動き予測情報１５とを利用して、予測符号化ピクチャ１２の各領域において、どの領域から予測されたのかを参照先領域１８として算出する。予測符号化が行われた領域において、その領域の動き予測情報１５を基に参照先領域１８を算出する。例えば、領域を（ｉ，ｊ）で表し、動き予測情報１５を動きベクトル（ＭＨＶ（ｉ，ｊ），ＭＶＶ（ｉ，ｊ））で表すとき、参照先領域１８は（ｉ−ＭＨＶ（ｉ，ｊ），ｊ−ＭＶＶ（ｉ，ｊ））で求められる。ここで、参照先領域１８が領域の単位に一致しない場合でも、最も近い領域を参照先領域１８とするなど適宜処理を行って参照先領域１８を算出する。或いは、参照先領域１８が現在の領域から離れている、参照先領域１８が予測符号化されていない、等のさまざまな条件化において、参照先領域１８を存在しないと規定することができる。
また、参照先領域算出部３０２２は、存在する参照先領域１８の数を参照可能領域１９としてカウントする。

ディゾルブ／フェード領域抽出部３０２３は、領域変化方向算出部３０２１から入力された領域変化方向１７と、以前にバッファメモリ３０２６に格納された過去のピクチャの領域変化方向１７とを利用して、参照先領域１８と比較して領域変化方向１７が等しく、かつ非０である領域を抽出し、ディゾルブ／フェード領域２０としてカウントする。この処理は、すなわち輝度が継続して変化している領域を抽出する処理である。

判定部３０２４は、参照先領域算出部３０２２がカウントした参照可能領域１９の数に対するディゾルブ／フェード領域抽出部３０２３がカウントしたディゾルブ／フェード領域２０の数の割合から、その領域がディゾルブ／フェードであるか否かの判定を行い、ディゾルブ／フェード結果として出力する。ただし、ここで参照可能領域１９が予測符号化ピクチャ１２内に占める割合が小さい場合は、そのピクチャにおけるディゾルブ／フェード結果を無効にし、そのピクチャはディゾルブ／フェード区間ではないという判定をしてもよい。

復号部３０３は、入力された動画像圧縮データ１１を復号し、復号された復号データを再符号化部３０４に出力する。
再符号化部３０４は、復号部３０３から出力された復号データを基に、ディゾルブ／フェード区間検出部３０２が出力したディゾルブ／フェード結果に応じてディゾルブ／フェード区間に所定の処理を行いながら、入力された動画像圧縮データ１１と同一もしくは異なる圧縮符号化方式で再符号化を行う。
所定の処理は、例えば重み付き処理等、ディゾルブ／フェード区間の再符号化画質が向上する処理である。

第２実施形態の再符号化装置３００の動作例を図６と関連付けて説明する。
図６は、再符号化装置３００の動作例を示すフローチャートである。

ステップＳＴ３１：
符号化情報抽出部３０１は、入力された動画像圧縮データ１１を解凍し、逆量子化を行って予測符号化ピクチャ１２を抽出し、予測符号化ピクチャ１２の各領域（マクロブロック）の輝度情報１３、予測符号化／非予測符号化情報１４、動き予測情報１５を抽出する。
ステップＳＴ３２：
領域変化方向算出部３０２１は、現在の領域とその領域の過去の輝度情報１３を基に輝度差分情報１６を算出し、これの符号の基に領域変化方向１７を規定する。

ステップＳＴ３３：
参照先領域算出部３０２２は、現在の領域の予測符号化／非予測符号化情報１４、動き予測情報１５と当該領域の過去の予測符号化／非予測符号化情報１４、動き予測情報１５を基に参照先領域１８を算出し、その内予測符号化されているものを参照可能領域１９として、その数ｃｎｔを算出する。
ステップＳＴ３４：
ディゾルブ／フェード領域抽出部３０２３は、ステップＳＴ３２において領域変化方向算出部３０２１が算出した領域変化方向１７を基に、その領域がディゾルブ／フェード領域２０であるか否かを判定し、予測符号化ピクチャ１２全体のディゾルブ／フェード領域２０を抽出してその数をカウントする。

ステップＳＴ３５：
判定部３０２４が、参照可能領域１９とディゾルブ／フェード領域２０から現在の領域がディゾルブ／フェード区間であるか否かを判定する。
ステップＳＴ３６：
復号部３０３が、入力された動画像圧縮データ１１を復号し、復号データを再符号化部３０４に出力する。

ステップＳＴ３７：
再符号化部３０４は、ディゾルブ／フェード区間検出部３０２が出力したディゾルブ／フェード結果を基に、ディゾルブ／フェード区間に対しては重み付き予測等の特殊な処理を行いながら、入力された復号データを再符号化する。

再符号化装置３００のディゾルブ／フェード区間検出部３０２が行う参照可能領域１９の数とディゾルブ／フェード領域２０の数を求める処理については、図４に関連付けて第１実施例で説明した処理と同様であるので、ここでは説明を省略する。

以上説明したように、本実施形態の再符号化装置３００によれば、再符号化部３０４がディゾルブ／フェード区間検出部３０２の出力したディゾルブ／フェード結果を基に、復号部３０３が復号した復号データを再符号化するので、再符号化時の処理量が軽減され処理時間は短縮され、またディゾルブ／フェード区間に対しては重み付き予測等の処理を行うので、当該区間の再符号化画質を向上させることができる。
＜第３実施形態＞
本第３実施形態では、ディゾルブ／フェード区間検出装置１００の各構成と概略的動作について説明する。
図７は、ディゾルブ／フェード区間検出装置１００の構成を示すブロック図である。
ディゾルブ／フェード区間検出装置１００は、領域変化方向算出部１０１、参照先領域算出部１０２、ディゾルブ／フェード領域抽出部１０３、判定部１０４、バッファメモリ１０５及び１０６を有する。

ディゾルブ／フェード区間検出装置１００には、複数の予測符号化ピクチャ１２で構成された動画像圧縮データ１１から抽出されたパラメータ（符号化情報）：輝度情報１３、予測符号化／非予測符号化情報１４、動き予測情報１５が入力され、ディゾルブ／フェード区間検出装置１００はこれらパラメータを基に、動画像圧縮データ１１内のディゾルブ／フェード区間を検出する。

以下詳しく説明する。
まず、ディゾルブ／フェード区間検出装置１００に入力されたパラメータのうち、輝度情報１３は領域変化方向算出部１０１に入力され、予測符号化／非予測符号化情報１４及び動き予測情報１５は、予測符号化ピクチャ１２毎に分類されてバッファメモリ１０５に格納されるとともに、参照先領域算出部１０２に入力される。

本第３実施形態のディゾルブ／フェード区間検出装置１００は、第１実施形態のディゾルブ／フェード区間検出部２０２と同様の構成を有し同様の動作を行う。同様に、ディゾルブ／フェード区間検出装置１００の各構成要素も第１実施形態で説明したディゾルブ／フェード区間検出部２０２の各構成要素と同様の動作を行う。すなわち、領域変化方向算出部１０１は領域変化方向算出部２０２１と、参照先領域算出部１０２は参照先領域算出部２０２２と、ディゾルブ／フェード領域抽出部１０３はディゾルブ／フェード領域抽出部２０２３と、判定部１０４は判定部２０２４と、バッファメモリ１０５及び１０６はバッファメモリ２０２５及び２０２６と同様の動作を行う。

領域変化方向算出部１０１は、入力された輝度情報１３から、予測符号化ピクチャ１２の各領域の輝度がどのような傾向で変化しているかを算出する。予測符号化が行われた領域において、輝度情報１３の変化を輝度差分情報１６とし、輝度差分情報１６が正であるか、負であるか、０であるかの３レベルに分けて領域変化方向１７を規定する。この際、単純に輝度差分情報１６の符号によって領域変化方向１７を規定しても良いし、ある所定のしきい値を超えた値を正、しきい値未満を負、その他を０としてもよい。更に細かいレベルに分類する手法を採っても良い。
ここで算出された領域変化方向１７は、ディゾルブ／フェード領域抽出部１０３に入力され、また同時にバッファメモリ１０６に格納される。

参照先領域算出部１０２は、入力された予測符号化／非予測符号化情報１４、動き予測情報１５と、以前にバッファメモリ１０５に格納された過去の予測符号化ピクチャ１２の予測符号化／非予測符号化情報１４、動き予測情報１５とを利用して、予測符号化ピクチャ１２の各領域において、どの領域から予測されたのかを参照先領域１８として算出する。すなわち、予測符号化が行われた領域において、その領域の動き予測情報１５を基に参照先領域１８を算出する。具体的には、例えば、領域を（ｉ，ｊ）で表し、動き予測情報１５を動きベクトル（ＭＨＶ（ｉ，ｊ），ＭＶＶ（ｉ，ｊ））で表すとき、参照先領域１８は（ｉ−ＭＨＶ（ｉ，ｊ），ｊ−ＭＶＶ（ｉ，ｊ））で求められる。ここで、参照先領域１８が領域の単位に一致しない場合等でも、最も近い領域を参照先領域１８とするなど適宜処理を行って参照先領域１８を算出することができる。或いは、参照先領域１８が現在の領域から離れている、参照先領域１８が予測符号化されていない、等のさまざまな条件化においては、参照先領域１８を存在しないと規定することができる。
また、参照先領域算出部１０２は、存在する参照先領域１８の数を参照可能領域１９としてカウントする。

ディゾルブ／フェード領域抽出部１０３は、領域変化方向算出部１０１から入力された領域変化方向１７と、以前にバッファメモリ１０６に格納された過去のピクチャの領域変化方向１７とを利用して、参照先領域１８と比較して領域変化方向１７が等しく、かつ非０である領域を抽出し、ディゾルブ／フェード領域２０としてその数をカウントする。この処理は、すなわち輝度が継続して変化している領域を抽出する処理である。

判定部１０４は、参照先領域算出部１０２がカウントした参照可能領域１９の数に対するディゾルブ／フェード領域抽出部１０３がカウントしたディゾルブ／フェード領域２０の数の割合から、その予測符号化ピクチャ１２がディゾルブ／フェード領域を含むピクチャ（ディゾルブ／フェード区間）であるか否かの判定を行い、どのピクチャがディゾルブ／フェード区間であるかを示すディゾルブ／フェード結果として出力する。ただし、ここで参照可能領域１９が予測符号化ピクチャ１２内に占める割合が小さい場合は、そのピクチャにおけるディゾルブ／フェード結果を無効にし、そのピクチャはディゾルブ／フェード区間ではないという判定をしてもよい。

ディゾルブ／フェード区間検出装置１００の動作例については、第１実施形態のディゾルブ／フェード区間検出部２０２と同様であるので説明を省略する。

以上説明したように、本第１実施形態のディゾルブ／フェード区間検出装置１００によれば、動き予測を伴う動画像圧縮データから、動きベクトルが小さい領域、すなわち画面全体の動きが少ない場面のみを抽出し、その中から輝度が連続して変化している領域をディゾルブ／フェード領域として判定しているので、ズームやパンといった動きが比較的大きい区間を誤って検出してしまうことが無く、動き予測が誤っている可能性が高い領域（動きベクトルが大きい領域）を除外して判定を行うので、精度良くディゾルブ／フェード区間を検出することができる。

本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。

本実施形態では、入力された動画像データのＰピクチャのみを利用する構成としたが、本発明はこれには限定されない。実施形態中にも述べたように、Ｐピクチャの場合は輝度差分情報を有しているため計算量が少なくて済む、という利点を有するが、例えばＢピクチャを利用しても本発明は実行することができる。ただし、Ｂピクチャの場合は前方向予測と後方向予測の両方の場合があるため、処理が少し煩雑になる。しかし、ピクチャの予測方向を検出し、前方向の場合は本実施形態と同様の処理を、後方向の場合は符号を逆転して処理を行うことで、本発明をＢピクチャの場合にも実行することができる。

図１は、デコーダ２００の構成を示すブロック図である。 図２は、デコーダ２００の動作例を示すフローチャートである。 図３は、ディゾルブ／フェード結果の一例を示す図である。 図４は、ディゾルブ／フェード区間検出部２０２が行う処理の例を示したフローチャートである。 図５は、再符号化装置３００の構成を示すブロック図である。 図６は、再符号化装置３００の動作例を示すフローチャートである。 図７は、ディゾルブ／フェード区間検出装置１００の構成を示すブロック図である。

符号の説明

１００…フェード区間検出装置、２０２１，３０２１，１０１…領域変化方向算出部、２０２２，３０２２，１０２…参照先領域算出部、２０２３，３０２３，１０３…フェード領域抽出部、２０２４，３０２４，１０４…判定部、２０２５，２０２６，３０２５，３０２６，１０５，１０６…バッファメモリ、２００…デコーダ、２０１，３０１…符号化情報抽出部、２０２，３０２…フェード区間検出部、２０３，３０３…復号部、３００…再符号化装置、３０４…再符号化部

Claims (9)

1. フレーム間またはフィールド間の画像データについて動き予測を行って圧縮符号化し、圧縮された画像データ列の輝度情報に基づいて画像データ内の各領域の輝度の領域変化方向を算出する領域変化方向算出部と、
   動き予測処理のとき参照する前記画像データ内の参照先領域を当該領域の動きベクトルを基に算出し、存在する場合その参照先領域を参照可能領域として前記画像データ内の数をカウントする参照先領域算出部と、
   前記参照先領域算出部が算出した前記参照先領域と前記領域変化方向算出部が算出した前記領域変化方向が等しく、かつ前記領域変化方向が０ではない領域を抽出し、当該領域をディゾルブ／フェード領域として前記画像データ内の数をカウントするディゾルブ／フェード領域抽出部と、
   前記参照先領域算出部が算出した前記参照可能領域の数に対する前記ディゾルブ／フェード領域抽出部が抽出した前記ディゾルブ／フェード領域の数の割合を所定のしきい値と比較し、前記割合が前記所定のしきい値よりも大きければ当該画像データがディゾルブ／フェード区間のデータであると判定する判定部と、
   を有するディゾルブ／フェード区間検出装置。
2. 前記領域変化方向算出部は、前記画像データの各領域の有する輝度差分情報を基に前記領域変化方向を算出する
   請求項１に記載のディゾルブ／フェード区間検出装置。
3. 前記参照先領域算出部が、前記参照先領域が存在するか否かを判断する際に、前記参照先領域がインターマクロブロックであることを条件に参照先領域が存在すると判断する
   請求項２に記載のディゾルブ／フェード区間検出装置。
4. 前記判定部は、前記参照可能領域の数に対する前記ディゾルブ／フェード領域の数の前記割合と前記しきい値とを比較する際に、当該領域の前記動きベクトルの大きさに応じて前記しきい値を変化させる
   請求項３に記載のディゾルブ／フェード区間検出装置。
5. フレーム間またはフィールド間の画像データについて動き予測を行って圧縮符号化し、圧縮された画像データ列の輝度情報に基づいて画像データ内の各領域の輝度の領域変化方向を算出する第１の工程と、
   動き予測処理のとき参照する前記画像データ内の参照先領域を当該領域の動きベクトルを基に算出し、存在する場合その参照先領域を参照可能領域として前記画像データ内の数をカウントする第２の工程と、
   前記第１の工程において算出された前記参照先領域と前記第２の工程において算出された前記領域変化方向が等しく、かつ前記領域変化方向が０ではない領域を抽出し、当該領域をディゾルブ／フェード領域として前記画像データ内の数をカウントする第３の工程と、
   前記前記第２の工程において算出された前記参照可能領域の数に対する前記ディゾルブ／フェード領域抽出部が抽出した前記ディゾルブ／フェード領域の数の割合を所定のしきい値と比較し、前記割合が前記所定のしきい値よりも大きければ当該画像データがディゾルブ／フェード区間のデータであると判定する第４の工程と、
   を有するディゾルブ／フェード区間検出方法。
6. フレーム間またはフィールド間の画像データについて動き予測を行って圧縮符号化し、圧縮された画像データ列の内、どの領域がディゾルブ／フェード領域であるかを検出する装置に実行させるプログラムであって、
   フレーム間またはフィールド間の画像データについて動き予測を行って圧縮符号化し、圧縮された画像データ列の輝度情報に基づいて画像データ内の各領域の輝度の領域変化方向を算出する第１の手順と、
   動き予測処理のとき参照する前記画像データ内の参照先領域を当該領域の動きベクトルを基に算出し、存在する場合その参照先領域を参照可能領域として前記画像データ内の数をカウントする第２の手順と、
   前記第１の手順において算出された前記参照先領域と前記第２の手順において算出された前記領域変化方向が等しく、かつ前記領域変化方向が０ではない領域を抽出し、当該領域をディゾルブ／フェード領域として前記画像データ内の数をカウントする第３の手順と、
   前記第２の手順において算出された前記参照可能領域の数に対する前記ディゾルブ／フェード領域抽出部が抽出した前記ディゾルブ／フェード領域の数の割合を所定のしきい値と比較し、前記割合が前記所定のしきい値よりも大きければ当該画像データがディゾルブ／フェード区間のデータであると判定する第４の手順と、
   を前記装置に実行させるプログラム。
7. 画像データ列を復号する復号装置であって、
   前記画像データ列から、フレーム間またはフィールド間の画像データについて動き予測を行って圧縮符号化し、圧縮された画像データを抽出して当該画像データの符号化情報を抽出する符号化情報抽出部と、
   前記符号化情報を基に、前記画像データ列の内、どの画像がディゾルブ／フェード領域を含む画像であるかを検出し、ディゾルブ／フェード結果として出力するディゾルブ／フェード区間検出部と、
   前記画像データ列の復号を行う復号部と、
   を有し、
   前記ディゾルブ／フェード区間検出部は、
   前記符号化情報抽出部が抽出した前記符号化情報に基づいて画像データ内の各領域の輝度の領域変化方向を算出する領域変化方向算出部と、
   動き予測処理のとき参照する前記画像データ内の参照先領域を当該領域の動きベクトルを基に算出し、存在する場合その参照先領域を参照可能領域として前記画像データ内の数をカウントする参照先領域算出部と、
   前記参照先領域算出部が算出した前記参照先領域と前記領域変化方向算出部が算出した前記領域変化方向が等しく、かつ前記領域変化方向が０ではない領域を抽出し、当該領域をディゾルブ／フェード領域として前記画像データ内の数をカウントするディゾルブ／フェード領域抽出部と、
   前記参照先領域算出部が算出した前記参照可能領域の数に対する前記ディゾルブ／フェード領域抽出部が抽出した前記ディゾルブ／フェード領域の数の割合を所定のしきい値と比較し、前記割合が前記所定のしきい値よりも大きければ当該画像データがディゾルブ／フェード区間のデータであると判定する判定部と、
   を更に有する復号装置。
8. 所定の符号化圧縮方式によって圧縮された画像データ列を再符号化する再符号化装置であって、
   前記画像データ列から、フレーム間またはフィールド間の画像データについて動き予測を行って圧縮符号化し、圧縮された画像データを抽出して当該画像データの符号化情報を抽出する符号化情報抽出部と、
   前記符号化情報を基に、前記画像データ列の内、どの画像がディゾルブ／フェード領域を含む画像であるかを検出し、ディゾルブ／フェード結果として出力するディゾルブ／フェード区間検出部と、
   前記画像データ列の復号を行う復号部と、
   前記復号部が復号した前記画像データ列を基に前記所定の符号化圧縮方式と同一または異なる符号化圧縮方式によって再符号化を行う再符号化部と、
   を有し、
   前記ディゾルブ／フェード区間検出部は、
   前記符号化情報抽出部が抽出した前記符号化情報に基づいて画像データ内の各領域の輝度の領域変化方向を算出する領域変化方向算出部と、
   動き予測処理のとき参照する前記画像データ内の参照先領域を、当該領域の動きベクトルを基に算出し、存在する場合その参照先領域を参照可能領域として前記画像データ内の数をカウントする参照先領域算出部と、
   前記参照先領域算出部が算出した前記参照先領域と前記領域変化方向算出部が算出した前記領域変化方向が等しく、かつ前記領域変化方向が０ではない領域を抽出し、当該領域をディゾルブ／フェード領域として前記画像データ内の数をカウントするディゾルブ／フェード領域抽出部と、
   前記参照先領域算出部が算出した前記参照可能領域の数に対する前記ディゾルブ／フェード領域抽出部が抽出した前記ディゾルブ／フェード領域の数の割合を所定のしきい値と比較し、前記割合が前記所定のしきい値よりも大きければ当該画像データがディゾルブ／フェード区間のデータであると判定する判定部と、
   を更に有し、
   前記再符号化部は、前記ディゾルブ／フェード区間検出部が検出した前記ディゾルブ／フェード区間の再符号化の際には、所定の再符号化処理を行う
   再符号化装置。
9. 前記再符号化部が行う前記所定の再符号化処理は、重み付き予測による再符号化処理である
   請求項８に記載の再符号化装置。
   
   

Images