JP2008005145A - 画像処理システムおよび方法、復号装置および方法、符号化装置および方法、並びにプログラム - Google Patents

Abstract

【課題】画質の劣化を抑制し、より効率よく符号化する。
【解決手段】復号装置２１は、符号化装置１１から受信した画像を復号し、復号により得られた画像をフェード区間検出装置２２および符号化装置２３に供給する。フェード区間検出装置２２は、復号装置２１からの画像に基づいて、画像に含まれるフェード区間を検出し、その検出結果を示すフェード情報信号を符号化装置２３に供給する。符号化装置２３は、フェード区間検出装置２２からのフェード情報信号に基づいて、復号装置２１からの画像を符号化するときに行われる処理を変更する。本発明は、画像を符号化する符号化装置に適用することができる。
【選択図】図１

Description

本発明は画像処理システムおよび方法、復号装置および方法、符号化装置および方法、並びにプログラムに関し、特に、より画質のよい画像を得ることができるようにした画像処理システムおよび方法、復号装置および方法、符号化装置および方法、並びにプログラムに関する。

近年、動画像データをデジタルデータとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、動画像情報特有の冗長性を利用して離散コサイン変換等の直行変換と動き補償により動画像データを圧縮するMPEG（Moving Picture Experts Group）などの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。

特に、MPEG2方式（ISO（International Organization for Standardization）／IEC（International Electrotechnical Commission）13818-2）は、汎用動画像の符号化方式として定義された規格であり、飛び越し走査画像および順次走査画像の双方、並びに標準解像度画像および高精細画像を網羅する標準で、プロフェッショナル用途およびコンシューマ用途の広範なアプリケーションプログラムに広く用いられている。

このMPEG2方式を用いることにより、例えば720×480画素からなる標準解像度の飛び越し走査画像に対しては４乃至８Mbps、1920×1088画素からなる高解像度の飛び越し走査画像であれば１８乃至２２Mbpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。また、MPEG2方式により動画像を符号化する符号化装置には、動画像の輝度の情報および色差信号の情報を用いて、フィールド予測を行うか、フレーム予測を行うかを選択するものもある（例えば、特許文献１参照）。

ところでMPEG2方式は、主として放送用に適合する高画質符号化を対象としていたが、MPEG1方式における場合よりも低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。今後、携帯端末装置の普及により、圧縮率の高い符号化方式に対する要求は高まると予想され、これに対応してMPEG4方式の標準化が行われた。MPEG4方式の画像符号化方式に関しては、1998年12月にISO/IEC14496-2として、その企画が国際標準に承認された。

また、MPEG方式に続いて、さらなる高圧縮率を実現するJVT（Joint Video Team）方式（H.264/AVC（Advanced Video Coding）方式）と称される符号化方式が提案されている。JVT方式により動画像が符号化される場合、MPEG方式と同様に動きベクトルを基にした動き予測、動き補償が行われる。

JVT方式においては、動きベクトルを基にした動き予測が元来苦手とする画面全体が徐々に消えてゆくフェードアウト、画面全体が徐々に現われてくるフェードイン、さらにそれらの２つを組み合わせてゆるやかなシーンチェンジを実現するクロスフェードに対する対応策として、Weighted Predictionモードと称されるモードにより動き補償を行うことができる。JVT方式では、Weighted Predictionモードを利用して動画像を符号化することで、フェード区間における画質の劣化を抑制することができる。

このWeighted Predictionモードにおいては、動画像を構成するＰピクチャやＢピクチャの予測が行われる場合に、参照する画像の画素信号が重み付けされて予測画像が生成さされる。さらに、Weighted Predictionモードでは、Ｂピクチャに対しては重み付けの係数が明示的に指定されるExplicit Weighted Predictionモード、および重み付けの係数が参照する画像からの時間的距離により自動的に決定されるImplicit Weighted Predictionモードの２種類のモードが利用可能とされている。

特開２００３−１７４６５３号公報

しかしながら、上述した技術では、符号化装置は入力された動画像にフェード区間が含まれているか否かを知ることはできなかった。したがって、Weighted Predictionモードを有効に活用することができず、符号化装置において符号化した画像を、復号装置において復号すると、復号により得られる動画像の画質の劣化が顕著であった。

また、Weighted Predictionモード、特にＰピクチャに対するWeighted Predictionモード、およびＢピクチャに対するExplicit Weighted Predictionモードにより動画像が符号化される場合、フェード区間ではない通常の区間においては、符号化効率が却って悪化してしまうため、常にWeighted Predictionモードを利用して符号化を行っても効率よく符号化することができなかった。

本発明は、このような状況に鑑みてなされたものであり、画質の劣化を抑制し、より効率よく符号化することができるようにするものである。

本発明の第１の側面の画像処理システムは、符号化された画像を復号する復号装置と、前記復号装置により復号された前記画像を符号化する符号化装置とからなる画像処理システムであって、前記復号装置は、符号化された前記画像を復号する復号手段と、前記画像に基づいて、前記画像に含まれているフェード区間を検出し、その検出結果を示すフェード情報信号を前記符号化装置に供給する検出手段とを備え、前記符号化装置は、前記フェード情報信号を取得する取得手段と、前記フェード情報信号に基づいて、前記画像を符号化するときに実行される処理を変更する変更手段とを備える。

前記検出手段には、前記符号化された画像としてのイントラ符号化されたＰピクチャおよびＢピクチャの数に基づいてフェード区間を検出させることができる。

前記検出手段には、前記画像を構成する連続するフレームの画像の輝度値の変化に基づいてフェード区間を検出させることができる。

本発明の第１の側面の画像処理方法は、符号化された画像を復号する復号装置と、前記復号装置により復号された前記画像を符号化する符号化装置とからなる画像処理システムの画像処理方法であって、前記復号装置において、符号化された前記画像を復号し、前記画像に基づいて、前記画像に含まれているフェード区間を検出し、その検出結果を示すフェード情報信号を前記符号化装置に供給し、前記符号化装置において、前記フェード情報信号を取得し、前記フェード情報信号に基づいて、前記画像を符号化するときに実行される処理を変更する。

本発明の第１の側面においては、符号化された画像を復号する復号装置と、前記復号装置により復号された前記画像を符号化する符号化装置とからなる画像処理システムの前記復号装置において、符号化された前記画像が復号され、前記画像に基づいて、前記画像に含まれているフェード区間が検出され、その検出結果を示すフェード情報信号が前記符号化装置に供給される。そして、前記符号化装置において、前記フェード情報信号が取得され、前記フェード情報信号に基づいて、前記画像を符号化するときに実行される処理が変更される。

本発明の第２の側面の復号装置は、符号化された画像を復号する復号手段と、前記画像に基づいて、前記画像に含まれているフェード区間を検出し、その検出結果を示すフェード情報信号を、復号された前記画像を符号化するときに実行される処理を前記フェード情報信号に基づいて変更する符号化装置に供給する検出手段とを備える。

前記検出手段には、前記符号化された画像としてのイントラ符号化されたＰピクチャおよびＢピクチャの数に基づいてフェード区間を検出させることができる。

前記検出手段には、前記画像を構成する連続するフレームの画像の輝度値の変化に基づいてフェード区間を検出させることができる。

本発明の第２の側面の復号方法またはプログラムは、符号化された画像を復号し、前記画像に基づいて、前記画像に含まれているフェード区間を検出し、その検出結果を示すフェード情報信号を、復号された前記画像を符号化するときに実行される処理を前記フェード情報信号に基づいて変更する符号化装置に供給するステップを含む。

本発明の第２の側面においては、符号化された画像が復号され、前記画像に基づいて、前記画像に含まれているフェード区間が検出され、その検出結果を示すフェード情報信号が、復号された前記画像を符号化するときに実行される処理を前記フェード情報信号に基づいて変更する符号化装置に供給される。

本発明の第３の側面の符号化装置は、これから符号化しようとする画像がフェード区間を構成する画像であるか否かを示すフェード情報信号を取得する取得手段と、前記フェード情報信号に基づいて、前記画像を符号化するときに実行される処理を変更する変更手段とを備える。

前記変更手段には、これから符号化しようとする画像がフェード区間を構成する画像である場合、前記画像に対して実行される動き補償の処理を変更させることができる。

前記変更手段には、前記画像がフェード区間を構成する画像としてのＰピクチャである場合、前記動き補償の重み付け予測モードをWeighted Predictionモードに変更させることができる。

前記変更手段には、前記画像がフェード区間を構成する画像としてのＢピクチャである場合、前記動き補償の重み付け予測モードをExplicit Weighted PredictionモードまたはImplicit Weighted Predictionモードに変更させることができる。

符号化装置には、前記動き補償として前方向予測モードにより前記画像を予測して得られた前方向予測画像と、前記動き補償として後方向予測モードにより前記画像を予測して得られた後方向予測画像とを生成する生成手段をさらに設け、前記変更手段には、前記画像がフェード区間を構成する画像としてのＢピクチャである場合、前記前方向予測画像および前記画像の差である予測残差と、前記後方向予測画像および前記画像の差である予測残差との差が所定の閾値以下であるとき、前記動き補償の動き補償モードを双方向予測モードに変更させることができる。

前記変更手段には、前記画像がフェード区間を構成する画像としてのＢピクチャである場合、前記動き補償の動き補償モードを双方向予測モードに変更させることができる。

前記変更手段には、前記画像がフェード区間を構成する画像である場合、前記画像のGOP（Group Of Pictures）構造を変更させることができる。

前記GOP構造は、ＰピクチャおよびＩピクチャから構成されるGOP構造に変更されるようにすることができる。

前記GOP構造は、ＰピクチャとＰピクチャとの間に１つのＢピクチャが配置されたGOP構造に変更されるようにすることができる。

前記GOP構造は、ＰピクチャとＰピクチャとの間に２つのＢピクチャが配置されたGOP構造に変更されるようにすることができる。

前記変更手段には、前記画像が符号化されるときに割り当てられる前記画像のビットレートを変更させることができる。

前記変更手段には、前記画像がフェード区間を構成する画像である場合、前記画像のビットレートが予め定められたビットレートよりも高くなるように、前記画像のビットレートを変更させることができる。

前記変更手段には、前記画像がフェード区間を構成する画像でない場合、これまで符号化された画像の符号量の合計が目標となる符号量よりも多いとき、これから符号化する前記画像のビットレートが予め定められたビットレートよりも低くなるように、前記画像のビットレートを変更させることができる。

前記変更手段には、前記画像を直交変換することにより得られた変換係数が、その変換係数の周波数に応じて重み付けされて量子化されるときに用いられる重み付け係数のマトリクスを変更させることができる。

前記変更手段には、前記画像がフェード区間を構成する画像である場合、所定の周波数より高い周波数の前記変換係数に対する重み付け係数が予め定められた重み付け係数よりも大きく、前記所定の周波数より低い周波数の前記変換係数に対する重み付け係数が予め定められた重み付け係数よりも小さい重み付け係数から構成されているマトリクスに、前記変換係数を量子化するときに用いるマトリクスを変更させることができる。

前記変更手段には、前記画像がフェード区間を構成する画像である場合、所定の周波数より高い周波数の前記変換係数に対する重み付け係数が予め定められた重み付け係数と同じであり、前記所定の周波数より低い周波数の前記変換係数に対する重み付け係数が予め定められた重み付け係数よりも小さい重み付け係数から構成されているマトリクスに、前記変換係数を量子化するときに用いるマトリクスを変更させることができる。

前記変更手段には、前記画像がフェード区間を構成する画像である場合、所定の周波数より高い周波数の前記変換係数に対する重み付け係数が予め定められた重み付け係数よりも大きく、前記所定の周波数より低い周波数の前記変換係数に対する重み付け係数が予め定められた重み付け係数と同じである重み付け係数から構成されているマトリクスに、前記変換係数を量子化するときに用いるマトリクスを変更させることができる。

本発明の第３の側面の符号化方法またはプログラムは、これから符号化しようとする画像がフェード区間を構成する画像であるか否かを示すフェード情報信号を取得し、前記フェード情報信号に基づいて、前記画像を符号化するときに実行される処理を変更するステップを含む。

本発明の第３の側面においては、これから符号化しようとする画像がフェード区間を構成する画像であるか否かを示すフェード情報信号が取得され、前記フェード情報信号に基づいて、前記画像を符号化するときに実行される処理が変更される。

本発明の第１の側面によれば、画像を符号化することができる。特に、本発明の第１の側面によれば、画質の劣化を抑制し、より効率よく画像を符号化することができる。

また、本発明の第２の側面によれば、画像を復号することができる。特に、本発明の第２の側面によれば、画質の劣化を抑制し、より効率よく画像を符号化するためのフェード情報信号を供給することができる。

さらに、本発明の第３の側面によれば、画像を符号化することができる。特に、本発明の第３の側面によれば、画質の劣化を抑制し、より効率よく画像を符号化することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の第１の側面の画像処理システムは、符号化された画像を復号する復号装置（例えば、図１の復号装置２１）と、前記復号装置により復号された前記画像を符号化する符号化装置（例えば、図１の符号化装置２３）とからなる画像処理システムであって、前記復号装置は、符号化された前記画像を復号する復号手段（例えば、図１５の可逆復号回路５３乃至動き補償回路６０）と、前記画像に基づいて、前記画像に含まれているフェード区間を検出し、その検出結果を示すフェード情報信号を前記符号化装置に供給する検出手段（例えば、図１５のフェード区間検出部２６１）とを備え、前記符号化装置は、前記フェード情報信号を取得する取得手段（例えば、図３の取得部１００）と、前記フェード情報信号に基づいて、前記画像を符号化するときに実行される処理を変更する変更手段（例えば、図３の動き補償モード決定回路９４）とを備える。

前記検出手段（例えば、図１７のフェード区間検出部２６１）には、前記符号化された画像としてのイントラ符号化されたＰピクチャおよびＢピクチャの数に基づいてフェード区間を検出させることができる。

前記検出手段には、前記画像を構成する連続するフレームの画像の輝度値の変化に基づいてフェード区間を検出させる（例えば、図１６のステップＳ２５４の処理）ことができる。

本発明の第１の側面の画像処理方法は、符号化された画像を復号する復号装置（例えば、図１の復号装置２１）と、前記復号装置により復号された前記画像を符号化する符号化装置（例えば、図１の符号化装置２３）とからなる画像処理システムの画像処理方法であって、前記復号装置において、符号化された前記画像を復号し（例えば、図１６のステップＳ２５２）、前記画像に基づいて、前記画像に含まれているフェード区間を検出し、その検出結果を示すフェード情報信号を前記符号化装置に供給し（例えば、図１６のステップＳ２５４およびステップＳ２５５）、前記符号化装置において、前記フェード情報信号を取得し（例えば、図６のステップＳ６１）、前記フェード情報信号に基づいて、前記画像を符号化するときに実行される処理を変更する（例えば、図６のステップＳ６４およびステップＳ６８）。

本発明の第２の側面の復号装置は、符号化された画像を復号する復号手段（例えば、図１５の可逆復号回路５３乃至動き補償回路６０）と、前記画像に基づいて、前記画像に含まれているフェード区間を検出し、その検出結果を示すフェード情報信号を、復号された前記画像を符号化するときに実行される処理を前記フェード情報信号に基づいて変更する符号化装置に供給する検出手段（例えば、図１５のフェード区間検出部２６１）とを備える。

前記検出手段（例えば、図１７のフェード区間検出部２６１）には、前記符号化された画像としてのイントラ符号化されたＰピクチャおよびＢピクチャの数に基づいてフェード区間を検出させることができる。

前記検出手段には、前記画像を構成する連続するフレームの画像の輝度値の変化に基づいてフェード区間を検出させる（例えば、図１６のステップＳ２５４の処理）ことができる。

本発明の第２の側面の復号方法またはプログラムは、符号化された画像を復号し（例えば、図１６のステップＳ２５２）、前記画像に基づいて、前記画像に含まれているフェード区間を検出し、その検出結果を示すフェード情報信号を、復号された前記画像を符号化するときに実行される処理を前記フェード情報信号に基づいて変更する符号化装置に供給する（例えば、図１６のステップＳ２５４およびステップＳ２５５）ステップを含む。

本発明の第３の側面の符号化装置は、これから符号化しようとする画像がフェード区間を構成する画像であるか否かを示すフェード情報信号を取得する取得手段（例えば、図３の取得部１００）と、前記フェード情報信号に基づいて、前記画像を符号化するときに実行される処理を変更する変更手段（例えば、図３の動き補償モード決定回路９４）とを備える。

前記変更手段には、これから符号化しようとする画像がフェード区間を構成する画像である場合、前記画像に対して実行される動き補償の処理を変更させる（例えば、図６のステップＳ６４の処理およびステップＳ６８の処理）ことができる。

前記変更手段には、前記画像がフェード区間を構成する画像としてのＰピクチャである場合、前記動き補償の重み付け予測モードをWeighted Predictionモードに変更させる（例えば、図６のステップＳ６８の処理）ことができる。

前記変更手段には、前記画像がフェード区間を構成する画像としてのＢピクチャである場合、前記動き補償の重み付け予測モードをExplicit Weighted PredictionモードまたはImplicit Weighted Predictionモードに変更させる（例えば、図６のステップＳ６４の処理）ことができる。

符号化装置には、前記動き補償として前方向予測モードにより前記画像を予測して得られた前方向予測画像と、前記動き補償として後方向予測モードにより前記画像を予測して得られた後方向予測画像とを生成する生成手段（例えば、図３の動き補償回路９６）をさらに設け、前記変更手段には、前記画像がフェード区間を構成する画像としてのＢピクチャである場合、前記前方向予測画像および前記画像の差である予測残差と、前記後方向予測画像および前記画像の差である予測残差との差が所定の閾値以下であるとき、前記動き補償の動き補償モードを双方向予測モードに変更させる（例えば、図８のステップＳ１２９の処理）ことができる。

前記変更手段（例えば、図９の画面並べ替え回路１６１）には、前記画像がフェード区間を構成する画像である場合、前記画像のGOP構造を変更させることができる。

前記変更手段（例えば、図１１のレート制御回路１９１）には、前記画像が符号化されるときに割り当てられる前記画像のビットレートを変更させることができる。

前記変更手段には、前記画像がフェード区間を構成する画像である場合、前記画像のビットレートが予め定められたビットレートよりも高くなるように、前記画像のビットレートを変更させる（例えば、図１２のステップＳ１９５の処理）ことができる。

前記変更手段には、前記画像がフェード区間を構成する画像でない場合、これまで符号化された画像の符号量の合計が目標となる符号量よりも多いとき、これから符号化する前記画像のビットレートが予め定められたビットレートよりも低くなるように、前記画像のビットレートを変更させる（例えば、図１２のステップＳ１９７の処理）ことができる。

前記変更手段（例えば、図１３の量子化回路２２１）には、前記画像を直交変換することにより得られた変換係数が、その変換係数の周波数に応じて重み付けされて量子化されるときに用いられる重み付け係数のマトリクスを変更させることができる。

本発明の第３の側面の符号化方法またはプログラムは、これから符号化しようとする画像がフェード区間を構成する画像であるか否かを示すフェード情報信号を取得し（例えば、図６のステップＳ６１）、前記フェード情報信号に基づいて、前記画像を符号化するときに実行される処理を変更する（例えば、図６のステップＳ６４およびステップＳ６８）ステップを含む。

本発明は、例えば、MPEG2方式、JVT方式などの方式により動画像を符号化する符号化装置、MPEG2方式、JVT方式などの方式により符号化された動画像を復号する復号装置などに適用することができる。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

図１は、本発明を適用した画像処理システムの一実施の形態の構成例を示している。画像処理システムは、符号化装置１１、符号化データ変換装置１２、および復号装置１３から構成されている。

この画像処理システムにおいては、符号化装置１１および符号化データ変換装置１２が、例えば、衛星放送網、ケーブルテレビジョン放送網、電話回線網、携帯電話回線網、インターネットなどの通信網１４を介して相互に接続されている。また、符号化データ変換装置１２および復号装置１３も、例えば、衛星放送網、ケーブルテレビジョン放送網、電話回線網、携帯電話回線網、インターネットなどの通信網１５を介して相互に接続されている。

符号化装置１１は、動画像（以下、適宜、画像とも称する）を所定の符号化方式により符号化する。符号化装置１１は、符号化により得られた画像、すなわち画像のビットストリームを変調し、通信網１４を介して符号化データ変換装置１２に送信する。

符号化データ変換装置１２は、通信網１４を介して符号化装置１１から送信されてきた画像を受信して復調し、復調された画像を復号する。そして、さらに符号化データ変換装置１２は復号装置１３からの要求などに応じて、復号により得られた画像を符号化装置１１が符号化した方式とは異なる方式で符号化したり、画像の大きさ、すなわちフレームサイズが異なる大きさとなるように画像の大きさを変換してから画像を符号化したりする。

符号化データ変換装置１２は、符号化した画像を通信網１５を介して復号装置１３に送信する。復号装置１３は、符号化データ変換装置１２から送信されてきた画像を受信する。そして、復号装置１３は、受信した画像を復号して表示するなどして、受信した画像を利用する。

また、符号化データ変換装置１２は、復号装置２１、フェード区間検出装置２２、および符号化装置２３から構成される。復号装置２１は、符号化装置１１から送信されてきた画像を受信して復号し、これにより得られた画像をフェード区間検出装置２２および符号化装置２３に供給する。

フェード区間検出装置２２は、復号装置２１から供給された画像から、フェード区間を検出し、その検出結果を示すフェード情報信号を符号化装置２３に供給する。ここで、フェード区間とは、いわゆる画面全体が徐々に消えてゆくフェードアウト、画面全体が徐々に現われてくるフェードイン、またはフェードインおよびフェードアウトを組み合わせてゆるやかにシーンチェンジするクロスフェードなどの区間をいう。換言すれば、再生される動画像に含まれる区間のうち、動画像を構成する時間的に連続するフレームの画像の輝度が大きく変化し続ける区間をフェード区間という。なお、以下、動画像のフレームを構成する画像、すなわちピクチャを適宜、フレーム画像とも称する。また、動画像とフレーム画像とを特に区別する必要のない場合、単に画像と称する。

符号化装置２３は、フェード区間検出装置２２から供給されたフェード情報信号に基づいて、復号装置２１から供給された画像を符号化する。例えば、符号化装置２３は、フェード情報信号に基づいて、画像を符号化するときに実行する処理を変更し、変更された処理や他の処理を実行することにより画像を符号化する。

なお、符号化された画像が通信網１４を介して符号化データ変換装置１２に送信されると説明したが、符号化された画像が光ディスク、磁気ディスク、半導体メモリなどの記録媒体に記録され、符号化データ変換装置１２が記録媒体から画像を読み出すことにより、画像を取得するようにしてもよい。同様に、符号化データ変換装置１２において符号化された画像を記録媒体に記録し、復号装置１３が記録媒体に記録された画像を読み出すことにより、画像を取得するようにしてもよい。

図２は、図１に示した復号装置２１の構成例を示すブロック図である。

復号装置２１は、受信部５１、バッファ５２、可逆復号回路５３、逆量子化回路５４、逆直交変換回路５５、加算器５６、画面並べ替え回路５７、Ｄ／Ａ（Digital／Analog）変換回路５８、フレームメモリ５９、および動き補償回路６０から構成される。

受信部５１は、符号化装置１１から送信されてきた画像を受信してバッファ５２に供給する。バッファ５２は、受信部５１から供給された画像を一時的に格納した後、可逆復号回路５３に供給する。可逆復号回路５３は、バッファ５２に記憶されている画像を、定められた画像圧縮情報のフォーマットに基づき、可変長復号または算術復号等の処理を施し、これにより得られる量子化された変換係数を逆量子化回路５４に供給する。また、可逆復号回路５３は、インター符号化されたフレーム画像に対しては、画像のヘッダに格納された動きベクトルや動き補償モードなども復号し、動き補償回路６０に供給する。

逆量子化回路５４は、可逆復号回路５３から供給された量子化された変換係数を逆量子化して逆直交変換回路５５に供給する。逆直交変換回路５５は、定められた画像圧縮情報のフォーマットに基づき、逆量子化回路５４から供給された変換係数に対して逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、これにより得られた画像を加算器５６に供給する。

加算器５６は、逆直交変換回路５５から供給された画像がイントラ符号化された画像である場合、逆直交変換回路５５から供給された画像をそのまま画面並べ替え回路５７およびフレームメモリ５９に供給する。また、加算器５６は、逆直交変換回路５５から供給された画像がインター符号化された画像である場合、逆直交変換回路５５から供給された画像と、動き補償回路６０から供給された画像とを加算して得られた画像を画面並べ替え回路５７およびフレームメモリ５９に供給する。

画面並べ替え回路５７は、加算器５６から供給された画像を、その画像のGOP（Group of Pictures）構造に基づいて並べ替え、Ｄ／Ａ変換回路５８およびフェード区間検出装置２２に供給する。Ｄ／Ａ変換回路５８は、画面並べ替え回路５７から供給されたデジタル信号である画像をアナログ信号に変換して符号化装置２３に供給する。

動き補償回路６０は、フレームメモリ５９に記憶されている画像、並びに可逆復号回路５３からの動きベクトルおよび動き補償モードに基づいて動き補償を行い、これにより得られた画像を加算器５６に供給する。

なお、図１に示した復号装置１３の構成も図２に示した復号装置２１の構成と同様であるので、その説明は省略する。復号装置１３においては、画面並べ替え回路において並べ替えられた画像はフェード区間検出装置には供給されず、Ｄ／Ａ変換回路だけに供給される。

次に、図３は、図１に示した符号化装置２３の構成例を示すブロック図である。

符号化装置２３は、Ａ／Ｄ変換回路８１、画面並べ替え回路８２、加算器８３、直交変換回路８４、量子化回路８５、可逆符号化回路８６、バッファ８７、送信部８８、レート制御回路８９、逆量子化回路９０、逆直交変換回路９１、加算器９２、フレームメモリ９３、動き補償モード決定回路９４、動きベクトル生成回路９５、および動き補償回路９６から構成される。

Ａ／Ｄ変換回路８１は、復号装置２１から供給されたアナログ信号である画像をデジタル信号である画像に変換して画面並べ替え回路８２に供給する。画面並べ替え回路８２は、Ａ／Ｄ変換回路８１からの画像をGOP構造に基づいて並べ替えて加算器８３、動き補償モード決定回路９４、および動きベクトル生成回路９５に供給する。

加算器８３は、画像がイントラ符号化される場合、画面並べ替え回路８２から供給された画像をそのまま直交変換回路８４に供給する。また、加算器８３は、画像がインター符号化される場合、画面並べ替え回路８２から供給された画像から、動き補償回路９６から供給された画像を減算して得られる画像を直交変換回路８４に供給する。

直交変換回路８４は、加算器８３から供給された画像に対して離散コサイン変換またはカルーネン・レーベ変換等の直交変換を施し、これにより得られた変換係数を量子化回路８５に供給する。量子化回路８５は、直交変換回路８４から供給された変換係数を量子化して可逆符号化回路８６および逆量子化回路９０に供給する。

可逆符号化回路８６は、量子化回路８５から供給された変換係数に対して可変長符号化、算術符号化等の可逆符号化処理を施し、符号化された変換係数をバッファ８７に供給して蓄積させる。送信部８８は、バッファ８７に蓄積された変換係数を、符号化された画像として復号装置１３に送信する。

レート制御回路８９は、バッファ８７に記憶されている画像の符号量に基づいて、符号化する画像に割り当てられる時間当たりの符号量であるビットレート、すなわち符号化する動画像を構成する各フレーム画像に割り当てられる符号量を制御する。換言すれば、レート制御回路８９は、量子化回路８５が量子化を行うときに変換係数を除算する値である量子化値の値を制御する。

逆量子化回路９０は、量子化回路８５から供給された変換係数を逆量子化して逆直交変換回路９１に供給する。逆直交変換回路９１は、定められた画像圧縮情報のフォーマットに基づき、逆量子化回路９０から供給された変換係数に対して逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、これにより得られた画像を加算器９２に供給する。

加算器９２は、動き補償回路９６から画像が供給された場合、動き補償回路９６から供給された画像および逆直交変換回路９１からの画像を加算して得られる画像をフレームメモリ９３に供給して蓄積させる。また、加算器９２は、動き補償回路９６から画像が供給されなかった場合、逆直交変換回路９１からの画像をそのままフレームメモリ９３に供給して蓄積させる。フレームメモリ９３は、加算器９２から供給された画像を、動き補償が行われるときに参照される画像（以下、適宜、参照画像と称する）として記憶し、記憶している画像を動き補償回路９６に供給する。

動き補償モード決定回路９４は、取得部１００を備えており、取得部１００は、フェード区間検出装置２２からフェード情報信号を取得する。また、動き補償モード決定回路９４は、画像がインター符号化される場合、フェード情報信号に基づいて動き補償モードや重み付け予測モードを選択し、選択された動き補償モードまたは重み付け予測モードを、可逆符号化回路８６、動きベクトル生成回路９５、および動き補償回路９６に供給する。

ここで、動き補償モードとは、動き補償により画像を予測するときの処理方法をいい、動き補償モードとして、前方向予測を行う前方向予測モード、後方向予測を行う後方向予測モード、または双方向予測を行う双方向予測モードの何れかが選択される。また、重み付け予測モードとは、動き補償において行われる重み付けの方法をいう。動き補償において重み付け予測が行われる場合、重み付け予測モードとして、Ｂピクチャに対しては、Explicit Weighted PredictionモードまたはImplicit Weighted Predictionモードが選択され、Ｐピクチャに対してはWeighted Predictionモードが選択される。

動きベクトル生成回路９５は、動きベクトルを求めて動き補償回路９６および可逆符号化回路８６に供給する。動き補償回路９６は、動きベクトル生成回路９５から供給された動きベクトル、およびフレームメモリ９３に記憶されている参照画像を用いて動き補償を行い、その結果として予測された画像である予測画像を加算器８３、動き補償モード決定回路９４、および加算器９２に供給する。

図４は、図１に示した符号化装置１１の構成例を示すブロック図である。

符号化装置１１は、Ａ／Ｄ変換回路１２１、画面並べ替え回路１２２、加算器１２３、直交変換回路１２４、量子化回路１２５、可逆符号化回路１２６、バッファ１２７、送信部１２８、レート制御回路１２９、逆量子化回路１３０、逆直交変換回路１３１、加算器１３２、フレームメモリ１３３、動き補償モード決定回路１３４、動きベクトル生成回路１３５、および動き補償回路１３６から構成される。

なお、符号化装置１１のＡ／Ｄ変換回路１２１乃至フレームメモリ１３３、動きベクトル生成回路１３５、および動き補償回路１３６のそれぞれは、図３に示した符号化装置２３のＡ／Ｄ変換回路８１乃至フレームメモリ９２、動きベクトル生成回路９５、および動き補償回路９６のそれぞれと同様であるため、その説明は省略する。

また、動き補償モード決定回路１３４は、画像がインター符号化される場合、画面並べ替え回路１２２からの画像、および動き補償回路１３６からの予測画像に基づいて、動き補償モードや重み付け予測モードを選択し、選択された動き補償モードまたは重み付け予測モードを、可逆符号化回路１２６、動きベクトル生成回路１３５、および動き補償回路１３６に供給する。

ところで、符号化装置１１から符号化データ変換装置１２に符号化された画像が送信されると、符号化データ変換装置１２は送信されてきた画像を受信し、受信した画像の符号化方式または画像のフレームサイズを変換して復号装置１３に供給する処理である、トランスコード処理を行う。

以下、図５のフローチャートを参照して、符号化データ変換装置１２を構成する復号装置２１、フェード区間検出装置２２、および符号化装置２３によるトランスコード処理について説明する。

ステップＳ１１において、復号装置２１の受信部５１は、通信網１４を介して符号化装置１１から送信されてきた画像を受信してバッファ５２に供給する。

ステップＳ１２において、復号装置２１は、受信された画像を復号する。すなわち、可逆復号回路５３は、バッファ５２に記憶されている画像に対して、定められた画像圧縮情報のフォーマットに基づいて可変長復号、算術復号等の処理を施し、これにより得られる変換係数を逆量子化回路５４に供給する。

また、可逆復号回路５３は、インター符号化されたフレーム画像のヘッダに格納された動きベクトルや動き補償モードなどを復号し、動き補償回路６０に供給する。逆量子化回路５４は、可逆復号回路５３から供給された変換係数を逆量子化して逆直交変換回路５５に供給し、逆直交変換回路５５は、定められた画像圧縮情報のフォーマットに基づき、逆量子化回路５４から供給された変換係数に対して逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、これにより得られた画像を加算器５６に供給する。

加算器５６は、逆直交変換回路５５から供給された画像がイントラ符号化された画像である場合、逆直交変換回路５５から供給された画像をそのまま画面並べ替え回路５７およびフレームメモリ５９に供給する。また、加算器５６は、逆直交変換回路５５から供給された画像がインター符号化された画像である場合、逆直交変換回路５５から供給された画像と、動き補償回路６０から供給された画像とを加算して得られた画像を画面並べ替え回路５７およびフレームメモリ５９に供給する。画面並べ替え回路５７は、加算器５６から供給された画像を、その画像のGOP構造に基づいて並べ替える。さらに、動き補償回路６０は、フレームメモリ５９に記憶されている画像、並びに可逆復号回路５３からの動きベクトルおよび動き補償モードに基づいて動き補償を行うことで得られた予測画像を加算器５６に供給する。

画像が復号されると、ステップＳ１３において、復号装置２１は復号された画像をフェード区間検出装置２２および符号化装置２３に供給して、トランスコード処理は終了する。より具体的には、画面並べ替え回路５７は、並べ替えた画像をフェード区間検出装置２２およびＤ／Ａ変換回路５８に供給する。また、Ｄ／Ａ変換回路５８は、画面並べ替え回路５７から供給されたデジタル信号である画像をアナログ信号である画像に変換して符号化装置２３に供給する。

そして、復号装置２１からフェード区間検出装置２２に画像が供給されると、ステップＳ２１において、フェード区間検出装置２２は、復号装置２１から供給された画像からフェード区間を検出する。例えば、フェード区間検出装置２２は、動画像の所定の区間を構成する連続するフレーム画像の輝度値のそれぞれが、それらのフレーム画像の前のフレーム画像の輝度値のそれぞれと比べて所定の閾値以上の値だけ変化している区間をフェード区間とする。そして、フェード区間検出装置２２は、動画像を構成する各フレーム画像の輝度値を求め、連続するフレーム画像の輝度値の変化に基づいてフェード区間を検出する。

より具体的には、フェード区間検出装置２２は、フレーム画像を構成する各画素の輝度値の平均値をそのフレーム画像の輝度値とし、所定のフレーム画像の輝度値と、その所定のフレーム画像の直前に配置された連続する３つのフレーム画像の輝度値の平均値との差分を計算する。そして、その差分の値が予め定められた閾値以上である場合、フェード区間検出装置２２は、所定のフレーム画像は、フェード区間に含まれている画像とする。

ステップＳ２２において、フェード区間検出装置２２は、フェード区間の検出結果を示すフェード情報信号を生成する。フェード区間検出装置２２は、生成したフェード情報信号を符号化装置２３に供給し、トランスコード処理は終了する。

さらに、復号装置２１およびフェード区間検出装置２２から符号化装置２３に、画像およびフェード情報信号が供給されると、ステップＳ３１において、符号化装置２３は、フェード情報信号に基づいて、復号装置２１から供給された画像を符号化する。

すなわち、符号化装置２３のＡ／Ｄ変換回路８１は、復号装置２１から供給されたアナログ信号である画像をデジタル信号である画像に変換して画面並べ替え回路８２に供給し、画面並べ替え回路８２は、Ａ／Ｄ変換回路８１からの画像をGOP構造に基づいて並べ替えて加算器８３、動き補償モード決定回路９４、および動きベクトル生成回路９５に供給する。

より詳細には、画面並べ替え回路８２は、画像とともに画像の種類を示すピクチャタイプを加算器８３、動き補償モード決定回路９４、および動きベクトル生成回路９５に供給する。ここで、画像のピクチャタイプは、参照画像が用いられずにイントラ符号化されるフレーム画像であるＩピクチャ、１枚の参照画像を用いた前方向予測が可能なフレーム画像であるＰピクチャ、または２枚の参照画像を用いた双方向予測が可能なフレーム画像であるＢピクチャのいずれかとされる。

加算器８３は、画像がイントラ符号化される場合、画面並べ替え回路８２から供給された画像をそのまま直交変換回路８４に供給し、直交変換回路８４は、加算器８３から供給された画像に対して離散コサイン変換またはカルーネン・レーベ変換等の直交変換を施し、これにより得られた変換係数を量子化回路８５に供給する。

量子化回路８５は、直交変換回路８４から供給された変換係数を量子化して可逆符号化回路８６および逆量子化回路９０に供給する。例えば、量子化回路８５は、Weighting Matrix、Scaling Listなどと称される重み付け係数のマトリクス、およびレート制御回路８９からの量子化値を用いて、８画素×８画素や４画素×４画素といった複数個の画素からなる画素ブロックごとに、画素の変換係数の周波数成分に応じて重み付けを行って、変換係数を量子化する。

可逆符号化回路８６は、量子化回路８５から供給された変換係数に対して可変長符号化、算術符号化等の可逆符号化処理を施し、符号化された変換係数をバッファ８７に供給して蓄積させる。

また、画像がインター符号化される場合、動き補償モード決定回路９４は、フェード区間検出装置２２からのフェード情報信号に基づいて動き補償モードや重み付け予測モードを選択し、選択された動き補償モードまたは重み付け予測モードを、可逆符号化回路８６、動きベクトル生成回路９５、および動き補償回路９６に供給する。

動きベクトル生成回路９５は、動きベクトルを求めて動き補償回路９６および可逆符号化回路８６に供給する。動き補償回路９６は、動きベクトル生成回路９５から供給された動きベクトルおよびフレームメモリ９３からの参照画像を用いて動き補償を行い、その結果として得られた予測画像を加算器８３および動き補償モード決定回路９４に供給する。加算器８３は、画面並べ替え回路８２から供給された画像から、動き補償回路９６から供給された予測画像を減算して得られる画像を直交変換回路８４に供給する。

その後、直交変換回路８４に供給された画像は、イントラ符号化における場合と同様に、直交変換回路８４において直交変換され、これにより得られた変換係数が量子化回路８５において量子化されて、さらに可逆符号化回路８６において量子化された変換係数が符号化されてバッファ８７に蓄積される。また、画像がインター符号化される場合、可逆符号化回路８６は、動き補償モード決定回路９４からの動き補償モードおよび重み付け予測モード、並びに動きベクトル生成回路９５からの動きベクトルを可逆符号化して画像のヘッダに格納する。

画像が符号化されると、ステップＳ３２において、送信部８８は、バッファ８７に記憶されている画像を、通信網１５を介して復号装置１３に送信し、トランスコード処理は終了する。

このようにして、符号化データ変換装置１２は、受信した画像の符号化方式または画像のフレームサイズを変換して復号装置１３に送信する。

次に、図６のフローチャートを参照して、図５のステップＳ３１において行われる処理であり、画像をインター符号化するときに、動き補償モード決定回路９４が重み付け予測モードを選択する処理である、重み付け予測モードの選択処理について説明する。

なお、重み付け予測モードの選択処理は、動画像を構成するフレーム単位、すなわちピクチャ単位で行われ、画面並べ替え回路８２から動き補償モード決定回路９４に、動画像の１フレームを構成するフレーム画像、およびそのフレーム画像のピクチャタイプが供給されると開始される。また、この重み付け予測モードの選択処理が行われるのは、重み付け予測することができる符号化方式で画像が符号化されることを前提とする。

ステップＳ６１において、取得部１００は、フェード区間検出装置２２からフェード情報信号を取得する。

ステップＳ６２において、動き補償モード決定回路９４は、画面並べ替え回路８２から供給された画像のピクチャタイプに基づいて、画面並べ替え回路８２から供給された画像、すなわちこれから符号化しようとする画像がＢピクチャであるか否かを判定する。

ステップＳ６２において、Ｂピクチャであると判定された場合、ステップＳ６３に進み、動き補償モード決定回路９４は、取得部１００により取得されたフェード情報信号に基づいて、これから符号化しようとする画像はフェード区間を構成する画像であるか否か、すなわちフェード区間に含まれている画像であるか否かを判定する。

ステップＳ６３において、フェード区間の画像であると判定された場合、ステップＳ６４に進み、動き補償モード決定回路９４は、これから符号化する画像に対する予測画像を生成する動き補償において、重み付け予測を行うときの処理方法を示す重み付け予測モードとして、Explicit Weighted PredictionモードまたはImplicit Weighted Predictionモードを選択する。

動き補償モード決定回路９４は、重み付け予測モードを選択すると、選択された重み付け予測モードを可逆符号化回路８６、動きベクトル生成回路９５、および動き補償回路９６に供給し、重み付け予測モードの選択処理は終了する。なお、ステップＳ６４において、Explicit Weighted Predictionモード、またはImplicit Weighted Predictionモードのいずれが選択されるかは、予め定められているようにしてもよいし、符号化装置２３を操作するユーザにより指定されるようにしてもよい。

これに対して、ステップＳ６３において、フェード区間の画像でないと判定された場合、ステップＳ６５に進み、動き補償モード決定回路９４は、これから符号化する画像に対する予測画像を生成する動き補償においては、重み付け予測を行わない旨の信号を生成する。動き補償モード決定回路９４は、生成した重み付け予測を行わない旨の信号を可逆符号化回路８６、動きベクトル生成回路９５、および動き補償回路９６に供給し、重み付け予測モードの選択処理は終了する。

また、ステップＳ６２において、Ｂピクチャでないと判定された場合、ステップＳ６６に進み、動き補償モード決定回路９４は、画面並べ替え回路８２から供給された画像のピクチャタイプに基づいて、画面並べ替え回路８２から供給された画像がＰピクチャであるか否かを判定する。

ステップＳ６６において、Ｐピクチャであると判定された場合、ステップＳ６７に進み、動き補償モード決定回路９４は、フェード情報信号に基づいて、これから符号化しようとする画像はフェード区間を構成する画像であるか否かを判定する。

ステップＳ６７において、フェード区間の画像であると判定された場合、ステップＳ６８に進み、動き補償モード決定回路９４は、これから符号化する画像に対する予測画像を生成する動き補償において、重み付け予測を行うときの処理方法を示す重み付け予測モードとして、Weighted Predictionモードを選択する。

動き補償モード決定回路９４は、重み付け予測モードを選択すると、選択された重み付け予測モードを可逆符号化回路８６、動きベクトル生成回路９５、および動き補償回路９６に供給し、重み付け予測モードの選択処理は終了する。

これに対して、ステップＳ６７において、フェード区間の画像でないと判定された場合、ステップＳ６９に進み、動き補償モード決定回路９４は、これから符号化する画像に対する予測画像を生成する動き補償においては、重み付け予測を行わない旨の信号を生成する。動き補償モード決定回路９４は、生成した重み付け予測を行わない旨の信号を可逆符号化回路８６、動きベクトル生成回路９５、および動き補償回路９６に供給し、重み付け予測モードの選択処理は終了する。

また、ステップＳ６６において、Ｐピクチャでないと判定された場合、すなわちＩピクチャであると判定された場合、画像はイントラ符号化されるので重み付け予測モードの選択は行われず、重み付け予測モードの選択処理は終了する。

このようにして、動き補償モード決定回路９４は、符号化する画像のピクチャタイプ、およびその画像がフェード区間に含まれているか否かに基づいて重み付け予測モードを選択する。

このように、符号化する画像のピクチャタイプ、およびフェード区間であるか否かに基づいて重み付け予測モードを選択することで、フェード区間の画像に対しても画質の劣化を抑制し、より効率よく符号化することができる。

一般にフェード区間におけるＰピクチャおよびＢピクチャの符号化においては、重み付け予測を行うことで画像の輝度値の変化も予測することができ、主観画質を向上させることができる。そこで、フェード区間の画像に対しては重み付け予測を行い、フェード区間ではない区間の画像に対しては重み付け予測を行わないようにすることで、画質の劣化を抑制し、効率よく符号化することができる。

このようにして重み付け予測モードが選択されると、符号化装置２３は、図５のステップＳ３１において画像をインター符号化するときに行われる処理として、符号化する画像に対する予測画像を生成する処理である動き補償処理を行う。以下、図７のフローチャートを参照して、符号化するフレーム画像がＰピクチャである場合における動き補償処理について説明する。

なお、Ｐピクチャの動き補償処理は、例えばマクロブロックを単位として行われ、画面並べ替え回路８２から動きベクトル生成回路９５に、動画像の１フレームを構成するフレーム画像が供給されると開始される。

ステップＳ９１において、動きベクトル生成回路９５は、動き補償モード決定回路９４からの重み付け予測モードに基づいて、画面並べ替え回路８２から供給された画像、および以前に画面並べ替え回路８２から供給された参照画像とされる画像を用いて、ブロックマッチングなどにより動きベクトルを求める。動きベクトル生成回路９５は、動きベクトルを求めると、求められた動きベクトルを可逆符号化回路８６および動き補償回路９６に供給する。

ステップＳ９２において、動き補償回路９６は、動きベクトル生成回路９５からの動きベクトル、およびフレームメモリ９３に記憶されている参照画像を用いて動き補償を行い、予測画像を生成する。例えば、動き補償回路９６は、動き補償モード決定回路９４から重み付け予測モードとしてWeighted Predictionモードが供給された場合、Weighted Predictionモードにより前方向予測を行って予測画像を生成する。予測画像が生成されると、動き補償回路９６は生成した予測画像を加算器８３に供給して、動き補償処理は終了する。

このようにして、符号化装置２３は動き補償を行ってＰピクチャに対する予測画像を生成する。

次に、図８のフローチャートを参照して、符号化するフレーム画像がＢピクチャである場合における動き補償処理について説明する。なお、Ｂピクチャの動き補償処理は、例えばマクロブロックを単位として行われ、画面並べ替え回路８２から動きベクトル生成回路９５に、動画像の１フレームを構成するフレーム画像が供給されると開始される。

ステップＳ１２１において、取得部１００は、フェード区間検出装置２２からフェード情報信号を取得する。

ステップＳ１２２において、動きベクトル生成回路９５は、画面並べ替え回路８２から供給された画像、および以前に画面並べ替え回路８２から供給された参照画像とされる画像を用いて、ブロックマッチングなどにより動きベクトルを求める。このとき、動きベクトル生成回路９５は、前方向予測により予測画像を生成するための動きベクトル、後方向予測により予測画像を生成するための動きベクトル、および双方向予測により予測画像を生成するための動きベクトルを求める。

前方向予測による予測画像の動きベクトルを求める場合、動きベクトル生成回路９５は、時間軸において前方向、すなわち符号化するフレーム画像よりも表示順序が前のフレーム画像である過去のフレームの画像を参照画像として用いて動きベクトルを求める。また、後方向予測による予測画像の動きベクトルを求める場合、動きベクトル生成回路９５は、時間軸において後方向、すなわち符号化するフレーム画像よりも表示順序が後のフレーム画像である未来のフレームの画像を参照画像として用いて動きベクトルを求める。

さらに、双方向予測による予測画像の動きベクトルを求める場合、動きベクトル生成回路９５は、時間軸において前方向のフレーム画像、および後方向のフレーム画像を参照画像として用いて動きベクトルを求める。動きベクトル生成回路９５は、動きベクトルを求めると、求められたこれらの動きベクトルを動き補償回路９６に供給する。なお、前方向予測または後方向予測による予測画像の動きベクトルを求める場合、参照画像は１つであってもよいし、複数であってもよい。

ステップＳ１２３において、動き補償回路９６は、動き補償モード決定回路９４からの重み付け予測モードに基づいて、動きベクトル生成回路９５からの動きベクトル、およびフレームメモリ９３に記憶されている参照画像を用いて動き補償を行い、予測画像を生成する。このとき、動き補償回路９６は、前方向予測、後方向予測、および双方向予測を行い、それぞれの予測に対する予測画像を生成する。動き補償回路９６は予測画像を生成すると、生成した予測画像を動き補償モード決定回路９４に供給する。

例えば、動き補償モード決定回路９４から動き補償回路９６に重み付け予測モードとして、Implicit Weighted Predictionモードが供給された場合、動き補償回路９６は双方向予測を行うとき、Implicit Weighted Predictionモードにより重み付け予測を行って予測画像を生成する。また、この場合、動き補償回路９６は前方向予測および後方向予測を行うときは、重み付け予測を行わずに予測画像を生成する。

さらに、例えば、動き補償モード決定回路９４から動き補償回路９６に重み付け予測モードとして、Explicit Weighted Predictionモードが供給された場合、動き補償回路９６はExplicit Weighted Predictionモードにより重み付け予測を行って、前方向予測による予測画像、後方向予測による予測画像、および双方向予測による予測画像のそれぞれを生成する。

さらに、例えば、動き補償モード決定回路９４から動き補償回路９６に、重み付け予測を行わない旨の信号が供給された場合、動き補償回路９６は重み付け予測を行わずに前方向予測による予測画像、後方向予測による予測画像、および双方向予測による予測画像のそれぞれを生成する。

ステップＳ１２４において、動き補償モード決定回路９４は、画面並べ替え回路８２からの画像、および動き補償回路９６からの予測画像を基に、符号化する画像から予測画像を減算して得られる予測残差を求める。

すなわち、動き補償モード決定回路９４は、符号化する画像と前方向予測による予測画像との差分である前方向予測の予測残差、符号化する画像と後方向予測による予測画像との差分である後方向予測の予測残差、および符号化する画像と双方向予測による予測画像との差分である双方向予測の予測残差のそれぞれを求める。

ステップＳ１２５において、動き補償モード決定回路９４は、取得部１００により取得されたフェード情報信号に基づいて、これから符号化しようとする画像はフェード区間を構成する画像であるか否か、すなわちフェード区間に含まれている画像であるか否かを判定する。

ステップＳ１２５において、フェード区間の画像でないと判定された場合、ステップＳ１２６およびステップＳ１２７の処理はスキップされてステップＳ１２８に進む。

これに対して、ステップＳ１２５において、フェード区間の画像であると判定された場合、ステップＳ１２６に進み、動き補償モード決定回路９４は、前方向予測の予測残差と後方向予測の予測残差との差分を求める。

ステップＳ１２７において、動き補償モード決定回路９４は、ステップＳ１２６の処理において求めた差分の絶対値が、予め定められた所定の閾値以下であるか否かを判定する。ステップＳ１２７において、閾値以下でないと判定された場合、処理はステップＳ１２８に進む。

ステップＳ１２５においてフェード区間の画像でないと判定されるか、ステップＳ１２７において閾値以下でないと判定された場合、ステップＳ１２８において、動き補償モード決定回路９４は、前方向予測モード、後方向予測モード、および双方向予測モードのうち、最も予測残差の小さいモードを動き補償モードとして選択する。

すなわち、動き補償モードとして、前方向予測を行う前方向予測モード、後方向予測を行う後方向予測モード、および双方向予測を行う双方向予測モードのうちの何れかを選択することができ、動き補償モード決定回路９４は、前方向予測の予測残差、後方向予測の予測残差、および双方向予測の予測残差のうち、最も予測残差の小さい予測方法のモードを動き補償モードとして選択する。動き補償モード決定回路９４は、選択した動き補償モードを可逆符号化回路８６、動きベクトル生成回路９５、および動き補償回路９６に供給する。

予測残差の差分が大きい場合、動き補償による予測の当たり具合を示す予測残差は、前方向予測、後方向予測、または双方向予測の何れの方法により画像を予測するかによって大きく異なることになるので、何れの方法により動き補償を行うかによって画像の符号化効率が大きく異なる。そこで、予測残差の差分が閾値よりも大きい場合、動き補償モード決定回路９４は画像を効率よく符号化するために前方向予測、後方向予測、または双方向予測のうち最も予測残差が小さい方法により予測画像を生成させる。

これに対して、ステップＳ１２７において閾値以下であると判定された場合、ステップＳ１２９に進み、動き補償モード決定回路９４は、動き補償モードとして双方向予測モードを選択する。そして動き補償モード決定回路９４は、選択した動き補償モードを可逆符号化回路８６、動きベクトル生成回路９５、および動き補償回路９６に供給する。

予測残差の差分が小さい場合、動き補償による予測の当たり具合を示す予測残差は、前方向予測、後方向予測、または双方向予測の何れの方法により画像を予測しても大きくは異ならないので、何れの方法により動き補償を行っても画像の符号化をある程度効率よく行うことができる。そこで、フェード区間の画像を符号化する場合、予測残差の差分が閾値以下であるときには、動き補償モード決定回路９４は画像の画質の劣化を抑制するために双方向予測により予測画像を生成させる。

なお、ステップＳ１２５において、フェード区間の画像であると判定された場合、予測残差の差分の大きさに関わらず、動き補償モードとして双方向予測モードが選択されるようにしてもよい。

ステップＳ１２８またはステップＳ１２９において動き補償モードが選択されると、ステップＳ１３０において、動きベクトル生成回路９５は、ステップＳ１２２において求めた動きベクトルのうち、動き補償モード決定回路９４から供給された動き補償モードにより示されるモードの動きベクトルを選択する。動きベクトル生成回路９５は、選択した動きベクトルを可逆符号化回路８６に供給する。

ステップＳ１３１において、動き補償回路９６は、ステップＳ１２３において生成した予測画像のうち、動き補償モード決定回路９４から供給された動き補償モードにより示されるモードの予測画像を選択する。動き補償回路９６は、選択した予測画像を加算器８３に供給し、動き補償処理は終了する。

このようにして、符号化装置２３は、フェード情報信号および各動き補償モードの予測残差に基づいて、動き補償モードを選択する。

このように、フェード情報信号および各動き補償モードの予測残差に基づいて、動き補償モードを選択することで、フェード区間の画像に対しても画質の劣化を抑制し、より効率よく符号化することができる。

すなわち、Ｂピクチャである画像を符号化する場合、符号化する画像がフェード区間に含まれる画像であるときには、画像の符号化効率よりも画質を優先し、双方向予測モードを積極的に利用することで、画像の主観画質を向上させることができる。また、符号化する画像がフェード区間に含まれない画像であるときには、符号化効率を最優先として最も効率のよい動き補償モードで画像を予測する。このように、フェード情報信号および各動き補償モードの予測残差に基づいて、動き補償モードを選択することで、フェード区間においても、フェード区間ではない区間においても最も優れた画質で画像の符号化を行うことができる。

なお、以上においては、符号化装置２３がフェード情報信号に基づいて、画像を符号化するときに行われる処理である動き補償の処理を変更すると説明したが、フェード情報信号に基づいて、GOP構造を変更するようにしてもよい。

そのような場合、符号化装置２３は、例えば図９に示すように構成される。なお、図９において、図３における場合と対応する部分には同一の符号を付してあり、繰り返しになるのでその説明は省略する。

図９に示す符号化装置２３では、画面並べ替え回路１６１は取得部１７１を備えており、取得部１７１は、フェード区間検出装置２２からフェード情報信号を取得する。また、画面並べ替え回路１６１は、取得したフェード情報信号に基づいてGOP構造を変更する。さらに、画面並べ替え回路１６１は、Ａ／Ｄ変換回路８１からの画像をGOP構造に基づいて並べ替えて加算器８３、動き補償モード決定回路１６２、および動きベクトル生成回路９５に供給する。

動き補償モード決定回路１６２は、画像がインター符号化される場合、画面並べ替え回路１６１からの画像、および動き補償回路９６からの予測画像を基に予測残差を求め、予測残差に基づいて最も符号化効率のよい動き補償モードを選択する。動き補償モード決定回路１６２は、選択された動き補償モードを可逆符号化回路８６、動きベクトル生成回路９５、および動き補償回路９６に供給する。

次に、図１０のフローチャートを参照して、図５のステップＳ３１において行われる処理であり、画像を符号化するときに画面並べ替え回路１６１が画像を並べ替える処理である、並べ替え処理について説明する。なお、この並べ替え処理は、例えばGOP単位で行われ、Ａ／Ｄ変換回路８１から画面並べ替え回路１６１に１つのGOPを構成する画像が供給されると開始される。

ステップＳ１６１において、取得部１７１は、フェード区間検出装置２２からフェード情報信号を取得する。

ステップＳ１６２において、画面並べ替え回路１６１は、取得したフェード情報信号に基づいて、フェード区間であるか否かを判定する。例えば、画面並べ替え回路１６１は、Ａ／Ｄ変換回路８１から供給された、これから符号化しようとする動画像のGOPに属すフレーム画像のそれぞれがフェード区間に含まれるフレーム画像である場合、フェード区間であると判定する。

ステップＳ１６２において、フェード区間であると判定された場合、ステップＳ１６３に進み、画面並べ替え回路１６１は、動画像が符号化される符号化方式などの各種のパラメータに基づいて、その符号化方式で動画像を符号化する場合に、フェード区間を構成する画像を効率よく符号化できる構造とされているGOP構造を選択する。

例えば、MPEG2方式により動画像が符号化される場合、画面並べ替え回路１６１はＰピクチャおよびＩピクチャだけから構成されるGOP構造を選択する。すなわち、MPEG2方式においては、一般的にはＰピクチャとＰピクチャとの間に必ず２つのＢピクチャが配置されているGOP構造が画像を効率よく符号化できるとされているが、フェード区間においては動き補償による予測が当たりにくいため、画面並べ替え回路１６１はＢピクチャを用いずに、ＰピクチャおよびＩピクチャだけから構成されるGOP構造を選択する。これにより、画質を劣化させることなく効率的に符号化することができる。

また、例えば、JVT方式により動画像が符号化される場合、画面並べ替え回路１６１はＰピクチャおよびＩピクチャだけから構成されるGOP構造、またはＰピクチャとＰピクチャとの間に必ず２つのＢピクチャが配置されているGOP構造を選択する。

すなわち、MPEG2方式における場合と同様に、符号化装置２３はＰピクチャおよびＩピクチャだけから構成されるGOP構造を選択することで、画質を劣化させることなく効率的に符号化することができる。また、JVT方式においては、一般的にはＰピクチャとＰピクチャとの間に必ず１つのＢピクチャが配置されているGOP構造が画像を効率よく符号化できるとされているが、フェード区間ではImplicit Weighted Predictionモードを活用するために、符号化装置２３は、GOPを構成する画像におけるＢピクチャの割合を増やし、ＰピクチャとＰピクチャとの間に必ず２つのＢピクチャが配置されているGOP構造を選択することで、画質を劣化させることなく効率的に符号化することができる。

ステップＳ１６４において、画面並べ替え回路１６１は、選択されたGOP構造に基づいて、Ａ／Ｄ変換回路８１から供給されたフレーム画像を並べ替えて、処理はステップＳ１６６に進む。

一方、ステップＳ１６２において、フェード区間ではないと判定された場合、ステップＳ１６５に進み、画面並べ替え回路１６１は動画像が符号化される符号化方式のGOP構造に基づいて、Ａ／Ｄ変換回路８１から供給された画像を並べ替えて、処理はステップＳ１６６に進む。

すなわち、各符号化方式には、予め所定のGOP構造が定められている。例えば、MPEG2方式のGOP構造は、ＰピクチャとＰピクチャとの間に必ず２つのＢピクチャが配置されている構造とされており、JVT方式のGOP構造は、ＰピクチャとＰピクチャとの間に必ず１つのＢピクチャが配置されている構造とされる。画面並べ替え回路１６１は、動画像を符号化する符号化方式に対して定められているGOP構造に基づいて、フレーム画像を並べ替える。

ステップＳ１６６において、画面並べ替え回路１６１は並べ替えたフレーム画像を１フレーム分ずつ加算器８３に供給し、並べ替え処理は終了する。

このようにして、画面並べ替え回路１６１は、フェード区間であるか否かに応じて、符号化する画像のGOP構造を変更する。

このように、フェード区間であるか否かに応じて、符号化する画像のGOP構造を変更することによって、フェード区間の画像に対しては、画質を劣化させることなくフェード区間の画像を最も効率よく符号化できるGOP構造を選択し、フェード区間ではない通常の区間の画像に対しては、通常の区間の画像を最も効率よく符号化できるGOP構造を選択して、画質を劣化させることなく効率的に符号化することができる。

また、符号化装置２３がフェード情報信号に基づいて、動画像に割り当てられた時間当たりの符号量であるビットレートを変更するようにしてもよい。

そのような場合、符号化装置２３は、例えば図１１に示すように構成される。なお、図１１において、図３または図９における場合と対応する部分には同一の符号を付してあり、繰り返しになるのでその説明は省略する。

図１１に示す符号化装置２３では、レート制御回路１９１は取得部２０１を備えており、取得部２０１は、フェード区間検出装置２２からフェード情報信号を取得する。レート制御回路１９１は、フェード情報信号に基づいて動画像に割り当てられるビットレートを変更する。また、レート制御回路１９１は、変更されたビットレートに基づいて、量子化回路８５が変換係数を量子化するときに用いられる量子化値を算出して量子化回路８５に供給する。

次に、図１２のフローチャートを参照して、図５のステップＳ３１の処理において行われる処理であり、画像を符号化するときにレート制御回路１９１がビットレートを制御する処理である、ビットレート制御処理について説明する。なお、このビットレート制御処理は、例えばフレーム単位で行われ、バッファ８７に符号化された１フレーム分の画像が新たに蓄積されると開始される。

ステップＳ１９１において、レート制御回路１９１はバッファ８７を参照して、バッファ８７に新たに蓄積された１フレーム分の画像の符号量を取得する。

ステップＳ１９２において、レート制御回路１９１は、符号化している動画像を構成するフレーム画像のうち、すでに符号化されたフレーム画像の符号量の和である総符号量を更新する。すなわち、レート制御回路１９１は、動画像を符号化することにより発生した符号の合計を示す総符号量を記憶しており、新たなフレーム画像の符号量を取得すると、記憶している総符号量に取得した符号量を加算して総符号量を更新する。

ステップＳ１９３において、取得部２０１はフェード区間検出装置２２からフェード情報信号を取得する。

ステップＳ１９４において、レート制御回路１９１は、取得されたフェード情報信号に基づいて、これから符号化しようとする画像はフェード区間を構成する画像であるか否か、すなわちフェード区間に含まれている画像であるか否かを判定する。

ステップＳ１９４において、フェード区間の画像であると判定された場合、ステップＳ１９５に進む。ステップＳ１９５において、レート制御回路１９１は、動画像のビットレートが予め定められた値よりも所定の値だけ高くなるように、動画像のビットレートを変更し、処理はステップＳ１９８に進む。換言すれば、レート制御回路１９１は、これから符号化しようとするフレーム画像に割り当てられる符号量を増加させる。

これに対して、ステップＳ１９４において、フェード区間の画像でないと判定された場合、ステップＳ１９６に進み、レート制御回路１９１は記憶している総符号量が、予め定められた目標とする総符号量よりも多いか否かを判定する。

ステップＳ１９６において、目標とする総符号量よりも多くないと判定された場合、動画像は目標とする符号量、すなわち目標とするビットレートで符号化されているので、レート制御回路１９１は動画像のビットレートを変更せず、処理はステップＳ１９８に進む。

また、ステップＳ１９６において、目標とする総符号量よりも多いと判定された場合、ステップＳ１９７に進み、レート制御回路１９１は、動画像のビットレートが予め定められた値よりも所定の値だけ低くなるように、動画像のビットレートを変更し、処理はステップＳ１９８に進む。換言すれば、レート制御回路１９１は、これから符号化しようとするフレーム画像に割り当てられる符号量を減少させる。

ステップＳ１９５またはステップＳ１９７においてビットレートが変更されるか、ステップＳ１９６において目標とする総符号量よりも多くないと判定されると、ステップＳ１９８において、レート制御回路１９１は、動画像のビットレートに基づいて量子化値を算出する。レート制御回路１９１は、算出した量子化値を量子化回路８５に供給して、ビットレート制御処理は終了する。

このようにして、レート制御回路１９１は、フェード情報信号および総符号量に基づいて、動画像に割り当てられるビットレートを制御する。

動き補償を行う場合、フェード区間においては動きの予測が当たりにくく、同じ量子化値で量子化が行われると、フェード区間ではない区間の画像の符号量と比べて、フェード区間の画像の符号量は多くなってしまう。したがって、総符号量だけを考慮してビットレートを制御し、動画像のビットレートを一定に保とうとすると、フェード区間の画像に対しては、量子化値を大きくして符号量の増加を抑える必要が生じ、その結果、量子化誤差が増大して画質の劣化を招くことになる。

そこで、フェード区間においては、画像の符号量の増加をある程度容認し、動画像のビットレートを予め定められた値よりも高くすることで、量子化値があまり大きくならないようにして画質の劣化を抑える。また、フェード区間におけるビットレートを高くすると、動画像の全体のビットレート、すなわち動画像の総符号量が増大してしまうので、フェード区間において、符号量が増加する分をフェード区間ではない通常の区間で調整する。

すなわち、フェード区間後のフェード区間ではない区間においては、動画像のビットレートを予め定められた値よりも低くすることで、動画像の総符号量が予め定められた、目標とする符号量となるようにビットレートを制御する。

このようにフェード区間か否かでビットレートを変化させると、フェード区間の後の一定の区間においては、総符号量の増加を抑制するためにビットレートを低くしなければならないので、フェード区間後の一定の区間では動画像の画質の劣化を避けることはできない。しかしながら、一般の画像シーケンスにおいては、動画像に含まれるフェード区間の割合は、フェード区間ではない通常の区間と比べて極めて低いので、フェード区間後のビットレートを低くする区間の長さは、フェード区間の長さと比べて何倍にも長くすることができる。

したがって、フェード区間後、ビットレートを下げる値を、フェード区間においてビットレートを上げる値と比べて極めて小さい値とすることができる。そのため、実際には、フェード区間後においてもビットレートを大幅に低くする必要はなく、動画像の画質を殆ど劣化させることなく画像を符号化することができる。

以上のように、フェード情報信号および総符号量に基づいて、動画像のビットレートを制御することによって、フェード区間の画像に対しても画質の劣化を抑制し、より効率よく符号化することができる。

さらに、符号化装置２３がフェード情報信号に基づいて、変換係数を量子化するときに用いる重み付け係数のマトリクスを変更するようにしてもよい。

そのような場合、符号化装置２３は、例えば図１３に示すように構成される。なお、図１３において、図３または図９における場合と対応する部分には同一の符号を付してあり、繰り返しになるのでその説明は省略する。

図１３に示す符号化装置２３では、量子化回路２２１は取得部２３１を備えており、取得部２３１は、フェード区間検出装置２２からフェード情報信号を取得する。量子化回路２２１は、取得したフェード情報信号に基づいて重み付け係数のマトリクスを選択する。量子化回路２２１は、この重み付け係数のマトリクスを、例えばフレーム単位、すなわちピクチャ単位などの所定の符号化単位で切り替えることができる。

量子化回路２２１は、選択した重み付け係数のマトリクスおよびレート制御回路８９からの量子化値を用いて変換係数を量子化し、量子化した変換係数を可逆符号化回路８６および逆量子化回路９０に供給する。

次に、図１４のフローチャートを参照して、図５のステップＳ３１において行われる処理であり、画像を符号化するときに量子化回路２２１が変換係数を量子化する処理である、量子化処理について説明する。なお、この量子化処理は、例えばフレーム単位で行われ、直交変換回路８４から変換係数が供給されると開始される。

ステップＳ２２１において、取得部２３１は、フェード区間検出装置２２からフェード情報信号を取得する。

ステップＳ２２２において、量子化回路２２１は、取得されたフェード情報信号に基づいて、これから量子化しようとする変換係数は、フェード区間を構成する画像の変換係数であるか否かを判定する。

ステップＳ２２２において、フェード区間の画像の変換係数であると判定された場合、ステップＳ２２３に進み、量子化回路２２１は、フェード区間の画像の変換係数を量子化するのに適した重み付け係数のマトリクスを選択する。

フェード区間においては、画像全体の明るさが徐々に変化するので、画像の細かい部分よりも、画像全体の明るさの変化具合といった全体的な部分をより正確に再現した方が、画像の主観画質はよくなる。すなわちフェード区間においては、フェード区間ではない通常の区間に比べて、周波数の低域成分の重要度がより大きく、周波数の高域成分の重要度がより小さくなる。したがって、フェード区間においては、従来どおりの重み付け係数のマトリクスに比べ、低域成分に対する量子化値が小さくなり、高域成分に対する量子化値が大きくなる、低域側を優遇するタイプの重み付け係数のマトリクスがより適しているということになる。

そこで、例えば量子化回路２２１は、所定の周波数より高い周波数の変換係数に対する重み付け係数が予め定められた重み付け係数よりも大きく、所定の周波数より低い周波数の変換係数に対する重み付け係数が予め定められた重み付け係数よりも小さい重み付け係数から構成されているマトリクスを選択する。すなわち、量子化回路２２１は、より高い周波数の変換係数に対する重み付け係数がより大きく、より低い周波数の変換係数に対する重み付け係数がより小さいマトリクスを選択する。

ここで、予め定められた重み付け係数は、例えばWeighting Matrix、Scaling Listなどと称される重み付け係数のマトリクスなどの、フェード区間ではない区間の画像の変換係数を量子化するときに用いられるマトリクスの各周波数の変換係数に対する重み付け係数をいう。

また、例えば、量子化回路２２１は、所定の周波数より高い周波数の変換係数に対する重み付け係数が予め定められた重み付け係数よりも大きく、所定の周波数より低い周波数の変換係数に対する重み付け係数が予め定められた重み付け係数と同じ重み付け係数から構成されているマトリクス、または所定の周波数より高い周波数の変換係数に対する重み付け係数が予め定められた重み付け係数と同じであり、所定の周波数より低い周波数の変換係数に対する重み付け係数が予め定められた重み付け係数よりも小さい重み付け係数から構成されているマトリクスを選択する。

このように、フェード区間の画像の変換係数を量子化する場合、量子化回路２２１はフェード区間ではない区間の画像の変換係数を量子化するときに用いるマトリクスよりも傾斜のきついマトリクスを選択する。

ステップＳ２２４において、量子化回路２２１は、選択したマトリクス、およびレート制御回路８９からの量子化値を用いて変換係数を量子化する。例えば、量子化回路２２１は、マトリクスの重み付け係数を量子化値に乗算して量子化値を重み付けし、変換係数を重み付けされた量子化値で除算することで変換係数を量子化する。量子化回路２２１は、量子化した変換係数を可逆符号化回路８６および逆量子化回路９０に供給して量子化処理は終了する。

なお、より詳細には、量子化回路２２１は、選択した重み付け係数のマトリクスも可逆符号化回路８６に供給する。可逆符号化回路８６に供給されたマトリクスは、可逆符号化回路８６において可変長符号化、算術符号化等の可逆符号化処理が施されて画像のヘッダに挿入される。

これに対して、ステップＳ２２２において、フェード区間の画像の変換係数でないと判定された場合、ステップＳ２２５に進み、量子化回路２２１は、予め定められた重み付け係数のマトリクス、例えばWeighting Matrix、Scaling Listなどと称される重み付け係数のマトリクスとレート制御回路８９からの量子化値とを用いて変換係数を量子化する。そして、量子化回路２２１は、量子化した変換係数を可逆符号化回路８６および逆量子化回路９０に供給して量子化処理は終了する。

ここで、Weighting Matrix、Scaling Listなどと称される重み付け係数のマトリクスは、一般に人間の目につきやすい低域成分、すなわち低い周波数の変換係数については量子化値を小さめに、人間の目につきづらい高域成分、すなわち高い周波数の変換係数については量子化値を大きめにするような傾斜がつけられている。また、より詳細には、ステップＳ２２４における場合と同様に、量子化回路２２１は重み付け係数のマトリクスも可逆符号化回路８６に供給する。

このようにして、量子化回路２２１はフェード情報信号に基づいてマトリクスを選択し、選択したマトリクスを用いて変換係数を量子化する。

このように、フェード情報信号に基づいてマトリクスを選択し、選択したマトリクスを用いて変換係数を量子化することで、フェード区間に適した重み付け係数のマトリクスを選択することができ、フェード区間の画像に対しても画質の劣化を抑制し、より効率よく符号化することができる。

なお、以上においては、符号化データ変換装置１２では、フェード区間検出装置２２が動画像に含まれているフェード区間を検出すると説明したが、復号装置２１がフェード区間を検出するようにしてもよい。そのような場合、復号装置２１は、例えば図１５に示すように構成される。なお、図１５において、図２における場合と対応する部分には同一の符号を付してあり、その説明は省略する。

図１５に示す復号装置２１には、新たにフェード区間検出部２６１が設けられており、受信部５１乃至動き補償回路６０のそれぞれは、図３における場合と同様の構成とされている。フェード区間検出部２６１は、画面並べ替え回路５７から供給された画像から、フェード区間を検出し、その検出結果を示すフェード情報信号を生成する。フェード区間検出部２６１は、生成したフェード情報信号を符号化装置２３に供給する。

次に、図１６のフローチャートを参照して、復号装置２１がフェード区間を検出する場合におけるトランスコード処理について説明する。

なお、ステップＳ２５１の処理乃至ステップＳ２５３の処理のそれぞれは、図５におけるステップＳ１１の処理乃至ステップＳ１３の処理のそれぞれと同様であるので、その説明は省略する。また、ステップＳ２５２において、復号装置２１が画像を復号する場合、画面並べ替え回路５７は、並べ替えた画像をＤ／Ａ変換回路５８に供給するとともに、フェード区間検出部２６１に供給する。

ステップＳ２５４において、フェード区間検出部２６１は、画面並べ替え回路５７から供給された画像を基に、フェード区間を検出する。例えば、フェード区間検出部２６１は、動画像を構成する各フレーム画像の輝度値を求め、連続するフレーム画像の輝度値の変化に基づいてフェード区間を検出する。

より具体的には、フェード区間検出部２６１は、フレーム画像を構成する各画素の輝度値の平均値をそのフレーム画像の輝度値とし、所定のフレーム画像の輝度値と、その所定のフレーム画像の直前に配置された連続する３つのフレーム画像の輝度値の平均値との差分を計算する。そして、その差分の値が予め定められた閾値以上である場合、フェード区間検出部２６１は、所定のフレーム画像は、フェード区間に含まれている画像であるとする。

ステップＳ２５５において、フェード区間検出部２６１は、フェード区間の検出結果を示すフェード情報信号を生成して符号化装置２３に供給し、トランスコード処理は終了する。その後、符号化装置２３において、ステップＳ２６１の処理およびステップＳ２６２の処理が行われるが、これらの処理は図５のステップＳ３１の処理およびステップＳ３２の処理と同様であるので、その説明は省略する。

また、ステップＳ２６１においては、画像が符号化されるときに、上述した重み付け予測モードの選択処理、動き補償処理、並べ替え処理、ビットレート制御処理、量子化処理などの処理が行われる。

このようにして、復号装置２１は、画像を復号するとともに、画像のフェード区間を検出してその検出結果を符号化装置２３に供給する。また、符号化装置２３は、復号された画像を符号化して復号装置１３に送信する。

このように、画像のフェード区間を検出することで、画質の劣化を抑制し、より効率よく符号化するためのフェード情報信号を符号化装置２３に供給することができる。これにより、符号化装置２３において、画質の劣化を抑制し、より効率よく画像を符号化することができる。

なお、復号装置２１が復号された画像を基に、フェード区間を検出すると説明したが、復号前の画像、すなわち符号化された画像を基に、フェード区間を検出するようにしてもよい。そのような場合、復号装置２１は、例えば図１７に示すように構成される。

なお、図１７において、図１５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。図１７に示す復号装置２１においては、フェード区間検出部２６１はバッファ５２に接続されており、フェード区間検出部２６１は、バッファ５２から供給された符号化された画像を基に、フェード区間を検出する。

例えば、フェード区間検出部２６１は、画像のヘッダを参照し、動画像を構成するフレーム画像であるＢピクチャおよびＰピクチャのうち、イントラ符号化されたＢピクチャおよびＰピクチャの数に基づいてフェード区間を検出する。

すなわち、フェード区間検出部２６１は、画像のヘッダに格納されている各フレーム画像の符号化方法を示す情報、つまり画像の符号化方法が、イントラ符号化、前方向予測、後方向予測、双方向予測、ダイレクトモードなどの何れかであることを示す情報を参照し、イントラ符号化されたＢピクチャおよびＰピクチャの数をカウントして、その数を記憶する。そして、フェード区間検出部２６１は、所定の長さの区間に含まれるフレーム画像のうち、イントラ符号化されたＢピクチャおよびＰピクチャの数が所定の閾値以上である場合、その区間はフェード区間であるとする。

フェード区間検出部２６１は、フェード区間を検出すると、その検出結果を示すフェード情報信号を生成して符号化装置２３に供給する。なお、図１に示した画像処理システムにおいて、復号装置２１からフェード区間検出装置２２に符号化された画像が供給されるようにし、フェード区間検出装置２２において、符号化された画像を基に、イントラ符号化されたＢピクチャおよびＰピクチャの数に基づいてフェード区間が検出されるようにしてもよい。

さらに、フェード情報信号を用いて画像を符号化するときに行う処理を変更する符号化装置２３は、図１に示した画像処理システムに限らず、例えば図１８に示すように、他の画像処理システムにも適用できる。なお、図１８において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１８に示す画像処理システムは、フェード区間検出装置２２、符号化装置２３、および復号装置１３から構成され、符号化装置２３および復号装置１３は通信網１５を介して相互に接続されている。

フェード区間検出装置２２および符号化装置２３には、これから符号化しようとするベースバンド信号である画像が図示せぬ他の装置から供給される。フェード区間検出装置２２は、他の装置から供給された画像からフェード区間を検出し、その検出結果を示すフェード情報信号を符号化装置２３に供給する。

符号化装置２３は、フェード区間検出装置２２から供給されたフェード情報信号に基づいて、他の装置から供給された画像を符号化する。例えば、符号化装置２３は、フェード情報信号に基づいて、画像を符号化するときに実行する処理を変更し、変更された処理や他の処理を実行することにより画像を符号化する。

符号化装置２３は画像を符号化すると、符号化により得られた画像を変調し、変調された画像を通信網１５を介して復号装置１３に送信する。復号装置１３は、符号化装置２３から送信されてきた画像を受信して復調する。そして、復号装置１３は、復調された画像を符号化装置２３の符号化方式に対応する方式で復号し、これにより得られた画像を表示するなどして利用する。

以上のように、フェード区間であるか否かに応じて、画像を符号化するときに行う処理を変更するようにしたので、画質の劣化を抑制し、より効率よく符号化することができる。

また、動画像のフェード区間を検出するようにしたので、画質の劣化を抑制し、より効率よく符号化するためのフェード情報信号を供給することができる。これにより、フェード情報信号を用いて、画像の画質の劣化を抑制し、より効率よく符号化することができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１９は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。パーソナルコンピュータ３０１のCPU（Central Processing Unit）３１１は、ROM（Read Only Memory）３１２、または記録部３１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３１３には、CPU３１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３１１、ROM３１２、およびRAM３１３は、バス３１４により相互に接続されている。

CPU３１１にはまた、バス３１４を介して入出力インターフェース３１５が接続されている。入出力インターフェース３１５には、キーボード、マウス、マイクロホンなどよりなる入力部３１６、ディスプレイ、スピーカなどよりなる出力部３１７が接続されている。CPU３１１は、入力部３１６から入力される指令に対応して各種の処理を実行する。そして、CPU３１１は、処理の結果を出力部３１７に出力する。

入出力インターフェース３１５に接続されている記録部３１８は、例えばハードディスクからなり、CPU３１１が実行するプログラムや各種のデータを記録する。通信部３１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部３１９を介してプログラムを取得し、記録部３１８に記録してもよい。

入出力インターフェース３１５に接続されているドライブ３２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部３１８に転送され、記録される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１９に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３３１、または、プログラムが一時的もしくは永続的に格納されるROM３１２や、記録部３１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部３１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像処理システムの一実施の形態の構成例を示す図である。 復号装置の構成例を示すブロック図である。 符号化装置の構成例を示すブロック図である。 符号化装置の構成例を示すブロック図である。 トランスコード処理を説明するフローチャートである。 重み付け予測モードの選択処理を説明するフローチャートである。 Ｐピクチャの動き補償処理を説明するフローチャートである。 Ｂピクチャの動き補償処理を説明するフローチャートである。 符号化装置の他の構成例を示すブロック図である。 並べ替え処理を説明するフローチャートである。 符号化装置の他の構成例を示すブロック図である。 ビットレート制御処理を説明するフローチャートである。 符号化装置の他の構成例を示すブロック図である。 量子化処理を説明するフローチャートである。 復号装置の他の構成例を示すブロック図である。 トランスコード処理を説明するフローチャートである。 復号装置の他の構成例を示すブロック図である。 画像処理システムの他の構成例を示す図である。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１２ 符号化データ変換装置， ２１ 復号装置， ２２ フェード区間検出装置， ２３ 符号化装置， ９４ 動き補償モード決定回路， ９５ 動きベクトル生成回路， ９６ 動き補償回路， １００ 取得部， １６１ 画面並べ替え回路， １７１ 取得部， １９１ レート制御回路， ２０１ 取得部， ２２１ 量子化回路， ２３１ 取得部， ２６１ フェード区間検出部

Claims (28)

1. 符号化された画像を復号する復号装置と、前記復号装置により復号された前記画像を符号化する符号化装置とからなる画像処理システムにおいて、
   前記復号装置は、
   符号化された前記画像を復号する復号手段と、
   前記画像に基づいて、前記画像に含まれているフェード区間を検出し、その検出結果を示すフェード情報信号を前記符号化装置に供給する検出手段と
   を備え、
   前記符号化装置は、
   前記フェード情報信号を取得する取得手段と、
   前記フェード情報信号に基づいて、前記画像を符号化するときに実行される処理を変更する変更手段と
   を備える
   画像処理システム。
2. 前記検出手段は、前記符号化された画像としてのイントラ符号化されたＰピクチャおよびＢピクチャの数に基づいてフェード区間を検出する
   請求項１に記載の画像処理システム。
3. 前記検出手段は、前記画像を構成する連続するフレームの画像の輝度値の変化に基づいてフェード区間を検出する
   請求項１に記載の画像処理システム。
4. 符号化された画像を復号する復号装置と、前記復号装置により復号された前記画像を符号化する符号化装置とからなる画像処理システムの画像処理方法において、
   前記復号装置において、
   符号化された前記画像を復号し、
   前記画像に基づいて、前記画像に含まれているフェード区間を検出し、その検出結果を示すフェード情報信号を前記符号化装置に供給し、
   前記符号化装置において、
   前記フェード情報信号を取得し、
   前記フェード情報信号に基づいて、前記画像を符号化するときに実行される処理を変更する
   画像処理方法。
5. 符号化された画像を復号する復号手段と、
   前記画像に基づいて、前記画像に含まれているフェード区間を検出し、その検出結果を示すフェード情報信号を、復号された前記画像を符号化するときに実行される処理を前記フェード情報信号に基づいて変更する符号化装置に供給する検出手段と
   を備える復号装置。
6. 前記検出手段は、前記符号化された画像としてのイントラ符号化されたＰピクチャおよびＢピクチャの数に基づいてフェード区間を検出する
   請求項５に記載の復号装置。
7. 前記検出手段は、前記画像を構成する連続するフレームの画像の輝度値の変化に基づいてフェード区間を検出する
   請求項５に記載の復号装置。
8. 符号化された画像を復号し、
   前記画像に基づいて、前記画像に含まれているフェード区間を検出し、その検出結果を示すフェード情報信号を、復号された前記画像を符号化するときに実行される処理を前記フェード情報信号に基づいて変更する符号化装置に供給する
   復号方法。
9. 符号化された画像を復号し、
   前記画像に基づいて、前記画像に含まれているフェード区間を検出し、その検出結果を示すフェード情報信号を、復号された前記画像を符号化するときに実行される処理を前記フェード情報信号に基づいて変更する符号化装置に供給する
   ステップをコンピュータに実行させるプログラム。
10. これから符号化しようとする画像がフェード区間を構成する画像であるか否かを示すフェード情報信号を取得する取得手段と、
    前記フェード情報信号に基づいて、前記画像を符号化するときに実行される処理を変更する変更手段と
    を備える符号化装置。
11. 前記変更手段は、これから符号化しようとする画像がフェード区間を構成する画像である場合、前記画像に対して実行される動き補償の処理を変更する
    請求項１０に記載の符号化装置。
12. 前記変更手段は、前記画像がフェード区間を構成する画像としてのＰピクチャである場合、前記動き補償の重み付け予測モードをWeighted Predictionモードに変更する
    請求項１１に記載の符号化装置。
13. 前記変更手段は、前記画像がフェード区間を構成する画像としてのＢピクチャである場合、前記動き補償の重み付け予測モードをExplicit Weighted PredictionモードまたはImplicit Weighted Predictionモードに変更する
    請求項１１に記載の符号化装置。
14. 前記動き補償として前方向予測モードにより前記画像を予測して得られた前方向予測画像と、前記動き補償として後方向予測モードにより前記画像を予測して得られた後方向予測画像とを生成する生成手段をさらに備え、
    前記変更手段は、前記画像がフェード区間を構成する画像としてのＢピクチャである場合、前記前方向予測画像および前記画像の差である予測残差と、前記後方向予測画像および前記画像の差である予測残差との差が所定の閾値以下であるとき、前記動き補償の動き補償モードを双方向予測モードに変更する
    請求項１１に記載の符号化装置。
15. 前記変更手段は、前記画像がフェード区間を構成する画像としてのＢピクチャである場合、前記動き補償の動き補償モードを双方向予測モードに変更する
    請求項１１に記載の符号化装置。
16. 前記変更手段は、前記画像がフェード区間を構成する画像である場合、前記画像のGOP（Group Of Pictures）構造を変更する
    請求項１０に記載の符号化装置。
17. 前記GOP構造は、ＰピクチャおよびＩピクチャから構成されるGOP構造に変更される
    請求項１６に記載の符号化装置。
18. 前記GOP構造は、ＰピクチャとＰピクチャとの間に１つのＢピクチャが配置されたGOP構造に変更される
    請求項１６に記載の符号化装置。
19. 前記GOP構造は、ＰピクチャとＰピクチャとの間に２つのＢピクチャが配置されたGOP構造に変更される
    請求項１６に記載の符号化装置。
20. 前記変更手段は、前記画像が符号化されるときに割り当てられる前記画像のビットレートを変更する
    請求項１０に記載の符号化装置。
21. 前記変更手段は、前記画像がフェード区間を構成する画像である場合、前記画像のビットレートが予め定められたビットレートよりも高くなるように、前記画像のビットレートを変更する
    請求項２０に記載の符号化装置。
22. 前記変更手段は、前記画像がフェード区間を構成する画像でない場合、これまで符号化された画像の符号量の合計が目標となる符号量よりも多いとき、これから符号化する前記画像のビットレートが予め定められたビットレートよりも低くなるように、前記画像のビットレートを変更する
    請求項２０に記載の符号化装置。
23. 前記変更手段は、前記画像を直交変換することにより得られた変換係数が、その変換係数の周波数に応じて重み付けされて量子化されるときに用いられる重み付け係数のマトリクスを変更する
    請求項１０に記載の符号化装置。
24. 前記変更手段は、前記画像がフェード区間を構成する画像である場合、所定の周波数より高い周波数の前記変換係数に対する重み付け係数が予め定められた重み付け係数よりも大きく、前記所定の周波数より低い周波数の前記変換係数に対する重み付け係数が予め定められた重み付け係数よりも小さい重み付け係数から構成されているマトリクスに、前記変換係数を量子化するときに用いるマトリクスを変更する
    請求項２３に記載の符号化装置。
25. 前記変更手段は、前記画像がフェード区間を構成する画像である場合、所定の周波数より高い周波数の前記変換係数に対する重み付け係数が予め定められた重み付け係数と同じであり、前記所定の周波数より低い周波数の前記変換係数に対する重み付け係数が予め定められた重み付け係数よりも小さい重み付け係数から構成されているマトリクスに、前記変換係数を量子化するときに用いるマトリクスを変更する
    請求項２３に記載の符号化装置。
26. 前記変更手段は、前記画像がフェード区間を構成する画像である場合、所定の周波数より高い周波数の前記変換係数に対する重み付け係数が予め定められた重み付け係数よりも大きく、前記所定の周波数より低い周波数の前記変換係数に対する重み付け係数が予め定められた重み付け係数と同じである重み付け係数から構成されているマトリクスに、前記変換係数を量子化するときに用いるマトリクスを変更する
    請求項２３に記載の符号化装置。
27. これから符号化しようとする画像がフェード区間を構成する画像であるか否かを示すフェード情報信号を取得し、
    前記フェード情報信号に基づいて、前記画像を符号化するときに実行される処理を変更する
    符号化方法。
28. これから符号化しようとする画像がフェード区間を構成する画像であるか否かを示すフェード情報信号を取得し、
    前記フェード情報信号に基づいて、前記画像を符号化するときに実行される処理を変更する
    ステップをコンピュータに実行させるプログラム。

Images