JP2006020353A - 画像信号符号化装置および方法、画像信号復号装置および方法 - Google Patents

Abstract

【課題】 簡単な構成により復号化した画像信号を最適に補正する。
【解決手段】 符号化装置１のエンコーダ１８は、画像データであるビットストリームと同時にプリフィルタ２１の符号化条件を示すＰＳＴフラグを符号化し、ビットストリームと共にＰＳＴフラグを記録媒体３に伝送する。記録媒体３に符号化されて記憶されたビットストリームとＰＳＴフラグは、複合化装置２のデコーダ３１で複合化され、複合化されたビットストリームは、フォーマット変換回路３２に入力され、ブロックフォーマットからフレームフォーマットに変換される。一方、複合化されたＰＳＴフラグは、ポストフィルタ２２に伝送され、ポストフィルタ２２では、ＰＳＴフラグにより最適フィルタを選択するようになっている。
【選択図】図１

Description

本発明は、動画像データを圧縮して伝送する場合に用いて好適な画像信号符号化装置及び画像信号復号化装置に関する。

動画像データを光磁気ディスクや磁気テープ等にデジタル的に記録する場合、あるいは所定の伝送媒体を介して伝送する場合、データを符号化し、圧縮して、データ量を減少するようにしている。

例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化するようになされている。

ライン相関を利用すると、画像信号を、例えばＤＣＴ（離散コサイン変換）処理するなどして圧縮することができる。

また、フレーム間相関を利用すると、画像信号をさらに圧縮して符号化することが可能となる。例えば図１１に示すように、時刻ｔ１，ｔ２，ｔ３において、フレーム画像ＰＣ１，ＰＣ２，ＰＣ３がそれぞれ発生しているとき、フレーム画像ＰＣ１とＰＣ２の画像信号の差を演算して、ＰＣ１２を生成し、また、フレーム画像ＰＣ２とＰＣ３の差を演算して、ＰＣ２３を生成する。通常、時間的に隣接するフレームの画像は、それ程大きな変化を有していないため、両者の差を演算すると、その差分信号は小さな値のものとなる。そこで、この差分信号を符号化すれば、符号量を圧縮することができる。

しかしながら、差分信号のみを伝送したのでは、元の画像を復元することができない。そこで、各フレームの画像を、Ｉピクチャ、ＰピクチャまたはＢピクチャの３種類のピクチャのいずれかのピクチャとし、画像信号を圧縮符号化するようにしている。

即ち、例えば図１２に示すように、フレームＦ１乃至Ｆ１７までの１７フレームの画像信号をグループオブピクチャ（ＧＯＰ）とし、処理の１単位とする。そして、その先頭のフレームＦ１の画像信号はＩピクチャとして符号化し、第２番目のフレームＦ２はＢピクチャとして、また第３番目のフレームＦ３はＰピクチャとして、それぞれ処理する。以下、第４番目以降のフレームＦ４乃至Ｆ１７は、ＢピクチャまたはＰピクチャとして交互に処理する。

Ｉピクチャの画像信号としては、その１フレーム分の画像信号をそのまま伝送する。これに対して、Ｐピクチャの画像信号としては、基本的には、図１２（Ａ）に示すように、それより時間的に先行するＩピクチャまたはＰピクチャの画像信号からの差分を伝送する。さらにＢピクチャの画像信号としては、基本的には、図１２（Ｂ）に示すように、時間的に先行するフレームまたは後行するフレームの両方の平均値からの差分を求め、その差分を符号化する。

図１３は、このようにして、動画像信号を符号化する方法の原理を示している。同図に示すように、最初のフレームＦ１は、Ｉピクチャとして処理されるため、そのまま伝送データＦ１Ｘとして伝送路に伝送される（画像内符号化）。これに対して、第２のフレームＦ２は、Ｂピクチャとして処理されるため、時間的に先行するフレームＦ１と、時間的に後行するフレームＦ３の平均値との差分（予測誤差）が演算され、その差分が伝送データＦ２Ｘとして伝送される。

但し、このＢピクチャとしての処理は、さらに細かく説明すると、４種類存在する。その第１の処理は、元のフレームＦ２のデータをそのまま伝送データＦ２Ｘとして伝送するものであり（ＳＰ１）（イントラ（画像内予測）符号化）、Ｉピクチャにおける場合と同様の処理となる。第２の処理は、時間的に後のフレームＦ３からの差分を演算し、その差分（ＳＰ２）を伝送するものである（後方予測符号化）。第３の処理は、時間的に先行するフレームＦ１との差分（ＳＰ３）を伝送するものである（前方予測符号化）。さらに第４の処理は、時間的に先行するフレームＦ１と後行するフレームＦ３の平均値との差分（ＳＰ４）を生成し、これを伝送データＦ２Ｘとして伝送するものである（両方向予測符号化）。

この４つの方法のうち、伝送データが最も少なくなる方法が採用される。

尚、差分データを伝送するとき、差分を演算する対象となるフレームの画像（予測画像）との間の動きベクトルｘ１（フレームＦ１とＦ２の間の動きベクトル）（前方予測の場合）、もしくはｘ２（フレームＦ３とＦ２の間の動きベクトル）（後方予測の場合）、またはｘ１とｘ２の両方（両方向予測の場合）が、差分データとともに伝送される。

また、ＰピクチャのフレームＦ３は、時間的に先行するフレームＦ１を予測画像として、このフレームとの差分信号（ＳＰ３）と、動きベクトルｘ３が演算され、これが伝送データＦ３Ｘとして伝送される（前方予測符号化）。あるいはまた、元のフレームＦ３のデータが、そのままデータＦ３Ｘとして伝送される（ＳＰ１）（イントラ符号化）。いずれの方法により伝送されるかは、Ｂピクチャにおける場合と同様に、伝送データがより少なくなる方が選択される。

図１４は、上述した原理に基づいて、動画像信号を符号化して伝送し、これを復号化する装置の構成例を示している。符号化装置１は、入力された映像信号を符号化し、伝送路としての記録媒体３に伝送するようになされている。そして、復号化装置２は、記録媒体３に記録された信号を再生し、これを復号して出力するようになされている。

符号化装置１においては、入力された映像信号が前処理回路１１に入力され、そこで輝度信号と色信号（この実施例の場合、色差信号）が分離され、それぞれＡ／Ｄ変換器１２，１３でＡ／Ｄ変換される。Ａ／Ｄ変換器１２，１３によりＡ／Ｄ変換されてデジタル信号となった映像信号は、プリフィルタ２１によって処理された後フレームメモリ１４に供給され、記憶される。フレームメモリ１４は、輝度信号を輝度信号フレームメモリ１５に、また、色差信号を色差信号フレームメモリ１６に、それぞれ記憶させる。

プリフィルタ２１は、符号化効率を向上させるための処理を行う。これは例えば、ノイズ除去フィルタであり、また例えば帯域を制限するためのフィルタである。

フォーマット変換回路１７は、フレームメモリ１４に記憶されたフレームフォーマットの信号を、ブロックフォーマットの信号に変換する。即ち、図１５に示すように、フレームメモリ１４に記憶された映像信号は、１ライン当りＨドットのラインがＶライン集められたフレームフォーマットのデータとされている。フォーマット変換回路１７は、この１フレームの信号を、１６ラインを単位としてＮ個のスライスに区分する。そして、各スライスは、Ｍ個のマクロブロックに分割される。各マクロブロックは、１６×１６個の画素（ドット）に対応する輝度信号により構成され、この輝度信号は、さらに８×８ドットを単位とするブロックＹ［１］乃至Ｙ［４］に区分される。そして、この１６×１６ドットの輝度信号には、８×８ドットのＣｂ信号と、８×８ドットのＣｒ信号が対応される。

このように、ブロックフォーマットに変換されたデータは、フォーマット変換回路１７からエンコーダ１８に供給され、ここでエンコード（符号化）が行われる。その詳細については、図１６を参照して後述する。

エンコーダ１８によりエンコードされた信号は、ビットストリームとして伝送路に出力される。例えば記録回路１９に供給され、デジタル信号として記録媒体３に記録される。

再生回路３０により記録媒体３より再生されたデータは、復号化装置２のデコーダ３１に供給され、デコードされる。デコーダ３１の詳細については、図１９を参照して後述する。

デコーダ３１によりデコードされたデータは、フォーマット変換回路３２に入力され、ブロックフォーマットからフレームフォーマットに変換される。そして、フレームフォーマットの輝度信号は、フレームメモリ３３の輝度信号フレームメモリ３４に供給され、記憶され、色差信号は色差信号フレームメモリ３５に供給され、記憶される。輝度信号フレームメモリ３４と色差信号フレームメモリ３５より読み出された輝度信号と色差信号は、ポストフィルタ２２によって処理された後、Ｄ／Ａ変換器３６と３７によりそれぞれＤ／Ａ変換され、後処理回路３８に供給され、合成される。そして、例えば、図示せぬＣＲＴなどのディスプレイに出力され、表示される。

ポストフィルタ２２は、画質を改善するための処理を行う。例えばブロック歪やモスキートノイズを除去するためのフィルタである。

次に図１６を参照して、エンコーダ１８の構成例について説明する。

符号化されるべき画像データは、マクロブロック単位で動きベクトル検出回路５０に入力される。動きベクトル検出回路５０は、予め設定された所定のシーケンスに従って、各フレームの画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして処理する。シーケンシャルに入力される各フレームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するかは、予め定められている（例えば、図１５に示したように、フレームＦ１乃至Ｆ１７により構成されるグループオブピクチャが、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理される）。

Ｉピクチャとして処理されるフレーム（例えばフレームＦ１）の画像データは、動きベクトル検出回路５０からフレームメモリ５１の前方原画像部５１ａに転送、記憶され、Ｂピクチャとして処理されるフレーム（例えばフレームＦ２）の画像データは、参照原画像部５１ｂに転送、記憶され、Ｐピクチャとして処理されるフレーム（例えばフレームＦ３）の画像データは、後方原画像部５１ｃに転送、記憶される。

また、次のタイミングにおいて、さらにＢピクチャ（フレームＦ４）またはＰピクチャ（フレームＦ５）として処理すべきフレームの画像が入力されたとき、それまで後方原画像部５１ｃに記憶されていた最初のＰピクチャ（フレームＦ３）の画像データが、前方原画像部５１ａに転送され、次のＢピクチャ（フレームＦ４）の画像データが、参照原画像部５１ｂに記憶（上書き）され、次のＰピクチャ（フレームＦ５）の画像データが、後方原画像部５１ｃに記憶（上書き）される。このような動作が順次繰り返される。

フレームメモリ５１に記憶された各ピクチャの信号は、そこから読み出され、予測モード切り替え回路５２において、フレーム予測モード処理、またはフィールド予測モード処理が行なわれる。さらにまた、予測判定回路５４の制御の下に、演算部５３において、画像内予測、前方予測、後方予測、または両方向予測の演算が行なわれる。これらの処理のうち、いずれの処理を行なうかは、予測誤差信号（処理の対象とされている参照画像と、これに対する予測画像との差分）に対応して決定される。このため、動きベクトル検出回路５０は、この判定に用いられる予測誤差信号の絶対値和（自乗和でもよい）を生成する。

ここで、予測モード切り替え回路５２におけるフレーム予測モードとフィールド予測モードについて説明する。

フレーム予測モードが設定された場合においては、予測モード切り替え回路５２は、動きベクトル検出回路５０より供給される４個の輝度ブロックＹ［１］乃至Ｙ［４］を、そのまま後段の演算部５３に出力する。即ち、この場合においては、図８に示すように、各輝度ブロックに奇数フィールドのラインのデータと、偶数フィールドのラインのデータとが混在した状態となっている。このフレーム予測モードにおいては、４個の輝度ブロック（マクロブロック）を単位として予測が行われ、４個の輝度ブロックに対して１個の動きベクトルが対応される。

これに対して、予測モード切り替え回路５２は、フィールド予測モードにおいては、図１７（Ａ）に示す構成で動きベクトル検出回路５０より入力される信号を、図１７（Ｂ）に示すように、４個の輝度ブロックのうち、輝度ブロックＹ［１］とＹ［２］を、例えば奇数フィールドのラインのドットによりのみ構成させ、他の２個の輝度ブロックＹ［３］とＹ［４］を、偶数フィールドのラインのデータにより構成させて、演算部５３に出力する。この場合においては、２個の輝度ブロックＹ［１］とＹ［２］に対して、１個の動きベクトルが対応され、他の２個の輝度ブロックＹ［３］とＹ［４］に対して、他の１個の動きベクトルが対応される。

動きベクトル検出回路５０は、フレーム予測モードにおける予測誤差の絶対値和と、フィールド予測モードにおける予測誤差の絶対値和を、予測モード切り替え回路５２に出力する。予測モード切り替え回路５２は、フレーム予測モードとフィールド予測モードにおける予測誤差の絶対値和を比較し、その値が小さい予測モードに対応する処理を施して、データを演算部５３に出力する。

但し、このような処理は、実際には動きベクトル検出回路５０で行われる。即ち、動きベクトル検出回路５０は、決定されたモードに対応する構成の信号を予測モード切り替え回路５２に出力し、予測モード切り替え回路５２は、その信号を、そのまま後段の演算部５３に出力する。

尚、色差信号は、フレーム予測モードの場合、図１７（Ａ）に示すように、奇数フィールドのラインのデータと偶数フィールドのラインのデータとが混在する状態で、演算部５３に供給される。また、フィールド予測モードの場合、図１７（Ｂ）に示すように、各色差ブロックＣｂ，Ｃｒの上半分（４ライン）が、輝度ブロックＹ［１］，Ｙ［２］に対応する奇数フィールドの色差信号とされ、下半分（４ライン）が、輝度ブロックＹ［３］，Ｙ［４］に対応する偶数フィールドの色差信号とされる。

また、動きベクトル検出回路５０は、次のようにして、予測判定回路５４において、画像内予測、前方予測、後方予測、または両方向予測のいずれの予測を行なうかを決定するための予測誤差の絶対値和を生成する。

即ち、画像内予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Ａijの和ΣＡijの絶対値｜ΣＡij｜と、マクロブロックの信号Ａijの絶対値｜Ａij｜の和Σ｜Ａij｜の差を求める。また、前方予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Ａijと、予測画像のマクロブロックの信号Ｂijの差Ａij−Ｂijの絶対値｜Ａij−Ｂij｜の和Σ｜Ａij−Ｂij｜を求める。また、後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に（その予測画像を前方予測における場合と異なる予測画像に変更して）求める。

これらの絶対値和は、予測判定回路５４に供給される。予測判定回路５４は、前方予測、後方予測および両方向予測の予測誤差の絶対値和のうち、最も小さいものを、インタ予測の予測誤差の絶対値和として選択する。さらに、このインタ予測の予測誤差の絶対値和と、画像内予測の予測誤差の絶対値和とを比較し、その小さい方を選択し、この選択した絶対値和に対応するモードを予測モードとして選択する。即ち、画像内予測の予測誤差の絶対値和の方が小さければ、画像内予測モードが設定される。インタ予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測または両方向予測モードのうち、対応する絶対値和が最も小さかったモードが設定される。

このように、動きベクトル検出回路５０は、参照画像のマクロブロックの信号を、フレームまたはフィールド予測モードのうち、予測モード切り替え回路５２により選択されたモードに対応する構成で、予測モード切り替え回路５２を介して演算部５３に供給するとともに、４つの予測モードのうち、予測判定回路５４により選択された予測モードに対応する予測画像と参照画像の間の動きベクトルを検出し、可変長符号化回路５８と動き補償回路６５に出力する。上述したように、この動きベクトルとしては、対応する予測誤差の絶対値和が最小となるものが選択される。

予測判定回路５４は、動きベクトル検出回路５０が前方原画像部５１ａよりＩピクチャの画像データを読み出しているとき、予測モードとして、フレームまたはフィールド（画像）内予測モード（動き補償を行わないモード）を設定し、演算部５３のスイッチ５３ｄを接点ａ側に切り替える。これにより、Ｉピクチャの画像データがＤＣＴモード切り替え回路５５に入力される。

このＤＣＴモード切り替え回路５５は、図１８（Ａ）または図１８（Ｂ）に示すように、４個の輝度ブロックのデータを、奇数フィールドのラインと偶数フィールドのラインが混在する状態（フレームＤＣＴモード）、または、分離された状態（フィールドＤＣＴモード）、のいずれかの状態にして、ＤＣＴ回路５６に出力する。

即ち、ＤＣＴモード切り替え回路５５は、奇数フィールドと偶数フィールドのデータを混在してＤＣＴ処理した場合における符号化効率と、分離した状態においてＤＣＴ処理した場合の符号化効率とを比較し、符号化効率の良好なモードを選択する。

例えば、入力された信号を、図１８（Ａ）に示すように、奇数フィールドと偶数フィールドのラインが混在する構成とし、上下に隣接する奇数フィールドのラインの信号と偶数フィールドのラインの信号の差を演算し、さらにその絶対値の和（または自乗和）を求める。また、入力された信号を、図１８（Ｂ）に示すように、奇数フィールドと偶数フィールドのラインが分離した構成とし、上下に隣接する奇数フィールドのライン同士の信号の差と、偶数フィールドのライン同士の信号の差を演算し、それぞれの絶対値の和（または自乗和）を求める。さらに、両者（絶対値和）を比較し、小さい値に対応するＤＣＴモードを設定する。即ち、前者の方が小さければ、フレームＤＣＴモードを設定し、後者の方が小さければ、フィールドＤＣＴモードを設定する。

そして、選択したＤＣＴモードに対応する構成のデータをＤＣＴ回路５６に出力するとともに、選択したＤＣＴモードを示すＤＣＴフラグを、可変長符号化回路５８、ＤＣＴブロック並び替え回路６２、および動き補償回路６５に出力する。

予測モード切り替え回路５２における予測モード（図１７）と、このＤＣＴモード切り替え回路５５におけるＤＣＴモード（図１８）を比較して明らかなように、輝度ブロックに関しては、両者の各モードにおけるデータ構造は実質的に同一である。

予測モード切り替え回路５２において、フレーム予測モード（奇数ラインと偶数ラインが混在するモード）が選択された場合、ＤＣＴモード切り替え回路５５においても、フレームＤＣＴモード（奇数ラインと偶数ラインが混在するモード）が選択される可能性が高く、また予測モード切り替え回路５２において、フィールド予測モード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択された場合、ＤＣＴモード切り替え回路５５において、フィールドＤＣＴモード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択される可能性が高い。

しかしながら、必ずしも常にそのようになされるわけではなく、予測モード切り替え回路５２においては、予測誤差の絶対値和が小さくなるようにモードが決定され、ＤＣＴモード切り替え回路５５においては、符号化効率が良好となるようにモードが決定される。

ＤＣＴモード切り替え回路５５より出力されたＩピクチャの画像データは、ＤＣＴ回路５６に入力され、ＤＣＴ（離散コサイン変換）処理され、ＤＣＴ係数に変換される。このＤＣＴ係数は、量子化回路５７に入力され、送信バッファ５９のデータ蓄積量（バッファ蓄積量）に対応した量子化ステップで量子化された後、可変長符号化回路５８に入力される。

可変長符号化回路５８は、量子化回路５７より供給される量子化ステップ（スケール）に対応して、量子化回路５７より供給される画像データ（いまの場合、Ｉピクチャのデータ）を、例えばハフマン符号などの可変長符号に変換し、送信バッファ５９に出力する。

可変長符号化回路５８にはまた、量子化回路５７より量子化ステップ（スケール）、予測判定回路５４より予測モード（画像内予測、前方予測、後方予測、または両方向予測のいずれが設定されたかを示すモード）、動きベクトル検出回路５０より動きベクトル、予測モード切り替え回路５２より予測フラグ（フレーム予測モードまたはフィールド予測モードのいずれが設定されたかを示すフラグ）、およびＤＣＴモード切り替え回路５５が出力するＤＣＴフラグ（フレームＤＣＴモードまたはフィールドＤＣＴモードのいずれが設定されたかを示すフラグ）が入力されており、これらも可変長符号化される。

送信バッファ５９は、入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路５７に出力する。送信バッファ５９は、そのデータ残量が許容上限値まで増量すると、量子化制御信号によって量子化回路５７の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。また、これとは逆に、データ残量が許容下限値まで減少すると、送信バッファ５９は、量子化制御信号によって量子化回路５７の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、送信バッファ５９のオーバフローまたはアンダフローが防止される。

そして、送信バッファ５９に蓄積されたデータは、所定のタイミングで読み出され、伝送路に出力され、例えば記録媒体３に記録される。

一方、量子化回路５７より出力されたＩピクチャのデータは、逆量子化回路６０に入力され、量子化回路５７より供給される量子化ステップに対応して逆量子化される。逆量子化回路６０の出力は、ＩＤＣＴ（逆ＤＣＴ）回路６１に入力され、逆ＤＣＴ処理された後、ＤＣＴブロック並び替え回路６２に入力される。ＤＣＴブロック並び替え回路６２は、入力されたデータを、予測モード切り替え回路５２から供給される予測フラグと、ＤＣＴモード切り替え回路５５から供給されるＤＣＴフラグに対応して、データの並び替えを行う。

即ち、予測モード切り替え回路５２において、フレーム予測モードが設定されている場合、動き補償回路６５から読み出され、演算部５３に供給されるデータは、奇数フィールドのデータと偶数フィールドのデータとが混在する状態となされている。このデータが演算器６３にも供給される。このため、ＤＣＴブロック並び替え回路６２は、ＩＤＣＴ回路６１より供給されるデータを、フレームＤＣＴモードが設定されている場合、そのまま演算器６３に供給し、フィールドＤＣＴモードが設定されている場合、奇数フィールドのデータと偶数フィールドのデータとが分離された状態となされているため、これらが混在する状態にデータを並べ替えて、演算器６３に出力する。

一方、予測モード切り替え回路５２において、フィールド予測モードが設定されている場合、動き補償回路６５より演算部５３に供給されるデータは、奇数フィールドのデータと偶数フィールドのデータとが分離した状態となされている。このため、ＤＣＴブロック並び替え回路５８は、ＤＣＴモード切り替え回路５５によりフィールドＤＣＴモードが設定されている場合、ＩＤＣＴ回路６１より出力されるデータをそのまま演算器６３に供給するが、フレームＤＣＴモードが設定されている場合、奇数フィールドのデータと偶数フィールドのデータとが混在する状態となされているため、これを、それぞれが分離された状態に並べ替えて、演算器６３に出力する。

即ち、ＤＣＴブロック並び替え回路５８は、動き補償回路６５から演算部５３に供給されるデータの配列状態と同一の配列状態になるように、ＩＤＣＴ回路６１の出力するデータの並び替えを実行する。

いまの場合、ＩＤＣＴ回路６１より出力されるデータは、Ｉピクチャのデータであるから、画像内予測とされている。このため、ＤＣＴモード切り替え回路５５がフレームＤＣＴフラグを出力しているとき、ＩＤＣＴ回路６１より出力されたデータは、そのまま演算器６３を介してフレームメモリ６５の前方予測画像部６５ａに供給され、記憶される。また、フィールドＤＣＴフラグが出力されているとき、データの並び替えが行われた後、記憶される。

動きベクトル検出回路５０は、シーケンシャルに入力される各フレームの画像データを、たとえば、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ・・・のピクチャとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをＩピクチャとして処理した後、次に入力されたフレームの画像をＢピクチャとして処理する前に、さらにその次に入力されたフレームの画像データをＰピクチャとして処理する。Ｂピクチャは、後方予測を伴うため、後方予測画像としてのＰピクチャが先に用意されていないと、復号することができないからである。

そこで動きベクトル検出回路５０は、Ｉピクチャの処理の次に、後方原画像部５１ｃに記憶されているＰピクチャの画像データの処理を開始する。そして、上述した場合と同様に、マクロブロック単位でのフレーム間差分（予測誤差）の絶対値和が、動きベクトル検出回路５０から予測モード切り替え回路５２と予測判定回路５４に供給される。予測モード切り替え回路５２と予測判定回路５４は、このＰピクチャのマクロブロックの予測誤差の絶対値和に対応して、フレーム／フィールド予測モード、または画像内予測、前方予測、後方予測、もしくは両方向予測の予測モードを設定する。

演算部５３は、画像内予測モードが設定されたとき、スイッチ５３ｄを上述したように接点ａ側に切り替える。従って、このデータは、Ｉピクチャのデータと同様に、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。また、このデータは、逆量子化回路６０、ＩＤＣＴ回路６１、ＤＣＴブロック並び替え回路６２、演算器６３を介してフレームメモリ６４の後方予測画像部６４ｂに供給され、記憶される。

前方予測モードの時、スイッチ５３ｄが接点ｂに切り替えられるとともに、フレームメモリ６４の前方予測画像部６４ａに記憶されている画像（いまの場合、Ｉピクチャの画像）データが読み出され、動き補償回路６５により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。即ち、動き補償回路６５は、予測判定回路５４より前方予測モードの設定が指令されたとき、前方予測画像部６４ａの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。

動き補償回路６５より出力された予測画像データは、演算器５３ａに供給される。演算器５３ａは、予測モード切り替え回路５２より供給された参照画像のマクロブロックのデータから、動き補償回路６５より供給された、このマクロブロックに対応する予測画像データを減算し、その差分（予測誤差）を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。また、この差分データは、逆量子化回路６０、ＩＤＣＴ回路６１、ＤＣＴブロック並び替え回路６２により局所的に復号され、演算器６３に入力される。

この演算器６３にはまた、演算器５３ａに供給されている予測画像データと同一のデータが供給されている。演算器６３は、ＤＣＴブロック並び替え回路６２が出力する差分データに、動き補償回路６５が出力する予測画像データを加算する。これにより、元の（復号した）Ｐピクチャの画像データが得られる。このＰピクチャの画像データは、フレームメモリ６４の後方予測画像部６４ｂに供給され、記憶される。

動きベクトル検出回路５０は、このように、ＩピクチャとＰピクチャのデータが前方予測画像部６４ａと後方予測画像部６４ｂにそれぞれ記憶された後、次にＢピクチャの処理を実行する。予測モード切り替え回路５２と予測判定回路５４は、マクロブロック単位でのフレーム間差分の絶対値和の大きさに対応して、フレーム／フィールドモードを設定し、また、予測モードを画像内予測モード、前方予測モード、後方予測モード、または両方向予測モードのいずれかに設定する。

上述したように、画像内予測モードまたは前方予測モードの時、スイッチ５３ｄは接点ａまたはｂに切り替えられる。このとき、Ｐピクチャにおける場合と同様の処理が行われ、データが伝送される。

これに対して、後方予測モードまたは両方向予測モードが設定された時、スイッチ５３ｄは、接点ｃまたはｄにそれぞれ切り替えられる。

スイッチ５３ｄが接点ｃに切り替えられている後方予測モードの時、後方予測画像部６４ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路６５により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。即ち、動き補償回路６５は、予測判定回路５４より後方予測モードの設定が指令されたとき、後方予測画像部６４ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。

動き補償回路６５より出力された予測画像データは、演算器５３ｂに供給される。演算器５３ｂは、予測モード切り替え回路５２より供給された参照画像のマクロブロックのデータから、動き補償回路６５より供給された予測画像データを減算し、その差分を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。

スイッチ５３ｄが接点ｄに切り替えられている両方向予測モードの時、前方予測画像部６４ａに記憶されている画像（いまの場合、Ｉピクチャの画像）データと、後方予測画像部６４ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路６５により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。即ち、動き補償回路６５は、予測判定回路５４より両方向予測モードの設定が指令されたとき、前方予測画像部６４ａと後方予測画像部６４ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトル（この場合の動きベクトルは、前方予測画像用と後方予測画像用の２つとなる）に対応する分だけずらしてデータを読み出し、予測画像データを生成する。

動き補償回路６５より出力された予測画像データは、演算器５３ｃに供給される。演算器５３ｃは、動きベクトル検出回路５０より供給された参照画像のマクロブロックのデータから、動き補償回路６５より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。

Ｂピクチャの画像は、他の画像の予測画像とされることがないため、フレームメモリ６４には記憶されない。

尚、フレームメモリ６４において、前方予測画像部６４ａと後方予測画像部６４ｂは、必要に応じてバンク切り替えが行われ、所定の参照画像に対して、一方または他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り替えて出力することができる。

以上においては、輝度ブロックを中心として説明をしたが、色差ブロックについても図１５に示したマクロブロックと同様なマクロブロックを単位として処理され、伝送される。尚、色差ブロックを処理する場合の動きベクトルは、対応する輝度ブロックの動きベクトルを垂直方向と水平方向に、それぞれ１／２にしたものが用いられる。

図１９は、図１４のデコーダ３１の一実施例である復号回路９０の構成を示すブロック図である。伝送路（記録媒体３）を介して伝送された符号化された画像データは、図示せぬ受信回路で受信されたり、再生回路で再生され、受信バッファ８１に一時記憶された後、復号回路９０の可変長復号化回路８２に供給される。可変長復号化回路８２は、受信バッファ８１より供給されたデータを可変長復号化し、動きベクトル、予測モード、予測フラグおよびＤＣＴフラグを動き補償回路８８に、また、量子化ステップ（スケール）を逆量子化回路８３に、それぞれ出力するとともに、復号された画像データを逆量子化回路８３に出力する。さらに、ＤＣＴフラグと予測フラグを、逆量子化回路８３に出力する。

逆量子化回路８３は、可変長復号化回路８２より供給された画像データを、同じく可変長復号化回路８２より供給された量子化ステップに従って逆量子化し、ＩＤＣＴ回路８４に出力する。逆量子化回路８３より出力されたデータ（ＤＣＴ係数）は、ＩＤＣＴ回路８４で、逆ＤＣＴ処理され、元の画像データに戻される。

この画像データは、さらにＤＣＴブロック並び替え回路８６に入力される。ＤＣＴブロック並び替え回路８６は、ＤＣＴフラグと予測フラグに対応して、このデータを、動き補償回路８８が演算部８７に出力するデータと同一の配列状態になるように並び替えを行い、演算器８７に出力する。

ＤＣＴブロック並び替え回路８６より供給された画像データが、Ｉピクチャのデータである場合、そのデータは演算器８６より出力され、演算器８６に後に入力される画像データ（ＰピクチャまたはＢピクチャのデータ）の予測画像データ生成のために、フレームメモリ８７の前方予測画像部８７ａに供給されて記憶される。また、このデータは、フォーマット変換回路３２（図１４）に出力される。

ＩＤＣＴ回路８４より供給された画像データが、その１フレーム前の画像データを予測画像データとするＰピクチャのデータであって、前方予測モードのデータである場合、フレームメモリ８７の前方予測画像部８７ａに記憶されている、１フレーム前の画像データ（Ｉピクチャのデータ）が読み出され、動き補償回路８８で可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施される。そして、演算器８６において、ＤＣＴブロック並べ替え回路８６より供給された画像データ（差分のデータ）と加算され、出力される。この加算されたデータ、即ち、復号されたＰピクチャのデータは、演算器８６に後に入力される画像データ（ＢピクチャまたはＰピクチャのデータ）の予測画像データ生成のために、フレームメモリ８７の後方予測画像部８７ｂに供給されて記憶される。

Ｐピクチャのデータであっても、画像内予測モードのデータは、Ｉピクチャのデータと同様に、演算器８７で特に処理は行わず、そのまま後方予測画像部８７ｂに記憶される。

このＰピクチャは、次のＢピクチャの次に表示されるべき画像であるため、この時点では、まだフォーマット変換回路３２へ出力されない（上述したように、Ｂピクチャの後に入力されたＰピクチャが、Ｂピクチャより先に処理され、伝送されている）。

ＤＣＴブロック並べ替え回路８６より供給された画像データが、Ｂピクチャのデータである場合、可変長復号化回路８２より供給された予測モードに対応して、フレームメモリ８７の前方予測画像部８７ａに記憶されているＩピクチャの画像データ（前方予測モードの場合）、後方予測画像部８７ｂに記憶されているＰピクチャの画像データ（後方予測モードの場合）、または、その両方の画像データ（両方向予測モードの場合）が読み出され、動き補償回路８８において、可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。但し、動き補償を必要としない場合（画像内予測モードの場合）、予測画像は生成されない。

このようにして、動き補償回路８８で動き補償が施されたデータは、演算器８６において、ＤＣＴブロック並べ替え回路８６出力と加算される。この加算出力は、フォーマット変換回路３２に出力される。

但し、この加算出力はＢピクチャのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ８７には記憶されない。

Ｂピクチャの画像が出力された後、後方予測画像部８７ｂに記憶されているＰピクチャの画像データが読み出され、動き補償回路８８、演算器８６を介して、フォーマット変換回路３２に供給される。但し、このとき、動き補償は行われない。

尚、このデコーダ３１には、図１６のエンコーダ１８における予測モード切り替え回路５２とＤＣＴモード切り替え回路５５に対応する回路が図示されていないが、これらの回路に対応する処理、即ち、奇数フィールドと偶数フィールドのラインの信号が分離された構成を、元の混在する構成に必要に応じて戻す処理は、動き補償回路８８が実行する。

また、以上においては、輝度信号の処理について説明をしたが、色差信号の処置についても同様に行われる。但し、動きベクトルは、輝度信号用のものを、垂直方向と水平方向に１／２にしたものが用いられる。

図１４に示す復号化装置のようにポストフィルタ２２を有する場合、ポストフィルタ２２には様々な種類のフィルタが存在するが、どの種類のフィルタが最適であるかは、画質の性質及び符号化時の条件に依存する。

例えば、符号化ビットレートが低い場合には、復号化された画像の劣化が顕著であるため、これを補うために画質を改善するためのフィルタを強くかける必要がある。一方、符号化ビットレートが高い場合、復号化された画像はそのままで高画質を維持しており、低ビットレートの場合と同じフィルタを用いると、それにより画質を劣化させることになるといった問題がある。

また、例えば、低ビットレートの場合のみを考えると、動きの速い画像は符号化効率が悪く、画質に劣化が顕著になるため、画質を改善するためのフィルタを強くかける必要があるが、これを符号化効率の良い画像に用いるとかえって画質を悪化させるという問題がある。

つまり、従来の画像データを符号・復号化する画像信号処理装置では、画質の性質や符号化時の条件に応じて、最適に画像データを圧縮・伸張することができないといった問題がある。

本発明は上記事情に鑑みてなされたものであり、簡単な構成により復号化した画像信号を最適に補正することのできる画像信号符号化装置及び画像信号復号化装置を提供することを目的とする。

本発明の画像信号符号化装置は、画像信号を所定の予測画像信号に基づいて符号化する符号化手段としてのエンコーダ１８を備えた画像信号符号化装置において、エンコーダ１８は、予測画像信号に基づいて画像信号を符号化する際に、画像信号の符号化条件を示す符号化条件フラグを符号化するように構成される。

本発明の画像信号符号化装置は、画像信号をビットストリームの画像情報とし、符号化フラグをビットストリームの前記画像情報のユーザエリア中に存在させ、エンコーダ１８が符号化するビットストリームの画像情報の符号化ビットレートに基づき、符号化フラグを設定するフラグ設定手段としてのポストフィルタ選択回路１４０を備えることができる。

本発明の画像信号復号化装置は、所定の予測画像信号に基づき画像信号を符号化した符号化画像信号を復号化する画像信号復号化装置において、符号化画像信号は、画像信号及び画像信号の符号化条件を示す符号化条件フラグとからなり、符号化条件フラグに基づいて、復号化された画像信号を補正する画像補正手段としてのポストフィルタ２２を具備して構成される。

本発明の画像信号符号化装置では、エンコーダ１８で予測画像信号に基づいて画像信号を符号化する際に画像信号の符号化条件を示す符号化条件フラグを符号化することで、簡単な構成により、画像信号を復号する際に、符号化条件フラグに基づき画像信号を最適に補正することを可能とする。

また、本発明の画像信号符号化装置では、ポストフィルタ選択回路１４０でエンコーダ１８が符号化するビットストリームの画像情報の符号化ビットレートに基づき、符号化フラグを設定することで、画像信号をより最適に補正することを可能とする。

本発明の画像信号復号化装置では、ポストフィルタ２２で画像信号の符号化条件を示す符号化条件フラグに基づいて、復号化された画像信号を補正することで、簡単な構成により、画像信号を復号する際に、符号化条件フラグに基づき画像信号を最適に補正することを可能とする。

本発明の画像信号符号化装置によれば、符号化手段で予測画像信号に基づいて画像信号を符号化する際に画像信号の符号化条件を示す符号化条件フラグを符号化するので、簡単な構成により、画像信号を復号する際に、符号化条件フラグに基づき画像信号を最適に補正することができるという効果がある。

また、本発明の画像信号符号化装置では、フラグ設定手段で符号化手段が符号化するビットストリームの画像情報の符号化ビットレートに基づき、符号化フラグを設定するので、画像信号をより最適に補正することができるという効果がある。

本発明の画像信号復号化装置によれば、画像補正手段で画像信号の符号化条件を示す符号化条件フラグに基づいて、復号化された画像信号を補正することで、簡単な構成により、画像信号を復号する際に、符号化条件フラグに基づき画像信号を最適に補正することができるという効果がある。

図１の第１実施例は、従来例と同一の構成を有しているので、異なる構成のみ説明し、同一構成には同じ符号をつけ説明は省略する。

第１実施例の画像データ符号化装置１及び画像データ復号化装置２は、従来例と、エンコーダ１８、デコーダ３１及びポストフィルタ２２の構成が異なり、本実施例において、図１に示すように、符号化装置１のエンコーダ１８は、画像データであるビットストリームと同時に、プリフィルタ２１の符号化条件を示すＰＳＴフラグを符号化し、ビットストリームと共にＰＳＴフラグを記録媒体３に伝送する。

記録媒体３に符号化されて記憶されたビットストリームとＰＳＴフラグは、復号化装置２のデコーダ３１で復号化され、復号化されたビットストリームは、フォーマット変換回路３２に入力され、ブロックフォーマットからフレームフォーマットに変換される。一方、復号化されたＰＳＴフラグは、ポストフィルタ２２に伝送され、ポストフィルタ２２では、ＰＳＴフラグにより最適フィルタを選択するようになっている。

エンコーダ１８によるＰＳＴフラグの決定は、本実施例では次に示すような方法によりなされる。即ち、外部から強制的にＰＳＴフラグを入力し設定する方法であり、このＰＳＴフラグの決定方法について説明する。

この決定方法を実現するエンコーダ１８の構成を図２に示す。入力されたＰＳＴフラグは、可変長符号化回路５８に入力される。そして可変長符号化回路５８では、従来例と同様にビットストリームを可変長符号化すると共に、入力されたＰＳＴフラグを可変長符号化する。

そして、ＰＳＴフラグは、ビットストリーム中のユーザデータ（user data）としてビットストリームと共に記憶媒体３に記憶される。ＭＰＥＧ，ＭＰＥＧ２方式では、"user data"は、シーケンス、ＧＯＰ、ピクチャヘッダの後に設定可能であるので、ＰＳＴフラグは同様に、シーケンス、ＧＯＰ、ピクチャヘッダ単位で設定可能である。

ここで、表１乃至表４にＭＰＥＧ方式のビデオのシンタクスを示す。表１における"extention and user data(i)"に"extention data"または"user data"が記録される。

表２に表１の"extention and user data(i)"を示す。ここに、"user data start cord"が記載されている場合、次に"user data"が記載されていることを示している。

表３に"user data"を示す。"user data"は、８ビット単位で記録される。例えば、"0000 0000 0000 0000 0000 0001"が発生すると、"user data"が終了することを意味する。

ＰＳＴフラグは、例えば８ビットのフラグとして""user data"に記憶される。表４にＰＳＴフラグを示す。ここで、例えば、フィルタ１、２、…、Ｎはポストフィルタ２２の各種フィルタを示している。

尚、ＰＳＴフラグは、シーケンス、ＧＯＰ、ピクチャヘッダの後に設定可能であるので、次に再設定されるまでその値を用いることが可能であり、即ち、再設定されるまで、同一フィルタが用いられる。

また、ＰＳＴフラグを、シーケンスフラグで設定することも可能であり、この場合の再設定は、シーケンス、ＧＯＰ、ピクチャヘッダの後の"user data"で行うようにしても良い。

記憶媒体３に記憶されたビットストリームは、デコーダ３１で復号化される。このデコーダ３１の構成は、図３に示すように、図１９の従来例で示した復号回路９０と同様に構成されており、ビットストリームが受信バッファ８１を介して復号回路９０の可変長復号化回路８２に入力されると、この可変長復号化回路８２で、可変長符号が解かれる。このとき"user data"に記録されているＰＳＴフラグが復号され、図１に示したポストフィルタ２２に伝送される。その他のデコーダ３１の構成、動作は従来例と同じである。

このように復号化されたＰＳＴフラグによりポストフィルタ２２は、例えば、ポストフィルタ２２の各種フィルタとしてのメディアンフィルタ、ローパスフィルタ等を選択する。尚、メディアンフィルタ、ローパスフィルタはパラメータにより複数種類のフィルタからなるフィルタ群とすることができる。

具体的には、図４に示すように、ポストフィルタ２２は、入力されたＰＳＴフラグに基づいてスイッチ１０１、１０２によりフィルタ１００（１）〜１００（Ｎ）を選択し、ビットストリームとしてフレームメモリ３４，３５に記憶された色差信号Ｃ及び輝度信号Ｙを、選択したフィルタに出力し、選択されたフィルタにより処理された信号をスイッチ１０３、１０４を介してＤ／Ａ変換器３６、３７に出力する。

次に、ポストフィルタ２２のフィルタの一例としてのメディアンフィルタを説明する。メディアンフィルタは、ブロック歪やモスキートノイズを効果的に除去するフィルタである。図５に示すように、フィールドメモリ群１２０に記憶されている、ある画素の周囲、例えば３×３画素を３×３画素抽出回路１２１で取り出し、並べ変え回路１２２で降べき順に並べ変える。このとき、その中央の値、即ち３×３画素の場合、５番目の値をメディアンと呼ぶが、このメディアン値をＭｅｄｉａｎ検出器１２３で検出し、その画素の値としてＤ／Ａ変換器３６、３７に出力する。メディアンを求めるための画素値はフィルタをかける前の画素値を用いる。

尚、上記のメディアンの算出において、ある画素の周囲３×３画素を用いるとしたが、これに限らず、メディアンを求める画素群はどのように設定しても良い。そして、このメディアンを求める画素群を変えることにより、フィルタの効果を変えることができる。

例えば全ての画素について３×３画素のメディアンをとるメディアンフィルタをかけた場合、ブロック歪等は除去できるが、全体にぼけた画像となる強いフィルタとなる（フィルタ１）。

これに対して、ブロックエッジのみに３×３画素のメディアンをとるメディアンフィルタをかけた場合、ブロック歪を除去すると共に、フィルタ１に比べ高周波成分を維持することができる（フィルタ２）。

また、１次元のメディアンフィルタをかけることができ、この場合フィルタ１、２と比べると、ブロック歪除去の効率は落ちるが、高周波成分を多少維持することができる（フィルタ３）。

このようなフィルタ１、２、３をＰＳＴフラグにより切り換えて最適フィルタを選択する。

このように第１実施例の画像データ符号化・復号化装置によれば、入力されたＰＳＴフラグに基づいて、ポストフィルタ２２でスイッチ１０１、１０２を切り換えることで、最適フィルタを選択することができる。

次に第２実施例ついて説明する。第２実施例は、第１実施例とほとんど同じであり、異なる点はＰＳＴフラグの設定方法が符号化時に発生する各種パラメータに基づいて設定する点であり、その他の構成は第１実施例と同じであるので、異なる構成のみ説明し、同一構成には同じ符号をつけ説明は省略する。

第２実施例のエンコーダ１８におけるＰＳＴフラグ決定方法では、図６に示すように、ポストフィルタ選択回路１４０が、可変長符号化器回路５８に入力される各種パラメータ及びビットカウンタから出力される発生ビット量（符号化パラメータ）に応じて後処理に用いるフィルタを決定する。ポストフィルタ選択回路１４０は、また、使用するポストフィルタを示すＰＳＴフラグを可変長符号化回路５８に出力する。尚、可変長符号化回路５８は、第１実施例と同様にＰＳＴフラグを可変長符号化する。

次に、エンコーダ１８によるＰＳＴフラグの決定方法の１例を説明する。ポストフィルタ２２を特に必要とする場合は、低ビットレートで、かつ符号化効率の悪い場合である。この場合、ブロック歪やモスキートノイズ等が顕著に現れ、画像の劣化が激しくなる。このような画像の劣化を目だたなくなるような後処理が必要となる。一方、高ビットレートで符号化した、符号化効率の良い画像は、復号化されたままで、高画質を維持しているので、過度な後処理を行うことはかえって画質の劣化を引き起こすことになる。

従って、符号化ビットレートが低いほど、ブロック歪等を除去する強いフィルタが必要であり、また符号化効率の悪いシーケンスほど強いフィルタをかける必要がある。

これらを表す符号化パラメータとしては、量子化係数が存在する。この量子化係数は、符号化ビットレートが高くなるほど小さな値をとり、また、符号化効率が良いシーケンスほど小さい値をとる。つまり、この量子化係数の大きさに従って、ＰＳＴフラグを適応的に切り換えれば良いことになる。

量子化係数（quantizer scale code）は、ＭＰＥＧ方式の場合、マクロブロック単位で設定される。マクロブロックシンタクスを表５に示す。

まず、１フレーム符号化した後、１フレーム中の量子化係数の平均値ＭＥＡＮ＿Ｑを求める。ＰＳＴフラグが表４のように、ＰＳＴフラグの値が大きいほど強いフィルタに対応している場合、ＭＥＡＮ＿Ｑが大きいほど大きなＰＳＴフラグを割り当てる。ＭＥＡＮ＿ＱとＰＳＴフラグの関係は、図７（Ａ）に示すように、線形関係であっても、図７（Ｂ）に示す階段状の関係であっても良い（図７（Ｂ）はポストフィルタが頻繁に変化しないような制御方式である）。

尚、ＭＥＡＮ＿ＱとＰＳＴフラグの関係は、図７（Ａ）と（Ｂ）のどちらか一方を用いて構成され、符号化装置側と復号化装置側で同一の関係を有するものとする。

具体的には、図８に示すように、ポストフィルタ選択回路１４０では、量子化スケール（量子化係数）が入力されると、平均回路１５０で１フレーム毎にＭＥＡＮ＿Ｑが算出される。そして、ＰＳＴ決定回路１５１でＭＥＡＮ＿Ｑに基づいてＰＳＴフラグを決定し、可変長符号化回路５８に出力する。その他の構成、作用は第１実施例と同じである。

また、上記の量子化係数を用いる方式の変形として、符号化ビットレートのみを用いる方法があり、この場合、シーケンスヘッダの後でＰＳＴフラグが設定される。

以上説明したように、第２実施例は、第１実施例の効果に加え、ＰＳＴフラグの設定を符号化時に発生する各種パラメータに基づいて行っているので、符号化内容に応じた最適なＰＳＴフラグが設定でき、より最適フィルタを選択することができる。

次に第３実施例ついて説明する。第３実施例は、第２実施例とほとんど同じであり、異なる点はポストフィルタを選択するポストフィルタ選択回路１４０を復号化装置側に設けた点であり、その他の構成は第２実施例と同じであるので、異なる構成のみ説明し、同一構成には同じ符号をつけ説明は省略する。

図９に示すように、第３実施例では、第２実施例で符号化装置１のエンコーダ１８に設けたポストフィルタ選択回路１４０を復号化装置２内に設けて構成している。

第３実施例のデコーダ３１は、図１０に示すように、図１９の従来例で示した復号回路９０と同様に構成されており、ビットストリームが受信バッファ８１を介して復号回路９０の可変長復号化回路８２に入力されると、この可変長復号化回路８２で、可変長符号が解かれる。このとき符号化パラメータとしての量子化係数が復号化され、ポストフィルタ２２に伝送される。その他の構成、作用及び効果が第２実施例と同じである。

本発明の画像データ符号化・復号化装置の第１実施例の構成を示すブロック図である。 図１のエンコーダ１８の構成を示すブロック図である。 図１のデコーダ３１としての復号回路９０の構成を示すブロック図である。 図１のポストフィルタ２２の構成を示すブロック図である。 図４のポストフィルタ２２のフィルタ例としてのメディアンフィルタの構成を示すブロック図である。 本発明の第２実施例のエンコーダ１８の構成を示すブロック図である。 図６のポストフィルタ選択回路１４０の作用を説明する説明図である。 図６のポストフィルタ選択回路１４０の構成を示すブロック図である。 本発明の画像データ符号化・復号化装置の第３実施例の構成を示すブロック図である。 図９のデコーダ３１としての復号回路９０の構成を示すブロック図である。 高能率符号化の原理を説明する図である。 画像データを圧縮する場合におけるピクチャのタイプを説明する図である。 動画像信号を符号化する原理を説明する図である。 画像信号符号化装置と復号化装置の構成例を示すブロック図である。 図１４におけるフォーマット変換回路１７のフォーマット変換の動作を説明する図である。 図１４におけるエンコーダ１８の構成例を示すブロック図である。 図１６の予測モード切り替え回路５２の動作を説明する図である。 図１６のＤＣＴモード切り替え回路５５の動作を説明する図である。 図１４のデコーダ３１の１例である復号回路９０の構成例を示すブロック図である。

符号の説明

， １ 符号化装置， ２ 復号化装置， ３ 記録媒体， １２，１３ Ａ／Ｄ変換器， １４ フレームメモリ， １５ 輝度信号フレームメモリ， １６ 色差信号フレームメモリ， １７ フォーマット変換回路， １８ エンコーダ， ２１ プリフィルタ， ２２ ポストフィルタ， ３１ デコーダ， ３２ フォーマット変換回路， ３３ フレームメモリ， ３４ 輝度信号フレームメモリ， ３５ 色差信号フレームメモリ， ３６，３７ Ｄ／Ａ変換器， ４９ ピクチャ判定回路， ５０ 動きベクトル検出回路， ５１ フレームメモリ， ５２ 予測モード切り替え回路， ５３ 演算部， ５４ 予測判定回路， ５５ ＤＣＴモード切り替え回路， ５６ ＤＣＴ回路， ５７ 量子化回路， ５８ 可変長符号化回路， ５９ 送信バッファ， ６０ 逆量子化回路， ６１ ＩＤＣＴ回路， ６３ 演算器， ６４ フレームメモリ， ６５ 動き補償回路， ８１ 受信バッファ， ８２ 可変長復号化回路， ８３ 逆量子化回路， ８４ ＩＤＣＴ回路， ８６ 演算器， ８７ フレームメモリ， ８８ 動き補償回路，１００（１）〜１００（Ｎ） フィルタ１〜フィルタＮ，１０１、１０２ スイッチ，１２１ ３×３画素抽出回路，１２２ 並べ変え回路，１２３ Ｍｅｄｉａｎ検出回路，１４０ ポストフィルタ検出回路，１５０ 平均回路，１５１ ＰＳＴ決定回路

Claims (8)

1. 画像信号を所定の予測画像信号に基づいて符号化する符号化手段を備えた画像信号符号化装置において、
   前記符号化手段は、前記予測画像信号に基づいて前記画像信号を符号化する際に、前記画像信号の符号化条件を示す符号化条件フラグを符号化する
   ことを特徴とする画像信号符号化装置。
2. 前記画像信号は、ビットストリームの画像情報であり、
   前記符号化フラグは、ビットストリームの前記画像情報のユーザエリア中に存在する
   ことを特徴とする請求項１に記載の画像信号符号化装置。
3. 前記符号化手段が符号化するビットストリームの前記画像情報の符号化ビットレートに基づき、前記符号化フラグを設定するフラグ設定手段をさらに備えた
   ことを特徴とする請求項２に記載の画像信号符号化装置。
4. 所定の予測画像信号に基づき画像信号を符号化した符号化画像信号を復号化する画像信号復号化装置において、
   前記符号化画像信号は、前記画像信号及び前記画像信号の符号化条件を示す符号化条件フラグとからなり、
   前記符号化条件フラグに基づいて、復号化された前記画像信号を補正する画像補正手段を具備した
   ことを特徴とする画像信号復号化装置。
5. 前記画像信号は、ビットストリームの画像情報であり、
   前記符号化フラグは、前記画像情報のユーザエリア中に存在する
   ことを特徴とする請求項４に記載の画像信号復号化装置。
6. 前記符号化フラグは、符号化されたビットストリームの前記画像情報の符号化ビットレートに基づき設定される
   ことを特徴とする請求項５に記載の画像信号復号化装置。
7. 前記画像補正手段は、複数のフィルタからなり、前記フラグに基づいて複数の前記フィルタを選択して前記画像信号を補正する
   ことを特徴とする請求項４乃至６のいずれか１つに記載の画像信号復号化装置。
8. 前記フィルタは、メディアンフィルタである
   ことを特徴とする請求項４乃至７のいずれか１つに記載の画像信号復号化装置。

Images