JP2004304846A - 画像符号化方法及び装置 - Google Patents

Abstract

【課題】 符号化効率の面から最適なフレーム／フィールド予測モードの判断及びフレーム／フィールドＤＣＴモードの判断を実現する。
【解決手段】 画像信号をフレーム単位でブロック化してＤＣＴを行うフレームＤＣＴ回路２００と、画像信号をフィールド単位でブロック化してＤＣＴを行うフィールドＤＣＴ回路２０１と、フレームＤＣＴ回路２００，フィールドＤＣＴ回路２０１で生成したＤＣＴ係数の情報量に基づいてフレーム／フィールドでのＤＣＴ係数のいずれかを選択するフレーム／フィールドＤＣＴモード切り換え回路２５５とを有する。
【選択図】 図１

Description

本発明は、光ディスクや磁気テープなどの蓄積系動画像メディアを用いた情報記録装置、または、例えばいわゆるテレビ会議システム、動画電話システム、放送用機器などの情報伝送装置などに好適な解像度可変の画像符号化方法及び装置に関するものである。

従来、例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送する画像信号伝送システムにおいては、伝送路を効率良く利用するため、画像信号のライン相関やフレーム間相関を利用して、画像信号を符号化し、これにより有意情報の伝送効率を高めるように（圧縮）なされている。

上記ライン相関を利用する場合には、画像信号を、例えばＤＣＴ（離散コサイン変換）処理するなどして圧縮することができる。例えば、フレーム内符号化処理は、画像信号の上記ライン相関を利用するもので、図５のＡに示すように、時刻ｔ＝ｔ１，ｔ２，ｔ３において動画を構成する各画像ＰＣ１，ＰＣ２，ＰＣ３を伝送しようとする場合に、伝送処理すべき画像データを同一走査線内で１次元符号化して伝送するものである。

また、フレーム間相関を利用すると、画像信号をさらに圧縮して符号化することが可能となる。例えば図５のＡに示すように、時刻ｔ＝ｔ１，ｔ２，ｔ３において、フレーム画像ＰＣ１，ＰＣ２，ＰＣ３がそれぞれ発生しているとき、フレーム画像ＰＣ１とＰＣ２の画像信号の差を演算して、図５のＢに示すように画像ＰＣ１２を生成し、また、図５のＡのフレーム画像ＰＣ２とＰＣ３の差を演算して、図５のＢの画像ＰＣ２３を生成する。通常、時間的に隣接するフレームの画像は、それ程大きな変化を有していないため、両者の差を演算すると、その差分信号は小さな値のものとなる。すなわち、図５のＢに示す画像ＰＣ１２においては、図５のＡのフレーム画像ＰＣ１とＰＣ２の画像信号の差として、図５のＢの画像ＰＣ１２の図中斜線で示す部分の信号が得られ、また、図５のＢに示す画像ＰＣ２３においては、図５のＡのフレーム画像ＰＣ２とＰＣ３の画像信号の差として、図５のＢの画像ＰＣ２３の図中斜線で示す部分の信号が得られる。そこで、この差分信号を符号化すれば、符号量を圧縮することができる。

上述のような画像信号を伝送するシステムによれば、画像ＰＣ１、ＰＣ２、ＰＣ３、・・・の全ての画像データを伝送する場合と比較して、格段にデータ量の少ないディジタルデータに高能率符号化でき、これを伝送路に送出し得るようになる。

上述したような画像データの伝送においては、具体的には補間フレームの画像情報を送信側において形成して受信側に伝送する。すなわち、図６のＡに示すように、伝送しようとする動画像信号ＶＤの第０番目、第１番目、第２番目、第３番目、・・・のフレームのフレームデータＦ０，Ｆ１，Ｆ２，Ｆ３，・・・において、順次これらフレーム間に動きベクトルＸ０，Ｘ１，Ｘ２，Ｘ３，・・・でそれぞれ表されるような画像の変化があった場合、送信側は所定フレーム数（例えば１フレーム）おきの、すなわち第２番目、第４番目、・・・のフレームを補間フレームに指定して補間フレーム処理（差分処理）を実行する。

そして、これにより、図６のＢに示すような伝送補間フレームデータ（差分データ）Ｆ２Ｘ，Ｆ４Ｘ，・・・を成し、この伝送補間フレームデータ（差分データ）Ｆ２Ｘ，Ｆ４Ｘ，・・・を、残る非補間フレーム（フレーム内符号化）である第１番目、第３番目、第５番目の非補間フレームデータＦ１Ｘ，Ｆ３Ｘ，Ｆ５Ｘ，・・・と、動きベクトルＸ０，Ｘ１，Ｘ２，Ｘ３，・・・のデータと共に、伝送データＤＡＴＡとして受信側に伝送する。

画像の予測（補間）方法に関して、さらに具体的な説明を図７を用いて行う。

画像は、図７のＡに示すように、複数枚の画像データによるグループオブピクチャ（Group of Picture) 単位で予測が行われる。ここで、上記画像には、Ｉピクチャ（イントラ符号化画像：Intra-coded picture)、Ｐピクチャ（前方予測符号化画像： Perdictive-coded picture)、Ｂピクチャ（両方向予測符号化画像：Bidirectionally-coded picture)の３種類のピクチャがある。

先ず、Ｉピクチャは、画像内符号化画像と呼ばれ、他の画像からの補間に依存せず、画像データそのものが空間的に単独で圧縮符号化されて伝送される。Ｐピクチャは、図７のＡに示すように符号化する順番における過去の画像から予測される画像であり、過去の画像からの差分を符号化したデータが符号化データとして伝送される。さらに、Ｂピクチャは、図７のＢに示すように、符号化する順番における過去と未来の２枚の画像から、予測される画像である。

次に、図８は、動画像信号を符号化して伝送し、これを復号化する装置の構成例を示している。動画像符号化装置１は、入力された映像信号ＶＤを符号化し、伝送路としての記録媒体３に伝送して記録するようになされている。そして、復号化装置２は、記録媒体３に記録された信号を再生し、これを復号して出力するようになされている。

先ず、符号化装置１においては、入力端子１０を介して入力された映像信号ＶＤが前処理回路１１に入力され、そこで輝度信号と色信号（この例の場合、色差信号）が分離され、それぞれＡ／Ｄ変換器１２，１３でＡ／Ｄ変換される。Ａ／Ｄ変換器１２，１３によりＡ／Ｄ変換されて例えば８ビットのディジタル信号となった映像信号は、フレームメモリ１４に供給され、記憶される。このフレームメモリ１４では、ディジタル輝度信号を輝度信号フレームメモリ１５に、また、ディジタル色差信号を色差信号フレームメモリ１６に、それぞれ記憶させる。

フォーマット変換回路１７は、フレームメモリ１４に記憶されたフレームフォーマットの信号を、ブロックフォーマットの信号に変換する。

すなわち、図９の（Ａ）に示すように、フレームメモリ１４に記憶された映像信号は、１ライン当りＨドットのラインがＶライン集められたフレームフォーマットのデータとされている。フォーマット変換回路１７は、この１フレームの信号を、１６ラインを単位としてＮ個のスライスに区分する。そして、各スライスは、図９の（Ｂ）に示すように、Ｍ個のマクロブロックに分割される。各マクロブロックは、図９の（Ｃ）に示すように、１６×１６個の画素（ドット）に対応する輝度信号により構成され、この輝度信号は、図９の（Ｃ）に示すように、さらに８×８ドットを単位とする微小ブロックＹ［１］乃至Ｙ［４］に区分される。そして、この１６×１６ドットの輝度信号には、８×８ドットのＣｂ信号と、８×８ドットのＣｒ信号が対応される。

ここで、上述のスライス内の画像データの配列は、マクロブロック単位で画像データが連続するようになされており、このマクロブロック内ではラスタ走査の順で微小ブロック単位で画像データが連続するようになされている。また、上記マクロブロックには、後述するように、予測に対するブロック化モードと、ＤＣＴに対する符号化モードがある。

なお、上記マクロブロックは、輝度信号に対して、水平及び垂直走査方向に連続する１６×１６画素の画像データ（Ｙ１〜Ｙ４）を１つの単位とするのに対し、これに対応する２つの色差信号においては、データ量が低減処理された後、時間軸多重化処理され、それぞれ１つの微小ブロックＣｒ，Ｃｂに１６×１６画素分のデータが割り当てられている。

このように、ブロックフォーマットに変換されたデータは、フォーマット変換回路１７からエンコーダ１８に供給され、ここでエンコード（符号化）が行われる。その詳細については、図１０を参照して後述する。

エンコーダ１８によりエンコードされた信号は、ビットストリームとして伝送路に出力され、例えば記録媒体３に記録される。

記録媒体３より再生されたデータは、復号化装置２のデコーダ３１に供給され、デコードされる。デコーダ３１の詳細については、図１４を参照して後述する。

デコーダ３１によりデコードされたデータは、フォーマット変換回路３２に入力され、上記ブロックフォーマットからフレームフォーマットに変換される。そして、フレームフォーマットの輝度信号は、フレームメモリ３３の輝度信号フレームメモリ３４に供給され、記憶され、色差信号は色差信号フレームメモリ３５に供給され、記憶される。輝度信号フレームメモリ３４と色差信号フレームメモリ３５より読み出された輝度信号と色差信号は、Ｄ／Ａ変換器３６と３７によりそれぞれＤ／Ａ変換され、後処理回路３８に供給され、合成される。この出力映像信号は、出力端子３０から図示せぬ例えばＣＲＴなどのディスプレイに出力され、表示される。

次に図１０を参照して、エンコーダ１８の構成例について説明する。

入力端子４９を介して供給された符号化されるべき画像データは、マクロブロック単位で動きベクトル検出回路５０に入力される。動きベクトル検出回路５０は、予め設定されている所定のシーケンスに従って、各フレームの画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして処理する。シーケンシャルに入力される各フレームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するかは、予め定められている（例えば、図７に示したように、フレームＦ１乃至Ｆ１７により構成されるグループオブピクチャが、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理される）。

Ｉピクチャとして処理されるフレーム（例えばフレームＦ１）の画像データは、動きベクトル検出回路５０からフレームメモリ５１の前方原画像部５１ａに転送、記憶され、Ｂピクチャとして処理されるフレーム（例えばフレームＦ２）の画像データは、原画像部（参照原画像部）５１ｂに転送、記憶され、Ｐピクチャとして処理されるフレーム（例えばフレームＦ３）の画像データは、後方原画像部５１ｃに転送、記憶される。

また、次のタイミングにおいて、さらにＢピクチャ（例えば前記フレームＦ４）またはＰピクチャ（前記フレームＦ５）として処理すべきフレームの画像が入力されたとき、それまで後方原画像部５１ｃに記憶されていた最初のＰピクチャ（フレームＦ３）の画像データが、前方原画像部５１ａに転送され、次のＢピクチャ（フレームＦ４）の画像データが、原画像部５１ｂに記憶（上書き）され、次のＰピクチャ（フレームＦ５）の画像データが、後方原画像部５１ｃに記憶（上書き）される。このような動作が順次繰り返される。

フレームメモリ５１に記憶された各ピクチャの信号は、そこから読み出され、予測モード切り換え回路５２において、フレーム予測モード処理、またはフィールド予測モード処理が行なわれる。さらにまた予測判定回路５４の制御の下に、演算部５３において、画像内予測、前方予測、後方予測、または両方向予測の演算が行なわれる。これらの処理のうち、いずれの処理を行なうかは、予測誤差信号（処理の対象とされている参照画像と、これに対する予測画像との差分）に対応して決定される。このため、動きベクトル検出回路５０は、この判定に用いられる予測誤差信号の絶対値和（自乗和でもよい）を生成する。

ここで、予測モード切り換え回路５２におけるフレーム予測モードとフィールド予測モードについて説明する。

フレーム予測モードが設定された場合においては、予測モード切り換え回路５２は、動きベクトル検出回路５０より供給される図１１のＡに示す４個の輝度ブロックＹ［１］乃至Ｙ［４］を、そのまま後段の演算部５３に出力する。即ち、この場合において、動きベクトル検出回路５０からの信号は、図１１のＡに示すように、各輝度ブロックに奇数フィールドのラインのデータと、偶数フィールドのラインのデータとが混在した状態となっている。なお、図１１の各マクロブロック中の実線は奇数フィールド（第１フィールドのライン）のラインのデータを、破線は偶数フィールド（第２フィールドのライン）のラインのデータを示し、図１１の図中ａ及びｂは動き補償の単位を示している。このフレーム予測モードにおいては、４個の輝度ブロック（マクロブロック）を単位として予測が行われ、４個の輝度ブロックに対して１個の動きベクトルが対応される。

これに対して、予測モード切り換え回路５２は、フィールド予測モードが設定された場合、図１１のＡに示す構成で動きベクトル検出回路５０より入力される信号を、図１１のＢに示すように、４個の輝度ブロックのうち、輝度ブロックＹ［１］とＹ［２］を、例えば奇数フィールドのラインのドットによりのみ構成させ、他の２個の輝度ブロックＹ［３］とＹ［４］を、偶数フィールドのラインのデータにより構成させて、演算部５３に出力する。この場合においては、２個の輝度ブロックＹ［１］とＹ［２］に対して、１個の動きベクトルが対応され、他の２個の輝度ブロックＹ［３］とＹ［４］に対して、他の１個の動きベクトルが対応される。

図１０の構成に即して説明すると、動きベクトル検出回路５０は、画像内符号化の評価値と、フレーム予測モードにおける前方向，後方向及び両方向予測の各予測誤差の絶対値和と、フィールド予測モードにおける前方向，後方向及び両方向予測の各予測誤差の絶対値和を、予測判定回路５４に出力する。予測判定回路５４は、画像内符号化の評価値及び各予測誤差の絶対値和を比較し、その値が最も小さい予測モードに対応するフィールド予測モード又はフレーム予測モードを予測モード切り換え回路５２に指示する。予測モード切り換え回路５２は、入力信号に上述した処理を施して、データを演算部５３に出力する。

尚、色差信号は、フレーム予測モードの場合、図１１のＡに示すように、奇数フィールドのラインのデータと偶数フィールドのラインのデータとが混在する状態で、演算部５３に供給される。また、フィールド予測モードの場合、図１１のＢに示すように、各色差ブロックＣｂ，Ｃｒの上半分（４ライン）が、輝度ブロックＹ［１］，Ｙ［２］に対応する奇数フィールドの色差信号とされ、下半分（４ライン）が、輝度ブロックＹ［３］，Ｙ［４］に対応する偶数フィールドの色差信号とされる。

また、動きベクトル検出回路５０は、次のようにして、予測判定回路５４において、画像内符号化、前方予測、後方予測、または両方向予測のいずれの予測を行なうか及びフレーム予測又はフィールド予測のいずれを行うかを決定するための予測誤差の絶対値和を生成する。

即ち、画像内符号化の予測誤差の絶対値和に相当する評価値として、これから符号化される参照画像のマクロブロックの信号Ａijとその平均値との差の絶対値和Σ｜Ａij−（Ａijの平均値）｜を求める。また、前方予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Ａijと、予測画像のマクロブロックの信号Ｂijの差（Ａij−Ｂij）の絶対値｜Ａij−Ｂij｜の和Σ｜Ａij−Ｂij｜を求める。また、後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に（その予測画像を前方予測における場合と異なる予測画像に変更して）求める。また、予測誤差の絶対値和は、フレーム予測モード，フィールド予測モードの両方について求められる。

これらの絶対値和は、予測判定回路５４に供給される。予測判定回路５４は、フレーム予測モード，フィールド予測モード各々の前方予測、後方予測及び両方向予測の予測誤差の絶対値和のうち、最も小さいものを、インター(inter) 予測の予測誤差の絶対値和として選択する。さらに、このインター予測の予測誤差の絶対値和と、画像内符号化の評価値とを比較し、その小さい方を選択し、この選択した値に対応するモードを予測モードとして選択する。即ち、画像内符号化の評価値の方が小さければ、画像内符号化モードが設定される。インター予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測または両方向予測モードのうち、対応する絶対値和が最も小さかったモードが設定される。

このように、予測モード切り換え回路５２は、参照画像のマクロブロックの信号を、フレームまたはフィールド予測モードのうち、予測判定回路５４により選択されたモードに対応する図１１で示したような構成で、演算部５３に供給する。動きベクトル検出回路５０は、予測判定回路５４により選択されたモードに対応する予測画像と参照画像との間の動きベクトルを、後述する可変長符号化回路５８と動き補償回路６４に出力する。なお、この動きベクトルとしては、対応する予測誤差の絶対値和が最小となるものが選択される。

予測判定回路５４は、動きベクトル検出回路５０が前方原画像部５１ａよりＩピクチャの画像データを読み出しているとき、予測モードとして、画像内符号化モード（動き補償を行わないモード）を設定し、演算部５３のスイッチ５３ｄを接点ａ側に切り換える。これにより、Ｉピクチャの画像データがＤＣＴモード切り換え回路５５に入力される。

このＤＣＴモード切り換え回路５５は、図１２のＡまたはＢに示すように、４個の輝度ブロックのデータを、奇数フィールドのラインと偶数フィールドのラインが混在する状態（フレームＤＣＴモード）、または、分離された状態（フィールドＤＣＴモード）、のいずれかの状態にして、ＤＣＴ回路５６に出力する。

即ち、ＤＣＴモード切り換え回路５５は、奇数フィールドと偶数フィールドのデータを混在してＤＣＴ処理した場合における符号化効率と、分離した状態においてＤＣＴ処理した場合の符号化効率とを比較し、符号化効率の良好なモードを選択する。

例えば、入力された信号を、図１２のＡに示すように、奇数フィールドと偶数フィールドのラインが混在する構成とし、上下に隣接する奇数フィールドのラインの信号と偶数フィールドのラインの信号の差を演算し、さらにその絶対値の和（または自乗和）を求める。また、入力された信号を、図１２のＢに示すように、奇数フィールドと偶数フィールドのラインが分離した構成とし、上下に隣接する奇数フィールドのライン同士の信号の差と、偶数フィールドのライン同士の信号の差を演算し、それぞれの絶対値の和（または自乗和）を求める。さらに、両者（絶対値和）を比較し、小さい値に対応するＤＣＴモードを設定する。例えば、前者の方が小さければ、フレームＤＣＴモードを設定し、後者の方が小さければ、フィールドＤＣＴモードを設定する。

すなわち、上記フレーム／フィールドＤＣＴモードのモード決定法のアルゴリズムは、次のように示すことができる。なお、O(pix,line) は、１６×１６のマクロブロックの画素を示す。

例えば、
var1 = var2 = 0;
for (pix=0 ; pix<16 ; pix++)｛
for (line=0 ; line<16-2 ； line +=2)｛
dif1 = O(pix,line) - O(pix,line+1);
dif2 = O(pix,line+2) - O(pix,line+3);
var1 += (dif1*dif1) + (dif2*dif2);
dif1 = O(pix,line) - O(pix,line+2);
dif2 = O(pix,line+1) - O(pix,line+3);
var2 += (dif1*dif1) + (dif2*dif2);
｝
｝
となる場合には、フィールドＤＣＴモードが用いられる。

そして、
if ( var1 <= var2 )
FrameModeCoding
else
FieldModeCoding
となる。

また、上記ＤＣＴのモード判断を行う具体的な構成としては、例えば図１３に示すような構成を例に挙げることができる。すなわち、このモード判断の構成において、図１３のａに示すように、フレームでブロック化された１６×１６画素の輝度ブロックに対して、各ライン間の差分を各差分器１６０で計算し、これを対応する２乗回路１６１で２乗し、さらに加算回路１６２で累積加算する。これによって、フレームＤＣＴモード相関を示す値Ｖａｒ１が計算される。一方、図１３のｂに示すように、フィールドでブロック化された２個の１６×８画素の輝度ブロックに４対して、それぞれのフィールド毎に各ライン間の差分を各差分器１７０で計算し、これを対応する２状回路１７１で２乗し、さらに累積加算回路１７２で累積加算する。これによって、フィールドＤＣＴモード相関を示す値Ｖａｒ２が計算される。基本的には、相関が低い場合ほど、上記Ｖａｒ１，Ｖａｒ２の値が大きくなる。このため、上記Ｖａｒ１，Ｖａｒ２の値を比較回路１６５で比較し、この値が小さいほうをＤＣＴのブロック化のモードとして採用する。

図１０に戻って、上記ＤＣＴモード切り換え回路５５は、上述したようにして選択したＤＣＴモードに対応する構成のデータをＤＣＴ回路５６に出力するとともに、選択したＤＣＴモードを示すＤＣＴフラグを、可変長符号化回路５８と動き補償回路６４に出力する。

なお、予測モード切り換え回路５２における予測モード（図１１参照）と、上記ＤＣＴモード切り換え回路５５におけるＤＣＴモード（図１１参照）を比較して明らかなように、輝度ブロックに関しては、両者の各モードにおけるデータ構造は実質的に同一である。

また、予測モード切り換え回路５２において、フレーム予測モード（奇数ラインと偶数ラインが混在するモード）が選択された場合、ＤＣＴモード切り換え回路５５においても、フレームＤＣＴモード（奇数ラインと偶数ラインが混在するモード）が選択される可能性が高く、また予測モード切り換え回路５２において、フィールド予測モード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択された場合、ＤＣＴモード切り換え回路５５において、フィールドＤＣＴモード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択される可能性が高い。

しかしながら、必ずしも常にそのようになされるわけではなく、予測モード切り換え回路５２においては、予測誤差の絶対値和が小さくなるようにモードが決定され、ＤＣＴモード切り換え回路５５においては、符号化効率が良好となるようにモードが決定される。

ＤＣＴモード切り換え回路５５より出力された例えばＩピクチャの画像データは、ＤＣＴ回路５６に入力され、ＤＣＴ（離散コサイン変換）処理され、ＤＣＴ係数に変換される。このＤＣＴ係数は、量子化回路５７に入力され、送信バッファ５９のデータ蓄積量（バッファ蓄積量）に対応した量子化ステップで量子化された後、可変長符号化回路５８に入力される。

可変長符号化回路５８は、量子化回路５７より供給される量子化ステップ（スケール）に対応して、量子化回路５７より供給される画像データ（いまの場合、Ｉピクチャのデータ）を、例えばハフマン(Huffman) 符号などの可変長符号に変換し、送信バッファ５９に出力する。

可変長符号化回路５８にはまた、量子化回路５７より量子化ステップ（スケール）、予測判定回路５４より予測モード（画像内予測、前方予測、後方予測、または両方向予測のいずれが設定されたかを示すモード）、動きベクトル検出回路５０より動きベクトル、予測モード切り換え回路５２より予測フラグ（フレーム予測モードまたはフィールド予測モードのいずれが設定されたかを示すフラグ）、及びＤＣＴモード切り換え回路５５が出力するＤＣＴフラグ（フレームＤＣＴモードまたはフィールドＤＣＴモードのいずれが設定されたかを示すフラグ）が入力されており、これらも可変長符号化される。

送信バッファ５９は、入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路５７に出力する。

送信バッファ５９は、そのデータ残量が許容上限値まで増量すると、量子化制御信号によって量子化回路５７の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。また、これとは逆に、データ残量が許容下限値まで減少すると、送信バッファ５９は、量子化制御信号によって量子化回路５７の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、送信バッファ５９のオーバフローまたはアンダフローが防止される。

そして、送信バッファ５９に蓄積されたデータは、所定のタイミングで読み出され、出力端子６９を介して伝送路に出力され、例えば記録媒体３に記録される。

一方、量子化回路５７より出力されたＩピクチャのデータは、逆量子化回路６０に入力され、量子化回路５７より供給される量子化ステップに対応して逆量子化される。逆量子化回路６０の出力は、ＩＤＣＴ（逆ＤＣＴ）回路６１に入力され、逆ＤＣＴ処理された後、演算器６２を介してフレームメモリ６３の前方予測画像部６３ａに供給され、記憶される。

ところで動きベクトル検出回路５０は、シーケンシャルに入力される各フレームの画像データを、たとえば、前述したようにＩ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ・・・のピクチャとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをＩピクチャとして処理した後、次に入力されたフレームの画像をＢピクチャとして処理する前に、さらにその次に入力されたフレームの画像データをＰピクチャとして処理する。Ｂピクチャは、後方予測を伴うため、後方予測画像としてのＰピクチャが先に用意されていないと、復号することができないからである。

そこで動きベクトル検出回路５０は、Ｉピクチャの処理の次に、後方原画像部５１ｃに記憶されているＰピクチャの画像データの処理を開始する。そして、上述した場合と同様に、マクロブロック単位でのフレーム間又はフィールド間差分（予測誤差）の絶対値和が、動きベクトル検出回路５０から予測判定回路５４に供給される。予測判定回路５４は、このＰピクチャのマクロブロックの予測誤差の絶対値和に対応して、フレーム／フィールド予測モード、及び画像内符号化、前方予測、後方予測、もしくは両方向予測の予測モードを設定する。

演算部５３はフレーム内符号化モードが設定されたとき、スイッチ５３ｄを上述したように接点ａ側に切り換える。従って、このデータは、Ｉピクチャのデータと同様に、ＤＣＴモード切り換え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。また、このデータは、逆量子化回路６０、ＩＤＣＴ回路６１、演算器６２を介してフレームメモリ６３の後方予測画像部６３ｂに供給され、記憶される。

一方、前方予測モードの時、スイッチ５３ｄが接点ｂに切り換えられるとともに、フレームメモリ６３の前方予測画像部６３ａに記憶されている画像（いまの場合Ｉピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より前方予測モードの設定が指令されたとき、前方予測画像部６３ａの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。

動き補償回路６４より出力された予測画像データは、演算器５３ａに供給される。演算器５３ａは、予測モード切り換え回路５２より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された、このマクロブロックに対応する予測画像データを減算し、その差分（予測誤差）を出力する。この差分データは、ＤＣＴモード切り換え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。また、この差分データは、逆量子化回路６０、ＩＤＣＴ回路６１により局所的に復号され、演算器６２に入力される。

この演算器６２にはまた、演算器５３ａに供給されている予測画像データと同一のデータが供給されている。演算器６２は、ＩＤＣＴ回路６１が出力する差分データに、動き補償回路６４が出力する予測画像データを加算する。これにより、元の（復号した）Ｐピクチャの画像データが得られる。このＰピクチャの画像データは、フレームメモリ６３の後方予測画像部６３ｂに供給され、記憶される。

動きベクトル検出回路５０は、このように、ＩピクチャとＰピクチャのデータが前方予測画像部６３ａと後方予測画像部６３ｂにそれぞれ記憶された後、次にＢピクチャの処理を実行する。予測判定回路５４は、マクロブロック単位でのフレーム間差分，フィールド間差分（予測誤差）の絶対値和の大きさに対応して、フレーム／フィールドモードを設定し、また、予測モードをフレーム内予測モード、前方予測モード、後方予測モード、または両方向予測モードのいずれかに設定する。

上述したように、フレーム内予測モードまたは前方予測モードの時、スイッチ５３ｄは接点ａまたはｂに切り換えられる。このとき、Ｐピクチャにおける場合と同様の処理が行われ、データが伝送される。

これに対して、後方予測モードまたは両方向予測モードが設定された時、スイッチ５３ｄは、接点ｃまたはｄにそれぞれ切り換えられる。

スイッチ５３ｄが接点ｃに切り換えられている後方予測モードの時、後方予測画像部６３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より後方予測モードの設定が指令されたとき、後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。

動き補償回路６４より出力された予測画像データは、演算器５３ｂに供給される。演算器５３ｂは、予測モード切り換え回路５２より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された予測画像データを減算し、その差分を出力する。この差分データは、ＤＣＴモード切り換え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。

スイッチ５３ｄが接点ｄに切り換えられている両方向予測モードの時、前方予測画像部６３ａに記憶されている画像（いまの場合、Ｉピクチャの画像）データと、後方予測画像部６３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より両方向予測モードの設定が指令されたとき、前方予測画像部６３ａと後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトル（この場合の動きベクトルは、前方予測画像用と後方予測画像用の２つとなる）に対応する分だけずらしてデータを読み出し、予測画像データを生成する。

動き補償回路６４より出力された予測画像データは、演算器５３ｃに供給される。演算器５３ｃは、動きベクトル検出回路５０より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データは、ＤＣＴモード切り換え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。

Ｂピクチャの画像は、他の画像の予測画像とされることがないため、フレームメモリ６３には記憶されない。

尚、フレームメモリ６３において、前方予測画像部６３ａと後方予測画像部６３ｂは、必要に応じてバンク切り換えが行われ、所定の参照画像に対して、一方または他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り換えて出力することができる。また、ＩＤＣＴ回路６１の出力は、図１２のＡの構造の場合と図１２のＢの構造の場合があるため、場合によっては、演算器６２に供給される予測画像の構造に応じて、並べ換えを行う必要があるが、簡単のため図示は省略する。

以上においては、輝度ブロックを中心として説明をしたが、色差ブロックについても同様に、図１１及び図１２に示すマクロブロックを単位として処理され、伝送される。尚、色差ブロックを処理する場合の動きベクトルは、対応する輝度ブロックの動きベクトルを垂直方向と水平方向に、それぞれ１／２にしたものが用いられる。

次に、図１４は、図８のデコーダ３１の一例の構成を示すブロック図である。伝送路（記録媒体３）を介して伝送された符号化された画像データは、図示せぬ受信回路で受信されたり、再生装置で再生され、入力端子８０を介して受信バッファ８１に一時記憶された後、復号回路９０の可変長復号化回路８２に供給される。可変長復号化回路８２は、受信バッファ８１より供給されたデータを可変長復号化し、動きベクトル、予測モード、予測フラグ及びＤＣＴフラグを動き補償回路８７に、また、量子化ステップを逆量子化回路８３に、それぞれ出力するとともに、復号された画像データを逆量子化回路８３に出力する。

逆量子化回路８３は、可変長復号化回路８２より供給された画像データを、同じく可変長復号化回路８２より供給された量子化ステップに従って逆量子化し、ＩＤＣＴ回路８４に出力する。逆量子化回路８３より出力されたデータ（ＤＣＴ係数）は、ＩＤＣＴ回路８４で、逆ＤＣＴ処理され、演算器８５に供給される。

ＩＤＣＴ回路８４より供給された画像データが、Ｉピクチャのデータである場合、そのデータは演算器８５より出力され、演算器８５に後に入力される画像データ（ＰまたはＢピクチャのデータ）の予測画像データ生成のために、フレームメモリ８６の前方予測画像部８６ａに供給されて記憶される。また、このデータは、フォーマット変換回路３２（図８）に出力される。

ＩＤＣＴ回路８４より供給された画像データが、その１フレーム前の画像データを予測画像データとするＰピクチャのデータであって、前方予測モードのデータである場合、フレームメモリ８６の前方予測画像部８６ａに記憶されている、１フレーム前の画像データ（Ｉピクチャのデータ）が読み出され、動き補償回路８７で可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施される。そして、演算器８５において、ＩＤＣＴ回路８４より供給された画像データ（差分のデータ）と加算され、出力される。この加算されたデータ、即ち、復号されたＰピクチャのデータは、演算器８５に後に入力される画像データ（ＢピクチャまたはＰピクチャのデータ）の予測画像データ生成のために、フレームメモリ８６の後方予測画像部８６ｂに供給されて記憶される。

Ｐピクチャのデータであっても、画像内予測モードのデータは、Ｉピクチャのデータと同様に、演算器８５で特に処理は行わず、そのまま後方予測画像部８６ｂに記憶される。

このＰピクチャは、次のＢピクチャの次に表示されるべき画像であるため、この時点では、まだフォーマット変換回路３２へ出力されない（上述したように、Ｂピクチャの後に入力されたＰピクチャが、Ｂピクチャより先に処理され、伝送されている）。

ＩＤＣＴ回路８４より供給された画像データが、Ｂピクチャのデータである場合、可変長復号化回路８２より供給された予測モードに対応して、フレームメモリ８６の前方予測画像部８６ａに記憶されているＩピクチャの画像データ（前方予測モードの場合）、後方予測画像部８６ｂに記憶されているＰピクチャの画像データ（後方予測モードの場合）、または、その両方の画像データ（両方向予測モードの場合）が読み出され、動き補償回路８７において、可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。但し、動き補償を必要としない場合（画像内予測モードの場合）、予測画像は生成されない。

このようにして、動き補償回路８７で動き補償が施されたデータは、演算器８５において、ＩＤＣＴ回路８４の出力と加算される。この加算出力は、出力端子９１を介してフォーマット変換回路３２に出力される。

但し、この加算出力はＢピクチャのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ８６には記憶されない。

Ｂピクチャの画像が出力された後、後方予測画像部８６ｂに記憶されているＰピクチャの画像データが読み出され、動き補償回路８７を介して演算器８５に供給される。但し、このとき、動き補償は行われない。

尚、このデコーダ３１には、図１０のエンコーダ１８における予測モード切り換え回路５２とＤＣＴモード切り換え回路５５に対応する回路が図示されていないが、これらの回路に対応する処理、即ち、奇数フィールドと偶数フィールドのラインの信号が分離された構成を、元の混在する構成に必要に応じて戻す処理は、動き補償回路８７が実行する。

また、以上においては、輝度信号の処理について説明したが、色差信号の処理も同様に行われる。但し、この場合、動きベクトルは、輝度信号用のものを、垂直方向及び水平方向に１／２にしたものが用いられる。

ここで、上述した画像信号符号化／復号化において伝送される画像の品質は、図１５に示されるように制御される。例えば、画像のＳＮＲ（ＳＮ比）は、上述した画像内符号化、前方予測符号化、両方向予測符号化等の符号化のタイプを表すいわゆるピクチャタイプに対応して制御され、Ｉピクチャ及びＰピクチャは高品質に、Ｂピクチャはこれらに比べて劣る品質で伝送される。すなわち、高伝送レートで全ての画像を伝送できればより好まし画質を得ることは可能であるが、伝送路の特性等からある一定値以上の伝送レートを選べない場合があり、この場合、人間の視覚特性として、全ての画像品質を平均化するよりも画像品質を図１１のように振動させたほうが画像の印象が良くなるという特性を利用して上述の図１５のような伝送方式を採用することで、ある一定値の伝送レートでより高品質の画像を得るようにしている。したがって、図１０の構成においては、この画像品質を達成するように、量子化器５７で伝送レート制御を行うようにしている。

特開平４−３６９１９２号公報 特開平４−２６６２８４号公報 特開平５−５６４１５号公報 特開昭６４−７１３９０号公報

ところで、上述した符号化方式によって符号化を行う場合におけるフレームＤＣＴ／フィールドＤＣＴのモード判断において、判断に用いる前記フレームＤＣＴモード相関とフィールドＤＣＴモード相関は、発生ビット量と直接的な比例関係にあるわけではないため、符号化効率の面からみて、必ずしも最適な判断を行えない場合がある。

また同様に画像内予測符号化（イントラ符号化）および前方予測、後方予測、両方向予測（インター予測）の予測モード判断もＤＣＴ係数を直接用いるわけではないので、符号化効率の面から言って、必ずしも最適な判断を行えない場合がある。

そこで、本発明は、符号化効率の面から最適なフレーム／フィールド予測モードの判断及びフレーム／フィールドＤＣＴモードの判断を実現することができる画像符号化方法及び装置を提供することを目的とするものである。

本発明は、上述の目的を達成するために提案されたものであり、マクロブロック毎にフレーム単位のブロック化又はフィールド単位のブロック化を選択して所定の変換を行う画像符号化方法であり、画像信号をフレーム単位でブロック化して上記所定の変換を行って第１の変換係数を生成し、画像信号をフィールド単位でブロック化して上記所定の変換を行って第２の変換係数を生成し、上記第１及び第２の変換係数の情報量に基づいて上記第１又は第２の変換係数を選択するようにしたものである。

ここで、上記マクロブロックは複数の輝度ブロック及び色差ブロックからなり、当該マクロブロック中の複数の輝度ブロックに対して求めた上記第１の変換係数の絶対値和と、上記マクロブロック中の複数の輝度ブロックに対して求めた上記第２の変換係数の絶対値和とを比較して上記第１又は第２の変換係数の選択を行う。また、上記第１の変換係数の絶対値和が所定値以下の時、上記比較の結果にかかわらず上記第１の変換係数を選択する。さらに、上記第１又は第２の変換係数の絶対値和に対して所定の重み付けを行って上記比較を行う。

また、本発明の画像符号化方法では、上記第１及び第２の変換係数の高次の行の係数の複数個の絶対値和又は２乗和を比較して上記第１又は第２の変換係数を選択することもできる。

このとき、上記第１又は第２の変換係数の絶対値和又は２乗和に対して所定の重み付けを行って上記比較を行う。

さらに、本発明は、画像内予測又は画像間予測された画像信号に所定の変換を行って符号化を行う画像符号化方法であり、上記画像内予測された信号をフレーム単位でブロック化又はフィールド単位でブロック化して所定の変換を行って変換係数を生成し、上記画像間予測された信号をフレーム単位でブロック化又はフィールド単位でブロック化して所定の変換を行って変換係数を生成し、上記各変換係数の情報量に基づいていずれかの変換係数を選択するものである。

ここで、上記変換係数の情報量として、ＡＣ成分の変換係数の絶対値和を求める。また、上記フレーム単位のブロック化による変換係数の絶対値和が所定値以下の時、当該フレーム単位のブロック化による変換係数を選択する。さらに、上記フレーム単位のブロック化による変換係数の絶対値和又は上記フィールド単位のブロック化による変換係数の絶対値和に対して所定の重み付けを行って上記選択を行う。

さらに、本発明の画像符号化方法では、上記画像内符号化された信号に基づく変換係数の少なくとも一部の変換係数の絶対値和と、上記画像間予測された信号に基づく変換係数の少なくとも一部の変換係数の絶対値和を比較し、より小さい絶対値和に対応する変換係数を選択することを行う。このとき、本発明の画像符号化方法では、上記画像内符号化された信号に基づく変換係数の少なくとも一部の変換係数の絶対値和と、上記画像間予測された信号に基づく変換係数の少なくと一部の変換係数の絶対値和に対して所定の重みづけを行って、上記選択を行うようにする。

次に、本発明の画像符号化装置は、マクロブロック毎にフレーム単位のブロック化又はフィールド単位のブロック化を選択して所定の変換を行う画像符号化装置であって、画像信号をフレーム単位でブロック化して上記所定の変換を行って第１の変換係数を生成する第１の変換係数生成手段と、画像信号をフィールド単位でブロック化して上記所定の変換を行って第２の変換係数を生成する第２の変換係数生成手段と、上記第１及び第２の変換係数生成手段で生成した第１及び第２の変換係数の情報量に基づいて上記第１又は第２の変換係数を選択する変換係数選択手段とを有するものである。

また、本発明の画像符号化装置は、上記第１及び第２の変換係数生成手段で生成した第１及び第２の変換係数の高次の行の係数の複数個の絶対値和又は２乗和を比較して上記第１又は第２の変換係数を選択する変換係数選択手段を有するものとすることもできる。

さらに、本発明の画像符号化装置は、画像内予測又は画像間予測された画像信号に所定の変換を行って符号化を行う画像符号化装置であり、上記画像内予測された信号をフレーム単位でブロック化又はフィールド単位でブロック化して所定の変換を行って変換係数を生成する画像内予測変換係数生成手段と、上記画像間予測された信号をフレーム単位でブロック化又はフィールド単位でブロック化して所定の変換を行って変換係数を生成する画像間予測変換係数生成手段と、上記画像内予測変換係数生成手段及び画像間予測変換係数生成手段で生成した各変換係数の情報量に基づいていずれかの変換係数を選択する変換係数選択手段とを有するものとすることもできる。

すなわち、本発明の画像符号化方法及び装置では、映像信号に対して、フレームでブロックを形成してＤＣＴを行う系と、フィールドでブロックを形成してＤＣＴを行う系と、上記二つの系よりの上記フレームのブロックでＤＣＴされた映像信号と上記フィールドのブロックでＤＣＴされた映像信号の何れかを選択する手段とを有し、上記フレームでＤＣＴされた変換係数と、上記フィールドでＤＣＴされた変換係数の情報量を比較し、この比較結果に基づいて上記フレームでＤＣＴがなされた映像信号と上記フィールドでＤＣＴがなされた映像信号との選択を行うようにしている。

ここで、本発明の画像符号化方法では、ＤＣＴ係数は可変長符号化して伝送されるため、発生ビット量はＤＣＴ係数の大きさ及び個数と比例する。このため、フレーム変換された輝度ブロックのＤＣＴ係数の絶対値和を計算し、フィールド変換された輝度ブロックのＤＣＴ係数の絶対値和を計算し、これらフレームでのＤＣＴ及びフィールドでのＤＣＴにおける絶対値和の小さいほうのＤＣＴモードの映像信号を選択することによって、従来に比較して、発生ビット量に対して忠実な、より好ましいモード判断を行うことが可能となる。

さらに本発明によれば、映像信号に対して、画像内予測（イントラ符号化）を行ってＤＣＴを行う系と、画像間での予測（インター符号化）を行ってＤＣＴを行う系と、上記イントラ符号化に対してＤＣＴが施された映像信号とインター符号化に対してＤＣＴが施された映像信号との何れかを選択する手段を有し、上記イントラ符号化に対してＤＣＴを行って得たＤＣＴ係数と、上記インター符号化に対してＤＣＴを行って得たＤＣＴ係数の情報量を比較し、この比較結果に基づいて上記イントラ符号化に対してＤＣＴが施された映像信号と、上記インター符号化に対してＤＣＴが施された映像信号を選択するようにしている。

このとき、本発明の画像符号化方法でも、ＤＣＴ係数は可変長符号化して伝送されるため、発生ビット量はＤＣＴ係数の大きさ及び個数と比例し、このため、各符号化の予測モードにおいてＤＣＴされたＤＣＴ係数の絶対値和を計算し、絶対値和の最も小さい予測モードの映像信号を選択することによって、従来に比較して、発生ビット量に対してより忠実なモード判断を行うことが可能となる。

本発明によれば、映像信号に対して、フレームでブロックを形成してＤＣＴを行い、フィールドでブロックを形成しＤＣＴを行い、これらフレームのブロックでＤＣＴされた映像信号とフィールドのブロックでＤＣＴされた映像信号の何れかを選択する。すなわち、フレームでのＤＣＴによる係数と、フィールドでのＤＣＴによる係数の情報量を比較し、この比較結果に基づいてフレームでＤＣＴがなされた映像信号と、フィールドでＤＣＴがなされた映像信号との選択を行う。

さらに本発明によれば、映像信号に対して、画像内予測（イントラ符号化）を行ってＤＣＴを施し、画像間での予測（インター符号化）を行ってＤＣＴを施し、イントラ符号化に対してＤＣＴが施された映像信号と、インター符号化に対してＤＣＴが施された映像信号の何れかを選択する。すなわち、イントラ符号化に対してＤＣＴを施して得た係数と、インター符号化に対してＤＣＴを施して得た係数の情報量とを比較し、この比較結果に基づいてイントラ符号化に対してＤＣＴがなされた映像信号と、インター符号化に対してＤＣＴがなされた映像信号との選択を行う。

これによって従来に比較して、発生ビット量に忠実な、より好ましいモード判断を行うことが可能となる。

本発明の画像符号化方法および復号化方法によれば、映像信号に対して、フレーム単位のブロックを形成しＤＣＴを行う系と、フィールド単位のブロックを形成してＤＣＴを行う系と、これら二つの系よりのフレームでＤＣＴされた映像信号とフィールドでＤＣＴされた映像信号の何れかを選択する手段とを有し、フレーム変換された係数と、フィールド変換された係数の情報量を比較し、この比較結果に基づいて上記フレーム変換された映像信号と、フィールド変換された映像信号を選択する。さらに本発明によれば、映像信号に対して、画像内予測（イントラ符号化）を行ないＤＣＴを行う系と、画像間での予測（インター符号化）を行ないＤＣＴを行う系と、イントラ符号化に対してＤＣＴを施された映像信号とインター符号化に対してＣＴを施された映像信号の何れかを選択する手段を有し、イントラ符号化に対してＤＣＴされた係数と、上記インター符号化に対してＤＣＴされた係数の情報量を比較し、この比較結果に基づいて上記イントラ符号化に対してＤＣＴされた映像信号と、インター符号化に対してＤＣＴされた映像信号を選択するようにした。

これによって従来に比較して、発生ビット量に忠実な、より好ましいモード判断を行うことが可能となる。したがって、符号化効率の面から最適なフレーム／フィールド予測モードの判断及びフレーム／フィールドＤＣＴモードの判断を実現することができる。

以下、本発明の実施例について図面を参照しながら説明する。

本実施例の画像符号化方法が適用される画像符号化装置は、図１に示すように、前記マクロブロック毎にフレーム単位のブロック化又はフィールド単位のブロック化を選択して所定の変換として前記ＤＣＴを行う画像符号化装置であって、画像信号をフレーム単位でブロック化して上記ＤＣＴを行って第１の変換係数（ＤＣＴ係数）を生成する第１の変換係数生成手段としてのフレームＤＣＴ回路２００と、画像信号をフィールド単位でブロック化して上記ＤＣＴを行って第２の変換係数（ＤＣＴ係数）を生成する第２の変換係数生成手段であるフィールドＤＣＴ回路２０１と、上記フレームＤＣＴ回路２００，フィールドＤＣＴ回路２０１で生成したＤＣＴ係数の情報量に基づいて上記フレーム／フィールドでのＤＣＴ係数のいずれかを選択する変換係数選択手段としてのフレーム／フィールドＤＣＴモード切り換え回路２５５とを有するものである。

なお、図１において、前述した図１０と同一の構成要素には同一の指示符号を付している。

先ず、本発明の第１の実施例装置におけるフレームでのＤＣＴとフィールドでのＤＣＴの選択手法に関して説明する。なお、イントラ符号化及びインター符号化は前述した従来同様の手法で行なう。また、第１の実施例の画像符号化装置では、処理をマクロブロック単位で行なっている。

図１において、前記ブロックフォーマットの画像は、フレームメモリ５１に記憶される。動きベクトル検出回路５０は、予め設定された画像シーケンス（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）に従って、フレームメモリ５１から必要な画像をマクロブロック単位で読み出し、参照画像と前方原画像及び／又は後方原画像との間で動きベクトルの検出を行う。ここで、Ｉピクチャはフィールド内若しくはフレーム内符号化される。また、Ｐピクチャは、前方向からのみ予測可能とされて、フィールド間若しくはフレーム間符号化される。実際には、動き補償された予測画像（差分をとる基準となる画像）との差分を符号化する場合と、差をとらずにそのまま符号化する（イントラ符号化）場合との何れか効率の良い方がマクロブロック単位で選択される。また、Ｂピクチャは、前方向から、後方向から、および両方向から予測可能とされて、フィールド間若しくはフレーム間符号化される。実際には上記３種類の動き補償後の予測画像との差分を符号化する場合と、差をとらずにそのまま符号化する場合との中で、最も効率の良いものがマクロブロック単位に選択される。

動きベクトルの検出は、動きベクトル検出回路５０によって、フレームメモリ５１に記憶された前方原画像及び／又は後方原画像を用いて、現在の参照画像との間で行なう。ここで、ブロック単位でのフレーム間又はフィールド間差分の絶対値和が最小になるものを、その動きベクトルとする。動きベクトルの検出は、フレーム予測モード及びフィールド予測モードの両方に関して行われ、フレーム予測に対する１個の動きベクトル及びフィールド予測に対する２個の動きベクトルの両者が求められる。

動きベクトル検出回路５０で計算されたブロック単位でのフレーム及びフィールド間差分の絶対値和は、予測判定回路５４に送られる。予測判定回路５４はこの値をもとに、フレーム予測モードとフィールド予測モードを決定する。この判断結果は、フレーム／フィールド予測フラグとして可変長符号化回路５８に送られ、符号化される。また、フレーム／フィールド予測モード切り換え回路５２において、フレーム／フィールド予測モードに応じてブロック化されたデータは演算部５３に供給される。

フレーム内／前方／両方向予測判定回路５４は、動きベクトル検出回路５０で計算されたブロック単位でのフレーム間及びフィールド間差分の絶対値和をもとに、参照ブロックのマクロブロックタイプ（予測モード）を決定する。このマクロブロックタイプ（予測モード）をもとに、マクロブロック単位で画像内／前方／後方／両方向予測の切り換えを制御し、画像内符号化モードの場合は入力画像そのものを、前方／後方／両方向予測モードのときはそれぞれの予測画像からのフレーム間又はフィールド間符号化データを発生する。

以上は、前述した従来例と同様であるが、本発明実施例では、以降の構成において以下のように従来例と異なっている。

上記予測モード選択がなされたブロックは、フレーム単位でブロック化及びフィールド単位でブロック化されて、それぞれフレームＤＣＴ回路２００及びフィールドＤＣＴ回路２０１に供給される。フレームＤＣＴ回路２００からはフレーム単位のＤＣＴ係数が、フィールドＤＣＴ回路２０１からはフィールド単位のＤＣＴ係数が、それぞれ出力され、フレーム／フィールドＤＣＴモード切り換え回路２５５に出力される。

上記フレーム／フィールドＤＣＴモード切り換え回路２５５は、符号化効率を考慮して、ＤＣＴのためのフレーム単位のブロック化のモード（フレームＤＣＴモード）或いはフィールド単位のブロック化のモード（フィールドＤＣＴモード）の何れかをマクロブロック単位で選択的に出力し、量子化回路５７に出力するようになされている。また、この判断結果は、フレーム／フィールドＤＣＴフラグとして可変長符号化回路５８に送られ、ここで符号化される。なお、フレーム／フィールドＤＣＴモードの判断のアルゴリズムに関しては、後で詳しく説明する。

上記量子化回路５７は、マクロブロックおよびスライス毎に定まる量子化ステップサイズでＤＣＴ変換データを量子化し、その結果出力端に得られる量子化データを可変長符号化（ＶＬＣ（variable length code））回路５８及び逆量子化回路６０に供給する。量子化に用いる量子化スケールは送信バッファ５９のバッファ残量をフィードバックすることによって、送信バッファ５９が破綻しない値に決定する。この量子化スケールも、可変長符号化回路５８及び逆量子化回路６０に、量子化データとともに供給される。

ここで可変長符号化回路５８は、量子化データを、量子化スケール、マクロブロックタイプ、動きベクトルと共に可変長符号化処理し、伝送データとして送信バッフア５９に供給する。

送信バッファ５９は、伝送データを一旦メモリに格納した後、所定のタイミングでビットストリームとして出力すると共に、メモリに残留している残留データ量に応じてマクロブロック単位の量子化制御信号を量子化回路５７にフイードバックして量子化スケールを制御するようになされている。これにより送信バッファ５９は、ビットストリームとして発生されるデータ量を調整し、メモリ内に適正な残量（オーバーフロー又はアンダーフローを生じさせないようなデータ量）のデータを維持するようになされている。

因に送信バッファ５９のデータ残量が許容上限にまで増量すると、送信バッファ５９は量子化制御信号によつて量子化回路５７の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。

またこれとは逆に送信バッファ５９のデータ残量が許容下限値まで減量すると、送信バッファ５９は量子化制御信号によつて量子化回路５７の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。

逆量子化回路６０は、量子化回路５７から送出される量子化データを代表値に逆量子化して逆量子化データに変換し、出力データの量子化回路５７における変換前の変換データを復号し、逆量子化データをディスクリートコサイン逆変換ＩＤＣＴ（inverse discrete cosine trasform）回路６１に供給するようになされている。

ＩＤＣＴ回路６１は、逆量子化回路６０で復号された逆量子化データをＤＣＴ回路２００又は２０１とは逆の変換処理で復号画像データに変換し、演算器６２を介してフレームメモリ６３に送るようになされている。

また、動き補償回路６４は、ＩＤＣＴ回路６１の出力データとマクロブロックタイプ（予測モード）、動きベクトル、フレーム／フィールド予測フラグをもとに局所復号を行ない、復号画像が前方予測画像若しくは後方予測画像としてフレームメモリ６３に書き込まれる。

フレームメモリ６３では、バンク切り換えが行われる。これにより、符号化する画像に応じて、単一のフレームが、後方予測画像として出力されたり、前方予測画像として出力されたりする。前方／両方向予測の場合は、予測画像からの差分がＩＤＣＴ回路６１の出力として送られてくるために、この差分を予測画像に対して足し込むことで、局所復号を行なっている。この予測画像は、デコーダで復号される画像と全く同一の画像であり、次の処理画像はこの予測画像をもとに、前方／両方向予測を行なう。

ここで、上記ＤＣＴモード切り換え回路２５５におけるフレーム／フィールドＤＣＴのモード決定（判断）法に関して以下に説明する。

先ず、第１の実施例における第１のフレーム／フィールドＤＣＴモードのモード決定法として、ＤＣＴ係数に着目したフレーム／フィールドＤＣＴモードのモード決定法に関して説明する。

上記ＤＣＴモード切り換え回路２５５においては、フレームＤＣＴ回路２００によってフレーム単位でＤＣＴされた４個の輝度ブロックのＤＣＴ係数（各６４個）の絶対値和 (Frame Weightとする）を、数１の数式(1) にて計算する。

ただし、この数式(1) において、ｉはブロック番号、ｊは係数の番号である。

次に、フィールドＤＣＴ回路２０１によってフィールド単位でＤＣＴされた４個の輝度ブロックのＤＣＴ係数（６４個）の絶対値和 (Field Weightとする）を数２の数式(2) にて計算する。

この数式(1) においてもｉはブロック番号、ｊは係数の番号である。

これら数式(1),(2) で計算された値のうち、先ず、上記フレームにおける絶対値和(Frame Weight)が、あるしきい値（ＴＨ1 ）と比較される。

ここで、
Frame Weight ＜ＴＨ1
の場合、無条件にフレームＤＣＴモードに判定される。これは、フレームモードになり易いように設けたハンディ（重み付け）である。

次に、上記フレームにおける絶対値和（Frame Weight) とフィールドにおける絶対値和(Field Weight)が比較される。この時、それぞれの値(Weight)の小さい方が選択される。またこのとき、フレームＤＣＴモードになり易いように、当該比較にハンディを付ける（重み付けする）こともできる。

例えば、
Frame Weight ＜Field Weight＊β1 ＋α1
α1 、β1 ：比較におけるハンディ
の計算を行って、これが真の場合、フレームＤＣＴモードに、偽の場合、フィールドＤＣＴモードに判定される。

上記ＤＣＴモード切り換え回路２５５においては、上述した判断法によってフレーム／フィールドＤＣＴモードが決定される。なお、上述したフレームにおける絶対値和（Frame Weight) とフィールドにおける絶対値和(Field Weigh) は、ブロックのすべてのＤＣＴ係数の絶対値加算によるものとせずに、いわゆるジグザグスキャンの順での、先頭からＮ番目（１≦Ｎ≦６４）までの係数を絶対値加算した値を用いてもよい。また、比較に用いるブロックも、輝度ブロックのみでなく、色差ブロックを含めた６個のブロックに対して行ってもよい。

次に、本発明の第１の実施例のＤＣＴモード切り換え回路におけるＤＣＴ係数に着目した第２のフレーム／フィールドＤＣＴモードのモード決定法に関して説明する。

この第２のモード決定法では、ＤＣＴされたブロックにおけるＤＣＴ係数のうち、インターレース構造に寄与する度合いの高い係数（ＤＣＴ係数の高次の行の係数）に注目する。これを図２に示す。なお、この図２において、図中○及び●はＤＣＴ係数を示し、図中破線で囲む部分が上記注目する係数である。●は、その中でも特にインターレース構造に寄与する度合いが高いため、これらを注目する係数としてもよい。

この場合の上記ＤＣＴモード切り換え回路２５５では、上述の図２に示すようなインターレース構造に対して寄与度の高い係数Ｎ個の絶対値和の４個の輝度ブロック分の和(Interlace Weight とする）を計算する。上記絶対値和(Interlace Weight)が大きい場合は、奇数フィールドと偶数フィールドの間で画像が動いているような場合であり、このような場合はフィールド単位でＤＣＴを行なったほうが、圧縮効率が高くなる。

従って、フレーム単位でＤＣＴ及びフィールド単位でＤＣＴされた係数のうち、このインターレースに寄与度の高い上記Ｎ個のＤＣＴ係数の４個の輝度ブロック分の絶対値和をそれぞれ(Interlace Weight (Frame))及び(Interlace Weight (Field))としたとき、
Interlace Weight (Frame) ＜ Interlace Weight (Field)
の場合には、フレームＤＣＴモードに判定される。逆の場合はフィールドＤＣＴモードに判定される。

また、フレームＤＣＴモードになり易いように当該比較にハンディを付ける（重み付けする）こともできる。

例えば、
Interlace Weight (Frame) ＜ Interlace Weight (Field) ＊β2 ＋α2
α2 、β2 ：比較におけるハンディ
として、これが真の場合にはフレームＤＣＴモードに、偽の場合にはフィールドＤＣＴモードに判定される。

また、上記絶対値和(Interlace Weight)は、インターレース構造に対して寄与度の高い係数Ｎ個の二乗和を用いるようにしてもよい
次に、本発明の第２の実施例について説明する。この第２の実施例は、第１の実施例に、さらに本発明のイントラ符号化及びインター符号化の選択手法を適用した例である。図４に、第２の実施例の画像符号化装置を示す。また、図３に第２の実施例の画像符号化装置の要部の概略構成を示す。なお、この第２の実施例の画像符号化装置は、基本的には、前述した図１０の構成の予測モード切り換え回路５２の後から、量子化回路５７の前までの構成を、図３に示す構成に変更したものであり、他の構成要素についての図示及び説明は省略する。但し、この実施例における動きベクトル検出回路５０は、上述の画像内符号化の評価値を出力しない。また、この実施例における予測判定回路５４は、インター符号化が選択されるとした場合の各マクロブロックの仮の予測モードの判定のみ行い、イントラ符号化かインター符号化かの選択は、後述する予測判定回路３１９で行う。

すなわち、第２の実施例の画像符号化装置は、図３に示すように、イントラ符号化（画像内符号化）及びインター符号化（画像間予測）された画像信号にＤＣＴを施して符号化を行う画像符号化装置であり、上記イントラ符号化された信号をフレーム単位でブロック化又はフィールド単位でブロック化してＤＣＴを行ってＤＣＴ係数を生成するフレームＤＣＴ回路３０３及びフィールドＤＣＴ回路３０４と、上記インター符号化された信号をフレーム単位でブロック化又はフィールド単位でブロック化してＤＣＴを行ってＤＣＴ係数を生成するフレームＤＣＴ回路３０５，３０７，３０９及びフィールドＤＣＴ回路３０６，３０８，３１０と、上記各フレームＤＣＴ回路及びフィールドＤＣＴ回路で生成した各ＤＣＴ係数の情報量に基づいていずれかのＤＣＴ係数を選択する変換係数選択手段としてのフレーム／フィールドＤＣＴモード切り換え回路３１１〜３１４及び予測モード選択回路３１５と、予測判定回路５４によって選択された端子３３１を介した仮の予測モードに基づいて、加算器５３ａ，５３ｂ，５３ｃへの入力を切り換えるセレクタ３３０と、イントラ−ウエイト(Intra-Weight)及びインター−ウエイト(Inter-Weight)に基づいて、イントラ符号化又はインター符号化の判定を行い、対応するフレーム／フィールドＤＣＴフラグ（端子３３２から出力）と真の予測モード（端子３３３から出力）を出力する予測判定回路３１９とを有するものである。

この図３において、演算部３２０の端子３００には、図４の予測モード切り換え回路５２の出力が供給され、端子３０１には前述同様の演算器５３ａ及び５３ｃに送られる図４の動き補償回路６４からの前方向の予測画像データが、端子３０２には前述同様の演算器５３ｂ及び５３ｃに送られる図４の動き補償回路６４からの後方向の予測画像データが供給される。

この第２の実施例装置において、フィールドでのＤＣＴ及びフレームでのＤＣＴの選択と、イントラ符号化（画像内）及びインター符号化（画像間予測）の選択を行うのが、図３に示す演算部３２０である。

すなわち、前記入力された画像信号は、図４の前記動きベクトル検出回路５０及び前記フレーム／フィールド予測モード切り換え回路５２を介し、さらに上記端子３００を介して図３の演算部３２０に入力される。セレクタ３３０は、予測判定回路５４によって選択された予測モードに応じて加算器５３ａ，５３ｂ，５３ｃのうちの１つに端子３００からの信号を供給する。

この演算部３２０では、入力信号に対してＩピクチャの場合は画像内符号化信号を、Ｐピクチャの場合は画像内符号化信号と前方予測信号を、Ｂピクチャの場合は画像内符号化信号と予測判定回路５４によって選択された仮の予測モードに対応する前方予測信号と後方予測信号と両方向予測信号のうちの１つを生成する。これらの信号に対して、それぞれ対応するフレームＤＣＴ回路３０３，３０５，３０７，３０９及びフィールドＤＣＴ回路３０４，３０６，３０８，３１０によって、フレーム単位のＤＣＴ及びフィールド単位のＤＣＴが施され、これら各ＤＣＴ回路からＤＣＴ係数データが得られる。

ここで、先ず、イントラ符号化（画像内符号化信号）用のフレームＤＣＴ回路３０３及びフィールドＤＣＴ回路３０４における選択手法に関して、以下に説明する。ここでのＤＣＴのモード判定は、これらＤＣＴ回路３０３，３０４の出力が供給されるフレーム／フィールドＤＣＴモード切り換え回路３１１で行われる。

当該モード切り換え回路３１１では、フレーム単位でＤＣＴ処理されて得られた４個の輝度ブロックのＤＣＴ係数（各６４個）のうちＡＣ成分６３個の絶対値和 (Intra Frame Weightとする）を、数３の数式(3) を用いて計算する。

ただし、この数式(3) において、ｉはブロック番号、ｊはＤＣＴ係数の番号である。なお、ｊ＝１はＤＣ成分である。

次に、上記フィールドでＤＣＴされた４個の輝度ブロックのＤＣＴ係数（各６４個）のうち、ＡＣ成分６３個の絶対値和（Intra Field Weightとする）を数４の数式(4) を用いて計算する。

ただし、この数式(4) においても、ｉはブロック番号、ｊはＤＣＴ係数の番号である。なお、ｊ＝１はＤＣ成分である。

これらにより計算された値のうち、先ず、上記絶対値和(Intra Frame Weight)が、あるしきい値（ＴＨ2 ）と比較される。

このとき、
Intra Frame Weight ＜ＴＨ2
の場合は無条件にフレームのＤＣＴモードに判定される。これは、フレームＤＣＴモードになり易いように設けたハンディである。

次に、上記フレームにおける絶対値和(Intra Frame Weight)とフィールドにおける絶対値和(Intra Field Weight)が比較される。この時、それぞれの値(Weight)の小さいほうが選択される。また、フレームのＤＣＴモードになりやすいように比較にハンディを付けることもできる。

例えば、
Intra Frame Weight ＜ Intra Field Weight ＊β_３ ＋α3
α_３ 、β3 は比較におけるハンディ
を行って、これが真の場合はフレームのＤＣＴモードに、偽の場合はフィールドのＤＣＴモードに判定される。また、判定されたＤＣＴモードに対応するIntra Frame Weight又はIntra Field WeightがIntra Weightとして、予測判定回路３１９に供給される。

また、上述したフレームにおける絶対値和（Intra Frame Weight）とフィールドにおける絶対値和（Intra Field Weigh ）は、ブロックのすべてのＡＣ成分のＤＣＴ係数の絶対値加算とせずに、例えばいわゆるジグザグスキャンの順での、先頭からＮ番目（２≦Ｎ≦６４）までのＤＣＴ係数を絶対値加算した値を用いてもよい。また、比較に用いるブロックも、輝度ブロックのみでなく、色差ブロックを含めた６個のブロックに対して行ってもよい。また、第１の実施例における第２のモード決定法と同様に、インターレース構造に寄与する度合いの高い係数のみ用いてもよい。

次にインター符号化である、前方予測信号のフレームＤＣＴ回路３０５及びフィールドＤＣＴ回路３０６と、後方予測信号のフレームＤＣＴ回路３０７及びフィールドＤＣＴ回路３０８と、両方向予測信号のフレームＤＣＴ回路３０９及びフィールドＤＣＴ回路３１０の選択手法に関して説明する。

これらのＤＣＴモード判定は、それぞれ対応するフレーム／フィールドＤＣＴモード切り換え回路３１２〜３１４で行なわれる。各フレームＤＣＴ回路３０５，３０７，３０９でＤＣＴされたそれぞれ４個の輝度ブロックのＤＣＴ係数（それぞれ６４個）の絶対値和 (Inter Frame Weightとする）を前方予測信号、後方予測信号、両方向予測信号に対して数５の数式(5) を用いて計算する。

ただし、数式(5) のｉはブロック番号、ｊは係数の番号である。

また、各フィールドＤＣＴ回路３０６，３０８，３１０でＤＣＴされたそれぞれ４個の輝度ブロックのＤＣＴ係数（それぞれ６４個）の絶対値和（Inter Field Weightとする）を数６の数式(6) を用いて計算する。

ただし、数式(6) のｉはブロック番号、ｊは係数の番号である。

この各絶対値和（Inter Frame Weight) 及び絶対値和(Inter Field Weight)に関してイントラ符号化の場合と同様の判断によって、それぞれ対応するＤＣＴモード切り換え回路３１２〜３１４によって、フィールドのＤＣＴかフレームのＤＣＴかを選択する。また、判定されたＤＣＴモードに対応するInter Frame Weight又はInter Field Weightが、Inter Weightとして予測判定回路３１９に供給される。また、上述したInter Frame Weight及びInter Field Weightは、ブロックのすべてのＤＣＴ係数の絶対値和とせずに、例えばいわゆるジグザグスキャンの順での先頭からＮ番目（１≦Ｎ≦６４）までのＤＣＴ係数の絶対値和としてもよい。また、色差ブロックを含めるようにしてもよい。さらにまた、第１の実施例における第２のモード決定法と同様に、インターレース構造に寄与する度合いの高い係数のみ用いるようにしてもよい。

ここまでの処理によってフレーム／フィールドＤＣＴモード切り換え回路３１１〜３１４からは、それぞれ絶対値和の値(Weight)に基づいて判断されたＤＣＴ係数データが出力される。このデータは予測モード選択回路３１５に供給される。予測判定回路３１９では、イントラ符号化における絶対値和(Intra Weight)とインター符号化における絶対値和(Inter Weight)に対して以下の判断を行ない、真の予測モードとＤＣＴモードを決定する。予測判定回路３１９は、選択された予測モードを可変長符号化回路５８に出力する。また、予測判定回路３１９は、選択された予測モードに応じて予測モード選択回路３１５の出力を切り換える。

先ず、予測判定回路３１９は、Inter Weightと、あるしきい値（ＴＨ3 ）との比較を行う。

ここで、このイントラ符号化における絶対値和(Inter Weight)において、
Inter Weight ＜ＴＨ3
の場合、無条件にインター符号化に判定される。これは、インター符号化の予測モードになり易いように設けたハンディである。

次に、イントラ符号化における絶対値和(Intra Weight)とインター符号化における絶対値和(Inter Weight)が比較される。この時、それぞれの値(Weight)の小さい方が選択される。またインター符号化の予測モードになり易いように比較にハンディを付けることもできる。

例えば、
Inter Weight ＜Intra Weight＊β4 ＋α4
α4 、β4 は比較におけるハンディ
を行って、これが真の場合はインター符号化に、偽の場合はイントラ符号化に判定される。また、上記のしきい値ＴＨ3 を用いた判定を行わず、
Inter Weight ＜Intra Weight＊β4 ＋α4
α4 、β4 は比較におけるハンディ
の判定のみで、インター符号化とイントラ符号化の判定を行うこともできる。予測判定回路３１９は、選択されたInter Weight又はIntra Weightに対応する予測モード及びフレーム／フィールドＤＣＴフラグを可変長符号化回路５８に供給する。また、予測判定回路３１９は、予測モード選択回路３１５を制御して、上記選択されたInter Weight又はIntra Weightに対応するＤＣＴ係数を出力させる。

これまでの処理によって符号化の予測モード（画像内、前方予測、後方予測、両方向予測）の選択およびＤＣＴモード（フレーム、フィールド）の選択が演算部３２０によって行なわれ、当該演算部３２０の出力が端子３１８からＤＣＴ係数の出力が後段の図４の量子化回路５７に送られる。また、上述のようにして求めたフレーム／フィールドＤＣＴモード切り換え回路３１１〜３１４の判断結果は、上述のようにフレーム／フィールドＤＣＴフラグとして端子３１７を介して可変長符号化回路５８に送られる。

その他の処理に関しては、第１の実施例と全く同様であり、それらについての説明は省略する。なお、上記第２の実施例においては、仮の予測モードを設定して画像内符号化信号と設定された予測モードに対応する予測信号にのみフレーム及びフィールドＤＣＴをかけるようにしたが、ピクチャタイプ（Ｉ，Ｐ，Ｂピクチャ）によって決まる選択可能な予測モードに対応するすべての画像内信号及び予測信号に対してフレーム及びフィールドＤＣＴをかけ、最も効率のよいものを選択するようにしてもよい。

上述したような本発明の画像符号化方法および復号化方法の実施の形態によれば、映像信号に対して、フレーム単位のブロックを形成しＤＣＴを行う系と、フィールド単位のブロックを形成してＤＣＴを行う系と、これら二つの系よりのフレームでＤＣＴされた映像信号とフィールドでＤＣＴされた映像信号の何れかを選択する手段とを有し、フレーム変換された係数と、フィールド変換された係数の情報量を比較し、この比較結果に基づいて上記フレーム変換された映像信号と、フィールド変換された映像信号を選択する。さらに本発明によれば、映像信号に対して、画像内予測（イントラ符号化）を行ないＤＣＴを行う系と、画像間での予測（インター符号化）を行ないＤＣＴを行う系と、イントラ符号化に対してＤＣＴを施された映像信号とインター符号化に対してＣＴを施された映像信号の何れかを選択する手段を有し、イントラ符号化に対してＤＣＴされた係数と、上記インター符号化に対してＤＣＴされた係数の情報量を比較し、この比較結果に基づいて上記イントラ符号化に対してＤＣＴされた映像信号と、インター符号化に対してＤＣＴされた映像信号を選択するようにした。

これによって従来に比較して、発生ビット量に忠実な、より好ましいモード判断を行うことが可能となる。したがって、符号化効率の面から最適なフレーム／フィールド予測モードの判断及びフレーム／フィールドＤＣＴモードの判断を実現することができる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

第１の実施例装置の概略構成を示すブロック回路図である。 本発明実施例におけるインターレース構造に寄与する度合いの高いＤＣＴ係数を説明するための図である。 第２の実施例装置の要部の概略構成を示すブロック回路図である。 図３の構成が適用される第２の実施例装置の概略構成を示すブロック回路図である。 高能率符号化の原理を説明する図である。 動画像信号を符号化する原理を説明する図である。 画像データを圧縮する場合におけるピクチャのタイプを説明する図である。 従来の画像符号化装置と復号化装置の構成例を示すブロック図である。 図８におけるフォーマット変換回路１７のフォーマット変換の動作を説明する図である。 図８におけるエンコーダ１８の構成例を示すブロック図である。 図１０の予測モード切り替え回路５２の動作を説明する図である。 図１０のＤＣＴモード切り替え回路５５の動作を説明する図である。 フレーム／フィールドＤＣＴのモード判断のための演算を行う具体的な構成を示すブロック回路図である。 図８のデコーダ３１の構成例を示すブロック図である。 ピクチャタイプにしたがったレート制御を説明する図である。

符号の説明

１ 符号化装置、 ２ 復号化装置、 ３ 記録媒体、 １２，１３ Ａ／Ｄ変換器、 １４ フレームメモリ、 １５ 輝度信号フレームメモリ、 １６ 色差信号フレームメモリ、 １７ フォーマット変換回路、 １８ エンコーダ、 ３１ デコーダ、 ３２ フォーマット変換回路、 ３３ フレームメモリ、 ３４ 輝度信号フレームメモリ、 ３５ 色差信号フレームメモリ、 ３６，３７ Ｄ／Ａ変換器、 ５０ 動きベクトル検出回路、 ５１ フレームメモリ、 ５２ 予測モード切り替え回路、 ５３ 演算部、 ５４ 予測判定回路、 ５５ ＤＣＴモード切り替え回路、 ５６ ＤＣＴ回路、 ５７ 量子化回路、 ５８ 可変長符号化回路、 ５９ 送信バッファ、 ６０ 逆量子化回路、 ６１ ＩＤＣＴ回路、 ６２ 演算器、 ６３ フレームメモリ、 ６４ 動き補償回路、 ８１ 受信バッファ、 ８２ 可変長復号化回路、 ８３ 逆量子化回路、 ８４ ＩＤＣＴ回路、 ８５ 演算器、 ８６ フレームメモリ、 ８７ 動き補償回路、 ２００，３０３，３０５，３０７，３０９ フレームＤＣＴ回路、 ２０１，３０４，３０６，３０８，３１０ フィールドＤＣＴ回路、 ２５５，３１１〜３１４ フレーム／フィールドＤＣＴモード切り換え回路、 ３１５ 予測モード選択回路、 ３１９ 予測判定回路、 ３２０ 演算部、 ３３０ セレクタ

Claims (15)

1. マクロブロック毎にフレーム単位のブロック化又はフィールド単位のブロック化を選択して所定の変換を行う画像符号化方法において、
   画像信号をフレーム単位でブロック化して上記所定の変換を行って第１の変換係数を生成し、
   画像信号をフィールド単位でブロック化して上記所定の変換を行って第２の変換係数を生成し、
   上記第１及び第２の変換係数の情報量に基づいて上記第１又は第２の変換係数を選択することを特徴とする画像符号化方法。
2. 上記マクロブロックは複数の輝度ブロック及び色差ブロックからなり、当該マクロブロック中の複数の輝度ブロックに対して求めた上記第１の変換係数の絶対値和と、上記マクロブロック中の複数の輝度ブロックに対して求めた上記第２の変換係数の絶対値和とを比較して上記第１又は第２の変換係数の選択を行うことを特徴とする請求項１記載の画像符号化方法。
3. 上記第１の変換係数の絶対値和が所定値以下の時、上記比較の結果にかかわらず上記第１の変換係数を選択することを特徴とする請求項２記載の画像符号化方法。
4. 上記第１又は第２の変換係数の絶対値和に対して所定の重み付けを行って上記比較を行うことを特徴とする請求項２記載の画像符号化方法。
5. マクロブロック毎にフレーム単位のブロック化又はフィールド単位のブロック化を選択して所定の変換を行う画像符号化方法において、
   画像信号をフレーム単位でブロック化して上記所定の変換を行って第１の変換係数を生成し、
   画像信号をフィールド単位でブロック化して上記所定の変換を行って第２の変換係数を生成し、
   上記第１及び第２の変換係数の高次の行の係数の複数個の絶対値和又は２乗和を比較して上記第１又は第２の変換係数を選択することを特徴とする画像符号化方法。
6. 上記第１又は第２の変換係数の絶対値和又は２乗和に対して所定の重み付けを行って上記比較を行うことを特徴とする請求項５記載の画像符号化方法。
7. 画像内符号化又は画像間予測された画像信号に所定の変換を行って符号化を行う画像符号化方法において、
   上記画像内符号化された信号をフレーム単位でブロック化及び／又はフィールド単位でブロック化して所定の変換を行って変換係数を生成し、
   上記画像間予測された信号をフレーム単位でブロック化及び／又はフィールド単位でブロック化して所定の変換を行って変換係数を生成し、
   上記各変換係数の情報量に基づいていずれかの変換係数を選択することを特徴とする画像符号化方法。
8. 上記画像内符号化の変換係数の情報量として、ＡＣ成分の変換係数の絶対値和を求めることを特徴とする請求項７記載の画像符号化方法。
9. 上記フレーム単位のブロック化による変換係数の絶対値和が所定値以下の時、当該フレーム単位のブロック化による変換係数を選択することを特徴とする請求項８記載の画像符号化方法。
10. 上記フレーム単位のブロック化による変換係数の絶対値和又は上記フィールド単位のブロック化による変換係数の絶対値和に対して所定の重み付けを行って上記選択を行うことを特徴とする請求項８記載の画像符号化方法。
11. マクロブロック毎にフレーム単位のブロック化又はフィールド単位のブロック化を選択して所定の変換を行う画像符号化装置において、
    画像信号をフレーム単位でブロック化して上記所定の変換を行って第１の変換係数を生成する第１の変換係数生成手段と、
    画像信号をフィールド単位でブロック化して上記所定の変換を行って第２の変換係数を生成する第２の変換係数生成手段と、
    上記第１及び第２の変換係数生成手段で生成した第１及び第２の変換係数の情報量に基づいて上記第１又は第２の変換係数を選択する変換係数選択手段と
    を有することを特徴とする画像符号化装置。
12. マクロブロック毎にフレーム単位のブロック化又はフィールド単位のブロック化を選択して所定の変換を行う画像符号化装置において、
    画像信号をフレーム単位でブロック化して上記所定の変換を行って第１の変換係数を生成する第１の変換係数生成手段と、
    画像信号をフィールド単位でブロック化して上記所定の変換を行って第２の変換係数を生成する第２の変換係数生成手段と、
    上記第１及び第２の変換係数生成手段で生成した第１及び第２の変換係数の高次の行の係数の複数個の絶対値和又は２乗和を比較して上記第１又は第２の変換係数を選択する変換係数選択手段と
    を有することを特徴とする画像符号化装置。
13. 画像内符号化又は画像間予測された画像信号に所定の変換を行って符号化を行う画像符号化装置において、
    上記画像内符号化された信号をフレーム単位でブロック化及び／又はフィールド単位でブロック化して所定の変換を行って変換係数を生成する画像内予測変換係数生成手段と、
    上記画像間予測された信号をフレーム単位でブロック化及び／又はフィールド単位でブロック化して所定の変換を行って変換係数を生成する画像間予測変換係数生成手段と、
    上記画像内予測変換係数生成手段及び画像間予測変換係数生成手段で生成した各変換係数の情報量に基づいていずれかの変換係数を選択する変換係数選択手段と
    を有することを特徴とする画像符号化装置。
14. 上記画像内符号化された信号に基づく変換係数の少なくとも一部の変換係数の絶対値和と、上記画像間予測された信号に基づく変換係数の少なくとも一部の変換係数の絶対値和を比較し、より小さい絶対値和に対応する変換係数を選択すること
    を特徴とする請求項７記載の画像符号化方法。
15. 上記画像内符号化された信号に基づく変換係数の少なくとも一部の変換係数の絶対値和と、上記画像間予測された信号に基づく変換係数の少なくと一部の変換係数の絶対値和に対して所定の重みづけを行って、上記選択を行うこと
    を特徴とする請求項１４記載の画像符号化方法。

Images