JP2005341545A - 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラムおよび動画像復号プログラム - Google Patents

Abstract

【課題】 本発明では、低ビットレートで高画質な符号化を実現するための符号化装置及び復号装置を提供することを課題とする。
【解決手段】 符号化モード決定部１２０は、動きベクトル検出部１１１と予測画像生成部１１０と、画質劣化予測部２０１を備えている。画質劣化予測部２０１は、動きベクトル検出部１１１により得られる第２の動き関連情報２０３に従って、画質劣化予測情報２０２を生成する。生成した画質劣化予測情報２０２を用いることにより、符号化モードの選択や量子化制御を行う。
【選択図】 図１

Description

本発明は、動画像の符号化及び復号に関するもので、特に動画像符号化方法および動画像復号方法に関するものである。

テレビ、パーソナルコンピュータ（ＰＣ）、携帯電話、あるいはその他の画像信号を表示する装置において、画像信号を低ビットレートで符号化し伝送することを目的として利用されている技術として、動き補償符号化という技術が知られている。
動き補償符号化とは、画像フレームを構成する画像ブロックの動きベクトルを用いて行われる符号化である。例えば、動画像信号圧縮の国際規格であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）では、符号化に際して、画面内符号化と画面間符号化の２つの符号化方法が用いられる。

画面内符号化は、画像フレームをそのフレーム内の情報だけで符号化する方法であり、この方法で符号化される符号化モードを画面内予測符号化モードと呼んでいる。画面間符号化とは、画像フレームを他のフレームの情報を用いて符号化する方法であり、この方法で符号化される符号化モードを画面間予測符号化モードと呼んでいる。
さらに、画面内予測符号化モード、画面間予測符号化モードにおいても、その生成方法によって、多くの種類がある。従って、画像信号を効率的に圧縮するためには、符号化モードを選択する技術が極めて重要な技術となる。

従来においては、画像信号を効率的に圧縮するため、符号化により発生する符号量と符号化して復号した場合の入力画像との違いを測定して、もしくは予測して、符号化モードを選択する。入力画像との違いを表すものとしては、例えば予測誤差信号の絶対差分和や、分散が用いられる。例として、符号化により発生する符号量に応じてモード選択をする方法（特許文献１を参照）や、予測誤差と動きベクトルの符号量を含めた符号化により発生する符号量とにより、予測誤差信号が所定の閾値より小さいモードのうち、最も発生符号量が小さいモードを選択する方法（特許文献２を参照）や、予測誤差信号と矩形小領域単位での発生符号量に応じて最適となるモード選択をする方法（特許文献３を参照）などが知られている。

また、目標とするビットレートに合わせるために、ＭＰＥＧにおいて、量子化精度を符号化の単位である矩形領域毎に変えることが知られており、さらに、発生符号量を調べて、符号化する情報の交流成分を削除する方法（特許文献４を参照）が知られている。
さらに、低ビットレートを実現するために、ＭＰＥＧにおいて、量子化時に直交変換係数に重み付けを行うことが知られており、さらに、直交変換係数の重み付けを途中で打ち切ることで、さらなる符号量の削減を行う方法（特許文献５を参照）が知られている。

ここで、従来の符号化装置および復号装置の構成について、図２０および図２１を用いて説明する。
図２０は、符号化装置６００の構成について説明するブロック図である。
符号化装置６００は、入力画像信号６０１を符号化し、符号化ストリーム６０６を出力する。

予測画像生成部６１０は、入力画像信号６０１の予測画像を生成し、予測画像信号６１３と、予測画像の生成に用いた符号化モード関連情報６１４を出力する。動きベクトル検出部６１１は、予測画像を生成するために、動き検出用画像信号６１２ａを入力し、画像信号内の動きを検出し、動き関連情報６１２ｂを出力する。直交変換部６０３は、入力画像信号６０１と予測画像信号６１３を演算部６０２により減算した差分信号を入力し、係数情報を出力する。量子化部６０４は、係数情報と、量子化制御部６１６から出力される量子化制御信号６１７を入力し、係数情報を量子化した情報を出力する。量子化制御部６１６は、符号量情報６１９を入力し、量子化制御信号６１７を出力する。可変長符号化部６０５は、量子化部６０４により量子化された情報と、符号化モード関連情報６１４を入力し、符号化ストリーム６０６を出力する。逆量子化部６０７は、量子化部６０４により量子化された情報と量子化制御信号６１７とを入力し、逆量子化した係数情報を出力する。逆直交変換部６０８は、逆量子化部６０７から出力される係数情報を入力し、逆直交変換した差分情報を出力する。演算部６０９は、逆直交変換部６０８から出力される差分情報と、予測画像信号６１３を入力し、復号画像信号６１５を出力する。符号量カウンタ６１８は、符号化ストリーム６０６を入力し、符号量情報６１９を出力する。

図２１は、復号装置７００の構成について説明するブロック図である。
可変長復号部７０２は、符号化ストリーム７０１を入力し、復号係数情報７０３、復号量子化制御情報７０４、動き関連情報７０５を出力する。逆量子化部７０６は、復号係数情報７０３と、量子化制御情報７０９を入力し、係数情報７１１を出力する。量子化制御部７０７は、復号量子化制御情報７０４を入力し、量子化制御情報７０９を出力する。逆直交変換部７１２は、係数情報７１１を入力し、差分画像信号７１３を出力する。演算部７１４は、差分画像信号７１３と、動き補償画像信号７１６を入力し、復号画像信号７１９を出力する。動き補償部７１５は、動き関連情報７０５と、特定復号画像信号７１７を入力し、動き補償画像信号７１６と、画像領域指定情報７２０を出力する。画像メモリ７１８は、復号画像信号７１９と、画像領域指定情報７２０を入力し、特定復号画像信号７１７を出力する。
特開平２−２９１８０号公報 特開平９−３２２１７６号公報（第１５図） 特開２００３−１５３２８０号公報 特開平１１−２３４６７７号公報 特許第３２３４８０７号

従来用いられる予測誤差信号のような入力画像と復号画像の違いの大きさは、復号画像を主観的に見た主観画質を正確に反映しているとはいえない、ことが出願人の調査により判明した。これは、主には、人間は画像を見て、画質を判断する際に、入力画像との違いで判断していないためである。このため、入力画像と復号画像の違いのみを判断基準として符号化を行うことは、客観画質の向上に有効であるが、特に低ビットレートでの動画像符号化における主観画質の劣化の一因となっている。

また、発生符号量のみを判断基準とすることについても同様であり、特に低ビットレートでの動画像符号化において、主観画質の劣化の一因となっている。
そこで、本発明では、主観画質の劣化を防ぎつつ、符号量の削減を行うことを課題とする。

この課題を解決するために、下記の手段を用いる。
第１の発明は、動画像のフレーム間の動き情報により動き補償した画像に基づいて予測画像を生成し、入力画像を符号化する動画像符号化方法において、画質劣化予測工程と、符号量配分工程とを備えることを特徴とする動画像符号化方法である。画質劣化予測工程は、フレーム間の動き情報から、符号化画像の画質劣化度合を判断する。符号量配分工程は、画質劣化度合から、符号化により発生する符号量の配分方法を変える。

第２の発明は、予測画像を生成し入力画像を符号化する、動画像符号化方法において、減算工程と、直交変換工程と、係数変調工程と、変調モード選択工程と、量子化工程と、可変長符号化工程とを備えることを特徴とする。減算工程は、入力画像から、予測画像を減算し、差分画像を出力する。直交変換工程は、差分画像を直交変換し、変換係数を出力する。係数変調工程は、変換係数を係数変調し、変調係数を出力する。変調モード選択工程は、係数変調の度合を表す複数の変調モード候補を切り換える。量子化工程は、変調係数を量子化し、量子化情報を出力する。可変長符号化工程は、量子化情報を可変長符号化し、符号化ストリームを出力する。また、係数変調工程は、変換係数の高周波成分を表す係数の値を小さくする係数変調を、係数変調の度合に応じて異なる変調モードによって行う。変調モードは、変調モード候補毎の発生符号量と、変調モード候補毎の入力画像差異量とから決められる。

第３の発明は、符号化された動画像符号化ストリームを復号する、動画像復号方法において、可変長復号工程と、逆量子化工程と、逆直交変換工程と、画質劣化予測工程と、画質改善工程とを備えることを特徴とする。可変長復号工程は、動画像符号化ストリームを可変長復号し、量子化情報と動き情報とを出力する。逆量子化工程は、量子化情報を逆量子化し、変換係数を出力する。逆直交変換工程は、変換係数を逆直交変換する。画質劣化予測工程は、動き情報から、符号化画像の画質劣化度合を判断する。画質改善工程は、画質劣化度合が高い場合には、画質改善を行う。

本発明により、低ビットレートで高画質な符号化ストリームの生成が可能となり、さらに低ビットレートで高画質な復号画像の生成が可能となり、その実用的価値が高い。特に、入力信号との違いではない画質劣化度合の判断を行うため、主観画質の劣化の抑制効果が高い。

以下、本発明の実施の形態について、図１〜図１９を用いて説明する。
（実施の形態１）
図１〜図１２を用いて本発明の第１実施形態としての動画像符号化装置（以下、符号化装置という。）について説明する。
［構成］
図１は、符号化装置１００の構成について説明するブロック図である。

符号化装置１００は、入力画像信号１０１を符号化し、符号化ストリーム１０６を出力する。
予測画像生成部１１０は、入力画像信号１０１の予測画像を生成し、予測画像信号１１３と、予測画像の生成に用いた符号化モード関連情報１１４を出力する。ここで、符号化モード関連情報１１４とは、例えば、入力画像信号１０１の符号化に用いられる符号化モード（画面内予測／画面間予測などの予測画像生成方法を示す情報など）や、予測画像の生成に用いられる動きベクトルを示す情報などである。

動きベクトル検出部１１１は、予測画像を生成するために、動き検出用画像信号１１２ａを入力し、画像信号内の動きを検出し、第１の動き関連情報１１２ｂと、第２の動き関連情報２０３を出力する。
画質劣化予測部２０１は、第２の動き関連情報２０３を入力し、画質劣化の発生度合を予測し、画質劣化予測情報２０２を出力する。画質劣化予測情報２０２については、後述する。

予測画像生成部１１０と動きベクトル検出部１１１と画質劣化予測部２０１とは、符号化モード決定部１２０を構成している。
直交変換部１０３は、入力画像信号１０１と予測画像信号１１３を演算部１０２により減算した差分信号を入力し、係数情報を出力する。量子化部１０４は、係数情報と、量子化制御部１１６から出力される量子化制御信号１１７を入力し、係数情報を量子化した情報を出力する。量子化制御部１１６は、画質劣化予測情報２０２と、符号量情報１１９を入力し、量子化制御信号１１７を出力する。可変長符号化部１０５は、量子化部１０４により量子化された情報と、符号化モード関連情報１１４を入力し、符号化ストリーム１０６を出力する。逆量子化部１０７は、量子化部１０４により量子化された情報と量子化制御信号１１７とを入力し、逆量子化した係数情報を出力する。逆直交変換部１０８は、逆量子化部１０７から出力される係数情報を入力し、逆直交変換した差分情報を出力する。演算部１０９は、逆直交変換部１０８から出力される差分情報と、予測画像信号１１３を入力し、復号画像信号１１５を出力する。符号量カウンタ１１８は、符号化ストリーム１０６を入力し、符号量情報１１９を出力する。

以上の構成において、量子化制御部１１６と量子化部１０４とは、画質劣化予測情報２０２に基づいて、符号化により発生する符号量の配分方法を変える符号量配分器として動作する。なお、符号量の配分とは、例えば、符号化の処理単位毎に符号量を変えて符号化することなどをいう。
図２を用いて、本発明の符号化装置１００を構成する符号化モード決定部１２０の構成について、さらに詳細に説明する。

符号化モード決定部１２０において、予測画像生成部１１０は、画面内予測画像生成部１２１と、画像メモリ１２２と、画面間予測画像生成部１２３と、符号化モード選択部１２５と、により構成される。
画面内予測画像生成部１２１は、画面内予測符号化モードでの予測画像信号を生成するために、画面内予測符号化モード情報１２９により、画面内予測情報１２８を生成する手段である。

画像メモリ１２２は、あらかじめ符号化し、復号した画像信号である復号画像信号１１５を蓄積する手段である。また、画像領域指定情報１３０を入力し、特定復号画像信号１２４を出力する。
画面間予測画像生成部１２３は、画面間予測符号化モードでの予測画像信号を生成するために、画面間予測符号化モード情報１２６により、画面間予測情報１２７を生成する手段である。

符号化モード選択部１２５は、画面内予測情報１２８と、画面間予測情報１２７を取得し、予測画像信号１１３を生成するために、あらかじめ決められた複数の符号化モードの中から、符号化モードを決定する手段である。
動きベクトル検出部１１１は、動き検出用画像信号１１２ａを入力し、第１の動き関連情報１１２ｂと第２の動き関連情報２０３を出力する。

画質劣化予測部２０１は、第２の動き関連情報２０３を入力し、画質劣化予測情報２０２を出力する。
［作用・効果］
符号化装置１００の作用について説明する。
入力画像信号１０１は、演算部１０２と予測画像生成部１１０に入力される。

〔予測画像生成部１１０〕
予測画像生成部１１０では、符号化モード選択部１２５により、符号化するときの符号化モードの候補の情報を得るために、符号化モード情報（１２９，１２６）を出力する。この符号化モードの候補とは、例えば、画面内の画素情報を用いて符号化する画面内符号化モードや、画面間の画素情報の相関関係を利用して符号化する画面間符号化モードなどである。さらに、それぞれの符号化モード毎に、その予測画像の作成方法や、画面を細かく区切るパターンなど複数の処理方法がある。画面を細かく区切るパターンとして、例えば、１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４、４×２、２×４、２×２、２×１、１×２、１×１の矩形領域を複数パターン含むものや、物体の形状に合わせた形状に区切るものなどがある。

それぞれの符号化モードの候補に応じて、符号化モード選択部１２５は次のように作用する。
画面内符号化モードの場合、符号化モード選択部１２５は、まず画像領域指定情報１３０を出力する。画像領域指定情報１３０は、既に符号化が終わっており、画像メモリ１２２内に蓄積されている復号画像信号１１５のうち、画面内予測に必要な画像領域を指定する情報である。画像メモリ１２２は、指定された領域の復号画像信号１１５を特定復号画像信号１２４として、符号化モード選択部１２５に出力する。

次に、符号化モード選択部１２５は、画面内予測符号化モード情報１２９を画面内予測画像生成部１２１に出力する。画面内予測符号化モード情報１２９は、画面内予測符号化を行う際の、予測画像の生成方法と、その生成方法において必要な画像信号である。
画面内予測画像生成部１２１は、入力画像信号１０１と画面内予測符号化モード情報１２９を元に画面内予測情報１２８を生成し、符号化モード選択部１２５に出力する。画面内予測情報１２８は、画面内予測画像生成部１２１で生成した画面内予測画像信号と、入力画像信号１０１と画面内予測画像信号との差異情報から成る。ここで差異情報とは、例えば入力画像信号１０１と画面内予測画像信号との差分信号の絶対値和や、差分信号の二乗和など、入力画像信号１０１と画面内予測画像信号の違いを示す情報である。

画面間符号化モードの場合、符号化モード選択部１２５は、まず、画面内符号化モードと同様に、画像領域指定情報１３０を出力する。画像領域指定情報１３０は、既に符号化が終わっており、画像メモリ１２２内に蓄積されている復号画像信号１１５のうち、画面間予測に必要な画像領域を指定する情報である。画像メモリ１２２は、指定された領域の復号画像信号を特定復号画像信号１２４として、符号化モード選択部１２５に出力する。

次に、符号化モード選択部１２５は、画面間予測符号化モード情報１２６を画面間予測画像生成部１２３に出力する。画面間予測符号化モード情報１２６は、画面間予測符号化を行う際の、予測画像の生成方法と、予測画像の生成に必要な画像信号を含む情報である。例えば、符号化する画像信号に対して、表示順で前にあたる復号画像信号１１５を用いるモードや、表示順で後ろにあたる復号画像信号１１５を用いるモード、さらに両方の復号画像信号１１５を用いるモードなどがある。いずれのモードにしても、符号化モード選択部１２５は、画像領域指定情報１３０で、対応する復号画像を指定し、特定復号画像信号１２４として取得し、画面間予測画像生成部１２３に出力することができる。

画面間予測画像生成部１２３は、入力画像信号１０１と画面間予測符号化モード情報１２６を入力する。このとき、画面間予測符号化モード情報１２６に対応した、予測画像生成のための動き検出用画像信号１１２ａを動きベクトル検出部１１１に出力する。
さらに、画面間予測画像生成部１２３は、第１の動き関連情報１１２ｂと画面間予測符号化モード情報１２６を入力し、画面間予測情報１２７を生成し、符号化モード選択部１２５に出力する。ここで、画面間予測情報１２７は、第１の動き関連情報１１２ｂと画面間予測符号化モード情報１２６とを用いて生成される画面間予測画像信号と、入力画像信号１０１と画面間予測画像信号との差異情報から成る。ここで、差異情報とは、例えば、入力画像信号１０１と画面間予測画像信号との差分信号の絶対値和や、差分信号の二乗和など、入力画像信号１０１と画面間予測画像信号の違いを示す情報である。

〔動きベクトル検出部１１１〕
動きベクトル検出部１１１は、入力した動き検出用画像信号１１２ａを用いて動きを検出する。
この動きベクトル検出部の動作について、図３を用いて詳しく説明する。
入力画像フレームＯＲＧは、符号化しようとするフレームである。参照画像フレームＲＥＦは、既に符号化されて復号化されたフレームであり、入力画像フレームＯＲＧとは、異なる時刻の画像フレームである。

まず、入力画像フレームＯＲＧを符号化する単位の領域に区切る。例えば、図３で示すように、矩形領域に分割してもよい。入力画像ブロックＢＬＫ１は、符号化する単位の領域を示す。
入力画像フレームＯＲＧと参照画像フレームＲＥＦの間の動きを検出するため、入力画像ブロックＢＬＫ１と類似した領域を参照画像フレームＲＥＦの中から探す。この探索時に用いる類似性の判断基準としては、例えば画素差分情報の絶対値和ＳＡＤ（絶対値差分和）や、画素差分情報の二乗和ＳＳＥ（差分二乗和）などがある。参照画像ブロックＢＬＫ２は、最も類似していると判断されたブロックの例である。このとき、入力画像ブロックＢＬＫ１と参照画像ブロックＢＬＫ２の位置関係を表すのが、動きベクトルＭＶである。

動きベクトル検出部１１１は、このように、符号化する領域と、参照する領域の類似性から、動きベクトルを探す作用をする。動きベクトル検出部１１１は、動き検出結果を第１の動き関連情報１１２ｂとして、画面間予測画像生成部１２３に出力し、第２の動き関連情報２０３として、画質劣化予測部２０１に出力する。ここで、第１の動き関連情報１１２ｂは、動きベクトルの情報と、そのとき判断に用いた類似度の情報である。第２の動き関連情報２０３は、動きベクトルの情報である。但し、このとき第１の動き関連情報１１２ｂと同じように、類似度の情報を含んでもよい。

〔画質劣化予測部２０１〕
画質劣化予測部２０１は、動きベクトル検出部１１１の出力である、第２の動き関連情報２０３により、入力画像信号１０１を符号化、復号した場合に復号画質に劣化が生じる可能性について予測し、画質劣化予測情報２０２を出力する。
画質劣化予測部２０１の動作について詳しく説明する。

第２の動き関連情報２０３により、入力画像信号１０１に対する動きベクトルが得られる。次に、動きベクトルの周囲の動きベクトルとの差異度が調べられる。ここで、差異度とは、ある領域内の動きベクトルに対する分散値や、差分二乗和、差分絶対値和などである。また、これらの値は、対象とする動きベクトルからの距離に応じた重みをつけて計算されてもよい。この差異度が大きい場合には、画質劣化が発生する可能性が高いと判断できる。よって、この差異度を画質劣化予測情報２０２として出力する。

図４を用いて、差異度による画質劣化の予測について説明する。
図４に、動きベクトル検出部１１１が、入力画像信号１０１に対して、表示順で前方向と後ろ方向の復号画像信号１１５を参照画像として、動き検出を行う場合を示す。
Ｐ１、Ｐ２が動きベクトル検出部１１１での参照画像フレームであり、Ｐ３は符号化しようとする入力画像フレーム、Ｐ４は画面間予測生成部によって生成される画面間予測画像フレームである。Ｒ１、Ｒ２、Ｒ３、Ｒ４は参照領域、Ｒ５、Ｒ６、Ｒ７は入力画像フレーム内の動き検出対象領域である。また、Ｒ８は、動き検出結果を元に生成される動き補償領域である。画像の表示順は、Ｐ１、Ｐ３、Ｐ２という表示順である。

動きベクトル検出部１１１は、動き検出対象領域Ｒ５、Ｒ６、Ｒ７と類似性の高い領域を、参照画像フレームＰ１、Ｐ２内から探索する。動き検出対象領域Ｒ５に対しては、参照領域Ｒ３、動き検出対象領域Ｒ６に対しては、参照領域Ｒ４、動き検出対象領域Ｒ７に対しては、参照領域Ｒ１とＲ２が、類似性が高い領域として検出される。
これらの動きベクトルにより、画面間予測画像生成部１２３は、画面間予測画像フレームＰ４を生成する。画面間予測画像フレームＰ４の動き補償領域Ｒ８は、入力画像フレームＰ３と異なる領域、すなわち、予測が失敗している領域を含む。これは、動き検出対象領域Ｒ６と対応する参照領域Ｒ３が、Ｒ６と異なる領域を含み、また、動き検出対象領域Ｒ７と対応する参照領域Ｒ４が、Ｒ７と異なる領域を含むためである。これにより、Ｒ６、Ｒ７の領域は、それぞれ別の動きをしていることがわかる。それぞれの領域に、別の動きをしている領域を含んでしまうため、動き補償領域Ｒ８内に入力画像フレームと異なる領域が発生する。動き補償領域Ｒ８は、画面間予測が失敗している領域であるため、符号化時に歪みが発生する可能性が高くなる。

一方、動き検出対象領域Ｒ５は、画面間予測画像フレーム内での予測は失敗していない。これは、動き検出対象領域Ｒ５と対応する参照領域Ｒ１、Ｒ２は、周囲の領域と同じ動きをしているため、同じ動きをしている領域だけで、動き補償ができるためである。
このように、差異度を算出することにより、周囲の領域との動きが同じであるか、異なっているかを判断することができるため、画質劣化の発生を予測することが可能である。

〔符号化モード選択部１２５における符号化モード選択処理〕
次に、符号化モード選択部１２５における処理について詳しく説明する。
符号化モード選択部１２５は、画面内予測符号化モードと画面間予測符号化モードとのそれぞれの候補符号化モード情報を出力し、それぞれの候補符号化モードに対する画面内予測情報１２８と画面間予測情報１２７と符号量情報１１９と画質劣化予測情報２０２を得る。符号量情報１１９は、候補符号化モードで一度符号化して、復号したときの符号量である。

符号化モード選択部１２５は、複数の候補符号化モードに対して発生する符号量Ｒと、復号画像信号１１５と入力画像信号１０１との違いＤと、画質劣化予測情報２０２から得られる画質劣化度合αを元に、判断基準Ｊを算出して、複数の候補符号化モードから符号化に用いる符号化モードを決定する。
判断基準Ｊは、次式（１）で表すことができる。

Ｊ＝α×Ｄ＋λＲ （以下、式（１）という。）
符号化モード選択部１２５では、判断基準Ｊが最も小さい候補符号化モードが、符号化時の符号化モードとして選択される。
ここで、式（１）におけるλ、Ｒ、Ｄ、αについて説明を加える。
λは、後述するように量子化制御部１１６が決定する量子化精度に基づいて決定される変数である。なお、回路規模削減のためλを定数としてもよい。

発生符号量Ｒは、符号量情報１１９である。ここで、発生符号量Ｒは、一度符号化した場合の符号量情報１１９でなくてもよい。この場合には、画面内予測情報１２８と画面間予測情報１２７から推測した値を用いる。例えば、画面間予測情報１２７の動きベクトルや、類似度合を示す値から発生する符号量を推測する。また、画面内予測情報１２８の差分値情報と符号化モード情報から発生する符号量を推測する。これにより、一度符号化する必要がないため、処理が容易になる。

復号画像と入力画像との違いを表すＤは、画面内予測情報１２８の差分値情報と、画面間予測情報１２７の類似度情報である。ここで、復号画像と入力画像との違いを表すＤは、一度符号化した場合の復号画像と入力画像の差分値であってもよい。この場合、正確に符号化モードに対する歪みを評価することができるため、符号化モード選択の精度を高めることができる。

画質劣化度合αは、画質劣化予測情報２０２から得られる値である。より具体的には、画質劣化度合αは、画質劣化予測情報２０２の値と同じ値、あるいは画質劣化予測情報２０２の値に対して単調増加する値である。すなわち、画質劣化度合αは、画質劣化の可能性が大きい場合に大きな値となる。
判断基準Ｊを用いた処理により、以下の効果が得られる。

画質劣化の可能性が低い場合には、画質劣化度合αは小さい値をとる。このため、復号画像と入力画像との違いを表すＤの判断基準Ｊに与える影響は小さくなり、発生符号量Ｒの影響が大きくなる。このため、復号画像が入力画像と異なっている場合であっても、発生符号量Ｒが小さい符号化モードを選択する。これは、画質劣化の可能性が低い部分では、入力画像との違いよりも、発生符号量を抑制することを重視する作用をする。これにより、復号画像内に画質劣化の発生の可能性が低い領域の符号量を削減することができる。

一方、画質劣化の可能性が高い場合には、画質劣化度合αは大きい値をとる。このため、復号画像と入力画像との違いを表すＤの判断基準Ｊに与える影響は大きくなり、発生符号量Ｒの影響が小さくなる。このため、発生符号量Ｒが小さい場合であっても、復号画像が入力画像と近い符号化モードを選択する。これは、画質劣化の可能性が高い部分では、符号量の抑制よりも、入力画像と近い画像に符号化することを重視する作用をする。これにより、復号画像内に画質劣化の発生の可能性が高い領域の画質を改善することができる。

符号化モード選択部１２５の処理手順を図５に示す。
Ｓ３１において、符号化モード選択部１２５は、画面内符号化を仮に行い、発生符号量と、復号画像信号１１５と入力画像信号１０１との相違情報とを取得する。次にＳ３２において、画面内予測の候補符号化モードが他にあれば、Ｓ３１を繰り返す。他になければ、Ｓ３３において、画面間符号化モードで、動き検出、画面間符号化を仮に行い、発生符号量と、復号画像信号１１５と入力画像信号１０１との相違情報とを取得する。次にＳ３４において、Ｓ３３で検出した動き検出結果より、画質劣化度合を予測する。Ｓ３５において、画面間予測の候補符号化モードが他にあれば、Ｓ３３、Ｓ３４を繰り返す。他になければ、Ｓ３５において、式（１）で示した判断基準Ｊにより、符号化モードを決定する。

〔その他各部における作用〕
直交変換部１０３には、入力画像信号１０１と予測画像生成部１１０で生成した予測画像信号１１３を減算した差分信号が入力される。直交変換部１０３では、差分信号を周波数成分に変換する。この変換には、例えば離散コサイン変換（ＤＣＴ）などが用いられる。直交変換部１０３により、直交変換された係数情報は量子化部１０４に入力される。

量子化部１０４では、直交変換された係数情報を量子化する。このとき、量子化制御部１１６による量子化制御信号１１７によって量子化精度を変える。ここで、量子化精度の決定方法については、後述する。量子化部１０４によって量子化された情報は、量子化精度とともに可変長符号化部１０５に入力される。なお、量子化精度は、符号化の単位ごとに付加されるものであってよく、例えば、ブロック毎（マクロブロック毎）に付加される情報であってよい。

可変長符号化部１０５では、量子化された情報を可変長符号化する。可変長符号化とは、情報のエントロピーを利用した情報圧縮手法である。また、可変長符号化部１０５は、予測画像生成部１１０により得られる、符号化モード関連情報１１４も可変長符号化する。可変長符号化部１０５により符号化された符号化ストリーム１０６は、符号量カウンタ１１８に入力される。

符号量カウンタ１１８は、符号化ストリーム１０６の符号量をカウントし、符号量情報１１９として出力する。符号量情報１１９は、量子化制御部１１６と、予測画像生成部１１０に入力される。
量子化制御部１１６では、符号量情報１１９を元に次の画像フレームの符号化時の量子化精度を決める。

このとき、量子化制御部１１６は、直交変換された係数情報の変調を行ってもよい。図６を用いて、係数情報の変調について詳細に説明する。
直交変換部１０３によって直交変換された後の係数情報を、次式（２）に示す計算式により変調する。
Ｑ’（ｘ、ｙ）＝Ｑ（ｘ、ｙ）×１６÷Ｍ（ｘ、ｙ） （以下、式（２）という。）
式（２）では、元の変換係数を、Ｑ（ｘ、ｙ）、変調度合をＭ（ｘ、ｙ）、変調後の係数をＱ’（ｘ、ｙ）で示しており、ｘ、ｙはｘ軸方向、ｙ軸方向の位置を示す。

例えば、元の変換係数Ｑ（ｘ、ｙ）に対して（図６（ａ）参照）、図６（ｄ）の変調度合をかけた場合、変調結果は図６（ｂ）のようになる。また、図６（ｅ）の変調度合をかけた場合、変調結果は図６（ｃ）のようになる。図６（ａ）の係数は、左上が直流成分、右下に行くほど高周波の成分を表す係数である。
ここで、式（２）に示す変調を行うことで、高周波成分の情報を削減することができ、発生する符号量を抑制することができる。例えば図６（ｄ）に示す変調度合より、図６（ｅ）に示す変調度合の方が、より多くの高周波成分を削減できることがわかる。

なお、図６（ｄ）、図６（ｅ）に示した変調度合を、画質劣化予測情報２０２により制御してもよい。画質劣化予測情報２０２により、画質劣化の可能性が高い場合には、変調を行わない、もしくは、変調度合の小さいＭ（ｘ、ｙ）を選択し（例えば、図６（ｄ））、画質劣化の可能性が低い場合には、変調度合の大きいＭ（ｘ、ｙ）を選択する（例えば、図６（ｅ））、もしくは、Ｑ’（ｘ、ｙ）の値を全て０にする、すなわち、変換係数を全て０にする。

これにより、画質劣化が発生しやすい場合には、係数の削減をあまり行わないことで、画質を維持できる。また、画質劣化が発生しにくい場合には、多くの係数の削減を行うことで、発生符号量を削減することが出来る。
なお、量子化制御部１１６で用いられた変調度合の情報（例えば、図６（ｄ）や図６（ｅ）に示すテーブル）は、復号側で画質劣化予測情報から予測されるものであっても良い（（実施の形態２）参照）が、量子化制御部１１６から量子化部１０４を介して出力され、量子化部１０４によって量子化された情報や量子化精度などとともに、可変長符号化部１０５において可変長符号化されるものであってもよい。この時、可変長符号化される変調度合の情報は、図６（ｄ）や図６（ｅ）に示すテーブル形式の情報であってもよいし、予め複数の所定のテーブルが定められている場合には、そのいずれかを特定するための情報であってもよい。

また、量子化制御部１１６が量子化精度を決める場合について説明する。
量子化制御部１１６は、符号量情報１１９により、発生符号量を調べ、符号化ストリームの符号量がターゲットとする値に近くなるように、量子化の精度を切り換える。例えば、発生符号量がターゲットとする値よりも大きい場合には、量子化の精度を低くして、発生符号量がターゲットとする値よりも小さい場合には、量子化の精度を高くする。ここで、「量子化の精度が低い」とは、粗く量子化することを意味し、「量子化の精度が高い」とは、細かく量子化することを意味する。

このとき、画質劣化予測情報２０２により、量子化の精度の切り換え方法を変えてもよい。この場合、画質劣化予測情報２０２により、画質劣化が発生しやすい場合には、量子化の精度を高くする。これにより、歪みの発生を抑制することができるため、画質を改善できる。また、画質劣化が発生しにくい場合には、量子化の精度を低くする。これにより、発生符号量を削減することができる。

この場合、入力画像信号１０１の動きベクトル（第２の動き関連情報２０３）と、量子化精度との関係は、図７に示すようになる。すなわち、画質劣化予測情報２０２が大きい時、すなわち、処理対象のブロックなどの動きベクトルとその周囲のブロックの動きベクトルとの差異度が大きい時（処理対象のブロックが周囲と異なる動きをしている時）、高い量子化精度で量子化が行われる。一方、動きベクトルの差異度が小さい時（処理対象のブロックが周囲と同じ動きをしている時）、低い量子化精度で量子化が行われる。なお、本明細書中では、「周囲」とは、必ずしも対象を取り囲む部分の全てを意味するわけではなく、単に対象の近辺を意味していてもよい。

逆量子化部１０７では、量子化部１０４で量子化した情報を逆量子化する。このとき、量子化制御部１１６で行った量子化制御信号１１７も入力する。逆量子化部１０７では、量子化制御信号１１７を利用して、逆変換を行うことで、係数情報にする。
逆直交変換部１０８は、逆変換された係数情報を逆直交変換することで、差分情報を得る。演算部１０９で、差分情報と、予測画像信号１１３を加えることで、復号画像信号１１５を得る。

以上の処理は、符号化の単位毎、例えば、ブロック毎またはマクロブロック毎に行われても良いし、ピクチャ単位で行われても良い。
図８を用いて、以上の実施の形態で示された符号化装置１００から出力される符号化ストリーム１０６のデータ構造について説明を加える。
図８は、符号化ストリーム１０６に含まれるデータのうち、マクロブロック層のデータ構造をしている。符号化ストリーム１０６は、階層的に構成されている動画像ストリームを含んでおり、階層は、例えば、シーケンス層、ＧＯＰ層、ピクチャ層、スライス層、マクロブロック層、ブロック層などから構成されている。なお、ここに記載した構造は、一例であり、本発明をこの構造に限定するものではない。

マクロブロック層は、マクロブロック毎の動きベクトルＭＶや量子化精度を表す量子化情報などを含むマクロブロックデータＭＢｄと、ブロック毎のデータである差分情報Ｒとを含む。
図８では、マクロブロックＭＢ１〜ＭＢｘが、マクロブロックデータとしての動きベクトルＭＶ１〜ＭＶｘと、差分情報Ｒ１〜Ｒｘとをそれぞれ含むことを示している。

ここで、マクロブロックＭＢｘを処理対象のマクロブロックとし、マクロブロックＭＢ１〜ＭＢ４をマクロブロックＭＢｘの周囲のマクロブロックとする。例えば、マクロブロックＭＢｘと、マクロブロックＭＢ１〜ＭＢ４との位置関係は、図９に示すようなものであり、マクロブロックＭＢ１〜ＭＢ４は、マクロブロックＭＢｘのそれぞれ左上、上、右上、左に配置されるマクロブロックである。

上記実施形態で説明したように、処理対象のマクロブロックＭＢｘに対する処理が行われる際に、画質劣化予測情報が求められる。マクロブロックＭＢ１〜ＭＢ４は、この画質劣化予測情報を求める際に用いられるマクロブロックであるとする。すなわち、マクロブロックＭＢｘに対して画質劣化予測情報が求められる場合には、動きベクトルＭＶｘと、動きベクトルＭＶ１〜ＭＶ４との差異度が求められる。

さらに、差分情報Ｒｘは、画質劣化予測情報に基づいて、量子化が制御された結果として得られる情報であり、原画像と予測画像の差分画像を量子化、符号化した情報である。より具体的には、マクロブロックＭＢｘに対して求められた画質劣化予測情報が大きい（画質劣化が発生しやすい）場合には、量子化精度を高くする、あるいはより小さな変調度合の係数変調を行う（例えば、より高域成分を削減しない変調など）ことにより量子化が行われる。一方、マクロブロックＭＢｘに対して求められた画質劣化予測情報が小さい（画質劣化が発生しにくい）場合には、量子化精度を低くする、あるいはより大きな変調度合の係数変調を行う（例えば、より高域成分を削減する変調など）ことにより量子化が行われる。このため、差分情報Ｒｘの符号量は、画質劣化予測情報の大きさに依存し、画質劣化予測情報が大きくなるほど、発生符号量が大きくなり、画質劣化予測情報が小さくなるほど、発生符号量が小さくなる。

このため、図８に示すデータ構造は、図１０に示すような特徴を有する。すなわち、マクロブロックＭＢｘの差分情報Ｒｘの符号量は、動きベクトルＭＶｘと、動きベクトルＭＶ１〜ＭＶ４との差異度に依存する。言い換えれば、処理対象のマクロブロック（例えば、ＭＢｘ）の差分情報（例えば、Ｒｘ）の符号量は、その周囲のマクロブロック（例えば、ＭＢ１〜ＭＢ４）の動きベクトル（例えば、ＭＶ１〜ＭＶ４）と処理対象のマクロブロックの動きベクトル（例えば、ＭＶｘ）との差異度が大きいほど、大きく、小さいほど、小さい。

また、処理対象のマクロブロックのマクロブロックデータ内の量子化情報の値は、その周囲のマクロブロックの動きベクトルと処理対象のマクロブロックの動きベクトルとの差異度が大きいほど、量子化精度が高いことを示し、小さいほど、量子化精度が低いことを示す。
なお、上記では、一例として、処理対象とするマクロブロックＭＢｘの符号化済みマクロブロックＭＢ１〜ＭＢ４を周囲のマクロブロックとしたが、周囲のマクロブロックの取り方はこれに限るものではない。例えば、さらに広い範囲の符号化済みマクロブロックを用いてもよい。また、一旦動き情報を仮決めすることにより、マクロブロックＭＢｘを取り囲むマクロブロックの全てを周囲の動き情報としてもよい。

この場合、広範囲な動き情報を用いることにより、差分情報Ｒｘの制御性能を向上させることができ、画質を向上することができる。
なお、図８では、全てのマクロブロックが動きベクトルＭＶと差分情報Ｒとを含んでいるが、必ずしも全てのマクロブロックが動きベクトルＭＶと差分情報Ｒとを含まなくてもよい。

例えば、あるマクロブロックの符号化モードがダイレクトモードである場合には、符号化ストリームの構造としては動きベクトルを含まない。この場合には、決められた方式で作られる動きベクトルを周囲の動きベクトルとして用いてもよい。なお、ダイレクトモードとは、画面間符号化でも動きベクトルを所定の決められた方法により作成するため、動きベクトルを送らない方式である。

また、例えば、あるマクロブロックの符号化モードが画面内予測符号化モードである場合、符号化ストリームの構造としては動きベクトルを含まない。この場合には、所定の方法により、周囲の動きとの違いを判断してもよい。より具体的には、例えば、処理対象のマクロブロックの周囲に一定数以上（例えば半分以上）の画面内予測符号化モードのマクロブロックがある場合、処理対象のマクロブロックの動きは、周囲のマクロブロックの動きと異なると判断する。一方、一定数以下の場合には、画面内予測符号化モードのマクロブロックを除いた周囲の動きとの差異度を用いる、もしくは画面内予測符号化モードのマクロブロックの動きが０として、周囲の動きとの差異度を用いる。

また、例えば、あるマクロブロックでは、差分情報Ｒが含まれていなくてもよい。
（実施の形態１の変形例１）
実施の形態１は実用上の範囲内で次のような変形例が考えられる。
符号化モード選択部１２５の処理で、最適な符号化モードを選択する際に、最適な変調係数度合も求めてもよい。

図１１を用いて詳細に説明する。
符号化モード選択部１２５は、Ｓ４０１で、画面内符号化を仮に行い、Ｓ４０２で、画面内符号化時の係数変調度合を切り換え、発生符号量・入力画像相違情報を取得する。Ｓ４０３に示すように、係数変調度合を複数用意し、全ての係数変調度合に対して発生符号量と入力画像相違情報を取得する。

Ｓ４０４で、判断基準が最適となる係数変調度合を求める。このときの判断基準は、式（１）を用いる。ただし、画面内符号化の場合、画質劣化度合を表すαの値が決まらない。この場合、αの値は固定値としてもよい。また、αの値は、表示順の前後の画面間符号化時の動きベクトルから算出してもよい。動画像の前後の動きには相関があるため、画面内符号化の場合でも、画質劣化予測が可能となり、画質の維持、符号量の削減を実現することができる。さらに、式（１）で示される値の最も小さい係数変調度合が保持される。

Ｓ４０５で、全ての画面内符号化モードに対して、Ｓ４０１からＳ４０４を繰り返す。
Ｓ４０６で、動き検出、画面間符号化を仮に行い、Ｓ４０７で、動き検出結果より、画質劣化度合を予測する。Ｓ４０８では、画面間符号化時の係数変調度合を切り替え、発生符号量と入力画像相違情報を取得する。Ｓ４０９は、Ｓ４０３と同様に、係数変調度合を切り換えて、それぞれの発生符号量・入力画像相違情報を取得する。

Ｓ４１０では、Ｓ４０４と同様に、係数変調度合を求める。このときの判断基準は、式（１）を用いる。この式（１）で示される値の最も小さい係数変調度合が保持される。
Ｓ４１１で、全ての画面間符号化モードに対して、Ｓ４０６からＳ４１０を繰り返す。
Ｓ４１２において、Ｓ４０１からＳ４１１において算出した全ての符号化モード、変調度合のなかで、最適なもの、すなわち式（１）の判断基準が小さいものを符号化モードとして、選択する。

この符号化モード選択を行うことで、変調係数度合と符号化モード選択を最適に選択することができ、画質の改善と、符号量の削減を実現することができる。
この場合、符号化モード選択部１２５が求めた係数変調度合は、符号化モード関連情報１１４に含まれて可変長符号化部１０５に入力され、可変長符号化されるものであってもよい。この時、可変長符号化される変調度合の情報は、テーブル形式の情報であってもよいし、予め複数の所定のテーブルが定められている場合には、そのいずれかを特定するための情報であってもよい。

（実施の形態１の変形例２）
実施の形態１は実用上の範囲内で次のような変形例が考えられる。
画質劣化予測情報２０２は、量子化制御に用いなくてもよい。画質劣化予測情報２０２は、符号化モード選択部１２５でのみで用いられるものであってもよい。このようにすることで、回路規模の削減及び、処理量の削減を実現することができる。

（実施の形態１の変形例３）
実施の形態１は実用上の範囲内で次のような変形例が考えられる。
画質劣化予測情報２０２は、符号化モード選択に用いなくてもよい。画質劣化予測情報２０２は、量子化制御部１１６でのみで用いられるものであってもよい。このようにすることで、回路規模の削減及び、処理量の削減を実現することができる。

（実施の形態１の変形例４）
上記実施形態では、符号化ストリームの符号量のターゲットとなる値により、上記実施の形態に説明した処理を行うか否かを切換えてもよい。
このような切換を実現するスイッチＳは、図１２に示すように、符号化装置１００（図１参照）において、動きベクトル検出部１１１と画質劣化予測部２０１との間に備えられる。

さらに、スイッチＳは、ターゲットの符号量が高い時は、ＯＦＦ側を向き、ターゲットの符号量が低い時は、ＯＮ側を向く。これにより、ターゲットの符号量が高い時には、スイッチＳを有する符号化装置１００は、図２０で説明した従来の符号化装置６００と同様に動作し、ターゲットの符号量が低い時には、上記実施の形態で説明した符号化装置１００と同様に動作する。なお、ターゲットの符号量は、図示しない設定部などにより、外部から設定されるものであってよい。

これにより、ターゲットの符号量が高い時には、従来と同等の画質を得ることができるとともに、ターゲットの符号量が低い時には、画質劣化を抑え、従来に比してより良好な画質を得ることができる。
さらに、スイッチＳの状態を表す情報を符号化してもよい。これにより、復号時にスイッチＳの状態に合わせた動作を行うことで、従来に比してより良好な画質を得ることができる。

（実施の形態２）
図１３〜図１４を用いて本発明の第２実施形態としての動画像復号装置（以下、復号装置という。）について説明する。
なお、本実施形態の復号装置は、実施の形態１で説明した符号化装置１００により符号化された符号化ストリームだけでなく、従来の符号化装置により符号化された符号化ストリームを復号する際に用いることも可能である。すなわち、従来の符号化装置との互換性を有している。このため、以下の説明において、「符号化装置」と記載する場合には、符号化装置１００のみを意味する訳ではない。

［構成］
図１３は、復号装置３００の構成について説明するブロック図である。
可変長復号部３０２は、符号化ストリーム３０１を入力し、復号係数情報３０３、復号量子化制御情報３０４、動き関連情報３０５を出力する。逆量子化部３０６は、復号係数情報３０３と、量子化制御情報３０９を入力し、係数情報３１１を出力する。量子化制御部３０７は、復号量子化制御情報３０４と、画質劣化予測情報３１０を入力し、量子化制御情報３０９を出力する。画質劣化予測部３０８は、動き関連情報３０５を入力し、画質劣化予測情報３１０を出力する。逆直交変換部３１２は、係数情報３１１を入力し、差分画像信号３１３を出力する。演算部３１４は、差分画像信号３１３と、動き補償画像信号３１６を入力し、復号画像信号３１９を出力する。動き補償部３１５は、動き関連情報３０５と、特定復号画像信号３１７を入力し、動き補償画像信号３１６と、画像領域指定情報３２０を出力する。画像メモリ３１８は、復号画像信号３１９と、画像領域指定情報３２０を入力し、特定復号画像信号３１７を出力する。

［作用］
次に、復号装置３００の作用について説明する。
可変長復号部３０２は、符号化ストリーム３０１を可変長復号し、復号係数情報３０３と、復号量子化制御情報３０４と、動き関連情報３０５にそれぞれ別々に出力する。
復号係数情報３０３は、符号化装置で差分信号を直交変換、量子化した後の係数情報である。復号量子化制御情報３０４は、符号化装置で、量子化の精度と係数の変調に用いたモードや値を含む情報である。動き関連情報３０５は、符号化装置で、画面間予測符号化モードにおいて、動き補償に用いた動きベクトルの情報である。

画質劣化予測部３０８は、動き関連情報３０５により、画質劣化を予測する。画質劣化の予測方法としては、実施の形態１で説明したものと同じである。画質劣化予測部３０８は、画質劣化が発生する可能性を算出し、画質劣化予測情報３１０として量子化制御部３０７に出力する。画質劣化予測部３０８は復号に用いられる動き関連情報３０５から画質劣化予測情報３１０を生成するため、符号化装置において画質劣化予測情報３１０を符号化する必要がない。

量子化制御部３０７は、画質劣化予測情報３１０と、復号量子化制御情報３０４から、量子化制御情報３０９を生成する。このときの動作手段を、図１４を用いて詳細に説明する。
動き関連情報３０５を含まない符号化モードの場合、図１４（ａ）で示すように、Ｓ５１で、従来と同様、復号量子化制御情報３０４を取得し、Ｓ５２で、その中に含まれる情報から逆変調テーブルを生成し、Ｓ５３において、逆量子化をするための量子化精度情報、逆変調テーブルを含む逆変調制御値を算出し、量子化制御情報３０９を生成するという手順で行う。

逆変調テーブルとは、図６（ｄ）または図６（ｅ）と式（２）で示した変調値を元に戻すために、逆値をかけるテーブルである（以下、この欄において同じ）。
また、動き関連情報３０５を含む符号化モードの場合、図１４（ｂ）で示すように、Ｓ６１で、復号量子化制御情報３０４と画質劣化予測情報３１０を取得し、Ｓ６２で、画質劣化予測情報３１０から、変調情報を予測し、Ｓ６３で、予測した変調情報を元に逆変調テーブルを作成し、Ｓ６４において、逆量子化をするための量子化精度情報、逆変調テーブルを含む逆変調制御値を算出し、量子化制御情報３０９を生成するという手順で行う。

画質劣化予測情報３１０から変調情報を予測する手段としては、あらかじめ決めておいた画質劣化予測情報と変調度合とのテーブルを保持しておくなどの手段が採用される。
また、動き関連情報３０５を含まない符号化モードの場合であっても、図１４（ｂ）で示す手段を用いてもよい。このときは、復号画像の隣接領域の動き関連情報を用いて補間することによって、画質劣化予測情報３１０を取得する。このようにすることで、符号化時の符号量を削減することができ、また、復号時の画質を改善することができる。

以上のように逆変調テーブルを用いることにより、復号装置３００では、差分画像信号３１３における高周波成分を大きくする処理が行われることとなり、復号時の画質を改善することができる。
逆量子化部３０６は、復号係数情報３０３を、量子化制御情報３０９を用いて逆量子化し、差分画像信号３１３を得る。動き補償部３１５は、動き関連情報３０５を取得し、画像領域指定情報３２０を画像メモリ３１８へ出力することで、特定復号画像信号３１７を取得する。さらに、動き補償部３１５は、動き関連情報３０５と、特定復号画像信号３１７を用いて動き補償画像を作成し、動き補償画像信号３１６を出力する。演算部３１４は、差分画像信号３１３と動き補償画像信号３１６を加算し、復号画像信号３１９を出力する。画像メモリ３１８は、復号画像信号３１９を入力し、蓄積する。そこで、画像領域指定情報３２０を受けると、蓄積している復号画像信号３１９のうち指定された特定復号画像信号３１７を動き補償部３１５に出力する。

（実施の形態２の変形例１）
実施の形態２は実用上の範囲内で次のような変形例が考えられる。
画質劣化予測部３０８で予測した、画質劣化予測情報３１０により、図１４（ｂ）で示す手段を用いる範囲を定めてもよい。
例えば、画像メモリ３１８に蓄積する復号画像信号３１９と、画面表示する復号画像信号３１９をそれぞれ別々に用意する場合、画面表示用の復号画像信号３１９を出力する場合には、図１４（ｂ）で示す手段を用い、画像メモリ３１８に蓄積する復号画像信号３１９を出力する場合には、図１４（ａ）で示す手段を用いてもよい。

この場合、画質劣化予測の精度が悪い場合であっても、その影響は、画面表示の１フレームだけになり、次のフレームを復号するときに用いる、画像メモリ３１８内の復号画像信号には、影響しない。
一方、符号化側で画質劣化予測が行われることを前提に符号化されている符号化ストリームである場合、符号化側で予測した、動き補償画像信号と、復号側の動き補償部３１５から得られる動き補償画像信号３１６が異なり、次のフレームの復号画像信号に悪い影響を及ぼすことがある。

この場合、画面表示用の復号画像信号３１９を出力する場合に、図１４（ａ）の手段を、画像メモリ３１８に蓄積する復号画像信号３１９を出力する場合に、図１４（ｂ）の手段をそれぞれ用いてもよい。これにより、次のフレームの復号画像信号の画質を改善することができる。
なお、画面表示用の復号信号と画像メモリ蓄積用の復号信号の両方に、図１４（ｂ）の手段を用いてもよい。

この場合、復号画像信号の生成を一度にすることで、処理量を削減することができる。
また、符号化時に画質劣化予測を行ったかどうかの情報を付加情報として、送っておいてもよい。符号化情報に、符号化側で画質劣化予測が行われたかどうかを示す付加情報が含まれている場合には、その情報に合わせた動作を行う。
その場合、復号時に、図１４（ａ）の手段を用いるか、図１４（ｂ）の手段を用いるかを、付加情報に基づいて判断することができる。これにより、復号画質を改善することができる。例えば、符号化時に画質劣化予測が行われていない場合に上記の処理を加えないことで、上記の処理が適さない場合の復号画質を改善することができる。

また、画質劣化予測情報３１０により画質の劣化が予測される場合、画質の劣化が予測される復号画像の領域に対して平滑化フィルタを適用してもよい。
これにより、復号画像に対して、適切に平滑化フィルタを適用し、復号画質を改善することができる。
（実施の形態２の変形例２）
上記実施の形態では、変調度合は、画質劣化予測情報３１０から作成される（例えば、画質劣化予測情報３１０と変調度合とを関連付けるテーブルを参照するなど）と説明したが、変調度合が符号化されている場合には、変調度合は、変調度合を含む復号量子化制御情報３０４から取得されてもよい。

（実施の形態３）
さらに、上記各実施の形態で示した動画像符号化方法及び動画像復号方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１５は、上記各実施の形態の動画像符号化方法及び動画像復号方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
図１５（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１５（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図１５（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。動画像符号化方法及び動画像復号方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより動画像符号化方法及び動画像復号方法を実現する上記動画像符号化方法及び動画像復号方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
（実施の形態４）
さらにここで、上記実施の形態で示した動画像符号化方法及び動画像復号方法の応用例とそれを用いたシステムを説明する。

図１６は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムｅｘ１００は図１６のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号には上記各実施の形態で示した画像符号化装置あるいは画像復号装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図１７は、上記実施の形態で説明した動画像符号化方法及び動画像復号方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ｅｘ１１５について図１８を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。

電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。

画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。

多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。

次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１９に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションｅｘ４１３の構成は例えば図１８に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した動画像符号化方法及び動画像復号方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
また、上記実施形態で図を用いて説明した符号化装置、復号化装置において、各機能ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。

具体的には、図１や図２における各ブロックは、１チップ化されても良い。この際、画像メモリ１２２は、別体として外部に接続されるものであっても良い。
また、図１３における各ブロックは、１チップ化されても良い。この際、画像メモリ３１８は、別体として外部に接続されるものであっても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、上記実施形態で図を用いて説明した各機能ブロックの処理の一部又は全部は、プログラムにより実現されるものであってもよい。この場合、具体的な処理は、例えば、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

本発明にかかる動画像符号化方法及び動画像復号方法は、低ビットレートで高画質な符号化と復号ができるという効果を有し、蓄積、伝送、通信等における動画像符号化方法及び動画像復号方法などとして有用である。

本発明の符号化装置１００の構成について説明するブロック図（実施の形態１） 本発明の符号化モード決定部１２０の構成について説明するブロック図（実施の形態１） 本発明の動き検出の方法について説明する説明図（実施の形態１） 本発明の画質劣化予測の効果について説明する説明図（実施の形態１） 本発明のモード選択方法について説明するフローチャート（実施の形態１） 本発明の係数変調について説明する説明図（実施の形態１） 動きベクトルと量子化精度との関係を説明する説明図（実施の形態１） 符号化ストリーム１０６のデータ構造を示す図（実施の形態１） マクロブロックの位置関係を説明する説明図（実施の形態１） 動きベクトルと差分情報との関係を説明する説明図（実施の形態１） 変形例としてのモード選択方法について説明するフローチャート（実施の形態１の変形例１） 変形例としての符号化装置の構成について説明するブロック図（実施の形態１） 本発明の復号装置３００の構成を説明するブロック図（実施の形態２） 本発明の画質劣化予測部３１０の動作について説明するフローチャート（実施の形態２） 各実施の形態の動画像符号化方法及び動画像復号方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図（実施の形態３） コンテンツ供給システムの全体構成を示すブロック図（実施の形態４） 動画像符号化方法及び動画像復号方法を用いた携帯電話の例（実施の形態４） 携帯電話のブロック図（実施の形態４） ディジタル放送用システムの例（実施の形態４） 従来の画像符号化方法を実現する符号化装置６００のブロック図（背景技術） 従来の画像復号化方法を実現する復号装置７００のブロック図（背景技術）

符号の説明

１００ 符号化装置
１０１ 入力画像信号
１０２ 演算部
１０３ 直交変換部
１０４ 量子化部
１０５ 可変長符号化部
１０６ 符号化ストリーム
１０７ 逆量子化部
１０８ 逆直交変換部
１０９ 演算部
１１０ 予測画像生成部
１１１ 動きベクトル検出部
１１２ａ 動き検出用画像信号
１１２ｂ 第１の動き関連情報
１１３ 予測画像信号
１１４ 符号化モード関連情報
１１５ 復号画像信号
１１６ 量子化制御部
１１７ 量子化制御信号
１１８ 符号量カウンタ
１１９ 符号量情報
１２０ 符号化モード決定部
１２１ 画面内予測画像生成部
１２２ 画像メモリ部
１２３ 画面間予測画像生成部
１２４ 特定復号画像信号
１２５ 符号化モード選択部
１２６ 画面間予測符号化モード情報
１２７ 画面間予測情報
１２８ 画面内予測情報
１２９ 画面内予測符号化モード情報
１３０ 画像領域指定情報
２０１ 画質劣化予測部
２０２ 画質劣化予測情報
２０３ 第２の動き関連情報
ＯＲＧ 入力画像フレーム
ＲＥＦ 参照画像フレーム
ＢＬＫ１ 入力画像ブロック
ＢＬＫ２ 参照画像ブロック
ＭＶ 動きベクトル
Ｐ１ 参照画像フレーム
Ｐ２ 参照画像フレーム
Ｐ３ 入力画像フレーム
Ｐ４ 画面間予測画像フレーム
Ｒ１ 参照領域
Ｒ２ 参照領域
Ｒ３ 参照領域
Ｒ４ 参照領域
Ｒ５ 動き検出対象領域
Ｒ６ 動き検出対象領域
Ｒ７ 動き検出対象領域
Ｒ８ 動き補償領域
３００ 復号装置
３０１ 符号化ストリーム
３０２ 可変長復号部
３０３ 復号係数情報
３０４ 復号量子化制御情報
３０５ 動き関連情報
３０６ 逆量子化部
３０７ 量子化制御部
３０８ 画質劣化予測部
３０９ 量子化制御情報
３１０ 画質劣化予測情報
３１１ 係数情報
３１２ 逆直交変換部
３１３ 差分画像信号
３１４ 演算部
３１５ 動き補償部
３１６ 動き補償画像信号
３１７ 特定復号画像信号
３１８ 画像メモリ
３１９ 復号画像信号
３２０ 画像領域指定情報
Ｃｓ コンピュータ・システム
ＦＤ フレキシブルディスク
ＦＤＤ フレキシブルディスクドライブ

Claims (25)

1. 動画像のフレーム間の動き情報により動き補償した画像に基づいて予測画像を生成し、入力画像を符号化する動画像符号化方法において、
   前記フレーム間の動き情報から、符号化画像の画質劣化度合を判断する画質劣化予測工程と、
   前記画質劣化度合から、符号化により発生する符号量の配分方法を変える符号量配分工程と、
   を備えることを特徴とする動画像符号化方法。
2. 前記画質劣化予測工程は、前記符号化画像が周囲と異なる動きをする場合に前記画質劣化度合が高いと判断し、前記符号化画像が周囲と同じ動きをする場合に前記画質劣化度合が低いと判断すること、
   を特徴とする請求項１に記載の動画像符号化方法。
3. 前記符号量配分工程は、あらかじめ定められた複数の符号化モード候補から、符号化モードの選択を行う工程であって、
   前記符号化モード候補毎の発生符号量を算出する発生符号量算出工程と、前記符号化モード候補毎の符号化画像と前記入力画像との違いである入力画像差異量を算出する入力画像差異量算出工程と、前記画質劣化度合と前記発生符号量と前記入力画像差異量とに基づいて前記符号化モードの選択を行う符号化モード選択工程とを有すること、
   を特徴とする請求項１または請求項２に記載の動画像符号化方法。
4. 前記符号量配分工程は、前記画質劣化度合が高い場合には、量子化精度を高く設定し、前記画質劣化度合が低い場合には、量子化精度を低く設定する量子化制御工程と、設定された前記量子化精度により、量子化を行う量子化工程とを有すること、
   を特徴とする請求項１または請求項２に記載の動画像符号化方法。
5. 前記符号量配分工程は、前記画質劣化度合が高い場合には、量子化精度を高く設定し、前記画質劣化度合が低い場合には、量子化精度を低く設定する量子化制御工程と、設定された前記量子化精度により、量子化を行う量子化工程とをさらに有し、
   前記符号化モード選択工程は、前記量子化制御工程によって、量子化精度を変えた場合の前記画質劣化度合と前記発生符号量と前記入力画像差異量とに基づいて前記符号化モードの選択を行うこと、
   を特徴とする請求項３に記載の動画像符号化方法。
6. 前記符号量配分工程は、前記画質劣化度合が高いと判断された場合には、符号量の配分を高くし、前記画質劣化度合が低いと判断された場合には、符号量の配分を低くする、
   請求項２に記載の動画像符号化方法。
7. 予測画像を生成し入力画像を符号化する、動画像符号化方法において、
   前記入力画像から、前記予測画像を減算し、差分画像を出力する、減算工程と、
   前記差分画像を直交変換し、変換係数を出力する、直交変換工程と、
   前記変換係数を係数変調し、変調係数を出力する、係数変調工程と、
   前記係数変調の度合を表す複数の変調モード候補を切り換える、変調モード選択工程と、
   前記変調係数を量子化し、量子化情報を出力する、量子化工程と、
   前記量子化情報を可変長符号化し、符号化ストリームを出力する、可変長符号化工程と、
   を備え、
   前記係数変調工程は、前記変換係数の高周波成分を表す係数の値を小さくする係数変調を、前記係数変調の度合に応じて異なる変調モードによって行い、
   前記変調モードは、前記変調モード候補毎の発生符号量と、前記変調モード候補毎の入力画像差異量とから決められること、
   を特徴とする動画像符号化方法。
8. 前記可変長符号化工程は、前記変調モードの選択情報を可変長符号化すること、
   を特徴とする請求項７に記載の動画像符号化方法。
9. 前記係数変調工程は、符号化の処理単位毎に異なる前記変調モードを選択できること、
   を特徴とする請求項７または請求項８に記載の動画像符号化方法。
10. 符号化された動画像符号化ストリームを復号する、動画像復号方法において、
    前記動画像符号化ストリームを可変長復号し、量子化情報と動き情報とを出力する、可変長復号工程と、
    前記量子化情報を逆量子化し、変換係数を出力する、逆量子化工程と、
    前記変換係数を逆直交変換する、逆直交変換工程と、
    前記動き情報から、符号化画像の画質劣化度合を判断する画質劣化予測工程と、
    前記画質劣化度合が高い場合には、画質改善を行う画質改善工程と、
    を備えることを特徴とする動画像復号方法。
11. 前記画質改善工程は、前記逆直交変換工程によって得られる、差分情報の高周波成分を大きくすること、
    を特徴とする請求項１０に記載の動画像復号方法。
12. 前記画質改善工程は、前記画質劣化度合が高い領域の復号画像に平滑化フィルタをかけること、
    を特徴とする請求項１０に記載の動画像復号方法。
13. 動画像のフレーム間の動き情報により動き補償した画像に基づいて予測画像を生成し、入力画像を符号化する動画像符号化装置において、
    前記フレーム間の動き情報から、符号化画像の画質劣化度合を判断する画質劣化予測器と、
    前記画質劣化度合から、符号化により発生する符号量の配分方法を変える符号量配分器と、
    を備え、
    前記画質劣化予測器は、前記符号化画像が周囲と異なる動きをする場合に前記画質劣化度合が高いと判断し、前記符号化画像が周囲と同じ動きをする場合に前記画質劣化度合が低いと判断すること、
    を特徴とする動画像符号化装置。
14. 前記符号量配分器は、前記画質劣化度合が高いと判断された場合には、符号量の配分を高くし、前記画質劣化度合が低いと判断された場合には、符号量の配分を低くする、
    請求項１３に記載の動画像符号化装置。
15. 予測画像を生成し入力画像を符号化する、動画像符号化装置において、
    前記入力画像から、前記予測画像を減算する減算器と、
    前記減算器によって得られる、差分画像を直交変換する直交変換器と、
    前記直交変換器によって得られる、変換係数を係数変調する係数変調器と、
    前記係数変調器によって得られる、変調係数を量子化する量子化器と、
    前記量子化器によって得られる、量子化情報を可変長符号化する可変長符号化器と、
    を備え、
    前記係数変調器は、符号化の処理単位毎に、前記変換係数の高周波成分を表す係数の値を小さくする係数変調を、前記係数変調の度合に応じて異なる変調モードによって行い、
    前記変調モードは、前記係数変調の度合を表す複数の変調モード候補から、前記変調モード候補毎の発生符号量と前記変調モード候補毎の入力画像差異量とに基づいて選択されること、
    を特徴とする動画像符号化装置。
16. 符号化された動画像符号化ストリームを復号する、動画像復号装置において、
    前記動画像符号化ストリームを可変長復号する可変長復号器と、
    前記可変長復号器によって得られる、量子化情報を逆量子化する逆量子化器と、
    前記逆量子化器によって得られる、変換係数を逆直交変換する、逆直交変換器と、
    前記可変長復号器によって得られる動き情報から、符号化画像の画質劣化度合を判断する画質劣化予測器と、
    前記画質劣化度合が高い場合には、画質改善を行う画質改善器と、
    を備えることを特徴とする動画像復号装置。
17. コンピュータにより、動画像符号化を行うための動画像符号化プログラムであって、
    前記動画像符号化プログラムは、
    動画像のフレーム間の動き情報により動き補償した画像に基づいて予測画像を生成し、入力画像を符号化する動画像符号化方法において、
    前記フレーム間の動き情報から、符号化画像の画質劣化度合を判断する画質劣化予測工程と、
    前記画質劣化度合から、符号化により発生する符号量の配分方法を変える符号量配分工程と、
    を備えることを特徴とする動画像符号化方法を、コンピュータに行わせるものであること、
    を特徴とする動画像符号化プログラム。
18. 前記画質劣化予測工程は、前記符号化画像が周囲と異なる動きをする場合に前記画質劣化度合が高いと判断し、前記符号化画像が周囲と同じ動きをする場合に前記画質劣化度合が低いと判断し、
    前記符号量配分工程は、前記画質劣化度合が高いと判断された場合には、符号量の配分を高くし、前記画質劣化度合が低いと判断された場合には、符号量の配分を低くする、
    請求項１７に記載の動画像符号化プログラム。
19. コンピュータにより、動画像符号化を行うための動画像符号化プログラムであって、
    前記動画像符号化プログラムは、
    予測画像を生成し入力画像を符号化する、動画像符号化方法において、
    前記入力画像から、前記予測画像を減算する減算工程と、
    前記減算工程によって得られる、差分画像を直交変換する直交変換工程と、
    前記直交変換工程によって得られる、変換係数を係数変調する係数変調工程と、
    前記係数変調工程によって得られる、変調係数を量子化する量子化工程と、
    前記量子化工程によって得られる、量子化情報を可変長符号化する可変長符号化工程と
    を備え、
    前記係数変調工程は、前記変換係数の高周波成分を表す係数の値を小さくする係数変調を、前記係数変調の度合によって異なる変調モードによって行い、
    前記変調モードは、前記係数変調の度合を表す複数の変調モード候補から、前記変調モード候補毎の発生符号量と前記変調モード候補毎の入力画像差異量とに基づいて選択されること、
    を特徴とする動画像符号化方法を、コンピュータに行わせるものであること、
    を特徴とする動画像符号化プログラム。
20. コンピュータにより、動画像復号を行うための動画像復号プログラムであって、
    前記動画像復号プログラムは、
    符号化された動画像符号化ストリームを復号する、動画像復号方法において、
    前記動画像符号化ストリームを可変長復号する可変長復号工程と、
    前記可変長復号工程によって得られる、量子化情報を逆量子化する逆量子化工程と、
    前記逆量子化工程によって得られる、変換係数を逆直交変換する逆直交変換工程と、
    前記可変長復号工程によって得られる動き情報から、符号化画像の画質劣化度合を判断する画質劣化予測工程と、
    前記画質劣化度合が高い場合には、画質改善を行う画質改善工程と、
    を備えることを特徴とする動画像復号方法を、コンピュータに行わせるものであること、
    を特徴とする動画像復号プログラム。
21. 動画像のフレーム間の動き情報により動き補償した画像に基づいて予測画像を生成し、入力画像を符号化する集積回路装置において、
    前記フレーム間の動き情報から、符号化画像の画質劣化度合を判断する画質劣化予測部と、
    前記画質劣化度合から、符号化により発生する符号量の配分方法を変える符号量配分部と、
    を備え、
    前記画質劣化予測部は、前記符号化画像が周囲と異なる動きをする場合に前記画質劣化度合が高いと判断し、前記符号化画像が周囲と同じ動きをする場合に前記画質劣化度合が低いと判断すること、
    を特徴とする集積回路装置。
22. 前記符号量配分部は、前記画質劣化度合が高いと判断された場合には、符号量の配分を高くし、前記画質劣化度合が低いと判断された場合には、符号量の配分を低くする、
    請求項２１に記載の集積回路装置。
23. 予測画像を生成し入力画像を符号化する、集積回路装置において、
    前記入力画像から、前記予測画像を減算する減算部と、
    前記減算部によって得られる、差分画像を直交変換する直交変換部と、
    前記直交変換部によって得られる、変換係数を係数変調する係数変調部と、
    前記係数変調部によって得られる、変調係数を量子化する量子化部と、
    前記量子化部によって得られる、量子化情報を可変長符号化する可変長符号化部と、
    を備え、
    前記係数変調部は、符号化の処理単位毎に、前記変換係数の高周波成分を表す係数の値を小さくする係数変調を、前記係数変調の度合に応じて異なる変調モードによって行い、
    前記変調モードは、前記係数変調の度合を表す複数の変調モード候補から、前記変調モード候補毎の発生符号量と前記変調モード候補毎の入力画像差異量とに基づいて選択されること、
    を特徴とする集積回路装置。
24. 符号化された動画像符号化ストリームを復号する、集積回路装置において、
    前記動画像符号化ストリームを可変長復号する可変長復号部と、
    前記可変長復号部によって得られる、量子化情報を逆量子化する逆量子化部と、
    前記逆量子化部によって得られる、変換係数を逆直交変換する、逆直交変換部と、
    前記可変長復号部によって得られる動き情報から、符号化画像の画質劣化度合を判断する画質劣化予測部と、
    前記画質劣化度合が高い場合には、画質改善を行う画質改善部と、
    を備えることを特徴とする集積回路装置。
25. 動画像のフレーム間の動き情報により動き補償した画像に基づいて予測画像を生成し入力画像を符号化した符号化ストリームのデータ構造であって、
    入力画像を複数に分割した分割領域毎に生成される情報であって、前記動き情報と、前記入力画像と前記予測画像との差分情報と、を含む処理単位情報を複数含み、
    前記処理単位情報の差分情報の符号量は、前記処理単位情報が含む前記動き情報と周囲の前記処理単位情報が含む前記動き情報との差異に応じた符号量である、
    符号化ストリームのデータ構造。
    
    

Images