JP2007235291A

JP2007235291A - 適応量子化装置及び適応量子化プログラム

Info

Publication number: JP2007235291A
Application number: JP2006051532A
Authority: JP
Inventors: Tomoyuki Shindo; 朋行進藤
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-02-28
Filing date: 2006-02-28
Publication date: 2007-09-13
Anticipated expiration: 2026-02-28
Also published as: US20070201553A1; US8160139B2; JP4529919B2

Abstract

【課題】従来の適応量子化器では、画像のエッジ部と平坦部とを区別することなく、同様の処理を行っているため、エッジ部のモスキートノイズを十分に抑制することができない。【解決手段】原画像アクティビティ検出器１５は、原画像信号のＤＣＴブロック毎にアクティビティを算出し、マクロブロック内にある４個の中の最小の値のアクティビティを原画像アクティビティとして出力する。誤差アクティビティ検出器１６は、入力信号のＤＣＴブロック毎にアクティビティを算出し、マクロブロック内にある４個のアクティビティの平均値を誤差アクティビティとして出力する。補正量制御器１７は、誤差アクティビティと平均アクティビティを比較し、その比較結果を出力する。量子化ステップ補正器１８は、符号量制御回路７で決定された量子化ステップを、原画像アクティビティと比較結果とにより、量子化ステップを補正する。
【選択図】図１

Description

本発明は適応量子化装置及び適応量子化プログラムに係り、特にＭＰＥＧ２（Moving Picture Experts Group phase 2）の符号化方式の符号量制御において、量子化ステップを画像の複雑さや滑らかさを示す係数であるアクティビティに基づいて制御する適応量子化装置及び適応量子化プログラムに関する。

ＴＶ信号などの動画像を高能率に符号化する技術の国際標準として、既にＭＰＥＧ２が規定されている。ＭＰＥＧ２は、動画像を構成する「フレーム」画像を「マクロブロック」と呼ばれる横方向１６画素、縦方向１６画素のブロックに分割し、各マクロブロック単位に、時系列的に前または後に所定の数フレーム離れた参照画像と被符号化画像の間で「動きベクトル」と呼ばれる動き量を求め、この動き量を基に参照画像から被符号化画像を構成する「動き補償予測」技術と、動き補償予測の誤差信号または符号化画像そのものに対して、直交変換の一種であるＤＣＴ（Discrete Cosign Transform;離散コサイン変換）を用いて情報量を圧縮する「変換符号化」技術の２つの画像符号化の要素技術をベースに規定されている。

図３は従来のＭＰＥＧ２による動画像符号化装置の一例のブロック図を示す。また、図４は符号化ピクチャ構造の一例を示す。動き補償予測は、図４に示した符号化ピクチャ構造のように、Ｉピクチャ（フレーム内符号化画像）、Ｐピクチャ（順方向予測符号化画像）、Ｂピクチャ（双方向予測符号化画像）と呼ばれる、予測方法の異なる３種類のピクチャの組み合わせによって符号化が行われる。

図３において、入力映像信号は、減算器１を通してＤＣＴ器２に供給されてＤＣＴが施される。ここで、入力映像信号の１フレームをＩピクチャとして符号化する場合は、ＤＣＴ器２は入力映像信号そのものに対してＤＣＴを施す。また、Ｐピクチャ、あるいはＢピクチャとして符号化する場合は、ＤＣＴ器２は入力映像信号を減算器１で動き補償予測器３からの動き補償予測信号と減算して得られた誤差信号に対して、ＤＣＴを施す。このＤＣＴ器２で得られたＤＣＴ係数に対して量子化器４によって量子化がなされた後に、動きベクトル等のその他の付帯情報と共に可変長符号化が可変長符号化器５でなされ、符号列が「ビットストリーム」としてバッファ６に一時記憶された後に出力される。

この際、バッファ６の充足度（発生符号量）に応じて符号量制御部７で量子化ステップが量子化ステップ補正回路８に出力される。また、入力映像信号である原画像の複雑さや滑らかさを示す係数であるアクティビティがアクティビティ検出器９により計算され、そのアクティビティが量子化ステップ補正回路８に出力される。量子化ステップ補正回路８では、符号量制御部７から入力された量子化ステップを、アクティビティ検出器９からのアクティビティに応じた補正をかけた量子化ステップを生成して、量子化器４に出力してその量子化ステップで量子化させることによって、視覚特性を考慮した適応量子化を実現している。

一方、量子化器４の出力係数は、逆量子化器１０により逆量子化され、更にＩＤＣＴ器１１により逆ＤＣＴ処理されることにより局部復号された後に、加算器１２を介して、ブロック毎にフレームメモリ１３に蓄えられる。フレームメモリ１３からの局部復号画像信号は動き補償予測器３に参照画像信号として供給され、Ｐピクチャ、Ｂピクチャの符号化の際には、ここで入力映像信号に対する動き補償予測処理が施されて得られた動き補償予測信号が減算器１へ供給される一方、加算器１２へ供給される。

このような符号化方式のＭＰＥＧ２は可変長符号化方式であるため、単位時間当たりの発生符号量（ビットレート）は一定ではない。そこで、量子化器４での量子化の際の量子化スケールをマクロブロック単位に適宜変更することにより、所要のビットレートに制御する適応量子化が可能になっている。

視覚特性を考慮した適応量子化を行う従来の適応量子化器としては、ＭＰＥＧ２のＴＭ５（Test Model ５）で採用されたアクティビティの算出方法で算出したアクティビティに基づく適応量子化を行うと共に、画像のエッジ部分を含むマクロブロックのモスキートノイズを抑制する適応量子化器が知られている（例えば、特許文献１参照）。

また、原画像のアクティビティと予測画像のアクティビティを使い、視覚特性を考慮した適応量子化を行う適応量子化器も従来提案されている（例えば、特許文献２参照）。

再公表特許ＷＯ２００２／０８０５７４特開平５−１３７１３２号公報

しかしながら、特許文献１記載の従来の適応量子化器では、画像のエッジ部と平坦部とを区別することなく、同様の処理を行っているため、平坦部よりもエッジ部のモスキートノイズが目立つ場合でも、両方のモスキートノイズを抑制するような制御しかできず、エッジ部のモスキートノイズを十分に抑制することができない。また、特許文献２記載の従来の適応量子化器では、画像のエッジ部のノイズの抑制ができない。

本発明は以上の点に鑑みなされたもので、画像のエッジ部のノイズを抑制し得る適応量子化装置及び適応量子化プログラムを提供することを目的とする。

上記の目的を達成するため、本発明の適応量子化装置は、連続する複数の画像をそれぞれ符号化対象画像信号として順次入力させ、この入力された各符号化対象画像信号の一画面領域を、複数の画素の２次元配列からなるマクロブロックに分割し、この分割した各マクロブロック単位で動き補償予測符号化を行って動き補償予測誤差信号を求める動き補償予測符号化手段と、符号化対象画像信号又は動き補償予測誤差信号を、各マクロブロックを更に小さいブロックに分割した各小ブロック単位で直交変換符号化を行って直交変換係数を求める直交変換符号化手段と、直交変換係数を、各マクロブロック毎に設定される量子化ステップで量子化する量子化手段と、量子化された直交変換係数を可変長符号化して符号化信号を生成する可変長符号化手段と、符号化対象画像信号の各マクロブロックにおける一のマクロブロック内の複数の小ブロックのそれぞれについて、画像の複雑さ及び滑らかさの度合いを示す係数であるアクティビティを算出し、この算出したそれぞれの小ブロックのアクティビティのうち最小の値のアクティビティを、一のマクロブロックの原画像アクティビティとして各マクロブロック毎にそれぞれ検出する、原画像アクティビティ検出手段と、動き補償予測誤差信号の各マクロブロックにおける一のマクロブロック内の複数の小ブロックのそれぞれについてアクティビティを算出し、この算出したそれぞれの小ブロックのアクティビティの一のマクロブロック内の平均値を、一のマクロブロックの誤差アクティビティとして各マクロブロック毎にそれぞれ検出する、誤差アクティビティ検出手段と、各マクロブロック単位で検出されたそれぞれの誤差アクティビティの一画面領域内の平均値を算出し、この算出した平均値を平均誤差アクティビティとし、この平均誤差アクティビティと各マクロブロック単位での誤差アクティビティとをそれぞれ大小比較する比較手段と、比較手段からの比較結果が、誤差アクティビティが平均誤差アクティビティ以上を示したときは、誤差アクティビティが平均誤差アクティビティより小さいことを示したときに比べて、符号化信号の符号量と原画像アクティビティとにより決定される量子化ステップを小さくするように各マクロブロック単位で補正して、この補正した量子化ステップを量子化手段に設定する量子化ステップ補正手段とを有することを特徴とする
また、本発明の適応量子化プログラムは、上記の適応量子化装置を構成する各手段をコンピュータにより実行させることを特徴とする。

本発明の適応量子化装置及び適応量子化プログラムでは、動き補償予測誤差信号から算出したマクロブロック毎の誤差アクティビティと、誤差アクティビティの一画面領域における平均値である平均誤差アクティビティとを大小比較し、誤差アクティビティが平均誤差アクティビティ以上を示す比較結果が得られたときは、誤差アクティビティが平均誤差アクティビティより小さいことを示す比較結果が得られたときに比べて、符号化信号の符号量と原画像アクティビティとにより決定される量子化ステップを小さくするように補正するようにしたため、誤差アクティビティが平均誤差アクティビティ以上である、画像の輝度変化が大きなエッジ部を量子化する時の量子化ステップを小さくすることができる。

本発明によれば、原画像アクティビティに基づいて決定される量子化ステップを、誤差アクティビティが平均誤差アクティビティ以上のときは、平均誤差アクティビティより小さいときに比べて、小さくするように補正することにより、誤差アクティビティが平均誤差アクティビティ以上である画像の輝度変化が大きなエッジ部を量子化する時には量子化ステップを小さくすることができ、これにより、エッジ部のモスキートノイズを抑制することができ、高画質化が図れる。

次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる適応量子化器の一実施の形態のブロック図を示す。同図中、図３と同一構成部分には同一符号を付し、その説明を省略する。

図１において、原画像アクティビティ検出器１５は、入力映像信号（原画像）のマクロブロック単位で動作し、原画像の輝度信号部分を横方向８画素、縦方向８画素のＤＣＴブロック毎にアクティビティを、ＭＰＥＧ２のＴＭ５で採用された公知の方法で算出する。このアクティビティは正の整数であり、画像が平坦である（輝度変化が小さい）ほど値が小さく、輝度変化が大きいものほど値が大きくなる。ここで、マクロブロックは横方向１６画素、縦方向１６画素で構成されるので、上記のアクティビティが４個算出されるが、原画像アクティビティ検出器１５は、その中の最小の値のアクティビティを原画像アクティビティとして出力する。

誤差アクティビティ検出器１６は、減算器１の出力信号（予測誤差信号又は原画像信号）を入力信号として受け、原画像アクティビティ検出器１５と同様にマクロブロック単位で動作し、入力信号の輝度信号部分を横方向８画素、縦方向８画素のＤＣＴブロック毎にアクティビティを算出する。従って、誤差アクティビティ検出器１６でも４個のアクティビティが算出されるが、その平均値を誤差アクティビティとして出力する。後述するように、平坦な画像とエッジ部のある画像とでは上記の平均値が異なるので、画像が平坦であるかエッジ部があるかの判定に用いるためである。

補正量制御器１７は、誤差アクティビティ検出器１６から入力された誤差アクティビティを、１ピクチャ分加算した後マクロブロック数で割り算してピクチャタイプ毎の平均アクティビティを算出して蓄える。ピクチャのエンコード開始時には備えられた平均アクティビティのうち、同一のピクチャタイプのものが、平均アクティビティとして使用される。

そして、補正量制御器１７は、誤差アクティビティ検出器１６から入力された誤差アクティビティが、算出した上記の平均アクティビティ以上の場合には、量子化ステップ補正器１８における補正の範囲を広げるため、フラグＲａｎｇｅｆｌａｇの値を”１”とし、誤差アクティビティが平均アクティビティより小さい場合はフラグＲａｎｇｅＦｌａｇの値を”０”として量子化ステップ補正器１８にフラグＲａｎｇｅＦｌａｇを出力する。

量子化ステップ補正器１８は、符号量制御回路７で決定された量子化ステップを、原画像アクティビティ検出器１５からの原画像アクティビティと、誤差アクティビティ検出器１６からのフラグＲａｎｇｅＦｌａｇとにより、以下のような視覚特性に応じた補正を行う。

ここで、補正量をＮａｃｔ、原画像アクティビティをＯａｃｔ、平均原画像アクティビティをａｖｇ＿ａｃｔとしたとき、まず補正量Ｎａｃｔを次式に基づいて算出する。

Ｎａｃｔ＝（ｋ×Ｏａｃｔ＋avg_act）／（Ｏａｃｔ＋ｋ×avg_act）（１）
（ただし、ｋはＲａｎｇｅＦｌａｇが”１”のとき「４」、”０”のとき「２」とする）
なお、上記の平均原画像アクティビティａｖｇ＿ａｃｔは、原画像アクティビティ検出器１５から入力されたマクロブロック単位の原画像アクティビティを、１ピクチャ分加算した後マクロブロック数で割り算して算出したピクチャ毎の平均アクティビティである。

そして、量子化ステップ補正器１８は、符号量制御回路７により、バッファ６に蓄積された発生符号量に応じて決定された入力量子化ステップをＱｊとしたとき、上記の補正量Ｎａｃｔを用いて補正された、次式で表される出力量子化ステップｍｑｕａｎｔを出力する。

ｍｑｕｎａｔ＝Ｑｊ×Ｎａｃｔ（２）
量子化器１８は量子化ステップ補正器１８から出力された上記の出力量子化ステップｍｑｕａｎｔに基づいて、ＤＣＴ器２からのＤＣＴ係数の量子化を行う。

このような適応量子化を行った場合の例を図２（Ａ），（Ｂ），（Ｃ）と共に説明する。図２（Ａ）〜（Ｃ）において、白い画素の部分は「０」、黒い画素の部分は「１２８」の値を示す。

まず、符号化対象ピクチャがＩピクチャの場合について説明する。この場合は、原画像と予測誤差画像は同一である。従って、４つのＤＣＴブロックｂｌｏｃｋ０、ｂｌｏｃｋ１、ｂｌｏｃｋ２及びｂｌｏｃｋ３からなる原画像の一つのマクロブロックが図２（Ａ）に示すように、全画素「０」の平坦な画像である場合、原画像アクティビティＯａｃｔ＿Ａと、誤差アクティビティＥａｃｔ＿Ａはそれぞれ次のようになる。

原画像アクティビティＯａｃｔ＿Ａ＝１
誤差アクティビティＥａｃｔ＿Ａ＝１
また、原画像のマクロブロックが図２（Ｂ）に示すように、マクロブロックの左斜め上半分（ｂｌｏｃｋ０の全部とｂｌｏｃｋ１及びｂｌｏｃｋ２の左斜め上半分）の各画素の値が「０」、マクロブロックの右斜め下半分（ｂｌｏｃｋ３の全部とｂｌｏｃｋ１及びｂｌｏｃｋ２の右斜め下半分）の各画素の値が「１２８」である、エッジ部のある画像の場合、原画像アクティビティＯａｃｔ＿Ｂと、誤差アクティビティＥａｃｔ＿Ｂはそれぞれ次のようになる。

原画像アクティビティＯａｃｔ＿Ｂ＝１、
誤差アクティビティＥａｃｔ＿Ｂ＝２０１７
（ｂｌｏｃｋ０，３は「０」、ｂｌｏｃｋ１，２は「４０３２」）
このように、図２（Ａ）と図２（Ｂ）の場合、原画像アクティビティが同じ値でも、誤差アクティビティは平坦な画像（図２（Ａ））とエッジ部のある画像（図２（Ｂ））とでは大きく違う値となる。

前述したように、補正量制御器１７は、誤差アクティビティが平均アクティビティ以上の場合には、量子化ステップ補正器１８における補正の範囲を広げるため、フラグＲａｎｇｅｆｌａｇの値を”１”とし、誤差アクティビティが平均アクティビティより小さい場合はフラグＲａｎｇｅＦｌａｇの値を”０”として量子化ステップ補正器１８にフラグＲａｎｇｅＦｌａｇを出力するので、量子化ステップ補正器１８は、誤差アクティビティの平均がＥａｃｔ＿Ｂ以下であれば、図２（Ａ）に示すＩピクチャの原画像入力時は値”０”のＲａｎｇｅＦｌａｇＡにより制御され、図２（Ｂ）に示すＩピクチャの原画像入力時は値”１”のＲａｎｇｅＦｌａｇＢで制御される。

このとき、平均原画像アクティビティａｖｇ＿ａｃｔの値を「２」とすると、図２（Ａ）に示すＩピクチャの原画像入力時の補正量ＮａｃｔＡと、図２（Ｂ）に示すＩピクチャの原画像入力時の補正量ＮａｃｔＢは、それぞれ（１）式から次式の値になる。

ＮａｃｔＡ＝（２×１＋２）／（１＋２×２）＝４／５＝０.８
ＮａｃｔＢ＝（４×１＋２）／（１＋４×２）＝６／９＝０.６６
従って、（２）式より量子化ステップ補正器１８の出力量子化ステップｍｑｕａｎｔは、上記の補正量Ｎａｃｔ（ＮａｃｔＡ，ＮａｃｔＢ）の値に比例するので、量子化器４は量子化ステップ補正器１８により、図２（Ａ）に示した平坦な画像よりも図２（Ｂ）に示したエッジ部のある画像に対する量子化ステップが小さくなるように補正される。

次に、符号化対象ピクチャがＰピクチャあるいはＢピクチャの場合について説明する。この場合は、原画像と予測誤差画像は異なる。平坦な予測画像は誤差が小さく、エッジ部のある予測画像はエッジ周辺に大きな値が出易くなる。図２（Ａ）を平坦な原画像、予測画像、図２（Ｂ）をエッジ部のある原画像、図２（Ｃ）をエッジ部のある画像の予測画像とすると、原画像のマクロブロックが図２（Ａ）の場合の原画像アクティビティＯａｃｔ＿Ａと、誤差アクティビティＥａｃｔ＿Ａはそれぞれ次のようになる。

原画像アクティビティＯａｃｔ＿Ａ＝１、
誤差アクティビティＥａｃｔ＿Ａ＝１
また、原画像のマクロブロックが図２（Ｂ）の場合の原画像アクティビティＯａｃｔ＿Ｂと、誤差アクティビティＥａｃｔ＿Ｂはそれぞれ次のようになる。

原画像アクティビティＯａｃｔ＿Ｂ＝１、
誤差アクティビティＥａｃｔ＿Ｂ＝８９７
（ｂｌｏｃｋ０，３は「０」、ｂｌｏｃｋ１，２は「１７９２」）
このように、図２（Ａ）と図２（Ｂ）の場合、原画像アクティビティが同じ値でも、誤差アクティビティは平坦な画像（図２（Ａ））とエッジ部のある画像（図２（Ｂ））とでは大きく違う値となる。

このＰ、Ｂピクチャの場合も上記のＩピクチャの場合と同様に、量子化ステップ補正器１８は、誤差アクティビティの平均がＥａｃｔ＿Ｂ以下であれば、図２（Ａ）に示す原画像入力時は値”０”のＲａｎｇｅＦｌａｇＡにより制御され、図２（Ｂ）に示す原画像入力時は値”１”のＲａｎｇｅＦｌａｇＢで制御される。

このとき、平均原画像アクティビティａｖｇ＿ａｃｔの値を「２」とすると、図２（Ａ）に示す原画像入力時の補正量ＮａｃｔＡと、図２（Ｂ）に示す原画像入力時の補正量ＮａｃｔＢは、それぞれ（１）式から次式の値になる。

ＮａｃｔＡ＝（２×１＋２）／（１＋２×２）＝４／５＝０.８
ＮａｃｔＢ＝（４×１＋２）／（１＋４×２）＝６／９＝０.６６
従って、（２）式より量子化ステップ補正器１８の出力量子化ステップｍｑｕａｎｔは、上記の補正量Ｎａｃｔ（ＮａｃｔＡ，ＮａｃｔＢ）の値に比例するので、量子化器４はＰ、Ｂピクチャ符号化時も、Ｉピクチャの符号化時と同様に、量子化ステップ補正器１８により、図２（Ａ）に示した平坦な画像よりも図２（Ｂ）に示したエッジ部のある画像に対する量子化ステップが小さくなるように補正される。

一方、マクロブロック全体においては、アクティビティの値が大きい（従来、量子化ステップが大きくなるように補正される）場合においては、Ｉピクチャでは原画像と予測画像が同一なので、誤差アクティビティも大きい値になり、より量子化ステップが大きくなる方向に補正される。Ｐ，Ｂピクチャにおいても、原画像アクティビティが大きな場合、対象が変形、回転等している場合は予測誤差が大きくなり、従来よりも、より量子化ステップが大きくなる方向に補正される。

量子化ステップが大きくなるように補正された場合、より符号量が小さくなり、符号量制御回路７では、そのほかの部分の量子化ステップを小さくするように制御されるので、よりエッジ部分の量子化ステップを小さくすることができ、この結果、エッジ部分のモスキートノイズの抑制ができ、高画質化が図れる。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば、図１に示した装置の各ブロックの機能をコンピュータにより実行させるコンピュータプログラム（適応量子化プログラム）も包含するものである。このコンピュータプログラムは、記録媒体に記録されていて記録媒体を介してコンピュータに取り込まれてもよいし、ネットワークを介して配信されてコンピュータに取り込まれてもよい。

本発明装置の一実施の形態のブロック図である。図１の動作説明用の平坦な原画像、エッジ部のある原画像、エッジ部のある画像の予測画像等の一例を示す図である。従来装置の一例のブロック図である。符号化ピクチャ構造の一例を示す図である。

符号の説明

１減算器
２ＤＣＴ器
３動き補償予測器
４量子化器
５可変長符号化器
６バッファ
７符号量制御回路
１５原画像アクティビティ検出器
１６誤差アクティビティ検出器
１７補正量制御器
１８量子化ステップ補正器

Claims

連続する複数の画像をそれぞれ符号化対象画像信号として順次入力させ、この入力された各符号化対象画像信号の一画面領域を、複数の画素の２次元配列からなるマクロブロックに分割し、この分割した各マクロブロック単位で動き補償予測符号化を行って動き補償予測誤差信号を求める動き補償予測符号化手段と、
前記符号化対象画像信号又は前記動き補償予測誤差信号を、前記各マクロブロックを更に小さいブロックに分割した各小ブロック単位で直交変換符号化を行って直交変換係数を求める直交変換符号化手段と、
前記直交変換係数を、前記各マクロブロック毎に設定される量子化ステップで量子化する量子化手段と、
前記量子化された前記直交変換係数を可変長符号化して符号化信号を生成する可変長符号化手段と、
前記符号化対象画像信号の前記各マクロブロックにおける一のマクロブロック内の複数の前記小ブロックのそれぞれについて、画像の複雑さ及び滑らかさの度合いを示す係数であるアクティビティを算出し、この算出したそれぞれの前記小ブロックのアクティビティのうち最小の値のアクティビティを、前記一のマクロブロックの原画像アクティビティとして各マクロブロック毎にそれぞれ検出する、原画像アクティビティ検出手段と、
前記動き補償予測誤差信号の前記各マクロブロックにおける一のマクロブロック内の複数の前記小ブロックのそれぞれについて前記アクティビティを算出し、この算出したそれぞれの前記小ブロックのアクティビティの前記一のマクロブロック内の平均値を、前記一のマクロブロックの誤差アクティビティとして各マクロブロック毎にそれぞれ検出する、誤差アクティビティ検出手段と、
前記各マクロブロック単位で検出されたそれぞれの前記誤差アクティビティの一画面領域内の平均値を算出し、この算出した平均値を平均誤差アクティビティとし、この平均誤差アクティビティと前記各マクロブロック単位での前記誤差アクティビティとをそれぞれ大小比較する比較手段と、
前記比較手段からの比較結果が、前記誤差アクティビティが前記平均誤差アクティビティ以上を示したときは、前記誤差アクティビティが前記平均誤差アクティビティより小さいことを示したときに比べて、前記符号化信号の符号量と前記原画像アクティビティとにより決定される前記量子化ステップを小さくするように前記各マクロブロック単位で補正して、この補正した量子化ステップを前記量子化手段に設定する量子化ステップ補正手段と
を有することを特徴とする適応量子化装置。
コンピュータを、
連続する複数の画像をそれぞれ符号化対象画像信号として順次入力させ、この入力された各符号化対象画像信号の一画面領域を、複数の画素の２次元配列からなるマクロブロックに分割し、この分割した各マクロブロック単位で動き補償予測符号化を行って動き補償予測誤差信号を求める動き補償予測符号化手段と、
前記符号化対象画像信号又は前記動き補償予測誤差信号を、前記各マクロブロックを更に小さいブロックに分割した各小ブロック単位で直交変換符号化を行って直交変換係数を求める直交変換符号化手段と、
前記直交変換係数を、前記各マクロブロック毎に設定される量子化ステップで量子化する量子化手段と、
前記量子化された前記直交変換係数を可変長符号化して符号化信号を生成する可変長符号化手段と、
前記符号化対象画像信号の前記各マクロブロックにおける一のマクロブロック内の複数の前記小ブロックのそれぞれについて、画像の複雑さ及び滑らかさの度合いを示す係数であるアクティビティを算出し、この算出したそれぞれの前記小ブロックのアクティビティのうち最小の値のアクティビティを、前記一のマクロブロックの原画像アクティビティとして各マクロブロック毎にそれぞれ検出する、原画像アクティビティ検出手段と、
前記動き補償予測誤差信号の前記各マクロブロックにおける一のマクロブロック内の複数の前記小ブロックのそれぞれについて前記アクティビティを算出し、この算出したそれぞれの前記小ブロックのアクティビティの前記一のマクロブロック内の平均値を、前記一のマクロブロックの誤差アクティビティとして各マクロブロック毎にそれぞれ検出する、誤差アクティビティ検出手段と、
前記各マクロブロック単位で検出されたそれぞれの前記誤差アクティビティの一画面領域内の平均値を算出し、この算出した平均値を平均誤差アクティビティとし、この平均誤差アクティビティと前記各マクロブロック単位での前記誤差アクティビティとをそれぞれ大小比較する比較手段と、
前記比較手段からの比較結果が、前記誤差アクティビティが前記平均誤差アクティビティ以上を示したときは、前記誤差アクティビティが前記平均誤差アクティビティより小さいことを示したときに比べて、前記符号化信号の符号量と前記原画像アクティビティとにより決定される前記量子化ステップを小さくするように前記各マクロブロック単位で補正して、この補正した量子化ステップを前記量子化手段に設定する量子化ステップ補正手段と
して機能させることを特徴とする適応量子化プログラム。