JP3774933B2

JP3774933B2 - Image coding apparatus and image coding method

Info

Publication number: JP3774933B2
Application number: JP9555396A
Authority: JP
Inventors: 浩伊藤; 喜子幡野
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1996-04-17
Filing date: 1996-04-17
Publication date: 2006-05-17
Anticipated expiration: 2016-04-17
Also published as: JPH09284766A

Description

【０００１】
【発明の属する技術分野】
この発明は、画像の伝送・蓄積に際して画像の情報量を削減する機能を備えた画像コーデックに関するものである。
【０００２】
【従来の技術】
図９は例えば、ＩＳＯＤＩＳ１０９１８ー１Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ−Ｔ．８１（ＪＰＥＧ）に記載された従来の画像コーデック（エンコーダ）の構成を示すブロック図である。図において、２０はＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）変換器、３０はＤＣＴ変換器２０に接続された量子化器、４０は量子化器３０に接続された可変長符号化器である。図１０は従来の画像コーデツク（デコーダ）の構成を示すブロック図である。図において、７０は可変長復号器、８０は可変長復号器７０に接続された逆量子化器、９０は逆量子化器８０に接続されたＤＣＴ逆変換器である。
【０００３】
次に動作について説明する。ＤＣＴ変換器２０は、入力信号を８×８の２次元ブロックに分割し、式１に従って、入力画像信号ｆ（ｘ、ｙ）（ｘ、ｙ＝０、１、…、７）を変換係数Ｆ（ｕ、ｖ）（ｕ、ｖ＝０、１、…、７）に直交変換する。
【０００４】
【数１】

【０００５】
また、ＤＣＴ逆変換器９０は、式２に従って変換係数Ｆ（ｕ、ｖ）を直交変換し、もとの画像信号ｆ（ｘ、ｙ）を復元する。この時、変換係数の量子化がなければ、逆変換後の信号は、変換前の信号と正確に一致する。
【０００６】
【数２】

【０００７】
式１、式２において、ｕ、ｖはそれぞれ、画像の水平周波数と垂直周波数に対応し、変換係数Ｆ（ｕ、ｖ）は、二次元周波数領域（ｕ、ｖ）における画像信号のスペクトルに対応する。ＤＣＴ変換器２０は信号を周波数成分に分解するアナライザ、ＤＣＴ逆変換器９０は、周波数成分をもとの信号に合成するシンセサイザである。このため、ＤＣＴ変換・逆変換の動作は、信号を複数の帯域に分割し、各帯域をナイキストレートで伝送するサブバンド符号化とみなすことができる。図１１は、このような観点から見た一次元ＤＣＴの動作を示す概念的なブロック図である。図において、３７０〜３７７は変換側のデジタルフィルタ（分解フィルタ）、３８０〜３８７は８：１のデシメータ、３９０〜３９７は１：８のインタポレータ、４００〜４０７は逆変換側のデジタルフィルタ（合成フィルタ）、３０９は加算器である。
【０００８】
図９において、入力信号は、まず分解フィルタ３７０〜３７７により、８個の周波数帯域に分解される。分解フィルタの係数は、ＤＣＴ変換の定義式によって与えられる。次に、分解フィルタの出力は、デシメータ３８０〜３８７において、１／８にリサンプリングされる。リサンプリング後の信号レートはもとの信号レートの１／８になるが、並列に８個の信号を出力するため、全体の信号レートは変わらない。デシメータ３８０〜３８７の出力は変換されたＤＣＴ係数である。インタポレータ３９０〜３９７は、それぞれ、１／８のレートで伝送されたＤＣＴ係数の信号系列に０を補間して、信号レートをもとに戻す。合成フィルタ４００〜４０７は補間された信号系列に逆変換用のフィルタをかける。このフィルタ係数は、ＤＣＴ逆変換の定義より与えられる。この合成フィルタにより、各帯域の信号はもとの信号レートで再生される。これらの信号は加算器３０９で加算され、もとの画像信号に戻る。
【０００９】
図１１において、分解フィルタの特性は理想的でありえないから、ＤＣＴ係数にはリサンプリングによる折返し成分が含まれている。この折返し成分は、合成フィルタ４００〜４０７の出力まで残留し、加算器３０９において互いに打ち消されて０になる。ここで、フィルタ特性が理想的であるとは、信号がサンプリング周波数の１／２以下に厳密に帯域制限されるという意味において用いた。
【００１０】
以上、一次元ＤＣＴの場合を説明したが、二次元ＤＣＴの場合は、分解フィルタ、合成フィルタが二次元フィルタとなり、デシメータ、インターポレータが二次元空間における操作になるだけであり、折り返し成分の混入キャンセルについては、全く同様の議論が成り立つ。
【００１１】
このように、全ての係数が伝送される場合には、係数に含まれる折り返し歪みは互いにキャンセルされて問題とならないが、後述のように、係数の一部が事実上打ち切られると、折り返し成分は再生画像に残留することになる。
【００１２】
ＤＣＴ係数のうち、Ｆ（０、０）は最も低域の周波数に対応しＤＣ係数と呼ばれ、その他の係数はＡＣ係数と呼ばれる。また、一般的な画像信号の性質から、変換後の信号電力は、低域周波数の変換係数に集中する。
【００１３】
次に、量子化器３０は、ＤＣＴ係数の値を、決められた代表値にマッピングし、この代表値に割り当てられた量子化インデックスを出力する。逆量子化器８０は量子化インデックスから代表値を復元する。量子化・逆量子化の動作は、多対一の写像であるから、もとの信号が完全に復元されることはない。量子化において、多数の信号値を少数の代表値に置き換えることにより、信号の情報量（エントロピー）が減少し、他方、真の信号値とその代表値との差は、符号化歪みとして再生画像中に現れる。
【００１４】
ここで、量子化の粗さは、信号レートと符号化歪みのトレードオフで決定される。また、量子化の粗さはＤＣＴ係数毎に最適化され、人間の視覚特性を考慮して、通常、低域の係数は細かく、高域の係数は粗く量子化される。
【００１５】
量子化器３０から出力された量子化インデックスは、可変長符号化器４０において、その生起確率に基づいてエントロピー符号化される。ＤＣ係数は、空間的な冗長性の除去のため、ブロック間の差分を演算し、この差分をハフマン符号等により可変長符号化する。ＡＣ係数は、まず、低域係数から高域係数にかけて二次元的なスキャン（ジグザグスキャン）を行って一次元の信号系列に変換し、ラン（有意信号に先行する０の数）とアンプリチュード（有意信号の値）の組み合わせをハフマン符号等により可変長符号化する。可変長符号はさらに同期信号を付加されて、符号化されたビットストリームとなる。可変長復号器７０は、ビットストリームから同期を回復し、符号化側と反対の操作を行って、もとの量子化インデックスを復元する。可変長符号・復号は可逆符号化であり、伝送エラー以外の誤差は導入されない。
【００１６】
このように、（１）ＤＣＴ変換後の信号電力は低域の変換係数に集中することと、（２）高域の変換係数ほど相対的に粗く量子化されることの二点から、量子化インデックスの分布は、高域の変換係数ほど０に集中する。一定期間（例えば画像の１フレーム期間）常に０に量子化される変換係数を以下無意係数、その他の係数を有意係数と呼ぶことにする。図１２は従来のＤＣＴ変換における有意係数と無意係数を説明するための図である。ここでは、６４個の変換係数のうち、２７個は無意係数となっている。
【００１７】
無意係数は、デコーダにおいて一定値（０）に復号される。無意係数のエントロピーは０であり、何ら符号量が割り当てられていない。しかし、実際には無意係数の電力は０ではなく、この電力は符号化により打ち切られ、伝送されなかったものと考えられる。量子化が十分細かい場合には、無意係数の電力は小さいため、この係数を打ち切ることによる再生画像への影響は少ない。しかし、量子化が粗い場合には、無意係数の電力は無視できなくなり、再生画像に係数の打ち切りによる折り返し歪みが現れる。すなわち、図１１において、各合成フィルタの出力に含まれる折り返し成分が加算器３０９でキャンセルされずに、そのまま出力画像に残留する。
【００１８】
【発明が解決しようとする課題】
従来の画像コーデックは以上のように構成されているので、符号化レートが低い場合や、符号化レートは高くても符号化すべき画像が高域周波数成分を多く含む場合などに、無視できない信号電力が無意係数として打ち切られ、折り返し歪みが発生していた。この折り返し歪みは、再生画像において、ブロック歪みやモスキートノイズとよばれる妨害を引き起こしていた。
【００１９】
この発明は上記のような問題点を解消するためになされたもので、高域係数の打ち切りに起因する折り返し歪みを軽減し、視覚的な妨害が少ない画像コーデックを提供することを目的とする。
【００２０】
【課題を解決するための手段】
この発明に係る画像符号化装置においては、
量子化特性を出力する量子化制御器と、
前記量子化特性により設定されるフィルタ特性に基づいて、入力画像信号を構成する空間周波数から所定の空間周波数を減衰処理する前置きフィルタと、
当該減衰処理された入力画像信号を、当該減衰処理された入力画像信号を構成する空間周波数に対応する変換係数群に変換する変換手段と、
前記量子化特性に基づいて前記変換係数群を量子化処理する量子化手段と、
当該量子化処理された変換係数群を符号化処理し、ビットストリームを出力する符号化手段と
を備え、
前記フィルタ特性は、
前記入力画像信号を構成する空間周波数に対応する変換係数群を、前記量子化特性に基づいて量子化処理した場合に、エントロピーが０となる変換係数に対応する空間周波数を、前記入力画像信号を構成する空間周波数から減衰処理するように設定される
ものである。
【００２４】
【発明の実施の形態】
この発明に係るスペクトル制御手段においては、量子化手段によって量子化された係数群を有意係数と無位係数に分類し、前置フィルタを制御して、有意係数に対応する周波数成分を保存し、無位係数に対応する周波数成分を減衰させるように働く。
【００２５】
また、この発明に係るスペクトル制御手段においては、量子化手段によって量子化された係数群を有意係数と無意係数に分類し、前記前置フィルタを制御して、有意係数に対応する全ての周波数成分を保存する低域通過特性を用いて、無意係数に対応する周波数成分を減衰させるように働く。
【００２６】
さらに、この発明に係るスペクトル制御手段においては、量子化して伝送された係数群を有意係数と無意係数に分類し、前記後置フィルタを制御して、有意係数に対応する周波数成分を保存し、無意係数に対応する周波数成分を減衰させるように働く。
【００２７】
また、この発明に係るスペクトル制御手段においては、量子化して伝送された係数群を有意係数と無意係数に分類し、前記後置フィルタを制御して、有意係数に対応する全ての周波数成分を保存する低域通過特性を用いて、無意係数に対応する周波数成分を減衰させるように働く。
【００２８】
以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１はこの発明の実施の形態１である画像コーデックの構成図である。図において、１１０は遅延器、１０は遅延器１１０に接続された前置フィルタ、２０は前置フィルタ１０に接続された第一の変換器、３０は変換器２０に接続された量子化器、４０は量子化器３０に接続された可変長符号化器、２１は第二の変換器、５０は第二の変換器２１に接続された量子化制御器、６０は量子化制御器５０に接続されたスペクトル制御器である。スペクトル制御器６０の出力は前置フィルタ１０に接続され、量子化制御器５０の他の出力は量子化器３０に接続される。
【００２９】
次に動作について説明する。第一の変換器２０、量子化器３０、可変長符号化器４０の動作は従来例の場合と同じである。符号化されたビットストリームは可変長符号化器４０から出力される。量子化器３０はＮ個（Ｎは整数）の量子化特性を持ち、各変換係数に使用する量子化特性の組み合わせは量子化制御器５０によって制御される。
【００３０】
量子化制御器５０は、可変長符号器４０から出力される信号のビット量が予め決められた目標値と一致し、かつ量子化歪みが最小となるように、量子化器３０における量子化特性の組み合わせを決定する。例えば、各変換係数のレート歪み関数が既知のとき、与えられた符号量のもとで、全体の量子化歪みを最小とする量子化特性の組み合わせの求め方が知られている。これは、まず、全ての変換係数を０に量子化した状態から始めて、最も量子化歪みが減少する係数の量子化特性を一ステップ細かくし、全体のビットレートが目標値となるまでこの操作を繰り返すものである。レート歪み関数は、第二の変換器２１から得られる変換係数の電力とあらかじめ設定された変換係数の確率密度モデルから求められる。
【００３１】
上記した量子化制御の結果、量子化特性が初期状態から変化しない係数は、０（または一定値）に量子化され無意係数となる。スペクトル制御器６０は前置フィルタ１０を制御して、入力信号から無意係数に対応する周波数帯域を減衰させる。なお、遅延器１１０は変換器２１、量子化制御器５０、スペクトル制御器６０における信号の処理時間を補償するためのものである。
【００３２】
図２はこの発明の実施の形態１である画像コーデックにおける前置フィルタの構成図である。図において、１３０〜１３７は垂直フィルタ、１４０〜２１７は垂直フィルタ１３０〜１３７にカスケード接続された水平フィルタ、２２０〜２９７はそれぞれ、水平フィルタ１４０〜２１７に接続されたオンオフスイッチ、３００〜３０７はオンオフスイッチ２２０〜２９７に接続された加算器、３０８はこの加算器３００〜３０７に接続された他の加算器、１１１は入力信号に接続された遅延器、３１０は遅延器１１１と加算器３０８に接続された減算器である。
【００３３】
垂直フィルタ１３０〜１３７は、それぞれ、垂直方向の変換係数に対応する各周波数帯域を選択的に通過させる垂直フィルタであり、１３０はローパスフィルタ（ＬＰＦ）、１３１〜１３７はＢＰＦの特性を持つ。次に、これらの垂直フィルタによって抽出された各周波数成分は、水平フィルタ１４０〜２１７によって、さらに水平方向に帯域制限される。ここで、水平フィルタの特性は、水平方向の変換係数に対応する各周波数帯域を取り出すよう設定されている。従って、ツリー状に構成された二次元フィルタの各枝には、全ての変換係数に対応する二次元の周波数帯域が抽出される。次に、各枝に接続されたオンオフスイッチ２２０〜２９７は、スペクトル制御器６０からの指示に基づいて、無意係数に対応する帯域のフィルタをオンし、有意係数に対応する帯域のフィルタをオフにする。この結果は、加算器３００〜３０８により全て加算される。したがって、加算器３０８の出力には無意係数に対応する全ての周波数成分が抽出されている。この信号は減算器３１０のよりもとの信号から減算されるので、前置フィルタの出力は、結局、原信号から無意係数の周波数帯域を取り除いたものとなる。遅延器１１１は、上記のフィルタ処理にかかる遅延時間を補償するためのものである。
【００３４】
図３はこの発明の実施の形態１および３である画像コーデックの動作を示す説明図であり、スペクトル制御の具体例を示している。図において、斜線を施した周波数領域は無意係数に対応するものであり、この周波数成分が前置フィルタ１０で減衰する。
【００３５】
図１では、量子化制御は入力信号とそのレート歪み関数をもとに行われたが、有意係数と無意係数が判定できる機構があればどのようなものでもよい。図４はこの発明の実施の形態１である他の画像コーデックの構成図であり、詳しくは、エンコーダの出力端に送信バッファを設け、そのバッファ残量によって量子化特性を制御するフィードバック型の量子化制御機能をもつ画像エンコーダである。図において、１１０は遅延器、１０は遅延器１１０に接続された前置フィルタ、２０は前置フィルタ１０に接続された変換器、３０は変換器２０に接続された量子化器、４０は量子化器３０に接続された可変長符号化器、１２０は可変長符号化器４０に接続された送信バッファ、２１は第二の変換器、５０は第二の変換器２１と送信バッファ１２０に接続された量子化制御器、６０は量子化制御器５０に接続されたスペクトル制御器である。スペクトル制御器６０の出力は前置フィルタ１０に接続され、量子化制御器５０の他の出力は量子化器３０に接続される。
【００３６】
図４において、遅延器１１０、前置フィルタ１０、変換器２０、量子化器３０、可変長符号化器４０、第二の変換器２１、スペクトル制御器６０の構成と動作は図１の場合と同様である。送信バッファ１２０は可変長符号化器４０の出力をバッファに書き込み、これを一定レートで読み出す。このバッファの書き込み側は変動レートであり、読み出し側は一定レートであるため、バッファに蓄積されるデータ量（バッファ残量）は時間とともに変化する。量子化制御器５０はバッファ残量をモニタして、バッファが空き状態の時は量子化を細かく、バッファが満ちると量子化を粗くし、バッファ残量が適正な範囲に入るよう量子化を制御する。
【００３７】
量子化制御器５０はまた、第二の変換器２１から変換係数を入力し、その大きさの分布と量子化の粗さから有意係数と無意係数を判定し、その情報をスペクトル制御器６０に送る。スペクトル制御器６０は図１の場合と同様にして、前置フィルタ１０を制御し、無意係数に対応する周波数成分を減衰させる。
【００３８】
なお、上記実施の形態においては、いずれも、量子化器は複数の量子化特性を持ち、出力のビットストリームが一定レートとなるように量子化制御が行われたが、有意係数と無意係数が判別できるものであれば、どのような量子化方法であってもよく、一定の量子化特性を固定的に用いる可変レート型の量子化器でもよい。
【００３９】
実施の形態２．
実施の形態１においては、前置フィルタ１０は各変換係数の空間周波数に対応して任意の周波数帯域を減衰できるように構成した。しかし、構成の簡単のため、有効係数の最高周波数のみを検出し、これを通過帯域幅とするＬＰＦにより入力信号を帯域制限するようにしても、相当の効果が得られる。
【００４０】
図５はこの発明の実施の形態２である画像コーデックにおける前置フィルタの構成図である。図において、１１２は遅延器、３３０〜３３７は水平ＬＰＦ、３２０は遅延器１１２と水平ＬＰＦ３３０〜３３７に接続されたセレクタ、１１３はセレクタ３２０に接続された第二の遅延器、３４０〜３４７はセレクタ３２０に接続された垂直ＬＰＦ、３２１は第二の遅延器１１３と垂直ＬＰＦ３４０〜３４７に接続された第二のセレクタ、１１４は第二のセレクタ３２１に接続された第三の遅延器、３５０〜３６５は第二のセレクタ３２１に接続された二次元ＬＰＦ、３２２は第三の遅延器１１４と二次元ＬＰＦ３５０〜３６５に接続された第三のセレクタである。
【００４１】
水平フィルタ３３０〜３３７は、ＤＣＴ係数に対応して、順に水平周波数の通過帯域が狭くなるように構成されている。スペクトル制御器６０は有意係数の最高周波数を検出して、これを通過させる最も帯域の狭いフィルタが選択されるようセレクタ３２０を制御する。遅延器１１２は水平フィルタ３３０〜３３７における信号遅延を補償するために挿入されている。第二の遅延器１１３、垂直フィルタ３４０〜３４７および第二のセレクタ３２１は、垂直方向に対して同様の処理を行う。第三の遅延器１１４、２次元ＬＰＦ３５０〜３６５および第三のセレクタ３２２は、斜め方向に対して同様の処理を行う。
【００４２】
図６はこの発明の実施の形態２および４である画像コーデックの動作を示す説明図であり、スペクトル制御処理の例を示している。図において、斜線を施した部分は前置フィルタによって減衰する周波数領域を表す。
【００４３】
実施の形態３．
変換係数の一部を打ち切ることによって生じる折り返し歪みは、一方では、図１１における分解フィルタ３７０〜３７７の不完全性によって、他方では合成フィルタ４００〜４０７の不完全性によって生じる。ここで、不完全とは、現実的なフィルタは信号をサンプリング周波数の１／２以下に厳密には帯域制限できないという意味で用いた。分解フィルタに起因する折り返し歪みは、実施の形態１または２に示したように、符号器側に前置フィルタを挿入することにより軽減される。しかし、合成フィルタに起因する折り返し歪みは、復号器側に後置フィルタを挿入しなければ軽減することができない。
【００４４】
図７はこの発明の実施の形態３である画像コーデックの構成図である。図において、７０は可変長復号器、８０は可変長復号器７０に接続された逆量子化器、９０は逆量子化器８０に接続された逆変換器、１００は逆変換器９０に接続された後置フィルタ、６０はスペクトル制御器である。スペクトル制御器６０の出力は後置フィルタ１００に接続される。
【００４５】
次に動作について説明する。可変長復号器７０は、伝送されたビットストリームから変換係数の量子化インデックスを復元する。逆量子化器８０は量子化インデックスを量子化代表値に写像する。逆変換器９０は、量子化代表値を逆変換してもとの画像信号を復元する。後置フィルタ１００は、逆変換器９０から出力される画像信号の周波数スペクトルを整形し、その特性は、スペクトル制御器６０によって制御され、伝送されない不要な周波数成分を取り除くように決められる。また、その構成は例えば図２で与えられる。
【００４６】
スペクトル制御器６０は伝送された変換係数から有意係数と無意係数を判別し、無意係数に対応する周波数成分を減衰させるよう後置フィルタ１００に制御信号を与える。図７において、有意係数と無意係数を判別するための情報はビットストリームに含まれるとした。ビットストリーム中にこの情報がないときには、図８に示すように、可変長復号された変換係数をモニタして無意係数を判定するようにすればよい。図８において、遅延器１１５はこの判定に要する時間遅れを補償するために挿入されている。
【００４７】
実施の形態４．
実施の形態３では、後置フィルタにおいて、無効係数に対応する周波数成分を全て減衰させるようにしたが、有効係数の最高周波数を検出し、この周波数帯を通過帯域とするＬＰＦを用いて、不要な周波数成分を除去するようにしても相当の効果がある。この時、後置フィルタの構成は、例えば、図５で与えられる。
【００４８】
なお、上記全ての実施形態において、変換器２０、２１および逆変換器９０はＤＣＴ変換を行うものとしたが、サブバンドフィルタバンクまたはウェーブレット変換でも同様の効果を奏する。
【００４９】
また、請求項３および４の画像コーデックは、請求項１または請求項２の画像コーデックと組合わせて用いることによって、より厳密に視覚的な劣化を除去する効果がある。
【００５０】
【発明の効果】
この発明は、以上説明したように構成されているので、以下に示すような効果を奏する。
【００５１】
入力画像信号から無意係数に対応する周波数成分を減衰させるようにしたので、不要な信号成分を軽減することができ、視覚的な劣化の少ない画像符号化装置が得られる。
【図面の簡単な説明】
【図１】この発明の実施の形態１である画像コーデックの構成図である。
【図２】この発明の実施の形態１である画像コーデックにおける前置フィルタの構成図である。
【図３】この発明の実施の形態１および３による画像コーデックの動作を示す説明図である。
【図４】この発明の実施の形態１である他の画像コーデックの構成図である。
【図５】この発明の実施の形態２である画像コーデックにおける前置フィルタの構成図である。
【図６】この発明の実施の形態２および４による画像コーデックの動作を示す説明図である。
【図７】この発明の実施の形態３である画像コーデックの構成図である。
【図８】この発明の実施の形態３である他の画像コーデックの構成図である。
【図９】従来の画像コーデック（エンコーダ）の構成を示すブロック図である。
【図１０】従来の画像コーデック（デコーダ）の構成を示すブロック図である。
【図１１】従来のＤＣＴ変換器の動作を示す概念的なブロック図である。
【図１２】従来のＤＣＴ変換における有意係数と無意係数を説明するための図である。
【符号の説明】
１０前置フィルタ、２０，２１変換器、３０量子化器、４０可変長符号化器、５０量子化制御器、６０スペクトル制御器、７０可変長復号器、８０逆量子化器、９０逆変換器、１００後置フィルタ、１１０〜１１５遅延器、１２０バッファ、１３０〜２１７，３３０〜３６５，４００〜４０７フィルタ、２２０〜２９７スイッチ、３００〜３０９加算器、３１０減算器、３２０〜３２２セレクタ、３８０〜３８７デシメータ、３９０〜３９７インタポレータ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image codec having a function of reducing the amount of image information when transmitting and storing images.
[0002]
[Prior art]
FIG. 9 shows, for example, ISO DIS 10918-1 Recommendation-T. It is a block diagram which shows the structure of the conventional image codec (encoder) described in 81 (JPEG). In the figure, 20 is a DCT (Discrete Cosine Transform) converter, 30 is a quantizer connected to the

DCT converter

20, and 40 is a variable length encoder connected to the quantizer 30. FIG. 10 is a block diagram showing the configuration of a conventional image codec (decoder). In the figure, 70 is a variable length decoder, 80 is an inverse quantizer connected to the

variable length decoder

70, and 90 is a DCT inverse transformer connected to the inverse quantizer 80.
[0003]
Next, the operation will be described. The DCT converter 20 divides the input signal into 8 × 8 two-dimensional blocks, and converts the input image signal f (x, y) (x, y = 0, 1,..., 7) according to Equation 1 to a conversion coefficient F. (U, v) (u, v = 0, 1,..., 7) is orthogonally transformed.
[0004]
[Expression 1]

[0005]
Also, the DCT inverse transformer 90 performs orthogonal transform on the transform coefficient F (u, v) according to Equation 2, and restores the original image signal f (x, y). At this time, if the transform coefficient is not quantized, the signal after the inverse transform exactly matches the signal before the transform.
[0006]
[Expression 2]

[0007]
In

Equations

1 and 2, u and v correspond to the horizontal and vertical frequencies of the image, respectively, and the transform coefficient F (u, v) corresponds to the spectrum of the image signal in the two-dimensional frequency domain (u, v). To do. The DCT converter 20 is an analyzer that decomposes a signal into frequency components, and the DCT inverse converter 90 is a synthesizer that synthesizes the frequency components into the original signal. Therefore, the DCT transform / inverse transform operation can be regarded as subband coding in which a signal is divided into a plurality of bands and each band is transmitted by a Nyquist rate. FIG. 11 is a conceptual block diagram showing the operation of the one-dimensional DCT viewed from such a viewpoint. In the figure, 370 to 377 are conversion side digital filters (decomposition filters), 380 to 387 are 8: 1 decimators, 390 to 397 are 1: 8 interpolators, and 400 to 407 are inverse conversion side digital filters (synthesis filters). ) And 309 are adders.
[0008]
In FIG. 9, the input signal is first decomposed into eight frequency bands by the decomposition filters 370 to 377. The coefficient of the decomposition filter is given by the definition formula of the DCT transform. Next, the output of the decomposition filter is resampled to 1/8 in a decimator 380-387. The signal rate after resampling is 1/8 of the original signal rate, but since eight signals are output in parallel, the overall signal rate does not change. The output of decimators 380-387 is the converted DCT coefficient. Each of the interpolators 390 to 397 interpolates 0 to the signal sequence of DCT coefficients transmitted at a rate of 1/8, and restores the signal rate to the original. The synthesis filters 400 to 407 apply an inverse conversion filter to the interpolated signal series. This filter coefficient is given by the DCT inverse transform definition. With this synthesis filter, the signal of each band is reproduced at the original signal rate. These signals are added by an adder 309 and returned to the original image signal.
[0009]
In FIG. 11, since the characteristics of the decomposition filter cannot be ideal, the DCT coefficient includes an aliasing component due to resampling. The aliasing components remain up to the outputs of the synthesis filters 400 to 407 and are canceled by the adder 309 to become zero. Here, the term “ideal filter characteristics” is used in the sense that the signal is strictly band-limited to ½ or less of the sampling frequency.
[0010]
As described above, the case of the one-dimensional DCT has been described. However, in the case of the two-dimensional DCT, the decomposition filter and the synthesis filter are two-dimensional filters, and the decimator and the interpolator are only operations in the two-dimensional space. The same argument holds for mixing cancellation.
[0011]
In this way, when all the coefficients are transmitted, the aliasing distortions included in the coefficients are canceled each other, which is not a problem. However, as described later, when a part of the coefficients is effectively truncated, the aliasing component is It remains in the reproduced image.
[0012]
Of the DCT coefficients, F (0, 0) corresponds to the lowest frequency and is called a DC coefficient, and the other coefficients are called AC coefficients. Also, due to the nature of general image signals, the signal power after conversion is concentrated on the low-frequency conversion coefficients.
[0013]
Next, the quantizer 30 maps the value of the DCT coefficient to the determined representative value, and outputs the quantization index assigned to this representative value. The inverse quantizer 80 restores the representative value from the quantization index. Since the quantization / inverse quantization operation is a many-to-one mapping, the original signal is not completely restored. In quantization, by replacing a large number of signal values with a small number of representative values, the amount of signal information (entropy) is reduced. On the other hand, the difference between the true signal value and the representative value is reproduced as a coding distortion. Appears inside.
[0014]
Here, the roughness of quantization is determined by a trade-off between the signal rate and coding distortion. In addition, the roughness of quantization is optimized for each DCT coefficient, and in consideration of human visual characteristics, the low frequency coefficient is usually fine and the high frequency coefficient is quantized coarsely.
[0015]
The quantization index output from the quantizer 30 is entropy-coded based on the occurrence probability in the variable length encoder 40. For the DC coefficient, a difference between blocks is calculated in order to remove spatial redundancy, and the difference is subjected to variable length coding using a Huffman code or the like. The AC coefficient is first converted into a one-dimensional signal sequence by performing a two-dimensional scan (zigzag scan) from the low-frequency coefficient to the high-frequency coefficient, and the run (number of 0 preceding the significant signal) and amplitude ( The combination of significant signal values) is subjected to variable length coding using a Huffman code or the like. The variable length code is further added with a synchronization signal to form an encoded bit stream. The variable length decoder 70 recovers the synchronization from the bit stream and performs the opposite operation to that on the encoding side to restore the original quantization index. Variable length coding / decoding is lossless coding, and errors other than transmission errors are not introduced.
[0016]
As described above, quantization is performed from two points: (1) the signal power after DCT conversion concentrates on the low-frequency transform coefficients and (2) the higher-frequency transform coefficients are relatively coarsely quantized. The distribution of the index is concentrated at 0 as the conversion coefficient in the high band. A transform coefficient that is always quantized to 0 for a certain period (for example, one frame period of an image) is hereinafter referred to as a random coefficient, and other coefficients are referred to as significant coefficients. FIG. 12 is a diagram for explaining a significant coefficient and an insignificant coefficient in the conventional DCT transform. Here, 27 of the 64 transform coefficients are insignificant coefficients.
[0017]
The random coefficient is decoded to a constant value (0) in the decoder. The entropy of the random coefficient is 0, and no code amount is assigned. However, in reality, the power of the insignificant coefficient is not 0, and it is considered that this power was cut off by encoding and was not transmitted. When the quantization is sufficiently fine, the power of the insignificant coefficient is small, so that the effect on the reproduced image by truncating this coefficient is small. However, when the quantization is rough, the power of the insignificant coefficient cannot be ignored, and aliasing distortion due to the truncation of the coefficient appears in the reproduced image. That is, in FIG. 11, the aliasing component included in the output of each synthesis filter remains in the output image as it is without being canceled by the adder 309.
[0018]
[Problems to be solved by the invention]
Since the conventional image codec is configured as described above, signal power that cannot be ignored when the encoding rate is low or when the image to be encoded contains many high-frequency components even if the encoding rate is high. Was censored as a random coefficient, and aliasing distortion occurred. This aliasing distortion has caused interference called block distortion or mosquito noise in the reproduced image.
[0019]
The present invention has been made to solve the above-described problems, and an object of the present invention is to provide an image codec that reduces aliasing distortion caused by truncation of a high frequency coefficient and has less visual interference.
[0020]
[Means for Solving the Problems]
In the image encoding device according to the present invention,
A quantization controller that outputs quantization characteristics;
Based on the filter characteristic set by the quantization characteristic, a pre-filter that attenuates a predetermined spatial frequency from the spatial frequency constituting the input image signal;
Converting means for converting the attenuated input image signal into a conversion coefficient group corresponding to a spatial frequency constituting the attenuated input image signal;
Quantization means for quantizing the transform coefficient group based on the quantization characteristics;
Encoding means for encoding the quantized transform coefficient group and outputting a bit stream;
With
The filter characteristics are:
When the transform coefficient group corresponding to the spatial frequency constituting the input image signal is quantized based on the quantization characteristic, the spatial frequency corresponding to the transform coefficient having an entropy of 0 is determined as the input image signal. It is set so as to perform attenuation processing from the constituent spatial frequency .
[0024]
DETAILED DESCRIPTION OF THE INVENTION
In the spectrum control means according to the present invention, the coefficient group quantized by the quantization means is classified into a significant coefficient and an incoherent coefficient, the prefilter is controlled, and the frequency component corresponding to the significant coefficient is stored, It works to attenuate the frequency component corresponding to the infinite coefficient.
[0025]
Further, in the spectrum control means according to the present invention, the coefficient group quantized by the quantization means is classified into a significant coefficient and an insignificant coefficient, all the frequency components corresponding to the significant coefficient are controlled by controlling the prefilter. The low-pass characteristic that preserves the frequency component is used to attenuate the frequency component corresponding to the insignificant coefficient.
[0026]
Furthermore, in the spectrum control means according to the present invention, the quantized coefficient group is classified into a significant coefficient and an insignificant coefficient, the post filter is controlled, and the frequency component corresponding to the significant coefficient is stored, It works to attenuate the frequency component corresponding to the random coefficient.
[0027]
In the spectrum control means according to the present invention, the quantized coefficient group is classified into a significant coefficient and an insignificant coefficient, and the post filter is controlled to store all frequency components corresponding to the significant coefficient. The low-pass characteristic is used to attenuate the frequency component corresponding to the random coefficient.
[0028]
Hereinafter, the present invention will be specifically described with reference to the drawings showing embodiments thereof.
Embodiment 1 FIG.
FIG. 1 is a configuration diagram of an image codec according to the first embodiment of the present invention. In the figure, 110 is a delay device, 10 is a pre-filter connected to the

delay device

110, 20 is a first converter connected to the pre-filter 10, 30 is a quantizer connected to the

converter

20, 40 is a variable length encoder connected to the

quantizer

30, 21 is a second converter, 50 is a quantization controller connected to the

second converter

21, and 60 is connected to the quantization controller 50. Spectrum controller. The output of the spectrum controller 60 is connected to the prefilter 10, and the other output of the quantization controller 50 is connected to the quantizer 30.
[0029]
Next, the operation will be described. The operations of the first converter 20, the quantizer 30, and the variable length encoder 40 are the same as in the conventional example. The encoded bit stream is output from the variable length encoder 40. The quantizer 30 has N (N is an integer) quantization characteristics, and a combination of quantization characteristics used for each transform coefficient is controlled by a quantization controller 50.
[0030]
The quantization controller 50 performs quantization characteristics in the quantizer 30 so that the bit amount of the signal output from the variable-length encoder 40 matches a predetermined target value and the quantization distortion is minimized. Determine the combination. For example, when the rate distortion function of each transform coefficient is known, there is known a method of obtaining a combination of quantization characteristics that minimizes the overall quantization distortion under a given code amount. This starts with all the transform coefficients quantized to 0, and then fine-tunes the quantization characteristics of the coefficients with the smallest quantization distortion by one step, and this operation is performed until the overall bit rate reaches the target value. Repeat. The rate distortion function is obtained from the power of the conversion coefficient obtained from the second converter 21 and a preset probability density model of the conversion coefficient.
[0031]
As a result of the above-described quantization control, a coefficient whose quantization characteristic does not change from the initial state is quantized to 0 (or a constant value) and becomes a random coefficient. The spectrum controller 60 controls the prefilter 10 to attenuate the frequency band corresponding to the random coefficient from the input signal. The delay unit 110 is for compensating the signal processing time in the converter 21, the quantization controller 50, and the spectrum controller 60.
[0032]
FIG. 2 is a configuration diagram of a prefilter in the image codec according to the first embodiment of the present invention. In the figure, 130 to 137 are vertical filters, 140 to 217 are horizontal filters cascaded to the vertical filters 130 to 137, 220 to 297 are on / off switches connected to the horizontal filters 140 to 217, and 300 to 307 are on and off. An adder connected to the switches 220 to 297, 308 is another adder connected to the adders 300 to 307, 111 is a delay unit connected to the input signal, and 310 is connected to the delay unit 111 and the adder 308. Subtractor.
[0033]
The vertical filters 130 to 137 are vertical filters that selectively pass each frequency band corresponding to the conversion coefficient in the vertical direction, 130 has a low-pass filter (LPF), and 131 to 137 have BPF characteristics. Next, each frequency component extracted by these vertical filters is further band-limited in the horizontal direction by the horizontal filters 140 to 217. Here, the characteristics of the horizontal filter are set so as to extract each frequency band corresponding to the conversion coefficient in the horizontal direction. Therefore, a two-dimensional frequency band corresponding to all the transform coefficients is extracted from each branch of the two-dimensional filter configured in a tree shape. Next, the on / off switches 220 to 297 connected to each branch turn on the filter of the band corresponding to the insignificant coefficient and turn off the filter of the band corresponding to the significant coefficient based on an instruction from the spectrum controller 60. To do. All the results are added by the adders 300 to 308. Therefore, all frequency components corresponding to the insignificant coefficient are extracted from the output of the adder 308. Since this signal is subtracted from the original signal from the subtractor 310, the output of the prefilter is the result of removing the frequency band of the insignificant coefficient from the original signal. The delay device 111 is for compensating for the delay time required for the filter processing.
[0034]
FIG. 3 is an explanatory diagram showing the operation of the image codec according to the first and third embodiments of the present invention, and shows a specific example of spectrum control. In the figure, the hatched frequency region corresponds to a random coefficient, and this frequency component is attenuated by the pre-filter 10.
[0035]
In FIG. 1, the quantization control is performed based on the input signal and its rate distortion function. However, any mechanism may be used as long as it has a mechanism capable of determining the significant coefficient and the insignificant coefficient. FIG. 4 is a configuration diagram of another image codec according to the first embodiment of the present invention. Specifically, a feedback buffer is provided in which a transmission buffer is provided at the output end of the encoder and the quantization characteristic is controlled by the remaining amount of the buffer. This is an image encoder having a control function. In the figure, 110 is a delay unit, 10 is a prefilter connected to the

delay unit

110, 20 is a converter connected to the

prefilter

10, 30 is a quantizer connected to the

converter

20, and 40 is a quantum. The variable length encoder connected to the

encoder

30, 120 is a transmission buffer connected to the

variable length encoder

40, 21 is a second converter, and 50 is connected to the second converter 21 and the transmission buffer 120. The quantized controller 60 is a spectrum controller connected to the quantized controller 50. The output of the spectrum controller 60 is connected to the prefilter 10, and the other output of the quantization controller 50 is connected to the quantizer 30.
[0036]
4, the configurations and operations of the delay unit 110, the prefilter 10, the converter 20, the quantizer 30, the variable length encoder 40, the second converter 21, and the spectrum controller 60 are the same as those in FIG. It is the same. The transmission buffer 120 writes the output of the variable length encoder 40 into the buffer, and reads it out at a constant rate. Since the writing side of the buffer has a variable rate and the reading side has a constant rate, the amount of data accumulated in the buffer (buffer remaining amount) changes with time. The quantization controller 50 monitors the remaining amount of the buffer, finely quantizes when the buffer is empty, coarsens the quantization when the buffer is full, and controls the quantization so that the remaining amount of the buffer falls within an appropriate range. To do.
[0037]
The quantization controller 50 also receives a conversion coefficient from the second converter 21, determines a significant coefficient and an insignificant coefficient from the size distribution and the roughness of the quantization, and sends the information to the spectrum controller 60. send. As in the case of FIG. 1, the spectrum controller 60 controls the prefilter 10 to attenuate the frequency component corresponding to the insignificant coefficient.
[0038]
In each of the above embodiments, the quantizer has a plurality of quantization characteristics and the quantization control is performed so that the output bit stream has a constant rate. Any quantization method can be used as long as it can be discriminated, and a variable rate type quantizer using fixed quantization characteristics fixedly may be used.
[0039]
Embodiment 2. FIG.
In the first embodiment, the prefilter 10 is configured to be able to attenuate an arbitrary frequency band corresponding to the spatial frequency of each transform coefficient. However, for the sake of simplicity, a considerable effect can be obtained even if only the highest frequency of the effective coefficient is detected and the input signal is band-limited by the LPF using this as the pass bandwidth.
[0040]
FIG. 5 is a configuration diagram of a prefilter in the image codec according to the second embodiment of the present invention. In the figure, 112 is a delay unit, 330 to 337 are horizontal LPFs, 320 is a selector connected to the

delay units

112 and 330 to 337, 113 is a second delay unit connected to the

selector

320, and 340 to 347 are selectors. 320, a vertical LPF connected to 320, 321 is a second selector 113 and a second selector connected to the vertical LPFs 340 to 347, 114 is a third delay connected to the

second selector

321, and 350 to 365 Is a two-dimensional LPF connected to the

second selector

321, and 322 is a third selector connected to the third delay unit 114 and the two-dimensional LPFs 350 to 365.
[0041]
The horizontal filters 330 to 337 are configured such that the horizontal frequency passband becomes narrower in order corresponding to the DCT coefficient. The spectrum controller 60 detects the highest frequency of the significant coefficient, and controls the selector 320 so that the narrowest filter through which it passes is selected. The delay unit 112 is inserted in order to compensate for the signal delay in the horizontal filters 330 to 337. The second delay device 113, the vertical filters 340 to 347, and the second selector 321 perform the same processing in the vertical direction. The third delay unit 114, the two-dimensional LPFs 350 to 365, and the third selector 322 perform the same processing in the oblique direction.
[0042]
FIG. 6 is an explanatory diagram showing the operation of the image codec according to the second and fourth embodiments of the present invention, and shows an example of spectrum control processing. In the figure, the hatched portion represents a frequency region that is attenuated by the prefilter.
[0043]
Embodiment 3 FIG.
The aliasing caused by truncating a part of the transform coefficient is caused on the one hand by imperfections of the decomposition filters 370 to 377 in FIG. 11 and on the other hand by imperfections of the synthesis filters 400 to 407. Here, incomplete is used in the sense that a realistic filter cannot strictly limit the band of a signal to 1/2 or less of the sampling frequency. As shown in the first or second embodiment, the aliasing distortion caused by the decomposition filter is reduced by inserting a pre-filter on the encoder side. However, aliasing distortion caused by the synthesis filter cannot be reduced unless a post filter is inserted on the decoder side.
[0044]
FIG. 7 is a configuration diagram of an image codec according to the third embodiment of the present invention. In the figure, 70 is a variable length decoder, 80 is an inverse quantizer connected to the

variable length decoder

70, 90 is an inverse transformer connected to the

inverse quantizer

80, and 100 is connected to an inverse transformer 90. A post filter 60 is a spectrum controller. The output of the spectrum controller 60 is connected to the post filter 100.
[0045]
Next, the operation will be described. The variable length decoder 70 restores the quantization index of the transform coefficient from the transmitted bit stream. The inverse quantizer 80 maps the quantization index to the quantized representative value. The inverse transformer 90 restores the original image signal by inversely transforming the quantized representative value. The post filter 100 shapes the frequency spectrum of the image signal output from the inverse converter 90, and its characteristics are controlled by the spectrum controller 60, and are determined so as to remove unnecessary frequency components that are not transmitted. The configuration is given in FIG. 2, for example.
[0046]
The spectrum controller 60 discriminates the significant coefficient and the insignificant coefficient from the transmitted conversion coefficient, and gives a control signal to the post filter 100 so as to attenuate the frequency component corresponding to the insignificant coefficient. In FIG. 7, it is assumed that information for discriminating between the significant coefficient and the insignificant coefficient is included in the bitstream. When this information is not present in the bitstream, the insignificant coefficient may be determined by monitoring the transform coefficient that has been subjected to variable length decoding, as shown in FIG. In FIG. 8, a delay unit 115 is inserted to compensate for the time delay required for this determination.
[0047]
Embodiment 4 FIG.
In the third embodiment, in the post filter, all frequency components corresponding to the invalid coefficient are attenuated, but the highest frequency of the effective coefficient is detected, and it is not necessary to use an LPF having this frequency band as a pass band. Even if such a frequency component is removed, there is a considerable effect. At this time, the configuration of the post filter is given, for example, in FIG.
[0048]
In all the above embodiments, the

converters

20 and 21 and the inverse converter 90 perform DCT conversion. However, the same effect can be obtained by subband filter bank or wavelet conversion.
[0049]
In addition, the image codec according to claims 3 and 4 has an effect of removing visual deterioration more strictly by being used in combination with the image codec according to claim 1 or claim 2.
[0050]
【The invention's effect】
Since the present invention is configured as described above, the following effects can be obtained.
[0051]
Having the input image signal so as to attenuate frequency components corresponding to the insignificant coefficients, it is possible to reduce unnecessary signal components, visual degradation less image encoding device can be obtained.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an image codec according to a first embodiment of the present invention.
FIG. 2 is a configuration diagram of a prefilter in the image codec according to the first embodiment of the present invention.
FIG. 3 is an explanatory diagram showing an operation of the image codec according to the first and third embodiments of the present invention.
FIG. 4 is a configuration diagram of another image codec according to the first embodiment of the present invention.
FIG. 5 is a configuration diagram of a pre-filter in an image codec that is Embodiment 2 of the present invention.
FIG. 6 is an explanatory diagram showing an operation of the image codec according to the second and fourth embodiments of the present invention.
FIG. 7 is a configuration diagram of an image codec according to a third embodiment of the present invention.
FIG. 8 is a configuration diagram of another image codec according to the third embodiment of the present invention.
FIG. 9 is a block diagram illustrating a configuration of a conventional image codec (encoder).
FIG. 10 is a block diagram showing a configuration of a conventional image codec (decoder).
FIG. 11 is a conceptual block diagram illustrating the operation of a conventional DCT converter.
FIG. 12 is a diagram for explaining a significant coefficient and an insignificant coefficient in the conventional DCT transform.
[Explanation of symbols]
10 Prefilter, 20, 21 Converter, 30 Quantizer, 40 Variable Length Encoder, 50 Quantization Controller, 60 Spectrum Controller, 70 Variable Length Decoder, 80 Inverse Quantizer, 90 Inverse Converter , 100 post filter, 110 to 115 delay device, 120 buffer, 130 to 217, 330 to 365, 400 to 407 filter, 220 to 297 switch, 300 to 309 adder, 310 subtractor, 320 to 322 selector, 380 to 380 387 decimator, 390-397 interpolator.

Claims

A quantization controller that outputs quantization characteristics;
Based on the filter characteristic set by the quantization characteristic, a pre-filter that attenuates a predetermined spatial frequency from the spatial frequency constituting the input image signal;
Converting means for converting the attenuated input image signal into a conversion coefficient group corresponding to a spatial frequency constituting the attenuated input image signal;
Quantization means for quantizing the transform coefficient group based on the quantization characteristics;
Encoding means for encoding the quantized transform coefficient group and outputting a bit stream;
With
The filter characteristics are:
When the transform coefficient group corresponding to the spatial frequency constituting the input image signal is quantized based on the quantization characteristic, the spatial frequency corresponding to the transform coefficient having an entropy of 0 is determined as the input image signal. An image encoding device that is set so as to perform attenuation processing from a spatial frequency to be configured .

A quantization controller that outputs quantization characteristics;
Based on the filter characteristic set by the quantization characteristic, a pre-filter that attenuates a predetermined spatial frequency from the spatial frequency constituting the input image signal;
Converting means for converting the attenuated input image signal into a conversion coefficient group corresponding to a spatial frequency constituting the attenuated input image signal;
Quantization means for quantizing the transform coefficient group based on the quantization characteristics;
Encoding means for encoding the quantized transform coefficient group and outputting a bit stream;
With
The filter characteristics are:
When a transform coefficient group corresponding to a spatial frequency constituting the input image signal is quantized based on the quantization characteristic, a transform coefficient having an entropy other than 0 is detected,
Among the detected conversion coefficients, the passband is set based on the conversion coefficient corresponding to the highest spatial frequency,
The image encoding device , wherein a spatial frequency higher than the passband is set to attenuate from a spatial frequency constituting the input image signal .

A transmission buffer for storing the bit stream,
The quantization characteristic, the image encoding apparatus according braking to <br/> claim 1 or 2 is your based on remaining buffer capacity of the transmission buffer.

A quantization control step for outputting a quantization characteristic;
A filtering step for attenuating a predetermined spatial frequency from a spatial frequency constituting the input image signal based on a filter characteristic set by the quantization characteristic;
A conversion step of converting the attenuated input image signal into a conversion coefficient group corresponding to a spatial frequency constituting the attenuated input image signal;
A quantization step of quantizing the transform coefficient group based on the quantization characteristics;
An encoding step of encoding the quantized transform coefficient group and outputting a bit stream;
With
The filter characteristics are:
When the transform coefficient group corresponding to the spatial frequency constituting the input image signal is quantized based on the quantization characteristic, the spatial frequency corresponding to the transform coefficient having an entropy of 0 is determined as the input image signal. Set to attenuate from the spatial frequency
Image coding method.

A quantization control step for outputting a quantization characteristic;
A filtering step for attenuating a predetermined spatial frequency from a spatial frequency constituting the input image signal based on a filter characteristic set by the quantization characteristic;
A conversion step of converting the attenuated input image signal into a conversion coefficient group corresponding to a spatial frequency constituting the attenuated input image signal;
A quantization step of quantizing the transform coefficient group based on the quantization characteristics;
An encoding step of encoding the quantized transform coefficient group and outputting a bit stream;
With
The filter characteristics are:
When a transform coefficient group corresponding to a spatial frequency constituting the input image signal is quantized based on the quantization characteristic, a transform coefficient having an entropy other than 0 is detected,
Among the detected conversion coefficients, the passband is set based on the conversion coefficient corresponding to the highest spatial frequency,
A spatial frequency higher than the passband is set to attenuate from the spatial frequency constituting the input image signal.
Image coding method.

An accumulating step for accumulating the bitstream;
The quantization characteristic is controlled based on an accumulation amount of the bitstream in the accumulation step.
The image encoding method according to claim 4 or 5.