JP2005065230A - 符号化装置、符号化制御方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】インターレース画像のフレームベース符号化した符号を復号し、フィールド分解して表示した場合に、フィールド間の動きがあると、本来の被写体のほかに、その残像が見える不都合が発生しやすい。このような不自然な画質劣化を抑制すると同時に画質の向上を達成する。
【解決手段】符号化制御手段１０１が、フィールド間の動き量、及び、圧縮率又は量子化誤差に基づき、符号化処理手段１００におけるフレームベース符号化処理における量子化又はトランケーションを適切に制御することにより、上記の課題を解決する。
【選択図】図１４

Description

本発明は、動画像の符号化に係り、特に、インターレース画像のフレームベース符号化に関する。

ビデオカメラ等の動画撮影機器においては、一般に、１／６０秒間隔でインターレース走査により動画を撮影している。このようなビデオカメラ等で撮影された動画データの符号化方法として、個々のインターレース画像（フィールド）をそのまま符号化するフィールドベース符号化と、相前後する２枚のインターレース画像から合成したノンインターレース画像（フレーム）を符号化するフレームベース符号化がある。

各フィールドの画像は走査線が飛び飛びであるので、走査線が連続したフレームの画像に比べ垂直方向の画素相関が弱いため、圧縮効率の面ではフレームベース符号化が一般的に有利である。しかし、フレームベース符号化においては、フレームを構成するフィールド間の動き量が大きい場合に、圧縮効率が低下する問題と、不自然な画質劣化を生じやすいという問題がある。

上記圧縮効率の低下の問題を解決するために、フレーム符号化とフィールド符号化をブロック単位で適応的に切り替える符号化装置の発明が特許文献１に記載されている。この発明に係る符号化装置においては、相前後する２フィールドのインターレース画像からフレームのノンインターレース画像を合成し、それをブロックに分割し、垂直方向に並んだ２ブロックについて垂直方向の画素相関（１）を調べる。また、この２ブロックをインターレース画像に再変換し、その画像についても同様の画素相関（２）を調べる。そして、画素相関（１）と画素相関（２）の強さを比較し、画素相関（１）の方が強い場合には２ブロックのノンインターレース画像を符号化するが、画素相関（２）の方が強い場合には、２ブロックのインターレース画像を符号化する。各ブロックの符号には、どちらの方法で符号化されたかの識別のための情報が付加される。

次に、上記のもう１つの問題について説明する。図１の（ａ）は第（ｎ）フィールドのインターレース画像、（ｂ）はその１／６０秒後の第（ｎ＋１）フィールドのインターレース画像、（ｃ）はこの２フィールドのインターレース画像を合成して得られるフレームのノンインターレース画像の例をそれぞれ示している。２イールド間で被写体が図示のように右方向へ移動した場合、フレーム画像上で被写体の左右エッジ部分が走査線毎に複数画素分だけ櫛形にずれる。（ｄ）は櫛形のエッジ部分を拡大したもので、Ｌがフィールド間の動き量に相当する。

フレームベース符号化において、上記”櫛形”が、符号化効率を低下させる原因であると同時に、特有の不自然な画質劣化を生じさせる原因である。

この不自然な画質劣化について、図２を参照しさらに説明する。第（ｎ）フィールドでは図２（ａ）に示す位置にあった縦線が、次の第（ｎ＋１）フィールドでは（ｂ）に示す位置に移動した場合、両フィールドから合成されたフレーム上では、その縦線は（ｃ）に示すような２本の点線となる。このフレームをフレームベース符号化した後に復号すると、符号化の際の量子化（後述のトランケーションも含む）の影響により、復号されたフレーム上では、（ｄ）に示すように点線の点と点の間が淡い色でつながった様になる。したがって、復号されたフレームから分解した各フィールドでは（ｅ）及び（ｆ）に示すような２本の点線が表れる。その結果、復号されたフレームをフィールド分解してテレビジョン受像機等でインターレース表示すると、各フィールドに本来の縦線とその”残像”の如き縦線が表れ、本来は１本の縦線であったものが２本の縦線の如く見えてしまう。図２では縦線が移動した例であったが、線でなく面が移動した場合には、面が二重に見えたり、左右にぶれて見えることになる。このような現象を、本明細書では”残像現象”と呼ぶことがある。

なお、２次元ウェーブレット変換を用いるフレームベース符号化に関する発明が特許文献２に記載されている。その概要は、画像のブロック領域毎に画質を制御するために、フレーム間差分によって動き量を検出し、検出した動き量とサブバンドの種類に応じて決定した重み係数を、量子化後のウェーブレット係数に乗じるというものである。

特開2002-64830号公報 特開2001-326936号公報 Wenjun Zeng，Scott Daly and Shawmin Lei，"VISUAL OPTIMIZATION TOOLS IN JPEG 2000"，The 2000 International Conference on Image Processing (ICIP-2000) J.Katto and Y.Yasuda，"Performance evaluation of subband coding and optimization of its filter coefficients，"Journal of Visual Communication and Image Representation，vol.2，Dec.1991,pp.303-313 Marcus J.Nadenau and Julien Reichel，"Opponent color，human vision and wavelets for image compression"，Proceedings of the Seventh Color Imaging Conference，Scottsdale，Arizona，November 16-19，1999，IS&T，pp.237‐242 Marcus J.Nadenau，Julien Reichel，and Murat Kunt，"Wavelet-based color image compression：Exploiting the contrast sensitivityfunction"，IEEE Transactions on Image Processing，2000 D.S.Taubman and M.W.Marcellin，"JPEG 2000：Image Compression Fundamentals，Standards and Practice"，Kluwer，2002

よって、本発明の目的は、インターレース画像のフレームベース符号化において、前述のような不自然な画質劣化を抑制すると同時に画質の向上を達成することにある。

なお、本出願人は、本発明と関連する発明を特願2002-289807号、特願2002-300468号、特願2002-300476号、及び、特願2002-360809号により特許出願している。各特許出願に係る発明の概要は次の通りである。

特願2002-289807号：インターレース画像（フィールド）のフレームベース符号化において、フレーム（ノンインターレース）画像の２次元ウェーブレット変換を行う。１ＬＨサブバンド係数にフィールド間の動きによる櫛形の影響が強く表れることに着目し、少なくとも１ＬＨサブバンドの係数値、又は、少なくとも１ＬＨサブバンド係数の符号量に基づいて、フィールド間の動き量（移動速度）を判定する。

特願2002-300468号：インターレース画像のフレームベース符号化において、フレーム画像の２次元ウェーブレット変換を行う。動き量は大きいが動いている物体が小さい場合でも、フィールド間の動き量を的確に判定するため、画像をサブブロック（例えばコードブロック）に分割し、各サブブロックの少なくとも１ＬＨサブバンドの係数値又は符号量に基づいて、画像全体としてのフィールド間の動き量を判定する。

特願2002-300476号：インターレース画像のフレームベース符号化において、フレーム画像の２次元ウェーブレット変換を行う。画像をサブブロックに分割し、各サブブロック単位で、少なくとも１ＬＨサブバンドの係数値又は符号量に基づきフィールド間の動き量を判定する。動画を撮影するカメラが静止していれば、画像内に、動く部分（さらには高速で動く部分と低速で動く部分）と動かない部分があるが、サブブロック毎の判定により、そのような各部分の移動量判定が可能である。

特願2002-360809号：インターレース画像のフレームベース符号化において、フレーム画像の周波数変換（例えばウェーブレット変換）により得られる周波数係数の量子化、量子化後の周波数係数のトランケーション、又は、符号のトランケーションを、フィールド間の動き量に応じて制御することにより、不自然な画質劣化を抑制する。

一般に画像の符号化（圧縮）は、
（A）画像データの周波数領域の係数への変換 → 周波数毎の係数の量子化
→ 量子化後の係数のエントロピー符号化
又は、
（B）画像データの周波数領域の係数への変換 → 周波数毎の係数の量子化
→ 量子化後の係数の、最終的に必要な部分（例；必要なビットプレーン又はサブビットプレーン）だけをエントロピー符号化
又は、
（C）画像データの周波数領域の係数への変換 → 周波数毎の係数の量子化
→ 量子化後の係数のエントロピー符号化 → 最終的に不要なエントロピー符号の破棄（トランケーション）
という処理フローをとることが多い。処理フロー（Ｃ）におけるエントロピー符号のトランケーションはポスト量子化とも呼ばれる。処理フロー（Ｂ）において、エントロピー符号化の対象とならなかった係数のビットプレーン又はサブビットプレーンは破棄されたことと等価である。すなわち係数状態でのトランケーションが行われるということである。

本発明にあっては、前述の”残像現象”のような不自然な画質劣化を抑制し、かつ、良好な画質を得るために、インターレース画像のフレームベース符号化のフロー（例えば、上記（Ａ）（Ｂ）（Ｃ）の如きフロー）の中で、フィールド間の動きによる櫛形を残すような最適な量子化、又は、トランケーションの制御を行う。

非特許文献１に記載されているように、量子化やトランケーションの最適な方法は、量子化誤差や圧縮率に依存することが知られている（圧縮率と量子化誤差は異なるものであるが、前記最適な方法に対しては類似の影響を与える）。

一般に、量子化誤差や圧縮率が小さくて画質劣化がわかりにくい場合には、観察距離で決定される特定の視覚感度(後述する周波数に対する人間のコントラスト感度)に基づいた重みを用いた量子化が好ましい。しかし、圧縮率や量子化誤差が大きくなって画質劣化が目立つようになると、好ましい画質を得るためには、前記重みとは異なった重みを用いる必要がある。これは、周波数毎の誤差に対する人間の感度が、誤差量自体の関数になっているからだと考えられる。概ね、誤差量自体が大きいほど低域の周波数係数の量子化を控え、高域の周波数係数をより多く量子化するのが良いとされており、ウェーブレット変換を利用した符号化においては、これを簡単に実験で確かめることができる（前述の様に、量子化誤差と圧縮率は異なるものであるが、通常、誤差量自体が大きい場合は圧縮率も大きくなるため、簡単のために、誤差量を圧縮率で代替することも可能である）。

よって、インターレース画像のフレームベース符号化において、フレームを構成するフィールド間の動き量と、圧縮率又は量子化誤差の両方を反映した量子化やトランケーションを行うことが有効なのである。

以下、本発明の特徴について順次説明する。
請求項１の発明は、インターレース画像のフレームベース符号化処理を行う符号化処理手段と、フレームを構成するフィールド間の動き量を検出し、該動き量、及び、圧縮率又は量子化誤差に基づいて、前記符号化処理手段における周波数係数の量子化を制御する符号化制御手段を有することを特徴とする符号化装置である。
かかる構成によれば、フィールド間の動き量、及び、圧縮率又は量子化誤差に応じた適切な量子化を行い、フィールド間に動きがある場合においても不自然な画質劣化を抑制し、同時に良好な画質を得ることができる。

請求項２の発明は、インターレース画像のフレームベース符号化処理を行う符号化処理手段と、フレームを構成するフィールド間の動き量を検出し、該動き量、及び、圧縮率又は量子化誤差に基づいて、前記符号化処理手段における周波数係数又は符号のトランケーションを制御する符号化制御手段を有することを特徴とする符号化装置である。
かかる構成によれば、フィールド間の動き量、及び、圧縮率又は量子化誤差に応じた適切な周波数係数又は符号のトランケーションを行い、フィールド間に動きがある場合においても不自然な画質劣化を抑制し、同時に良好な画質を得ることができる。

量子化やトランケーションは画質制御のために行われるものであるが、その制御を最も精密に行いたい場合には、量子化やトランケーションを、適用可能な最小単位毎に制御するのが適当である。本明細書においては、この最小単位を画質制御単位という。

画質制御単位は、周波数係数そのもの（例えば、ＪＰＥＧならばＤＣＴ係数、ＪＰＥＧ２０００ならばウェーブレット変換係数）、所定サイズの矩形ブロック（例えば、ＪＰＥＧならばＤＣＴ係数、ＪＰＥＧ２０００ならばコードブロック）などである。

よって、請求項３の発明は、請求項１の発明の符号化装置において、符号化制御手段が画質制御単位毎に量子化を制御することを特徴とするものである。
画質制御毎の量子化の制御によって、より精密かつ最適な画質制御が可能である。

なお、前記特願2002-300476号に係る発明によれば、このような画質制御単位のフィールド間動き量（櫛形量）の検出が可能である。

また、請求項４の発明は、請求項２の発明の符号化装置において、符号化制御手段が画質制御単位毎にトランケーションを制御することを特徴とするものである。
画質制御単位毎のトランケーションの制御によって、より精密かつ最適な画質制御が可能である。

一方、画質制御を高速・簡易に行いたい場合や実装上の制約がある場合には、量子化又はトランケーションの制御を、画質制御単位よりも大きな単位毎に、例えば、周波数変換係数の周波数帯域毎に行うのが便利である。

よって、請求項５の発明は、請求項１の発明の符号化装置において、符号化制御手段が周波数係数の周波数帯域毎に量子化を制御することを特徴とするものである。
このように量子化の制御の単位を周波数帯域とすれば、量子化の制御が簡易になり、画質制御の高速化が可能である。
この場合、フィールド間の動き量検出は、画像全体について行えばよい。このような検出は、前記特願2002-289807号又は特願2002-300468号に係る発明により行うことができる。

また、請求項６の発明は、請求項２の発明の符号化装置において、符号化制御手段が周波数係数の周波数帯域毎にトランケーションを制御することを特徴とするものである。
このようにトランケーションの制御の単位を周波数帯域とすれば、トランケーションの制御が簡易になり、画質制御の高速化が可能である。
この場合、フィールド間の動き量検出は、画像全体について行えばよい。

近年、符号化において、前記ＪＰＥＧ（Joint Photographic Coding Experts Group）で採用されているＤＣＴ（離散コサイン変換）に代わる周波数変換として、ウェーブレット変換（ＤＷＴ；離散ウェーブレットフレット変換）の採用が増加している。その代表例は、２００１年に国際標準になった、ＪＰＥＧ後継の画像圧縮伸長方式ＪＰＥＧ２０００である。

ＤＣＴの場合には個々のＤＣＴ係数が各周波数帯域を有する。ウェーブレット変換の場合には、周波数係数の周波数帯域とは各デコンポジションレベルを意味し、デコンポジションレベルが小さい程周波数が高いことになる。

そして、前述の「櫛形を残すような量子化またはトランケーション」とは、高い周波数帯域の係数の量子化またはトランケーションを控えることを意味する。これは、図２から明らかなように、櫛形は、１画素毎に画素値が大きく変わるために生じ、最も高い周波数をとるからである。

ここで、ウェーブレット変換の手順と、デコンポジションレベル、解像度レベル、サブバンドの定義について説明する。

ＪＰＥＧ２０００では、５×３変換と呼ばれるウェーブレット変換と、９×７変換と呼ばれるウェーブレット変換が採用されている。それぞれの順変換式と逆変換式を次に示す。

５×３変換
（順変換）
C(2i+1)=P(2i+1)−floor（(P(2i)+P(2i+2))/2） [step1]
C(2i)=P(2i)+floor（((C(2i-1)+C(2i+1)+2)/4)| [step2] (1)
（逆変換）
P(2i)=C(2i)−floor（(C(2i-1)+C(2i+1)+2)/4） [step1]
P(2i+1)=C(2i+1)＋floor（(P(2i)+P(2i+2))/2） [step2] (2)
ただし、floor（ｘ）はｘのフロア関数（実数ｘを、ｘを越えず、かつ、ｘに最も近い整数に置換する関数）を示している。

９×７変換
（順変換）
C(2n+1)=P(2n+1)+α*(P(2n)+P(2n+2)) [step1]
C(2n)=P(2n)+β*(C(2n-1)+C(2n+1)) [step2]
C(2n+1)=C(2n+1)+γ*(C(2n)+C(2n+2)) [step3]
C(2n)=C(2n)+δ*(C(2n-1)+C(2n+1)) [step4]
C(2n+1)=K*C(2n+1) [step5]
C(2n)=(1/K)*C(2n) [step6] (3)
（逆変換）
P(2n)=K*C(2n) [step1]
P(2n+1)=(1/K)*C(2n+1) [step2]
P(2n)=X(2n)-δ*(P(2n-1)+P(2n+1)) [step3]
P(2n+1)=P(2n+1)-γ*(P(2n)+P(2n+2)) [step4]
P(2n)=P(2n)-β*(P(2n-1)+P(2n+2)) [step5]
P(2n)=P(2n+1)-α*(P(2n)+P(2n+2)) [step6] (4)
ただし、α＝-1.586134342059924
β＝-0.052980118572961
γ＝0.882911075530934
δ＝0.443506852043971
Ｋ＝1.230174104914001

図３乃至図７により、16×16画素のモノクロの画像に対して、５x３変換と呼ばれるウェーブレット変換を２次元(垂直方向及び水平方向)で施す過程について説明する。

図３のようにＸＹ座標をとり、あるＸ座標について、Ｙ座標がｙである画素の画素値をP（y）（0≦y≦15）と表す。ＪＰＥＧ２０００では、まず垂直方向（Ｙ座標方向）に、Ｙ座標が奇数（y=2i+1）の画素を中心にハイパスフィルタを施して係数C(2i+1)を得る。次に、Ｙ座標が偶数（y=2i）の画素を中心にローパスフィルタを施して係数C(2i)を得る（これを全てのＸ座標について行う）。前記順変換（１）式中のｓｔｅｐ１の式がハイパスフィルタを表し、ｓｔｅｐ２の式がローパスフィルタを表す。

なお、画像の端部においては、中心となる画素に対して隣接画素が存在しない場合があり、この場合には所定ルールによって画素値を補うことになるが、本発明とは本質的には関係しないため詳述しない。

簡単のため、ハイパスフィルタで得られる係数をH、ローパスフィルタで得られる係数をL、と表記すれば、前記垂直方向の変換によって図３の画像は図４のようなL係数とH係数の配列へと変換される。

続いて、図３の係数配列に対して、水平方向に、Ｘ座標が奇数（x=2i+1）の係数を中心にハイパスフィルタを施し，次にＸ座標が偶数（x=2i）の係数を中心にローパスフィルタを施す（これを全てのｙについて行う。この場合、式(1)中のP(2i)等は係数値を表すものと読み替える）。

簡単のため、前記L係数を中心にローパスフィルタを施して得られる係数をLL、前記L係数を中心にハイパスフィルタを施して得られる係数をHL、前記H係数を中心にローパスフィルタを施して得られる係数をLH、前記H係数を中心にハイパスフィルタを施して得られる係数をHH、と表記すれば、図４の係数配列は、図５の様な係数配列へと変換される。ここで同一の記号を付した係数群はサブバンドと呼ばれ、図５は４つのサブバンドで構成される。

以上で、１回のウェーブレット変換（１回のデコンポジション（分解））が終了し、LL係数だけを集めると（図６の様にサブバンド毎に集め、LLサブバンドだけ取り出すと）、ちょうど原画像の１/２の解像度の“画像”が得られる（このように、サブバンド毎に分類することをデインターリーブと呼び、図５のような状態に配置することをインターリーブするという）。

２回目のウェーブレット変換は、LLサブバンドを原画像と見なして、上記と同様の変換を行えばよい。２回目のウェーブレット変換を行い、係数を並べ替えると、模式的な図７が得られる．
ここで、図６，図７において、係数の接頭の１や２は、何回のウェーブレット変換で該係数が得られたかを示しており、デコンポジションレベルと呼ばれる。ウェーブレット変換においては、このデコンポジションレベルが周波数帯域に相当する。また、デコンポジションレベルとほぼ逆の関係にある解像度レベルの定義を図８に示す。

なお、以上の議論において、１次元のみのウェーブレット変換をしたい場合には、垂直又は水平いずれかの方向だけの処理を行えばよい。

このような５×３ウェーブレット変換の逆変換においては、図５の様なインターリーブされた係数の配列に対して、まず水平方向に、Ｘ座標が偶数（x=2i）の係数を中心に逆ローパスフィルタを施し、次に、Ｘ座標が奇数（x=2i+1）の係数を中心に逆ハイパスフィルタを施す（これを全てのｙについて行う）。前記逆変換式（２）中のｓｔｅｐ１の式が逆ローパスフィルタを表し、ｓｔｅｐ２の式が逆ハイパスフィルタを表す。順変換の場合と同様、画像の端部においては中心となる係数に対して隣接係数が存在しないことがあり、この場合は所定ルールによって適宜係数値を補うことになるが、その説明は割愛する。

これにより、図５の係数配列は図４のような係数配列に変換（逆変換）される。続いて、垂直方向に、Ｙ座標が偶数（y=2i）の係数を中心に逆ローパスフィルタを施し、次にＹ座標が奇数（y=2i+1）の係数を中心に逆ハイパスフィルタを施せば（これを全てのＸ座標について行う）、１回のウェーブレット逆変換が終了し、図３の画像に戻る(再構成される)ことになる。なお、ウェーブレット変換が複数回施されている場合は、図３をLLサブバンドとみなし、HL等の他の係数を利用して同様の逆変換を繰り返せばよい。

以上説明したように、５×３ウェーブレット変換は、５画素を用いて１つのローパスフィルタの出力（ローパス係数）が得られ、３画素を用いて１つのハイパスフィルタの出力（ハイパス係数）が得られる変換である。これに対し、９×７ウェーブレット変換は、９画素を用いて１つのローパスフィルタの出力（ローパス係数）が得られ、７画素を用いて１つのハイパスフィルタの出力（ハイパス係数）が得られる変換である。このように、５×３変換と９×７変換の主な違いは、フィルタの範囲の違いであり、偶数位置中心にローパスフィルタが、奇数位置中心にハイパスフィルタが施されるのは同様である。したがって、図４乃至図７は、９×７変換にも同様に当てはまる。

よって、請求項７の発明は、請求項１の発明の符号化装置において、符号化制御手段がウェーブレット変換のデコンポジションレベル毎に量子化を制御することを特徴とするものである。
このように量子化の制御をデコンポジションレベル毎に行えば、ウェーブレット変換を用いる場合の量子化制御が簡易になり、画質制御の高速化が可能である。

また、請求項８に係る発明は、請求項２の発明の符号化装置において、符号化制御手段がウェーブレット変換のデコンポジションレベル毎にトランケーションを制御することを特徴とするものである。

このようにトランケーションの制御をデコンポジションレベル毎に行えば、ウェーブレット変換を用いる場合のトランケーション制御が簡易になり、高速の画質制御が可能である。

さて、フィールド間の動きにより生じる”櫛形”は、１画素ごとに垂直方向に画素値が大きく変わるが、水平方向には画素値が大きく変わるとは限らない（櫛の端部でしか画素値は変わらない）ものである。すなわち、”櫛形”は、垂直方向の高周波成分である。図１（ｄ）を参照すれば、動き量が大きいと”櫛形”の横エッジの長さが増加するのに対し、縦エッジは略一定である。横エッジ成分は垂直方向の高周波成分であるから、動き量が大きくなるほど（櫛形が顕著になるほど）縦方向の高周波数成分が増加するわけである。

したがって、”櫛形”が生じた場合、ウェーブレット変換係数の中で、１LH係数（デコンポジションレベル１、垂直方向高周波、水平方向低周波の係数）が最も大きな値をとり、１HH係数（デコンポジションレベル１，垂直方向高周波，水平方向高周波の係数）が次に大きな値をとり、１HL係数（デコンポジションレベル１，垂直方向低周波，水平方向高周波の係数）が最も小さな値をとる。このように、同じ周波数帯域（デコンポジションレベル）でもサブバンド毎に”櫛形”の反映の度合いが異なるのである。

よって、請求項９の発明は、請求項１の発明の符号化装置において、符号化制御手段がウェーブレット変換のサブバンド毎に量子化を制御することを特徴とするものである。

サブバンド毎に量子化を制御するということは、周波数帯域及び方向の両方を加味して量子化を制御するということであるため、量子化の簡易な制御によって高精度かつ高速の画質制御が可能である。

また、請求項１０の発明は、請求項２の発明の符号化装置において、符号化制御手段がウェーブレット変換のサブバンド毎にトランケーションを制御することを特徴とするものである。
このようなサブバンド毎にトランケーションを制御するということは、周波数帯域及び方向の両方を加味してトランケーションを制御するということであるため、トランケーションの簡易な制御によって高精度かつ高速の画質制御が可能である。

また、請求項１１の発明は、請求項９の発明の符号化装置において、符号化制御手段が同一解像度レベル中のサブバンドに関し、ＬＨサブバンドの量子化を最も控えるように制御することを特徴とするものである。

ＬＨサブバンドは垂直方向の高周波成分であり、その損失が大きいと、図２で説明したような”残像”が生じやすい。したがって、ＬＨサブバンドの量子化を最も控えることにより、垂直方向の高周波成分が優先的に保存されるため、不自然な画質劣化である”残像現象”が効果的に抑制される。

また、請求項１２に係る発明は、請求項１０の発明の符号化装置において、符号化制御手段が同一解像度レベル中のサブバンドに関し、ＬＨサブバンドのトランケーションを最も控えるように制御することを特徴とするものである。

ＬＨサブバンドのトランケーションを最も控えるということは、ＬＨサブバンドの量子化を最も控えることと等価であるから、不自然な画質劣化である”残像現象”が効果的に抑制される。

以上の説明から理解されるように、”櫛形”の影響はデコンポジションレベル１に最も大きく現れ、デコンポジションレベルが上がるにつれてその影響は小さくなる。本出願人の実験によれば、デコンポジションレベル２までの量子化又はトランケーションを適切に制御すれば、十分な効果が得られることが確認された。

よって、請求項１３の発明は、請求項７，９又は１１の発明の符号化装置において、符号化制御手段が、デコンポジションレベル１及びデコンポジションレベル２のみに関し、量子化を制御することを特徴とするものである。
また、請求項１４の発明は、請求項８，１０又は１２の発明の符号化装置において、符号化制御手段は、デコンポジションレベル１及びデコンポジションレベル２のみに関し、トランケーションを制御することを特徴とするものである。
このように、量子化又はトランケーションの制御の対象をデコンポジションレベル２以下に制限することにより、その制御が簡易、高速になり、かつ、その十分な効果を得ることができる。

ここで、ＪＰＥＧ２０００における量子化、トランケーション及び画質制御についてさらに説明する。ＪＰＥＧ２０００の符号化処理は概ね図９に示すような流れに従って行われる。また、図１０は、画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す模式図である。

タイルとは、画像を矩形に分割したものであり、分割数＝１のときは画像とタイルは同一のものとなる。個々のタイルを独立した１つの画像と見なし、ウェーブレット変換がなされ、サブバンドが生成される。ＪＰＥＧ２０００の基本仕様では、ウェーブレット変換として９×７変換を用いる場合には、同一のサブバンドに含まれる係数を同一の数で除算し、線形に量子化することができる。したがって、線形量子化による画質制御はサブバンド単位で可能である（すなわち、線形量子化による画質制御単位はサブバンドである）。

プリシンクトとは、サブバンドを（ユーザが指定可能なサイズの）矩形に分割したもので、画像中の大まかな場所(position)を表すものである。ＨＬ，ＬＨ，ＨＨの各サブバンドを分割したプリシンクトについては、各サブバンドの対応位置のプリシンクト（合計３個）がひとまとまりとして扱われる。ただし、ＬＬサブバンドを分割したプリシンクトは、１つでひとまとまりとして扱われる。プリシンクトはサブバンドと同じサイズにすることもできる。プリシンクトを（ユーザが指定可能なサイズの）矩形に分割したものが、コードブロックである。図１０には、デコンポジションレベル３の場合のタイル、サブバンド、プリシンクト、コードブロックの関係が示されている。

量子化後のサブバンドの係数は、コードブロック単位でビットプレーン符号化される（１つのビットプレーンは３つのサブビットプレーンに分解されて符号化される）。プリシンクトに含まれる全てのコードブロックから、符号の一部を取り出して集めたもの（例えば、全てのコードブロックのMSBから３枚目までのビットプレーンの符号を集めたもの）がパケットである。上記“一部”は“空”（から）でもいいので、パケットの中身が符号的には“空”(から)ということもある。

全てのプリシンクト（＝全てのコードブロック＝全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の、MSBから３枚目までのビットプレーンの符号）ができるが、これをレイヤーと呼ぶ。レイヤーは、大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤー数が増えれば画質は上がる。したがって、レイヤーは画質の単位である。すべてのレイヤーを集めると、画像全域の全てのビットプレーンの符号になる。

ウェーブレット変換の階層数(デコンポジションレベル)＝２、プリシンクトサイズ＝サブバンドサイズ、としたときのレイヤー構成の例を図１１に示す。また、その各レイヤに含まれるパケットの例を、図１２に太線で囲んで示す。

この例の場合、プリシンクトサイズ＝サブバンドサイズであり、また、プリンシンクトの大きさと同じ大きさのコードブロックを採用しているため、デコンポジションレベル２のサブバンドは４つのコードブロックに、デコンポジションレベル１のサブバンドは９個のコードブロックに分割されている。パケットはプリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合、パケットはＨＬ〜ＨＨサブバンドを跨いだものとなる。

ここで、パケットは「コードブロックの符号の一部を取り出して集めたもの」であり、不要な符号はパケットとして生成する必要はない。例えば、図１１のレイヤー９に含まれる様な下位ビットプレーンの符号は破棄（トランケート）されるのが通常である。

したがって、トランケーションによる画質制御は、コードブロック単位（かつサブビットプレーン単位）で可能である。つまり、トランケーションによる画質制御単位はコードブロックである。なお、パケットの並びをプログレッション順序と呼ぶ。

さて、サブバンド単位での線形量子化を行う場合、主観画質をよくするためには、量子化ステップ数（線形量子化時の除算の分母）は、
量子化ステップ数
＝PSNRを最大にするための正規化で決まる数／視覚重み(通称Visual Weight)
(ア)
とするのが通常である。各係数が逆周波数変換（JPEG2000なら逆ウェーブレット変換）されてRGB値にもどされる場合、各係数に生じた量子化誤差が最終的なRGB値へ与える影響は周波数帯域毎（ウェーブレット変換ならサブバンド毎）に異なり、その比は逆周波数変換（JPEG2000なら逆ウェーブレット変換）時の定数（いわゆるサブバンドゲイン）で決まる。

PSNRをよくするためには、該影響をサブバンド間で均一にする必要があり、その均一化のためにサブバンド毎にサブバンドゲインをキャンセルするような量子化が行われる。その詳細は非特許文献２に記載されている。要するに、ある圧縮率において、逆変換後の信号（＝複数の信号値で構成される）に生じた誤差の二乗平均を最小にする（＝PSNRを最大にする）ためには、各サブバンドをサブバンドゲインの平方根の逆数(の定数倍の値)で線形量子化するのが一般的である。本明細書において、この「PSNRを最大にするための正規化で決まる数」を「基本量子化ステップ数」と呼ぶ。

ただし、PSNRは主観画質とは一致しないため、前記式(ア)の様に、基本量子化ステップ数をさらに視覚的な重み(visual Weight)で除算したものを量子化ステップ数とするのが一般的である。

図１３に、非特許文献３に記載の視覚感度の測定例を示す。横軸は縞の周波数（cycle/degree）であり、縦軸は、その周波数で人間が関知する最小のコントラストの逆数、すなわちコントラストに対する感度（相対値）である。輝度Y，色差Cb，色差Crの各々の縞について測定されたコントラストに対する感度が、図１３に示されている。図１３から、人間の視覚が低い空間周波数でコントラストの変化に対し敏感で、高域で鈍感であること、Ｙコンポ−ネントに対して最も敏感で、Cbコンポ−ネントに対して最も鈍感であることが分かる。

ＪＰＥＧ２０００の標準書に、この視覚感度に基づき、後述する重みが例示されている。各サブバンドの重みは、当該サブバンドが占める周波数帯域における前記視覚感度曲線の積分値として求められ、その詳細は非特許文献４に記載されている。低域のサブバンドでは大きな重み、高域のサブバンドでは小さな重みが与えられる。かかる視覚重みは、本来、視覚感度から求められるものを用いるべきものであるが、その値を意識的に操作して所望の画質を得ることも可能である。例えば、視覚感度上は、１LHの重み＝１HLの重み、であるが、
１LHの重み＞１HLの重み、
とすることによって、１LHの量子化を１HLの量子化よりも控えることが可能となる。

よって、請求項１５の発明は、請求項１，３，５，７，９，１１又は１３の発明の符号化装置において、符号化制御手段が量子化の制御においてサブバンド毎の視覚重みを変えることを特徴とするものである。
このように量子化の制御においてサブバンド毎の視覚重みを変えることにって、より高精度の画質制御が可能である。

トランケーションに関しても同様に、符号の重要度として、前記視覚重みを加味することができる。一般に、符号の価値は、「その符号を破棄した場合の量子化誤差の増分/その符号量」で評価され、この値が小さい符号（その破棄による符号量の減少に比べて、誤差の増加が少ない符号）から順に破棄される。そして、主観画質をよくするためには、符号の価値を
「その符号を破棄した場合の量子化誤差の増分×視覚重み/その符号量」
で評価するのが通常である。

よって、請求項１６の発明は、請求項２，４，６，８，１０，１２又は１４の発明の符号化装置において、符号化制御手段はトランケーションの制御においてサブバンド毎の視覚重みを変えることを特徴とするものである。
このようにトランケーションの制御においてサブバンド毎の視覚重みを変えることによって、より高精度の画質制御が可能である。

さて、以上に述べた「重み」はサブバンドを単位とするものであるが、この重みに、サブバンドを分割したサブブロック（ＪＰＥＧ２０００ではコードブロック）の特性を乗じることもよく行われている。人間の視覚は、周波数と同時にコントラスト強度自体の関数でもあり、同じ周波数帯域であっても、コントラストが高いほど、コントラストの誤差（変化）に鈍感なのである。これは、コントラストの誤差を人間が感じるか感じないの閾値が、誤差の絶対値ではなく、誤差の相対的な大きさ（誤差の値／原値という比率）に依存することによる（所謂Weberの法則である）。このように、原値（オリジナルの値）が大きい場合に誤差が目立たなくなる効果を一般に「マスキング」という。

ここで、周波数変換した係数は、一般に原画像のコントラストを反映したものとなるため、係数値の大小をコントラストの大小と見なし得る。そこで、サブブロックに含まれる係数の値が大きいか小さいかを示す指標を、本明細書では”マスキング指標”と呼ぶものとすると、符号の重要度を、
「その符号を破棄した場合の量子化誤差の増分×視覚重み/（マスキング指標×その符号量）」
により評価することが可能である。

よって、請求項１７に係る発明は、請求項２，４，６，８，１０，１２又は１４の発明の符号化装置において、符号化制御手段がトランケーションの制御において画質制御単位毎のマスキングを反映させることを特徴とするものである。
このようにトランケーションの制御において、画質制御単位後のマスキングを反映させることによって、より高精度の画質制御が可能である。

さて同様に、サブバンド単位で「重み」変えるのではなく、あるいはサブバンド単位で重み変えると同時に、各サブバンドを分割したサブブロック毎に櫛形の多寡を求め、各サブブロックに適用する重みを、該サブブロックでの櫛形の多寡によってモディファイすることもできる。重みは、本来、視覚の周波数特性より導出されたものであるから同一サブバンド(＝同一周波数帯域)内では同じ値であるところ、上記モディファイによって、いわば、サブブロック毎に重みを変えるわけである。前述した通り、サブブロック（ＪＰＥＧ２０００ならコードブロック）毎に櫛形の多寡を検出できるので、例えば、櫛形の多寡をサブバンド毎の重みに乗じれば、各サブブロック毎に異なる重みを適用可能である。

よって、請求項１８の発明は、請求項２，４，６，８，１０，１２，１４又は１６の発明の符号化装置において、符号化制御手段がトランケーションの制御において画質制御単位毎に視覚重みを変更することを特徴とするものである。

また、請求項１９の発明は、インターレース画像のフレームベース符号化を制御する符号化制御方法であって、請求項１，３，５，７，９，１１，１３又は１５の発明における符号化制御手段による動き量検出及び量子化制御のためのステップを含むことを特徴とする符号化制御方法である。

また、請求項２０の発明は、インターレース画像のフレームベース符号化を制御する符号化制御方法であって、請求項２，４，６，８，１０，１２，１４，１６，１７又は１８の発明における符号化制御手段による動き量検出及びトランケーション制御のためのステップを含むことを特徴とする符号化制御方法である。

請求項２１の発明は、請求項１９又は２０の発明における動き量検出、及び、量子化制御又はトランケーション制御のためのステップをコンピュータに実行させるプログラムである。

また、請求項２２の発明は、請求項２１の発明のプログラムが記録された、コンピュータが読み取り可能な記録媒体である。

以上の説明から理解されるように、
（１）請求項１乃至１９の発明によれば、フィールド間の動きによる不自然な画質劣化の抑制と画質の向上を同時に達成可能である。
（２）請求項３、４の発明によれば、画質制御単位毎の量子化又はトランケーションの制御によって、より精密な画質制御が可能になる。
（３）請求項５乃至１０の発明によれば、量子化又はトランケーションの制御が簡易であるため、より高速の画質制御が可能である。
（４）請求項１１，１２の発明によれば、垂直方向の高周波を保存することにより、垂直方向の高周波成分が優先的に保存されるため、フィールド間の動きにより不自然な画質劣化を効果的に抑制することができる。
（５）請求項１３，１４の発明によれば、量子化又はトランケーションの制御が簡易になり、より高速な画質制御が可能になる。請求項１５乃至１８の発明によれば、より高精度な画質制御が可能である。
（６）請求項２１，２２の発明によれば、インターレース画像のベース符号化における不自然な画質劣化の抑制と画質向上とを同時に達成するための符号化制御を、コンピュータを利用して容易に実施することができる。
等々の効果を得られる。

本発明の実施の形態に係る符号化装置の構成を図１４に示す。ここに示す符号化装置は、インターレース画像のフレームベース符号化を行うものであるが、ここでは相前後する２フィールド（インターレース画像）から合成されたフレーム（ノンインターレース画像）が入力されるものとする。ただし、フィールドからフレームを合成する手段を符号化装置の内部に備える形態を排除するものではない。この符号化装置は、フレームベース符号化処理を行う符号化処理手段１００と、フレームを構成する２フィールド間の動き量を検出し、その動き量と、所望の圧縮率又は量子化誤差とに基づいて、符号化処理手段１００における周波数係数の量子化を制御し、あるいは、符号化処理手段１００における周波数係数又は符号のトランケーションを制御する符号化制御手段１０１とから構成される。

ここでは、符号化処理手段１００において、ＪＰＥＧ２０００のアルゴリズムにより符号化処理が行われるものとする（ただし、ＪＰＥＧ２０００のみに限定されるものではない）。また、ウェーブレット変換として９×７変換が用いられるものとする。また、フレーム画像はＲＧＢの３コンポーネントからなるものとする。動き量の検出と、量子化又はトランケーションの制御の具体的内容については、後記実施例に関連して説明する。

このような符号化装置における移動量検出と量子化又はトランケーションの制御の内容は、本発明の符号化制御方法の内容でもある。したがって、本発明の符号化装置に関する説明は、本発明の符号化制御方法の説明でもある。

図１４に示すような符号化装置は、その全体、あるいは、符号化制御手段１０１の機能を、パソコンやマイクロコンピュータなどのコンピュータを利用し、プログラムにより実現することも可能である。換言すれば、本発明の符号化制御方法の手順は、コンピュータ上でプログラムにより実行し得る。そのようなプログラムと、それが記録されたコンピュータが読み取り可能な磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などの各種の記録（記憶）媒体も本発明に包含される。

コンピュータを利用して本発明を実施する形態について、図１５を参照し簡単に説明する。図１５において、１１０は中央演算処理装置（ＣＰＵ）、１１１はデータやプログラム等を一時的に記憶するためのメモリ、１１２は補助記憶としてのハードディスク装置、１１３はシステムバスである。符号化の対象となる動画のデータは、フィールドからフレームが構成された形でハードディスク装置１１２に格納されているものとする。

処理の流れの概略は以下の通りである。まず、ＣＰＵ１１０からの命令により、ハードディスク装置１１２から動画の１つのフレームがメモリ１１１に読み込まれる（１）。ＣＰＵ１１０は、メモリ１１１上のフレームを読み込み、ＪＰＥＧ２０００の符号化処理を実行するが、その際に、フィールド間の動き量（櫛形量）の検出、量子化又はトランケーションの制御を行う（２）。ＣＰＵ１１０は、符号化データをメモリ１１１上の別の領域に書き込む（３）。１フレーム分の処理が終わると、ＣＰＵ１１０からの命令によって、符号化データがハードディスク装置１１２に記録される（４）。以上の（１）〜（４）の処理が動画のフレーム数だけ繰り返される。

実施例の説明に先立って、ＪＰＥＧ２０００について説明を補充する。

前述のように、ＪＰＥＧ２０００の圧縮・伸張の処理の基本的な流れは図９に示す通りである。ＲＧＢ３コンポ−ネントで構成されるカラー画像の圧縮時には、ＤＣレベルシフトと輝度・色差コンポ−ネントへのコンポ−ネント変換（色変換）の後に、ウェーブレット変換がなされる。ウェーブレット係数は、必要に応じて量子化された後、ビットプレーンを単位としたエントロピー符号化がなされる（正確には、ビットプレーンは３つのサブビットプレーンに細分化されて符号化される）。

伸長時には、ビットプレーン単位でのエントロピー復号により復元されたウェーブレット係数は、必要に応じて逆量子化される。得られたコンポ−ネント毎のウェーブレット係数に対し、逆ウェーブレット変換が施され、得られた各コンポーネントの画素値に逆コンポーネント変換がなされることにより、ＲＧＢの画素値に戻される。

ＪＰＥＧ２０００のＤＣレベルシフトの変換式は次の通りである。

I(x,y) ← I(x,y)−2^{Ｓｓｉｚ（ｉ）} 順変換
I(x,y) ← I(x,y)＋2^{Ｓｓｉｚ（ｉ）} 逆変換 (5)
ただし、Ｓsiz(i)は原画像の各コンポーネントｉ（ＲＧＢ画像ならｉ０，１，２）のビット深さである。

このＤＣレベルシフトは、ＲＧＢ信号値のような正の数である場合に、順変換では各信号値から信号のダイナミックレンジの半分を減算するレベルシフトを、逆変換では各信号値に信号のダイナミックレンジの半分を加算するレベルシフトを行うものである。ただし、このレベルシフトはＹＣｂＣｒ信号のＣｂ，Ｃｒ信号のような符号付き整数には適用されない。

ＪＰＥＧ２０００では、コンポ−ネント変換として、可逆変換（ＲＣＴ；Reversible multiple component transformation）と非可逆変換（ＩＣＴ；Irreversible multiple component transformation)が定義されている。

ＲＣＴの順変換と逆変換は次式で表される。
順変換
Y_０(x,y)=floor((I_０(x,y)+2*(I_１(x,y)+I_２(x,y))/4)
Y_１(x,y)=I_２(x,y)-I_１(x,y)
Y_２(x,y)=I_０(x,y)-I_１(x,y)
逆変換
I_１(x,y)=Y_０(x,y)-floor((Y_２(x,y)+Y_１(x,y))/4)
I_０(x,y)=Y_２(x,y)+I_１(x,y)
I_２(x,y)=Y_１(x,y)+I_１(x,y) (6)
式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号ならば、Ｉ信号において０＝Ｒ，１＝Ｇ，２＝Ｂ、Ｙ信号において０＝Ｙ，１＝Ｃｂ，２＝Ｃｒと表される。

ＩＣＴの順変換と逆変換は次式で表される。
順変換
Y_０(x,y)=0.299*I_０(x,y)+0.587*I_１(x,y)+0.144*I_２(x,y)
Y_１(x,y)=-0.16875*I_０(x,y)-0.33126*I_１(x,y)+0.5*I_２(x,y)
Y_２(x,y)=0.5*I_０(x,y)-0.41869*I_１(x,y)-0.08131*I_２(x,y)
逆変換
I_０(x,y)=Y_０(x,y)+1.402*Y_２(x,y)
I_１(x,y)=Y_０(x,y)-0.34413*Y_１(x,y)-0.71414*Y_２(x,y)
I_２(x,y)=Y_０(x,y)+1.772*Y_１(x,y) (7)
式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号ならば、Ｉ信号において０＝Ｒ，１＝Ｇ，２＝Ｂ、Ｙ信号において０＝Ｙ，１＝Ｃｂ，２＝Ｃｒと表される。

前述のように、ＪＰＥＧ２０００で９×７ウェーブレット変換を選択した場合には、各サブバンド毎に、ウェーブレット係数を線形（スカラー）量子化することができる。同一のサブバンド内では共通の量子化ステップ数が用いられる。量子化式を（８）式に、量子化ステップ数（Δb）を（９）式にそれぞれ示す。

q_ｂ(u,v)=sign(a_ｂ(u,v))*floor(|a_ｂ(u,v)|/Δb) (8)
ただし、 a_ｂ(u,v)はサブバンドｂにおける係数
q_ｂ(u,v)はサブバンドｂにおける係数
Δbはサブバンドｂにおける量子化ステップ
Δb=２^{Ｒｂ−εｂ}*floor(1+μb/2^１１) (9)
ただし、 Rbはサブバンドｂにおけるダイナミックレンジ
εbはサブバンドｂにおける量子化の指数
μbはサブバンドｂにおける量子化の仮数

指数εbと仮数μbは、各デコンポジションレベルにおけるすべてのサブバンドを規定する方式と、最下位のデコンポジションレベルにおけるＬＬサブバンドのみ規定し、残りのサブバンドは予め定められている式を用いて規定する方式の２種類がある。前者を明示的な量子化（expounded quantizationもしくはexplicit quantization）、後者を暗黙的な量子化（derived quantizationもしくはimplicit quantization）と呼ぶ。暗黙的な量子化の指数と仮数の組(εb,μb)は（10）式で決定される。

(ε_ｂ,μ_ｂ)=(ε_０-N_Ｌ+n_ｂ，μ_０) (10)
ただし、n_ｂはデコンポジションレベル数

逆量子化式を（11）式に示す。
Rq_ｂ(u,v)=(q_ｂ(u,v)+r*^{２Ｍｂ−Ｎｂ（ｕ，ｖ）})*Δb q_ｂ(u,v)＞0のとき
=(q_ｂ(u,v)-r*2^{Ｍｂ−Ｎｂ（ｕ，ｖ）})*Δb q_ｂ(u,v)＜0のとき
= 0 q_ｂ(u,v)=0のとき (11)

なお、５×３ウェーブレット変換が用いられる場合、量子化ステップ(Δb)は常に１である。これは量子化しないことを意味する。

ＪＰＥＧ２０００においては、ウェーブレット係数を符号化後に不要な下位ビットプレーンの符号を破棄することにより実質的な量子化（ポスト量子化）が可能である。さらに、不要な下位ビットプレーンを初めから符号化しない（つまり、係数状態で破棄する）ことによっても、同様の効果を得ることができる。本明細書中では、このような符号化の前の破棄と符号化の後の破棄のいずれもトランケーションと総称する。

この実施例は、ウェーブレット変換係数の線形量子化を、動き量（櫛形量）と、圧縮率又は量子化誤差とに基づいて制御するもので、その処理フローを図１６に示す。図１６中のステップＳ１００，Ｓ１０１，Ｓ１０４，Ｓ１０５は図１４の符号化処理手段１００の処理ステップである。ステップＳ１０２は図１４の符号化制御手段１０１の処理ステップである。ステップＳ１０３は、符号化処理手段１００と符号化制御手段１０１の両方に関わる処理ステップである。すなわち、線形量子化そのものは符号化処理手段１００で実行されるものであるが、動き量の検出と線形量子化の制御は制御手段１０１により実行されるものである。図１６中のステップＳ１０３のより詳細な処理フローを図１７に示す。処理ステップの内容について順に説明する。

《ステップＳ１００》
各フレームに対し、前述のＤＣレベルシフトとコンポーネント変換が実行される。したがって、この処理ステップ後のフレームは輝度Ｙ、色差Ｃｂ，Ｃｒの３コンポーネントからなる。

《ステップＳ１０１》
フレームの各コンポーネントに２次元のウェーブレット変換が適用される。ここでは、前述したように９×７ウェーブレット変換である。また、ここではデコンポジションレベル４までの変換が行われるものとするが、これに限られるものではない。

《ステップＳ１０２》
フィールド間の動き量（櫛形量）が検出される。ここでは、本出願人の先願である特願2002-289807号に係る発明と同様に、1LHサブバンド係数に着目して画像全体についてのフィールド間の動き量（櫛形量）を検出するが、原画像にもともと櫛形以外の垂直方向の高周波が多く含まれる場合にも的確な検出を可能にするため、次のような方法が用いられる。

すなわち，輝度コンポーネントのウェーブレット係数に関し、1LHサブバンドの係数の絶対値の平均値(1LHmean)、1HLサブバンドの係数の絶対値の平均値(1HLmean)、2LHサブバンドの係数の絶対値の平均値(2LHmean)、2HLサブバンドの係数の絶対値の平均値(2HLmean)を求め、動き量（櫛形量）の評価値として
(1Lhmean／1HLmean)／(2Lhmean／2HLmean)
なる「係数比」を算出する。

前述の通り、１Lhmean／１HLmeanの大きさは櫛形の多寡を反映する。しかし、原画像にもともと櫛形以外の垂直方向の高周波が多く含まれる場合にも、この比が大きくなってしまう。一方、デコンポジションレベル２では、櫛形がウェーブレット係数に与える影響は小さくなり、原画像に含まれる櫛形以外の高周波の影響の方が顕著となる。よって、原画像に含まれる櫛形以外の高周波の，垂直・水平方向の割合（2Lhmean／2HLmean）で、１Lhmean／１HLmeanを正規化するならば、櫛形量を正確に検出することが可能である。

なお、ウェーブレット係数の絶対値の平均値の大小は、概ねエントロピー符号化後の符号量の大小に反映されるので、特願2002-289807号に係る発明と同様に必要なサブバンドの係数についてエントロピー符号化を行い、その符号量を用いることもできる。

すなわち、輝度コンポーネントの1LH，1HL，2LH，2HLサブバンドについてエントロピー符号化を行い、それぞれの符号量1Lhcode，1Hlcode，2Lhcode，2HLcodeを求め、
(1Lhcode／1HLcode)／(2Lhcode／2HLcode）
なる「符号量比」を動き量（櫛形量）の評価値として算出することもできる。このような符号量比を算出する態様も本実施例に包含される。

そして、本実施例においては、前記係数比（又は符号量比）と所定の閾値Ａ，Ｂ（ただしＡ＜Ｂ、係数比の場合と符号量比の場合とでＡ，Ｂの値は異なる）との比較判定により、動き量は「小」（Ａ未満）、「中」（Ａ以上、Ｂ未満）、「大」（Ｂ以上）の３段階に評価される。ただし、この評価は、ステップＳ１０３で行うことも可能であり、かかる態様も本実施例に包含される。

《ステップＳ１０３》
このステップの処理の全体については図１７を参照して後述することとし、ここでは、各コンポーネントの各サブバンドに対する量子化ステップ数の決定方法について説明する。この決定のプロセスは図１４中の符号化制御手段１０１に関わるものである。

所望の圧縮率（又は符号化時に見積もられる量子化誤差）と、所定の閾値Ｘ，Ｙ（ただし、Ｘ＜Ｙ、圧縮率の場合と量子化誤差の場合とではＸ，Ｙの値は異なる）との比較により、圧縮率（又は量子化誤差）を「低」（Ｘ未満）、「中」（Ｘ以上、Ｙ未満）、「高」（Ｙ以上）の３段階に評価する。

より簡単には、「（相対的な）圧縮率低、圧縮率中、圧縮率高」の３つの選択肢の中から１つをユーザに指定させてもよい。かかる態様も本実施例に包含される。

そして、動き量の評価と、圧縮率（又は量子化誤差）の評価とから、図１８に示した９通りの視覚重み１〜９の１つを決定する。ただし、本実施例においては、９種類の視覚重みではなく、図１９に示した５通りの視覚重みＡ〜Ｅを使い分けるものとする。

図２０に、視覚重みＡ〜Ｅの具体的数値例を図１９に対応させた配置で示す。この例では、
視覚重みＡ＜視覚重みＢ＜視覚重みＣ
の順で、低域のデコンポジションレベル及びサブバンドに対する重みを大きくし、圧縮率の高さ（又は量子化誤差の大ささ）に対応して好ましい画質が得られるようにしている。また、
視覚重みＡ＜視覚重みＤ＜視覚重みＥ
の順で、高域のデコンポジションレベル及びサブバンドに対する重みを大きくし、動き量の大きい画像ほど櫛形の量子化（又はトランケーション）が控えられるようにしている。

図２１に、視覚重みＡ〜Ｅの別の数値例を図１９に対応させた配置で示す。ここに示す視覚重みを適用すれば、圧縮率の高さ（又は量子化誤差の大ささ）に対応して好ましい画質が得られると同時に、デコンポジションレベル２までのＬＨサブバンド係数が優遇され、櫛形の量子化（又はトランケーション）が控えられるようになっている。

上のようにして決定された視覚重みを用いて、各コンポーネントの各デコンポジションレベルの各サブバンドの量子化に適用される量子化ステップ数を次式により求める。

量子化ステップ数（線形量子化時の除算の分母）
＝定数×基本量子化ステップ数／視覚重み (12)

ここで、基本量子化ステップ数として図２２に示す値を使用する。なお、量子化がダイナミックレンジの削減を意図していない場合は、量子化ステップ数が１より小さいことも珍しくない。

このような圧縮率（又は量子化誤差）及び動き量を反映した視覚重み、を反映した量子化ステップ数を用いることにより、量子化誤差と櫛形の多寡を反映した量子化が可能となる。

前記（１２）式中の「定数」は、積極的にダイナミックレンジを削減するためのもので、その大きさによって圧縮率や量子化誤差の量が制御されることになる。この定数の値は適宜指定されるべきものであり、もちろん１とすることもできる。

図２０に示した視覚重みの値を用いて算出された量子化ステップ数の値を、図１９に対応させた形で図２３に示す。また、図２１に示した視覚重みの値を用いて算出された量子化ステップ数の値を図１９に対応させた形で図２４に示す。

なお、線形量子化の場合、通常な数学的量子化誤差は「量子化ステップ数の1/2×サブバンドゲインの平方根」の、全ての係数についての総和となるため、ユーザにより選択された、又は見積もられた量子化誤差の大小は、量子化ステップ数の大小として反映させることができる（誤差量の指標として視覚的な量子化誤差を用いる場合は、前記「量子化ステップ数の1/2×サブバンドゲインの平方根」に、そのサブバンドで適用する視覚重みを乗じて、全ての係数について総和をとればよい。ただし、前述のように、視覚重み自体が誤差の関数であるため、視覚重み自体は適宜選択する必要がある）。

次に、ステップＳ１０３の処理全体について、図１７を参照し説明する。

まず、動き量と、圧縮率（又は量子化誤差）とに基づいて、前述のようにして図２０又は図２１に示す視覚重みを選択する（ステップＳ１１０）。

１つのコンポーネントを選択し（ステップＳ１１１）、選択されたコンポーネントの１つのデコンポジションレベルを選択し（ステップＳ１１３）、そして、選択されたコンポーネントの選択されたデコンポジションレベルのサブバンドを１つ選択する（ステップＳ１１５）。そして、当該サブバンドに適用される量子化ステップ数を決定し（ステップＳ１１７）、当該サブバンドの全ての係数を線形量子化する（ステップＳ１１８）。

ステップＳ１１５に戻り、別の１つのサブバンドを選択し、それに対する量子化ステップ数を決定して当該サブバンドの全係数を線形量子化する（ステップＳ１１７，Ｓ１１８）。

選択されたコンポーネント及びデコンポジションレベルの全てのサブバンドに対する線形量子化が終わると（ステップＳ１１６，Ｙｅｓ）、ステップＳ１１３に戻り、別の１つのデコンポジションレベルを選択し、そのデコンポジションレベルの全てのサブバンドに対する線形量子化のための処理を繰り返す（ステップＳ１１３〜Ｓ１１８）。

選択されたコンポーネントの全てのデコンポジションレベルの全てのサブバンドに対する線形量子化を終了すると（ステップＳ１１４，Ｙｅｓ）、ステップＳ１１１に戻り、別の１つのコンポーネントを選択し、そのコンポーネントの全てのデコンポジションレベルの全てのサブバンドの線形量子化のための処理を繰り返す（ステップＳ１１３〜Ｓ１１８）。

全てのコンポーネントについて線形量子化が終了すると（ステップＳ１１２，Ｙｅｓ）、図１６のステップＳ１０３を終了する。

図１６のフローに戻って説明する。

《ステップＳ１０４》
線形量子化されたウェーブレット係数に対し、サブバンド毎にエントロピー符号化が行われる。ＪＰＥＧ２０００においては、サブバンド毎に、係数が上位ビット(MSB)から下位ビット(LSB)まで、ビットプレーン単位で符号化される。

簡単のために、デコンポジションレベル＝２として一般的な説明を行う。図７の２LLサブバンドの係数が図２５のような値をとったとする。これらの値を２進数で表現し、各ビット毎に分けたものがビットプレーンであり、図２５の係数は図２６のような４枚のビットプレーンに分けることができる。１０進数の１５の２進表現は”1111”であるから、図２５の値１５の係数に対応する位置では全てのビットプレーンに”１”が立つことになる。

そして、ＪＰＥＧ２０００では、これらのビットプレーンを個々にエントロピー符号化する。より詳細には、各ビットプレーンを３つのサブビットプレーンに分割して、各サブビットプレーンごとにエントロピー符号化を行う。エントロピー符号化にはＭＱコーダと呼ばれる算術符号器が使用されるが、その説明は省略する。

《ステップＳ１０５》
エントロピー符号からパケットが生成され、それを所定のプログレッション順に並べ、必要なヘッダなどを付加した所定フォーマットの符号が形成される。

デコンポジションレベル＝２の場合は、例えば図２７のような構成の符号の形成が可能である。この例では、符号が２ＬＬサブバンドから始まって１ＨＨサブバンドで終わることを示している。また、各ビットプレーンは最上位bitから順に符号化されている。

この実施例は、エントロピー符号化段階におけるトランケーション、すなわち、ウェーブレット変換係数の破棄を、動き量（櫛形量）と圧縮率又は量子化誤差とに基づいて制御するるもので、その処理フローを図２８に示す。図２８中のステップＳ２００，Ｓ２０１，Ｓ２０２，Ｓ２０６，Ｓ２０７は図１４の符号化処理手段１００の処理ステップである。ステップＳ２０３，Ｓ２０４，Ｓ２０５は符号化制御手段１０１の処理ステップである。各処理ステップの内容について順に説明する。

《ステップＳ２００》
各フレームに対し、前述のＤＣレベルシフトとコンポーネント変換が実行される。

《ステップＳ２０１》
フレームの各コンポーネントに２次元のウェーブレット変換が適用される。ここでは、前述したように９×７ウェーブレット変換である。また、ここではデコンポジションレベル４までの変換が行われるものとする。

《ステップＳ２０２》
ウェーブレット係数は、サブバンド毎に、図２２に示した基本量子化ステップ数を用いて量子化（正規化）される。

《ステップＳ２０３》
前記実施例１におけるステップＳ１０２と同様に、フィールド間の動き量（櫛形量）として「係数比」が求められ、この係数比を２つの所定の閾値と比較することにより、動き量が「小」「中」「大」の３段階に評価される。

《ステップＳ２０４》
前記実施例１のステップＳ１０３に関連して説明したところと同様に、圧縮率（又は量子化誤差）と、動き量とに基づいて図１９に示す視覚重みＡ〜Ｅの１つを選択する。具体的には、図２０又は図２１に示した、いずれかの視覚重みの数値を選択する。

《ステップＳ２０５》
各サブバンドに関するトランケーション量を次式により算出する。ただし、四捨五入により整数化される。

トランケーション量＝log2(定数×１／当該サブバンドの視覚重み) (13)

上式の「定数」は、前述のように量子化誤差が大きいほど大きな値となり（係数を破棄するほど量子化誤差が増大するため）、ここでは、１６，３２，６４の３つの値を使用している。図２０の視覚重み値を用いて計算したトランケーション量と、図２１の視覚重み値を用いて計算したトランケーション量を、図１９に対応させた形で、図２９と図３０に示す。したがって、このステップでは、実際的には、図２９又は図３０のテーブルより対応するトランケーション量の数値を選択する。

《ステップＳ２０６》
各サブバンド毎に、当該サブバンドに関して決定されたトランケーション量（図２９又は図３０）に対応した下位サブビットプレーンを除いた、上位ビットプレーンのみがエントロピー符号化される。ここではビットプレーン単位で係数のトランケーションを行うが、サブビットプレーン単位でのトランケーションも可能である。

《ステップＳ２０７》
エントロピー符号からパケットが生成され、パケットを所定のプログレッション順に並べた符号が形成される。

この実施例は、エントロピー符号化後に、符号のトランケーションをコードブロック単位で制御するものである。本実施例においては、前記各実施例と同様のサブバンド毎の視覚重みに加え、
(A)デコンポジションレベル１に関し、コードブロック単位での”櫛形指標”
(B)コードブロック毎の”マスキング指標”
の２つを考慮して、コードブロック毎のトランケーションを制御し、圧縮率を所望値付近に精密に制御する。コードブロックは、ＪＰＥＧ２０００のトランケーションにおける画質制御単位である。

本実施例の処理フローを図３１に示す。ステップＳ３００，Ｓ３０１，Ｓ３０２，Ｓ３０４，Ｓ３０９，Ｓ３１０は図１４の符号化処理手段１００により実行されるステップであり、ステップＳ３０３，Ｓ３０５，Ｓ３０６，Ｓ３０７，Ｓ３０８は図１４の符号化制御手段１０１により実行されるステップである。ステップ３０８のより詳細なフローを、図３２に示す。以下、処理内容を順に説明する。

《ステップＳ３００》
各フレームに対し、前述のＤＣレベルシフトとコンポーネント変換が実行される。

《ステップＳ３０１》
フレームの各コンポーネントに２次元のウェーブレット変換が適用される。ここでは、前述したように９×７ウェーブレット変換である。また、ここではデコンポジションレベル４までの変換が行われるものとする。

《ステップＳ３０２》
ウェーブレット係数は、サブバンド毎に、図２２に示した基本量子化ステップ数を用いて量子化（正規化）される。

《ステップＳ３０３》
コードブロック毎のマスキング指標が算出される。

前述の通り、人間の視覚は、コントラスト強度自体の関数でもあり、同じ周波数帯域でも、コントラストが高いほど、コントラストの誤差（変化）に鈍感である。これは、コントラストの誤差を人間が感じる・感じないの閾値が、その誤差の絶対値ではなく相対的な大きさ（＝誤差の値／原値という比率）に依存すること（所謂Weberの法則）によるものであり、その効果を”マスキング”という。あるコードブロックに含まれる係数の値（周波数変換した係数は、一般に原画像のコントラストを反映したものになるため、係数値の大小をコントラストの大小と見なせる）が大きいか小さいかを示す指標を、本明細書においては“マスキング指標”と呼ぶ。

一般に、典型的な“マスキング指標“として、
（コードブロックに含まれる係数の絶対値の和）／((コードブロックに含まれる係数の数)＾α）
なる比が用いられる。実験的に、０＜α≦１であると言われているので、本実施例においては、α＝１に選ばれ、
各コードブロックのマスキング指標は、
マスキング指標
＝（コードブロックに含まれる係数の絶対値の和）／（コードブロックに含まれる係数の数） (14)
により計算される。各コードブロック毎のマスキング指標は保持される。

《ステップＳ３０４》
全てのサブバンドの全てのビットプレーンについて、エントロピー符号化が行われる。この際に、各コードブロックの各ビットプレーンの符号量が保持される。また、各コードブロックの各ビットプレーン毎に、その符号が破棄された場合の量子化誤差量も計算されて保存される。

《ステップＳ３０５》
輝度コンポーネントの1LH，1HL，2LH，2HLサブバンドの符号量1Lhcode，1Hlcode，2Lhcode，2HLcodeから「符号量比」
(1Lhcode／1HLcode)／(2Lhcode／2HLcode）
を算出する。そして、「符号量比」と所定の閾値Ａ，Ｂ（ただしＡ＜Ｂ）との比較判定により、動き量は「小」（Ａ未満）、「中」（Ａ以上、Ｂ未満）、「大」（Ｂ以上）の３段階に評価される。

なお、この符号量比は画像全体としての動き量（櫛形量）の評価値であるので、本実施例においては、後述のように、コードブロック毎の「櫛形符号量指標」を求め、これを「符号量比」に基づいて決定された視覚重みに乗じることによって、コードブロック単位の動き量の微調整が行われる（ステップＳ３０７，Ｓ３０８参照）。

《ステップＳ３０６》
前記実施例１のステップＳ１０３に関連して説明したところと同様に、圧縮率（又は量子化誤差）と、動き量（＝符号量比）とに基づいて図１９に示す視覚重みＡ〜Ｅの１つを選択する。具体的には、図２０又は図２１に示した、いずれかの視覚重みの数値を選択する。

《ステップＳ３０７》
図１０に関連したように、プリシンクトは原画像の同じ位置に対応した係数からなる３つの矩形であり、また、コードブロックはプリシンクトを分割したものであるため、「原画像の同じ位置に対応したコードブロック」が１HL，1LH，１HHサブバンド内に各々１つずつ存在する。よって、これらのコードブロックに含まれるウェーブレット係数や符号量は、原画像内での同じ位置に関するものとなる。

したがって、本出願人の先願である特願2002-300476号に係る発明の教えるように、コードブロック毎の櫛形の多寡を次の比
(当該コードブロックに含まれるLH係数の符号量)／(原画中で同じ位置のコードブロックに含まれるHL係数の符号量）
で評価することができる。

そこで、本実施例においては、各コードブロック毎の櫛形の多寡の指標として次の「櫛形符号量指標」を計算する。
櫛形符号量指標＝((当該コードブロックに含まれる１LH係数の符号量)／(同じ位置のコードブロックに含まれる１HL係数の符号量))／((1LHサブバンドの全符号量)/(1HLサブバンドの全符号量)) (15)

なお、この櫛形符号量指標は、原画像中で同じ位置にある３つのコードブロックについては同じ値として扱う。

次のステップＳ３０８において、サブバンド全体の符号量比と圧縮率（又は量子化誤差）に基づいて決定された視覚重みに「櫛形符号量指標」が乗じられる。これにより、あるコードブロック位置の動き量がサブバンド全体の動き量より大きければ、そのコードブロックに関する重みの値は、その分だけ大きくなるように調整されるのである。言い換えれば、コード単位で動き量の微調整が行われるということである。

《ステップＳ３０７》
コードブロックの全てのビットプレーンをエントロピー符号化したときの、符号の基本的な重要度は
「その符号を破棄した場合の量子化誤差の増分×視覚重み／その符号量」
で評価される。

本実施例では、このステップにおいて、ある１つのビットプレーンの、ある１つのコードブロックの符号の重要度を次式により求める。

重要度＝((その符号を破棄した場合の量子化誤差の増分)×視覚重み×櫛形符号量指標))／（マスキング指標×その符号量） (16)

視覚重みは，同一サブバンド内で共通であるが、櫛形符号量指標やマスキング指標はコードブロックによって異なるため、上式により計算される重みにより、コードブロック単位での符号の差別化が可能なのである。

そして、全コンポーネントのコードブロックの重要度を低い順にソートすることにより、どのコンポーネントの、どのコードブロックのビットプレーンの符号から破棄すべきか、その序列を求める。

なお、「その符号を破棄した場合の量子化誤差の増分」の求め方は種々存在し、数学的に厳密な方法は例えば非特許文献５に記載されている。

本実施例では、処理を簡易にするため、
「LSB(最下位ビット)から数えてｎ(ｎ＞０)枚目のビットプレーンの符号を破棄した場合の、１ウェーブレット係数あたりの量子化誤差」＝２^(n−1)」
と見なす。ビットプレーンを下から１枚破棄するということは、誤差的観点からは係数を２で割ることと等価であり、その誤差は確率的には２^0＝１だからである。そして、ウェーブレット係数は誤差的観点から正規化されているため、１ウェーブレット係数あたりの量子化誤差＝RGB値の誤差として扱うことができる。よってこの場合、「コードブロックのLSBから数えてｎ枚目のビットプレーンの符号を破棄した場合の量子化誤差の増分」は次式により求められる。

量子化誤差の増分＝
((２^(n−1)−２^(n−2))×当該コードブロックに含まれる係数の数 (17)

この処理ステップについて、図３２のフローに沿ってさらに説明する。１つのコンポーネントを選び（ステップＳ３２０）、選ばれたコンポーネントの１つのコードブロックを選択する（ステップＳ３２２）。

選ばれたコードブロックについて、１つのビットプレーンを選び（ステップＳ３２４）、そのビットプレーンについて前記（１６）式により重要度を計算する（ステップＳ３２６）。選ばれたコードブロックの全てのビットプレーンの重要度の計算が終わると（ステップＳ３２５，Ｙｅｓ）、ステップＳ３２２に戻り、選択されているコンポーネントの別の１つのコードブロックを選び、その各ビットプレーンについて重要度が計算される。

選択されているコンポーネントの全てのコードブロックについて重要度計算が終わると、ステップＳ３２０に戻り、別の１つのコンポーネントが選ばれ、そのコンポーネントに関する重要度の計算が繰り返される。全てのコンポーネントに関し重要度計算が終わると（ステップＳ３２１，Ｙｅｓ）、重要度のソートが行われ、符号破棄の序列が決定される（処理ステップＳ３３０）。

再び、図３１を参照する。

《ステップＳ３０９》
重要度より決定された序列に従って、所望の符号量（圧縮率）になるまで、符号が破棄される。ただし、ＪＰＥＧ２０００の仕様上、各コードブロックの符号はLSB側から順に捨てる必要があるため、それと序列が矛盾する場合には、符号の破棄順を調整する。

例えば、デコンポジションレベル＝２の場合に、上記序列の一部が図３３の様であったとする(図３３においては、煩雑をさけるため、一部のコードブロックの一部のビットプレーンの１〜２２までの序列が示されている）。この例では、序列「１９」の符号よりも序列「２１」の符号の方がLSB側にあるため、「１８」→「２０」→「２１」→「１９」の順で符号を破棄することになる。

なお、LSBから順に、かつ前記序列の順で符号を破棄する、処理の実装は、前述のようにソートによってもよいが、一般的なラグランジェの未定乗数法によってもよい。ＪＰＥＧ２０００におけるラグランジェの未定乗数法の実装法について、非特許文献５に詳しい記載がある。

本実施例の一変形例について以下に説明する。この変形例においては、ステップＳ３０５において、前記実施例１と同様の「係数比」により動き量が評価される。また、ステップＳ３０６において、「櫛形符号量指標」に代えて、次式で計算されるコードブロック毎の「櫛形係数指標」が求められる。

櫛形係数指標＝
((当該コードブロックに含まれる１LH係数の絶対値の和)／(同じ位置のコードブロックに含まれる１HL係数の絶対値の和))／((1LHサブバンドの全係数の絶対値の和)／(1HLサブバンドの全係数の絶対値の和)) (18)

また、ステップＳ３０８において、１つのビットプレーンの１つのコードブロックの重要度は次式で計算される。

重要度＝
((その符号の破棄による量子化誤差の増分)×視覚重み×櫛形係数指標))／(マスキング指標×その符号量) (19)

本変形例及び前記実施例３と同様のコードブロック単位のトランケーションの制御を、前記実施例２のようなウェーブレット係数のトランケーションの制御にも応用可能である。

以上、本発明の実施の形態を、いくつかの実施例及び変形例に関し詳細に説明したが、本発明の実施の形態はそれのみに限定されるものではないことは明白である。

フィールド間の動きと櫛形を説明するための図である。 フィールド間の動きによる”残像現象”を説明するための図である。 ２次元ウェーブレット変換の説明のための原画像と座標系を示す図である。 図３の原画像への垂直方向のフィルタリングにより得られる係数配列を示す図である。 図４の係数配列への水平方向のフィルリングにより得られる係数配列を示す図である。 図５の係数配列をデインターリーブした係数配列を示す図である。 ２回のウェーブレット変換を行って得られた係数をデインターリーブした係数配列を示す図である。 デコンポジションレベルと解像度レベルの関係を示す図である。 ＪＰＥＧ２０００の圧縮／伸長処理の流れを示すブロック図である。 画像、タイル、サブバンド、プリシンクト、コードブロックの関係を説明するための図である。 マルチレイヤー構造の一例を示す図である。 図１１中のレイヤーを構成するパケットを示す図である。 視覚特性の例を示すグラフである。 本発明の実施の形態を説明するための装置構成図である。 本発明をコンピュータで実施する形態を説明するための図である。 本発明の実施例１における処理の流れを示すフローチャートである。 図１６中のステップＳ１０３の処理フローを示すフローチャートである。 動き量と圧縮率又は量子化誤差に基づく視覚重みの決定方法を説明するための図である。 実施例において採用される、動き量と圧縮率又は量子化誤差に基づく視覚重みの決定方法を説明するための図である。 視覚重みの数値例を示す図である。 視覚重みの別の数値例を示す図である。 基本量子化ステップ数を示す図である。 量子化ステップ数の数値例を示す図である。 量子化ステップ数の別の数値例を示す図である。 ２ＬＬサブバンドの係数値例を示す図である。 図２５の２ＬＬサブバンドのビットプレーンを示す図である。 ＪＰＥＧ２０００の符号構成例を示す図である。 本発明の実施例２における処理フローを示すフローチャートである。 トランケーション量の数値例を示す図である。 トランケーション量の別の数値例を示す図である。 本発明の実施例３における処理フローを示すフローチャートである。 図３１中のステップＳ３０８の処理フローを示すフローチャートである。 符号破棄序列の例を示す図である。

符号の説明

１００ 符号化処理手段
１０１ 符号化制御手段

Claims (22)

1. インターレース画像のフレームベース符号化処理を行う符号化処理手段と、フレームを構成するフィールド間の動き量を検出し、該動き量、及び、圧縮率又は量子化誤差に基づいて、前記符号化処理手段における周波数係数の量子化を制御する符号化制御手段を有することを特徴とする符号化装置。
2. インターレース画像のフレームベース符号化処理を行う符号化処理手段と、フレームを構成するフィールド間の動き量を検出し、該動き量、及び、圧縮率又は量子化誤差に基づいて、前記符号化処理手段における周波数係数又は符号のトランケーションを制御する符号化制御手段を有することを特徴とする符号化装置。
3. 請求項１に記載の符号化装置において、符号化制御手段が画質制御単位毎に量子化を制御することを特徴とする符号化装置。
4. 請求項２に記載の符号化装置において、符号化制御手段が画質制御単位毎にトランケーションを制御することを特徴とする符号化装置。
5. 請求項１に記載の符号化装置において、符号化制御手段が周波数係数の周波数帯域毎に量子化を制御することを特徴とする符号化装置。
6. 請求項２に記載の符号化装置において、符号化制御手段が周波数係数の周波数帯域毎にトランケーションを制御することを特徴とする符号化装置。
7. 請求項１に記載の符号化装置において、符号化制御手段がウェーブレット変換のデコンポジションレベル毎に量子化を制御することを特徴とする符号化装置。
8. 請求項２に記載の符号化装置において、符号化制御手段がウェーブレット変換のデコンポジションレベル毎にトランケーションを制御することを特徴とする符号化装置。
9. 請求項１に記載の符号化装置において、符号化制御手段がウェーブレット変換のサブバンド毎に量子化を制御することを特徴とする符号化装置。
10. 請求項２に記載の符号化装置において、符号化制御手段がウェーブレット変換のサブバンド毎にトランケーションを制御することを特徴とする符号化装置。
11. 請求項９に記載の符号化装置において、符号化制御手段が同一解像度レベル中のサブバンドに関し、ＬＨサブバンドの量子化を最も控えるように制御することを特徴とする符号化装置。
12. 請求項１０に記載の符号化装置において、符号化制御手段が同一解像度レベル中のサブバンドに関し、ＬＨサブバンドのトランケーションを最も控えるように制御することを特徴とする符号化装置。
13. 請求項７，９又は１１に記載の符号化装置において、符号化制御手段がデコンポジションレベル１及びデコンポジションレベル２のみに関し量子化を制御することを特徴とする符号化装置。
14. 請求項８，１０又は１２に記載の符号化装置において、符号化制御手段がデコンポジションレベル１及びデコンポジションレベル２のみに関しトランケーションを制御することを特徴とする符号化装置。
15. 請求項１，３，５，７，９，１１又は１３に記載の符号化装置において、符号化制御手段が量子化の制御においてサブバンド毎の視覚重みを変えることを特徴とする符号化装置。
16. 請求項２，４，６，８，１０，１２又は１４に記載の符号化装置において、符号化制御手段がトランケーションの制御においてサブバンド毎の視覚重みを変えることを特徴とする符号化装置。
17. 請求項２，４，６，８，１０，１２又は１４に記載の符号化装置において、符号化制御手段がトランケーションの制御に画質制御単位毎のマスキングを反映させることを特徴とする符号化装置。
18. 請求項２，４，６，８，１０，１２，１４又は１６に記載の符号化装置において、符号化制御手段がトランケーションの制御において画質制御単位毎に視覚重みを変更することを特徴とする符号化装置。
19. インターレース画像のフレームベース符号化を制御する符号化制御方法であって、請求項１，３，５，７，９，１１，１３又は１５に記載の符号化制御手段による動き量検出及び量子化制御のためのステップを含むことを特徴とする符号化制御方法。
20. インターレース画像のフレームベース符号化を制御する符号化制御方法であって、請求項２，４，６，８，１０，１２，１４，１６，１７又は１８に記載の符号化制御手段による動き量検出及びトランケーション制御のためのステップを含むことを特徴とする符号化制御方法。
21. 請求項１９又は２０に記載の動き量検出、及び、量子化制御又はトランケーション制御のためのステップをコンピュータに実行させるプログラム。
22. 請求項２１に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。

Images