JP2005045356A - 画像符号化装置及び方法 - Google Patents
画像符号化装置及び方法 Download PDFInfo
- Publication number
- JP2005045356A JP2005045356A JP2003200478A JP2003200478A JP2005045356A JP 2005045356 A JP2005045356 A JP 2005045356A JP 2003200478 A JP2003200478 A JP 2003200478A JP 2003200478 A JP2003200478 A JP 2003200478A JP 2005045356 A JP2005045356 A JP 2005045356A
- Authority
- JP
- Japan
- Prior art keywords
- code amount
- code
- threshold value
- small
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】動画像の圧縮時の画像符号化におけるレート・歪み最適化処理に要する演算コストを好適に低減することができる画像符号化装置及び方法を提供する。
【解決手段】注目フレームのレート・歪み勾配をｍ個のカテゴリに分類する。カテゴリ情報生成部１０１は、注目フレームの符号化時に予測値格納部１０４から前フレームのしきい値λを注目フレームの予測値λ’として取得し、予測値λ’が含まれるカテゴリをさらに細かく分割する。そして、予測値λ’が含まれるカテゴリ中のｎ個のカテゴリのそれぞれについて符号量を算出する。符号量形成部１０３は、目的となるターゲットレートを持つカテゴリを選択し、そのカテゴリの上限値Ｔｎ（ｘ−１）と下限値Ｔｎ（ｘ）との間でしきい値探索を行い、処理終了時点でのＳがしきい値λとして選択され、当該しきい値λを用いて符号列を形成する。
【選択図】 図２２
【解決手段】注目フレームのレート・歪み勾配をｍ個のカテゴリに分類する。カテゴリ情報生成部１０１は、注目フレームの符号化時に予測値格納部１０４から前フレームのしきい値λを注目フレームの予測値λ’として取得し、予測値λ’が含まれるカテゴリをさらに細かく分割する。そして、予測値λ’が含まれるカテゴリ中のｎ個のカテゴリのそれぞれについて符号量を算出する。符号量形成部１０３は、目的となるターゲットレートを持つカテゴリを選択し、そのカテゴリの上限値Ｔｎ（ｘ−１）と下限値Ｔｎ（ｘ）との間でしきい値探索を行い、処理終了時点でのＳがしきい値λとして選択され、当該しきい値λを用いて符号列を形成する。
【選択図】 図２２
Description
【０００１】
【発明の属する技術分野】
本発明は、静止画像又は動画像におけるフレーム画像を符号化する画像符号化装置及び方法に関する。
【０００２】
【従来の技術】
画像符号化の効率を向上させる手法の一つとして、符号量（レート）・歪み最適化手法がある。レート・歪み最適化手法は、符号化データを構成する複数の区分ごとに、発生符号量と画像の歪みに関する指標値を求め、総符号量が目標値以下という条件の下で、総歪み指標値の最小化を図るものである。
【０００３】
ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１での標準化作業により制定された静止画像符号化の国際標準方式ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４）は、ウェーブレット変換により得られる各サブバンドの係数をコードブロックと呼ばれる矩形領域に分割してそれぞれ独立に符号化するという構成になっている。このＪＰＥＧ２０００は、各コードブロックをさらに複数のパスに分けて符号化しており、パスを単位として発生符号量と画像の歪み指標値を求めてレート・歪み最適化手法を適用することが考慮されている。ＪＰＥＧ２０００標準を実施する上での参考として、レート・歪み最適化手法の一適用方法が示されている（例えば、非特許文献１参照）。
【０００４】
例えば、コードブロックＢｉの符号打ち切り可能点をｎｉとし、ｎｉで符号を打ち切った場合のコードブロックＢｉの符号量をＲｉ（ｎｉ）、歪みの指標値をＤｉ（ｎｉ）とするとき、画像全体での総歪み指標値Ｄ、及び総符号量Ｒは、次式のように示すことができる。
【０００５】
【数１】
【０００６】
そして、レート・歪み最適化の目標は、目標となる総符号量Ｒｍａｘ以下の条件、すなわち、Ｒ≦Ｒｍａｘで総歪み指標値Ｄを最小化する打ち切り点ｎｉの集合を求めることとなる。
【０００７】
この最適化問題は、一般化ラグランジェ乗数法によって解決することができる（例えば、非特許文献２参照）。
【０００８】
すなわち、あるλの値について、次式を最小化する問題に帰着する。尚、λの値が総符号量ＲがＲｍａｘ以下となるように調整される。
【０００９】
【数２】
【００１０】
上式の最小化は、各コードブロックの個々の最小化問題となる。以下、コードブロックＢｉについて、Ｄｉ（ｎｉ）＋λＲｉ（ｎｉ）が最小となる符号打ち切り点ｎｉを求める単純なアルゴリズムについて説明する。
【００１１】
図４は、有効符号化パスの数がｋｉ＿ｍａｘであるコードブロックＢｉについて符号打ち切り点ｎｉを決定する処理の手順を説明するためのフローチャートである。図４に示すように、まず、符号打ち切り点ｎｉを０に初期化しておく（ステップＳ４０１）。次に、着目する符号打ち切り可能点を示す変数ｋを１に設定する（ステップＳ４０２）。続いて、着目する符号打ち切り可能点ｋについて、このコードブロックＢｉの符号打ち切り点をｎｉからｋに移動させた場合の符号量増加分ΔＲｉ（ｋ）と、歪み指標値減少分ΔＤｉ（ｋ）を求める（ステップＳ４０３）。
【００１２】
そして、符号打ち切り点ｎｉから着目する符号打ち切り可能点ｋまでの間にある符号の符号量対歪み指標値として、ΔＤｉ（ｋ）／ΔＲｉ（ｋ）を算出して、１／λと比較する（ステップＳ４０４）。その結果、１／λよりも大きい場合（Ｙｅｓ）、ｎｉの値をｋに更新する（ステップＳ４０５）。次に、ｋに１を加えて、着目する符号打ち切り点を一つ下げる（ステップＳ４０６）。一方、ステップＳ４０４で、１／λよりも小さい場合（Ｎｏ）、ｎｉは更新せずにステップＳ４０６に進む。そして、更新されたｋの値をこのコードブロックの符号化パスの数ｋｉ＿ｍａｘと比較する（ステップＳ４０７）。
【００１３】
その結果、ｋ≦ｋｉ＿ｍａｘであれば（Ｎｏ）、更新されたｋについてステップＳ４０３から繰り返して処理を行う。一方、ｋ＞ｋｉ＿ｍａｘであれば（Ｙｅｓ）、処理を終了して、与えられたλでの着目コードブロックＢｉの符号打ち切り点は終了時点のｎｉに定まる。
【００１４】
上述したアルゴリズムは、種々のλの値について実施されることを考慮すると、あらかじめコードブロックの符号打ち切り点の候補を定めておく方が効率が良い。コードブロックの符号打ち切りは、符号化パス単位に行われるので、基本的には全ての符号化パス境界で符号打ち切りが可能である。しかし、上述の符号打ち切り点ｎｉ決定アルゴリズムを適用する場合、符号打ち切り候補点間のレート・歪みの勾配を表す値、Ｓｉ（ｋ）＝ΔＤｉ（ｋ）／ΔＲｉ（ｋ）が、ｋに伴って単調減少となるように打ち切り候補点が決定され、条件を満たさない符号化パス境界は符号打ち切り点として選択されない。
【００１５】
例えば、図１０のように、４つの符号化パスにより符号化されたコードブロックを考える。図１０は、コードブロックの各パスのレートと歪みの関係の一例を示す図である。すなわち、基本的には、図１０の打ち切り可能点０〜４で示される４つのパスの境界で符号を打ち切ることが可能である。しかし、打ち切り可能点２ではレート・歪みの勾配が単調減少となっておらず、コードブロックの符号を打ち切るのは効率的でないため、上述のアルゴリズムでは符号打ち切り点として選択されることはない。
【００１６】
以下、全符号化パスの境界から符号打ち切り点の候補を選択するアルゴリズムについて説明する。図５は、符号打ち切り点の候補を選択する処理の流れを説明するためのフローチャートである。ここでは、符号打ち切り点の候補の集合をＮｉとする。
【００１７】
まず、符号打ち切り点の候補の集合Ｎｉの初期状態として、着目するコードブロックの全符号化パスの境界の集まりとする（ステップＳ５０１）。例えば、コードブロックＢｉの符号化パスの数をｋｉ＿ｍａｘとすると、Ｎｉ＝｛１，２，３，…，ｋｉ＿ｍａｘ｝である。次に、候補判定の対象となる符号打ち切り点ｐを０に設定する（ステップＳ５０２）。また、候補判定の対象となる符号打ち切り点の次の打ち切り点として、ｋを１に設定する（ステップＳ５０３）。
【００１８】
そして、設定されたｋが集合Ｎｉに属しているか否かを判定し（ステップＳ５０４）、Ｎｉに属している場合（Ｙｅｓ）、符号打ち切り点をｐからｋに移動させた場合の符号量増加分ΔＲｉ（ｋ）、歪み指標値減少分ΔＤｉ（ｋ）、及び、この区間のレート・歪み勾配Ｓｉ（ｋ）を求める（ステップＳ５０５）。一方、Ｎｉに属さない場合（Ｎｏ）、後述するステップＳ５０８へと処理を移す。
【００１９】
ステップＳ５０５の処理後、ｐ≠０の場合であって、かつＳｉ（ｋ）＞Ｓｉ（ｐ）であるか否かを比較する（ステップＳ５０６）。その結果、ｐ≠０、かつ、Ｓｉ（ｋ）＞Ｓｉ（ｐ）の場合（Ｙｅｓ）、ｐを集合Ｎｉから除いて（ステップＳ５１０）、ステップＳ５０２へと戻る。一方、それ以外の場合には（例えば、ｐ＝０やＳｉ（ｋ）≦Ｓｉ（ｐ））、ｐにｋを設定し（ステップＳ５０７）、ｋの値に１を加えて更新する（ステップＳ５０８）。
【００２０】
そして、ｋとｋｉ＿ｍａｘを比較して（ステップＳ５０９）、ｋ≦ｋｉ＿ｍａｘならば（Ｎｏ）、更新されたｋについてステップＳ５０４から処理を行う。一方、ｋ＞ｋｉ＿ｍａｘならば（Ｙｅｓ）、処理を終了して、この時点での集合Ｎｉが符号打ち切り点の候補集合となる。例えば、先に例に挙げた図１０に示すようなコードブロックの場合、打ち切り点の候補集合Ｎｉ＝｛１，３，４｝となり、これらの打ち切り候補点では図１１に示すようにレート・歪み勾配がｋに伴って単調減少となる。すなわち、図１１は、上述した単調減少化処理によりパスが統合される様子を示す図である。
【００２１】
以上により得られた符号打ち切り点候補集合Ｎｉに属するｋについて、レート・歪み勾配Ｓｉ（ｋ）、符号量Ｒｉ（ｋ）の値を保持しておき、Ｓｉ（ｋ）＞λとなる最大のｋを選択する。λの値が小さい場合には、符号打ち切り点は下がって切り捨てられる符号は少なくなり、逆にλの値が大きい場合には、符号打ち切り点は上がって切り捨てられる符号は多くなるため、乗数λは画質のパラメータとみなすことができる。そして、大きいλの値から小さい値へと変化させながら、総符号量Ｒ＝Ｒｍａｘ、あるいはＲ≒Ｒｍａｘとなるλを探して、そのλに基づいて各コードブロックの符号打ち切り点を決定することで、レート・歪み勾配の最適化を図ることができる。
【００２２】
以下、レート・歪み最適化手法をＪＰＥＧ２０００に適用する一形態について説明する。但し、ＪＰＥＧ２０００による符号化の具体的方法については勧告書に詳細に説明されているので、ここでは簡単な例についてその大まかな処理の流れのみを説明する。
【００２３】
また、説明簡略化のため、符号化対象画像は各画素が８ビット（０〜２５５）で表現された５１２×５１２画素のモノクロ画像とし、符号化対象画像の各画素の水平方向の画素位置（座標）をｘ、垂直方向の画素位置をｙとして、画素位置（ｘ，ｙ）の画素値をＰ（ｘ，ｙ）で表す。また、ＪＰＥＧ２０００の符号化の条件として、タイル分割なし、離散ウェーブレット変換２回、９×７非可逆フィルタ（９−７ Ｉｒｒｅｖｅｒｓｉｂｌｅ Ｆｉｌｔｅｒ）使用、コードブロックサイズは６４×６４、１レイヤでの符号列形成として説明する。その他にも、エントロピー符号化のオプション等の様々な条件設定が必要であるが、ここでは特に言及しない。
【００２４】
図２は、一般的なＪＰＥＧ２０００符号化を行う画像符号化装置の構成を示すブロック図である。図２において、２００は画像データ入力部、２０１は離散ウェーブレット変換部、２０２は係数量子化部、２０３はコードブロック分割部、２０４はコードブロック符号化部、２０５は符号列形成部、２０６は符号列格納部、２０７はコードブロック情報格納部、２０８は符号出力部である。
【００２５】
まず、画像データ入力部２００から符号化対象の画像データを構成する各画素値Ｐ（ｘ，ｙ）が順に入力される。画像データ入力部２００では、入力される各画素値Ｐ（ｘ，ｙ）から中間値１２８を引くことで、０から２５５の入力データのＤＣレベルシフトを行い、−１２８から１２７までのデータＰ’（ｘ，ｙ）に変換して、離散ウェーブレット変換部２０１へと出力する。
【００２６】
離散ウェーブレット変換部２０１では、ＤＣレベルシフト後の入力データＰ’（ｘ、ｙ）を不図示の内部バッファに適宜格納し、２次元離散ウェーブレット変換を実施する。２次元離散ウェーブレット変換は、１次元の離散ウェーブレット変換を水平及び垂直方向それぞれに適用することにより行われる。離散ウェーブレット変換部２０１では、１次元離散ウェーブレット変換として９×７非可逆フィルタを使用する。
【００２７】
図３は、２次元離散ウェーブレット変換によって処理される符号化対象画像のサブバンドを説明するための図である。すなわち、離散ウェーブレット変換部２０１では、図３（ａ）に示されるような符号化対象画像に対して、まず垂直方向に１次元離散ウェーブレット変換を適用し、図３（ｂ）に示されるように低周波サブバンドＬと高周波サブバンドＨとに分解する。次に、それぞれのサブバンドに対して水平方向の１次元離散ウェーブレット変換を適用することにより、図３（ｃ）に示されるようなＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分解する。
【００２８】
離散ウェーブレット変換部２０１では、上述した２次元離散ウェーブレット変換により得られたサブバンドＬＬに対して、さらに繰り返して２次元離散ウェーブレット変換を適用する。これによって、符号化対象画像をＬＬ、ＨＬ１、ＬＨ１、ＨＨ１、ＨＬ２、ＬＨ２、ＨＨ２の７つのサブバンドに分解することができる。
【００２９】
図６は、２回の２次元離散ウェーブレット変換によって得られる７つのサブバンドを説明するための図である。図６に示すように、復号側では、ＬＬサブバンドの係数を復号することにより、水平・垂直方向ともに１／４の大きさで画像を再生することができ、さらにＨＬ１、ＬＨ１、ＨＨ１の係数を復号することにより、水平・垂直１／２の大きさの画像を再生することができる。そして、ＨＬ２、ＬＨ２、ＨＨ２まで復号することにより、元の画像と同じ大きさの画像を再生することができる。以降、ＬＬサブバンドを解像度レベル０、ＬＨ１、ＨＬ１、ＨＨ１を解像度レベル１、ＬＨ２、ＨＬ２、ＨＨ２を解像度レベル２という呼び方で呼ぶ。
【００３０】
尚、以降では、各サブバンド内の係数をＣ（Ｓｂ，ｘ，ｙ）と表す。ここで、Ｓｂはサブバンドの種類を表し、ＬＬ、ＬＨ１、ＨＬ１、ＨＨ１、ＬＨ２、ＨＬ２、ＨＨ２のいずれかである。また、（ｘ，ｙ）は各サブバンド内の左上隅の係数位置を（０，０）としたときの水平方向及び垂直方向の係数位置（座標）を表す。
【００３１】
係数量子化部２０２では、離散ウェーブレット変換部２０１で生成された各サブバンドの係数Ｃ（Ｓ，ｘ，ｙ）を、各サブバンド毎に定めた量子化ステップｄｅｌｔａ（Ｓ）を用いて量子化する。ここで、量子化された係数値をＱ（Ｓ，ｘ，ｙ）と表すとすると、係数量子化部２０３で行われる量子化処理は次式により表すことができる。
【００３２】
【数３】
【００３３】
ここで、ｓｉｇｎ｛Ｉ｝は整数Ｉの正負符号を表す関数であり、Ｉが正の場合は１を、負の場合は−１を返す。また、ｆｌｏｏｒ｛Ｒ｝は実数Ｒを超えない最大の整数値を表す。
【００３４】
コードブロック分割部２０３は、係数量子化部２０２で量子化されたサブバンドの係数Ｃ（Ｓ，ｘ，ｙ）を不図示の内部バッファに適宜格納して、コードブロックとよばれる所定の大きさの矩形に分割して切り出す。コードブロック分割は、サブバンドの左上隅を基準として、６４×６４のブロックに分割することで行われる。これにより、ＬＬ、ＨＬ１、ＬＨ１、ＨＨ１の各サブバンドは、それぞれ４つのコードブロックに分割され、ＨＬ２、ＬＨ２、ＨＨ２の各サブバンドは１６個のコードブロックに分割される。
【００３５】
尚、各コードブロックには、順番に、重複しない識別番号ｉ（０〜６３）を割り振り、Ｂ０、Ｂ１、Ｂ２…Ｂ６３のように、Ｂｉという形でコードブロックを特定する。また、識別番号ｉは、解像度レベル順に割り振り、同一解像度レベル内においては、ＨＬ、ＬＨ、ＨＨサブバンドの順に、同一サブバンド内においてはラスタースキャン順に番号を付けるものとする。図７は、コードブロック分割部２０３におけるコードブロック分割の様子を示す図である。図７において、実線はサブバンドの境界を表し、点線はコードブロックの境界を示しており、点線または実線で区切られる矩形がコードブロックである。
【００３６】
コードブロック符号化部２０４は、コードブロック分割部２０３により切り出されたコードブロックＢｉ内の量子化された係数値Ｑ（Ｓ，ｘ，ｙ）（以降、単に「係数値」と称す）の絶対値を自然２進数で表現して、上位の桁から下位の桁へとビットプレーン方向を優先して二値算術符号化し、コードブロックの符号化データを符号列格納部２０６に格納する。各ビットプレーンは、最上位のビットプレーンを除いて、３つのパスに分けて符号化する。尚、パスへの分割、各パスでの具体的な符号化方法については、勧告書に従う。
【００３７】
すなわち、コードブロック符号化部２０４は、各パスの符号化毎に着目するパスの符号量増加分ΔＲｉ（ｋ）と、歪み指標値減少分ΔＤｉ（ｋ）とを求め、図８に示すテーブルを構築して不図示の内部バッファに格納する。図８は、コードブロック符号化部２０４の内部に構築されるコードブロックＢｉの情報の例を示す図である。尚、歪み指標値には、平均二乗誤差や、サブバンド毎に重みをつけて導出される重み付き平均二乗誤差等が用いられる。３種類のパスそれぞれについて、各係数の歪み指標値減少分を導出する一方式は、特許文献１（勧告書の附属書Ｊ）等に記されている。
【００３８】
着目するコードブロックＢｉについて、全パスの符号化が終了し、図８に示すようなテーブルが完成されると、前述した図５に示す符号打ち切り点の候補を選択するアルゴリズムを実施し、全符号化パス境界の集合からＳｉ（ｋ）が単調減少となる符号打ち切り点候補集合Ｎｉを求める。そして、図９に示すように、候補集合Ｎｉの要素の数ＮＰと、各打ち切り候補点でのパス番号ｋと、レート・歪み勾配Ｓｉ（ｋ）と、符号量Ｒｉ（ｋ）とをコードブロック情報格納部２０７に格納する。すなわち、図９は、コードブロック情報格納部２０７に格納される符号打ち切り候補点の情報の例を示す図である。
【００３９】
符号列形成部２０５は、コードブロック符号化部２０４により全てのコードブロックの符号化が終了すると、コードブロック情報格納部２０５に格納される各コードブロックの打ち切り候補点の情報を参照しながら、総符号量Ｒ＝Ｒｍａｘ、あるいはＲ≒Ｒｍａｘとなるλを探して、Ｓｉ（ｋ）＞λとなる部分の符号を集めて最終符号列を形成し、出力する。
【００４０】
図１４は、符号列形成部２０５におけるλ決定の処理の流れを説明するためのフローチャートである。以下、図１４を用いて、符号列形成部２０５によるしきい値λ決定の処理について説明する。尚、以下では、しきい値を表す変数としてＳを導入し、処理終了時点での変数Ｓの値がλとなる。
【００４１】
符号列形成部２０５では、まず、コードブロック情報格納部２０７に格納される全コードブロックの打ち切り候補点の情報を参照して、Ｓｉ（ｋ）の最小値Ｓｍｉｎと最大値Ｓｍａｘを求める（ステップＳ１４０１）。次に、しきい値を表す変数ＳにステップＳ１４０１で求められたＳｍａｘを設定する（ステップＳ１４０２）。続いて、変数Ｓからあらかじめ定めたしきい値変更幅ΔＳを減じ、変数Ｓの値を少しだけ下げる（ステップＳ１４０３）。
【００４２】
そして、コードブロック番号を表す変数ｉに０を設定し、累積符号量Ｒを０に初期化する（ステップＳ１４０４）。次いで、コードブロック情報格納部２０５に格納されるコードブロックＢｉの打ち切り候補点情報を参照して、Ｓｉ（ｋ）＞Ｓを満たす最大のｋを求め、コードブロックＢｉの打ち切り点ｎｉとする（ステップＳ１４０５）。Ｓｉ（ｋ）の値は、コードブロックＢｉの打ち切り候補点順に単調減少化されているので、Ｓｉ（ｋ）を候補点の順番に比較していくことでｎｉを求めることができる。
【００４３】
そして、ステップＳ１４０５で求めた打ち切り点ｎｉでのコードブロックＢｉの符号量Ｒｉ（ｎｉ）を累積符号量Ｒに加える（ステップＳ１４０６）。さらに、ｉに１を加えて更新し（ステップＳ１４０７）、ｉを６４と比較する（ステップＳ１４０８）。その結果、ｉが６４ならば（Ｙｅｓ）、ステップ１４０９へ進む。一方、ｉが６４以外の場合（Ｎｏ）、ステップＳ１４０５に処理を移して、次のコードブロックについて符号量加算を行う。
【００４４】
ステップＳ１４０９では、ｉが６４の場合、すなわち、しきい値Ｓについて全コードブロックからの累積符号量の算出が終了した場合、累積符号量Ｒを目標符号量Ｒｍａｘと比較する。その結果、Ｒ＜Ｒｍａｘの場合（Ｙｅｓ）、ステップＳ１４１０へ進み、そうでない場合（Ｎｏ）、ステップＳ１４１１へと処理を移す。ステップＳ１４１１へと処理が移された場合には、現在のしきい値Ｓでは目標符号量を超えるため、ΔＳを加えて一つ前のしきい値Ｓに戻して処理を終了する（ステップＳ１４１１）。
【００４５】
ステップＳ１４１０では、しきい値ＳをステップＳ１４０１で求めた最小値Ｓｍｉｎと比較し、Ｓ＞Ｓｍｉｎであれば（Ｙｅｓ）、ステップＳ１４０３へと戻り、Ｓの値をまた少し小さくしてから、再びステップＳ１４０９までの処理を行う。一方、ステップＳ１４１０において、Ｓ≦Ｓｍｉｎであれば（Ｎｏ）、本処理を終了する。そして、処理終了時点でのＳが、しきい値λとして選択される。
【００４６】
符号列形成部２０５は、上述した処理によって求められたしきい値λに対し、各コードブロックからＳｉ（ｋ）＞λとなる部分の符号を符号列格納部２０６から読み出して、ＪＰＥＧ２０００符号列のフォーマットに従って情報（メインヘッダ、タイルヘッダ、パケットヘッダ等）を付加して、ＪＰＥＧ２０００の符号列を形成し、符号出力部２０８へと出力する。
【００４７】
符号出力部２０８は、符号列形成部２０５により生成されたＪＰＥＧ２０００符号化データを装置外部に出力する。符号出力部２０８は、例えば、ハードディスク、光磁気ディスク、メモリ等の記憶媒体、又は、ネットワークへのインタフェース等で実現される。
【００４８】
上述した符号量（レート：Ｒａｔｅ）・歪み（Ｄｉｓｔｏｒｔｉｏｎ）最適化処理では、打ち切り候補点から次の打ち切り候補点までのパスの集合（パス集合）を、大きいＳを持つものから順に選択していくため、レート・歪み最適化処理の処理量は大きくなる。そこで、この処理量を軽減させ、レート・歪み最適化処理を高速化する方法として、カテゴリ分割法、Ｎ分割法、関数近似補間法等を用いることができる。
【００４９】
【非特許文献１】
標準勧告書（ＩＳＯ／ＩＥＣ １５４４４−１）の附属書Ｊ 例とガイドライン（Ａｎｎｅｘ Ｊ Ｅｘａｍｐｌｅｓ ａｎｄ ｇｕｉｄｅｌｉｎｅｓ）
【非特許文献２】
”Ｇｅｎｅｒａｌｉｚｅｄ Ｌａｇｒａｎｇｅ Ｍｕｌｔｉｐｌｉｅｒ Ｍｅｔｈｏｄ ｆｏｒ Ｓｏｌｖｉｎｇ Ｐｒｏｂｌｅｍｓ ｏｆ Ｏｐｔｉｍｕｍ Ａｌｌｏｃａｔｉｏｎ ｏｆ Ｒｅｓｏｕｒｃｅｓ”， Ｏｐｅｒａｔｉｏｎ Ｒｅｓｅａｒｃｈ， ｖｏｌ．１１， ｐｐ．３９９−４１７， １９６３
【００５０】
【発明が解決しようとする課題】
しかしながら、上記カテゴリ分割法、Ｎ分割法、関数近似補間法等を用いたレート・歪み最適化処理の高速化によって、静止画像や動画像の個々のフレーム画像を圧縮することは効果的であるが、あくまで１枚の画像に対する処理の高速化にとどまっており、動画像全体の圧縮処理として見た場合、必ずしも十分な高速化が得られていない。
【００５１】
本発明は、このような事情を考慮してなされたものであり、動画像の圧縮時の画像符号化におけるレート・歪み最適化処理に要する演算コストを好適に低減することができる画像符号化装置及び方法を提供することを目的とする。
【００５２】
【課題を解決するための手段】
上記課題を解決するため、本発明は、動画像を構成するフレーム画像を複数の小領域に分割し、該小領域内で符号量・歪み最適化処理を行って、該小領域ごとに符号化する画像符号化装置であって、
注目フレーム画像中の前記小領域の符号化時に用いられるしきい値の予測値を取得する取得手段と、
前記小領域内の符号量・歪み勾配から、前記しきい値の予測値を用いて、該小領域の符号化データが所定符号量となるときのしきい値を探索する探索手段と、
前記探索手段によって探索された前記しきい値以上の符号化データを用いて、前記小領域の符号列を形成する符号列形成手段と
を備えることを特徴とする。
【００５３】
また、本発明に係る上記画像符号化装置において、前記探索手段が、
前記小領域の符号量・歪み勾配を複数のカテゴリに分類する第１の分類手段と、
前記第１の分類手段によって分類された前記複数のカテゴリのうち、前記予測手段によって予測された前記しきい値を含むカテゴリをさらに複数の小カテゴリに分類する第２の分類手段と、
前記第２の分類手段によって分類された前記複数の小カテゴリのそれぞれについて符号量を算出する算出手段と、
前記複数の小カテゴリのうち、所定符号量を有する小カテゴリを選択する選択手段と、
選択された前記小カテゴリの前記符号量の上限値と下限値との間で、前記所定符号量となるときのしきい値を探索するしきい値探索手段と
を備えることを特徴とする。
【００５４】
さらに、本発明に係る前記画像符号化装置において、前記探索手段が、
前記小領域の符号量・歪み勾配の最大値と最小値を算出する算出手段と、
前記最大値と最小値との間を複数の区間に分割する第１の分割手段と、
前記第１の分割手段によって分割された前記複数の区間のうち、前記予測手段によって予測された前記しきい値を含む区間をさらに複数の小区間に分割する第２の分割手段と、
分割された前記複数の小区間のそれぞれについて符号量を算出する区間符号量算出手段と、
前記複数の小区間のうち、所定符号量を有する小区間を選択する選択手段と、
選択された前記小区間の符号量の上限値と下限値との間で、前記所定符号量となるときのしきい値を探索するしきい値探索手段と
を備えることを特徴とする。
【００５５】
さらにまた、本発明は、動画像を構成するフレーム画像を複数の小領域に分割し、該小領域内で符号量・歪み最適化処理を行って、該小領域ごとに符号化する画像符号化装置であって、
注目フレーム画像の前記小領域の符号化時に用いられる符号量・歪み勾配λを取得する取得手段と、
前記符号量・歪み勾配λに基づいて所定の符号量・歪み勾配Ｓを選択する選択手段と、
前記選択手段によって選択された前記符号量・歪み勾配Ｓと、前記取得手段によって取得された前記符号量・歪み勾配λに基づく符号量Ｒを用いて、符号量・歪み勾配に対する符号量の関数Ｒ＝ｆ（Ｓ）を仮定する仮定手段と、
前記仮定手段によって仮定された前記関数Ｒ＝ｆ（Ｓ）を用いて、前記小領域が所定符号量になるときのしきい値を探索する探索手段と、
前記探索手段によって探索された前記しきい値以上の符号化データを用いて、前記小領域の符号列を形成する符号列形成手段と
を備えることを特徴とする。
【００５６】
さらにまた、本発明は、動画像を構成するフレーム画像を複数の小領域に分割し、該小領域内で符号量・歪み最適化処理を行って、該小領域ごとに符号化する画像符号化方法であって、
注目フレーム画像中の前記小領域の符号化時に用いられるしきい値の予測値を取得する取得工程と、
前記小領域内の符号量・歪み勾配から、前記しきい値の予測値を用いて、該小領域の符号化データが所定符号量となるときのしきい値を探索する探索工程と、
前記探索工程によって探索された前記しきい値以上の符号化データを用いて、前記小領域の符号列を形成する符号列形成工程と
を有することを特徴とする。
【００５７】
【発明の実施の形態】
以下、本発明の好適な実施の形態について説明する。以下の実施形態では、動画像の符号化時に、カテゴリ分割法、Ｎ分割法、関数近似補間法を適用することによって画像符号化処理を高速化した場合について示す。
【００５８】
＜第１の実施形態＞
第１の実施形態では、カテゴリ分割法を用いた動画像の高速符号化処理について説明する。
【００５９】
［カテゴリ分割法］
まず、最初に、カテゴリ分割法について説明する。図１は、カテゴリ分割法を行う一般的な画像符号化装置の構成を示すブロック図である。尚、前述した従来の画像符号化装置と共通する機能を有するブロック内の構成要素については同じ記号を用い、その説明を省略する。
【００６０】
図１に示すように、カテゴリ分割を行う一般的な画像符号化装置は、画像データ入力部２００、離散ウェーブレット変換部２０１、係数量子化部２０２、コードブロック分割部２０３、コードブロック符号化部２０４、符号列形成部１０３、コードブロック情報格納部２０７、符号列格納部２０６、カテゴリ情報生成部１０１、カテゴリ情報格納部１０２とを備える。
【００６１】
以下、図１に示す一般的な画像符号化装置の動作手順について説明する。尚、図１に示す画像符号化装置で符号化対象とされる画像符号化データは、前述した図２で示す一般的なＪＰＥＧ２０００符号化を行う画像符号化装置の場合と同じく、５１２×５１２の各画素８ビットのモノクロ画像データとする。また、タイル分割の有無、コードブロックのサイズ、ウェーブレット変換フィルタの選択等の符号化の条件についても前記例と同じである。
【００６２】
図１に示す画像符号化装置では、レート・歪み最適化処理を簡易化するため、レート・歪み勾配にｍ個のカテゴリ分類を設け、符号化処理と並行して各符号化パス（又は、単調減少化により統合されたパス。以降、単に「符号化パス」と呼ぶ。）をカテゴリに分類し、各カテゴリ毎の累積符号量をカウントする。以下、ｍ個のカテゴリは、レート・歪み勾配の急峻なカテゴリから緩やかなカテゴリへ順序付けられ、Ｃ（１）からＣ（ｍ）のように１からｍまでの番号で識別する。尚、ある番号ｃのカテゴリＣ（ｃ）とカテゴリＣ（ｃ＋１）の境界条件となるレート・歪み勾配のしきい値をＴ（ｃ）と表す。ここで、Ｔ（ｃ）とＴ（ｃ＋１）には、Ｔ（ｃ）＞Ｔ（ｃ＋１）の関係がある。
【００６３】
ここで、Ｓｉ（ｋ）≧Ｔ（１）となる符号化パスは、カテゴリＣ（１）に分類され、Ｔ（ｃ−１）＞Ｓｉ（ｋ）≧Ｔ（ｃ）となる符号化パスは、カテゴリＣ（ｃ）に分類され、Ｔ（ｍ−１）＞Ｓｉ（ｋ）となる符号化パスは、カテゴリＣ（ｍ）に分類される。
【００６４】
また、カテゴリ情報格納部１０３には、図１２に示すようなテーブルを用意しておき、各カテゴリ毎に累積符号量ＲＣ（ｃ）を保持する。すなわち、図１２は、カテゴリ情報格納部１０２に保持されるカテゴリの情報を示す図である。尚、符号化処理の開始時には各カテゴリの累積符号量ＲＣ（ｃ）を全て０に初期化する。
【００６５】
図１において、符号化対象画像は、画像データ入力部２００から入力され、コードブロック符号化部２０４までの処理によって、前述した一般的な画像符号化装置でのＪＰＥＧ２０００符号化の場合と同様にしてコードブロックに分割され、コードブロック単位に符号化される。
【００６６】
カテゴリ情報生成部１０１では、コードブロック符号化部２０４により１つのコードブロックＢｉの符号化処理が行われ、レート・歪み勾配の単調減少化処理が行われると、コードブロック情報格納部２０７に格納されるコードブロックＢｉの打ち切り候補点の情報を参照して、カテゴリ情報格納部１０２に保持される各カテゴリの総符号量を更新する。
【００６７】
図１３は、カテゴリ情報生成部１０１における各カテゴリの符号量更新処理の流れを示す図である。以下、図１３を用いて、カテゴリ情報生成部１０１の処理の流れについて説明する。
【００６８】
コードブロック符号化部２０４により着目するコードブロックＢｉの符号化処理が終了すると、まず、コードブロック情報格納部２０７に図９に示すような形式で格納されているコードブロックＢｉの情報から、符号打ち切り候補点の集合Ｎｉの要素数ＮＰを読み出す（ステップＳ１３０１）。次に、カテゴリを表す変数ｃに１を設定し（ステップＳ１３０２）、打ち切り候補点の番号を表す変数ｊを０に設定する（ステップＳ１３０３）。続いて、変数ｊに１を加える（ステップＳ１３０４）。
【００６９】
そして、コードブロック情報格納部２０７からｊ番目の打ち切り候補点の情報を読み出す（ステップＳ１３０５）。ここで、打ち切り候補点の情報とは、打ち切り符号化パス番号ｋ、レート・歪み勾配Ｓｉ（ｋ）及び符号量Ｒｉ（ｋ）である。そして、レート・歪み勾配Ｓｉ（ｋ）をカテゴリのしきい値Ｔ（ｃ）と比較する（ステップＳ１３０６）。その結果、Ｓｉ（ｋ）≧Ｔ（ｃ）ならば（Ｎｏ）、着目する符号化パスをカテゴリＣ（ｃ）に分類し、ステップＳ１３０９へ処理を移す。一方、Ｓｉ（ｋ）＜Ｔ（ｃ）ならば（Ｙｅｓ）、カテゴリの番号を表す変数ｃに１を加えて、次のカテゴリに比較対象を変更する（ステップＳ１３０７）。
【００７０】
次いで、変数ｃとカテゴリの数ｍを比較し（ステップＳ１３０８）、ｃ＝ｍならば（Ｙｅｓ）、着目する符号化パスをカテゴリＣ（ｍ）に分類してステップＳ１３０９へと処理を移し、ｃ≠ｍならば（Ｎｏ）、ステップＳ１３０６へ処理を移す。ステップＳ１３０９では、カテゴリの累積符号量ＲＣ（ｃ）に着目するパスの符号量Ｒｉ（ｋ）を加えて更新する。そして、打ち切り候補点の番号を表す変数ｊをＮＰと比較し（ステップＳ１３１０）、ｊ≠ＮＰならば（Ｎｏ）、ステップＳ１３０４へ戻って、次の候補点について同様にステップＳ１３０５からステップＳ１３０９の処理を行う。一方、ｊ＝ＮＰならば（Ｙｅｓ）、着目するコードブロックＢｉについての処理を終了する。
【００７１】
コードブロック符号化部２０４により全てのコードブロックの符号化が終了し、続いてカテゴリ情報生成部１０１により最終コードブロックについてのカテゴリ情報更新処理が終了すると、符号列形成部１０３は、目的となる符号量（ターゲットレート）をもつカテゴリＣ（ｘ）を選択し、そのカテゴリの上限値Ｔ（ｘ−１）をＳｍａｘとし、下限値Ｔ（ｘ）をＳｍｉｎとして、ＳｍａｘとＳｍｉｎの間のしきい値探索を行う。
【００７２】
図１７は、画像符号化装置の符号列形成部１０３で実施されるしきい値決定処理の流れを説明するためのフローチャートである。すなわち、図１７に示すように、目的となる符号量を持つ境界カテゴリｃを選択する（ステップＳ１７０１）。次いで、カテゴリｃが１かどうかを判定し（ステップＳ１７０２）、１であれば（Ｙｅｓ）、Ｓｍａｘを探索し（ステップＳ１７１３）、ＳｍｉｎをＴ（ｃ）とする（ステップＳ１７１４）。そして、設定されたＳｍａｘとＳｍｉｎ間のしきい値を探索する。
【００７３】
一方、ステップＳ１７０２でｃ≠１と判定された場合（Ｎｏ）、しきい値Ｓを推定する（ステップＳ１７０３）。図１８は、境界カテゴリｃとカテゴリｃ−１の情報からＲｍａｘに対応するしきい値Ｓを推定する様子を示す図である。また、ｉ＝０、Ｒ＝０とし（ステップＳ１７０４）、Ｓｉ（ｋ）≧Ｓとなる最大のｋを求める（ステップＳ１７０５）。次いで、Ｒ＝Ｒ＋Ｒｉ（ｋ）とし（ステップＳ１７０６）、ｉ＜６４かどうかを判定する（ステップＳ１７０７）。その結果、ｉ＜６４の場合（Ｙｅｓ）、ｉをインクリメントし（ステップＳ１７０８）、ステップＳ１７０５以降の処理を再実行する。
【００７４】
また、ステップＳ１７０７でｉ≧６４の場合（Ｎｏ）、Ｒ≦Ｒｍａｘか否かを判定する（ステップＳ１７０９）。そして、Ｒ＞Ｒｍａｘの場合（Ｎｏ）、Ｓｍａｘ＝Ｔ（ｃ−１）、Ｓｍｉｎ＝Ｓとして（ステップＳ１７１１）、設定されたＳｍａｘとＳｍｉｎ間のしきい値を探索する。また、Ｒ≦Ｒｍａｘの場合（Ｙｅｓ）、さらにＲ≒Ｒｍａｘかどうかを判定し（ステップＳ１７１０）、Ｒ≒Ｒｍａｘでない場合（Ｎｏ）は、Ｓｍａｘ＝Ｓ、Ｓｍｉｎ＝Ｔ（ｃ）として（ステップＳ１７１２）、設定されたＳｍａｘとＳｍｉｎ間のしきい値を探索する。一方、Ｒ≒Ｒｍａｘの場合（Ｙｅｓ）は、本処理を終了する。上述したような手順を用いて、カテゴリ分割法では、レート・歪み最適化の処理量を軽減することができる。
【００７５】
［カテゴリ分割法を用いた動画像符号化］
次に、動画像の符号化時にカテゴリ分割法を適用する場合の処理の高速化について示す。
【００７６】
カテゴリ分割法では、カテゴリを細かく分割すると、生成されるカテゴリ情報は増加するが、しきい値探索の処理量は小さくなる。一方、カテゴリを粗く分割すると、生成されるカテゴリ情報は少なくてすむが、しきい値探索の処理量は大きくなる。従って、レート・歪み最適化処理にカテゴリ分割法を利用する場合、カテゴリの大きさや分割数が変化しても全体としての処理量は変わらないと考えられる。
【００７７】
しかし、あらかじめターゲットレートＲｍａｘに対応する勾配λを予測することができる場合、λ周辺のＳを細かくカテゴリ分割することで、カテゴリ情報を生成する処理としきい値探索の処理を小さくできる。
【００７８】
そこで、一般的に、シーンチェンジがほとんどないような動画像におけるフレーム間では、それぞれの画像が似ていると考えられ、ＳとＲの関係も似ていると考えられる。すなわち、シーンチェンジがほとんどないフレーム間では、λが似たような値をとると考えられる。そこで、本実施形態では、λに関する上記関係を利用して、動画像中のあるフレームをカテゴリ分割法によりレート・歪み最適化を行う場合、前のフレームのλを注目フレームのλの予測値とし、処理の軽減を図る。
【００７９】
図２２は、本発明の第１の実施形態に係る画像符号化装置の構成を示すブロック図である。図２２に示すように、第１の実施形態に係る画像符号化装置は、画像データ入力部２００、離散ウェーブレット変換部２０１、係数量子化部２０２、コードブロック分割部２０３、コードブロック符号化部２０４、符号列形成部１０３、コードブロック情報格納部２０７、符号列格納部２０６、カテゴリ情報生成部１０１、カテゴリ情報格納部１０２、予測値格納部１０４とを備える。尚、前述した図１に示す一般的な画像符号化装置と共通する構成要素については同じ記号を用い、その説明を省略する。
【００８０】
以下、図２２を参照して、本実施形態の画像符号化装置の動作手順について説明する。
【００８１】
第１の実施形態における画像符号化装置では、画像データ入力部２００に動画像を構成するそれぞれのフレームが入力される。尚、入力される各フレームは、前述した画像符号化装置における場合と同じ、５１２×５１２の各画素８ビットのモノクロ画像データとする。また、タイル分割の有無、コードブロックのサイズ、ウェーブレット変換フィルタの選択等の符号化の条件についても同じものとする。
【００８２】
本実施形態に係る画像符号化装置では、まず前述したように、注目フレームのレート・歪み勾配をｍ個のカテゴリに分類する。ここで本実施形態に係る画像符号化装置では、注目フレームの前フレームに関するしきい値λが予測値格納部１０４に格納されている。そこで、カテゴリ情報生成部１０１は、注目フレームの符号化時に予測値格納部１０４から前フレームのしきい値λを注目フレームの予測値λ’として取得する。そして、取得した予測値λ’が含まれるカテゴリをさらに細かく分割する。図２３は、第１の実施形態におけるカテゴリ分割の概念図である。例えば、注目フレームの予測値λ’が含まれるカテゴリをさらにｎ個のカテゴリに分類する。
【００８３】
そして、予測値λ’が含まれるカテゴリ中のｎ個のカテゴリのそれぞれについて、図１３で示した手順に従って符号量を算出する。尚、このとき、上記ｍ個のカテゴリにおける予測値λ’が含まれないカテゴリについては、符号量を算出しないようにする。これにより、全カテゴリについてレート・歪み最適化処理を行う場合に比べて、処理量を軽減することができる。そして、符号量形成部１０３は、目的となる符号量（ターゲットレート）を持つカテゴリＣｎ（ｘ）を選択する。そして、当該しきい値λを用いて符号列が形成される。
【００８４】
そして、そのカテゴリの上限値Ｔｎ（ｘ−１）をＳｍａｘとし、下限値Ｔｎ（ｘ）をＳｍｉｎとして、図１４に示す手順でＳｍａｘとＳｍｉｎとの間でしきい値探索を行い、処理終了時点でのＳがしきい値λとして選択される。尚、本実施形態では、得られたしきい値λは予測値格納部１０４に格納され、次のフレームの符号化時に読み出されることとなる。
【００８５】
尚、例えば、前フレームと前々フレーム等の複数フレームを用いて上記処理を行う場合は、ｎ個のカテゴリに分割されるカテゴリをそれぞれのフレームの予測値λ１、λ２等が含まれるカテゴリとして、同様に実施することで実現可能である。また、目的となる符号量（ターゲットレート）を持つカテゴリＣｎ（ｘ）が選択できなかった場合等には、予測値λ’が含まれないカテゴリについて、さらに細かなカテゴリに分割して上記手順と同様の処理を行うようにしてもよい。
【００８６】
上述したように、本実施形態に係る画像符号化装置では、前フレームのしきい値λ’を含むカテゴリのみをさらに細かくカテゴリ分割して処理を行う点と、符号列形成部１０３が得られたしきい値λを予測値格納部１０４に格納する点で、従来の画像符号化装置と異なっている。このように、第１の実施形態では、動画像中の注目フレームをカテゴリ分割法を用いたレート・歪み最適化処理を行う場合に、前フレームのλを注目フレームのλの予測値として使用して、その予測値の周辺を細かくカテゴリ分割することで処理の軽減を図ることができる。
【００８７】
＜第２の実施形態＞
第２の実施形態では、Ｎ分割法を用いた動画像の高速符号化処理について説明する。
【００８８】
［Ｎ分割法］
まず、最初に、Ｎ分割法について説明する。図２１は、Ｎ分割法を実施する一般的な画像符号化装置の構成を示すブロック図である。図２１に示すように、画像符号化装置は、画像データ入力部２００、離散ウェーブレット変換部２０１、係数量子化部２０２、コードブロック分割部２０３、コードブロック符号化部２０４、符号列形成部２１０２、コードブロック情報格納部２０７、符号列格納部２０６、区間分割部２１０１とを備える。
【００８９】
以下、図２１を参照して、Ｎ分割法を用いた一般的な画像符号化装置の動作手順について説明する。尚、図２１に示す画像符号化装置で符号化対象とする画像符号化データは、前述の図２で示す一般的なＪＰＥＧ２０００符号化を行う画像符号化装置の場合と同じように、５１２×５１２の各画素８ビットのモノクロ画像データとする。また、タイル分割の有無、コードブロックのサイズ、ウェーブレット変換フィルタの選択など、符号化の条件についても図２で示す画像符号化装置の場合と同じである。
【００９０】
図２１において、符号化対象画像は、画像データ入力部２００から入力され、従来例と同様にして画像データ入力部２００からコードブロック符号化部２０４までの処理により、コードブロックに分割され、コードブロック単位に符号化される。そして、全てのコードブロックがコードブロック符号化部２０４で符号化されると、区間分割部２１０１はコードブロック情報格納部２０７に格納されるコードブロックＢｉの打ち切り候補点の情報を参照して、レート・歪み勾配の最大値、最小値を求め、その区間をＮ分割する。
【００９１】
そして、各区間分割点におけるしきい値と符号量を求めて、図２０に示すようなテーブルを作成し、不図示の内部バッファに格納する。図２０は、区間分割部２１０１に保持される区間情報を示す図である。図２０に示されるように、Ｎ個の区間をレート・歪み勾配の急な区間から順に１から番号を付けてＫ（１）、Ｋ（２）、…、Ｋ（Ｎ）のようにＫ（ｎ）の形式で表す。また、区間Ｋ（ｎ）と区間Ｋ（ｎ＋１）の境界となるレート・歪み勾配のしきい値をＴ（ｎ）、区間Ｋ（ｎ）に含まれる符号量をＲＫ（ｎ）と表す。
【００９２】
図１９は、区間分割部２１０１における区間分割と区間情報生成の処理の流れを説明するためのフローチャートである。以下、図１９を用いて、区間分割部２１０１の処理の流れについて説明する。
【００９３】
コードブロック符号化部２０４により全てのコードブロックの符号化処理が終了すると、まず、コードブロック情報格納部２０７に格納される全コードブロックの打ち切り候補点の情報を参照して、レート・歪み勾配の最大値Ｓｍａｘ、最小値Ｓｍｉｎを求める（ステップＳ１９０１）。次に、ＳｍａｘとＳｍｉｎ間をＮ分割して、各区間のしきい値Ｔ（ｎ）を定める（ステップＳ１９０２）。ここでは、図２５に示すようにＳｍａｘとＳｍｉｎ間を等間隔に区間分割する。図２５は、Ｎ分割法における区分の分割の概要を説明するための図である。したがって、しきい値Ｔ（ｎ）は次式により求めることができる。
【００９４】
【数４】
【００９５】
区間のしきい値Ｔ（ｎ）が定まると、続いて、各コードブロックから区間の符号量Ｋ（ｎ）を求める処理に移る。
【００９６】
まず、コードブロック番号を表す変数ｉを０に初期化する（ステップＳ１９０３）。次に、着目するコードブロックＢｉについて、各符号打ち切り点毎にどの区間に属するかを判断して、属する区間の符号量ＲＫ（ｎ）を更新する（ステップＳ１９０４）。ステップＳ１９０４の具体的処理については後述する。次に、変数ｉを１増加させ（ステップＳ１９０５）、６４と比較する（ステップＳ１９０６）。その結果、ｉ＝６４の場合（Ｙｅｓ）は当該処理を終了し、ｉ≠６４の場合（Ｎｏ）、ステップＳ１９０４に戻って前述した処理を継続する。
【００９７】
次に、ステップＳ１９０４の細部処理について説明する。図２７は、Ｎ分割法における分割された区間の符号量更新処理の流れを説明するためのフローチャートである。まず、コードブロック情報格納部２０７に図９に示すような形式で格納されているコードブロックＢｉの情報から、符号打ち切り候補点の集合Ｎｉの要素数ＮＰを読み出す（ステップＳ２７０１）。次に、区間番号を表す変数ｎに１を設定する（ステップＳ２７０２）。また、打ち切り候補点の番号を表す変数ｊを０に設定する（ステップＳ２７０３）。続いて、変数ｊに１を加える（ステップＳ２７０４）。
【００９８】
そして、コードブロック情報格納部２０７からｊ番目の打ち切り候補点の情報を読み出す（ステップＳ２７０５）。打ち切り候補点の情報とは、打ち切り符号化パス番号ｋ、レート・歪み勾配Ｓｉ（ｋ）及び符号量Ｒｉ（ｋ）である。次いで、レート・歪み勾配Ｓｉ（ｋ）を区間Ｋ（ｎ）のしきい値Ｔ（ｎ）と比較する（ステップＳ２７０６）。その結果、Ｓｉ（ｋ）≧Ｔ（ｎ）ならば（Ｎｏ）、着目する符号化パスは区間Ｋ（ｎ）に含まれ、ステップＳ２７０９へ処理を移す。一方、Ｓｉ（ｋ）＜Ｔ（ｎ）の場合（Ｙｅｓ）、区間の番号を表す変数ｎに１を加えて、次の区間に比較対象を変更する（ステップＳ２７０７）。
【００９９】
次いで、変数ｎと区間の数Ｎを比較し（ステップＳ２７０８）、ｎ＝Ｎの場合（Ｙｅｓ）は着目する符号化パスは区間Ｋ（ｎ）に属すると判断してステップＳ２７０９へ処理を移し、ｎ≠Ｎの場合（Ｎｏ）はステップＳ２７０６へと処理を移す（ステップ２７０８）。ステップＳ２７０９では、区間の累積符号量ＲＫ（ｎ）に対して着目するパスの符号量Ｒｉ（ｋ）を加えてＲＫ（ｎ）を更新する。そして、打ち切り候補点の番号を表す変数ｊをＮＰと比較し（ステップＳ２７１０）、ｊ≠ＮＰの場合（Ｎｏ）はステップＳ２７０４へ戻って、次の候補点について同様にステップＳ２７０５からステップＳ２７０９の処理を行う。一方、ｊ＝ＮＰの場合（Ｙｅｓ）は、着目するコードブロックＢｉについての処理を終了する。
【０１００】
以上の処理により、区間分割部２１０１内部の不図示のバッファに図２０に示す形式のテーブルが構築される。
【０１０１】
コードブロック符号化部２０４により全てのコードブロックの符号化が終了し、続いて区間分割部２１０１により区間分割と、区間情報の生成処理が終了すると、符号列形成部２１０２は、ＲＫ（ｎ）≧Ｒｍａｘを満たす最大のｎを探し、さらに、Ｔ（ｎ−１）をＳｍａｘ、Ｔ（ｎ−１）をＳｍｉｎとして、ＳｍａｘとＳｍｉｎの間のしきい値探索を行う。このようにして、Ｎ分割法では、レート・歪み最適化処理における処理量を軽減することが可能となる。
【０１０２】
［Ｎ分割法を用いた動画像符号化］
次に、動画像の符号化時にＮ分割法を適用する場合の処理の高速化について示す。
【０１０３】
Ｎ分割法では、ＳｍｉｎとＳｍａｘの間を細かく分割すると、生成される区間情報は増加するが、しきい値探索の処理量は小さくなる。一方、ＳｍｉｎとＳｍａｘの間を粗く分割すると、生成される区間情報は少なくてすむが、しきい値探索の処理量は大きくなる。従って、レート・歪み最適化処理にＮ分割法を利用する場合、区間の大きさや分割数が変化しても全体としての処理量は変わらないと考えられる。
【０１０４】
しかし、あらかじめターゲットレートＲｍａｘに対応するレート・歪み勾配λを予測できるような場合、λ周辺のＳだけを細い区間に分割することで、区間情報を生成する処理としきい値探索の処理を精度よく、また低処理量で行うことが可能となる。
【０１０５】
そこで、一般的に、シーンチェンジがほとんどないような動画像におけるフレーム間では、それぞれの画像が似ていると考えられ、ＳとＲの関係も似ていると考えられる。すなわち、シーンチェンジがほとんどないフレーム間では、λが似たような値をとると考えられる。そこで、本実施形態では、λに関する上記関係を利用して、動画像中のあるフレームをＮ分割法によりレート・歪み最適化を行う場合、前のフレームのλを注目フレームのλの予測値とし、処理の軽減を図る。
【０１０６】
図２４は、本発明の第２の実施形態に係る画像符号化装置の構成を示すブロック図である。図２４に示すように、第２の実施形態に係る画像符号化装置は、画像データ入力部２００、離散ウェーブレット変換部２０１、係数量子化部２０２、コードブロック分割部２０３、コードブロック符号化部２０４、符号列形成部２１０２、コードブロック情報格納部２０７、符号列格納部２０６、区間分割部２１０１及び予測値格納部２１０３とを備える。尚、前述した図２１に示す一般的な画像符号化装置と共通する構成要素については同じ記号を用い、その説明を省略する。
【０１０７】
以下、図２４を参照して、本実施形態の画像符号化装置の動作手順について説明する。
【０１０８】
第２の実施形態における画像符号化装置では、画像データ入力部２００に動画像を構成するそれぞれのフレームが入力される。尚、入力される各フレームは、前述した一般的な画像符号化装置の場合と同じく、５１２×５１２の各画素８ビットのモノクロ画像データとする。また、タイル分割の有無、コードブロックのサイズ、ウェーブレット変換フィルタの選択等の符号化の条件についても前述の例と同じものとする。
【０１０９】
本実施形態に係る画像符号化装置では、まず前述したように、コードブロック情報格納部２０７に格納された情報を参照して、注目フレームのレート・歪み勾配の最大値Ｓｍａｘと最小値Ｓｍｉｎを求め、その間を複数の区間に分割する。ここで本実施形態に係る画像符号化装置では、注目フレームの前フレームに関するしきい値λが予測値格納部２１０３に格納されている。そこで、符号列形成部２１０２は、注目フレームの符号化時に予測値格納部２１０３から前フレームのしきい値λを注目フレームの予測値λ’として取得する。そして、取得した予測値λ’が含まれる区間をさらに細かく分割する。例えば、注目フレームの予測値λ’が含まれる区間をさらにＮ個の小区間に分類する。
【０１１０】
そして、予測値λ’が含まれる区間のＮ個の小区間のそれぞれについて、図２７で示した手順に従って符号量を算出する。尚、このとき、予測値λ’が含まれない区間については、符号量を算出しないようにする。これにより、全区間についてレート・歪み最適化処理を行う場合に比べて、処理量を軽減することができる。そして、符号量形成部２１０２は、目的となる符号量（ターゲットレート）を持つ区間を選択する。
【０１１１】
そして、その区間の上限値をＳｍａｘとし、下限値をＳｍｉｎとして、図１４に示す手順でＳｍａｘとＳｍｉｎとの間でしきい値探索を行い、処理終了時点でのＳがしきい値λとして選択される。尚、本実施形態では、得られたしきい値λは予測値格納部１０４に格納され、次のフレームの符号化時に読み出されることとなる。
【０１１２】
尚、例えば、前フレームと前々フレーム等の複数フレームを用いて上記処理を行う場合は、それぞれの予測値λ１、λ２が含まれる区間に対してさらに小区間を分割して、同様に実施することで実現可能である。また、目的となる符号量（ターゲットレート）を持つ区間が選択できなかった場合等には、予測値λ’が含まれない区間について、さらに細かな区間に分割して上記手順と同様の処理を行うようにしてもよい。
【０１１３】
上述したように、本実施形態に係る画像符号化装置では、前フレームのしきい値λ’を含む区間のみをさらに細かく区間分割して処理を行う点と、符号列形成部２１０２が得られたしきい値λを予測値格納部１０４に格納する点で、従来の画像符号化装置と異なっている。このように、第２の実施形態では、動画像中の注目フレームをＮ分割法を用いたレート・歪み最適化処理を行う場合に、前フレームのλを注目フレームのλの予測値として使用して、その予測値の周辺を細かくＮ分割することで処理の軽減を図ることができる。
【０１１４】
＜第３の実施形態＞
第３の実施形態では、関数補間近似法を用いた動画像の高速符号化処理について説明する。
【０１１５】
［関数補間近似法］
まず、最初に、関数補間近似法について説明する。関数補間近似法は、（１）所定のＲ（Ｒ１，Ｒ２，Ｒ３、但し、Ｒ１＜Ｒ２＜Ｒ３）に対するＳ（Ｓ１，Ｓ２，Ｓ３）を求めて、（２）ＳＲ（傾き対レート）のグラフを仮定し、（３）求めるレートＲｍａｘに対応するＳｄｕｍｍｙを求め、（４）Ｓｄｕｍｍｙから得られる符号量Ｒｄｕｍｍｙを計算し、（５）ＲｄｕｍｍｙとＲｍａｘとの差が所定値εより大きければ処理を終了し、ＲｄｕｍｍｙとＲｍａｘとの差が所定値εより小さければＲｄｕｍｍｙをＲ２とし、Ｒ２の近傍をＲ１、Ｒ２とした上で上記（１）以降の処理を繰り返す方法である。以下に、関数補間近似法を詳細に説明する。
【０１１６】
図１５は、関数補間近似法を実施する一般的な画像符号化装置の構成を示すブロック図である。図１５に示すように、画像符号化装置は、画像データ入力部２００、離散ウェーブレット変換部２０１、係数量子化部２０２、コードブロック分割部２０３、コードブロック符号化部２０４、符号列形成部１０１、コードブロック情報格納部２０７、符号列格納部２０６、符号出力部２０８を備える。
【０１１７】
以下、図１５を参照して、関数補間近似法を用いた一般的な画像符号化装置の動作手順について説明する。尚、図１５に示す画像符号化装置で符号化対象とする画像符号化データは、前述の図２に示すＪＰＥＧ２０００符号化を行う一般的な画像符号化装置による場合と同じように、５１２×５１２の各画素８ビットのモノクロ画像データとする。また、タイル分割の有無、コードブロックのサイズ、ウェーブレット変換フィルタの選択など、符号化の条件についても前述の例と同じである。
【０１１８】
［符号列形成部１０１の処理］
図１６は、符号列形成部１０１の処理を説明するためのフローチャートである。まず、Ｓの初期値としてＳ１＝Ｓｆ、Ｓ２＝Ｓｌ／２、Ｓ３＝Ｓｌ（但し、Ｓｆは、パス全体の中で最大のＳであり、Ｓｌは最小のＳである。）を設定する（ステップＳ１６０１）。次に、コードブロック情報格納部２０７に格納されているコードブロック情報を参照して、各Ｓ値以上のＳを持つパスの符号量の総和を求め、それらを各Ｓに対応するＲに代入する（ステップＳ１６０２）。ここでは、Ｒ１＝Ｒｆ、Ｒ２＝Ｒｌ／２、Ｒ３＝Ｒｌと表現する。尚、Ｒｆは、符号列において一番最先端に配置されると思われるパスの符号量であり、またＲｌは符号列全体の符号量である。
【０１１９】
次に、｛Ｓ１，Ｓ２，Ｓ３｝と｛Ｒ１，Ｒ２，Ｒ３｝から補間式Ｒ＝ｆ（Ｓ）を求める（ステップＳ１６０３）。そして、この関数におけるターゲット符号量Ｒｍａｘに対応するＳ（＝Ｓｄｕｍｎｎｙ）を求める（ステップＳ１６０４）。続いて、コードブロック情報格納部２０７に格納されているコードブロック情報を参照して、上記Ｓｄｕｍｍｙより大きなＳ値を持つパスの符号量Ｒｄｕｍｍｙを算出する（ステップＳ１６０５）。そして、｜Ｒｄｕｍｍｙ−Ｒｍａｘ｜＜εを判定する（ステップＳ１６０６）。ここでεは、Ｒｄｕｍｍｙの収束の程度を判定する定数である。
【０１２０】
その結果、｜Ｒｄｕｍｍｙ−Ｒｍａｘ｜＜εが成り立つ場合（Ｙｅｓ）、Ｒｄｕｍｍｙ以上のＲを持つパスを集めて符号列を生成し、得られた符号列を符号出力部２０８から出力する（ステップＳ１６０８）。一方、｜Ｒｄｕｍｍｙ−Ｒｍａｘ｜＜εが成り立たない場合（Ｎｏ）、Ｓ１＝Ｓｄｕｍｍｙ−ｄＳ、Ｓ２＝Ｓｄｕｍｍｙ、Ｓ３＝Ｓｄｕｍｍｙ＋ｄＳとして｛Ｓ１，Ｓ２，Ｓ３｝を設定して（ステップＳ１６０７）、処理をステップＳ１６０３に戻す。
【０１２１】
以上述べたように、関数補間近似法によれば、レート、並びにレート・歪み勾配との関係式を３点補間によって仮定しながら、目標レートに対応するレート・歪み勾配を効率的に探索する。
【０１２２】
［関数補間近似法を用いた動画像符号化］
次に、動画像の符号化時に関数補間近似法を適用する場合の処理の高速化について示す。上述した一般的な方法によれば、Ｓｍａｘを追い込むための繰り返し処理の処理量は多い。しかし、この問題は、Ｓ２の初期値としてＳｍａｘに近いＳ値を与えれることで解決される。そこで、本実施形態では、Ｓ２の初期値にＳｍａｘに近い値を仮定する方法を用いる。
【０１２３】
図２６は、本発明の第３の実施形態に係る画像符号化装置の構成を示すブロック図である。図２６では、前述した図１５に示す画像符号化装置と共通するブロックについては同じ記号を用い、その説明を省略する。図２６に示すように、第３の実施形態に係る画像符号化装置は、画像データ入力部２００、離散ウェーブレット変換部２０１、係数量子化部２０２、コードブロック分割部２０３、コードブロック符号化部２０４、符号列形成部１４０１、コードブロック情報格納部２０７、符号列格納部２０６、符号出力部２０８及びＳｂ入力部１４０２を備える。ここで、Ｓｂとは、注目フレームの１フレーム前のＳｍａｘのことであり、Ｓｂ入力部１４０２は、そのＳｂ値を符号列形成部１４０１に入力する。
【０１２４】
第３の実施形態における画像符号化装置では、画像データ入力部２００に動画像を構成するそれぞれのフレームが入力される。尚、入力される各フレームは、前述した一般的な例と同じく、５１２×５１２の各画素８ビットのモノクロ画像データとする。また、タイル分割の有無、コードブロックのサイズ、ウェーブレット変換フィルタの選択等の符号化の条件についても従来例と同じものとする。
【０１２５】
符号列形成部１４０１は、符号列を形成するにあたって、Ｓｂ入力部１４０２からＳｂを取得し、そのＳｂをＳ２に設定し、さらにＳ１＝Ｓｂ−ｄＳ、Ｓ３＝Ｓｂ＋ｄＳを与える。その後、符号列形成部１４０１は、前述した一般的な例と同様に、補間式を生成しながらＳｍａｘを追い込んでいき、その上で符号列を形成する。
【０１２６】
すなわち、前述のステップＳ１６０２と同様に、コードブロック情報格納部２０７に格納されているコードブロック情報を参照して、各Ｓ値以上のＳを持つパスの符号量の総和を求め、それらを各Ｓに対応するＲに代入する。そして、前述のステップＳ１３０３と同様に、｛Ｓ１，Ｓ２，Ｓ３｝と｛Ｒ１，Ｒ２，Ｒ３｝から補間式Ｒ＝ｆ（Ｓ）を求める。そして、この関数におけるターゲット符号量Ｒｍａｘに対応するＳ（＝Ｓｄｕｍｍｙ）を求める。この値をしきい値λと推定する。
【０１２７】
続いて、コードブロック情報格納部２０７に格納されているコードブロック情報を参照して、上記Ｓｄｕｍｍｙより大きなＳ値を持つパスの符号量Ｒｄｕｍｍｙを算出する。そして、｜Ｒｄｕｍｍｙ−Ｒｍａｘ｜＜εを判定する。その結果、｜Ｒｄｕｍｍｙ−Ｒｍａｘ｜＜εが成り立つ場合は、Ｒｄｕｍｍｙ以上のＲを持つパスを集めて符号列を生成し、得られた符号列を符号出力部２０８から出力する。一方、｜Ｒｄｕｍｍｙ−Ｒｍａｘ｜＜εが成り立たない場合は、Ｓ１＝Ｓｄｕｍｍｙ−ｄＳ、Ｓ２＝Ｓｄｕｍｍｙ、Ｓ３＝Ｓｄｕｍｍｙ＋ｄＳとして｛Ｓ１，Ｓ２，Ｓ３｝を設定して、再度上記処理を繰り返す。
【０１２８】
さらに、符号列形成部１４０１は、Ｓｂ入力部１４０２に書き込まれているＳｂを消去した上で、新たに得られたＳｍａｘをＳｂ入力部１４０２に書き込む。
【０１２９】
すなわち、本実施形態に係る画像符号化装置は、動画像を構成するフレーム画像を複数の小領域に分割し、小領域内で符号量・歪み最適化処理を行って、小領域ごとに符号化が行われる。そのため、注目フレーム画像の小領域の符号化時に用いられる符号量・歪み勾配λを取得し、取得した符号量・歪み勾配λに基づいて所定の符号量・歪み勾配Ｓを選択し、選択された符号量・歪み勾配Ｓと、取得された符号量・歪み勾配λに基づく符号量Ｒを用いて、符号量・歪み勾配に対する符号量の関数Ｒ＝ｆ（Ｓ）を仮定する。そして、仮定された関数Ｒ＝ｆ（Ｓ）を用いて、小領域が所定符号量になるときのしきい値を探索し、探索されたしきい値以上の符号化データを用いて、小領域の符号列を形成する。
【０１３０】
以上述べたように、本実施形態においては、前フレームのＳｍａｘを使用することで、注目フレームにおけるＳｍａｘの追い込み処理の軽減を図ることができる。
【０１３１】
＜その他の実施形態＞
本発明は、上述した実施形態に限定されるものではない。例えば、上述した第１から第３の実施形態においては、タイル分割なし、離散ウェーブレット変換２回、９×７非可逆フィルタ（９−７ Ｉｒｒｅｖｅｒｓｉｂｌｅ Ｆｉｌｔｅｒ）使用、コードブロックサイズは６４×６４、１レイヤでの符号列形成として説明したが、ＪＰＥＧ２０００符号化の条件を変更した場合にも適用できる。例えば、複数のビットレートでレイヤ構成する場合、それぞれのレイヤで目標符号量Ｒｍａｘを設定することにより適用することができる。その他、離散ウェーブレット変換のフィルタ、適用回数等を変更しても構わないことは言うまでもない。
【０１３２】
また、本発明はＪＰＥＧ２０００での実施に好適であるが、符号化データを小区分に分けて符号量、歪み指標値を得られるその他の符号化方式においても適用することが可能である。
【０１３３】
また、上述の実施形態ではコードブロック情報格納部、カテゴリ情報格納部、符号列格納部のように目的に応じてブロックを定義しているが、単一の記憶領域を用意して使い分けるような構成としても構わない。
【０１３４】
また、上述の実施形態におけるカテゴリ分割法では、カテゴリ分割処理を１回しか行っていない。しかし、選択したカテゴリを再度カテゴリ分割するように、複数回カテゴリ分割を実施する方法も、本発明の範疇であることは言うまでもない。
【０１３５】
また、上述の実施形態におけるＮ分割法では、区間分割処理を１回しか行っていない。しかし、選択した区間を再度分割をするように、複数回分割を実施する方法も、本発明の範疇であることは言うまでもない。
【０１３６】
また、上述実施形態における関数近似補間法は、複数回の関数近似補間を行うことを示している。しかし、１回の関数近似補間法を実施することも、本発明の範疇に入ることは言うまでもない。
【０１３７】
また、カテゴリ分割法、Ｎ分割法、関数近似補間法、しきい値探索法を適宜組み合わせた実施形態も、本発明の範疇に入ることはいうまでもない。
【０１３８】
また、上述の実施の形態では、５１２×５１２の各画素８ビットのモノクロ画像データを符号化対象画像として説明したが、その他のサイズ、ビット深度の画像、各画素が複数の色成分で表されたカラー画像など、その他の画像データに適用しても構わない。さらに、動画像の各フレーム、フィールドなどに対して適用しても構わない。
【０１３９】
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【０１４０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４１】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４２】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１４３】
【発明の効果】
以上説明したように、本発明によれば、動画像の圧縮時の画像符号化におけるレート・歪み最適化処理に要する演算コストを好適に低減することができる。
【図面の簡単な説明】
【図１】カテゴリ分割法を行う一般的な画像符号化装置の構成を示すブロック図である。
【図２】一般的なＪＰＥＧ２０００符号化を行う画像符号化装置の構成を示すブロック図である。
【図３】２次元離散ウェーブレット変換によって処理される符号化対象画像のサブバンドを説明するための図である。
【図４】有効符号化パスの数がｋｉ＿ｍａｘであるコードブロックＢｉについて符号打ち切り点ｎｉを決定する処理の手順を説明するためのフローチャートである。
【図５】符号打ち切り点の候補を選択する処理の流れを説明するためのフローチャートである。
【図６】２回の２次元離散ウェーブレット変換によって得られる７つのサブバンドを説明するための図である。
【図７】コードブロック分割部２０３におけるコードブロック分割の様子を示す図である。
【図８】コードブロック符号化部２０４の内部に構築されるコードブロックＢｉの情報の例を示す図である。
【図９】コードブロック情報格納部２０７に格納される符号打ち切り候補点の情報の例を示す図である。
【図１０】コードブロックの各パスのレートと歪みの関係の一例を示す図である。
【図１１】単調減少化処理によりパスが統合される様子を示す図である。
【図１２】カテゴリ情報格納部１０２に保持されるカテゴリの情報を示す図である。
【図１３】カテゴリ情報生成部１０１における各カテゴリの符号量更新処理の流れを示す図である。
【図１４】符号列形成部２０５におけるλ決定の処理の流れを説明するためのフローチャートである。
【図１５】関数補間近似法を実施する一般的な画像符号化装置の構成を示すブロック図である。
【図１６】符号列形成部１０１の処理を説明するためのフローチャートである。
【図１７】画像符号化装置の符号列形成部１０３で実施されるしきい値決定処理の流れを説明するためのフローチャートである。
【図１８】境界カテゴリｃとカテゴリｃ−１の情報からＲｍａｘに対応するしきい値Ｓを推定する様子を示す図である。
【図１９】区間分割部２１０１における区間分割と区間情報生成の処理の流れを説明するためのフローチャートである。
【図２０】区間分割部２１０１に保持される区間情報を示す図である。
【図２１】Ｎ分割法を実施する一般的な画像符号化装置の構成を示すブロック図である。
【図２２】本発明の第１の実施形態に係る画像符号化装置の構成を示すブロック図である。
【図２３】第１の実施形態におけるカテゴリ分割の概念図である。
【図２４】本発明の第２の実施形態に係る画像符号化装置の構成を示すブロック図である。
【図２５】Ｎ分割法における区分の分割の概要を説明するための図である。
【図２６】本発明の第３の実施形態に係る画像符号化装置の構成を示すブロック図である。
【図２７】Ｎ分割法における分割された区間の符号量更新処理の流れを説明するためのフローチャートである。
【符号の説明】
１０１ カテゴリ情報生成部
１０２ カテゴリ情報格納部
１０３、１４０１、２１０２ 符号列形成部
１０４、２１０３ 予測値格納部
２００ 画像データ入力部
２０１ 離散ウェーブレット変換部
２０２ 係数量子化部
２０３ コードブロック分割部
２０４ コードブロック符号化部
２０６ 符号列格納部
２０７ コードブロック情報格納部
２０８ 符号出力部
１４０２ Ｓｂ入力部
２１０１ 区間分割部
【発明の属する技術分野】
本発明は、静止画像又は動画像におけるフレーム画像を符号化する画像符号化装置及び方法に関する。
【０００２】
【従来の技術】
画像符号化の効率を向上させる手法の一つとして、符号量（レート）・歪み最適化手法がある。レート・歪み最適化手法は、符号化データを構成する複数の区分ごとに、発生符号量と画像の歪みに関する指標値を求め、総符号量が目標値以下という条件の下で、総歪み指標値の最小化を図るものである。
【０００３】
ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１での標準化作業により制定された静止画像符号化の国際標準方式ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４）は、ウェーブレット変換により得られる各サブバンドの係数をコードブロックと呼ばれる矩形領域に分割してそれぞれ独立に符号化するという構成になっている。このＪＰＥＧ２０００は、各コードブロックをさらに複数のパスに分けて符号化しており、パスを単位として発生符号量と画像の歪み指標値を求めてレート・歪み最適化手法を適用することが考慮されている。ＪＰＥＧ２０００標準を実施する上での参考として、レート・歪み最適化手法の一適用方法が示されている（例えば、非特許文献１参照）。
【０００４】
例えば、コードブロックＢｉの符号打ち切り可能点をｎｉとし、ｎｉで符号を打ち切った場合のコードブロックＢｉの符号量をＲｉ（ｎｉ）、歪みの指標値をＤｉ（ｎｉ）とするとき、画像全体での総歪み指標値Ｄ、及び総符号量Ｒは、次式のように示すことができる。
【０００５】
【数１】
そして、レート・歪み最適化の目標は、目標となる総符号量Ｒｍａｘ以下の条件、すなわち、Ｒ≦Ｒｍａｘで総歪み指標値Ｄを最小化する打ち切り点ｎｉの集合を求めることとなる。
【０００７】
この最適化問題は、一般化ラグランジェ乗数法によって解決することができる（例えば、非特許文献２参照）。
【０００８】
すなわち、あるλの値について、次式を最小化する問題に帰着する。尚、λの値が総符号量ＲがＲｍａｘ以下となるように調整される。
【０００９】
【数２】
上式の最小化は、各コードブロックの個々の最小化問題となる。以下、コードブロックＢｉについて、Ｄｉ（ｎｉ）＋λＲｉ（ｎｉ）が最小となる符号打ち切り点ｎｉを求める単純なアルゴリズムについて説明する。
【００１１】
図４は、有効符号化パスの数がｋｉ＿ｍａｘであるコードブロックＢｉについて符号打ち切り点ｎｉを決定する処理の手順を説明するためのフローチャートである。図４に示すように、まず、符号打ち切り点ｎｉを０に初期化しておく（ステップＳ４０１）。次に、着目する符号打ち切り可能点を示す変数ｋを１に設定する（ステップＳ４０２）。続いて、着目する符号打ち切り可能点ｋについて、このコードブロックＢｉの符号打ち切り点をｎｉからｋに移動させた場合の符号量増加分ΔＲｉ（ｋ）と、歪み指標値減少分ΔＤｉ（ｋ）を求める（ステップＳ４０３）。
【００１２】
そして、符号打ち切り点ｎｉから着目する符号打ち切り可能点ｋまでの間にある符号の符号量対歪み指標値として、ΔＤｉ（ｋ）／ΔＲｉ（ｋ）を算出して、１／λと比較する（ステップＳ４０４）。その結果、１／λよりも大きい場合（Ｙｅｓ）、ｎｉの値をｋに更新する（ステップＳ４０５）。次に、ｋに１を加えて、着目する符号打ち切り点を一つ下げる（ステップＳ４０６）。一方、ステップＳ４０４で、１／λよりも小さい場合（Ｎｏ）、ｎｉは更新せずにステップＳ４０６に進む。そして、更新されたｋの値をこのコードブロックの符号化パスの数ｋｉ＿ｍａｘと比較する（ステップＳ４０７）。
【００１３】
その結果、ｋ≦ｋｉ＿ｍａｘであれば（Ｎｏ）、更新されたｋについてステップＳ４０３から繰り返して処理を行う。一方、ｋ＞ｋｉ＿ｍａｘであれば（Ｙｅｓ）、処理を終了して、与えられたλでの着目コードブロックＢｉの符号打ち切り点は終了時点のｎｉに定まる。
【００１４】
上述したアルゴリズムは、種々のλの値について実施されることを考慮すると、あらかじめコードブロックの符号打ち切り点の候補を定めておく方が効率が良い。コードブロックの符号打ち切りは、符号化パス単位に行われるので、基本的には全ての符号化パス境界で符号打ち切りが可能である。しかし、上述の符号打ち切り点ｎｉ決定アルゴリズムを適用する場合、符号打ち切り候補点間のレート・歪みの勾配を表す値、Ｓｉ（ｋ）＝ΔＤｉ（ｋ）／ΔＲｉ（ｋ）が、ｋに伴って単調減少となるように打ち切り候補点が決定され、条件を満たさない符号化パス境界は符号打ち切り点として選択されない。
【００１５】
例えば、図１０のように、４つの符号化パスにより符号化されたコードブロックを考える。図１０は、コードブロックの各パスのレートと歪みの関係の一例を示す図である。すなわち、基本的には、図１０の打ち切り可能点０〜４で示される４つのパスの境界で符号を打ち切ることが可能である。しかし、打ち切り可能点２ではレート・歪みの勾配が単調減少となっておらず、コードブロックの符号を打ち切るのは効率的でないため、上述のアルゴリズムでは符号打ち切り点として選択されることはない。
【００１６】
以下、全符号化パスの境界から符号打ち切り点の候補を選択するアルゴリズムについて説明する。図５は、符号打ち切り点の候補を選択する処理の流れを説明するためのフローチャートである。ここでは、符号打ち切り点の候補の集合をＮｉとする。
【００１７】
まず、符号打ち切り点の候補の集合Ｎｉの初期状態として、着目するコードブロックの全符号化パスの境界の集まりとする（ステップＳ５０１）。例えば、コードブロックＢｉの符号化パスの数をｋｉ＿ｍａｘとすると、Ｎｉ＝｛１，２，３，…，ｋｉ＿ｍａｘ｝である。次に、候補判定の対象となる符号打ち切り点ｐを０に設定する（ステップＳ５０２）。また、候補判定の対象となる符号打ち切り点の次の打ち切り点として、ｋを１に設定する（ステップＳ５０３）。
【００１８】
そして、設定されたｋが集合Ｎｉに属しているか否かを判定し（ステップＳ５０４）、Ｎｉに属している場合（Ｙｅｓ）、符号打ち切り点をｐからｋに移動させた場合の符号量増加分ΔＲｉ（ｋ）、歪み指標値減少分ΔＤｉ（ｋ）、及び、この区間のレート・歪み勾配Ｓｉ（ｋ）を求める（ステップＳ５０５）。一方、Ｎｉに属さない場合（Ｎｏ）、後述するステップＳ５０８へと処理を移す。
【００１９】
ステップＳ５０５の処理後、ｐ≠０の場合であって、かつＳｉ（ｋ）＞Ｓｉ（ｐ）であるか否かを比較する（ステップＳ５０６）。その結果、ｐ≠０、かつ、Ｓｉ（ｋ）＞Ｓｉ（ｐ）の場合（Ｙｅｓ）、ｐを集合Ｎｉから除いて（ステップＳ５１０）、ステップＳ５０２へと戻る。一方、それ以外の場合には（例えば、ｐ＝０やＳｉ（ｋ）≦Ｓｉ（ｐ））、ｐにｋを設定し（ステップＳ５０７）、ｋの値に１を加えて更新する（ステップＳ５０８）。
【００２０】
そして、ｋとｋｉ＿ｍａｘを比較して（ステップＳ５０９）、ｋ≦ｋｉ＿ｍａｘならば（Ｎｏ）、更新されたｋについてステップＳ５０４から処理を行う。一方、ｋ＞ｋｉ＿ｍａｘならば（Ｙｅｓ）、処理を終了して、この時点での集合Ｎｉが符号打ち切り点の候補集合となる。例えば、先に例に挙げた図１０に示すようなコードブロックの場合、打ち切り点の候補集合Ｎｉ＝｛１，３，４｝となり、これらの打ち切り候補点では図１１に示すようにレート・歪み勾配がｋに伴って単調減少となる。すなわち、図１１は、上述した単調減少化処理によりパスが統合される様子を示す図である。
【００２１】
以上により得られた符号打ち切り点候補集合Ｎｉに属するｋについて、レート・歪み勾配Ｓｉ（ｋ）、符号量Ｒｉ（ｋ）の値を保持しておき、Ｓｉ（ｋ）＞λとなる最大のｋを選択する。λの値が小さい場合には、符号打ち切り点は下がって切り捨てられる符号は少なくなり、逆にλの値が大きい場合には、符号打ち切り点は上がって切り捨てられる符号は多くなるため、乗数λは画質のパラメータとみなすことができる。そして、大きいλの値から小さい値へと変化させながら、総符号量Ｒ＝Ｒｍａｘ、あるいはＲ≒Ｒｍａｘとなるλを探して、そのλに基づいて各コードブロックの符号打ち切り点を決定することで、レート・歪み勾配の最適化を図ることができる。
【００２２】
以下、レート・歪み最適化手法をＪＰＥＧ２０００に適用する一形態について説明する。但し、ＪＰＥＧ２０００による符号化の具体的方法については勧告書に詳細に説明されているので、ここでは簡単な例についてその大まかな処理の流れのみを説明する。
【００２３】
また、説明簡略化のため、符号化対象画像は各画素が８ビット（０〜２５５）で表現された５１２×５１２画素のモノクロ画像とし、符号化対象画像の各画素の水平方向の画素位置（座標）をｘ、垂直方向の画素位置をｙとして、画素位置（ｘ，ｙ）の画素値をＰ（ｘ，ｙ）で表す。また、ＪＰＥＧ２０００の符号化の条件として、タイル分割なし、離散ウェーブレット変換２回、９×７非可逆フィルタ（９−７ Ｉｒｒｅｖｅｒｓｉｂｌｅ Ｆｉｌｔｅｒ）使用、コードブロックサイズは６４×６４、１レイヤでの符号列形成として説明する。その他にも、エントロピー符号化のオプション等の様々な条件設定が必要であるが、ここでは特に言及しない。
【００２４】
図２は、一般的なＪＰＥＧ２０００符号化を行う画像符号化装置の構成を示すブロック図である。図２において、２００は画像データ入力部、２０１は離散ウェーブレット変換部、２０２は係数量子化部、２０３はコードブロック分割部、２０４はコードブロック符号化部、２０５は符号列形成部、２０６は符号列格納部、２０７はコードブロック情報格納部、２０８は符号出力部である。
【００２５】
まず、画像データ入力部２００から符号化対象の画像データを構成する各画素値Ｐ（ｘ，ｙ）が順に入力される。画像データ入力部２００では、入力される各画素値Ｐ（ｘ，ｙ）から中間値１２８を引くことで、０から２５５の入力データのＤＣレベルシフトを行い、−１２８から１２７までのデータＰ’（ｘ，ｙ）に変換して、離散ウェーブレット変換部２０１へと出力する。
【００２６】
離散ウェーブレット変換部２０１では、ＤＣレベルシフト後の入力データＰ’（ｘ、ｙ）を不図示の内部バッファに適宜格納し、２次元離散ウェーブレット変換を実施する。２次元離散ウェーブレット変換は、１次元の離散ウェーブレット変換を水平及び垂直方向それぞれに適用することにより行われる。離散ウェーブレット変換部２０１では、１次元離散ウェーブレット変換として９×７非可逆フィルタを使用する。
【００２７】
図３は、２次元離散ウェーブレット変換によって処理される符号化対象画像のサブバンドを説明するための図である。すなわち、離散ウェーブレット変換部２０１では、図３（ａ）に示されるような符号化対象画像に対して、まず垂直方向に１次元離散ウェーブレット変換を適用し、図３（ｂ）に示されるように低周波サブバンドＬと高周波サブバンドＨとに分解する。次に、それぞれのサブバンドに対して水平方向の１次元離散ウェーブレット変換を適用することにより、図３（ｃ）に示されるようなＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分解する。
【００２８】
離散ウェーブレット変換部２０１では、上述した２次元離散ウェーブレット変換により得られたサブバンドＬＬに対して、さらに繰り返して２次元離散ウェーブレット変換を適用する。これによって、符号化対象画像をＬＬ、ＨＬ１、ＬＨ１、ＨＨ１、ＨＬ２、ＬＨ２、ＨＨ２の７つのサブバンドに分解することができる。
【００２９】
図６は、２回の２次元離散ウェーブレット変換によって得られる７つのサブバンドを説明するための図である。図６に示すように、復号側では、ＬＬサブバンドの係数を復号することにより、水平・垂直方向ともに１／４の大きさで画像を再生することができ、さらにＨＬ１、ＬＨ１、ＨＨ１の係数を復号することにより、水平・垂直１／２の大きさの画像を再生することができる。そして、ＨＬ２、ＬＨ２、ＨＨ２まで復号することにより、元の画像と同じ大きさの画像を再生することができる。以降、ＬＬサブバンドを解像度レベル０、ＬＨ１、ＨＬ１、ＨＨ１を解像度レベル１、ＬＨ２、ＨＬ２、ＨＨ２を解像度レベル２という呼び方で呼ぶ。
【００３０】
尚、以降では、各サブバンド内の係数をＣ（Ｓｂ，ｘ，ｙ）と表す。ここで、Ｓｂはサブバンドの種類を表し、ＬＬ、ＬＨ１、ＨＬ１、ＨＨ１、ＬＨ２、ＨＬ２、ＨＨ２のいずれかである。また、（ｘ，ｙ）は各サブバンド内の左上隅の係数位置を（０，０）としたときの水平方向及び垂直方向の係数位置（座標）を表す。
【００３１】
係数量子化部２０２では、離散ウェーブレット変換部２０１で生成された各サブバンドの係数Ｃ（Ｓ，ｘ，ｙ）を、各サブバンド毎に定めた量子化ステップｄｅｌｔａ（Ｓ）を用いて量子化する。ここで、量子化された係数値をＱ（Ｓ，ｘ，ｙ）と表すとすると、係数量子化部２０３で行われる量子化処理は次式により表すことができる。
【００３２】
【数３】
ここで、ｓｉｇｎ｛Ｉ｝は整数Ｉの正負符号を表す関数であり、Ｉが正の場合は１を、負の場合は−１を返す。また、ｆｌｏｏｒ｛Ｒ｝は実数Ｒを超えない最大の整数値を表す。
【００３４】
コードブロック分割部２０３は、係数量子化部２０２で量子化されたサブバンドの係数Ｃ（Ｓ，ｘ，ｙ）を不図示の内部バッファに適宜格納して、コードブロックとよばれる所定の大きさの矩形に分割して切り出す。コードブロック分割は、サブバンドの左上隅を基準として、６４×６４のブロックに分割することで行われる。これにより、ＬＬ、ＨＬ１、ＬＨ１、ＨＨ１の各サブバンドは、それぞれ４つのコードブロックに分割され、ＨＬ２、ＬＨ２、ＨＨ２の各サブバンドは１６個のコードブロックに分割される。
【００３５】
尚、各コードブロックには、順番に、重複しない識別番号ｉ（０〜６３）を割り振り、Ｂ０、Ｂ１、Ｂ２…Ｂ６３のように、Ｂｉという形でコードブロックを特定する。また、識別番号ｉは、解像度レベル順に割り振り、同一解像度レベル内においては、ＨＬ、ＬＨ、ＨＨサブバンドの順に、同一サブバンド内においてはラスタースキャン順に番号を付けるものとする。図７は、コードブロック分割部２０３におけるコードブロック分割の様子を示す図である。図７において、実線はサブバンドの境界を表し、点線はコードブロックの境界を示しており、点線または実線で区切られる矩形がコードブロックである。
【００３６】
コードブロック符号化部２０４は、コードブロック分割部２０３により切り出されたコードブロックＢｉ内の量子化された係数値Ｑ（Ｓ，ｘ，ｙ）（以降、単に「係数値」と称す）の絶対値を自然２進数で表現して、上位の桁から下位の桁へとビットプレーン方向を優先して二値算術符号化し、コードブロックの符号化データを符号列格納部２０６に格納する。各ビットプレーンは、最上位のビットプレーンを除いて、３つのパスに分けて符号化する。尚、パスへの分割、各パスでの具体的な符号化方法については、勧告書に従う。
【００３７】
すなわち、コードブロック符号化部２０４は、各パスの符号化毎に着目するパスの符号量増加分ΔＲｉ（ｋ）と、歪み指標値減少分ΔＤｉ（ｋ）とを求め、図８に示すテーブルを構築して不図示の内部バッファに格納する。図８は、コードブロック符号化部２０４の内部に構築されるコードブロックＢｉの情報の例を示す図である。尚、歪み指標値には、平均二乗誤差や、サブバンド毎に重みをつけて導出される重み付き平均二乗誤差等が用いられる。３種類のパスそれぞれについて、各係数の歪み指標値減少分を導出する一方式は、特許文献１（勧告書の附属書Ｊ）等に記されている。
【００３８】
着目するコードブロックＢｉについて、全パスの符号化が終了し、図８に示すようなテーブルが完成されると、前述した図５に示す符号打ち切り点の候補を選択するアルゴリズムを実施し、全符号化パス境界の集合からＳｉ（ｋ）が単調減少となる符号打ち切り点候補集合Ｎｉを求める。そして、図９に示すように、候補集合Ｎｉの要素の数ＮＰと、各打ち切り候補点でのパス番号ｋと、レート・歪み勾配Ｓｉ（ｋ）と、符号量Ｒｉ（ｋ）とをコードブロック情報格納部２０７に格納する。すなわち、図９は、コードブロック情報格納部２０７に格納される符号打ち切り候補点の情報の例を示す図である。
【００３９】
符号列形成部２０５は、コードブロック符号化部２０４により全てのコードブロックの符号化が終了すると、コードブロック情報格納部２０５に格納される各コードブロックの打ち切り候補点の情報を参照しながら、総符号量Ｒ＝Ｒｍａｘ、あるいはＲ≒Ｒｍａｘとなるλを探して、Ｓｉ（ｋ）＞λとなる部分の符号を集めて最終符号列を形成し、出力する。
【００４０】
図１４は、符号列形成部２０５におけるλ決定の処理の流れを説明するためのフローチャートである。以下、図１４を用いて、符号列形成部２０５によるしきい値λ決定の処理について説明する。尚、以下では、しきい値を表す変数としてＳを導入し、処理終了時点での変数Ｓの値がλとなる。
【００４１】
符号列形成部２０５では、まず、コードブロック情報格納部２０７に格納される全コードブロックの打ち切り候補点の情報を参照して、Ｓｉ（ｋ）の最小値Ｓｍｉｎと最大値Ｓｍａｘを求める（ステップＳ１４０１）。次に、しきい値を表す変数ＳにステップＳ１４０１で求められたＳｍａｘを設定する（ステップＳ１４０２）。続いて、変数Ｓからあらかじめ定めたしきい値変更幅ΔＳを減じ、変数Ｓの値を少しだけ下げる（ステップＳ１４０３）。
【００４２】
そして、コードブロック番号を表す変数ｉに０を設定し、累積符号量Ｒを０に初期化する（ステップＳ１４０４）。次いで、コードブロック情報格納部２０５に格納されるコードブロックＢｉの打ち切り候補点情報を参照して、Ｓｉ（ｋ）＞Ｓを満たす最大のｋを求め、コードブロックＢｉの打ち切り点ｎｉとする（ステップＳ１４０５）。Ｓｉ（ｋ）の値は、コードブロックＢｉの打ち切り候補点順に単調減少化されているので、Ｓｉ（ｋ）を候補点の順番に比較していくことでｎｉを求めることができる。
【００４３】
そして、ステップＳ１４０５で求めた打ち切り点ｎｉでのコードブロックＢｉの符号量Ｒｉ（ｎｉ）を累積符号量Ｒに加える（ステップＳ１４０６）。さらに、ｉに１を加えて更新し（ステップＳ１４０７）、ｉを６４と比較する（ステップＳ１４０８）。その結果、ｉが６４ならば（Ｙｅｓ）、ステップ１４０９へ進む。一方、ｉが６４以外の場合（Ｎｏ）、ステップＳ１４０５に処理を移して、次のコードブロックについて符号量加算を行う。
【００４４】
ステップＳ１４０９では、ｉが６４の場合、すなわち、しきい値Ｓについて全コードブロックからの累積符号量の算出が終了した場合、累積符号量Ｒを目標符号量Ｒｍａｘと比較する。その結果、Ｒ＜Ｒｍａｘの場合（Ｙｅｓ）、ステップＳ１４１０へ進み、そうでない場合（Ｎｏ）、ステップＳ１４１１へと処理を移す。ステップＳ１４１１へと処理が移された場合には、現在のしきい値Ｓでは目標符号量を超えるため、ΔＳを加えて一つ前のしきい値Ｓに戻して処理を終了する（ステップＳ１４１１）。
【００４５】
ステップＳ１４１０では、しきい値ＳをステップＳ１４０１で求めた最小値Ｓｍｉｎと比較し、Ｓ＞Ｓｍｉｎであれば（Ｙｅｓ）、ステップＳ１４０３へと戻り、Ｓの値をまた少し小さくしてから、再びステップＳ１４０９までの処理を行う。一方、ステップＳ１４１０において、Ｓ≦Ｓｍｉｎであれば（Ｎｏ）、本処理を終了する。そして、処理終了時点でのＳが、しきい値λとして選択される。
【００４６】
符号列形成部２０５は、上述した処理によって求められたしきい値λに対し、各コードブロックからＳｉ（ｋ）＞λとなる部分の符号を符号列格納部２０６から読み出して、ＪＰＥＧ２０００符号列のフォーマットに従って情報（メインヘッダ、タイルヘッダ、パケットヘッダ等）を付加して、ＪＰＥＧ２０００の符号列を形成し、符号出力部２０８へと出力する。
【００４７】
符号出力部２０８は、符号列形成部２０５により生成されたＪＰＥＧ２０００符号化データを装置外部に出力する。符号出力部２０８は、例えば、ハードディスク、光磁気ディスク、メモリ等の記憶媒体、又は、ネットワークへのインタフェース等で実現される。
【００４８】
上述した符号量（レート：Ｒａｔｅ）・歪み（Ｄｉｓｔｏｒｔｉｏｎ）最適化処理では、打ち切り候補点から次の打ち切り候補点までのパスの集合（パス集合）を、大きいＳを持つものから順に選択していくため、レート・歪み最適化処理の処理量は大きくなる。そこで、この処理量を軽減させ、レート・歪み最適化処理を高速化する方法として、カテゴリ分割法、Ｎ分割法、関数近似補間法等を用いることができる。
【００４９】
【非特許文献１】
標準勧告書（ＩＳＯ／ＩＥＣ １５４４４−１）の附属書Ｊ 例とガイドライン（Ａｎｎｅｘ Ｊ Ｅｘａｍｐｌｅｓ ａｎｄ ｇｕｉｄｅｌｉｎｅｓ）
【非特許文献２】
”Ｇｅｎｅｒａｌｉｚｅｄ Ｌａｇｒａｎｇｅ Ｍｕｌｔｉｐｌｉｅｒ Ｍｅｔｈｏｄ ｆｏｒ Ｓｏｌｖｉｎｇ Ｐｒｏｂｌｅｍｓ ｏｆ Ｏｐｔｉｍｕｍ Ａｌｌｏｃａｔｉｏｎ ｏｆ Ｒｅｓｏｕｒｃｅｓ”， Ｏｐｅｒａｔｉｏｎ Ｒｅｓｅａｒｃｈ， ｖｏｌ．１１， ｐｐ．３９９−４１７， １９６３
【００５０】
【発明が解決しようとする課題】
しかしながら、上記カテゴリ分割法、Ｎ分割法、関数近似補間法等を用いたレート・歪み最適化処理の高速化によって、静止画像や動画像の個々のフレーム画像を圧縮することは効果的であるが、あくまで１枚の画像に対する処理の高速化にとどまっており、動画像全体の圧縮処理として見た場合、必ずしも十分な高速化が得られていない。
【００５１】
本発明は、このような事情を考慮してなされたものであり、動画像の圧縮時の画像符号化におけるレート・歪み最適化処理に要する演算コストを好適に低減することができる画像符号化装置及び方法を提供することを目的とする。
【００５２】
【課題を解決するための手段】
上記課題を解決するため、本発明は、動画像を構成するフレーム画像を複数の小領域に分割し、該小領域内で符号量・歪み最適化処理を行って、該小領域ごとに符号化する画像符号化装置であって、
注目フレーム画像中の前記小領域の符号化時に用いられるしきい値の予測値を取得する取得手段と、
前記小領域内の符号量・歪み勾配から、前記しきい値の予測値を用いて、該小領域の符号化データが所定符号量となるときのしきい値を探索する探索手段と、
前記探索手段によって探索された前記しきい値以上の符号化データを用いて、前記小領域の符号列を形成する符号列形成手段と
を備えることを特徴とする。
【００５３】
また、本発明に係る上記画像符号化装置において、前記探索手段が、
前記小領域の符号量・歪み勾配を複数のカテゴリに分類する第１の分類手段と、
前記第１の分類手段によって分類された前記複数のカテゴリのうち、前記予測手段によって予測された前記しきい値を含むカテゴリをさらに複数の小カテゴリに分類する第２の分類手段と、
前記第２の分類手段によって分類された前記複数の小カテゴリのそれぞれについて符号量を算出する算出手段と、
前記複数の小カテゴリのうち、所定符号量を有する小カテゴリを選択する選択手段と、
選択された前記小カテゴリの前記符号量の上限値と下限値との間で、前記所定符号量となるときのしきい値を探索するしきい値探索手段と
を備えることを特徴とする。
【００５４】
さらに、本発明に係る前記画像符号化装置において、前記探索手段が、
前記小領域の符号量・歪み勾配の最大値と最小値を算出する算出手段と、
前記最大値と最小値との間を複数の区間に分割する第１の分割手段と、
前記第１の分割手段によって分割された前記複数の区間のうち、前記予測手段によって予測された前記しきい値を含む区間をさらに複数の小区間に分割する第２の分割手段と、
分割された前記複数の小区間のそれぞれについて符号量を算出する区間符号量算出手段と、
前記複数の小区間のうち、所定符号量を有する小区間を選択する選択手段と、
選択された前記小区間の符号量の上限値と下限値との間で、前記所定符号量となるときのしきい値を探索するしきい値探索手段と
を備えることを特徴とする。
【００５５】
さらにまた、本発明は、動画像を構成するフレーム画像を複数の小領域に分割し、該小領域内で符号量・歪み最適化処理を行って、該小領域ごとに符号化する画像符号化装置であって、
注目フレーム画像の前記小領域の符号化時に用いられる符号量・歪み勾配λを取得する取得手段と、
前記符号量・歪み勾配λに基づいて所定の符号量・歪み勾配Ｓを選択する選択手段と、
前記選択手段によって選択された前記符号量・歪み勾配Ｓと、前記取得手段によって取得された前記符号量・歪み勾配λに基づく符号量Ｒを用いて、符号量・歪み勾配に対する符号量の関数Ｒ＝ｆ（Ｓ）を仮定する仮定手段と、
前記仮定手段によって仮定された前記関数Ｒ＝ｆ（Ｓ）を用いて、前記小領域が所定符号量になるときのしきい値を探索する探索手段と、
前記探索手段によって探索された前記しきい値以上の符号化データを用いて、前記小領域の符号列を形成する符号列形成手段と
を備えることを特徴とする。
【００５６】
さらにまた、本発明は、動画像を構成するフレーム画像を複数の小領域に分割し、該小領域内で符号量・歪み最適化処理を行って、該小領域ごとに符号化する画像符号化方法であって、
注目フレーム画像中の前記小領域の符号化時に用いられるしきい値の予測値を取得する取得工程と、
前記小領域内の符号量・歪み勾配から、前記しきい値の予測値を用いて、該小領域の符号化データが所定符号量となるときのしきい値を探索する探索工程と、
前記探索工程によって探索された前記しきい値以上の符号化データを用いて、前記小領域の符号列を形成する符号列形成工程と
を有することを特徴とする。
【００５７】
【発明の実施の形態】
以下、本発明の好適な実施の形態について説明する。以下の実施形態では、動画像の符号化時に、カテゴリ分割法、Ｎ分割法、関数近似補間法を適用することによって画像符号化処理を高速化した場合について示す。
【００５８】
＜第１の実施形態＞
第１の実施形態では、カテゴリ分割法を用いた動画像の高速符号化処理について説明する。
【００５９】
［カテゴリ分割法］
まず、最初に、カテゴリ分割法について説明する。図１は、カテゴリ分割法を行う一般的な画像符号化装置の構成を示すブロック図である。尚、前述した従来の画像符号化装置と共通する機能を有するブロック内の構成要素については同じ記号を用い、その説明を省略する。
【００６０】
図１に示すように、カテゴリ分割を行う一般的な画像符号化装置は、画像データ入力部２００、離散ウェーブレット変換部２０１、係数量子化部２０２、コードブロック分割部２０３、コードブロック符号化部２０４、符号列形成部１０３、コードブロック情報格納部２０７、符号列格納部２０６、カテゴリ情報生成部１０１、カテゴリ情報格納部１０２とを備える。
【００６１】
以下、図１に示す一般的な画像符号化装置の動作手順について説明する。尚、図１に示す画像符号化装置で符号化対象とされる画像符号化データは、前述した図２で示す一般的なＪＰＥＧ２０００符号化を行う画像符号化装置の場合と同じく、５１２×５１２の各画素８ビットのモノクロ画像データとする。また、タイル分割の有無、コードブロックのサイズ、ウェーブレット変換フィルタの選択等の符号化の条件についても前記例と同じである。
【００６２】
図１に示す画像符号化装置では、レート・歪み最適化処理を簡易化するため、レート・歪み勾配にｍ個のカテゴリ分類を設け、符号化処理と並行して各符号化パス（又は、単調減少化により統合されたパス。以降、単に「符号化パス」と呼ぶ。）をカテゴリに分類し、各カテゴリ毎の累積符号量をカウントする。以下、ｍ個のカテゴリは、レート・歪み勾配の急峻なカテゴリから緩やかなカテゴリへ順序付けられ、Ｃ（１）からＣ（ｍ）のように１からｍまでの番号で識別する。尚、ある番号ｃのカテゴリＣ（ｃ）とカテゴリＣ（ｃ＋１）の境界条件となるレート・歪み勾配のしきい値をＴ（ｃ）と表す。ここで、Ｔ（ｃ）とＴ（ｃ＋１）には、Ｔ（ｃ）＞Ｔ（ｃ＋１）の関係がある。
【００６３】
ここで、Ｓｉ（ｋ）≧Ｔ（１）となる符号化パスは、カテゴリＣ（１）に分類され、Ｔ（ｃ−１）＞Ｓｉ（ｋ）≧Ｔ（ｃ）となる符号化パスは、カテゴリＣ（ｃ）に分類され、Ｔ（ｍ−１）＞Ｓｉ（ｋ）となる符号化パスは、カテゴリＣ（ｍ）に分類される。
【００６４】
また、カテゴリ情報格納部１０３には、図１２に示すようなテーブルを用意しておき、各カテゴリ毎に累積符号量ＲＣ（ｃ）を保持する。すなわち、図１２は、カテゴリ情報格納部１０２に保持されるカテゴリの情報を示す図である。尚、符号化処理の開始時には各カテゴリの累積符号量ＲＣ（ｃ）を全て０に初期化する。
【００６５】
図１において、符号化対象画像は、画像データ入力部２００から入力され、コードブロック符号化部２０４までの処理によって、前述した一般的な画像符号化装置でのＪＰＥＧ２０００符号化の場合と同様にしてコードブロックに分割され、コードブロック単位に符号化される。
【００６６】
カテゴリ情報生成部１０１では、コードブロック符号化部２０４により１つのコードブロックＢｉの符号化処理が行われ、レート・歪み勾配の単調減少化処理が行われると、コードブロック情報格納部２０７に格納されるコードブロックＢｉの打ち切り候補点の情報を参照して、カテゴリ情報格納部１０２に保持される各カテゴリの総符号量を更新する。
【００６７】
図１３は、カテゴリ情報生成部１０１における各カテゴリの符号量更新処理の流れを示す図である。以下、図１３を用いて、カテゴリ情報生成部１０１の処理の流れについて説明する。
【００６８】
コードブロック符号化部２０４により着目するコードブロックＢｉの符号化処理が終了すると、まず、コードブロック情報格納部２０７に図９に示すような形式で格納されているコードブロックＢｉの情報から、符号打ち切り候補点の集合Ｎｉの要素数ＮＰを読み出す（ステップＳ１３０１）。次に、カテゴリを表す変数ｃに１を設定し（ステップＳ１３０２）、打ち切り候補点の番号を表す変数ｊを０に設定する（ステップＳ１３０３）。続いて、変数ｊに１を加える（ステップＳ１３０４）。
【００６９】
そして、コードブロック情報格納部２０７からｊ番目の打ち切り候補点の情報を読み出す（ステップＳ１３０５）。ここで、打ち切り候補点の情報とは、打ち切り符号化パス番号ｋ、レート・歪み勾配Ｓｉ（ｋ）及び符号量Ｒｉ（ｋ）である。そして、レート・歪み勾配Ｓｉ（ｋ）をカテゴリのしきい値Ｔ（ｃ）と比較する（ステップＳ１３０６）。その結果、Ｓｉ（ｋ）≧Ｔ（ｃ）ならば（Ｎｏ）、着目する符号化パスをカテゴリＣ（ｃ）に分類し、ステップＳ１３０９へ処理を移す。一方、Ｓｉ（ｋ）＜Ｔ（ｃ）ならば（Ｙｅｓ）、カテゴリの番号を表す変数ｃに１を加えて、次のカテゴリに比較対象を変更する（ステップＳ１３０７）。
【００７０】
次いで、変数ｃとカテゴリの数ｍを比較し（ステップＳ１３０８）、ｃ＝ｍならば（Ｙｅｓ）、着目する符号化パスをカテゴリＣ（ｍ）に分類してステップＳ１３０９へと処理を移し、ｃ≠ｍならば（Ｎｏ）、ステップＳ１３０６へ処理を移す。ステップＳ１３０９では、カテゴリの累積符号量ＲＣ（ｃ）に着目するパスの符号量Ｒｉ（ｋ）を加えて更新する。そして、打ち切り候補点の番号を表す変数ｊをＮＰと比較し（ステップＳ１３１０）、ｊ≠ＮＰならば（Ｎｏ）、ステップＳ１３０４へ戻って、次の候補点について同様にステップＳ１３０５からステップＳ１３０９の処理を行う。一方、ｊ＝ＮＰならば（Ｙｅｓ）、着目するコードブロックＢｉについての処理を終了する。
【００７１】
コードブロック符号化部２０４により全てのコードブロックの符号化が終了し、続いてカテゴリ情報生成部１０１により最終コードブロックについてのカテゴリ情報更新処理が終了すると、符号列形成部１０３は、目的となる符号量（ターゲットレート）をもつカテゴリＣ（ｘ）を選択し、そのカテゴリの上限値Ｔ（ｘ−１）をＳｍａｘとし、下限値Ｔ（ｘ）をＳｍｉｎとして、ＳｍａｘとＳｍｉｎの間のしきい値探索を行う。
【００７２】
図１７は、画像符号化装置の符号列形成部１０３で実施されるしきい値決定処理の流れを説明するためのフローチャートである。すなわち、図１７に示すように、目的となる符号量を持つ境界カテゴリｃを選択する（ステップＳ１７０１）。次いで、カテゴリｃが１かどうかを判定し（ステップＳ１７０２）、１であれば（Ｙｅｓ）、Ｓｍａｘを探索し（ステップＳ１７１３）、ＳｍｉｎをＴ（ｃ）とする（ステップＳ１７１４）。そして、設定されたＳｍａｘとＳｍｉｎ間のしきい値を探索する。
【００７３】
一方、ステップＳ１７０２でｃ≠１と判定された場合（Ｎｏ）、しきい値Ｓを推定する（ステップＳ１７０３）。図１８は、境界カテゴリｃとカテゴリｃ−１の情報からＲｍａｘに対応するしきい値Ｓを推定する様子を示す図である。また、ｉ＝０、Ｒ＝０とし（ステップＳ１７０４）、Ｓｉ（ｋ）≧Ｓとなる最大のｋを求める（ステップＳ１７０５）。次いで、Ｒ＝Ｒ＋Ｒｉ（ｋ）とし（ステップＳ１７０６）、ｉ＜６４かどうかを判定する（ステップＳ１７０７）。その結果、ｉ＜６４の場合（Ｙｅｓ）、ｉをインクリメントし（ステップＳ１７０８）、ステップＳ１７０５以降の処理を再実行する。
【００７４】
また、ステップＳ１７０７でｉ≧６４の場合（Ｎｏ）、Ｒ≦Ｒｍａｘか否かを判定する（ステップＳ１７０９）。そして、Ｒ＞Ｒｍａｘの場合（Ｎｏ）、Ｓｍａｘ＝Ｔ（ｃ−１）、Ｓｍｉｎ＝Ｓとして（ステップＳ１７１１）、設定されたＳｍａｘとＳｍｉｎ間のしきい値を探索する。また、Ｒ≦Ｒｍａｘの場合（Ｙｅｓ）、さらにＲ≒Ｒｍａｘかどうかを判定し（ステップＳ１７１０）、Ｒ≒Ｒｍａｘでない場合（Ｎｏ）は、Ｓｍａｘ＝Ｓ、Ｓｍｉｎ＝Ｔ（ｃ）として（ステップＳ１７１２）、設定されたＳｍａｘとＳｍｉｎ間のしきい値を探索する。一方、Ｒ≒Ｒｍａｘの場合（Ｙｅｓ）は、本処理を終了する。上述したような手順を用いて、カテゴリ分割法では、レート・歪み最適化の処理量を軽減することができる。
【００７５】
［カテゴリ分割法を用いた動画像符号化］
次に、動画像の符号化時にカテゴリ分割法を適用する場合の処理の高速化について示す。
【００７６】
カテゴリ分割法では、カテゴリを細かく分割すると、生成されるカテゴリ情報は増加するが、しきい値探索の処理量は小さくなる。一方、カテゴリを粗く分割すると、生成されるカテゴリ情報は少なくてすむが、しきい値探索の処理量は大きくなる。従って、レート・歪み最適化処理にカテゴリ分割法を利用する場合、カテゴリの大きさや分割数が変化しても全体としての処理量は変わらないと考えられる。
【００７７】
しかし、あらかじめターゲットレートＲｍａｘに対応する勾配λを予測することができる場合、λ周辺のＳを細かくカテゴリ分割することで、カテゴリ情報を生成する処理としきい値探索の処理を小さくできる。
【００７８】
そこで、一般的に、シーンチェンジがほとんどないような動画像におけるフレーム間では、それぞれの画像が似ていると考えられ、ＳとＲの関係も似ていると考えられる。すなわち、シーンチェンジがほとんどないフレーム間では、λが似たような値をとると考えられる。そこで、本実施形態では、λに関する上記関係を利用して、動画像中のあるフレームをカテゴリ分割法によりレート・歪み最適化を行う場合、前のフレームのλを注目フレームのλの予測値とし、処理の軽減を図る。
【００７９】
図２２は、本発明の第１の実施形態に係る画像符号化装置の構成を示すブロック図である。図２２に示すように、第１の実施形態に係る画像符号化装置は、画像データ入力部２００、離散ウェーブレット変換部２０１、係数量子化部２０２、コードブロック分割部２０３、コードブロック符号化部２０４、符号列形成部１０３、コードブロック情報格納部２０７、符号列格納部２０６、カテゴリ情報生成部１０１、カテゴリ情報格納部１０２、予測値格納部１０４とを備える。尚、前述した図１に示す一般的な画像符号化装置と共通する構成要素については同じ記号を用い、その説明を省略する。
【００８０】
以下、図２２を参照して、本実施形態の画像符号化装置の動作手順について説明する。
【００８１】
第１の実施形態における画像符号化装置では、画像データ入力部２００に動画像を構成するそれぞれのフレームが入力される。尚、入力される各フレームは、前述した画像符号化装置における場合と同じ、５１２×５１２の各画素８ビットのモノクロ画像データとする。また、タイル分割の有無、コードブロックのサイズ、ウェーブレット変換フィルタの選択等の符号化の条件についても同じものとする。
【００８２】
本実施形態に係る画像符号化装置では、まず前述したように、注目フレームのレート・歪み勾配をｍ個のカテゴリに分類する。ここで本実施形態に係る画像符号化装置では、注目フレームの前フレームに関するしきい値λが予測値格納部１０４に格納されている。そこで、カテゴリ情報生成部１０１は、注目フレームの符号化時に予測値格納部１０４から前フレームのしきい値λを注目フレームの予測値λ’として取得する。そして、取得した予測値λ’が含まれるカテゴリをさらに細かく分割する。図２３は、第１の実施形態におけるカテゴリ分割の概念図である。例えば、注目フレームの予測値λ’が含まれるカテゴリをさらにｎ個のカテゴリに分類する。
【００８３】
そして、予測値λ’が含まれるカテゴリ中のｎ個のカテゴリのそれぞれについて、図１３で示した手順に従って符号量を算出する。尚、このとき、上記ｍ個のカテゴリにおける予測値λ’が含まれないカテゴリについては、符号量を算出しないようにする。これにより、全カテゴリについてレート・歪み最適化処理を行う場合に比べて、処理量を軽減することができる。そして、符号量形成部１０３は、目的となる符号量（ターゲットレート）を持つカテゴリＣｎ（ｘ）を選択する。そして、当該しきい値λを用いて符号列が形成される。
【００８４】
そして、そのカテゴリの上限値Ｔｎ（ｘ−１）をＳｍａｘとし、下限値Ｔｎ（ｘ）をＳｍｉｎとして、図１４に示す手順でＳｍａｘとＳｍｉｎとの間でしきい値探索を行い、処理終了時点でのＳがしきい値λとして選択される。尚、本実施形態では、得られたしきい値λは予測値格納部１０４に格納され、次のフレームの符号化時に読み出されることとなる。
【００８５】
尚、例えば、前フレームと前々フレーム等の複数フレームを用いて上記処理を行う場合は、ｎ個のカテゴリに分割されるカテゴリをそれぞれのフレームの予測値λ１、λ２等が含まれるカテゴリとして、同様に実施することで実現可能である。また、目的となる符号量（ターゲットレート）を持つカテゴリＣｎ（ｘ）が選択できなかった場合等には、予測値λ’が含まれないカテゴリについて、さらに細かなカテゴリに分割して上記手順と同様の処理を行うようにしてもよい。
【００８６】
上述したように、本実施形態に係る画像符号化装置では、前フレームのしきい値λ’を含むカテゴリのみをさらに細かくカテゴリ分割して処理を行う点と、符号列形成部１０３が得られたしきい値λを予測値格納部１０４に格納する点で、従来の画像符号化装置と異なっている。このように、第１の実施形態では、動画像中の注目フレームをカテゴリ分割法を用いたレート・歪み最適化処理を行う場合に、前フレームのλを注目フレームのλの予測値として使用して、その予測値の周辺を細かくカテゴリ分割することで処理の軽減を図ることができる。
【００８７】
＜第２の実施形態＞
第２の実施形態では、Ｎ分割法を用いた動画像の高速符号化処理について説明する。
【００８８】
［Ｎ分割法］
まず、最初に、Ｎ分割法について説明する。図２１は、Ｎ分割法を実施する一般的な画像符号化装置の構成を示すブロック図である。図２１に示すように、画像符号化装置は、画像データ入力部２００、離散ウェーブレット変換部２０１、係数量子化部２０２、コードブロック分割部２０３、コードブロック符号化部２０４、符号列形成部２１０２、コードブロック情報格納部２０７、符号列格納部２０６、区間分割部２１０１とを備える。
【００８９】
以下、図２１を参照して、Ｎ分割法を用いた一般的な画像符号化装置の動作手順について説明する。尚、図２１に示す画像符号化装置で符号化対象とする画像符号化データは、前述の図２で示す一般的なＪＰＥＧ２０００符号化を行う画像符号化装置の場合と同じように、５１２×５１２の各画素８ビットのモノクロ画像データとする。また、タイル分割の有無、コードブロックのサイズ、ウェーブレット変換フィルタの選択など、符号化の条件についても図２で示す画像符号化装置の場合と同じである。
【００９０】
図２１において、符号化対象画像は、画像データ入力部２００から入力され、従来例と同様にして画像データ入力部２００からコードブロック符号化部２０４までの処理により、コードブロックに分割され、コードブロック単位に符号化される。そして、全てのコードブロックがコードブロック符号化部２０４で符号化されると、区間分割部２１０１はコードブロック情報格納部２０７に格納されるコードブロックＢｉの打ち切り候補点の情報を参照して、レート・歪み勾配の最大値、最小値を求め、その区間をＮ分割する。
【００９１】
そして、各区間分割点におけるしきい値と符号量を求めて、図２０に示すようなテーブルを作成し、不図示の内部バッファに格納する。図２０は、区間分割部２１０１に保持される区間情報を示す図である。図２０に示されるように、Ｎ個の区間をレート・歪み勾配の急な区間から順に１から番号を付けてＫ（１）、Ｋ（２）、…、Ｋ（Ｎ）のようにＫ（ｎ）の形式で表す。また、区間Ｋ（ｎ）と区間Ｋ（ｎ＋１）の境界となるレート・歪み勾配のしきい値をＴ（ｎ）、区間Ｋ（ｎ）に含まれる符号量をＲＫ（ｎ）と表す。
【００９２】
図１９は、区間分割部２１０１における区間分割と区間情報生成の処理の流れを説明するためのフローチャートである。以下、図１９を用いて、区間分割部２１０１の処理の流れについて説明する。
【００９３】
コードブロック符号化部２０４により全てのコードブロックの符号化処理が終了すると、まず、コードブロック情報格納部２０７に格納される全コードブロックの打ち切り候補点の情報を参照して、レート・歪み勾配の最大値Ｓｍａｘ、最小値Ｓｍｉｎを求める（ステップＳ１９０１）。次に、ＳｍａｘとＳｍｉｎ間をＮ分割して、各区間のしきい値Ｔ（ｎ）を定める（ステップＳ１９０２）。ここでは、図２５に示すようにＳｍａｘとＳｍｉｎ間を等間隔に区間分割する。図２５は、Ｎ分割法における区分の分割の概要を説明するための図である。したがって、しきい値Ｔ（ｎ）は次式により求めることができる。
【００９４】
【数４】
区間のしきい値Ｔ（ｎ）が定まると、続いて、各コードブロックから区間の符号量Ｋ（ｎ）を求める処理に移る。
【００９６】
まず、コードブロック番号を表す変数ｉを０に初期化する（ステップＳ１９０３）。次に、着目するコードブロックＢｉについて、各符号打ち切り点毎にどの区間に属するかを判断して、属する区間の符号量ＲＫ（ｎ）を更新する（ステップＳ１９０４）。ステップＳ１９０４の具体的処理については後述する。次に、変数ｉを１増加させ（ステップＳ１９０５）、６４と比較する（ステップＳ１９０６）。その結果、ｉ＝６４の場合（Ｙｅｓ）は当該処理を終了し、ｉ≠６４の場合（Ｎｏ）、ステップＳ１９０４に戻って前述した処理を継続する。
【００９７】
次に、ステップＳ１９０４の細部処理について説明する。図２７は、Ｎ分割法における分割された区間の符号量更新処理の流れを説明するためのフローチャートである。まず、コードブロック情報格納部２０７に図９に示すような形式で格納されているコードブロックＢｉの情報から、符号打ち切り候補点の集合Ｎｉの要素数ＮＰを読み出す（ステップＳ２７０１）。次に、区間番号を表す変数ｎに１を設定する（ステップＳ２７０２）。また、打ち切り候補点の番号を表す変数ｊを０に設定する（ステップＳ２７０３）。続いて、変数ｊに１を加える（ステップＳ２７０４）。
【００９８】
そして、コードブロック情報格納部２０７からｊ番目の打ち切り候補点の情報を読み出す（ステップＳ２７０５）。打ち切り候補点の情報とは、打ち切り符号化パス番号ｋ、レート・歪み勾配Ｓｉ（ｋ）及び符号量Ｒｉ（ｋ）である。次いで、レート・歪み勾配Ｓｉ（ｋ）を区間Ｋ（ｎ）のしきい値Ｔ（ｎ）と比較する（ステップＳ２７０６）。その結果、Ｓｉ（ｋ）≧Ｔ（ｎ）ならば（Ｎｏ）、着目する符号化パスは区間Ｋ（ｎ）に含まれ、ステップＳ２７０９へ処理を移す。一方、Ｓｉ（ｋ）＜Ｔ（ｎ）の場合（Ｙｅｓ）、区間の番号を表す変数ｎに１を加えて、次の区間に比較対象を変更する（ステップＳ２７０７）。
【００９９】
次いで、変数ｎと区間の数Ｎを比較し（ステップＳ２７０８）、ｎ＝Ｎの場合（Ｙｅｓ）は着目する符号化パスは区間Ｋ（ｎ）に属すると判断してステップＳ２７０９へ処理を移し、ｎ≠Ｎの場合（Ｎｏ）はステップＳ２７０６へと処理を移す（ステップ２７０８）。ステップＳ２７０９では、区間の累積符号量ＲＫ（ｎ）に対して着目するパスの符号量Ｒｉ（ｋ）を加えてＲＫ（ｎ）を更新する。そして、打ち切り候補点の番号を表す変数ｊをＮＰと比較し（ステップＳ２７１０）、ｊ≠ＮＰの場合（Ｎｏ）はステップＳ２７０４へ戻って、次の候補点について同様にステップＳ２７０５からステップＳ２７０９の処理を行う。一方、ｊ＝ＮＰの場合（Ｙｅｓ）は、着目するコードブロックＢｉについての処理を終了する。
【０１００】
以上の処理により、区間分割部２１０１内部の不図示のバッファに図２０に示す形式のテーブルが構築される。
【０１０１】
コードブロック符号化部２０４により全てのコードブロックの符号化が終了し、続いて区間分割部２１０１により区間分割と、区間情報の生成処理が終了すると、符号列形成部２１０２は、ＲＫ（ｎ）≧Ｒｍａｘを満たす最大のｎを探し、さらに、Ｔ（ｎ−１）をＳｍａｘ、Ｔ（ｎ−１）をＳｍｉｎとして、ＳｍａｘとＳｍｉｎの間のしきい値探索を行う。このようにして、Ｎ分割法では、レート・歪み最適化処理における処理量を軽減することが可能となる。
【０１０２】
［Ｎ分割法を用いた動画像符号化］
次に、動画像の符号化時にＮ分割法を適用する場合の処理の高速化について示す。
【０１０３】
Ｎ分割法では、ＳｍｉｎとＳｍａｘの間を細かく分割すると、生成される区間情報は増加するが、しきい値探索の処理量は小さくなる。一方、ＳｍｉｎとＳｍａｘの間を粗く分割すると、生成される区間情報は少なくてすむが、しきい値探索の処理量は大きくなる。従って、レート・歪み最適化処理にＮ分割法を利用する場合、区間の大きさや分割数が変化しても全体としての処理量は変わらないと考えられる。
【０１０４】
しかし、あらかじめターゲットレートＲｍａｘに対応するレート・歪み勾配λを予測できるような場合、λ周辺のＳだけを細い区間に分割することで、区間情報を生成する処理としきい値探索の処理を精度よく、また低処理量で行うことが可能となる。
【０１０５】
そこで、一般的に、シーンチェンジがほとんどないような動画像におけるフレーム間では、それぞれの画像が似ていると考えられ、ＳとＲの関係も似ていると考えられる。すなわち、シーンチェンジがほとんどないフレーム間では、λが似たような値をとると考えられる。そこで、本実施形態では、λに関する上記関係を利用して、動画像中のあるフレームをＮ分割法によりレート・歪み最適化を行う場合、前のフレームのλを注目フレームのλの予測値とし、処理の軽減を図る。
【０１０６】
図２４は、本発明の第２の実施形態に係る画像符号化装置の構成を示すブロック図である。図２４に示すように、第２の実施形態に係る画像符号化装置は、画像データ入力部２００、離散ウェーブレット変換部２０１、係数量子化部２０２、コードブロック分割部２０３、コードブロック符号化部２０４、符号列形成部２１０２、コードブロック情報格納部２０７、符号列格納部２０６、区間分割部２１０１及び予測値格納部２１０３とを備える。尚、前述した図２１に示す一般的な画像符号化装置と共通する構成要素については同じ記号を用い、その説明を省略する。
【０１０７】
以下、図２４を参照して、本実施形態の画像符号化装置の動作手順について説明する。
【０１０８】
第２の実施形態における画像符号化装置では、画像データ入力部２００に動画像を構成するそれぞれのフレームが入力される。尚、入力される各フレームは、前述した一般的な画像符号化装置の場合と同じく、５１２×５１２の各画素８ビットのモノクロ画像データとする。また、タイル分割の有無、コードブロックのサイズ、ウェーブレット変換フィルタの選択等の符号化の条件についても前述の例と同じものとする。
【０１０９】
本実施形態に係る画像符号化装置では、まず前述したように、コードブロック情報格納部２０７に格納された情報を参照して、注目フレームのレート・歪み勾配の最大値Ｓｍａｘと最小値Ｓｍｉｎを求め、その間を複数の区間に分割する。ここで本実施形態に係る画像符号化装置では、注目フレームの前フレームに関するしきい値λが予測値格納部２１０３に格納されている。そこで、符号列形成部２１０２は、注目フレームの符号化時に予測値格納部２１０３から前フレームのしきい値λを注目フレームの予測値λ’として取得する。そして、取得した予測値λ’が含まれる区間をさらに細かく分割する。例えば、注目フレームの予測値λ’が含まれる区間をさらにＮ個の小区間に分類する。
【０１１０】
そして、予測値λ’が含まれる区間のＮ個の小区間のそれぞれについて、図２７で示した手順に従って符号量を算出する。尚、このとき、予測値λ’が含まれない区間については、符号量を算出しないようにする。これにより、全区間についてレート・歪み最適化処理を行う場合に比べて、処理量を軽減することができる。そして、符号量形成部２１０２は、目的となる符号量（ターゲットレート）を持つ区間を選択する。
【０１１１】
そして、その区間の上限値をＳｍａｘとし、下限値をＳｍｉｎとして、図１４に示す手順でＳｍａｘとＳｍｉｎとの間でしきい値探索を行い、処理終了時点でのＳがしきい値λとして選択される。尚、本実施形態では、得られたしきい値λは予測値格納部１０４に格納され、次のフレームの符号化時に読み出されることとなる。
【０１１２】
尚、例えば、前フレームと前々フレーム等の複数フレームを用いて上記処理を行う場合は、それぞれの予測値λ１、λ２が含まれる区間に対してさらに小区間を分割して、同様に実施することで実現可能である。また、目的となる符号量（ターゲットレート）を持つ区間が選択できなかった場合等には、予測値λ’が含まれない区間について、さらに細かな区間に分割して上記手順と同様の処理を行うようにしてもよい。
【０１１３】
上述したように、本実施形態に係る画像符号化装置では、前フレームのしきい値λ’を含む区間のみをさらに細かく区間分割して処理を行う点と、符号列形成部２１０２が得られたしきい値λを予測値格納部１０４に格納する点で、従来の画像符号化装置と異なっている。このように、第２の実施形態では、動画像中の注目フレームをＮ分割法を用いたレート・歪み最適化処理を行う場合に、前フレームのλを注目フレームのλの予測値として使用して、その予測値の周辺を細かくＮ分割することで処理の軽減を図ることができる。
【０１１４】
＜第３の実施形態＞
第３の実施形態では、関数補間近似法を用いた動画像の高速符号化処理について説明する。
【０１１５】
［関数補間近似法］
まず、最初に、関数補間近似法について説明する。関数補間近似法は、（１）所定のＲ（Ｒ１，Ｒ２，Ｒ３、但し、Ｒ１＜Ｒ２＜Ｒ３）に対するＳ（Ｓ１，Ｓ２，Ｓ３）を求めて、（２）ＳＲ（傾き対レート）のグラフを仮定し、（３）求めるレートＲｍａｘに対応するＳｄｕｍｍｙを求め、（４）Ｓｄｕｍｍｙから得られる符号量Ｒｄｕｍｍｙを計算し、（５）ＲｄｕｍｍｙとＲｍａｘとの差が所定値εより大きければ処理を終了し、ＲｄｕｍｍｙとＲｍａｘとの差が所定値εより小さければＲｄｕｍｍｙをＲ２とし、Ｒ２の近傍をＲ１、Ｒ２とした上で上記（１）以降の処理を繰り返す方法である。以下に、関数補間近似法を詳細に説明する。
【０１１６】
図１５は、関数補間近似法を実施する一般的な画像符号化装置の構成を示すブロック図である。図１５に示すように、画像符号化装置は、画像データ入力部２００、離散ウェーブレット変換部２０１、係数量子化部２０２、コードブロック分割部２０３、コードブロック符号化部２０４、符号列形成部１０１、コードブロック情報格納部２０７、符号列格納部２０６、符号出力部２０８を備える。
【０１１７】
以下、図１５を参照して、関数補間近似法を用いた一般的な画像符号化装置の動作手順について説明する。尚、図１５に示す画像符号化装置で符号化対象とする画像符号化データは、前述の図２に示すＪＰＥＧ２０００符号化を行う一般的な画像符号化装置による場合と同じように、５１２×５１２の各画素８ビットのモノクロ画像データとする。また、タイル分割の有無、コードブロックのサイズ、ウェーブレット変換フィルタの選択など、符号化の条件についても前述の例と同じである。
【０１１８】
［符号列形成部１０１の処理］
図１６は、符号列形成部１０１の処理を説明するためのフローチャートである。まず、Ｓの初期値としてＳ１＝Ｓｆ、Ｓ２＝Ｓｌ／２、Ｓ３＝Ｓｌ（但し、Ｓｆは、パス全体の中で最大のＳであり、Ｓｌは最小のＳである。）を設定する（ステップＳ１６０１）。次に、コードブロック情報格納部２０７に格納されているコードブロック情報を参照して、各Ｓ値以上のＳを持つパスの符号量の総和を求め、それらを各Ｓに対応するＲに代入する（ステップＳ１６０２）。ここでは、Ｒ１＝Ｒｆ、Ｒ２＝Ｒｌ／２、Ｒ３＝Ｒｌと表現する。尚、Ｒｆは、符号列において一番最先端に配置されると思われるパスの符号量であり、またＲｌは符号列全体の符号量である。
【０１１９】
次に、｛Ｓ１，Ｓ２，Ｓ３｝と｛Ｒ１，Ｒ２，Ｒ３｝から補間式Ｒ＝ｆ（Ｓ）を求める（ステップＳ１６０３）。そして、この関数におけるターゲット符号量Ｒｍａｘに対応するＳ（＝Ｓｄｕｍｎｎｙ）を求める（ステップＳ１６０４）。続いて、コードブロック情報格納部２０７に格納されているコードブロック情報を参照して、上記Ｓｄｕｍｍｙより大きなＳ値を持つパスの符号量Ｒｄｕｍｍｙを算出する（ステップＳ１６０５）。そして、｜Ｒｄｕｍｍｙ−Ｒｍａｘ｜＜εを判定する（ステップＳ１６０６）。ここでεは、Ｒｄｕｍｍｙの収束の程度を判定する定数である。
【０１２０】
その結果、｜Ｒｄｕｍｍｙ−Ｒｍａｘ｜＜εが成り立つ場合（Ｙｅｓ）、Ｒｄｕｍｍｙ以上のＲを持つパスを集めて符号列を生成し、得られた符号列を符号出力部２０８から出力する（ステップＳ１６０８）。一方、｜Ｒｄｕｍｍｙ−Ｒｍａｘ｜＜εが成り立たない場合（Ｎｏ）、Ｓ１＝Ｓｄｕｍｍｙ−ｄＳ、Ｓ２＝Ｓｄｕｍｍｙ、Ｓ３＝Ｓｄｕｍｍｙ＋ｄＳとして｛Ｓ１，Ｓ２，Ｓ３｝を設定して（ステップＳ１６０７）、処理をステップＳ１６０３に戻す。
【０１２１】
以上述べたように、関数補間近似法によれば、レート、並びにレート・歪み勾配との関係式を３点補間によって仮定しながら、目標レートに対応するレート・歪み勾配を効率的に探索する。
【０１２２】
［関数補間近似法を用いた動画像符号化］
次に、動画像の符号化時に関数補間近似法を適用する場合の処理の高速化について示す。上述した一般的な方法によれば、Ｓｍａｘを追い込むための繰り返し処理の処理量は多い。しかし、この問題は、Ｓ２の初期値としてＳｍａｘに近いＳ値を与えれることで解決される。そこで、本実施形態では、Ｓ２の初期値にＳｍａｘに近い値を仮定する方法を用いる。
【０１２３】
図２６は、本発明の第３の実施形態に係る画像符号化装置の構成を示すブロック図である。図２６では、前述した図１５に示す画像符号化装置と共通するブロックについては同じ記号を用い、その説明を省略する。図２６に示すように、第３の実施形態に係る画像符号化装置は、画像データ入力部２００、離散ウェーブレット変換部２０１、係数量子化部２０２、コードブロック分割部２０３、コードブロック符号化部２０４、符号列形成部１４０１、コードブロック情報格納部２０７、符号列格納部２０６、符号出力部２０８及びＳｂ入力部１４０２を備える。ここで、Ｓｂとは、注目フレームの１フレーム前のＳｍａｘのことであり、Ｓｂ入力部１４０２は、そのＳｂ値を符号列形成部１４０１に入力する。
【０１２４】
第３の実施形態における画像符号化装置では、画像データ入力部２００に動画像を構成するそれぞれのフレームが入力される。尚、入力される各フレームは、前述した一般的な例と同じく、５１２×５１２の各画素８ビットのモノクロ画像データとする。また、タイル分割の有無、コードブロックのサイズ、ウェーブレット変換フィルタの選択等の符号化の条件についても従来例と同じものとする。
【０１２５】
符号列形成部１４０１は、符号列を形成するにあたって、Ｓｂ入力部１４０２からＳｂを取得し、そのＳｂをＳ２に設定し、さらにＳ１＝Ｓｂ−ｄＳ、Ｓ３＝Ｓｂ＋ｄＳを与える。その後、符号列形成部１４０１は、前述した一般的な例と同様に、補間式を生成しながらＳｍａｘを追い込んでいき、その上で符号列を形成する。
【０１２６】
すなわち、前述のステップＳ１６０２と同様に、コードブロック情報格納部２０７に格納されているコードブロック情報を参照して、各Ｓ値以上のＳを持つパスの符号量の総和を求め、それらを各Ｓに対応するＲに代入する。そして、前述のステップＳ１３０３と同様に、｛Ｓ１，Ｓ２，Ｓ３｝と｛Ｒ１，Ｒ２，Ｒ３｝から補間式Ｒ＝ｆ（Ｓ）を求める。そして、この関数におけるターゲット符号量Ｒｍａｘに対応するＳ（＝Ｓｄｕｍｍｙ）を求める。この値をしきい値λと推定する。
【０１２７】
続いて、コードブロック情報格納部２０７に格納されているコードブロック情報を参照して、上記Ｓｄｕｍｍｙより大きなＳ値を持つパスの符号量Ｒｄｕｍｍｙを算出する。そして、｜Ｒｄｕｍｍｙ−Ｒｍａｘ｜＜εを判定する。その結果、｜Ｒｄｕｍｍｙ−Ｒｍａｘ｜＜εが成り立つ場合は、Ｒｄｕｍｍｙ以上のＲを持つパスを集めて符号列を生成し、得られた符号列を符号出力部２０８から出力する。一方、｜Ｒｄｕｍｍｙ−Ｒｍａｘ｜＜εが成り立たない場合は、Ｓ１＝Ｓｄｕｍｍｙ−ｄＳ、Ｓ２＝Ｓｄｕｍｍｙ、Ｓ３＝Ｓｄｕｍｍｙ＋ｄＳとして｛Ｓ１，Ｓ２，Ｓ３｝を設定して、再度上記処理を繰り返す。
【０１２８】
さらに、符号列形成部１４０１は、Ｓｂ入力部１４０２に書き込まれているＳｂを消去した上で、新たに得られたＳｍａｘをＳｂ入力部１４０２に書き込む。
【０１２９】
すなわち、本実施形態に係る画像符号化装置は、動画像を構成するフレーム画像を複数の小領域に分割し、小領域内で符号量・歪み最適化処理を行って、小領域ごとに符号化が行われる。そのため、注目フレーム画像の小領域の符号化時に用いられる符号量・歪み勾配λを取得し、取得した符号量・歪み勾配λに基づいて所定の符号量・歪み勾配Ｓを選択し、選択された符号量・歪み勾配Ｓと、取得された符号量・歪み勾配λに基づく符号量Ｒを用いて、符号量・歪み勾配に対する符号量の関数Ｒ＝ｆ（Ｓ）を仮定する。そして、仮定された関数Ｒ＝ｆ（Ｓ）を用いて、小領域が所定符号量になるときのしきい値を探索し、探索されたしきい値以上の符号化データを用いて、小領域の符号列を形成する。
【０１３０】
以上述べたように、本実施形態においては、前フレームのＳｍａｘを使用することで、注目フレームにおけるＳｍａｘの追い込み処理の軽減を図ることができる。
【０１３１】
＜その他の実施形態＞
本発明は、上述した実施形態に限定されるものではない。例えば、上述した第１から第３の実施形態においては、タイル分割なし、離散ウェーブレット変換２回、９×７非可逆フィルタ（９−７ Ｉｒｒｅｖｅｒｓｉｂｌｅ Ｆｉｌｔｅｒ）使用、コードブロックサイズは６４×６４、１レイヤでの符号列形成として説明したが、ＪＰＥＧ２０００符号化の条件を変更した場合にも適用できる。例えば、複数のビットレートでレイヤ構成する場合、それぞれのレイヤで目標符号量Ｒｍａｘを設定することにより適用することができる。その他、離散ウェーブレット変換のフィルタ、適用回数等を変更しても構わないことは言うまでもない。
【０１３２】
また、本発明はＪＰＥＧ２０００での実施に好適であるが、符号化データを小区分に分けて符号量、歪み指標値を得られるその他の符号化方式においても適用することが可能である。
【０１３３】
また、上述の実施形態ではコードブロック情報格納部、カテゴリ情報格納部、符号列格納部のように目的に応じてブロックを定義しているが、単一の記憶領域を用意して使い分けるような構成としても構わない。
【０１３４】
また、上述の実施形態におけるカテゴリ分割法では、カテゴリ分割処理を１回しか行っていない。しかし、選択したカテゴリを再度カテゴリ分割するように、複数回カテゴリ分割を実施する方法も、本発明の範疇であることは言うまでもない。
【０１３５】
また、上述の実施形態におけるＮ分割法では、区間分割処理を１回しか行っていない。しかし、選択した区間を再度分割をするように、複数回分割を実施する方法も、本発明の範疇であることは言うまでもない。
【０１３６】
また、上述実施形態における関数近似補間法は、複数回の関数近似補間を行うことを示している。しかし、１回の関数近似補間法を実施することも、本発明の範疇に入ることは言うまでもない。
【０１３７】
また、カテゴリ分割法、Ｎ分割法、関数近似補間法、しきい値探索法を適宜組み合わせた実施形態も、本発明の範疇に入ることはいうまでもない。
【０１３８】
また、上述の実施の形態では、５１２×５１２の各画素８ビットのモノクロ画像データを符号化対象画像として説明したが、その他のサイズ、ビット深度の画像、各画素が複数の色成分で表されたカラー画像など、その他の画像データに適用しても構わない。さらに、動画像の各フレーム、フィールドなどに対して適用しても構わない。
【０１３９】
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【０１４０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４１】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４２】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１４３】
【発明の効果】
以上説明したように、本発明によれば、動画像の圧縮時の画像符号化におけるレート・歪み最適化処理に要する演算コストを好適に低減することができる。
【図面の簡単な説明】
【図１】カテゴリ分割法を行う一般的な画像符号化装置の構成を示すブロック図である。
【図２】一般的なＪＰＥＧ２０００符号化を行う画像符号化装置の構成を示すブロック図である。
【図３】２次元離散ウェーブレット変換によって処理される符号化対象画像のサブバンドを説明するための図である。
【図４】有効符号化パスの数がｋｉ＿ｍａｘであるコードブロックＢｉについて符号打ち切り点ｎｉを決定する処理の手順を説明するためのフローチャートである。
【図５】符号打ち切り点の候補を選択する処理の流れを説明するためのフローチャートである。
【図６】２回の２次元離散ウェーブレット変換によって得られる７つのサブバンドを説明するための図である。
【図７】コードブロック分割部２０３におけるコードブロック分割の様子を示す図である。
【図８】コードブロック符号化部２０４の内部に構築されるコードブロックＢｉの情報の例を示す図である。
【図９】コードブロック情報格納部２０７に格納される符号打ち切り候補点の情報の例を示す図である。
【図１０】コードブロックの各パスのレートと歪みの関係の一例を示す図である。
【図１１】単調減少化処理によりパスが統合される様子を示す図である。
【図１２】カテゴリ情報格納部１０２に保持されるカテゴリの情報を示す図である。
【図１３】カテゴリ情報生成部１０１における各カテゴリの符号量更新処理の流れを示す図である。
【図１４】符号列形成部２０５におけるλ決定の処理の流れを説明するためのフローチャートである。
【図１５】関数補間近似法を実施する一般的な画像符号化装置の構成を示すブロック図である。
【図１６】符号列形成部１０１の処理を説明するためのフローチャートである。
【図１７】画像符号化装置の符号列形成部１０３で実施されるしきい値決定処理の流れを説明するためのフローチャートである。
【図１８】境界カテゴリｃとカテゴリｃ−１の情報からＲｍａｘに対応するしきい値Ｓを推定する様子を示す図である。
【図１９】区間分割部２１０１における区間分割と区間情報生成の処理の流れを説明するためのフローチャートである。
【図２０】区間分割部２１０１に保持される区間情報を示す図である。
【図２１】Ｎ分割法を実施する一般的な画像符号化装置の構成を示すブロック図である。
【図２２】本発明の第１の実施形態に係る画像符号化装置の構成を示すブロック図である。
【図２３】第１の実施形態におけるカテゴリ分割の概念図である。
【図２４】本発明の第２の実施形態に係る画像符号化装置の構成を示すブロック図である。
【図２５】Ｎ分割法における区分の分割の概要を説明するための図である。
【図２６】本発明の第３の実施形態に係る画像符号化装置の構成を示すブロック図である。
【図２７】Ｎ分割法における分割された区間の符号量更新処理の流れを説明するためのフローチャートである。
【符号の説明】
１０１ カテゴリ情報生成部
１０２ カテゴリ情報格納部
１０３、１４０１、２１０２ 符号列形成部
１０４、２１０３ 予測値格納部
２００ 画像データ入力部
２０１ 離散ウェーブレット変換部
２０２ 係数量子化部
２０３ コードブロック分割部
２０４ コードブロック符号化部
２０６ 符号列格納部
２０７ コードブロック情報格納部
２０８ 符号出力部
１４０２ Ｓｂ入力部
２１０１ 区間分割部
Claims (11)
- 動画像を構成するフレーム画像を複数の小領域に分割し、該小領域内で符号量・歪み最適化処理を行って、該小領域ごとに符号化する画像符号化装置であって、
注目フレーム画像中の前記小領域の符号化時に用いられるしきい値の予測値を取得する取得手段と、
前記小領域内の符号量・歪み勾配から、前記しきい値の予測値を用いて、該小領域の符号化データが所定符号量となるときのしきい値を探索する探索手段と、
前記探索手段によって探索された前記しきい値以上の符号化データを用いて、前記小領域の符号列を形成する符号列形成手段と
を備えることを特徴とする画像符号化装置。 - 前記探索手段が、
前記小領域の符号量・歪み勾配を複数のカテゴリに分類する第１の分類手段と、
前記第１の分類手段によって分類された前記複数のカテゴリのうち、前記予測手段によって予測された前記しきい値を含むカテゴリをさらに複数の小カテゴリに分類する第２の分類手段と、
前記第２の分類手段によって分類された前記複数の小カテゴリのそれぞれについて符号量を算出する算出手段と、
前記複数の小カテゴリのうち、所定符号量を有する小カテゴリを選択する選択手段と、
選択された前記小カテゴリの前記符号量の上限値と下限値との間で、前記所定符号量となるときのしきい値を探索するしきい値探索手段と
を備えることを特徴とする請求項１に記載の画像符号化装置。 - 前記予測手段によって予測された前記しきい値が複数存在する場合、前記第２の分類手段は、前記第１の分類手段によって分類された前記複数のカテゴリのうち、該しきい値を含む一又は複数のカテゴリをさらに複数の小カテゴリに分類することを特徴とする請求項２に記載の画像符号化装置。
- 前記探索手段が、
前記小領域の符号量・歪み勾配の最大値と最小値を算出する算出手段と、
前記最大値と最小値との間を複数の区間に分割する第１の分割手段と、
前記第１の分割手段によって分割された前記複数の区間のうち、前記予測手段によって予測された前記しきい値を含む区間をさらに複数の小区間に分割する第２の分割手段と、
分割された前記複数の小区間のそれぞれについて符号量を算出する区間符号量算出手段と、
前記複数の小区間のうち、所定符号量を有する小区間を選択する選択手段と、
選択された前記小区間の符号量の上限値と下限値との間で、前記所定符号量となるときのしきい値を探索するしきい値探索手段と
を備えることを特徴とする請求項１に記載の画像符号化装置。 - 前記注目フレーム画像の前フレーム画像に対して用いられたしきい値を格納する格納手段をさらに備え、
前記取得手段が、前記格納手段に格納されている前記しきい値を前記注目フレーム画像のそれぞれの小領域のしきい値の予測値として取得する
ことを特徴とする請求項１から４までのいずれか１項に記載の画像符号化装置。 - 前記格納手段が、複数の前フレーム画像の小領域に対して用いられた複数のしきい値を格納している場合、前記探索手段は、前記小領域の符号量・歪み勾配から前記複数のしきい値を用いて、該小領域が所定符号量となるしきい値を探索する
ことを特徴とする請求項５に記載の画像符号化装置。 - 動画像を構成するフレーム画像を複数の小領域に分割し、該小領域内で符号量・歪み最適化処理を行って、該小領域ごとに符号化する画像符号化装置であって、
注目フレーム画像の前記小領域の符号化時に用いられる符号量・歪み勾配λを取得する取得手段と、
前記符号量・歪み勾配λに基づいて所定の符号量・歪み勾配Ｓを選択する選択手段と、
前記選択手段によって選択された前記符号量・歪み勾配Ｓと、前記取得手段によって取得された前記符号量・歪み勾配λに基づく符号量Ｒを用いて、符号量・歪み勾配に対する符号量の関数Ｒ＝ｆ（Ｓ）を仮定する仮定手段と、
前記仮定手段によって仮定された前記関数Ｒ＝ｆ（Ｓ）を用いて、前記小領域が所定符号量になるときのしきい値を探索する探索手段と、
前記探索手段によって探索された前記しきい値以上の符号化データを用いて、前記小領域の符号列を形成する符号列形成手段と
を備えることを特徴とする画像符号化装置。 - 前記画像符号化データの小区分が、ＪＰＥＧ２０００符号化方式におけるパス、又は、統合されたパスの符号化データであることを特徴とする請求項１から７までのいずれか１項に記載の画像符号化装置。
- 動画像を構成するフレーム画像を複数の小領域に分割し、該小領域内で符号量・歪み最適化処理を行って、該小領域ごとに符号化する画像符号化方法であって、
注目フレーム画像中の前記小領域の符号化時に用いられるしきい値の予測値を取得する取得工程と、
前記小領域内の符号量・歪み勾配から、前記しきい値の予測値を用いて、該小領域の符号化データが所定符号量となるときのしきい値を探索する探索工程と、
前記探索工程によって探索された前記しきい値以上の符号化データを用いて、前記小領域の符号列を形成する符号列形成工程と
を有することを特徴とする画像符号化方法。 - コンピュータに、動画像を構成するフレーム画像を複数の小領域に分割させ、該小領域内で符号量・歪み最適化処理を行わせて、該小領域ごとに符号化するためのプログラムであって、
注目フレーム画像中の前記小領域に対して用いられるしきい値の予測値を取得する取得手順と、
前記小領域内の符号量・歪み勾配から、前記しきい値の予測値を用いて、該小領域の符号化データが所定符号量となるときのしきい値を探索する探索手順と、
前記探索手順によって探索された前記しきい値以上の符号化データを用いて、前記小領域の符号列を形成する符号列形成手順と
を実行させるためのプログラム。 - 請求項１０に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003200478A JP2005045356A (ja) | 2003-07-23 | 2003-07-23 | 画像符号化装置及び方法 |
| US10/895,385 US7574063B2 (en) | 2003-07-23 | 2004-07-21 | Image coding method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003200478A JP2005045356A (ja) | 2003-07-23 | 2003-07-23 | 画像符号化装置及び方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005045356A true JP2005045356A (ja) | 2005-02-17 |
Family
ID=34260873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003200478A Withdrawn JP2005045356A (ja) | 2003-07-23 | 2003-07-23 | 画像符号化装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005045356A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006287487A (ja) * | 2005-03-31 | 2006-10-19 | Ricoh Co Ltd | 符号処理装置、符号処理方法、プログラム及び情報記録媒体 |
| JP2020137121A (ja) * | 2019-02-21 | 2020-08-31 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | エンコーダ、エンコーディングシステム、およびエンコーディング方法 |
-
2003
- 2003-07-23 JP JP2003200478A patent/JP2005045356A/ja not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006287487A (ja) * | 2005-03-31 | 2006-10-19 | Ricoh Co Ltd | 符号処理装置、符号処理方法、プログラム及び情報記録媒体 |
| JP2020137121A (ja) * | 2019-02-21 | 2020-08-31 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | エンコーダ、エンコーディングシステム、およびエンコーディング方法 |
| JP7063925B2 (ja) | 2019-02-21 | 2022-05-09 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッド | エンコーダ、エンコーディングシステム、およびエンコーディング方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7574063B2 (en) | Image coding method and apparatus | |
| Huang et al. | Deep learning-based image semantic coding for semantic communications | |
| US7912291B2 (en) | Features for retrieval and similarity matching of documents from the JPEG 2000-compressed domain | |
| EP3354030B1 (en) | Methods and apparatuses for encoding and decoding digital images through superpixels | |
| Shukla et al. | A survey on lossless image compression methods | |
| US9819946B2 (en) | Method and apparatus for coding of spatial data | |
| US11943457B2 (en) | Information processing apparatus and method | |
| Deng et al. | Content-based image compression for arbitrary-resolution display devices | |
| US20070201751A1 (en) | Block-Based Fast Image Compression | |
| US20080089413A1 (en) | Moving Image Encoding Apparatus And Moving Image Encoding Method | |
| JPH11266161A (ja) | データ圧縮方法及びデータ圧縮装置 | |
| Huang et al. | A new on-board image codec based on binary tree with adaptive scanning order in scan-based mode | |
| Oliver et al. | Low-complexity multiresolution image compression using wavelet lower trees | |
| WO2006001490A1 (en) | Moving image encoding apparatus and moving image encoding method | |
| Li et al. | Quality assessment of end-to-end learned image compression: The benchmark and objective measure | |
| Rizkallah et al. | Rate-distortion optimized graph coarsening and partitioning for light field coding | |
| JP2005045356A (ja) | 画像符号化装置及び方法 | |
| JP4272961B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| Poolakkachalil et al. | Comparative analysis of lossless compression techniques in efficient DCT-based image compression system based on Laplacian Transparent Composite Model and An Innovative Lossless Compression Method for Discrete-Color Images | |
| JP4442893B2 (ja) | 画像検索装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
| Zhao et al. | Image and Graphics: 10th International Conference, ICIG 2019, Beijing, China, August 23–25, 2019, Proceedings, Part III | |
| JP2002247375A (ja) | 画像符号化装置及びその方法並びにプログラムコード、記憶媒体 | |
| JP2004312693A (ja) | 画像符号化装置及び画像符号化方法 | |
| Sakurai et al. | Lossless image set compression using animated FLIF | |
| Ellappan et al. | Optimal filter design of wavelet transform to an adaptive medical image compression technique using genetic group search optimizer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20061003 |