JP2007049594A - 画像データの処理方法 - Google Patents

Abstract

【課題】ロスレス画像圧縮あるいは画像復元システムに使用される画像データの内容に基盤を置き、これに適応したピクセル値を予測する仕組みを得ることができる。
【解決手段】全ピクセルの個々の値の予測は前処理された複数のピクセルの合計に或る重み付けをして決め、最初にピクセル群は近傍との位置関係により９タイプに分類し、付加される予測重み付けは個々のピクセルの部分集合に対し、部分集合の全てのピクセルに対し予測誤差の最小二乗値が最小になるようにして重み値は決め、それから創り上げられた予測(決定)値を部分集合に含まれる個々全てのピクセルに適用する。また、誤差補正データ内容に合致している全ての先の予測誤差の算術平均を取ることにより予測誤差を更に小さくするための補正を行う。誤差補正データ内容の数は７２９である。画像を復元するために９個の予測マスクと実ピクセルと予測したものの差分値は保存される。
【選択図】 図１

Description

本発明は、画像データ処理方法、特に、画像圧縮や画像復元のために用いるピクセル値予測アルゴリズムによる画像データ処理の方法に関するものである。

ロスレス（lossless）画像圧縮技術は、大量の圧縮した画像情報を使用する必要なしに、完全にロスがない再生が可能なところで、進歩的な画像再生に適合する圧縮した画像情報を出力するための技術である。

最近のロスレス画像圧縮技術は、予測コーディングの仕組みを用いている。

エンコーダはピクセルをある決められた順序で処理する。（すなわちラスターに対しては行から行、行内では左から右へ）

次のピクセル値は既処理の隣接ピクセルにより予想される。予測値と実際値の差分情報は原画像より低い、バイナリのエントロピー（binary entropy）を持つとともに蓄積のためにより少ないビットを要求する。（より少ないビットで蓄積することが可能となる。）

デコーダはエンコードと同じアルゴリズムを用い、エンコード時に蓄積した差分情報から誤差補正し原画像を復元する。

ピクセル予測値決定の最良の状態の仕組みは中間値予測（ＭＥＤ）である。これは連続階調画像に対して標準的なロスレス／近似・擬似ロスレス圧縮で用いられる。

JPEG-LSとして知られているISO-14495-1/ITU-T.87やＣＡＬＩＣで使われている傾斜最適予測子決定法［gradient-adjusted predictor］（ＧＡＰ）などがこの実例である。

ある特定のピクセル値を予測するために、固定された予測値のあらかじめ定義されたセットから1つの予測値を選択する。ピクセルを予測して決定される値はそのピクセルを取巻く・隣接するピクセルとの位置関係に依存する。

ＭＥＤ法は３つの予測値決定因子セットの中間値を予測ピクセル値とする。ＧＡＰ法は7つのスキームから最適予測値を決定するためにそのピクセル周りの傾斜と特性を用いる。この手法は画像の端部の予測をうまくするために使用される。

しかしながら導き出される予測値は特定の画像でなく、大量の（一般的な）画像に対し統計的な処理で計算された固定の予測値にしか他ならない。この方法を端部に適用した場合、予測値決定の精度が劣るため、良好な結果は得られない。

対象とするピクセルを予測するために予めコード化した近隣ビクセルを用いるピクセル値予測技術を対象にしている幾つかの特許として、下記特許文献１は、エントロピーエンコードに使うパレット化された画像の圧縮を供与するものである。
U.S. Pat. No. 5,471,207号 明細書

この特許文献１では、M-ary alphabetの入力シンボルは入力データの文脈モデルに基づき２値化される。２値化は各々の入力シンボルを２値の値の数字にマップする再インデックス表から決定される。再インデックス表のマッピングは圧縮される画像から決定され、オーバーヘッドとして圧縮画像に付けて伝送される。

下記特許文献２は、各々のピクセルを予測しコード化するために前もってコード化した近傍ピクセルのパターンを用いるアルゴリズムを提供している。
U.S. Pat. No. 6,038,346号 明細書

この特許文献２では、出来る限り、現下のピクセルの直に接しているおよび予めコード化した４つの近傍ピクセルを使用する。すなわちそれらは、左に直に接しているピクセル（西）、真上と左の対角のピクセル（北西）、前上のピクセル（北）そして真上と右の対角のピクセル（北東）である。

近傍ピクセルにより決定される基本パターンは倍数を包含している近傍ピクセルの各々の値が対応する方向に繰り返されることにより拡大される。異なるパターンに対する予測の規則はコードおよびデコードをする間に画像そのものから学習され更新される。

この特許文献２の記述に依れば、数種の明確な色からなるパレット化され人工的な画像に対しこのアルゴリズムはピクセル値の予測がうまく当てはまる。しかし、1600万に及ぶ色数の他の画像（写真画質）に対しては文脈の希薄化と予測品質の低減化の棄損を受ける。反対に、この発明はハイカラー画像に対し完璧に適している仕組みであるとともに人工的な画像に対し利用できる仕組みを提供する。（マイナー処理モード）

下記特許文献３は、圧縮された画像情報の出力のための画像圧縮装置を提供する。
U.S. Pat. No. 6,614,939号 明細書

この特許文献３の装置は、大量の圧縮画像情報を扱うことのなく、完全にロスレスの再生をするような場面でのプログレッシィブ画像の再生に適している。デコード装置は圧縮画像情報を復元し再生機として機能する。画像圧縮装置は、原画像情報の中のブロック画像情報のなかに一つのビット面を含む面セットを持ち、第一面セットに対する第一分割をもつ画像圧縮を実行する。

結果として、第一分割の結果を示す分割情報から成る第一領域の情報と輝度情報が作り出される。画像圧縮装置はまた 第一面のセットと隣り合った一つのビット面を少なくとも含む第二面のセットに対する第二の分割を持つ画像圧縮を実行する。ここでは第一分割の結果は標準として使われる。結果として分割情報からなる第二領域の情報と輝度情報が作り出される。圧縮画像の情報は第一第二の領域の情報に基づき生成され出力される。

下記特許文献４は、幾つかの予め定められた簡易なピクセルのテンプレートの型を用いるピクセル値予測技術を提供するものである。
U.S. Pat. No. 5,631,979号 明細書

特許文献４では、与えられたピクセルの予測に対する支持から構成されるピクセルは各々のテンプレートと比較される。個々のテンプレートに適合する良さの値はそのテンプレートに基づく予測ピクセル値と同様に決定される。各々のテンプレートからの予測は統合された予測を生成するためのそのテンプレートに適合する良さに関係する重みを使いながら平均化される。このようにピクセルを予測するために適切な重みを持った幾つかの予測子が使われる。特別な予め決められたテンプレートや重みに対応する各々の予測子は与えられたピクセルのテンプレートと予め決められたものとの距離を反映する。

前記特許文献１は、このアルゴリズムはパレット化された画像に対し開発されたものである。ハイカラー画像（16bits, 24 bits, etc）に対してはこのようなアルゴリズムは適用できない。なぜならばキー要素である再インデックスのカラー表は全ピクセルが全て違う色を持つような場合、このような場合にはカラー表（および結果的に再インデックス表）の大きさが画像サイズと同じ大きさになってしまうからである。

再インデックス表は画像の復元のために圧縮情報の中に格納されなければならないが故に全く圧縮が効かないということになる。これに対し本発明は特にハイカラーに適していたり、合成画像に対し使えるような予測の仕組みを提供する。

前記特許文献２の発明では、数種の明確な色からなるパレット化され人工的な画像に対しこのアルゴリズムはピクセル値の予測がうまく当てはまる。しかし、1600万に及ぶ色数の他の画像（写真画質）に対しては文脈の希薄化と予測品質の低減化の棄損を受ける。これに対して、本発明はハイカラー画像に対し完璧に適している仕組みであるとともに人工的な画像に対し利用できる仕組みを提供する。（マイナー処理モード）

前記特許文献３のアルゴリズムは画像圧縮分野のみに適用できるものである。更に記述されている仕組みとその振舞いはピクセル当たり４ビット−低いカラー深さを持つ画像に対してよく研究されているが、高色解像度を持つ画像に対する適用度は詳細には記述されていないし、更に新しい研究が必要である。

これに対し、本発明では複数の分野で効率的に使える予測の仕組みを提供する。例えばこれは（画像中のあるピクセルが損なわれ回復する必要がある場合の）復元に使用できる。また本発明は特別な色深度に依らないし、広範囲な画像に対するピクセル予測に対し何も変えずに適用することが出来る。

前記特許文献４では、この仕組みの予測精度は予め決められるテンプレート一式、幾何学的な構成、各々に対する予測方法に依存する。特別な画像に対するこれらキーとなる係数の最適な選択作業は実利用上は大した効果を生むことにならず時間の無駄になるかもしれないとこの特許文献４では述べている。

前記特許文献１〜特許文献４のいずれにおいても、（傾斜に対する独創的な公式により記述される）ピクセル近傍の局所的な配置構造（幾何学）に基づいてピクセルを幾つかの型に効率的に適応的にクラス分けを使用する予測の仕組みになっていない。

またこれらの特許文献は最小自乗誤差を最小にすることに基づくピクセルの各々のタイプに対し適応した予測を構築することを提供していない。これに対して本発明は、適応型にすることにより与えられたピクセル値の予測に対し唯一の予測子を使うことを可能にする。

さらに、これらの特許文献は予測誤差の補正に対する効率的な仕組みを提供していない。適応性の高さ及び計算機演算の効率の高さは応用の広い分野で通用する。

以上述べたように、本発明の目的は前記従来例の不都合を解消し、ロスレス画像圧縮あるいは画像復元システムに使用される画像データの内容に基盤を置き、これに適応したピクセル値を予測する仕組みを得ることができる画像データの処理方法を提供することにある。

前記目的を達成するため請求項１記載の本発明は、画像の中で予測ピクセルの値を導き出す方法として、
（a）動作／画質の優先により、量子化閾値Ｔと予測テンプレートＭであり、閾値Ｔは固定にするか特定画像について決めることが出来、予測テンプレートＭは動作優先か画質優先かの兼ね合いで決定するアルゴリズムのパラメータを選出し、
（b）傾斜ベクトル量子化に基づいて下記ａ、ｂによる９つのタイプによりピクセルを分類し、
ａ 各ピクセルの隣接ピクセルに対し傾斜ベクトル計算は次による

ｂ ９タイプによる傾斜ベクトル極量子化を行う。
（c）特異なタイプのピクセルに対して予測フィルター群を生成し、
（d）ピクセル値の予測するために生成されるフィルターを適用して、
（e）予測誤差を補正する
ことを要旨とするものである。

請求項2に記載の本発明は、含まれるピクセルの各々の個別なタイプに対する予測決定フィルターの生成は、ａ ピクセルデータの累算を行い、ｂ 予測決定誤差を最小にするために線形方程式のシステムにより導かれる解答を得ることによることを要旨とするものである。

請求項３記載の本発明は、予測決定誤差を補正する技術は以下によるａ〜ｄの段階によることを要旨とするものである。
ａ 各ピクセルの隣接ピクセルに対し３つの傾斜ベクトルを計算する

ｂ ３つの傾斜ベクトルの極量子化は前記請求項１記載の９つのタイプとする。
ｃ 各前後関係に対し予測決定誤差を修正する。
ｄ 誤差補正データ内容に合致する先の予測決定誤差全ての算術平均によって導く

本発明は、適応可能なピクセル値予測の技術（APVP 技術：adaptive pixel value prediction technique）を示すものである。

本発明では全ピクセルの個々の値の予測は前処理された複数のピクセルの合計に或る重み付けをして決める。

最初にピクセル群は近傍との位置関係により９タイプに分類される。付加される予測重み付けは個々のピクセルの部分集合に対し、次のようにして、それぞれ決められる。

ピクセルの部分集合の全てのピクセルに対し予測誤差の最小二乗値が最小になるようにして重み値は決められる。

それから創り上げられた予測（決定）値を部分集合に含まれる個々全てのピクセルに適用する。予測誤差は次の方法で補正される。誤差補正データ内容に合致している全ての先の予測誤差の算術平均を取ることにより予測誤差を更に小さくするための補正を行う。

誤差補正データ内容の数は７２９である。画像を復元するために９個の予測マスクと実ピクセルと予測したものの差分値は保存される。

本発明は、ロスレス（lossless）画像圧縮あるいは画像復元システムに使用される、画像データの内容に基盤を置き、これに適応したピクセル値を予測する仕組みを提供するものである。また、発明では、近傍の部分的な位置関係（画像データの内容=文脈）に依りピクセル群を分類するアルゴリズムを提供する。さらに、本発明では、ピクセル群の各々のユニークな画像データの内容タイプに対し予測方法の構築手順を提供する。また、本発明では、追加の予測誤差を補正する技術を提供する。また、本発明ではアルゴリズムパラメーターを選択する際に柔軟な手法を提供する。

以上の目的以外に本発明は下記の目的を有する。

本発明によれば、画像データの内容によるピクセル分類を含む予測子を提供する。また、各々の画像データの内容とそのアプリケーションに対し予測子を構築する。

本発明によれば、画像の全ピクセルは画像のカジュアルな隣接する部分の幾何学に依存する９つの部分集合に分割される。部分集合の１つは滑らかなエリア（傾斜がわずかである）のピクセルである。他が、８つの異なる方向の端を含む領域である。

そして各々の部分集合に対する予測値子は別々に最小二乗法予測誤差の最小化の結果としてカジュアルな線形デジタルのフィルターの形式に構成される。

予測フィルターのインパルス応答のサイズは４,８,15,24,35,48およびそれ以上を選ぶことが出来る。大きいインパルス応答を選ぶと予測精度がより上がるとともに仕組み全体の演算の複雑さが高まる。

２番目のパスで、先に生成された予測値子は対応する部分集合からのピクセルを予測するのに利用される。

予測精度を改善するために予測値と元の値との差は追加の７２９のユニークな画像データの内容により収集される。次のピクセルの予測は画像データの内容に合う先の全ての誤差の算術平均により補正される。

本発明のさらなる目的は、動作速度と予測品質の兼ね合いで柔軟なチューニングが出来るアルゴリズムを提供することである。

このアルゴリズムのパラメータは量子化閾値Ｔと予測テンプレート値Ｍである。閾値Ｔは固定にできるかあるいは特別な画像に対してはユニークにできる。予測テンプレート値Ｍは簡単（速い）から複雑（高品質）までの広範囲のマスクが選択可能である。

本発明では、ピクセル値予測の方法を使用することであり、詳しくは、画像圧縮時必要となるピクセル値の予測の場面やカラー深さとフォーマットに関係なく画像のピクセル値が失われている場面などでこのピクセル値予測方法が使われる。

本発明では、このピクセル値予測の方法がロッシー（lossy：非可逆符号化）画像圧縮、ロスレス（lossless：可逆符号化）画像圧縮のいずれの中身にも適用可能である。

以上述べたように本発明の画像データの処理方法は、ロスレス画像圧縮あるいは画像復元システムに使用される画像データの内容に基盤を置き、これに適応したピクセル値を予測する仕組みを得ることができるものである。

以下に本発明の実施の形態を詳細に説明する。なお、この実施形態は最も良い実施形態などの、本発明の望ましい具体例を示すもので、本発明は本発明の趣旨を逸脱しない範囲についていろいろ違った形に修正して使うことができ、その結果、本発明は他の異なる具体的な形態になることもある。それ故に図示及び記述説明は限定されたものではない。

図１は本発明のピクセル値の予測の仕組みを示すブロック図、図２は画像データ内容（コンテキスト）の階層分けにおける傾斜ベクトル量子化のために使う極格子、図３は本発明で使う一時的近傍テンプレートの説明図、図４は境界ピクセルを処理するための画像の拡張の説明図である。

ロスレス（lossless）画像圧縮に用いられる画像データ内容（コンテキスト）に基づく最適ビクセル値を予測する仕組みを図1のフローに示す。

１．コンテキストの階層分け
まず最初に全ての画像ピクセルは一時的な画像の近隣部分の幾何学的性質により9つの部分集合に分けられる。これは次のような手順で行われる。各ビクセルＰ_i,jに対し、傾斜ベクトルの座標を次の式で計算する。

２．最適予測の構築

ここでＩωはω番目の画像データ内容（コンテキスト）に属するピクセルインデックスのセットである。

３．予測と誤差補正

量子化されたパラメータは予測データ内容に対するものと同じである。閾値Ｔと図２の８方向である。次のピクセル予測はマッチング内容に付随する先の全ての誤差の算術平均により修正される。

Ｇ_-1,0,Ｇ_0,-1の代わりに既に計算されている点（i-1,j）と点（i,j-1）に対するベクトルＧ_-1,-1を用いる。これは予測精度をわずかに落とすだけで演算の複雑さを減らすためである。

４．実装
下記にピクセル値を予測する発明と成る仕組みを示す。（図５、図６参照）
アルゴリズムＧＦＱ．最適化データ内容に基づくビクセル値予測法）
ＧＦＱ１． 「初期設定」 予測テンプレートＭ、データ内容の分類分けのために極量子化閾値Ｔの選択
ＧＦＱ２． 「第一段階処理 i,jでループ」 ＧＦＱ３，ＧＦＱ４を実行する。
ＧＦＱ３． 「第一段階処理 予測データ内容の決定」 傾斜ベクトルＧ_-1,-1計算（1）と量子化
ＧＦＱ４． 「第一段階処理 収集システム」 マッチング内容の構築のための線形等式に対する当該ピクセル近傍を収集する
ＧＦＱ５． 「予測フィルター計算」 線形等式の先に構築したシステムの解として個々のデータ内容に対する予測フィルターを生成
ＧＦＱ６． 「第二段階処理 i,jでループ」 ＧＦＱ７−ＧＦＱ１０を実行する。
ＧＦＱ７． 「第二段階処理 予測データ内容の決定」 予測データ内容を傾斜ベクトルＧ_-1,-1（1）に基づいて決定する。誤差補正データ内容を傾斜ベクトルＧ_-1,-1，Ｇ_-1,0，Ｇ_0,-1（1）,（4）に基づいて決定する。
ＧＦＱ８． 「第二段階処理 予測」 近隣ピクセルの組合せに依って出来る予測フィルターにより着目ピクセル値を予測する。
ＧＦＱ９． 「第二段階処理 誤差補正」 マッチング誤差補正データ内容に対する差異を収集した値の算術平均により予測誤差の補正を行う。
ＧＦＱ１０． 「第二段階処理 誤差収集」 マッチング誤差補正データ内容に対し補正された予測値と現実ピクセル値との差異を収集する。
ＧＦＱ１１． 「最終」将来画像の復元（例えば復号に於いて）のために使うため、9つの予測フィルターと予測誤差値を蓄積する。

殆どの場合、処理時間と予測精度との良い兼合いは予測テンプレート値Ｍ＝４と量子化閾値Ｔ＝３．５とすることで成就することが出来る。

より速く（しかも優位的な正確さも保持しながら）処理するためには、フィルターの長さを短くするかまたは更に極量子化の格子のなかでセルの数を少なくすることによってデータ内容の量を減少させる。

更に最適にするために、クラス分けのデータ内容に対する傾斜値と誤差補正に対する傾斜値を同じ値にすることにより、（4）の計算をしないで済ますことが出来る。

最適量子化閾値Ｔは個々の画像に対して唯一無二である。しかしこの値は、無視出来るほどの品質の低下（０．０５％）を許容できれば、固定値にすることが出来る。推奨する固定値はＴ＝３．５である。

共分散マトリックス（3）の計算、ＧＦＱ３ではその対称性を使い二度に渡り複雑さを減らすように効率的な実行がなされる。

境界ピクセルに対する処理には、更に簡単な仕組みが適用できる。つまり境界を越えた「最後のピクセル複製」画像の拡張をすることにより内部のビクセルと全く同じ方法で処理することが出来る。特別な場合として、最初の行及び列の処理について図４に示す。これらの方法は境界ピクセルに対し簡単な仕組みでやることよりは予測の質の低下を招かない。

１．質の評価
データ内容に基づく適応型予測の最良の仕組み二つを取り上げる。この文書で述べている仕組みＣＡＬＩＣ［４］，［５］を用いた。傾斜適応予測（ＧＡＰ）と新しいロスレス画像圧縮の標準ＪＰＥＧ−ＬＳ［２］，［３］（これは何を意味しますか）の中で使われている中間値予測（ＭＥＤ）である。比較を効率的にするために、ＩＳＯ／ＪＰＥＧテスト画像を用い予測誤差［７］の一次エントロピーを用いた。評価に対しては誤差補正の段階に含まれるＭＥＤとＧＡＰの予測値子の全種類を用いた。

下記表１は、ＭＥＤ，ＧＡＰと提示している予測テンプレートＭ＝１，２，３，４，５とＴ＝３．５に対する現仕組みの一次エントロピーの比較を示すものである。

前記表１からも知見できるように、本発明の仕組みは最も簡単なテンプレートＭ＝１（この場合は予測のために３つの最近隣ピクセルしか使わない）の場合ですらＭＥＤ／ＧＡＰに対し勝っているのは明らかである。推奨するテンプレート値Ｍ＝４使う場合にはＭＥＤに対し−４．５６％以上ＧＡＰに対し−２．９７％以上優れているという顕著な優位が表れている。

本発明の１実施形態としてピクセル値の予測の仕組みを示すブロック図である。 画像データ内容（コンテキスト）の階層分けにおける傾斜ベクトル量子化のために使う極格子である。 本発明で使用する一時的近傍テンプレートの説明図である。 境界ピクセルを処理するための画像の拡張の説明図である。（点在しているピクセルは画像を超えて位置し、「最終ピクセル重複（コピー）」法より拡張される。） ピクセル階層分けと個々のピクセル型に最適な予測子の構築のフローチャートである。 ピクセル予測と予測誤差補正のフローチャートである。

Claims (3)

1. 画像の中で予測ピクセルの値を導き出す方法として、
   （a）動作／画質の優先により、量子化閾値Ｔと予測テンプレートＭであり、閾値Ｔは固定にするか特定画像について決めることが出来、予測テンプレートＭは動作優先か画質優先かの兼ね合いで決定するアルゴリズムのパラメータを選出し、
   （b）傾斜ベクトル量子化に基づいて下記ａ、ｂによる９つのタイプによりピクセルを分類し、
   ａ 各ピクセルの隣接ピクセルに対し傾斜ベクトル計算は次による
   

   

   ｂ 9タイプによる傾斜ベクトル極量子化を行う。
   （c）特異なタイプのピクセルに対して予測フィルター群を生成し、
   （d）ピクセル値の予測するために生成されるフィルターを適用して、
   （e）予測誤差を補正する
   ことを特徴とした画像データの処理方法。
2. 含まれるピクセルの各々の個別なタイプに対する予測決定フィルターの生成は、
   ａ ピクセルデータの累算を行い、
   ｂ 予測決定誤差を最小にするために線形方程式のシステムにより導かれる解答を得ることによる請求項１記載の画像データの処理方法。
3. 予測決定誤差を補正する技術は以下によるａ〜ｄの段階による請求項１記載の画像データの処理方法。
   ａ 各ピクセルの隣接ピクセルに対し３つの傾斜ベクトルを計算する
   
   

   

   ｂ ３つの傾斜ベクトルの極量子化は前記請求項1記載の９つのタイプとする。
   ｃ 各前後関係に対し予測決定誤差を修正する。
   ｄ 誤差補正データ内容に合致する先の予測決定誤差全ての算術平均によって導く予想誤差補正を行う。

Images