JP2018160776A - 画像符号化装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 画像データを予めスキャンすること無しに、着目画素ブロックを効率よく符号化を行う。
【解決手段】符号化対象の画像データから、複数画素で構成される画素ブロックをラスタースキャン順に入力し、入力した着目画素ブロックを、与えられたインデックスで示される、複数の可変長符号化テーブルの１つを用いて符号化する符号化部と、着目画素ブロックの画素の分布に基づいて、当該着目画素ブロックに後続する未符号化の画素ブロックに用いるインデックスを決定する決定部とを有する。ここで、符号化部は、着目画素ブロックを符号化する際に、着目画素ブロックの隣接する複数の既符号化画素ブロックの符号化時に決定した複数のインデックスのうち、着目画素ブロックの位置に応じた１つを選択し、着目画素ブロックを符号化する。
【選択図】 図１

Description

本発明は、画像データの符号化技術に関するものである。

近年、４Ｋ、８Ｋといった高解像度画像や、１画素あたり８ビットを超える高諧調の画像を撮像可能な撮像装置が開発されている。このような画像は非常に多くの情報を含んでおり、データ量が膨大になってしまう。この膨大なデータ量を圧縮するため様々な高能率符号化が開発されている。

周辺画素から予測画素値を生成し、符号化対象画素値との差分値を符号化する方式も知られている。予測画素値を生成する方法が画素位置によって異なるため、画素位置によって可変長テーブルを切り替え、その際の可変長符号化テーブルを指し示すインデックスを効率よく符号化する技術がある（特許文献１）。

特開２０１０−２２６５３２号公報

画像符号化では、符号化対象の画像におけるＮ画素×Ｍ画素（Ｎ、Ｍは整数）の画素ブロックを単位で行うことが一般的である。また、符号化を行う際に、符号化の際に使用する複数の可変長符号化テーブルを用い、そのいずれかを指し示すインデックスを、画素ブロック毎に使用することが考えられる。画素ブロック内の画素値の分布は、画像の絵柄によって異なる。そのため画素ブロックで一つのインデックスを使用する場合、画素ブロック内の画素値分布に応じて適切なインデックスを選択しなければ符号化効率が低下する。

係る問題を図９を用いてより詳しく説明する。図９（ａ）は、画像をＮ×Ｍ画素で構成される画素ブロックに分割した画像を示している。ここで、各画素ブロック内をラスタースキャン順に各画素値を予測符号化する場合を考察する。図９（ｂ），（ｃ）は、符号化対象値と符号語の関係を表す複数の可変長テーブルのうち、インデックス２、８の例を示している。図９（ｄ）、（ｅ）は、符号化対象値の分布の例を示している。

図９（ａ）に示す画像のけるＮ×Ｍ画素ブロックは、画像の領域によって異なる絵柄となるため、画素ブロック毎に異なる画素値分布となる。例えば画素ブロック９０２は空であるため、Ｎ×Ｍ画素ブロック内の符号化対象値の発生頻度の偏りが大きく、その符号化対象値の分布は図９（ｄ）に示すようになる。つまり、多くの符号化対象値が値Ｘに集中するので、図９（ｂ）に示す符号化テーブルを用いて符号化すると高い符号化効率が期待できる。

一方画素ブロック９０３は、その中に出現する画素のばらつきが大きく、符号化対象値の分布は図９（ｅ）にようになる。故に、符号化対象値によらず、符号長があまり変わらない、図９（ｃ）に示す符号化テーブルを用いて符号化することが望ましい。

上記のように、画素ブロック毎に最適なインデックスを決定することが、高い符号化効率を得るために重要なファクタとなることが理解できよう。

しがしながら前記特許文献１の構成では、各画素ブロックの画素値分布に応じてインデックスを選択することが示されていず、上述したような課題に対して適応できない。

また画素値分布を一度スキャンしてからインデックスを求める構成も考えられるが、画像をスキャンする構成であれば、画像を保持するメモリが膨大となり、コストが上がるなどの課題がある。またリアルタイム性が求められる撮像装置においては、一度画像をスキャンし、再度符号化のために画像を読み込むには時間的余裕が無く実現が困難である。

本発明は、上記の問題点に鑑み、画像を予めスキャンせずとも符号化済のＮ×Ｍ画素ブロックの画素値分布から最適なインデックス値を計算し、符号化順で次のＮ×Ｍ画素ブロックのインデックスとして使用することで符号化効率を向上させる技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
画像データを符号化する画像符号化装置であって、
符号化対象の画像データから、複数画素で構成される画素ブロックを、ラスタースキャン順に入力する入力手段と、
入力した着目画素ブロックを、与えられたインデックスで特定される、複数の可変長符号化テーブルの１つを用いて符号化する符号化手段と、
前記着目ブロックの画素の分布に基づいて、当該着目画素ブロックに後続する未符号化の画素ブロックに用いるインデックスを決定する決定手段とを有し、
前記符号化手段は、前記着目画素ブロックを符号化する際に、前記着目画素ブロックの隣接する複数の既符号化画素ブロックの符号化時に決定した複数のインデックスのうち、前記着目画素ブロックの位置に応じた１つを選択し、前記着目画素ブロックを符号化することを特徴とする。

本発明によれば、画像データを予めスキャンすること無しに、着目画素ブロックを効率よく符号化を行うことが可能になる。

実施形態に対応する撮像装置の構成例を示すブロック図。 選択されたインデックスを設定する画素ブロックを示す図。 制御部の動作を示すフローチャート。 インデックスが指し示す可変長テーブルの一例と符号化対象値と発生頻度を示す図。 実施形態の効果を示す図。 動画もしくは静止画の連写時における選択されたインデックスを設定する画素ブロックを示す図 制御部およびインデックス選択部の動作を示すフローチャート。 動画もしくは静止画の連写時における実施形態の効果を示す図。 画像と可変長符号化テーブルとの関係を示す図。

以下図面に従って本発明に係る実施形態を詳細に説明する。なお、実施形態では、画像符号化装置がデジタルカメラやスマートホン等の撮像機能を有する撮像装置に適用した例を説明する。

［第１の実施形態］
図１は、実施形態における撮像装置１００のブロック構成図である。撮像装置１００は、撮像部１０１、分離分配部１０２、符号化部１０３、記録部１０４、インデックス選択部１０５、及び、制御部１０６を有する。

図１を用いて撮像装置１００の処理手順を説明する。撮像部１０１は、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルタを透過した光を電気信号に変換する。この場合、撮像部１０１の出力は、ＲＡＷ画像である。撮像部１０１から出力されるＲＡＷ画像は、ＤＲＡＭなどの記録媒体に記録せずにリアルタイムに後段の各処理部に出力される。

分離分配部１０２は撮像部１０１から入力されるＲＡＷ画像を、各色成分の画像に分離し、後段の符号化部１０３およびインデックス選択部１０５に分配する。例えば分離分配部１０２は、ベイヤー配列画像からＲＧＢ画像を生成し、Ｒ、Ｇ、Ｂの各成分画像を出力する。なお、分離機能をＯＦＦしてＲＡＷ画像のまま出力しても良い。また分離分配部１０２にＤＣＴやウェーブレット変換等の周波数変換機能を持たせ、出力するデータが周波数変換された係数値であっても良い。分離分配部１０２の出力もＤＲＡＭなどの記録媒体に記録せずにリアルタイムに後段の符号化部１０３およびインデックス選択部１０５に出力される。

符号化部１０３は、符号化対象の或る色成分の着目画像データから、Ｎ×Ｍ画素で構成される着目画素ブロックを切り出し、可変長符号化を行う。図２（ａ）は、符号化部１０３による符号化対象の画素ブロックの順序を示している。画像データの符号化する際の最初の画素ブロックは、図示の画素ブロック２０１である。この画素ブロック２０１の符号化を終えると、右隣の画素ブロック２０２を符号化していくことを繰り返す。水平右端の画素ブロック２０３を符号化した後は、最初の画素ブロック２０１の下隣に位置した画素ブロック２０４から符号化を行っていく。つまり、符号化部１０３は、画素ブロックを単位とした、ラスタースキャン順に符号化していく。

ここで、符号化部１０３によって符号化される着目画素ブロックの座標は、制御部１０６によって管理されている。また、制御部１０６は、インデックス選択部１５０が選択したインデックスを、符号化部１０３に供給する。符号化部１０３は、着目画素ブロックを、与えられたインデックスで特定される可変長符号化テーブルを用いて、可変長符号化し、符号化データを出力する。なお、実施形態では、符号化部１０３が、予め複数の可変長符号化テーブルを持つものとしているが、制御部１０３が複数の可変長符号化テーブルを持つものとしても良い。後者の場合、制御部１０３は、インデックス選択部１０５が選択したインデックスに従って可変長符号化テーブルの１つを、符号化部１０３に供給することになる。

符号化部１０３は、分離分配部１０２から出力された着目画素ブロック内を画素を単位とするラスタースキャン順に符号化を行い、符号化データを生成する。そして、符号化部１０３は、生成した符号化データを後段の記録部１０４に出力する。なお符号化部１０３は、着目画素の周囲の既に符号化済みの画素値から求めた予測値に対する予測誤差（＝着目画素の値−予測値）を求め、その予測誤差をエントロピー符号化（予測符号化）する。なお、着目画素が、画素ブロック内の最初のラインや左端の画素の場合、既に符号化済みの近傍画素は、画素ブロック外に位置することになる。符号化部１０３は、係る状況下での近傍画素は、予め設定された値であると見なして符号化を行うものとする。この場合の予め設定された値は、復号装置との間で同じになれば良いので、その値は特に問わない。例えば、画素値が８ビットで表されるのであれば、中央の“１２８”である。

記録部１０４は、符号化部１０３にて生成された符号化データを記録する。記録対象は、撮像装置１００に内蔵されたメモリであっても良いし、ＳＤカードメモリに代表される記録媒体であっても構わない。

インデックス選択部１０５は、分離分配部１０２から符号化対象の着目画素ブロックの符号化に利用する可変長符号化テーブルのインデックスを決定し、決定したインデックスを制御部１０６に出力する。

画像内の隣合う画素ブロックは、１００％とは言えないまでも、相関度は高いと言える。そこで、インデックス選択部１０５は、符号化部１０３が符号化しようとしている着目画素ブロックの周囲の、符号化済みの隣接画素ブロックの画素値分布を計算し、その計算結果に基づき着目画素ブロック用の可変長符号化テーブルのインデックスを決定する。つまり、符号化しようとする画素ブロックは、符号化が完了した隣の画素ブロックと同じ傾向の画像と見なす。実施形態では、先に説明したように、画素ブロック単位のラスタースキャン順に符号化が行われる。従って、着目画素ブロックの上、及び、左に隣接する画素ブロックは符号化済みである。ただし、着目画素ブロックが、画像データの最初に符号化する画素ブロックの場合、符号化済みの隣接画素ブロックが、画像外になることが起こり得る。実施形態では、次のようなルール（ｉ）乃至（iii）で、参照する隣接画素ブロックを決定した。
（ｉ）着目画素ブロックは画像の左上隅に位置するとき（着目画素ブロックが画素ブロック２０１の場合）、上、左隣には隣接画素ブロックは存在しない。よって、この場合には、隣接ブロックは所定の画素値分布となっているものと見なし、予め設定されたインデックスに設定する。例えば、後述する図４（ｃ）のテーブルのインデックス“８”とする。なお、復号装置と共通であれば良いので、“８”ではく、それ以外でも構わない。
（ii）着目画素ブロックが、画像の左端以外に位置する場合（着目画素ブロックが画素ブロック２０２〜２０３のいずれかの場合）、左隣の画素ブロックを参照対象とする。
（iii）着目画素ブロックが、画像の左上隅を除く、画像の左端に位置する場合（画素ブロック２０４の場合）、上隣の画素ブロックを参照対象とする。

ここで符号化効率が良い可変長テーブルを指し示すインデックスを選択する方法について図４を用いて説明する。図４（ａ）乃至（ｃ）に示すテーブルは、符号化対象値（符号化シンボルであり、実施形態では予測誤差）と該符号化対象値に対応する符号語（コード）との対応関係を示している。図４（ａ）乃至（ｃ）は、それぞれインデックスが異なっている。

図４（ａ）のテーブルは、取り得る符号語の符号長の範囲（最短符号長と最長符号長の差）が広いが、その分だけ符号化対象値Ｘに、より短い符号語が割り当てられている。従って、図４（ａ）のテーブルは、予測が当たり易い画像に適したテーブルと言える。

図４（ｃ）は、取り得る符号語の符号長の範囲が、図４（ａ）と比較して狭い。故に、故に、図４（ｃ）のテーブルは、予測がずれても極端に符号量が多くなることを抑制できるテーブルと言える。

図４（ｂ）は、図４（ａ）と（ｃ）の中間の画像に適したテーブルである。

図４（ｄ）乃至（ｆ）は、水平軸は符号化対象値を、垂直軸は符号化対象値の発生頻度を示している。図４（ｄ）に示す画像の場合、Ｘという値の近傍の予測誤差が多く発生し（予測が当たりやすいことを意味する）、符号化対象値の発生頻度に大きな偏りが生じていることを示している。このような画像に対しては、図４（ａ）に示すインデックス“２”の可変長テーブルを使用して符号化すると符号化効率が向上する。インデックス“２”で示される可変長テーブルは、発生頻度が高い符号化対象値に対して、短い符号を割り当てることで、発生頻度Ｘが多い画像であればあるほど符号化データ量を少なくできる。

一方、図４（ｆ）に示す画像の場合、符号化対象値が全体的にばらついて発生している。このような画像には、インデックスが８で示される図４（ｃ）の可変長符号化テーブルが適している。インデックス“８”のテーブルは、１つ１つの符号化対象値の符号語は長くなるが、画素ブロックの全体的に見れば符号長を抑え込める。

図４(ｅ)は、インデックスが“２”と“８”の中間の値を取るように設計されており、図４（ｂ）のような分布の画像に好適である。このように符号化対象値の分布を参照することで圧縮効率を向上させるインデックスを最適に選択することができる。

インデックス選択部１０５は、符号化部１０３で符号化しようとしている着目画素ブロックに隣接する、既に符号化済みの画素ブロックの分布に基づき、先に示した（ｉ）乃至（iii）に従って、参照対象の隣接画素ブロックの分布を用いて、着目画素ブロックのインデックスを決定する。なお、実際には、画素ブロックの符号化する際に求めた各画素の予測誤差について分散を求めればよい。そして、求めた分散を引数とする関数やテーブルを用いて、インデックスを決定すればよい。なお、着目画素ブロックの次に符号化する画素ブロックが、着目画素ブロックの右隣の画素ブロックである場合、着目画素ブロックから求めたインデックスを右隣の画素ブロックの符号化の際に利用すれば良いので、求めたインデックスは特に記憶保持する必要はない。しかし、着目画素ブロックが画像の左端に位置する場合、下隣の画素ブロックを符号化する場合には、着目画素ブロックで求めたインデックスを利用することになる。それ故、インデックス選択部１０５は、着目画素ブロックが画像の左端に位置する場合には、その値を一時的に記憶するメモリを有する。

説明を図１に戻す。制御部１０６は、符号化部１０３が着目画素ブロックを符号化する際に、インデックス選択部１０５が選択したインデックスを符号化部に設定する。例えば、画素ブロック２０１を符号化する際には、予め設定されたインデックスを符号化部１０３に設定する。そして、画素ブロック２０２を符号化する際には、インデックス選択部１０５は直前に符号化した画素ブロック２０１の予測誤差分布に基づいてインデックスを決定できる。そこで、制御部１０６は、画素ブロック２０１から求めたインンデックスを、符号化部１０３に設定し、画素ブロック２０２の符号化を行わせる。

なお、実施形態では、符号化対象の画素ブロックをＭ×Ｎ画素としたが、１つの画素ブロックが複数画素で構成であれば良く、Ｍ，Ｎの少なくとも一方が２以上であれば、その値に特に制限はない。特に、Ｍが符号化対象の画像の水平方向の画素数と等しいものとしても良い。この場合の画素ブロックは、図２（ｂ）に示すように、着目画素ブロックの位置の水平方向へ更新が無くなり、垂直方向のみの更新となる。なお、図２（ｂ）の場合、着目画素ブロックが最初の画素ブロック以外であれば、上隣の画素ブロックが符号化済みとして参照されることになる。

続いて図３のフローチャートを用いて、図１に記載されたインデックス選択部１０５の処理内容を中心に処理順を説明する。インデックス選択部１０５以外の処理部の処理内容は、すでに述べているので簡単な説明にとどめる。

符号化が開始されると、制御部１０６は、Ｓ３０１にて、符号化対象の着目画素ブロックの初期位置として、画像の左上隅の画素ブロック２０１が示す左上隅の位置に設定する。

Ｓ３０２にて、制御部１０６は、インデックス選択部１０５を制御し、着目画素ブロックの符号化に利用するテーブルのインデックスを決定させる。着目画素が、画像の左上隅の初期位置にある場合は予め設定されたインデックスを決定する。また、着目画素ブロックが、画像の左端以外に位置する場合には、直前に符号化した画素ブロックの予測分布に基づいて決定したインデックスを用いる。そして、着目画素ブロックが、画像の左上隅を除く、左端に位置する場合には、上隣の画素ブロックの予測分布に基づいて決定したインデックスを用いるものとして決定する。

Ｓ３０３にて、制御部１０６は、決定したインデックスを符号化部１０３に設定し、着目画素ブロックの符号化を行わせる。この結果。符号化部１０３が生成した、着目画素ブロックの符号化データは、記録部１０４に供給されることになる。

Ｓ３０４にて、制御部１０６は、上記Ｓ３０３で着目画素ブロックを符号化した際の予測誤差の分布を求め、後続して符号化することになる右隣、又は、下隣の画素ブロックのためのインデックスを求めておく。

Ｓ３０５にて、制御部１０６は、全画素ブロックの符号化を終えたか否かを判定する。未符号化の画素ブロックが存在すると判定した場合、制御部１０６はＳ３０６にて、着目画素ブロックの位置を、ラスタースキャン順に従って更新し、Ｓ３０２に処理を戻す。

一方、制御部１０６は、全画素ブロックの符号化を終えたと判断した場合、本処理を終える。

次に、実施形態の符号化処理での効果を、図５を参照して説明する。同図の参照符号５０１は、符号化対象の画像を示している。矢印５０４は、画素ブロック５０２の符号化後に選択されたインデックスが、右隣の画素ブロック５０３の符号化前に符号化部１０３に設定していることを示している。符号化部１０３は、設定されたインデックスに対応する可変長符号化テーブルを用いて画素ブロック５０３の符号化を行う。画素ブロック５０２と画素ブロック５０３は隣接する画素ブロックのため、空間相関が高いと言える。故に、画素ブロック５０２を最も効率良く符号化できたインデックスを使用することで、画素ブロック５０３内の符号化対象値をスキャンすることなく、符号化効率が向上するインデックスを用いて符号化することができる。

このように制御することで、画素ブロックを予めスキャンせずとも、隣接の符号化済の画素ブロックの画素値分布から符号化効率が良いインデックスを選択することができる。また画像の空間的な相関を利用してインデックスを選択することができるので符号化効率が向上させることできる。

［第２の実施形態］
第２の実施形態では、動画像もしくは静止画の連写時の場合の符号化について説明する。

なお、撮像部１０１が時間軸に沿って複数の画像を撮像する点が異なるが、基本構成は図１と同じで良い。また、詳細は後述する説明から明らかになるが、インデックス選択部１０５は、少なくとも１フレームに含まれる全画素ブロックそれぞれで算出したインデックを記憶保持するメモリを有するものとする。

なお、本第２の実施形態では、可変長符号化テーブルのインデックスの値は、その値が小さいほど符号化対象となった画像（画素ブロック）に偏りが大きいことを示すものとする。

図６は、動画像もしくは静止画の連写時の各時間におけるフレームを示している。フレーム６０１は、フレーム６０２の１フレーム前のフレームである。つまり、フレーム６０２が符号化対象である場合、フレーム６０１は既に符号化処理を終えている。また、各画素ブロック内の（）内の記号は、各画素ブロックの水平方向の画素ブロック座標を示している。

ここで、図６のフレーム６０２が符号化対象画像であり、画素ブロック６０７（座標が（Ｘ＋１）の画素ブロック）が符号化対象における着目画素ブロックである場合の、制御部１０６による着目画素ブロックのインデックスの選択、決定方法を図７を用いて説明する。なお、図７のフローチャートは、制御部１０６による、フレーム６０１の符号化は全て終了し、且つ、フレーム６０２の座標Ｘ＋１の画素ブロック６０７の符号化を開始する際の、インデックスの決定処理を示している。つまり、画素ブロック６０６までの符号化を終えている場合である。

Ｓ７０１にて、制御部１０６は、符号化対象の画素ブロック６０７（座標Ｘ＋１）に対して、空間的、並びに、時間的に近傍の既符号化の画素ブロックの符号化で決定したそれぞれのインデックスを入力する。

ここで、実施形態における、画素ブロック６０７（座標Ｘ＋１）に対して、空間的、並びに、時間的に近傍の隣接画素ブロックとは以下の３つである。
・着目画素ブロック６０７と同じフレーム６０２内の、着目画素ブロック６０７の２つ前（２つ左）の画素ブロック６０５（座標Ｘ−１）、
・着目画素ブロック６０７と同じフレーム６０２内の、着目画素ブロック６０７の１つ前の画素ブロック６０５（座標Ｘ−１）、
・直前のフレーム６０１における、画素ブロック６０６と同じ位置の画素ブロック６０３（座標Ｘ’）
制御部１０６は、着目画素ブロック６０７の符号化に先立ち、上記４つの既符号化画素ブロックより算出したインデックスを入力する。

Ｓ７０２にて、制御部１０６は、画素ブロック６０６（座標Ｘ）で選択されたインデックスと、画素ブロック６０５（座標Ｘ−１）で選択されたインデックスの差分値Ｄ１を算出する。

Ｓ７０３にて、制御部１０６は、画素ブロック６０６（座標Ｘ）で選択されたインデックスと、フレーム６０１内の画素ブロック６０３（座標Ｘ’）で選択されたインデックスの差分値Ｄ２を算出する。

Ｓ７０４にて、制御部１０６は、Ｓ７０２およびＳ７０３において算出された差分値Ｄ１と差分値Ｄ２の大小比較を行う。制御部１０６は、差分値Ｄ１が差分値Ｄ２よりも小さいと判断した場合、処理をステップＳ７０５に進める。一方、制御部１０６は、差分値Ｄ１が差分値Ｄ２以上であると判断した場合には、処理をＳ７０６に進める。

差分値Ｄ１が差分値Ｄ２よりも小さい時は、画素ブロック６０６（座標Ｘ）の画素値分布から選択された最も効率良く符号化できたインデックスが、過去フレームの同じ座標の画素ブロック６０３のインデックスより、隣接する画素ブロック６０５のインデックスと値が近かったことを表す。つまり、符号化対象の着目画素ブロック６０７の周辺は、時間的な相関よりも空間的な相関の方が高い場合を意味する。

逆に差分値Ｄ１が差分値Ｄ２以上の時は、画素ブロック６０６（座標Ｘ）の画素値分布から選択された最も効率良く符号化できたインデックスが、隣接する画素ブロック６０５のインデックスより、過去フレームの同じ座標の画素ブロック６０３のインデックスと値が近かったことを意味する。つまり、符号化対象の着目画素ブロック６０７の周辺は、空間的な相関よりも、時間的な相関の方が高い場合を意味する。

上記の通りなので、Ｓ７０５にて、制御部１０９６は、着目画素ブロック６０７（座標Ｘ＋１）の符号化で使用する可変長符号化テーブルを定めるインデックスとして、空間的に近接する画素ブロック６０６（座標Ｘ）から算出したインデックスを用いることを決定する。

また、Ｓ７０６にて、制御部１０６は、着目画素ブロック６０７（座標Ｘ＋１）の符号化で使用する可変長テーブルを定めるインデックスとして、直前のフレーム内の、着目画素ブロック６０７と同じ位置の画素ブロック６０４（座標Ｘ’＋１）で算出したインデックスを用いることを決定する。

図８を用いて本第２の実施形態の作用効果を説明する。図８は動画像もしくは静止画の連写時の各時間におけるフレーム示している。フレーム８０１は、フレーム８０２の１フレーム前のフレームであり、符号化済みである。また、画素ブロック８０６が、符号化部１０３が符号化しようとしている着目画素ブロックであり、画素ブロック８０５までの符号化が完了しているものとする。

制御部１０６は、画素ブロック８０６を符号化する前に、画素ブロック８０４および画素ブロック８０５から算出したインデックスを入力する。また、制御部１０６は、直前のフレーム８０１における画素ブロック８０３、８０７で算出したインデックスを入力する。

そして、制御部１０６は、画素ブロック８０５と空間的に１つ隣の画素ブロック８０４間のインデックスの差と、画素ブロック８０５と時間的に隣の画素ブロック８０３間のインデックスの差を比較する。図示の場合、画素ブロック８０５と画素ブロック８０３間のインデックスの差が小さいと判断される。それ故、着目画素ブロック８０６を符号化する際には、空間的よりも時間的に隣接する画素ブロック８０７の符号化時に算出したインデックスを用いるものとして決定する。

このように制御することで、画像を予めスキャンせずとも符号化済の画素ブロックの画素値分布から符号化効率が良いインデックスを選択することができる。また画像の空間的な相関もしくは時間的な相関のいずれかを利用してインデックスを選択することができるので符号化効率が向上させることできる。

なお、本第２の実施形態において、符号化しようとする着目画素ブロックがフレーム８０２の最初の画素ブロックであった場合（左上隅の画素ブロック）であった場合には、直前のフレーム８０１の最初の画素ブロックの符号化時に決定したインデックスを用いるものとする。また、着目画素ブロックが、フレーム８０２の左上隅以外の左端に位置する場合、同じフレーム内の上隣の画素ブロックのインデックスを用いるものとする。

なお、上記第２の実施形態では、Ｄ１，Ｄ２のそれぞれは、２つの画素ブロックの符号化時に決定したインデックスの差としたが、要は、空間的な相関と、時間的相関を比較できれば良い。従って、上記を別な表現で表すのであれば、以下の通りである。

まず、符号化対象の画像データをＦｉ、この画像データＦｉの直前のフレームの画像データであって、符号化済みの画像データをＦｉ−１、記着目画素ブロックが示す位置ｘを用いて、当該着目画素ブロックをＦｉ（ｘ）と定義する。

この場合、制御部１０６は、画素ブロックＦｉ（ｘ−１）と空間的に隣接する画素ブロックＦｉ（ｘ−２）との相関Ｄ１と、画素ブロックＦｉ（ｘ−１）と時間的に隣接する画素ブロックＦｉ−１（ｘ−１）との相関Ｄ２とを比較する。そして、相関Ｄ１が相関Ｄ２より高い場合には、画素ブロックＦｉ（ｘ−１）から求めたインデックスを用いて着目画素ブロックを符号化させる。また、相関Ｄ２が相関Ｄ１以上の場合には、画素ブロックＦｉ−１（ｘ）から求めたインデックスを用いて着目画素ブロックを符号化させればよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１０１…撮像部、１０２…分離分配部、１０３…符号化部、１０４…記録部、１０５…インデックス選択部、１０６…制御部

Claims (8)

1. 画像データを符号化する画像符号化装置であって、
   符号化対象の画像データから、複数画素で構成される画素ブロックをラスタースキャン順に入力し、入力した着目画素ブロックを、与えられたインデックスで示される、複数の可変長符号化テーブルの１つを用いて符号化する符号化手段と、
   前記着目画素ブロックの画素の分布に基づいて、当該着目画素ブロックに後続する未符号化の画素ブロックに用いるインデックスを決定する決定手段とを有し、
   前記符号化手段は、前記着目画素ブロックを符号化する際に、前記着目画素ブロックの隣接する複数の既符号化画素ブロックの符号化時に決定した複数のインデックスのうち、前記着目画素ブロックの位置に応じた１つを選択し、前記着目画素ブロックを符号化する
   ことを特徴とする画像符号化装置。
2. 前記符号化手段は、
   前記着目画素ブロックが、画像データの左上隅に位置する場合には予め設定されたインデックスを用いて符号化し、
   前記着目画素ブロックが、画像データの左端以外に位置する場合には、左隣の画素ブロックの符号化時に決定したインデックスを用いて符号化し、
   前記着目画素ブロックが、画像データの左上隅以外の左端に位置する場合には、上隣の画素ブロックの符号化時に決定したインデックスを用いて符号化する
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 前記符号化対象の画像データをＦｉ、
   当該画像データＦｉの直前のフレームの画像データであって、符号化済みの画像データをＦｉ−１、
   前記着目画素ブロックが示す位置ｘを用いて、当該着目画素ブロックをＦｉ（ｘ）と表したとき、
   前記符号化手段は、
   画素ブロックＦｉ（ｘ−１）と空間的に隣接する画素ブロックＦｉ（ｘ−２）との相関Ｄ１と、 前記画素ブロックＦｉ（ｘ−１）と時間的に隣接する画素ブロックＦｉ−１（ｘ−１）との相関Ｄ２とを比較し、
   前記相関Ｄ１が前記相関Ｄ２より高い場合には、画素ブロックＦｉ（ｘ−１）から求めたインデックスを用いて前記着目画素ブロックを符号化し、
   前記相関Ｄ２が前記相関Ｄ１以上の場合には、画素ブロックＦｉ−１（ｘ）から求めたインデックスを用いて前記着目画素ブロックを符号化する
   ことを特徴とする請求項１に記載の画像符号化装置。
4. 前記符号化手段は、着目画素ブロック内を画素を単位とするラスタースキャン順に予測符号化することを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。
5. 前記決定手段は、前記着目画素ブロックを符号化する際の予測誤差の分布に基づき前記インデックスを決定することを特徴とする請求項４に記載の画像符号化装置。
6. 前記符号化手段は、撮像手段からの画像データを入力することを特徴とする請求項１乃至５のいずれか１項に記載の画像符号化装置。
7. 画像データを符号化する画像符号化装置の制御方法であって、
   符号化対象の画像データから、複数画素で構成される画素ブロックをラスタースキャン順に入力し、入力した着目画素ブロックを、与えられたインデックスで示される、複数の可変長符号化テーブルの１つを用いて符号化する符号化工程と、
   前記着目画素ブロックの画素の分布に基づいて、当該着目画素ブロックに後続する未符号化の画素ブロックに用いるインデックスを決定する決定工程とを有し、
   前記符号化工程は、前記着目画素ブロックを符号化する際に、前記着目画素ブロックの隣接する複数の既符号化画素ブロックの符号化時に決定した複数のインデックスのうち、前記着目画素ブロックの位置に応じた１つを選択し、前記着目画素ブロックを符号化する
   ことを特徴とする画像符号化装置の制御方法。
8. コンピュータが読み込み実行することで、前記コンピュータに、請求項７に記載の方法の各工程を実行させるためのプログラム。

Images