JP2016195370A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】画像データをＤＰＣＭ方式により符号化する際、空間的な相関性を考慮して各画素の符号化順序を決め、効率的に圧縮を行うことが可能な装置を提供する。【解決手段】複数の画素を含む画像データを画素ごとに供給する供給手段と、前記供給手段により供給された画像データを符号化する符号化手段であって、符号化対象の画素の直前に符号化され、局部復号されたｎ画素（ｎは２以上の整数）の画素データの何れかを予測画素データとして選択し、前記予測画素データと前記符号化対象の画素のデータとの差分を符号化する符号化手段とを備え、前記供給手段は、前記ｎ画素が何れも、前記符号化対象の画素に対して隣接するような所定の順序で、前記符号化手段に画素のデータを供給する画像処理装置。【選択図】図１

Description

本発明は画像処理装置、画像処理方法及びプログラムに関する。

近年、デジタルテレビやデジタルカメラなどで扱われる動画の多画素化、高フレームレート化が進んでいる。そのため、これらの装置が処理する画素データのデータ量は飛躍的に増加している。これらの機器では、画像データを処理するためにＤＲＡＭなどのメモリを使用する。そこで、画像データを圧縮してからメモリに書き込むことが考えられる。例えば、１／２程度の圧縮率であれば、視覚的な画質劣化を起こすことなく、データ量を削減することが可能となる。

画像の圧縮を行う場合、処理の遅延が少なく、なるべく簡易的な回路で構成されることが望ましい。そので、このような条件に適した画像圧縮のための符号化方法として、ＤＰＣＭ（差分パルス符号変調）符号化方式が提案されている（特許文献１参照）。

ＤＰＣＭ符号化方式は、画像の空間的な相関性の高さを生かして、参照データと符号化対象データとの差分を符号化することにより圧縮を行う方式であり、比較的簡単な回路で構成することができる。

特開２０１０−００４５１４号公報

しかし、ＤＰＣＭにより圧縮を行う際、２次元配列である画像データ特有の空間的な相関性の高さが考慮されずに符号化が行われれば、符号化効率が損なわれる可能性が高い。

そこで、本発明は、画像データをＤＰＣＭ方式により符号化する際、各画素の符号化順序を空間的な相関性を考慮した順序に決めることにより、効率的に圧縮を行うことが可能な装置を提供することを目的とする。

上記課題を解決する発明は、画像処理装置であって、複数の画素を含む画像データを画素毎に供給する供給手段と、
前記供給手段により供給された画像データを符号化する符号化手段であって、符号化対象の画素の直前に符号化され、局部復号されたｎ画素（ｎは２以上の整数）の画素データの何れかを予測画素データとして選択し、前記予測画素データと前記符号化対象の画素のデータとの差分を符号化する符号化手段とを備え、
前記供給手段は、前記ｎ画素が何れも、前記符号化対象の画素に対して隣接するような所定の順序で、前記符号化手段に画素のデータを供給する。

各画素の符号化順序を空間的な相関性を考慮した順序に決めることにより、効率的に圧縮を行うことが可能となる。

画像処理装置の構成例を示す図である。 画素の配列と符号化順序及び参照画素を例示的に説明するための図である。 画素の符号化順序及び参照画素を例示的に説明するための図である。 符号化部の構成の一例を示す図である。 参照画素の決定方法を例示的に説明するための図である。 ベイヤー配列の画素の配列の一例を示す図である。 画素の符号化順序及び参照画素を例示的に説明するための図である。 画素の符号化順序及び参照画素を例示的に説明するための図である。 画素の符号化順序を例示的に説明するための図である。 ベイヤー配列の画素の配列の一例を示す図である。

［第１の実施形態］
以下、発明の第１の実施形態を説明する。図１は発明の実施形態における画像処理装置の構成の一例を示す図である。当該画像処理装置は、例えば取得部１０１、メモリ１０２、供給部１０３、符号化部１０４を有する。図１の画像処理装置において、各ブロックは専用のデバイス、ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。

図１において、取得部１０１は画像データを入力する。取得部１０１は、例えば、撮像センサを備える撮像部や、外部から伝送路を介して画像データを入力する構成を含む。或いは、取得部１０１は、記録媒体などから画像データを読み出す構成を含む。また、取得される画像データは、静止画データであってもよく、動画データであってもよい。取得部１０１が取得する画像データが動画データの場合、複数のフレームの動画データが連続的に取得される。また、取得部１０１は、１画面の画像データをラスタ走査の順に出力するが、これ以外にも、２ラインの画像データが並列に出力されるようにしてもよい。

取得部１０１は、取得した画像データをメモリ１０２に記憶する。メモリ１０２は、符号化部１０４による符号化のために必要な画素数の画像データを記憶可能な容量を持つ。例えば、メモリ１０２は、１画面分の画像データを記憶可能な容量を持つ。

供給部１０３は、後述のように、符号化部１０４による符号化処理に適した順に、メモリ１０２に記憶された各画素の画像データを読み出し、符号化部１０４に出力する。符号化部１０４は、供給部１０３より供給される画像データを差分パルス符号変調方式（ＤＰＣＭ方式）に従って符号化し、情報量が圧縮された符号化データを出力する。出力された符号化データは、不図示のＤＲＡＭなどのメモリに記憶される。

符号化部１０４の構成を図４に示す。図４において、供給部１０３からの画像データが１画素毎に入力される。減算器４０１は、入力された画像データから、記憶部４０７からの予測画素の画像データを減算し、その差分（予測誤差）を量子化部４０２に送る。量子化部４０２は、減算器４０１からの差分のデータを、設定された量子化パラメータに対応した量子化ステップに従って量子化し、量子化されたデータを逆量子化部４０３と可変長符号化部４０５に出力する。可変長符号化部４０５は、量子化部４０２からのデータを公知のエントロピー符号化などの可変長符号化により符号化し、符号化データを出力する。

一方、逆量子化部４０３は、量子化部４０２からのデータを、量子化部４０２における量子化パラメータに基づいて逆量子化し、加算器４０４に出力する。加算器４０４は、逆量子化部４０３からのデータと、記憶部４０７から出力された予測画素の画像データとを加算し、局部復号データを生成して記憶部４０７に出力する。記憶部４０７は、後述のように、符号化対象画素の画像データを符号化するための予測画素（参照画素）として使用される画像データを記憶する。本実施形態では、符号化対象画素の直前に符号化されたｎ画素分（ｎは２以上の整数）の局部復号データが、予測画素の候補として記憶される。決定部４０８は、記憶部４０７に記憶されたｎ画素の予測画素の候補画素から、符号化対象画素の予測画素を決定し、予測画素の画像データを減算器４０１と加算器４０４に出力する。記憶部４０７に記憶される予測画素の候補画素、及び、決定部４０８による予測画素の決定処理については後述する。

符号量制御部４０６は可変長符号化部４０５から送られてくる発生符号量をもとに、所定数の画素の符号量が決められた符号量になるように量子化パラメータを決定して、量子化部４０２と可変長符号化部４０５に送る。量子化部４０２は、符号量制御部４０６からの量子化パラメータに従って量子化を行う。また、可変長符号化部４０５は、符号量制御部４０６により決定された量子化パラメータを符号化し、符号化された画像データに多重して出力する。例えば１６画素単位で圧縮率が１／２になるように設定されていたとする。このとき１画素を８ビットとすると、１６画素で符号化前のデータ量が１２８ビットなので、圧縮率１／２の場合、符号化後のデータ量が６４ビットになるように符号量制御を行う。

本実施形態により符号化処理を行う画像データは、ＲＧＢ形式やＹＣｒＣｂ形式など、さまざまな形式のデータである。以下、本実施形態では、ＹＣｒＣｂ形式の画像データを処理する場合について説明する。

また、本実施形態では、取得部１０１により取得される画像データの２次元配列における、同一の画素成分の所定数の画素を一つの単位として符号化を行う。例えば、水平方向８画素（８列）、垂直方向２画素（２行）の８×２画素の輝度信号から構成される画素ブロックを一つの単位として符号化を行う。なお、符号化の単位は、２次元配列において、水平、垂直それぞれについて複数の画素から構成されれば、何画素単位でもよい。例えば、画素ブロックが、水平方向について、１ライン全ての画素を含み、垂直方向については２画素を含み、２ライン全ての画素を符号化単位とする構成としてもよい。

メモリ１０２に対して、符号化のために必要な画素の画像データが記憶された後、供給部１０３はメモリ１０２から画素毎の画素データを読み出し、符号化部１０４に１画素ずつ順に出力する。メモリ１０２に記憶される画像データのうち、一つの画素ブロックの例を図２（ａ）に示す。図２（ａ）に示すように、水平８画素×垂直２画素の画素２０１−２１６から一つの画素ブロック２００が構成される。

次に、供給部１０３により供給される画素の順序について説明する。ラスタ走査の順に画素を供給する場合の順序を図２（ｂ）に示す。この場合、図２（ｂ）の矢印に示すように、画素ブロック２００において、画素２０１、２０２、２０３の順に画像データが供給され、画素２０８の次に画素２０９が供給される。画素２０３を符号化する時点での状態を図２（ｃ）に示す。図２（ｃ）において、画素データ２０１１、２０２１はそれぞれ、画素２０３の符号化を開始する時点で符号化済みであり、局部復号データとして記憶されるデータである。これらの符号化済み画素のうち、より相関が高い、隣接画素２０２１が予測データとして使用され、画素２０２１との差分が符号化される。

このように、ラスタ順に画像データを読み出し、２次元配列における隣接画素との差分を順次符号化する場合、予測画素としては左隣の画素みが選択肢として存在する。

そこで、本実施形態では、図２（ｄ）に示す順序で各画素の画像データをメモリ１０２から読み出し、符号化部１０４に出力する。即ち、左端上側の１行目の画素２０１の次には、その下方向の画素である２行目の画素２０９を出力する。画素２０９次には、その右上方向の１行目の画素２０２を出力する。以下、下方向、右上方向、の順に１行目と２行目の互いに隣接する画素を交互に読み出す逆Ｎ字に相当する順序（逆Ｎ字順）で、符号化を行う。なお、本実施形態では「隣接する画素」について隣接の方向を、水平方向（行方向）、垂直方向（列方向）及び斜め方向（左上／右下、左下／右上ともいう）を含む概念とする。

図２（ｅ）は、図２（ｄ）の逆Ｎ字順に符号化を行う場合の、画素２０３の符号化開始時点での状態を示している。画素ブロック２００のうち、画素２０３の符号化を行う時点で、画素２０１、２０９、２０２、２１０が符号化済みである。画素データ２０１１、２０９１、２０２１、２１０１はそれぞれ、画素２０１、２０９、２０２、２１０の局部復号データである。本実施形態では、記憶部４０７には、逆Ｎ字順で符号化対象画素の直前ｍ画素分の局部復号データが、予測画素データを決定するために記憶される。本実施形態では、画素数ｎと画素数ｍとはｍ＞ｎの関係を満たすものとし、一例として予測画素の候補となる画素数ｎを２、画素数ｍを３とすることができる。この場合、予測画素の候補となる２画素は、逆Ｎ字順で符号化対象画素の直前２画素に相当する。そして、記憶部４０７が記憶する３画素のうちの２画素はこの直前２画素であり、残りの１画素が当該２画素の直前に符号化された画素である。記憶部４０７に対し、新たに予測画素の候補データが入力されると、最も古いデータが削除される。

従って、画素２０３の符号化を行う時点では、画素データ２０９１、２０２１、２１０１が記憶部４０７に記憶されている。これらの画素データのうち、画素２０３に隣接する画素である画素データ２０２１と２１０１の一方が、決定部４０８により予測画素データとして決定される。

このように、図２（ｄ）に示す逆Ｎ字順に画像データを読み出し、２次元配列における隣接画素との差分を順次符号化する場合、画素２０３の予測画素としては左隣と左下の隣接画素の二つが選択肢として存在する。即ち、記憶部４０７には、符号化対象の画素２０３に対し、互いに異なる方向にそれぞれ隣接する画素（画素２０２と画素２１０）である、候補画素データが記憶される。そのため、決定部４０８はこれら二つの候補画素のうち一方を予測画素として選ぶので、より空間的な相関が高い画素のデータを予測画素データとして使用することができる。

次に画素２１１を符号化する場合について説明する。図３（ａ）は、図２（ｂ）のようにラスタ順に画素データを読み出して符号化する場合の、画素２１１を符号化する時点の状態を示している。図３（ａ）に示すように、画素２１１を符号化する時点で符号化済みの画素で、画素２１１に隣接する画素データは、２０２１、２０３１、２０４１、２１０１である。そのため、予測画素の選択肢としてはこれら四つの画素が存在する。しかし、この場合、予測画素の候補の画素データとして、画素２０２１から２１０１までの全ての画素データを記憶しておく必要があるため、容量が大きなメモリを用意する必要がある。

図３（ｂ）は、図２（ｄ）に示す逆Ｎ字順に画素データをメモリ１０２から読み出し、符号化する場合の、画素２１１を符号化する時点の状態を示している。本実施形態では、図２（ｄ）に示す順に画素データを読み出すので、画素２１１を符号化する時点で符号化済みの画素で、画素２１１に隣接する画素データは、２０２１、２０３１、２１０１である。そのため、予測画素の候補としてはこれら三つの画素が存在する（ｎ＝３となる）。

予測画像の候補が３つの場合、符号化対象の画素との隣接方向は画素データ２０２１が上下方向（垂直方向）、画素データ２０９１が左右方向（水平方向）、画素データ２０１１が左上方向（斜め方向）となっているため、それぞれの方向について相関を判定する必要がある。図３（ｂ）に示す状態では、この３つの画素を用いれば水平方向、垂直方向の相関を判定することはできるが、左上方向については判定ができない。左上方向を判定するためには画素データ２０１１が必要であり、記憶部４０７は画素データ２０１１から２０３１までの５画素分の局部復号データを記憶することになる（ｍ＝５）。この場合、図２（ｅ）で説明した符号化対象画素が１行目に存在する場合（画素２０３の場合）と比較し、記憶すべき局部復号データが２画素分増えることとなる。さらに、記憶部４０７からは古い順に不要な画素データが破棄されるため、符号化対象画素が１行目の時だけ３画素分を記憶し、２行目の時は５画素分記憶するという切替はできず、２行目の符号化対象画素のために５画素分記憶するのであれば、１行目の符号化対象画素についても５画素分記憶しておくことになる。但し、５画素分記憶する場合であっても、隣接方向の判定については３画素分を記憶する場合と同様に行うことができる。そこで以下では説明の簡単のために局部復号データを、符号化対象の画素より前に符号化された３つの画素について記憶する場合を説明する。この場合、記憶部４０７は、画素データ２０２１、２１０１、２０３１の順に入力されるため、記憶部４０７はこれら三つの画素データを記憶可能な容量を持てばよいので、ラスタ順に読み出す場合と比較してメモリ容量が少なくて済むことになる。

次に、決定部４０８による予測画素データの決定処理について説明する。決定部４０８は、記憶部４０７に記憶されている、符号化済みの画素を局部復号することにより得られた参照画素データを用いて、符号化対象の画素について、より相関が高い方向を検出する。そして、相関が高い方向の隣接画素を、予測画素データとして出力する。

図５（ａ）は、図２（ｄ）の逆Ｎ字順に画素データを読み出して符号化する場合の、決定部４０８による画素２１０の予測画素データを決定する処理を説明する図である。前述のように、本実施形態では、図２（ｄ）に示す逆Ｎ字順に画素データを読み出して符号化を行う。そのため、画素２１０を符号化する時点では、画素データ２０１１、２０９１、２０２１が記憶部４０７に記憶されている。決定部４０８は、矢印５０１に示すように、左右に隣接する画素データ２０１１と２０２１との差分の絶対値と、矢印５０２に示すように、上下に隣接する画素データ２０１１と２０９１との差分の絶対値とを検出する。そして、これら二つの差分値を比較し、より小さい方の差分値が得られた方向に基づいて、画素２１０の予測画素データとして使用する画素データを決める。

例えば、画素データ２０２１の値をｐ２０２１、画素データ２０１１の値をｐ２０１１とすると、左右方向（水平方向、行方向）の相関値ｒｅｌ＿ｈは以下の式（１）で求めることができる。ここで、ａｂｓ（）は絶対値を出力する関数であるものとする。
ｒｅｌ＿ｈ=ａｂｓ（ｐ２０２１−ｐ２０１１）...（１）

上下方向（垂直方向、列方向）の相関の強さを、画素２１０に隣接する画素データ２０９１と２０１１とを用いて算出する。画素データ２０９１の値をｐ２０９１とすると、上下方向の相関値ｒｅｌ＿ｖは以下の式（２）で求めることができる。
ｒｅｌ＿ｖ＝ａｂｓ（ｐ２０９１−ｐ２０１１）...（２）

決定部４０８は、これら左右方向と上下方向の相関値ｒｅｌ＿ｈとｒｅｌ＿ｖとを比較し、空間的な相関の強い方向を決定する。例えば、画素データ２０１１と２０２１との差分の方が小さい場合、水平方向の相関がより高いことになる。そのため、二つの画素データ２０２１と２０９１のうち、画素２１０の水平方向に隣接する画素データ２０９１を画素２１０の予測画素データとして決定する。また、画素データ２０１１と２０９１との差分の方が小さい場合、垂直方向の相関がより高いことになる。そのため、二つの画素データ２０２１と２０９１のうち、画素データ２０２１を画素２１０の予測画素データとして決定する。

図５（ｂ）は、図２（ｄ）の逆Ｎ字順に画素データを読み出して符号化する場合の、決定部４０８による画素２０３の予測画素データを決定する処理を説明する図である。符号化の対象である画素２０３を符号化する時点では、画素データ２０９１、２０２１、２１０１が記憶部４０７に記憶されている。決定部４０８は、矢印５０３に示すように、左下（右上）方向に隣接する画素データ２０２１と２０９１との差分の絶対値と、矢印５０４に示すように、画素データ２０９１と２１０１との差分の絶対値とを検出する。そして、これら二つの差分値を比較し、より小さい方の差分値が得られた方向に基づいて、画素２０３の予測画素データとして使用する画素データを決める。

例えば、画素データ２０９１の値をｐ２０９１、画素データ２１０１の値をｐ２１０１とすると、左右方向の相関値ｒｅｌ＿ｈは上記式（１）により求めることができる。一方、例えば、画素データ２０９１の値をｐ２０９１、画素データ２０２１の値をｐ２０２１とすると、左下（右上）方向の相関値ｒｅｌ＿ｄは以下の式（３）で求めることができる。ここで、ａｂｓ（）は絶対値を出力する関数であるものとする。
ｒｅｌ＿ｄ=ａｂｓ（ｐ２０２１−ｐ２０９１）...（３）

このとき、例えば画素データ２０２１と２０９１との差分の方が小さい場合、左下方向の相関がより高いことになる。そのため、二つの画素データ２０２１と２１０１のうち、画素２０３の左下方向に隣接する画素データ２１０１を画素２１０の予測画素データとして決定する。また、画素データ２０９１と２１０１との差分の方が小さい場合、水平方向の相関がより高いことになる。そのため、二つの画素データ２０２１と２１０１のうち、画素データ２０２１を画素２１０の予測画素データとして決定する。

図５（ｃ）は、図２（ｄ）の逆Ｎ字順に画素データを読み出して符号化する場合の、決定部４０８による画素２１１の予測画素データを決定する処理を説明する図である。前述のように、本実施形態では、図２（ｄ）に示す順に画素データを読み出して符号化を行う。そのため、画素２１１を符号化する時点では、画素データ２０２１、２１０１、２０３１が記憶部４０７に記憶されている。決定部４０８は、矢印５０５に示すように、画素データ２０２１と２０３１との差分の絶対値と、矢印５０６に示すように、画素データ２０２１と２１０１との差分の絶対値とを検出する。そして、これら二つの差分値を比較し、より小さい方の差分値が得られた方向に基づいて、画素２１１の予測画素データとして使用する画素データを決める。

例えば、画素データ２０２１と２０３１との差分の方が小さい場合、水平方向の相関がより高いことになる。そのため、二つの画素データ２０３１と２１０１のうち、画素２１１の水平方向に隣接する画素データ２１０１を画素２１１の予測画素データとして決定する。また、画素データ２０２１と２１０１との差分の方が小さい場合、垂直方向の相関がより高いことになる。そのため、二つの画素データ２０３１と２１０１のうち、画素データ２０３１を画素２１１の予測画素データとして決定する。

このように、本実施形態では、符号化対象の画素よりも前に符号化済みの、隣接する画素を予測画素として使用してＤＰＣＭによる符号化を行う場合に、符号化部への出力順序を空間的な相関性を考慮した所定の順序に決めることで、隣接する複数の画素を予測画素として使用できる。また、空間的な相関性を考慮して符号化部への出力順序を決めることにより、予測画素の候補として保持する画素が、当該所定の順序で符号化対象の画素の直前ｎ画素（ｎは２以上の整数）で済む。また、所定の順序で符号化対象の画素の直前に符号化されたｍ（ｍ＞ｎ）画素の局部復号データを保持しておき、符号化対象画素について相関が高い方向を検出する。そして、検出された方向に隣接した、予測画素データを用いて符号化を行うので、より効率的な圧縮を行うことができる。

なお、本実施形態では、図２（ｄ）に示す逆Ｎ字順と呼ぶ順序で各画素のデータを符号化部１０３に出力したが、他の順序で出力することも可能である。例えば、図３（ｃ）に示すように、一つの画素ブロックにおける、一番左の下の画素２０９から出力を開始し、次が上の画素２０１、その次が右下の画素２１０、というように、上、右下、上、右下の順に２行目と１行目の互いに隣接する画素の選択を交互に繰り返すようなＮ字に相当する順番（Ｎ字順）でも同様の効果を得ることができる。

［第２の実施形態］
次に、発明の第２の実施形態を説明する。本実施形態においても、画像処理装置の構成は図１に示す構成と同様であり、また、符号化部１０３も図４の構成と同じである。本実施形態では、符号化対象の画像がＹＣｒＣｂ形式ではなく、ベイヤー配列のＲＧＢ形式である場合について説明する。

ベイヤー配列のＲＧＢ形式の画像データうち、Ｇ成分のデータを符号化する場合について説明する。図６は、本実施形態における、一つの画素ブロックの画像データを示している。ベイヤー配列のＲＧＢ形式の画像データにおける、水平８画素×垂直２画素の画素６０１〜６１６のうち、同一成分の画素として同じ色成分の画像データから一つの画素ブロックを構成する。例えば、Ｇ成分の画素である、画素６０２、画素６０４、画素６０６、画素６０８、画素６０９、画素６１１、画素６１３、画素６１５から、一つの画素ブロック６００が構成される。

そして、このＧ成分の２次元配列の画素ブロックに対して、符号化部１０４により符号化を行う。ここで第１の実施形態と異なる部分は、２次元配列にしたときの画素間の距離と、ベイヤー配列時の画素間の距離とが異なることである。

第１の実施形態では、符号化の順番を、図２（ｄ）に示すように、左端上側の１行目の画素から、下方向、右上方向、下方向、右上方向、という逆Ｎ字順とした。また、他の例として、図３（ｃ）に示すように、左端下側の２行目の画素から、上方向、右下方向、上方向、右下方向、というＮ字順とした。ＹＣｒＣｂ形式の画像データについては、何れの順番で符号化を行った場合でも、同様の効果を奏する。一方、ＲＧＢ形式の画像データを符号化する場合、いずれの順番で符号化を行うかによって効果に違いが出るため、以下これらの符号化順の違いについて説明する。

まず、図７を用いて左上の画素から始まる逆Ｎ字順の符号化順について説明する。図７（ａ）に示すように、左上の画素６０２から符号化を行う。画素６０２の次は下の画素である画素６０９の符号化を行う。画素６０９の次は右上の画素６０４の符号化を行う。その次は画素６０４の下の画素である画素６１１の符号化を行う。これを繰り返し、左上の画素から始まり、以下、下の画素、右上の画素、下の画素、右上の画素、という順番で符号化を行う。

画素６０６を符号化する時点での状態を図７（ｂ）に示す。図７（ｂ）において、画素６０２１、６０９１、６０４１、６１１１はそれぞれ、画素６０６の符号化を開始する時点で符号化済みであり、局部復号データとして記憶されうるデータである。画素６０６の直前に符号化されたこれらの画素のうち、例えば画素６０４１と６１１１を予測画素の候補として保持しておけば、何れかを予測画素として使用することができる。これらの画素のベイヤー配列時の状態を図７（ｃ）に示す。ベイヤー配列時の実際の画素間の距離は、画素６０４１は画素６０６に対して水平方向に隣接している。一方、画素６１１１は、画素６０６に対し同一成分内で隣接しているとは言えない。このとき画素６０６に隣接するのは画素６１３であるが、図７（ｃ）では画素６１３はまだ符号化が終わっていない。

つぎに、図８を用いて左下の画素から始まるＮ字順の符号化順について説明する。図８（ａ）に示すように、左下の画素６０９から符号化を行う。画素６０９の次は上の画素である画素６０２の符号化を行う。画素６０２の次は右下の画素６１１の符号化を行う。その次は画素６１１の上の画素である画素６０４の符号化を行う。これを繰り返し、左下の画素から始まり、以下、上の画素、右下の画素、上の画素、右下の画素、という順番で符号化を行う。

画素６１３を符号化する時点での状態を図８（ｂ）に示す。図８（ｂ）において、画素６０２１、６０９１、６０４１、６１１１はそれぞれ、画素６１３の符号化を開始する時点で符号化済みであり、局部復号データとして記憶されうるデータである。画素６１３の直前に符号化されたこれらの画素のうち、符号化順で直前の２画素である画素６０４１と６１１１を予測画素の候補として保持しておけば、何れかを予測画素として使用することができる。これらの画素のベイヤー配列時の状態を図８（ｃ）に示す。

ベイヤー配列時の実際の画素間の距離は、画素６０４１は画素６１３に対し、同一成分内で、左上方向に隣接している。また、画素６１１１は画素６１３に対し、同一成分内で水平方向に隣接した位置となっている。

画素６０６を符号化する時点での状態を図８（ｄ）に示す。図８（ｄ）において、画素６０２１、６０９１、６０４１、６１１１、６１３１はそれぞれ、画素６０６の符号化を開始する時点で符号化済みであり、局部復号データとして記憶されるデータである。画素６１３の直前に符号化されたこれらの参照画素のうち、直前の２画素である画素６０４１と６１１１を予測画素の候補として保持しておけば、何れかを予測画素として使用することができる。これらの画素のベイヤー配列時の状態を図８（ｅ）に示す。

ベイヤー配列時の実際の画素間の距離は、画素６０４１は画素６０６に対し、同一成分内で、水平方向に隣接している。また、画素６１３１は画素６０６に対し、同一成分内で左下方向に隣接した位置となっている。

このように、図６に示すベイヤー配列の画像データを同じ色成分について符号化する場合、図８（ａ）に示すＮ字順に各画素のデータを符号化するのがよい。この場合、符号化対象画素の直前に符号化された２画素は、いずれも符号化対象画素に対しベイヤー配列時における同じ色成分での隣接した画素となる。これにより、符号化対象画素に対して空間的な相関性の高い隣接画素を用いた符号化が可能となり、効率的な圧縮を行うことができる。

供給部１０３は、取得部１０１により取得された画像データが、図６に示すようなベイヤー配列の画像データの場合は、画素ブロックを単位として、Ｎ字順にＧ画素のデータをメモリ１０２から読み出し、符号化部１０４に出力する。

Ｎ字順のベイヤー配列での、Ｇ成分の画素の符号化順を図９（ａ）に示し、逆Ｎ字順のベイヤー配列での、Ｇ成分の画素の符号化順を図９（ｂ）に示す。Ｎ字順で符号化を行う場合、図９（ａ）に示すように、画素６０９、画素６０２、画素６１１、画素６０４、...と、ベイヤー配列において距離の近い順番で符号化を行っている。これに対し、逆Ｎ字順においては、図９（ｂ）に示すように、画素６０２、画素６０９、画素６０４、画素６１１、...と、ベイヤー配列において距離の近い順番とはなっていない。

このように、ベイヤー配列において距離の近い順に符号化を行うことにより、効率的に圧縮を行うことができる。なお、なお、本実施形態ではベイヤー配列の並びとして左上にＢ成分、右上にＧ成分、左下にＧ成分、右下にＲ成分が並ぶ場合について説明したが、ベイヤー配列の並びとしてはこれに限ったものではなく、他の配列としてもよい。

また、Ｒ成分、Ｂ成分の画素については、それぞれ、同じ色成分の画素からなる、水平４画素、垂直２画素の画素ブロックを形成する。そして、Ｒ成分、Ｂ成分の画素については、メモリ１０２から符号化部１０４に対して出力する際の順序は、第１の実施形態と同じく、Ｎ字順、或いは逆Ｎ字順の何れかとして、予測画素の決定方法も第１の実施形態と同様でよい。

図１０は、ベイヤー配列の画像データにおける、Ｂ成分、Ｒ成分それぞれの画素ブロックを示している。図１０に示すように、Ｂ成分の水平４画素×垂直２画素の、画素１００１、画素１００３、画素１００５、画素１００７、画素１０１７、画素１０１９、画素１０２１、画素１０２３から、一つの画素ブロック１０３３が構成される。また、Ｒ成分の水平４画素×垂直２画素の、画素１０１０、画素１０１２、画素１０１４、画素１０１６、画素１０２６、画素１０２８、画素１０３０、画素１０３２から、一つの画素ブロック１０３４が構成される。

また、Ｂ成分、Ｒ成分共に、ベイヤー配列での隣接画素は、各画素ブロックにおいても隣接した画素となる。そのため、Ｒ成分、Ｂ成分の画素については、第１の実施形態と同じ符号化順で符号化すればよい。

また、第２の実施形態では、Ｒ成分、Ｇ成分、Ｂ成分の符号化の順序については特に限定しないが、Ｒ成分、Ｇ成分、Ｂ成分それぞれの１画素ブロックのデータがメモリ１０２に記憶される毎に、符号化を行う構成としてもよい。 このように、本実施形態でも、符号化対象の画素よりも前に符号化済みの、隣接する画素を予測画素として使用してＤＰＣＭによる符号化を行う場合に、符号化部への出力順序を空間的な相関性を考慮した所定の順序に決めることで隣接する複数の画素を予測画素として使用できる。特に、画素がベイヤー配列されている場合のＧ成分の画素については、当該所定の順序として、２行目の左端を先頭とし、２行目と１行目の互いに隣接する画素の選択を交互に繰り返すＮ字順を採用することで、符号化対象画素に対して空間的な相関性の高い隣接画素を用いた符号化を可能とし、効率的な圧縮を実現することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：取得部、１０２：メモリ、１０３：供給部、１０４：符号化部

Claims (15)

1. 画像データを画素のデータごとに供給する供給手段と、
   前記供給手段により供給された画像データを符号化する符号化手段であって、符号化対象の画素の直前に符号化され、局部復号されたｎ画素（ｎは２以上の整数）の画素データの何れかを予測画素データとして選択し、前記予測画素データと前記符号化対象の画素のデータとの差分を符号化する符号化手段とを備え、
   前記供給手段は、前記ｎ画素が何れも、前記符号化対象の画素に対して隣接する画素となるような所定の順序で、前記符号化手段に画素のデータを供給することを特徴とする画像処理装置。
2. 前記供給手段は、水平方向及び垂直方向にそれぞれ複数の画素から構成される画素ブロックを単位として、前記符号化手段に前記画像データを画素のデータごとに供給し、前記画素ブロックごとに、前記所定の順序で、前記符号化手段に画素のデータを供給することを特徴とする請求項１に記載の画像処理装置。
3. 前記符号化手段は、
   前記ｎ画素の画素データを記憶する記憶手段と、
   前記記憶手段により記憶された前記ｎ画素の画素データに基づいて、前記ｎ画素の画素データの一つを前記予測画素データとして選択する決定手段と
   を有することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記ｎ画素の画素データは、前記符号化対象の画素に対して互いに異なる方向に隣接する画素であり、
   前記決定手段は、前記符号化対象の画素から前記ｎ画素それぞれに対する方向のうち、より相関が高い方向を検出し、前記検出された方向に対応した画素データを前記予測画素データとして決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段は、
   前記ｎ画素のうち、前記所定の順序で前記符号化対象の画素の直前２画素の画素データのいずれかを前記予測画素データとして決定し、
   前記より相関が高い方向を、前記２画素のそれぞれと、前記所定の順序で該２画素の直前の画素との画素データの相関に基づき決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記供給手段は、水平方向に２以上の所定数の画素、垂直方向に２画素から構成される２行からなる画素ブロックを単位として、前記符号化手段に前記画像データを画素のデータごとに供給し、前記画素ブロックごとに、前記所定の順序で、前記符号化手段に画素のデータを供給することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記所定の順序は、前記２行からなる画素ブロックにおいて互いに隣接する画素を、第１の行の画素と第２の行の画素とで交互に選択する順序である、請求項６に記載の画像処理装置。
8. 前記供給手段は、前記画素ブロックにおける左端の上側の画素から供給を開始し、その後、下方向、右上方向の順に供給する処理を繰り返すことにより、一つの前記画素ブロックの画素を出力することを特徴とする請求項６または７に記載の画像処理装置。
9. 前記供給手段は、前記画素ブロックにおける左端の下側の画素から供給を開始し、その後、上方向、右下方向の順に供給する処理を繰り返すことにより、一つの前記画素ブロックの画素を出力することを特徴とする請求項６または７に記載の画像処理装置。
10. 前記画像データは複数の色成分を含み、前記供給手段は、同じ色成分の、水平方向及び垂直方向にそれぞれ複数の画素から構成される画素ブロックを単位として、前記符号化手段に前記画像データを画素のデータごとに供給し、前記画素ブロックごとに、前記所定の順序で、前記符号化手段に画素のデータを供給することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記供給手段は、前記複数の色成分の画素ブロックを、水平方向及び垂直方向についてそれぞれ、互いに同じ画素数で構成することを特徴とする請求項１０に記載の画像処理装置。
12. 前記供給手段は、前記複数の色成分の画素ブロックについて、それぞれ同じ順序で画素のデータを供給することを特徴とする請求項１１に記載の画像処理装置。
13. 前記画像データは、ベイヤー配列の画像データであることを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理装置。
14. 供給手段が、画像データを画素のデータごとに供給する供給工程と、
    前記供給工程で供給された画像データを符号化手段が符号化する符号化工程であって、符号化対象の画素の直前に符号化され、局部復号されたｎ画素（ｎは２以上の整数）の画素データの何れかを予測画素データとして選択し、前記予測画素データと前記符号化対象の画素のデータとの差分を符号化する符号化工程とを備え、
    前記供給工程では、前記ｎ画素が何れも、前記符号化対象の画素に対して隣接する画素となるような所定の順序で、前記符号化手段に画素のデータが供給されることを特徴とする画像処理方法。
15. コンピュータを、請求項１乃至１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images