JP2014116868A

JP2014116868A - 画像信号符号化装置及び方法、並びに、画像信号復号装置及び方法

Info

Publication number: JP2014116868A
Application number: JP2012270891A
Authority: JP
Inventors: Maki Koizumi; 真季小泉
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2012-12-12
Filing date: 2012-12-12
Publication date: 2014-06-26
Anticipated expiration: 2032-12-12
Also published as: JP6060663B2

Abstract

【課題】画像信号を符号化して復号する際の誤差を抑えることができる画像信号符号化装置を提供する。
【解決手段】差分量子化部１４３は、対象画素の画素データと、同色である複数の周辺画素のうち、予測方向信号が示す予測方向に位置する周辺画素の画素データとの差分値を、量子化テーブル1431に基づいて量子化する。差分逆量子化部１４４は、量子化された色データを逆量子化テーブル1441に基づいて復号差分値に変換し、復号差分値と予測方向に位置する周辺画素の画素データに加算して、色データを復号する。予測方向決定部１４５は、対象画素と複数の周辺画素とのそれぞれの差分値を求め、対象画素に隣接する他の色の色データの画素において決定した予測方向を参照した上で、それぞれの差分値に基づいて予測方向を決定して予測方向信号を生成する。
【選択図】図１

Description

本発明は、画像信号を符号化する画像信号符号化装置及び方法、並びに、符号化した画像信号を復号する画像信号復号装置及び方法に関する。

近年、デジタルスチルカメラやデジタルビデオカメラ等のデジタル撮影装置が広く普及している。デジタル撮影装置の撮像部は、Ｒ（赤），Ｇ（緑），Ｂ（青）の色フィルタを設けたイメージセンサを備える。イメージセンサは、被写体からの光をＲ，Ｇ，Ｂの各色光に分解し、RAWデータと称されるデジタル画像信号を出力する。デジタル撮影装置は、RAWデータに対して各種の画像処理を施したり、JPEGフォーマット等の所定のフォーマットに形式変換したりする。

RAWデータはデータ量が非常に大きい。従って、上記の画像処理や形式変換の際にRAWデータをメモリに記憶させる場合には、大容量のメモリが必要となる。大容量のメモリはコストの増大につながる。そこで、画像符号化技術を用いてRAWデータのデータ容量を削減して、メモリ容量を減らすことが行われている。画像符号化技術は、例えば特許文献１，２に記載されている。

特許文献１に記載の符号化装置においては、符号化の対象となっている対象画素と周辺画素との差分値を求め、差分値を量子化テーブルに基づいて画像信号を符号化している。特許文献２に記載の符号化装置においては、Ｒ，Ｇ，Ｂの色ごとに、対象画素の周辺に位置する複数の周辺画素のうち、対象画素と最も相関の高い方の周辺画素を求めて、対象画素と周辺画素との差分値に基づいて画像信号を符号化している。

特開平３−１４５８８７号公報特開２００９−１９４７６０号公報

画像信号を符号化して復号する際の誤差を極力抑えることが求められる。そこで、本発明はこのような要望に対応するため、画像信号を符号化して復号する際の誤差を抑えることができる画像信号符号化装置及び方法、並びに、画像信号復号装置及び方法を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、第１のビット数を有する複数の色データそれぞれに対応して設けられ、前記複数の色データが個々に入力されて、入力された色データを符号化する複数の符号化部（１４Ｒ，１４Ｇ，１４Ｂ）を備え、前記複数の符号化部はそれぞれ、前記入力された色データにおける符号化の対象となっている対象画素の画素データと、前記対象画素より過去に入力され、前記対象画素の周辺に位置する同色である複数の周辺画素のうち、予測方向信号が示す予測方向に位置する周辺画素の画素データとの差分値を、量子化テーブル（1431）に基づいて前記第１のビット数より小さい第２のビット数に量子化する差分量子化部（１４３）と、前記差分量子化部によって量子化された前記第２のビット数を有する色データを逆量子化テーブル（1441）に基づいて復号差分値に変換し、前記復号差分値と前記予測方向信号が示す予測方向に位置する周辺画素の画素データに加算して、前記第１のビット数を有する色データを復号する差分逆量子化部（１４４）と、前記対象画素と前記複数の周辺画素とのそれぞれの差分値を求め、前記対象画素に隣接する他の色の色データの画素において決定した予測方向を参照した上で、前記それぞれの差分値に基づいて予測方向を決定して前記予測方向信号を生成する予測方向決定部（１４５）とを備えることを特徴とする画像信号符号化装置を提供する。

また、本発明は、上述した従来の技術の課題を解決するため、第１のビット数を有する複数の色データそれぞれを符号化の対象として入力し、前記入力された色データにおける符号化の対象となっている対象画素の画素データと、前記対象画素より過去に入力され、前記対象画素の周辺に位置する同色である複数の周辺画素のうち、予測方向信号が示す予測方向に位置する周辺画素の画素データとの差分値を、量子化テーブルに基づいて前記第１のビット数より小さい第２のビット数に量子化し、量子化された前記第２のビット数を有する色データを逆量子化テーブルに基づいて復号差分値に変換し、前記復号差分値と前記予測方向信号が示す予測方向に位置する周辺画素の画素データに加算して、前記第１のビット数を有する色データを復号し、前記対象画素と前記複数の周辺画素とのそれぞれの差分値を求め、前記対象画素に隣接する他の色の色データの画素において決定した予測方向を参照した上で、前記それぞれの差分値に基づいて予測方向を決定して前記予測方向信号を生成することを特徴とする画像信号符号化方法を提供する。

さらに、本発明は、上述した従来の技術の課題を解決するため、第１のビット数を有する複数の色データそれぞれが前記第１のビット数より小さい第２のビット数に符号化された複数の符号化色データが個々に入力され、入力された符号化色データを復号する複数の復号部（１６Ｒ，１６Ｇ，１６Ｂ）を備え、前記複数の復号部はそれぞれ、前記入力された符号化色データにおける符号化の対象となっている対象画素の符号化色データを逆量子化テーブル（1641）に基づいて復号差分値に変換し、前記復号差分値と予測方向信号が示す予測方向に位置する周辺画素の画素データに加算して、前記第１のビット数を有する色データを復号する差分逆量子化部（１６４）と、前記対象画素と前記対象画素の周辺に位置する同色である複数の周辺画素とのそれぞれの差分値を求め、前記対象画素に隣接する他の色の色データの画素において決定した予測方向を参照した上で、前記それぞれの差分値に基づいて予測方向を決定して前記予測方向信号を生成する予測方向決定部（１６５）とを備えることを特徴とする画像信号復号装置を提供する。

さらにまた、本発明は、上述した従来の技術の課題を解決するため、第１のビット数を有する複数の色データそれぞれが前記第１のビット数より小さい第２のビット数に符号化された複数の符号化色データそれぞれを復号の対象として入力し、前記入力された符号化色データにおける符号化の対象となっている対象画素の符号化色データを逆量子化テーブルに基づいて復号差分値に変換し、前記復号差分値と予測方向信号が示す予測方向に位置する周辺画素の画素データに加算して、前記第１のビット数を有する色データを復号し、前記対象画素と前記対象画素の周辺に位置する同色である複数の周辺画素とのそれぞれの差分値を求め、前記対象画素に隣接する他の色の色データの画素において決定した予測方向を参照した上で、前記それぞれの差分値に基づいて予測方向を決定して前記予測方向信号を生成することを特徴とする画像信号復号方法を提供する。

本発明の画像信号符号化装置及び方法、並びに、画像信号復号装置及び方法によれば、画像信号を符号化して復号する際の誤差を抑えることができる。

一実施形態の画像信号符号化装置及び画像信号復号装置である画像信号符号化・復号装置を示すブロック図である。図１に示す画像信号符号化・復号装置に入力される画像データの画素配列の一例を示す図である。図１中の符号化部１４Ｒ，１４Ｇ，１４Ｂで用いる量子化テーブルの一例を示す図である。図１中の符号化部１４Ｒ，１４Ｇ，１４Ｂ及び復号部１６Ｒ，１６Ｇ，１６Ｂで用いる逆量子化テーブルの一例を示す図である。Ｒの色画素において対象画素と最も相関の高い周辺画素を検出する際の候補となる周辺画素を示す図である。Ｒの色画素を対象画素として予測方向を決定する際に参照する他の色の隣接画素を示す図である。Ｇの色画素において対象画素と最も相関の高い周辺画素を検出する際の候補となる周辺画素を示す図である。Ｇの色画素を対象画素として予測方向を決定する際に参照する他の色の隣接画素を示す図である。Ｂの色画素において対象画素と最も相関の高い周辺画素を検出する際の候補となる周辺画素を示す図である。Ｂの色画素を対象画素として予測方向を決定する際に参照する他の色の隣接画素を示す図である。

以下、一実施形態の画像信号符号化装置及び方法、並びに、画像信号復号装置及び方法について、添付図面を参照して説明する。図１は、入力された画像データを符号化して復号する画像信号符号化・復号装置を示している。図１の画像信号符号化・復号装置は、一実施形態の画像信号符号化装置及び画像信号復号装置を含んで構成されている。

図１において、色成分分離部１３には、入力画像データとして、図示していないイメージセンサから出力されたRAWデータが入力される。入力画像データは例えば８ビットである。RAWデータは、Ｒ，Ｇ，Ｂの各色データを含む。

イメージセンサは、一例として、Ｒ，Ｇ，Ｂの各色画素が図２に示すように配列したベイヤ配列となっている。従って、色成分分離部１３には、Ｒ，Ｇ，Ｒ，Ｇ，Ｒ，…の画素データと、Ｇ，Ｂ，Ｇ，Ｂ，Ｇ，…の画素データとが、ラインごとに交互に入力される。色成分分離部１３に入力される画素データは１系統である。

色成分分離部１３は、入力された画素データのうち、Ｒの画素データのみを選択したＲデータＤｒと、Ｇの画素データのみを選択したＧデータＤｇと、Ｂの画素データのみを選択したＢデータＤｂとに分離する。ＲデータＤｒ，ＧデータＤｇ，ＢデータＤｂは、符号化部１４Ｒ，１４Ｇ，１４Ｂに個々に入力される。

デジタル撮影装置がＲ，Ｇ，Ｂ個別のイメージセンサを備える場合には、色成分分離部１３は不要である。この場合、Ｒのイメージセンサから出力されたＲの画素データを符号化部１４Ｒに入力し、Ｇのイメージセンサから出力されたＧの画素データを符号化部１４Ｇに入力し、Ｂのイメージセンサから出力されたＢの画素データを符号化部１４Ｂに入力すればよい。

符号化部１４Ｒ，１４Ｇ，１４Ｂは、それぞれ入力されたＲデータＤｒ，ＧデータＤｇ，ＢデータＤｂを符号化する。

符号化部１４Ｒは、差分量子化部１４３，差分逆量子化部１４４，予測方向決定部１４５を有する。差分量子化部１４３は量子化テーブル1431を有し、差分逆量子化部１４４は逆量子化テーブル1441を有する。図１では、符号化部１４Ｒのみ詳細構成を示しているが、符号化部１４Ｇ，１４Ｂも符号化部１４Ｒと同様の構成を有する。

差分量子化部１４３は、符号化の対象となっている対象画素の画素データと、対象画素より過去に入力され、対象画素の周辺に位置するいずれかの周辺画素の画素データとの差分値を求める。差分量子化部１４３は、複数の周辺画素のうち、後述する予測方向決定部１４５によって対象画素と最も相関の高い方向であると決定された予測方向に位置する周辺画素を選択する。

実際には、差分量子化部１４３において対象画素を符号化するタイミングで、その対象画素における予測方向を予測方向決定部１４５によって求めることはできない。そこで、差分量子化部１４３は、同じ水平位置の２ライン上に位置する同色の画素において求めた予測方向を対象画素の予測方向として用いる。

ここで、差分量子化部１４３が対象画素の画素データとの差分値を求める周辺画素の画素データとは、ＲデータＤｒ，ＧデータＤｇ，ＢデータＤｂとして入力された周辺画素の画素データそのものではなく、周辺画素が対象画素となっていた時点の画素データを差分量子化部１４３によって符号化し、差分逆量子化部１４４によって復号した画素データである。

そして、差分量子化部１４３は、量子化テーブル1431に基づいて差分値を４ビットの符号化データに符号化する。量子化テーブル1431は、図３に示すように、対象画素と周辺画素との差分値を複数の領域に分け、それぞれの領域に例えば４ビットの符号化データを対応させたものである。図３に示す量子化テーブル1431は単なる一例である。

ここでは１つの量子化テーブル1431を示しているが、差分量子化部１４３に複数の量子化テーブルを保持させておき、対象画素のレベルに応じて使用する量子化テーブルを切り替えることが好ましい。本実施形態では、簡略化のため、使用する量子化テーブルを図３に示す１つの量子化テーブル1431として説明する。

差分量子化部１４３は、入力されたＲデータＤｒ，ＧデータＤｇ，ＢデータＤｂにおけるそれぞれの対象画素と選択された周辺画素との差分値が図３に示す量子化テーブルのどの領域に属するかを判定して、属する領域に対応した符号化データを４ビットの符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebとして出力する。

差分逆量子化部１４４は、逆量子化テーブル1441に基づいて、入力された符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebを復号差分値に変換する。逆量子化テーブル1441は、図４に示すように、４ビットの符号化データと復号差分値とを対応させたものである。図４に示す逆量子化テーブル1441は単なる一例である。

ここでは１つの逆量子化テーブル1441を示しているが、差分量子化部１４３が複数の量子化テーブルを保持している場合には、差分逆量子化部１４４は複数の量子化テーブルに対応する逆量子化テーブルを保持する。本実施形態では、簡略化のため、使用する逆量子化テーブルを図４に示す１つの逆量子化テーブルとして説明する。

差分逆量子化部１４４は、図４に示す逆量子化テーブルを参照して、入力された符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebに対応する復号差分値を選択する。

そして、差分逆量子化部１４４は、復号の対象となっている対象画素の復号差分値を、対象画素より過去に入力され、対象画素の周辺に位置するいずれかの周辺画素の画素データに加算して、８ビットの画素データに復号する。
差分逆量子化部１４４は、複数の周辺画素のうち、後述する予測方向決定部１４５によって対象画素と最も相関の高い方向であると決定された予測方向に位置する周辺画素を選択して、対象画素の復号差分値を周辺画素の画素データに加算する。

差分逆量子化部１４４においても、対象画素を復号するタイミングで、その対象画素における予測方向を予測方向決定部１４５によって求めることはできない。そこで、差分逆量子化部１４４も、同じ水平位置の２ライン上に位置する同色の画素において求めた予測方向を対象画素の予測方向として用いる。

ここでの周辺画素の画素データも、周辺画素が対象画素となっていた時点の画素データを差分量子化部１４３によって符号化し、差分逆量子化部１４４によって復号した画素データである。

符号化部１４Ｒの予測方向決定部１４５は、符号化部１４Ｒの差分逆量子化部１４４より出力された復号データに基づいて、対象画素と複数の周辺画素との差分値を求めることによって対象画素と周辺画素と相関を検出して予測方向信号Sdr1を生成する。差分値が最も小さい周辺画素が最も相関が高いということである。
但し、符号化部１４Ｒの予測方向決定部１４５は、単に最も相関が高い周辺画素を予測方向として決定するのではなく、符号化部１４Ｇにおいて決定した予測方向信号Sdg1と符号化部１４Ｂにおいて決定した予測方向信号Sdb1とを参照して、予測方向を決定する。

同様に、符号化部１４Ｇの予測方向決定部１４５は、符号化部１４Ｇの差分逆量子化部１４４より出力された復号データに基づいて予測方向信号Sdg1を生成する。但し、符号化部１４Ｇの予測方向決定部１４５は、単に最も相関が高い周辺画素を予測方向として決定するのではなく、符号化部１４Ｒにおいて決定した予測方向信号Sdr1と符号化部１４Ｂにおいて決定した予測方向信号Sdb1とを参照して、予測方向を決定する。

同様に、符号化部１４Ｂの予測方向決定部１４５は、符号化部１４Ｂの差分逆量子化部１４４より出力された復号データに基づいて予測方向信号Sdb1を生成する。但し、符号化部１４Ｂの予測方向決定部１４５は、単に最も相関が高い周辺画素を予測方向として決定するのではなく、符号化部１４Ｒにおいて決定した予測方向信号Sdr1と符号化部１４Ｇにおいて決定した予測方向信号Sdg1とを参照して、予測方向を決定する。

ここで、図５〜図７を用いて、符号化部１４Ｒ，１４Ｇ，１４Ｂそれぞれの予測方向決定部１４５における動作について説明する。

まず、符号化部１４Ｒの予測方向決定部１４５の動作を説明する。図５に示すように、ＲデータＤｒにおけるＲの画素のうち例えば画素Ｒ３３が符号化及び復号の対象画素であるとする。符号化部１４Ｒの予測方向決定部１４５は、同色である画素Ｒ１１，Ｒ１３，Ｒ１５，Ｒ３１を対象画素である画素Ｒ３３の周辺画素とする。符号化部１４Ｒの予測方向決定部１４５は、画素Ｒ３３の画素データと画素Ｒ１１，Ｒ１３，Ｒ１５，Ｒ３１それぞれの画素データとの差分値を求める。

画素Ｒ１１，Ｒ１３，Ｒ１５は、画素Ｒ３３に対して、同じＲの画素としては上方に隣接するラインの画素である。画素Ｒ３３のラインと画素Ｒ１１，Ｒ１３，Ｒ１５のラインとは２ライン分ずれている。画素Ｒ３１は、画素Ｒ３３に対して、同じＲの画素としては左側に隣接する画素である。画素Ｒ３１と画素Ｒ３３とは２画素分ずれている。画素Ｒ３３に対して、画素Ｒ１１を左上の画素、画素Ｒ１３を上の画素、画素Ｒ１５を右上の画素、画素Ｒ３１を左の画素とする。

符号化部１４Ｒの予測方向決定部１４５は、図５に示す対象画素とそれぞれの周辺画素との差分値のうち、対象画素に隣接する他の色であるＧの画素及びＢの画素において決定された予測方向の差分値に対して重み付けした上で、最も差分値の小さい方向を予測方向として決定する。

具体的には、画素Ｒ３３が対象画素の場合には、符号化部１４Ｒの予測方向決定部１４５は、図６に示すように、上方に隣接するラインのＢの画素Ｂ２２，Ｂ２４とＧの画素Ｇ２３、左側に隣接するＧの画素Ｇ３２それぞれで得られた予測方向信号Sdg1，Sdb1を参照して差分値に対して重み付けする。

差分値に対する重み付けの仕方は種々考えられる。一例として、次のように重み付けする。図５に示す対象画素とそれぞれの周辺画素との差分値の絶対値をdif0〜dif3とすると、差分値dif0〜dif3は次のように表される。

dif0=|R11-R33|
dif1=|R13-R33|
dif2=|R15-R33|
dif3=|R31-R33|

図６における例えば画素Ｇ２３において、左上方向が予測方向として決定されたとする。この場合、差分値dif0にα＜１なる係数αを乗算して、差分値α・dif0とする。差分値dif1〜dif3はそのままとする。画素Ｂ２２，Ｂ２４，Ｇ３２においても同様に、決定された予測方向が示す差分値に係数αを乗算し、他の差分値はそのままとする。このように、画素Ｂ２２，Ｂ２４，Ｇ２３，Ｇ３２において予測方向が示す差分値のみ１より小さく重み付けした上で、全ての差分値を加算して、最も値の小さい方向を画素Ｒ３３の予測方向として決定する。

ここでは、画素Ｂ２２，Ｂ２４，Ｇ２３，Ｇ３２の全てで同じ係数αを用いて重み付けを同じとしているが、画素の位置に応じて重み付けを異ならせてもよい。また、符号化部１４Ｒの予測方向決定部１４５は、予測方向信号Sdg1，Sdb1のうちの一方のみを参照して差分値に対して重み付けしてもよい。

次に、符号化部１４Ｇの予測方向決定部１４５の動作を説明する。図７に示すように、ＧデータＤｇにおけるＧの画素のうち例えば画素Ｇ４３が符号化及び復号の対象画素であるとする。符号化部１４Ｇの予測方向決定部１４５は、同色である画素Ｇ２３，Ｇ３２，Ｇ３４，Ｇ４１を対象画素である画素Ｇ４３の周辺画素とする。符号化部１４Ｇの予測方向決定部１４５は、画素Ｇ４３の画素データと画素Ｇ２３，Ｇ３２，Ｇ３４，Ｇ４１それぞれの画素データとの差分値を求める。

画素Ｇ２３は、画素Ｇ４３に対して、同じ水平位置で２ライン上方に位置するラインの画素である。画素Ｇ３２，Ｇ３４は、画素Ｇ４３に対して１ライン上方に位置するラインの画素である。画素Ｇ４１は、画素Ｇ４３に対して、同じＧの画素としては左側に隣接する画素である。画素Ｇ４１と画素Ｇ４３とは２画素分ずれている。画素Ｇ４３に対して、画素Ｇ３２を左上の画素、画素Ｇ２３を上の画素、画素Ｇ３４を右上の画素、画素Ｇ４１を左の画素とする。

符号化部１４Ｇの予測方向決定部１４５は、図７に示す対象画素とそれぞれの周辺画素との差分値のうち、対象画素に隣接する他の色であるＲの画素及びＢの画素において決定された予測方向の差分値に対して重み付けした上で、最も差分値の小さい方向を予測方向として決定する。

具体的には、画素Ｇ４３が対象画素の場合には、符号化部１４Ｇの予測方向決定部１４５は、図８に示すように、上方に隣接するラインのＲの画素Ｒ３３、左側に隣接するＢの画素Ｂ４２それぞれで得られた予測方向信号Sdr1，Sdb1を参照して差分値に対して重み付けする。差分値に対する重み付けの仕方は、上記のとおりである。

さらに、符号化部１４Ｂの予測方向決定部１４５の動作を説明する。図９に示すように、ＢデータＤｂにおけるＢの画素のうち例えば画素Ｂ４４が符号化及び復号の対象画素であるとする。符号化部１４Ｂの予測方向決定部１４５は、同色である画素Ｂ２２，Ｂ２４，Ｂ２６，Ｂ４２を対象画素である画素Ｂ４４の周辺画素とする。符号化部１４Ｂの予測方向決定部１４５は、画素Ｂ４４の画素データと画素Ｂ２２，Ｂ２４，Ｂ２６，Ｂ４２それぞれの画素データとの差分値を求める。

画素Ｂ４４と画素Ｂ２２，Ｂ２４，Ｂ２６，Ｂ４２との位置関係は、画素Ｒ３３と画素Ｒ１１，Ｒ１３，Ｒ１５，Ｒ３１との位置関係と同じである。

符号化部１４Ｂの予測方向決定部１４５は、図９に示す対象画素とそれぞれの周辺画素との差分値のうち、対象画素に隣接する他の色であるＧの画素及びＲの画素において決定された予測方向の差分値に対して重み付けした上で、最も差分値の小さい方向を予測方向として決定する。

具体的には、画素Ｂ４４が対象画素の場合には、符号化部１４Ｂの予測方向決定部１４５は、図１０に示すように、上方に隣接するラインのＲの画素Ｒ３３，Ｒ３５とＧの画素Ｇ３４、左側に隣接するＧの画素Ｇ４３それぞれで得られた予測方向信号Sdr1，Sdg1を参照して差分値に対して重み付けする。差分値に対する重み付けの仕方は、上記のとおりである。

以上のように、符号化部１４Ｒ，１４Ｇ，１４Ｂは、それぞれ、ＲデータＤｒ，ＧデータＤｇ，ＢデータＤｂを符号化して復号した画素データのみに基づいて予測方向を決定するのではなく、少なくとも１つの他の色の画素データにおける予測方向を参照した上で予測方向を決定する。

一例として、符号化部１４Ｒにおいて、左上方向の差分値dif0と上方向の差分値dif1とが同じ値であり、予測方向信号Sdg1，Sdb1が上方向を示す場合には、符号化部１４Ｒの予測方向決定部１４５は上方向を示す予測方向信号Sdr1を生成することになる。また、左上方向の差分値dif0が上方向の差分値dif1より小さい値であっても、予測方向信号Sdg1，Sdb1が上方向を示す場合には、符号化部１４Ｒの予測方向決定部１４５は上方向を示す予測方向信号Sdr1を生成する場合が発生する。

符号化部１４Ｒ，１４Ｇ，１４Ｂより出力された符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebは、メモリ１５に入力されて記憶される。メモリ１５は、符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebを１または複数フレーム遅延させるために用いることができる。また、メモリ１５は、符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebを貯蔵するために用いることもできる。

符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebのデータ量が削減されているため、メモリ１５の容量は、ＲデータＤｒ，ＧデータＤｇ，ＢデータＤｂをそのまま記憶する場合と比較して少なくてよい。メモリ１５に転送するデータ量が少ないので、短い転送時間で転送することができる。

メモリ１５から読み出された符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebは、復号部１６Ｒ，１６Ｇ，１６Ｂに個々に入力される。

復号部１６Ｒは、差分逆量子化部１６４と予測方向決定部１６５とを有する。差分逆量子化部１６４は逆量子化テーブル1641を有する。逆量子化テーブル1641は、図４に示す逆量子化テーブル1441と同じでよい。図１では、復号部１６Ｒのみ詳細構成を示しているが、復号部１６Ｇ，１６Ｂも復号部１６Ｒと同様の構成を有する。

復号部１６Ｒ，１６Ｇ，１６Ｂは、図４に示す逆量子化テーブル1641を用いて、符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebを復号し、８ビットの復号ＲデータＤdr，復号ＧデータＤdg，復号ＢデータＤdbを出力する。

具体的には、復号部１６Ｒ，１６Ｇ，１６Ｂの差分逆量子化部１６４は、逆量子化テーブル1641を参照して、入力された符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebに対応する復号差分値を選択する。差分逆量子化部１６４は、予測方向決定部１６５によって生成された予測方向信号Sdr2，Sdg2，Sdb2が示す対象画素と最も相関の高い方向である予測方向に位置する周辺画素を選択して、対象画素の復号差分値を周辺画素の画素データに加算する。

復号部１６Ｒ，１６Ｇ，１６Ｂにおける差分逆量子化部１６４及び予測方向決定部１６５の動作は、符号化部１４Ｒ，１４Ｇ，１４Ｂにおける差分逆量子化部１４４及び予測方向決定部１４５の動作と同じである。
予測方向決定部１６５も、符号化ＲデータＤer，符号化ＧデータＤeg，符号化ＢデータＤebを復号した画素データのみに基づいて予測方向を決定するのではなく、少なくとも１つの他の色の画素データにおける予測方向を参照した上で予測方向を決定する。

復号ＲデータＤdr，復号ＧデータＤdg，復号ＢデータＤdbは色成分合成部１７に入力される。色成分合成部１７は、復号ＲデータＤdr，復号ＧデータＤdg，復号ＢデータＤdbを入力画像データと同じ配列となるように合成し、１系統の出力画像データとして出力する。色成分分離部１３を備えていない構成の場合には、色成分合成部１７も備える必要はない。色成分分離部１３を備えている場合であっても、復号ＲデータＤdr，復号ＧデータＤdg，復号ＢデータＤdbを１系統に合成する必要がない場合には、色成分合成部１７を省略することが可能である。

なお、図１において、出力画像データは、入力画像データを符号化して復号することによる誤差を含むことから、出力画像データは入力画像データとは完全には一致しない。

本実施形態においては、符号化部１４Ｒ，１４Ｇ，１４Ｂの予測方向決定部１４５と、復号部１６Ｒ，１６Ｇ，１６Ｂの予測方向決定部１６５は、少なくとも１つの他の色の画素データにおける予測方向を参照した上で予測方向を決定する。従って、本実施形態によれば、予測方向の精度を向上させることができ、画像信号を符号化して復号する際の誤差を抑えることができる。

本実施形態において、入力画像データはRAWデータに限定されるものではない。但し、RAWデータは、一般的に、異なる色であっても対象画素に隣接する画素であれば類似の周波数特性を有する。よって、RAWデータは、本実施形態の画像信号符号化装置及び画像信号復号装置によって符号化し復号する対象の入力画像データとして好適である。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。図１では、画像信号符号化・復号装置をハードウェアにて構成した例を示している。例えば符号化部１４Ｒ，１４Ｇ，１４Ｂと復号部１６Ｒ，１６Ｇ，１６Ｂの部分をコンピュータプログラムによるソフトウェアによって構成してもよい。

１４Ｒ，１４Ｇ，１４Ｂ符号化部
１５メモリ
１６Ｒ，１６Ｇ，１６Ｂ復号部
１４３差分量子化部
１４４，１６４差分逆量子化部
１４５，１６５予測方向決定部
1431 量子化テーブル
1441 逆量子化テーブル

Claims

第１のビット数を有する複数の色データそれぞれに対応して設けられ、前記複数の色データが個々に入力されて、入力された色データを符号化する複数の符号化部を備え、
前記複数の符号化部はそれぞれ、
前記入力された色データにおける符号化の対象となっている対象画素の画素データと、前記対象画素より過去に入力され、前記対象画素の周辺に位置する同色である複数の周辺画素のうち、予測方向信号が示す予測方向に位置する周辺画素の画素データとの差分値を、量子化テーブルに基づいて前記第１のビット数より小さい第２のビット数に量子化する差分量子化部と、
前記差分量子化部によって量子化された前記第２のビット数を有する色データを逆量子化テーブルに基づいて復号差分値に変換し、前記復号差分値と前記予測方向信号が示す予測方向に位置する周辺画素の画素データに加算して、前記第１のビット数を有する色データを復号する差分逆量子化部と、
前記対象画素と前記複数の周辺画素とのそれぞれの差分値を求め、前記対象画素に隣接する他の色の色データの画素において決定した予測方向を参照した上で、前記それぞれの差分値に基づいて予測方向を決定して前記予測方向信号を生成する予測方向決定部と、
を備えることを特徴とする画像信号符号化装置。
前記予測方向決定部は、前記それぞれの差分値のうち、前記対象画素に隣接する他の色の色データの画素において決定した予測方向と同じ方向に位置する周辺画素の差分値が小さくなるように重み付けして、重み付けした差分値を含む前記それぞれの差分値に基づいて予測方向を決定して前記予測方向信号を生成することを特徴とする請求項１記載の画像信号符号化装置。
第１のビット数を有する複数の色データそれぞれを符号化の対象として入力し、
前記入力された色データにおける符号化の対象となっている対象画素の画素データと、前記対象画素より過去に入力され、前記対象画素の周辺に位置する同色である複数の周辺画素のうち、予測方向信号が示す予測方向に位置する周辺画素の画素データとの差分値を、量子化テーブルに基づいて前記第１のビット数より小さい第２のビット数に量子化し、
量子化された前記第２のビット数を有する色データを逆量子化テーブルに基づいて復号差分値に変換し、前記復号差分値と前記予測方向信号が示す予測方向に位置する周辺画素の画素データに加算して、前記第１のビット数を有する色データを復号し、
前記対象画素と前記複数の周辺画素とのそれぞれの差分値を求め、前記対象画素に隣接する他の色の色データの画素において決定した予測方向を参照した上で、前記それぞれの差分値に基づいて予測方向を決定して前記予測方向信号を生成する
ことを特徴とする画像信号符号化方法。
第１のビット数を有する複数の色データそれぞれが前記第１のビット数より小さい第２のビット数に符号化された複数の符号化色データが個々に入力され、入力された符号化色データを復号する複数の復号部を備え、
前記複数の復号部はそれぞれ、
前記入力された符号化色データにおける符号化の対象となっている対象画素の符号化色データを逆量子化テーブルに基づいて復号差分値に変換し、前記復号差分値と予測方向信号が示す予測方向に位置する周辺画素の画素データに加算して、前記第１のビット数を有する色データを復号する差分逆量子化部と、
前記対象画素と前記対象画素の周辺に位置する同色である複数の周辺画素とのそれぞれの差分値を求め、前記対象画素に隣接する他の色の色データの画素において決定した予測方向を参照した上で、前記それぞれの差分値に基づいて予測方向を決定して前記予測方向信号を生成する予測方向決定部と、
を備えることを特徴とする画像信号復号装置。
前記予測方向決定部は、前記それぞれの差分値のうち、前記対象画素に隣接する他の色の色データの画素において決定した予測方向と同じ方向に位置する周辺画素の差分値が小さくなるように重み付けして、重み付けした差分値を含む前記それぞれの差分値に基づいて予測方向を決定して前記予測方向信号を生成することを特徴とする請求項４記載の画像信号復号装置。
第１のビット数を有する複数の色データそれぞれが前記第１のビット数より小さい第２のビット数に符号化された複数の符号化色データそれぞれを復号の対象として入力し、
前記入力された符号化色データにおける符号化の対象となっている対象画素の符号化色データを逆量子化テーブルに基づいて復号差分値に変換し、前記復号差分値と予測方向信号が示す予測方向に位置する周辺画素の画素データに加算して、前記第１のビット数を有する色データを復号し、
前記対象画素と前記対象画素の周辺に位置する同色である複数の周辺画素とのそれぞれの差分値を求め、前記対象画素に隣接する他の色の色データの画素において決定した予測方向を参照した上で、前記それぞれの差分値に基づいて予測方向を決定して前記予測方向信号を生成する
ことを特徴とする画像信号復号方法。