JP2021078008A

JP2021078008A - 画像処理装置、画像処理方法及び撮像装置

Info

Publication number: JP2021078008A
Application number: JP2019203507A
Authority: JP
Inventors: 竹田　英史; Hidefumi Takeda; 英史竹田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-11-08
Filing date: 2019-11-08
Publication date: 2021-05-20

Abstract

【課題】イメージセンサを用いて取得される画像データを圧縮して取扱う装置において、欠陥画素に起因する圧縮効率の低下を抑制するための、改善された仕組みを提供すること。【解決手段】イメージセンサが有する複数の画素のうちの欠陥画素を特定する欠陥画素情報を記憶する記憶手段と、前記イメージセンサにより生成される前記複数の画素の信号値を含む画像データを符号化して、符号化画像データを生成する符号化手段と、を備え、前記符号化手段は、注目画素が前記欠陥画素情報により特定される欠陥画素ではない正常画素である場合に、前記注目画素に先行する先行画素が欠陥画素であるか否かに依存して、前記注目画素の信号値を差分符号化する第１の符号化モード、又は前記注目画素の信号値を差分符号化を行うことなく符号化する第２の符号化モードのいずれかで符号化する、画像処理装置が提供される。対応する方法及び撮像装置もまた提供される。【選択図】図２

Description

本開示は、画像処理装置、画像処理方法及び撮像装置に関する。

近年、デジタルビデオカメラ及びデジタルスチルカメラといった撮像装置により扱われる画像データのデータ量は、高解像度化、高フレームレート化、及び連写されるコマ数の増大といった要因により、顕著に増加している。結果的に、撮像装置のメモリ及びバスインタフェースは、高速化及び容量の拡大といった要求に対応せざるを得ず、装置の製造コストは年々高くなっている。

メモリ及びバスインタフェースが扱うべきデータ量を抑制するために、特許文献１は、装置内で取扱われる画像データを、予測符号化及び量子化の組合せで圧縮符号化する手法を提案している。

しかし、撮像装置のイメージセンサにおいて生成される画像データ（ＲＡＷデータともいう）は、画素の構成要素の欠陥に起因して、極端な信号値を一部の画素において示すことがある。こうした信号値は、予測符号化の予測精度を撹乱し、圧縮効率を低下させる。特許文献２は、イメージセンサ内で、画像信号の信号値に基づいて動的に検出される欠陥画素について、信号値をメディアンフィルタ等で補正した上で、画像信号を圧縮符号化する手法を提案している。

特開２０１０−４５１４号公報特許第６１８４０８０号公報

しかしながら、特許文献２により提案された手法では、装置内のエンコーダの処理が複雑であり、処理のリアルタイム性を十分に確保することが難しく、実装コストもまた大きい。

そこで、本開示は、イメージセンサを用いて取得される画像データを圧縮して取扱う装置において、イメージセンサが欠陥画素を有する場合の圧縮効率の低下を抑制するための改善された仕組みを提供することを目的の１つとする。

ある観点によれば、イメージセンサが有する複数の画素のうちの欠陥画素を特定する欠陥画素情報を記憶する記憶手段と、前記イメージセンサにより生成される前記複数の画素の信号値を含む画像データを符号化して、符号化画像データを生成する符号化手段と、を備え、前記符号化手段は、注目画素が前記欠陥画素情報により特定される欠陥画素ではない正常画素である場合に、前記注目画素に先行する先行画素が欠陥画素であるか否かに依存して、前記注目画素の信号値を差分符号化する第１の符号化モード、又は前記注目画素の信号値を差分符号化を行うことなく符号化する第２の符号化モードのいずれかで符号化する、画像処理装置が提供される。

他の観点によれば、イメージセンサが有する複数の画素のうちの欠陥画素を特定する欠陥画素情報を記憶する記憶手段と、前記イメージセンサにより生成される前記複数の画素の信号値を含む画像データを符号化して、符号化画像データを生成する符号化手段と、を備え、前記符号化手段は、注目画素の前記信号値を量子化して、前記注目画素の量子化信号値を生成する量子化手段と、前記注目画素の前記量子化信号値から前記注目画素の直前の先行画素の量子化信号値を減算して、前記注目画素の差分量子化信号値を生成する減算手段と、前記注目画素の前記差分量子化信号値を可変長符号化して、前記注目画素の差分符号化信号値を生成する可変長符号化手段と、前記注目画素が前記欠陥画素情報により特定される欠陥画素である場合に、前記注目画素の前記信号値又は前記量子化信号値を、前記注目画素の直前の前記先行画素の前記信号値又は前記量子化信号値に置換する置換手段と、を含む、画像処理装置が提供される。

本開示によれば、イメージセンサを用いて取得される画像データを圧縮して取扱う装置における、イメージセンサが欠陥画素を有する場合の圧縮効率の低下を抑制するための、改善された仕組みを提供することができる。

一実施形態に係る画像処理装置の基本的な構成の一例を示すブロック図。図１に示した符号化部の詳細な構成の一例を示すブロック図。欠陥画素情報に基づく符号値の切替えの制御の一例について説明するための説明図。符号化部により生成される符号化データのデータフォーマットの一例について説明するための説明図。一実施形態に係る符号化処理の流れの一例を示すフローチャート。図５に示したブロック符号化処理の詳細な流れの一例を示すフローチャート。図１に示した復号部の詳細な構成の一例を示すブロック図。一実施形態に係る復号処理の流れの一例を示すフローチャート。図８に示したブロック復号処理の詳細な流れの一例を示すフローチャート。他の実施形態に係る画像処理装置の基本的な構成の一例を示すブロック図。図１０に示した符号化部の詳細な構成の一例を示すブロック図。欠陥画素の信号値の置換の一例について説明するための説明図。他の実施形態に係る符号化処理の流れの一例を示すフローチャート。図１３に示したブロック符号化処理の詳細な流れの一例を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜＜１．概要＞＞
本開示に係る技術は、例えばＣＭＯＳ又はＣＣＤといったイメージセンサにより生成される画像データを処理するための回路を有する画像処理装置一般に適用され得る。そうした画像処理装置の例は、イメージセンサを具備するデジタルスチルカメラ、デジタルビデオカメラ、携帯電話及びスマートフォンといった、撮像装置及び情報処理装置、並びにそれら装置に搭載される画像処理エンジンを含む。イメージセンサは複数の画素を有し、各画素は、例えば、光を集めるマイクロレンズと、集められた光のうち特定の色成分のみを通過させるカラーフィルタと、Ｗ光を電気信号に変換する撮像素子（例えば、フォトダイオード）とを含む。各画素から読出される電気信号のレベル（即ち、信号値）は、当該画素に割当てられた色の光の強さを表す。イメージセンサから読出された直後の画像データを、ＲＡＷデータともいう。

イメージセンサにおいて２次元的に配列される複数の画素への色の割当ては、多くの場合、ベイヤパターンに従う。ベイヤパターンでは、赤色（Ｒ）と緑色（Ｇ）が交互に配列されたライン、及び緑色（Ｇ）と青色（Ｂ）が交互に配列されたラインが、それらラインと直交する方向へ交互に配列される。よって、ベイヤパターンのＲＡＷデータでは、緑色の画素の割合が、赤色の画素の割合及び青色の画素の割合の２倍である。イメージセンサの後段の画像処理エンジンは、例えば光学的歪み補正、シェーディング補正、デベイヤ（デモザイクともいう）、カラーマトリクス変換（例えば、ＲＧＢからＹＵＶ）及びノイズ削減といった様々な画像処理を行う。

イメージセンサにより生成される画像データのデータ量は、近年、高解像度化、高フレームレート化、及び連写されるコマ数の増大といった要因により、顕著に増加している。増加した量の画像データをそのまま扱おうとすると、装置部品の高速化及び容量拡大が避けられないが、その場合には装置の製造コストが過大となる。そこで、画像データを装置内で伝送し又はメモリへ格納する際に、画像データを圧縮符号化することが有益である。圧縮符号化によってデータ量が削減されれば、装置部品の高速化及び容量拡大の要求は緩和され得る。但し、イメージセンサにより生成される画像データは、上述した画素の構成要素の欠陥に起因して、極端な信号値を一部の画素において示すことがある。極端な信号値とは、例えば、レンジの上限値又は下限値であり得る。本明細書では、このように極端な信号値を出力する異常な画素を欠陥画素、欠陥画素ではない正常な画素を正常画素という。入射光に関わらずレンジの上限値（又はそれに近い値）を出力する欠陥画素を、白キズともいう。また、入射光に関わらずレンジの下限値（又はそれに近い値）を出力する欠陥画素を、黒キズともいう。

欠陥画素が出力する極端な信号値は、とりわけ差分符号化（又は予測符号化）技術を活用した圧縮符号化の圧縮効率を低下させる。一方、製造上の不可避的な誤差のために、欠陥画素の発生を完全に排除することは困難である。これまでに、欠陥画素が出力する信号値を補正した上で画像信号を圧縮符号化する手法は提案されているが、過去に提案された手法は、処理が複雑であるために、処理のリアルタイム性の低下や実装コストの増大をもたらすことがあった。

そこで、本開示は、画像データを内部で圧縮して取扱う装置において、イメージセンサが欠陥画素を有する場合の圧縮効率の低下を抑制するための改善された仕組みを提案する。次節より、そうした仕組みのいくつかの実施形態について具体的に説明する。

＜＜２．第１の実施形態＞＞
＜２−１．基本的な構成＞
第１の実施形態では、イメージセンサから取得される画素の各々が欠陥画素ではない正常画素である場合に、当該画素に先行する先行画素が欠陥画素であるか否かに依存して異なる符号化モードを、当該画素の信号値の符号化のために利用する。第１の符号化モードは、信号値を差分符号化するモードであり、第２の符号化モードは、信号値を差分符号化を行うことなく符号化するモードである。ある画素が欠陥画素である場合には、当該画素の信号値は符号化されない。対応する形で、復号の際には、符号化画像データ内の符号値を差分復号する第１の復号モード、又は符号値を差分復号することなく復号する第２の復号モードが選択的に利用される。本明細書では、説明の簡明さのために、第１の符号化モード及び第１の復号モードをＤＰＣＭ（Differential PCM）モード、第２の符号化モード及び第２の復号モードをＰＣＭ（Pulse Code Modulation）モードという。

図１は、第１の実施形態に係る画像処理装置１００の基本的な構成の一例を示すブロック図である。ここでは、画像データの圧縮符号化に関係しない装置の構成要素は、説明を曖昧にしないために省略されている。図１を参照すると、画像処理装置１００は、撮像部１１０及び画像処理部１２０を備える。

撮像部１１０は、光学系１１１及びイメージセンサ１１２を含む。光学系１１１は、実空間の光をイメージセンサ１１２の撮像面に向けて案内する少なくとも１つのレンズを含む。イメージセンサ１１２は、例えばＣＭＯＳ又はＣＣＤといった、いかなる種類のイメージセンサであってもよい。イメージセンサ１１２は、複数の画素を有し、各画素の撮像素子において、カラーフィルタを通過した特定の色成分の光が光電変換によって電気信号へ変換される。イメージセンサ１１２は、これら複数の画素の信号値を含む画像データを、画像処理部１２０へ出力する。イメージセンサ１１２のカラーフィルタは、例えばベイヤパターンで配置され、上記複数の画素の各々が、ベイヤパターンの３つの色の１つに対応する。なお、イメージセンサ１１２のカラーフィルタの配置は、複数の色の配列を予め定義した、ベイヤパターン以外のパターンに従ってもよい。

画像処理部１２０は、撮像部１１０から入力される画像データについて様々な画像処理を行うための回路（エンジンともいう）である。撮像部１１０と画像処理部１２０との間の接続インタフェースは、例えば、ＭＩＰＩ−ＣＳＩ（Camera Serial Interface）又はＬＶＤＳ（Low Voltage Differential Signaling）であってよい。但し、十分な転送性能を有する他の種類のカメラ用の高速インタフェースが利用されてもよい。画像処理部１２０は、符号化部１２１、フレームメモリ１２２、復号部１２３及び欠陥画素情報メモリ１２４を含む。画像処理部１２０のこれら構成要素は、ハードウェア、ソフトウェア、及びハードウェアとソフトウェアとの組合せのいずれによって実装されてもよい。

符号化部１２１は、撮像部１１０から入力される画像データを、画像処理装置１００を制御するコントローラ（図示せず。例えば、ＣＰＵ）から指示される制御パラメータ（例えば、圧縮率）に従って圧縮符号化して、符号化画像データを生成する。撮像部１１０から入力される画像データは、イメージセンサ１１２が有する複数の画素にそれぞれ対応する信号値を含むデータである。符号化部１２１は、後述するように、符号化画像データといくつかの符号化パラメータとを含む符号化データを、フレームメモリ１２２へ書き込む。

フレームメモリ１２２は、例えばＤＲＡＭといった大容量のメモリであってよく、符号化部１２１により書込まれる符号化データを記憶する。フレームメモリ１２２に書込まれた符号化データは、復号部１２３により読出される。

復号部１２３は、フレームメモリ１２２から符号化データを読出し、読出した符号化データに含まれる符号化画像データを復号して、元の画像データを復元する。復号部１２３は、復元した画像データを、再度フレームメモリ１２２へ書込んでもよく、又は他の画像処理用の回路（図示せず）へ出力してもよい。例えば、画像処理部１２０は、復元された画像データについて、光学的歪み補正、シェーディング補正、デベイヤ、カラーマトリクス変換及びノイズ削減のうちの１つ以上を実行する処理回路を含み得る。

欠陥画素情報メモリ１２４は、例えばフラッシュメモリなどの不揮発性のメモリであってよく、イメージセンサ１１２が有する複数の画素のうちの欠陥画素を特定する欠陥画素情報を記憶する。欠陥画素は、例えば、イメージセンサ１１２の製造工程において発生した欠陥（例えば、トランジスタの製造不良）に起因して、有効な画素値を出力不能な画素（例えば、白キズ又は黒キズ）であり得る。欠陥画素は、画像処理装置１００の工場出荷時の検査工程において、検査用の欠陥検出装置により、全画素のスキャンを通じて個々に検出される。そして、検出された欠陥画素の画素位置を示す欠陥画素情報が生成され、画像処理装置１００の欠陥画素情報メモリ１２４に欠陥画素情報が書込まれる。欠陥画素情報は、例えば、イメージセンサ１１２の画素の画素位置（２次元のアドレス）の各々に、当該位置の画素が欠陥画素であるか否かを示すフラグを関連付けた情報であり得る。

なお、図１には、画像処理部１２０が撮像部１１０とは物理的に別個のユニット（例えば、ＬＳＩ）である例を示しているが、画像処理部１２０は、撮像部１１０と統合されてもよい。例えば、画像処理部１２０は、イメージセンサ１１２と同一のチップ上に存在してもよい。

＜２−２．エンコーダの詳細な構成＞
（１）各部の説明
図２は、図１に示した符号化部１２１の詳細な構成の一例を示すブロック図である。図２を参照すると、符号化部１２１は、量子化部２０１、遅延部２０２、減算部２０３、可変長符号化部２０４、切替部２０５、切替制御部２０６及び生成部２０７を含む。

符号化部１２１へ入力される画像データは、イメージセンサ１１２の複数の画素から順次読出される信号値を含む。本実施形態において、符号化部１２１は、これら信号値を、一定の数の画素を含む画素ブロックの単位で符号化するものとする。とりわけ、この画素ブロックをＮ個（Ｎは整数）の画素が１次元に並ぶ１×Ｎのブロックとすることで、符号化処理の複雑さを低減し、画像処理部１２０の実装を単純化することができる。Ｎは、限定ではないものの、例えば８、１６又は３２であってよい。ベイヤパターンの場合、１×Ｎの画素ブロックの画像データは、Ｒ及びＧ又はＧ及びＢという、２つの色成分の信号値が交互に並んだ１次元配列となる。

量子化部２０１は、量子パラメータＱＰにより示される量子化ステップで、Ｎ個の画素の各々の信号値を量子化して、量子化信号値を生成する。そして、量子化部２０１は、生成した量子化信号値を遅延部２０２、減算部２０３及び切替部２０５へ出力する。一例として、量子パラメータＱＰは、コントローラ（図示せず）により指定され、可変的な値をとる。典型的には、ＱＰがより大きいほど量子化ステップはより大きく、よって信号値はより粗く量子化される。入力信号値をＤ、量子化信号値をＤｑとすると、量子化信号値Ｄｑは、例えば、Ｄ及びＱＰの関数として次の式（１）ように導出され得る：
Ｄｑ＝Ｄ／（１＜＜ＱＰ）（１）
この場合、ＱＰが１増えると量子化ステップは２倍となり、信号値の有意ビットが量子化により１ビット減少する。ＱＰの値ごとの信号値の変化は、例えば次の通りである：
・ＱＰ＝０の場合、量子化ステップは１であり、量子化信号値Ｄｑは入力信号値Ｄに等しい。有意ビットの数は変化しない。
・ＱＰ＝１の場合、量子化ステップは２であり、量子化信号値Ｄｑは入力信号値Ｄを２で除算した商である。有意ビットの数は１減少する。
・ＱＰ＝２の場合、量子化ステップは４であり、量子化信号値Ｄｑは入力信号値Ｄを４で除算した商である。有意ビットの数は２減少する。
・ＱＰ＝３の場合、量子化ステップは８であり、量子化信号値Ｄｑは入力信号値Ｄを８で除算した商である。有意ビットの数は３減少する。
なお、量子化処理の形式は、式（１）に限定されない。量子化部２０１は、非線形量子化を行ってもよい。また、量子パラメータ及び量子化ステップは、固定的な値であってもよい。

量子化部２０１は、後述する切替制御部２０６による制御に従って、画素ブロックの同色の画素のうちの先頭の画素（ベイヤ配列においては、各色の先頭の画素）が欠陥画素である場合に、当該画素の信号値を所定の値に設定した上で量子化してもよい。所定の値とは、例えば、信号値のレンジの中央の値であってもよく、又は前回符号化した画素ブロックの最後の入力信号値であってもよい。このような信号値の設定によって、後続する画素の差分符号化のためにある程度妥当であると期待される予測値が提供される。

遅延部２０２は、量子化部２０１から入力される各画素の量子化信号値を、後続する画素の信号値の差分符号化のための予測値となるように遅延させ、遅延されたタイミングで予測値を減算部２０３へ出力する。例えば、遅延部２０２は、ベイヤパターンを前提として、各量子化信号値を２画素分の入力間隔だけ遅延させる。すると、量子化部２０１から減算部２０３へある色成分の注目画素の量子化信号値が出力されるタイミングで、遅延部２０２から減算部２０３へ同じ色成分の直前の先行画素の量子化信号値を出力することができる。

減算部２０３は、注目画素の量子化信号値から当該注目画素に先行する先行画素の量子化信号値を減算して、注目画素の差分量子化信号値を生成する。そして、減算部２０３は、生成した差分量子化信号値を可変長符号化部２０４へ出力する。ここでの先行画素とは、注目画素と同色が割当てられた先行画素であってよい。即ち、減算部２０３による差分演算において注目画素の量子化信号値から減算される値（予測符号化における予測値）は、注目画素と同色の先行画素の量子化信号値である。ベイヤパターンの配列を前提とすると、注目画素の偶数個前の画素が注目画素と同色であり、注目画素の２つ前の画素が、注目画素と同色の直前の先行画素である。差分量子化信号値は、正、ゼロ又は負の整数となる。画像内で画素値の変動の少ない平坦領域の差分量子化信号値の多くはゼロ又はその近傍の値を示し、非平坦領域（例えば、被写体のエッジ部分）の差分量子化信号値はより大きい絶対値を示し得る。差分量子化信号値は、一般に、ゼロを中心としたラプラス分布の特性を有する。

可変長符号化部２０４は、減算部２０３から入力される注目画素の差分量子化信号値を所定の可変長符号化方式で符号化して、差分符号化信号値を生成する。ここでの所定の可変長符号化方式とは、例えばハフマン符号又はゴロム符号といった、いかなる種類の方式であってもよい。典型的には、入力値ゼロに対して最も短い符号語が割当てられ、絶対値のより大きい入力値に対してより長い符号語が割当てられる。

切替部２０５には、上述した画素ブロック内の各画素について、量子化部２０１により生成された量子化信号値、及び可変長符号化部２０４により生成された差分符号化信号値が入力される。これ以降の説明では、差分符号化されていない前者の信号値をＰＣＭ値、差分符号化された後者の信号値をＤＰＣＭ値ともいう。ＰＣＭ値は、量子化後の信号値をそのまま符号値として示すビットシーケンスであり得るのに対し、ＤＰＣＭ値は、差分符号化信号値に対し可変長符号化部２０４により割当てられた符号語を示すビットシーケンスであり得る。切替部２０５は、切替制御部２０６による制御に従って、各画素についてＰＣＭ値及びＤＰＣＭ値のうちの一方の符号値を選択し、選択した値を生成部２０７へ出力する。

切替制御部２０６は、欠陥画素情報メモリ１２４から読出される欠陥画素情報を用いて、画素ブロック内の各画素について、信号値の符号化をスキップすべきか、並びにＰＣＭ値及びＤＰＣＭ値のいずれを符号値として使用すべきかを制御する。本実施形態において、切替制御部２０６は、注目画素が欠陥画素情報により特定される欠陥画素である場合に、注目画素の符号値を切替部２０５から生成部２０７へ出力させない（即ち、信号値の符号化をスキップする）。また、切替制御部２０６は、注目画素が正常画素である場合に、注目画素に先行する先行画素が欠陥画素であるか否かに依存して、注目画素の信号値の符号化のためのモードをＤＰＣＭモードとＰＣＭモードとの間で切替える。より具体的には、一例として、切替制御部２０６は、注目画素が同色の正常画素の直後に続く正常画素である場合に、注目画素についてＤＰＣＭ値を切替部２０５に選択させる。一方、切替制御部２０６は、注目画素が同色の欠陥画素の直後に続く正常画素である場合に、注目画素についてＰＣＭ値を切替部２０５に選択させる。なお、切替制御部２０６は、注目画素が同色の画素のうちで画素ブロックの先頭に位置する場合には、注目画素についてＰＣＭ値を切替部２０５に選択させる。

図３は、欠陥画素情報に基づく符号値の切替えの制御の一例について説明するための説明図である。図３の例において、１つの画素ブロック内の画素数Ｎは１６に等しく、画素番号０〜１５をそれぞれ付与された１６個の画素が、符号化順で左から右へ示されている。図中の丸で囲んだ文字“Ｇ”は緑色の画素であり、丸で囲んだ文字“Ｒ”は赤色の画素である。また、×印が重ねられた画素は、欠陥画素情報により特定される欠陥画素である（それ以外の画素は正常画素である）。図３（Ａ）の例では、１６個の画素の全てが正常画素である。図３（Ｂ）の例では、１６個の画素のうち番号７の画素３２７のみが欠陥画素である。図３（Ｃ）の例では、１６個の画素のうち３つの画素３３６、３３７及び３３８が欠陥画素である。

３つの例のいずれにおいても、切替制御部２０６は、同色の画素のうち画素ブロックの先頭に位置する画素については、ＰＣＭ値を切替部２０５に選択させる。例えば、図３（Ａ）の画素３１０は、緑色の画素のうちで画素ブロックの先頭に位置するため、画素３１０の符号値としてＰＣＭ値が選択される。同様に、画素３１１は、赤色の画素のうちで画素ブロックの先頭に位置するため、画素３１１の符号値としてＰＣＭ値が選択される。

図３（Ａ）の８番目の画素３１８に注目すると、注目画素３１８は緑色であり、注目画素３１８及び注目画素３１８と同色の先行画素３１６は共に正常画素である。よって、切替制御部２０６は、注目画素３１８について、先行画素３１６の量子化信号値を予測値として用いて差分符号化されたＤＰＣＭ値を切替部２０５に選択させる。同様に、図３（Ａ）の９番目の画素３１９に注目すると、注目画素３１９は赤色であり、注目画素３１９及び注目画素３１９と同色の先行画素３１７は共に正常画素である。よって、切替制御部２０６は、注目画素３１９について、先行画素３１７の量子化信号値を予測値として用いて差分符号化されたＤＰＣＭ値を切替部２０５に選択させる。

図３（Ｂ）の８番目の画素３２８に注目すると、注目画素３２８は緑色であり、注目画素３２８及び注目画素３２８と同色の先行画素３２６は共に正常画素である。よって、切替制御部２０６は、注目画素３２８について、先行画素３２６の量子化信号値を予測値として用いて差分符号化されたＤＰＣＭ値を切替部２０５に選択させる。一方、図３（Ｂ）の９番目の画素３２９に注目すると、注目画素３２９は緑色であり、注目画素３２９は正常画素であるが、注目画素３２９と同色の先行画素３２７は欠陥画素である。よって、切替制御部２０６は、注目画素３２９について、ＰＣＭ値を切替部２０５に選択させる。切替制御部２０６は、欠陥画素３２７については、ＤＰＣＭ値もＰＣＭ値も切替部２０５から生成部２０７へ出力させない（又は出力される値を生成部２０７に無視させてもよい）。

図３（Ｃ）の９番目の画素３３９に注目すると、注目画素３３９は赤色であり、注目画素３３９は正常画素であるが、注目画素３３９と同色の先行画素３３７は欠陥画素である。よって、切替制御部２０６は、注目画素３３９について、ＰＣＭ値を切替部２０５に選択させる。同様に、図３（Ｃ）の１０番目の画素３４０に注目すると、注目画素３４０は緑色であり、注目画素３４０は正常画素であるが、注目画素３４０と同色の先行画素３３８は欠陥画素である。よって、切替制御部２０６は、注目画素３４０について、ＰＣＭ値を切替部２０５に選択させる。切替制御部２０６は、欠陥画素３３６、３３７及び３３８については、ＤＰＣＭ値もＰＣＭ値も切替部２０５から生成部２０７へ出力させない（又は出力される値を生成部２０７に無視させてもよい）。

なお、図３には、ベイヤ配列のうちの緑色画素及び赤色画素が並ぶラインの例を示したが、青色画素及び緑色画素が並ぶラインについても同様の切替制御が行われ得る。切替制御部２０６は、このような切替制御に従って各画素についてＰＣＭ値及びＤＰＣＭ値のうちのいずれの符号値が選択されるか（及び符号化をスキップをするか）を示す信号を生成部２０７へ出力する。

生成部２０７は、画素ブロック内の各画素について、切替制御部２０６による制御に従って、切替部２０５から選択的に入力されるＰＣＭ値又はＤＰＣＭ値を使用して、符号化画像データを生成する。具体的には、本実施形態において、生成部２０７は、注目画素が欠陥画素である場合に、注目画素の信号値の処理をスキップする。また、生成部２０７は、注目画素が正常画素である場合において、切替制御部２０６によりＤＰＣＭモードが選択されたときは、切替部２０５から入力されるＤＰＣＭ値を符号化画像データに含める。また、生成部２０７は、注目画素が正常画素である場合において、切替制御部２０６によりＰＣＭモードが選択されたときは、切替部２０５から入力されるＰＣＭ値を符号化画像データに含める。なお、生成部２０７は、注目画素が同色の画素のうちで画素ブロックの先頭に位置する場合には、注目画素が欠陥画素であっても、注目画素についてＰＣＭ値を符号化画像データに含める。

さらに、生成部２０７は、符号化画像データにいくつかの符号化パラメータを関連付けて、符号化データを生成する。ここでの関連付けは、例えば、符号化画像データに符号化パラメータを多重化すること、及び符号化画像データのアドレスとの間で参照関係を有する（同一の又は異なるメモリの）アドレスに符号化パラメータを書込むことを含み得る。関連付けられる符号化パラメータは、例えば、次のうちの１つ以上を含み得る：
・量子化パラメータ（QP）：当該画素ブロックについて量子化部２０１により利用された量子化ステップを示す
・全画素正常フラグ（all_dpcm_flg）：当該画素ブロックのＮ個の画素が全て正常画素であるか否かを示す。本フラグは、Ｎ個の画素が少なくとも１つの欠陥画素を含むか否かを示すフラグ、又は先頭画素以外の画素が全て差分符号化されているかを示すフラグであるとも解釈され得る
・符号化方式選択フラグ（pcm_dpcm_sel_flag）：当該画素ブロックが少なくとも１つの欠陥画素を含むことを全画素正常フラグが示す場合に、各画素についてＰＣＭモード及びＤＰＣＭモードのいずれが選択されたのかを示す。必ずＰＣＭモードが選択される先頭の画素を除く画素の各々について、本フラグが生成され得る

生成部２０７により生成される符号化データのデータフォーマットについて、後にさらに説明する。生成部２０７は、画像データを構成する複数の画素ブロックについて、符号化データを反復的に生成し、生成した符号化データをフレームメモリ１２２に順次格納する。

（２）符号化データのデータフォーマット
図４は、生成部２０７により生成される符号化データのデータフォーマットの一例について説明するための説明図である。図４（Ａ）に示したデータフォーマット４１０は、画素ブロック内に欠陥画素が存在しない場合に生成され得る符号化データのフォーマットである。一方、図４（Ｂ）に示したデータフォーマット４２０は、画素ブロック内に欠陥画素が存在する場合に生成され得る符号化データのフォーマットである。各フォーマットを構成する矩形の各々は１つのデータフィールドを表し、矩形に付記された数字は当該フィールドの長さを、“ｖ”という文字は当該フィールドの長さが可変であることを表す。ここでは、１つの画素ブロックが１６個の画素からなる（即ち、Ｎ＝１６）ものとする。

データフォーマット４１０及び４２０の冒頭には、共に３ビットの量子化パラメータ（QP）が配置される。量子化パラメータを３ビットとした場合、量子化パラメータは０〜７までの値をとることができ、例えば信号値のビット深度が１２であれば最大の圧縮率は７／１２となる。なお、量子化パラメータのビット数及び値は、上述した例には限定されない。例えば、量子化パラメータのビット数は可変であってもよい。

データフォーマット４１０及び４２０の双方において、量子化パラメータ（QP）の次に全画素正常フラグ（all_dpcm_flg）が配置される。全画素正常フラグが真（“１”）を示す場合、当該画素ブロックは欠陥画素を含まない。一方、全画素正常フラグが偽（“０”）を示す場合、当該画素ブロックは少なくとも１つの欠陥画素を含む。

画素ブロックが欠陥画素を含まない場合、ブロック先頭の（各色の）画素以外の画素の信号値は、全てＤＰＣＭモードで符号化される。この場合の画素ブロックの符号化データの全体的な構成は、データフォーマット４１０の通りである。即ち、真を示す全画素正常フラグに続いて、Ｎ個の画素の可変長の圧縮画素データが符号化順に配置される。さらに、符号化データの全体の長さを一定とするために、圧縮画素データの後にスタッフィングデータが追加される。このようにスタッフィングデータを追加して符号化データの長さをブロック単位で一定にすることで、メモリからのブロック単位の符号化データのランダムな読出し（画像の途中の任意の位置のデータへの柔軟なアクセス）が可能となる。例えば、Ｎ＝１６、信号値のビット深度が１０、圧縮率が８／１０である場合、符号化データのブロック長は、１０×１６×８／１０＝１２８ビットであってよい。この場合に、符号化パラメータ及び圧縮画素データの合計ビットサイズが１００ビットであれば、スタッフィングデータのビットサイズは１２８−１００＝２８ビットであり得る。

画素ブロックが欠陥画素を含む場合、ブロック内の１つ以上の画素の信号値が、ＤＰＣＭモードの代わりにＰＣＭモードで符号化される。この場合の画素ブロックの符号化データの全体的な構成は、データフォーマット４２０の通りである。即ち、偽を示す全画素正常フラグに続いて、Ｋ個（ＫはＮ以下の整数。図中ではＫ＝１５）の符号化方式選択フラグ（pcm_dpcm_sel_flag）が配置される。ここでは、１画素目の信号値が必ずＰＣＭモードで符号化されるとの想定の下で、１画素目の符号化方式選択フラグが省略されている。各符号化方式選択フラグは、当該画素ブロックの対応する画素位置の画素についてＰＣＭモード及びＤＰＣＭモードのいずれが選択されたかを示す。ある符号化方式選択フラグが真（“１”）を示す場合、対応する画素についてＰＣＭ値が後続の圧縮画素データに含められる。ある符号化方式選択フラグが偽（“０”）を示す場合、対応する画素についてＤＰＣＭ値が後続の圧縮画素データに含められる。これらＫ個の符号化方式選択フラグに続いて、Ｎ個の画素の可変長の符号値（ＰＣＭ値又はＤＰＣＭ値）が符号化順に圧縮画素データとして配置される。さらに、符号化データの全体の長さを一定とするために、圧縮画素データの後にスタッフィングデータが追加される。

（３）変形例
ここまで、画素ブロック内の各正常画素について、同色の直前の先行画素が正常画素である場合にＤＰＣＭモードを使用し、同色の直前の先行画素が欠陥画素である場合にＰＣＭモードを使用する例を説明した。このように直前の正常な先行画素のみを差分符号化の基礎とするケースでは、差分符号化の十分な予測精度が確保され、予測精度の低下に起因する圧縮効率の低下が回避される。一方で、同色の直前の先行画素が欠陥画素である場合に、より離れた同色の先行画素を差分符号化の基礎とすることが可能とされてもよい。ある変形例において、切替制御部２０６は、例えば、注目画素に先行する同色の連続する欠陥画素の数を、色ごとに計数する。以下の説明では、計数されるこの数を、連続欠陥画素数Ｎ_ｃｏｎｔという。図３（Ｂ）の画素３２８、３２９及び図３（Ｃ）の画素３４０に注目すると、連続欠陥画素数Ｎ_ｃｏｎｔは、それぞれゼロ、１及び２に等しい。この連続欠陥画素数Ｎ_ｃｏｎｔが所定の閾値Ｎ_ｔｈ未満である場合、注目画素と最も近い同色の正常な先行画素との間の距離が小さく、当該先行画素の信号値に基づく差分符号化が圧縮効率の大きな低下を招かない可能性が高い。そこで、切替制御部２０６は、連続欠陥画素数Ｎ_ｃｏｎｔが閾値Ｎ_ｔｈに達しない場合に、注目画素について、最も近い同色の正常な先行画素の量子化信号値に基づくＤＰＣＭ値を切替部２０５に選択させてもよい。例えば、Ｎ_ｔｈ＝２のケースでは、図３（Ｂ）の例において、注目画素３２９の符号化の際に、最も近い同色の正常な先行画素３２５の信号値に基づく差分符号化が許容され得る。切替制御部２０６は、連続欠陥画素数Ｎ_ｃｏｎｔが閾値Ｎ_ｔｈに達した場合、注目画素について、ＰＣＭ値を切替部２０５に選択させる。生成部２０７は、このように選択されたＤＰＣＭ値又はＰＣＭ値を選択的に使用して、符号化画像データを生成する。こうした変形例によれば、欠陥画素の直後でも複数画素をまたいだ差分符号化が部分的に行われ得ることから、画像信号の空間的相関を活用した圧縮効率の向上が期待され得る。なお、上で説明した同色の直前の先行画素に依存した符号化モードの切替えの例は、閾値Ｎ_ｔｈが１に等しい特殊ケースに該当し得る。閾値Ｎ_ｔｈは、予め固定的に設定されてもよく、又はコントローラにより可変的に指定されてもよい。閾値Ｎ_ｔｈを可変値とすれば、差分符号化のための予測を許容する画素間の距離を適応的に調整することが可能となる。

（４）処理の流れ
図５は、本実施形態に係る符号化処理の流れの一例を示すフローチャートである。図５に示した処理は、画像処理装置１００において、ユーザからの撮像開始指示の検出をトリガとして撮像部１１０により撮像画像の画像データが生成され、生成された画像データ（ＲＡＷデータ）が画像処理部１２０へ転送される都度実行される。ユーザからの撮像開始指示は、例えばボタン又はタッチパネルといった画像処理装置１００のユーザインタフェース（図示せず）を介して検出され得る。なお、以下の説明では、処理ステップをＳ（ステップ）と略記する。

まず、Ｓ５００で、画像処理部１２０の符号化部１２１は、イメージセンサ１１２から、例えば１次元に並ぶＮ個の画素に相当する１ブロック分の信号値を受信する。

次いで、Ｓ５０１で、符号化部１２１は、欠陥画素情報メモリ１２４から、対象のブロックに関連する欠陥画素情報を読出す。なお、符号化部１２１は、欠陥画素情報をブロック単位で読出す代わりに、画像全体の欠陥画素情報を一度に読出してもよい。

次いで、Ｓ５０２で、符号化部１２１は、コントローラ（図示せず）により指定される量子化パラメータを取得する。なお、複数のブロックにわたって共通的な量子化パラメータが指定される場合には、Ｓ５０２は、それら複数のブロックについて一度だけ行われてよい。

次いで、Ｓ５０３で、符号化部１２１は、ブロック単位の符号化処理を実行することにより、Ｓ５００で受信した信号値を符号化して、符号化画像データを生成する。ここで実行されるブロック単位の符号化処理の具体的な流れについて、後にさらに説明する。

次いで、Ｓ５０４で、符号化部１２１の生成部２０７はは、符号化画像データに多重化すべき符号化パラメータを生成する。ここで生成される符号化パラメータは、例えば、上で説明した量子化パラメータ、全画素正常フラグ、及びＫ個の符号化方式選択フラグのうちの１つ以上を含み得る。

次いで、Ｓ５０５で、生成部２０７は、Ｓ５０５で生成した符号化パラメータをＳ５０３で生成した符号化画像データに多重化して、符号化データを生成する。符号化部１２１は、生成した符号化データをフレームメモリ１２２へ書込む。

次いで、Ｓ５０６で、符号化部１２１は、符号化すべき次の画素ブロックが存在するか否かを判定する。符号化すべき次の画素ブロックが存在する場合には、処理はＳ５００へ戻り、次の画素ブロックを対象として、上述したＳ５００〜Ｓ５０５が繰り返される。符号化すべき次の画素ブロックが存在しない場合には、図５に示した符号化処理は終了する。

図６は、図５のＳ５０３のブロック符号化処理の詳細な流れの一例を示すフローチャートである。図６に示した処理は、符号化部１２１の切替制御部２０６による制御に従って、主として量子化部２０１、遅延部２０２、減算部２０３、可変長符号化部２０４及び切替部２０５により実行される。

まず、Ｓ６００で、切替制御部２０６は、連続欠陥画素数Ｎ_ｃｏｎｔをゼロに初期化する。切替制御部２０６は、１つの画素ブロックに現れる色の各々について１つの連続欠陥画素数Ｎ_ｃｏｎｔを設定し得る。次いで、切替制御部２０６は、Ｓ６０１で、画素ブロックの配列のうち未処理の最初の画素に注目し、注目画素が欠陥画素であるか否かを欠陥画素情報に基づいて判定する。注目画素が欠陥画素であると判定された場合、処理はＳ６０２へ進む。一方、注目画素が欠陥画素ではない（即ち、正常画素である）と判定された場合、処理はＳ６０６へ進む。

注目画素が欠陥画素であると判定された場合、Ｓ６０２で、切替制御部２０６は、注目画素の色に対応する連続欠陥画素数Ｎ_ｃｏｎｔの値をインクリメントする。次いで、切替制御部２０６は、Ｓ６０３で、注目画素が同色の画素のうちで画素ブロックの先頭に位置するか否かを判定する。注目画素が同色の画素のうちで画素ブロックの先頭に位置する（例えば、注目画素の画素番号がゼロ又は１である）と判定された場合、処理はＳ６０４へ進む。一方、注目画素がそのような画素ではないと判定された場合、処理はＳ６２０へ進む。

注目画素が欠陥画素であり且つ同色の画素のうちで画素ブロックの先頭に位置すると判定された場合、Ｓ６０４で、量子化部２０１は、注目画素の信号値を所定の値に設定する。その後、処理はＰＣＭモードでの符号化のためにＳ６１１へ進む。

Ｓ６０１で注目画素が正常画素であると判定された場合、Ｓ６０６で、切替制御部２０６は、連続欠陥画素数Ｎ_ｃｏｎｔがゼロに等しいか（即ち、同色の直前の先行画素が正常画素であるか）を判定する。Ｎ_ｃｏｎｔがゼロに等しい場合、処理はＤＰＣＭモードでの符号化のためにＳ６１４へ進む。一方、Ｎ_ｃｏｎｔがゼロに等しくない場合、処理はＳ６０７へ進む。

Ｎ_ｃｏｎｔがゼロに等しくない（即ち、同色の直前の先行画素が欠陥画素である）と判定された場合、Ｓ６０７で、切替制御部２０６は、連続欠陥画素数Ｎ_ｃｏｎｔが閾値Ｎ_ｔｈに達したかを判定する。Ｎ_ｃｏｎｔが閾値Ｎ_ｔｈに達したと判定された場合には、切替制御部２０６は、Ｓ６０８で、Ｎ_ｃｏｎｔをゼロに初期化する。そして、処理はＰＣＭモードでの符号化のためにＳ６１１へ進む。Ｎ_ｃｏｎｔが閾値Ｎ_ｔｈに達していないと判定された場合にも、切替制御部２０６は、Ｓ６０９で、Ｎ_ｃｏｎｔをゼロに初期化する。そして、処理はＤＰＣＭモードでの符号化のためにＳ６１４へ進む。

Ｓ６１１で、量子化部２０１は、量子パラメータにより示される量子化ステップで、注目画素の信号値を量子化して、量子化信号値を生成する。次いで、Ｓ６１２で、量子化信号値がＰＣＭ符号化される。具体的には、切替部２０５は、注目画素の量子化信号値（ＰＣＭ値）を選択して生成部２０７へ出力する。そして、生成部２０７は、切替部２０５から入力されたＰＣＭ値を符号化画像データに含める。

Ｓ６１４で、量子化部２０１は、量子パラメータにより示される量子化ステップで、注目画素の信号値を量子化して、量子化信号値を生成する。次いで、Ｓ６１５で、減算部２０３は、注目画素の量子化信号値から当該注目画素に先行する先行画素の量子化信号値を減算して、注目画素の差分量子化信号値を生成する。次いで、Ｓ６１６で、可変長符号化部２０４は、注目画素の差分量子化信号値を可変長符号化して、差分符号化信号値（ＤＰＣＭ値）を生成する。このＤＰＣＭ値が切替部２０５から生成部２０７へ出力され、生成部２０７により符号化画像データに含められる。

その後、Ｓ６２０で、切替制御部２０６は、処理すべき次の注目画素が存在するか否かを判定する。処理すべき次の注目画素が存在する場合には、処理はＳ６０１へ戻り、次の注目画素を対象として、上述したＳ６０１〜Ｓ６１６が繰り返される。処理すべき次の注目画素が存在しない場合には、図６に示したブロック単位の符号化処理は終了する。

＜２−３．デコーダの詳細な構成＞
（１）各部の説明
本実施形態において、復号部１２３は、符号化画像データに関連付けられた符号化パラメータに従って、ＤＰＣＭモード又はＰＣＭモードのいずれかで、符号化画像データから取得される各符号値を復号して、複数の画素の各々の信号値を復元する。図７は、図１に示した復号部１２３の詳細な構成の一例を示すブロック図である。図７を参照すると、復号部１２３は、分離部７０１、第１切替部７０２、切替制御部７０３、可変長復号部７０４、遅延部７０５、加算部７０６、逆量子化部７０７、補間部７０８及び第２切替部を含む。

分離部７０１は、上述した手法に従って符号化部１２１により生成された符号化データを、フレームメモリ１２２からブロック単位で読出し、読出した符号化データ内の符号化パラメータを符号化画像データから分離する。分離部７０１は、例えば、上述した量子化パラメータ及び全画素正常フラグを分離し、全画素正常フラグが偽を示す場合には、Ｋ個の符号化方式選択フラグをさらに分離する。そして、分離部７０１は、量子化パラメータを逆量子化部７０７へ、全画素正常フラグ及び符号化方式選択フラグを切替制御部７０３へ出力する。また、分離部７０１は、圧縮画素データから各画素の符号値（ＰＣＭ値又はＤＰＣＭ値）を分離して、分離した符号値を順に第１切替部７０２へ出力する。

第１切替部７０２は、復号対象の画素ブロック内の各画素について、切替制御部７０３による制御に従って、分離部７０１から入力される符号値の出力先を、可変長復号部７０４と逆量子化部７０７（及び遅延部７０５）との間で切替える。具体的には、第１切替部７０２は、注目画素の符号値がＰＣＭ値である場合には、ＰＣＭ値を逆量子化部７０７及び遅延部７０５へ出力し、注目画素の符号値がＤＰＣＭ値である場合には、ＤＰＣＭ値を可変長復号部７０４へ出力する。

切替制御部７０３は、分離部７０１から上述した符号化パラメータを取得し、及び欠陥画素情報メモリ１２４から欠陥画素情報を読出す。そして、切替制御部７０３は、符号化パラメータ及び欠陥画素情報に基づいて、画素ブロック内の各画素について、復号モードをＰＣＭモードとＤＰＣＭモードとの間で切替え、且つ復号の代わりに補間により信号値を復元すべきかを制御する。例えば、切替制御部７０３は、画素ブロックの同色の画素のうちの先頭の画素（ベイヤ配列においては、各色の先頭の画素）について、第１切替部７０２に、ＰＣＭ値である符号値を逆量子化部７０７及び遅延部７０５へ出力させる。また、切替制御部７０３は、全画素正常フラグが真を示す画素ブロックの先頭ではない全ての画素について、第１切替部７０２に、ＤＰＣＭ値である符号値を可変長復号部７０４へ出力させる。また、切替制御部７０３は、全画素正常フラグが偽を示す画素ブロックの先頭ではない各画素について、対応する符号化方式選択フラグが真を示す場合には、第１切替部７０２に、ＰＣＭ値である符号値を逆量子化部７０７及び遅延部７０５へ出力させる。また、切替制御部７０３は、対応する符号化方式選択フラグが偽を示す場合には、第１切替部７０２に、ＤＰＣＭ値である符号値を可変長復号部７０４へ出力させる。また、切替制御部７０３は、注目画素が正常画素であることを欠陥画素情報が示す場合に、注目画素について逆量子化部７０７により復元される信号値を、第２切替部７０９に選択させる。また、切替制御部７０３は、注目画素が欠陥画素であることを欠陥画素情報が示す場合に、注目画素について補間部７０８に補間値を生成させ、生成された補間値を、出力すべき信号値として第２切替部７０９に選択させる。

可変長復号部７０４は、第１切替部７０２から入力されるＤＰＣＭ値、即ち差分符号化信号値を、符号化部１２１において使用されたものと同じ可変長符号化方式で復号して、差分量子化信号値を復元する。そして、可変長復号部７０４は、復元した差分量子化信号値を加算部７０６へ出力する。

遅延部７０５は、第１切替部７０２又は加算部７０６から入力される量子化信号値を、後続する画素の信号値の差分復号のための予測値となるように遅延させ、遅延されたタイミングで予測値を加算部７０６へ出力する。例えば、遅延部７０５は、ベイヤパターンを前提として、各量子化信号値を２画素分の入力間隔だけ遅延させる。

加算部７０６は、可変長復号部７０４から入力される注目画素の差分量子化信号値を、遅延部７０５から入力される予測値（先行画素について復号済みの量子化信号値）に加算して、注目画素の量子化信号値を復元する。そして、加算部７０６は、復元した量子化信号値を逆量子化部７０７へ出力する。

逆量子化部７０７は、加算部７０６から入力される量子化信号値、又は第１切替部７０２から入力される量子化信号値を量子パラメータＱＰにより示される量子化ステップで逆量子化して、注目画素の信号値を復元する。そして、逆量子化部７０７は復元した信号値を第２切替部７０９へ出力する。

補間部７０８は、切替制御部７０３による制御に従って、注目画素が欠陥画素である場合に、注目画素の信号値として補間値を生成する。補間値は、例えば、注目画素の直前の同色の先行画素の信号値と同じ値、又は同色の複数の先行画素の信号値の平均値など、いかなる値であってもよい。補間部７０８は、生成した補間値を第２切替部７０９へ出力する。

第２切替部７０９は、切替制御部７０３による制御に従って、注目画素が正常画素であるか又は欠陥画素であるかに依存して、逆量子化部７０７から入力される信号値又は補間部７０８から入力される補間値を、注目画素の信号値として選択する。例えば、第２切替部７０９は、注目画素が正常画素である場合には、注目画素の信号値として逆量子化部７０７により復元された信号値を選択する。一方、第２切替部７０９は、注目画素が欠陥画素である場合には、注目画素の信号値として補間値を選択する。そして、第２切替部７０９は、選択した注目画素の信号値を、復元すべき画像データの信号値として出力する。このように復号部１２３により復元された画像データは、上述したように、再度フレームメモリ１２２へ書込まれ、又は他の画像処理用の回路（図示せず）へ出力され得る。

（２）処理の流れ
図８は、本実施形態に係る復号処理の流れの一例を示すフローチャートである。図８に示した処理は、図５を用いて説明した符号化処理が開始され、フレームメモリ１２２に所定の量の符号化データが書込まれたタイミングで実行される。ここでの所定の量は、１ブロック、数ライン又は１フレームといったいかなる量であってもよく、装置の性能要件又はフレームメモリ１２２のマッピング仕様といった要因を考慮して適宜設計され得る。

まず、Ｓ８００で、復号部１２３の分離部７０１は、フレームメモリ１２２から、図４を用いて説明したデータフォーマットを有する１ブロック分の符号化データを読出す。次いで、分離部７０１は、Ｓ８０１で、読出した符号化データ内の符号化パラメータを符号化画像データから分離する。ここで、例えば量子化パラメータ（QP）及び全画素正常フラグ（all_dpcm_flg）が分離される。分離部７０１は、Ｓ８０２で、全画素正常フラグが真を示すか否かを判定する。全画素正常フラグが偽を示す場合、分離部７０１は、Ｓ８０３で、符号化パラメータに含まれるＫ個の符号化方式選択フラグ（pcm_dpcm_sel_flag）を取得して、取得したフラグを切替制御部７０３へ出力する。

切替制御部７０３は、Ｓ８０４で、欠陥画素情報メモリ１２４から対象のブロックに関連する欠陥画素情報を読出す。なお、切替制御部７０３は、欠陥画素情報をブロック単位で読出す代わりに、画像全体の欠陥画素情報を一度に読出してもよい。全画素正常フラグが真を示す場合、符号化方式選択フラグは取得されず、切替制御部７０３は、Ｓ８０５で、符号化方式選択フラグに対応する内部変数を初期化する。

次いで、Ｓ８０６で、復号部１２３は、ブロック単位の復号処理を実行することにより、Ｓ８０１で符号化データから分離した符号化画像データを復号して、元の画像データを復元する。ここで実行されるブロック単位の復号処理の具体的な流れについて、後にさらに説明する。

次いで、Ｓ８０７で、復号部１２３は、復号すべき次の画素ブロックが存在するか否かを判定する。復号すべき次の画素ブロックが存在する場合には、処理はＳ８００へ戻り、次の画素ブロックを対象として、上述したＳ８００〜Ｓ８０６が繰り返される。復号すべき次の画素ブロックが存在しない場合には、図８に示した復号処理は終了する。

図９は、図８のＳ８０６のブロック復号処理の詳細な流れの一例を示すフローチャートである。図９に示した処理は、復号部１２３の切替制御部７０３による制御に従って、主として第１切替部７０２、可変長復号部７０４、遅延部７０５、加算部７０６、逆量子化部７０７、補間部７０８及び第２切替部により実行される。

まず、Ｓ９００で、切替制御部７０３は、注目画素が同色の画素のうちで画素ブロックの先頭に位置するか否かを判定する。注目画素が同色の画素のうちで画素ブロックの先頭に位置する（例えば、注目画素の画素番号がゼロ又は１である）と判定された場合、処理はＰＣＭモードでの復号のためにＳ９０３へ進む。一方、注目画素がそのような画素ではないと判定された場合、処理はＳ９０１へ進む。

Ｓ９０１で、切替制御部７０３は、注目画素が欠陥画素であるか否かを欠陥画素情報に基づいて判定する。注目画素が欠陥画素であると判定された場合、処理はＳ９１０へ進む。一方、注目画素が欠陥画素ではない（即ち、正常画素である）と判定された場合、処理はＳ９０２へ進む。

Ｓ９０２で、切替制御部７０３は、分離部７０１から入力された符号化パラメータに基づいて、注目画素の符号値をＰＣＭモードで復号すべきかを判定する。例えば、全画素正常フラグが真を示す場合、又は全画素正常フラグが偽を示し且つ対応する符号化方式選択フラグが偽を示す場合には、注目画素の符号値をＤＰＣＭモードで復号すべきであると判定される。一方、全画素正常フラグが偽を示し且つ対応する符号化方式選択フラグが真を示す場合には、注目画素の符号値をＰＣＭモードで復号すべきであると判定される。ＤＰＣＭモードが選択された場合、処理はＤＰＣＭモードでの復号のためにＳ９０５へ進む。一方、ＰＣＭモードが選択された場合、処理はＰＣＭモードでの復号のためにＳ９０４へ進む。

Ｓ９０３で、第１切替部７０２は、分離部７０１から入力されたＰＣＭ値（量子化信号値）を逆量子化部７０７及び遅延部７０５へ出力する。次いで、Ｓ９０４で、逆量子化部７０７は、第１切替部７０２から入力されたＰＣＭ値を量子パラメータにより示される量子化ステップで逆量子化して、注目画素の信号値を復元する。復元された注目画素の信号値は、第２切替部７０９を介して出力される。

Ｓ９０５で、第１切替部７０２は、分離部７０１から入力されたＤＰＣＭ値（差分符号化信号値）を可変長復号部７０４へ出力する。次いで、Ｓ９０６で、可変長復号部７０４は、第１切替部７０２から入力されたＤＰＣＭ値を可変長復号して、差分量子化信号値を復元する。次いで、Ｓ９０７で、加算部７０６は、復元された差分量子化信号値を、遅延部７０５において保持されていた先行画素の量子化信号値（即ち、予測値）に加算して、注目画素の量子化信号値を復元する。次いで、Ｓ９０８で、逆量子化部７０７は、復元された量子化信号値を上記量子化ステップで逆量子化して、注目画素の信号値を復元する。復元された注目画素の信号値は、第２切替部７０９を介して出力される。

Ｓ９１０では、注目画素は欠陥画素であるため、補間部７０８は、注目画素の信号値として補間値を生成する。補間部７０８により生成された補間値は、欠陥画素である注目画素の信号値として、第２切替部７０９を介して出力される。

＜２−４．第１の実施形態のまとめ＞
ここまで、図１〜図９を用いて、第１の実施形態について詳細に説明した。上述した実施形態では、イメージセンサにより生成される画像データを符号化して扱う装置に、当該イメージセンサが有する複数の画素のうちの欠陥画素を特定する欠陥画素情報が予め提供される。そして、注目画素が欠陥画素情報により特定される正常画素である場合に、当該注目画素に先行する先行画素が欠陥画素であるか否かに依存して、ＤＰＣＭモード又はＰＣＭモードのいずれかで、注目画素の信号値が符号化される。かかる構成によれば、欠陥画素に後続する正常画素において、欠陥画素が示す極端な信号値及び当該正常画素とは相関の低い遠く離れた画素の信号値に基づいて差分符号化を行うことを回避することができる。したがって、差分符号化における予測精度の乱れに起因して多くの符号量が発生することが回避されるため、画像データの圧縮効率が改善される。また、符号化時の符号化モードの切替えは、予め装置に提供される欠陥画素情報に基づいて行われるため、エンコーダの処理が複雑化せず、処理のリアルタイム性が十分に確保され、実装コストは抑制される。

また、上述した実施形態では、注目画素が欠陥画素である場合には、当該注目画素の信号値は符号化されない。かかる構成によれば、欠陥画素の極端な信号値に対応する符号値が符号化画像データから除外されるため、画像データの圧縮効率は一層改善される。
できる。

また、上述した実施形態では、上記イメージセンサは、複数色が予め定義された配列で配置されたカラーフィルタを有し、各画素が複数色の１つに対応する。そして、ＤＰＣＭモードでの注目画素の差分符号化における予測値は、当該注目画素と同色が割当てられた先行画素の信号値に基づく。かかる構成によれば、同色の画素の範囲内で正常画素が続く限り（途中で他の色の欠陥画素が存在しても）ＤＰＣＭモードが選択され得るため、近傍の同色画素間の相関を活用して圧縮効率を高めることができる。

また、上述した実施形態では、Ｎ個の画素の単位で画像データが符号化され、当該Ｎ個の画素の全てが正常画素であるか否かを示すフラグが符号化画像データに関連付けられる。かかる構成によれば、符号化画像データを復号するデコーダは、Ｎ個の画素の全てが正常画素であることを当該フラグが示す場合に、それら画素の（先頭画素を除く）全てについて画一的にＤＰＣＭモードを適用することができる。したがって、デコーダの処理の複雑さが低減され、処理のリアルタイム性が向上し得る。

また、上述した実施形態では、少なくとも１つの画素が欠陥画素であることを上記フラグが示す場合に、各画素についていずれの符号化モードが選択されたのかを示すパラメータが上記符号化画像データにさらに関連付けられる。かかる構成によれば、符号化画像データを復号するデコーダは、当該パラメータの値に従って復号モードをＤＰＣＭモードとＰＣＭモードとの間で切替えればよいため、デコーダの処理の複雑さを一層低減することができる。

＜＜３．第２の実施形態＞＞
＜３−１．基本的な構成＞
第２の実施形態では、イメージセンサから取得される画素の各々が欠陥画素である場合に、エンコーダにおいて、欠陥画素の信号値（又は量子化信号値）を、当該欠陥画素の直前の先行画素の信号値（又は量子化信号値）に置換する。それにより、欠陥画素に後続する画素を含む、画素ブロック内の先頭画素以外の全ての画素について、画一的にＤＰＣＭモードを利用することが可能となる。

図１０は、第２の実施形態に係る画像処理装置１０００の基本的な構成の一例を示すブロック図である。ここでは、画像データの圧縮符号化に関係しない装置の構成要素は、説明を曖昧にしないために省略されている。図１０を参照すると、画像処理装置１０００は、撮像部１１０及び画像処理部１０２０を備える。

画像処理部１０２０は、第１の実施形態に係る画像処理部１２０と同様の、撮像部１１０から入力される画像データについて様々な画像処理を行うための回路である。画像処理部１０２０は、符号化部１０２１、フレームメモリ１２２、復号部１０２３及び欠陥画素情報メモリ１２４を含む。画像処理部１０２０のこれら構成要素は、ハードウェア、ソフトウェア、及びハードウェアとソフトウェアとの組合せのいずれによって実装されてもよい。

符号化部１０２１は、撮像部１１０から入力される画像データを、画像処理装置１０００を制御するコントローラから指示される制御パラメータに従って圧縮符号化して、符号化画像データを生成する。撮像部１１０から入力される画像データは、イメージセンサ１１２が有する複数の画素にそれぞれ対応する信号値を含むデータである。符号化部１０２１は、第１の実施形態に係る符号化部１２１とは異なり、符号化画像データに量子化パラメータのみを関連付けて符号化データを生成し、画素ブロックの単位で符号化データをフレームメモリ１２２へ書き込む。但し、本実施形態においても、何らかの追加的な符号化パラメータが符号化画像データに関連付けられてもよい。

復号部１０２３は、フレームメモリ１２２から符号化データを読出し、読出した符号化データに含まれる符号化画像データを復号して、元の画像データを復元する。復号部１０２３は、復元した画像データを、再度フレームメモリ１２２へ書込んでもよく、又は他の画像処理用の回路（図示せず）へ出力してもよい。画像処理部１０２０は、第１の実施形態に係る画像処理部１２０と同様に、復元された画像データについて、光学的歪み補正、シェーディング補正、デベイヤ、カラーマトリクス変換及びノイズ削減のうちの１つ以上を実行する処理回路を含んでもよい。復号部１０２３により実行される復号処理は、画素ブロック内の（同色画素のうちの）先頭画素についてＰＣＭモードで信号値を復元し、後続の画素についてＤＰＣＭモードで信号値を復元するという、欠陥画素情報を要しない画一的な処理である。そのため、ここでは復号部１０２３のより詳細な構成の説明を省略する。

＜３−２．エンコーダの詳細な構成＞
（１）各部の説明
図１１は、図１０に示した符号化部１０２１の詳細な構成の一例を示すブロック図である。図１１を参照すると、符号化部１０２１は、量子化部１１００、置換部１１０１、遅延部１１０２、減算部１１０３、可変長符号化部１１０４、切替部１１０５、切替制御部１１０６、生成部１１０７及び置換値設定部１１１０を含む。

符号化部１０２１へ入力される画像データは、ベイヤパターンで配列されたイメージセンサ１１２の複数の画素から順次読出される信号値を含む。第１の実施形態に係る符号化部１２１と同様に、符号化部１０２１は、これら信号値を、１次元に並ぶＮ個の画素のブロック（即ち、１×Ｎの画素ブロック）の単位で符号化するものとする。ベイヤパターンの場合、１×Ｎの画素ブロックの画像データは、Ｒ及びＧ又はＧ及びＢという、２つの色成分の信号値が交互に並んだ１次元配列となる。

量子化部１１００は、量子パラメータＱＰにより示される量子化ステップで、Ｎ個の画素の各々の信号値を量子化して、量子化信号値を生成する。そして、量子化部１１００は、生成した量子化信号値を置換部１１０１及び切替部１１０５へ出力する。

置換部１１０１には、画素ブロック内の各画素について、量子化部１１００により生成された量子化信号値、又は後述する置換値設定部１１１０により設定された置換値が入力される。置換部１１０１は、切替制御部１１０６による制御に従って、注目画素が欠陥画素である場合に、注目画素の量子化信号値を、置換値設定部１１１０から入力される置換値に置換する。そして、置換部１１０１は、置換値を遅延部１１０２及び減算部１１０３へ出力する。注目画素が正常画素である場合には、置換部１１０１は、注目画素の量子化信号値を置換することなく遅延部１１０２及び減算部１１０３へ出力する。これ以降の説明において、注目画素の量子化信号値とは、注目画素が正常画素である場合には置換されていない量子化信号値を、注目画素が欠陥画素である場合には置換値を意味する。

なお、図１１には、量子化部１１００の後段に置換部１１０１が設けられる例が示されているが、量子化部１１００の前段に置換手段が設けられてもよい。その場合、置換手段は、注目画素の量子化信号値ではなく量子化前の信号値を、注目画素と同色の直前の先行画素の信号値に置換し得る。

遅延部１１０２は、置換部１１０１から入力される各画素の量子化信号値を、後続する画素の信号値の差分符号化のための予測値となるように遅延させ、遅延されたタイミングで予測値を減算部１１０３へ出力する。例えば、遅延部１１０２は、ベイヤパターンを前提として、各値を２画素分の入力間隔だけ遅延させる。また、置換部１１０１は、遅延させた量子化信号値を、置換値設定部１１１０にも出力する。

減算部１１０３は、置換部１１０１から入力される注目画素の量子化信号値から当該注目画素に先行する先行画素の量子化信号値を減算して、注目画素の差分量子化信号値を生成する。そして、減算部１１０３は、生成した差分量子化信号値を可変長符号化部１１０４へ出力する。

可変長符号化部１１０４は、減算部１１０３から入力される注目画素の差分量子化信号値を所定の可変長符号化方式で符号化して、差分符号化信号値を生成する。ここでの所定の可変長符号化方式とは、例えばハフマン符号又はゴロム符号といった、いかなる種類の可変長符号化方式であってもよい。

切替部１１０５には、上述した画素ブロック内の各画素について、量子化部１１００により生成された量子化信号値（即ち、ＰＣＭ値）、又は可変長符号化部１１０４により生成された差分符号化信号値（即ち、ＤＰＣＭ値）が入力される。切替部１１０５は、切替制御部１１０６による制御に従って、各画素についてＰＣＭ値及びＤＰＣＭ値のうちの一方の符号値を選択し、選択した値を生成部１１０７へ出力する。

切替制御部１１０６は、欠陥画素情報メモリ１２４から読出される欠陥画素情報を用いて、画素ブロック内の各画素について、量子化信号値を置換値に置換すべきか、並びにＰＣＭ値及びＤＰＣＭ値のいずれを符号値として使用すべきかを制御する。本実施形態において、切替制御部１１０６は、注目画素が欠陥画素情報により特定される欠陥画素である場合に、置換値設定部１１１０に置換値を設定させ、置換部１１０１に注目画素の量子化信号値を設定された置換値に置換させる。また、切替制御部１１０６は、注目画素が同色の画素のうちで画素ブロックの先頭に位置する場合には、注目画素についてＰＣＭ値を切替部１１０５に選択させ、そうでない場合には注目画素についてＤＰＣＭ値を切替部１１０５に選択させる。

生成部１１０７は、画素ブロック内の各画素について、切替制御部１１０６による制御に従って、切替部１１０５から選択的に入力されるＰＣＭ値又はＤＰＣＭ値を使用して、符号化画像データを生成する。具体的には、本実施形態において、生成部１１０７は、注目画素が同色の画素のうちで画素ブロックの先頭に位置する場合には、注目画素についてＰＣＭ値を符号化画像データに含める。また、生成部１１０７は、注目画素が同色の画素のうちで画素ブロックの先頭に位置しない場合には、注目画素についてＤＰＣＭ値を符号化画像データに含める。生成部１１０７は、符号化画像データに量子化パラメータを関連付けて、符号化画像データを生成する。生成部１１０７は、画素ブロックの単位で符号化データのデータ長を一定とするために、符号化データにスタッフィングデータを追加してもよい。生成部１１０７は、撮像画像を構成する複数の画素ブロックについて、符号化データを反復的に生成し、生成した符号化データをフレームメモリ１２２に順次格納する。

置換値設定部１１１０は、切替制御部１１０６による制御に従って、注目画素が欠陥画素である場合に、当該注目画素の量子化信号値を置換するための置換値を設定する。例えば、欠陥画素である注目画素が画素ブロックの同色の画素のうちで先頭の画素である場合、置換値設定部１１１０は、例えば量子化後の信号値のレンジの中央の値、又は前回符号化した画素ブロックの最後の量子化信号値を置換値として設定する。また、置換値設定部１１１０は、画素ブロック内に注目画素に先行する同色の画素が存在する場合、注目画素と同色の直前の先行画素の量子化信号値を置換値として設定する。このように直前の信号値を一時的に保持する処理を、前値ホールドともいう。置換値設定部１１１０は、設定した置換値を置換部１１０１へ出力する。

なお、ここでは注目画素と同色の直前の先行画素の量子化信号値（又は信号値）が置換値となる例を説明したが、置換値は、他の値であってもよい。例えば、同色の複数の先行画素の量子化信号値（又は信号値）の平均値又は中央値が置換値として設定されてもよい。また、注目画素の近傍の複数の画素の量子化信号値（又は信号値）のうちで、差分符号化の差分を最小化するような値が置換値として適応的に設定されてもよい。

図１２は、欠陥画素の信号値の置換の一例について説明するための説明図である。図１２の例において、１つの画素ブロック内の画素数Ｎは１６に等しく、画素番号０〜１５をそれぞれ付与された１６個の画素が、符号化順で左から右へ示されている。図中の記号の意味は、図３に関連して説明したものと同様である。ここでは、１６個の画素のうち番号７の赤色の画素１２１７が欠陥画素である。

図１２（Ａ）には、信号値の置換の前の状況が示されている。画素１２１７が欠陥画素であるために、画素１２１７の直後の同色の画素である画素１２１９において、先行画素１２１７の信号値をＤＰＣＭモードの予測値として使用すると、予測差分値が過剰に大きくなり多量の符号が発生する。

図１２（Ｂ）には、信号値の置換後の状況が示されている。欠陥画素である画素１２１７の信号値は、画素１２１７の直前の同色の先行画素１２１５の信号値に置換される。結果的に、画素１２１９において、先行画素１２１７の信号値をＤＰＣＭモードの予測値として使用したとしても、予測差分値が過剰に大きくなることはなく、発生する符号量は抑制される。画素１２１７のＤＰＣＭモードでの符号化においては、画素１２１７の置換後の信号値が先行画素１２１５の信号値と等しくなるため、予測差分値はゼロとなる。それにより、後段の可変長符号化後の符号値の長さは極めて短くなる。

（２）処理の流れ
図１３は、本実施形態に係る符号化処理の流れの一例を示すフローチャートである。図１３に示した処理は、画像処理装置１０００において、ユーザからの撮像開始指示の検出をトリガとして撮像部１１０により撮像画像の画像データが生成され、生成された画像データ（ＲＡＷデータ）が画像処理部１０２０へ転送される都度実行される。ユーザからの撮像開始指示は、例えばボタン又はタッチパネルといった画像処理装置１０００のユーザインタフェース（図示せず）を介して検出され得る。

まず、Ｓ１３００で、画像処理部１０２０の符号化部１０２１は、イメージセンサ１１２から、例えば１次元に並ぶＮ個の画素に相当する１ブロック分の信号値を受信する。

次いで、Ｓ１３０１で、符号化部１０２１は、欠陥画素情報メモリ１２４から、対象のブロックに関連する欠陥画素情報を読出す。なお、符号化部１０２１は、欠陥画素情報をブロック単位で読出す代わりに、画像全体の欠陥画素情報を一度に読出してもよい。

次いで、Ｓ１３０２で、符号化部１０２１は、コントローラ（図示せず）により指定される量子化パラメータを取得する。なお、複数のブロックにわたって共通的な量子化パラメータが指定される場合には、Ｓ１３０２は、それら複数のブロックについて一度だけ行われてよい。

次いで、Ｓ１３０３で、符号化部１０２１は、ブロック単位の符号化処理を実行することにより、Ｓ１３００で受信した信号値を符号化して、符号化画像データを生成する。ここで実行されるブロック単位の符号化処理の具体的な流れについて、後にさらに説明する。

次いで、Ｓ１３０４で、符号化部１０２１は、符号化処理によって生成した符号化画像データ（及び、必要に応じてスタッフィングデータ）をフレームメモリ１２２へ出力する。

次いで、Ｓ１３０５で、符号化部１０２１は、符号化すべき次の画素ブロックが存在するか否かを判定する。符号化すべき次の画素ブロックが存在する場合には、処理はＳ１３００へ戻り、次の画素ブロックを対象として、上述したＳ１３００〜Ｓ１３０４が繰り返される。符号化すべき次の画素ブロックが存在しない場合には、図１３に示した符号化処理は終了する。

図１４は、図１３のＳ１３０３のブロック符号化処理の詳細な流れの一例を示すフローチャートである。図１４に示した処理は、符号化部１０２１の切替制御部１１０６による制御に従って、主として量子化部１１００、置換部１１０１、遅延部１１０２、減算部１１０３、可変長符号化部１１０４、切替部１１０５及び置換値設定部１１１０により実行される。

まず、Ｓ１４０１で、切替制御部１１０６は、画素ブロックの配列のうち未処理の最初の画素に注目し、注目画素が欠陥画素であるか否かを欠陥画素情報に基づいて判定する。注目画素が欠陥画素であると判定された場合、処理はＳ１４０２へ進む。一方、注目画素が欠陥画素ではない（即ち、正常画素である）と判定された場合、処理はＳ１４０５へ進む。

注目画素が欠陥画素であると判定された場合、Ｓ１４０２で、切替制御部１１０６は、注目画素が同色の画素のうちで画素ブロックの先頭に位置するか否かを判定する。注目画素が同色の画素のうちで画素ブロックの先頭に位置する（例えば、注目画素の画素番号がゼロ又は１である）と判定された場合、処理はＳ１４０３へ進む。一方、注目画素がそのような画素ではないと判定された場合、処理はＳ１４０４へ進む。

注目画素が欠陥画素であり且つ同色の画素のうちで画素ブロックの先頭に位置すると判定された場合、Ｓ１４０３で、置換部１１０１は、注目画素の量子化信号値を、置換値設定部１１１０により設定される所定の値に置換する。その後、処理はＰＣＭモードでの符号化のためにＳ１４１０へ進む。

一方、注目画素が欠陥画素であり且つ同色の画素のうちで画素ブロックの先頭に位置しないと判定された場合、Ｓ１４０４で、置換部１１０１は、注目画素の量子化信号値を、注目画素と同色の直前の先行画素の量子化信号値に置換する。その後、処理はＤＰＣＭモードでの符号化のためにＳ１４１５へ進む。

Ｓ１４０１で注目画素が正常画素であると判定された場合、Ｓ１４０５で、量子化部１１００は、量子パラメータにより示される量子化ステップで、注目画素の信号値を量子化して、量子化信号値を生成する。次いで、切替制御部１１０６は、Ｓ１４０６で、注目画素が同色の画素のうちで画素ブロックの先頭に位置するか否かを判定する。注目画素が同色の画素のうちで画素ブロックの先頭に位置すると判定された場合、処理はＰＣＭモードでの符号化のためにＳ１４１０へ進む。一方、注目画素がそのような画素ではないと判定された場合、処理はＤＰＣＭモードでの符号化のためにＳ１４１５へ進む。

Ｓ１４１０で、正常画素についての量子化後の量子化信号値、又は欠陥画素についての置換後の量子化信号値がＰＣＭモードでそのまま符号化される。具体的には、切替部１１０５は、注目画素の量子化信号値（ＰＣＭ値）を選択して生成部１１０７へ出力する。そして、生成部１１０７は、切替部１１０５から入力されたＰＣＭ値を符号化画像データに含める。

Ｓ１４１５で、減算部１１０３は、注目画素の量子化信号値から当該注目画素に先行する先行画素の量子化信号値を減算して、注目画素の差分量子化信号値を生成する。次いで、Ｓ１４１６で、可変長符号化部１１０４は、注目画素の差分量子化信号値を可変長符号化して、差分符号化信号値（ＤＰＣＭ値）を生成する。このＤＰＣＭ値が切替部１１０５から生成部１１０７へ出力され、生成部１１０７により符号化画像データに含められる。

その後、Ｓ１４２０で、切替制御部１１０６は、処理すべき次の注目画素が存在するか否かを判定する。処理すべき次の注目画素が存在する場合には、処理はＳ１４０１へ戻り、次の注目画素を対象として、上述したＳ１４０１〜Ｓ１４１６が繰り返される。処理すべき次の注目画素が存在しない場合には、図１４に示したブロック単位の符号化処理は終了する。

＜３−３．第２の実施形態のまとめ＞
ここまで、図１０〜図１４を用いて、第２の実施形態について詳細に説明した。上述した実施形態では、イメージセンサにより生成される画像データを符号化して扱う装置に、当該イメージセンサが有する複数の画素のうちの欠陥画素を特定する欠陥画素情報が予め提供される。そして、注目画素が欠陥画素情報により特定される欠陥画素である場合に、当該注目画素の信号値又は量子化信号値が直前の先行画素の信号値又は量子化信号値に置換され、置換後の値に基づいてＤＰＣＭモードでの符号化が行われる。かかる構成によれば、直前の先行画素以外の先行画素の値を一時的に保持しておくことが不要となるため、エンコーダの処理が複雑化しない。また、注目画素と直前の先行画素との間で信号値の相関が通常高いと想定されることから、直前の先行画素の信号値を置換値として用いれば、差分符号化によって発生する符号量を効果的に抑制して、圧縮効率の低下を防止することができる。加えて、デコーダは、先頭の画素を除く全ての画素について画一的にＤＰＣＭモードを利用すればよいため、デコーダを簡易に実装することが可能となる。また、エンコーダとデコーダとの間でやり取りされる符号化データのデータフォーマットも単純化される。

また、上述した実施形態では、上記イメージセンサは、複数色が予め定義された配列で配置されたカラーフィルタを有し、各画素が複数色の１つに対応し、上記先行画素は、上記注目画素と同色の画素である。かかる構成によれば、同色の画素の信号値が置換値として使用されるため、近傍の同色画素間の相関を活用して圧縮効率を高めることができる。

＜＜４．変形例＞＞
本発明は上記実施形態に限定されず、様々な変形が可能である。例えば、注目画素及び先行画素が共に正常画素である場合に、注目画素について、ＰＣＭ値及びＤＰＣＭ値のうち符号長のより短い符号値が符号化画像データに含められてもよい。それにより、圧縮効率のさらなる向上が可能である。

＜＜５．その他の実施形態＞＞
上記実施形態は、１つ以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する処理の形式でも実現可能である。また、１つ以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００，１０００：画像処理装置、１１２：イメージセンサ、１２１，１０２１：符号化部、１２３，１０２３：復号部、１２４：欠陥画素情報メモリ

Claims

イメージセンサが有する複数の画素のうちの欠陥画素を特定する欠陥画素情報を記憶する記憶手段と、
前記イメージセンサにより生成される前記複数の画素の信号値を含む画像データを符号化して、符号化画像データを生成する符号化手段と、
を備え、
前記符号化手段は、注目画素が前記欠陥画素情報により特定される欠陥画素ではない正常画素である場合に、前記注目画素に先行する先行画素が欠陥画素であるか否かに依存して、前記注目画素の信号値を差分符号化する第１の符号化モード、又は前記注目画素の信号値を差分符号化を行うことなく符号化する第２の符号化モードのいずれかで符号化する、
画像処理装置。
請求項１に記載の画像処理装置であって、前記符号化手段は、前記注目画素が欠陥画素である場合に、前記注目画素の前記信号値を符号化しない、画像処理装置。
請求項１又は２に記載の画像処理装置であって、
前記イメージセンサは、複数色が予め定義された配列で配置されたカラーフィルタを有し、前記複数の画素の各々が前記複数色の１つに対応し、
前記先行画素は、前記複数色のうち前記注目画素と同色が割当てられた画素であり、
前記第１の符号化モードにおいて、前記注目画素の前記差分符号化における予測値は、前記先行画素の前記信号値に基づく、
画像処理装置。
請求項１乃至３のいずれか１項に記載の画像処理装置であって、前記符号化手段は、前記注目画素の直前の前記先行画素が正常画素である場合に、前記注目画素の前記信号値を前記第１の符号化モードで符号化し、前記注目画素の直前の前記先行画素が欠陥画素である場合に、前記注目画素の前記信号値を前記第２の符号化モードで符号化する、画像処理装置。
請求項１乃至３のいずれか１項に記載の画像処理装置であって、前記符号化手段は、前記注目画素に先行する連続する欠陥画素の数が閾値に達しない場合に、前記注目画素の前記信号値を前記第１の符号化モードで符号化し、前記注目画素に先行する連続する欠陥画素の数が前記閾値に達した場合に、前記注目画素の前記信号値を前記第２の符号化モードで符号化する、画像処理装置。
請求項１乃至５のいずれか１項に記載の画像処理装置であって、前記符号化手段は、前記第１の符号化モードにおいて、
前記注目画素の前記信号値を量子化して、前記注目画素の量子化信号値を生成し、
前記注目画素の前記量子化信号値から前記先行画素の量子化信号値を減算して、前記注目画素の差分量子化信号値を生成し、
前記注目画素の前記差分量子化信号値を可変長符号化して、前記注目画素の差分符号化信号値を生成し、
前記注目画素の前記差分符号化信号値を前記符号化画像データに含める、
画像処理装置。
請求項６に記載の画像処理装置であって、前記符号化手段は、前記第２の符号化モードにおいて、
前記注目画素の前記信号値を量子化して、前記注目画素の量子化信号値を生成し、
前記注目画素の前記量子化信号値を前記符号化画像データに含める、
画像処理装置。
請求項１乃至７のいずれか１項に記載の画像処理装置であって、前記符号化手段は、Ｎ個（Ｎは整数）の画素の単位で前記画像データを符号化し、前記Ｎ個の画素の全てが正常画素であるか否かを示す第１のパラメータを前記符号化画像データに関連付ける、画像処理装置。
請求項８に記載の画像処理装置であって、前記符号化手段は、前記Ｎ個の画素のうちの少なくとも１つが欠陥画素である場合に、各画素についていずれの符号化モードが選択されたのかを示す第２のパラメータを前記符号化画像データにさらに関連付ける、画像処理装置。
請求項８又は９に記載の画像処理装置であって、
前記符号化手段により生成された前記符号化画像データを復号して、前記複数の画素の前記信号値を含む前記画像データを復元する復号手段、をさらに備え、
前記復号手段は、前記符号化手段により前記符号化画像データに関連付けられたパラメータに従って、符号値を差分復号する第１の復号モード、又は符号値を差分復号することなく復号する第２の復号モードのいずれかで、前記符号化画像データから取得される各符号値を復号して、前記複数の画素の各々の前記信号値を復元する、
画像処理装置。
イメージセンサにより生成される画像データを符号化するための、画像処理装置において実行される画像処理方法であって、
前記画像処理装置は、前記イメージセンサが有する複数の画素のうちの欠陥画素を特定する欠陥画素情報を記憶する記憶手段を備え、
前記画像処理方法は、
注目画素が前記欠陥画素情報により特定される欠陥画素ではない正常画素である場合に、前記注目画素に先行する先行画素が欠陥画素であるか否かに依存して、前記注目画素の信号値を差分符号化する第１の符号化モード、又は前記注目画素の信号値を差分符号化を行うことなく符号化する第２の符号化モードのいずれかで符号化すること、
を含む、画像処理方法。
イメージセンサが有する複数の画素のうちの欠陥画素を特定する欠陥画素情報を記憶する記憶手段と、
前記イメージセンサにより生成される前記複数の画素の信号値を含む画像データを符号化して、符号化画像データを生成する符号化手段と、
を備え、
前記符号化手段は、
注目画素の前記信号値を量子化して、前記注目画素の量子化信号値を生成する量子化手段と、
前記注目画素の前記量子化信号値から前記注目画素の直前の先行画素の量子化信号値を減算して、前記注目画素の差分量子化信号値を生成する減算手段と、
前記注目画素の前記差分量子化信号値を可変長符号化して、前記注目画素の差分符号化信号値を生成する可変長符号化手段と、
前記注目画素が前記欠陥画素情報により特定される欠陥画素である場合に、前記注目画素の前記信号値又は前記量子化信号値を、前記注目画素の直前の前記先行画素の前記信号値又は前記量子化信号値に置換する置換手段と、
を含む、画像処理装置。
請求項１２に記載の画像処理装置であって、
前記イメージセンサは、複数色が予め定義された配列で配置されたカラーフィルタを有し、前記複数の画素の各々が前記複数色の１つに対応し、
前記先行画素は、前記複数色のうち前記注目画素と同色が割当てられた画素である、
画像処理装置。
イメージセンサにより生成される画像データを符号化するための、画像処理装置において実行される画像処理方法であって、
前記画像処理装置は、前記イメージセンサが有する複数の画素のうちの欠陥画素を特定する欠陥画素情報を記憶する記憶手段を備え、
前記画像処理方法は、
注目画素の信号値を量子化して、前記注目画素の量子化信号値を生成することと、
前記注目画素の前記量子化信号値から前記注目画素の直前の先行画素の量子化信号値を減算して、前記注目画素の差分量子化信号値を生成することと、
前記注目画素の前記差分量子化信号値を可変長符号化して、前記注目画素の差分符号化信号値を生成することと、
を含み、
前記画像処理方法は、前記注目画素が前記欠陥画素情報により特定される欠陥画素である場合に、前記注目画素の前記信号値又は前記量子化信号値を、前記注目画素の直前の前記先行画素の前記信号値又は前記量子化信号値に置換すること、をさらに含む、
画像処理方法。
前記イメージセンサと、
請求項１乃至１０、１２及び１３のいずれか１項に記載の画像処理装置と、
を含む撮像装置。