JP2012209709A - 画像処理装置および方法、記録媒体並びにプログラム - Google Patents

Abstract

【課題】色を正確に表すことができるようにする。
【解決手段】保持部により、入力された画素値が保持される。基本画素値演算部により、保持部により保持された画素値の注目画素の周辺に位置する周辺画素であって、注目画素と同じ色の複数の画素の画素値から基本画素値が演算される。異色画素変化量演算部により、周辺画素であって、注目画素と異なる色の画素の画素値の変化量である異色画素変化量が演算される。合成部により、基本画素値と異色画素変化量とを合成して、注目画素の画素値の推定値が演算される。補正部により、注目画素の画素値が推定値により補正される。
【選択図】図１９

Description

本技術は画像処理装置および方法、記録媒体並びにプログラムに関し、特に色を正確に表すことができるようにした画像処理装置および方法、記録媒体並びにプログラムに関する。

デジタルカメラにおいては、イメージセンサにより被写体が撮像され、撮像された画像が記憶されたり、表示される。

イメージセンサの画素の中に欠陥画素があると、欠陥画素の画素値は異常な値となる。そこで、欠陥画素の画素値を補正することが行われている（例えば特許文献１）。

特開２０１０−１８７３０８号公報

欠陥画素の画素値の補正は、例えば欠陥画素を基準として、ｎ×ｍ個の範囲の周辺画素のうち、同じ色の画素の画素値から、欠陥画素の画素値を推定して、推定された画素値を欠陥画素値と置き換えることで行われる。

しかしながら、従来の方法では、補正された結果、偽色現象が発生することがあった。すなわち、被写体の色を正確に表すことが困難であった。

本技術はこのような状況に鑑みてなされたものであり、色を正確に表すことができるようにする。

本技術の側面は、入力された画素値を保持する保持部と、前記保持部により保持された画素値の注目画素の周辺に位置する周辺画素であって、前記注目画素と同じ色の複数の画素の画素値から基本画素値を演算する基本画素値演算部と、前記周辺画素であって、前記注目画素と異なる色の画素の画素値の変化量である異色画素変化量を演算する異色画素変化量演算部と、前記基本画素値と前記異色画素変化量とを合成して、前記注目画素の画素値の推定値を演算する合成部と、前記注目画素の画素値を前記推定値により補正する補正部とを備える画像処理装置である。

前記異色画素変化量演算部は、前記注目画素と同じライン上の前記注目画素より前の異なる色の複数の画素の画素値の差、または前記注目画素と同じ前記ライン上の前記注目画素より後の異なる色の複数の画素の画素値の差を、前記異色画素変化量とすることができる。

前記異色画素変化量演算部は、前記注目画素より前の異なる色の複数の画素の画素値の差と、前記注目画素より後の異なる色の複数の画素の画素値の差のうち、大きい方を、前記異色画素変化量とすることができる。

前記周辺画素であって、前記注目画素と同じ色の画素の画素値の変化量である同色画素変化量を演算する同色画素変化量演算部をさらに備え、前記合成部は、前記基本画素値、前記異色画素変化量、および前記同色画素変化量を合成して、前記推定値を演算することができる。

前記同色画素変化量演算部は、前記注目画素と同じライン上の前記注目画素より前の同じ色の複数の画素の画素値の差、または前記注目画素と同じ前記ライン上の前記注目画素より後の同じ色の複数の画素の画素値の差を、前記同色画素変化量とすることができる。

前記同色画素変化量演算部は、前記注目画素より前の同じ色の複数の画素の画素値の差と、前記注目画素より後の同じ色の複数の画素の画素値の差のうち、大きい方を、前記同色画素変化量とすることができる。

前記補正部は、前記基本画素値が前記周辺画素の画素値より大きい場合、前記注目画素の画素値が前記推定値より大きければ前記注目画素の画素値を補正し、前記基本画素値が前記周辺画素の画素値より小さい場合、前記注目画素の画素値が前記推定値より小さければ前記注目画素の画素値を補正することができる。

前記画像処理装置は、イメージセンサとすることができる。

本技術の側面においては、入力された画素値が保持され、保持された画素値の注目画素の周辺に位置する周辺画素であって、注目画素と同じ色の複数の画素の画素値から基本画素値が演算される。周辺画素であって、注目画素と異なる色の画素の画素値の変化量である異色画素変化量が演算される。基本画素値と異色画素変化量とを合成して、注目画素の画素値の推定値が演算される。注目画素の画素値が推定値により補正される。

本技術の側面の画像処理方法、記録媒体及びプログラムは、上述した本技術の側面の画像処理装置に対応する画像処理方法、記録媒体及びプログラムである。

以上のように、本技術の側面によれば、色を正確に表すことができる。

イメージセンサの構成を示す図である。 画素の配列を説明する図である。 欠陥画素を説明する図である。 周辺画素を説明する図である。 座標軸を説明する図である。 欠陥画素と周辺画素の画素値を説明する図である。 欠陥画素と周辺画素の画素値を説明する図である。 欠陥画素と周辺画素の画素値を説明する図である。 欠陥画素の画素値の予測を説明する図である。 注目画素と同じ色の周辺画素の変化量を説明する図である。 注目画素と異なる色の周辺画素の変化量を説明する図である。 変化量の合成を説明する図である。 注目画素の推定値の演算を説明する図である。 注目画素の補正を説明する図である。 欠陥画素の画素値の予測を説明する図である。 変化量の合成を説明する図である。 注目画素の推定値の演算を説明する図である。 注目画素の補正を説明する図である。 欠陥画素補正処理部の構成を示すブロック図である。 推定値演算部の機能的構成を示すブロック図である。 欠陥画素補正処理を説明するフローチャートである。 ライン単位で蓄積時間が異なる場合を説明する図である。

以下、技術を実施するための形態（以下、実施の形態と称する）について説明する。

図１は、イメージセンサ１の構成を示す図である。例えばCMOS（Complementary Metal Oxide Semiconductor）イメージセンサにより構成されるイメージセンサ１は、画素アレイ部１１、垂直駆動部１２、カラム処理部１３、水平駆動部１４、制御部１５、記憶部１６、および信号処理部１７を有している。

画素アレイ部１１は、水平方向および垂直方向に配列された複数の画素を有している。この画素により被写体からの光が光電変換される。垂直駆動部１２は、複数の画素が配列された各ラインを選択し、駆動する。水平駆動部１４は、各ラインの所定の垂直方向の画素を選択し、駆動する。カラム処理部１３は、選択された画素から読み出された画素データを保持し、信号処理部１７に供給する。制御部１５は、各部の動作を制御する。記憶部１６は、制御部１５が処理するプログラムを記憶する。信号処理部１７はカラム処理部１３から読み出された画素データを処理する。以下に説明する欠陥画素の画素値の補正はここで行われる。

以下、本技術における欠陥画素の画素値の補正の原理について説明する。

図２は、画素の配列を説明する図である。同図に示されるように、画素アレイ部１１においては、複数の画素がベイヤー（Bayer）配列されている。図２の横軸Ｘは、画素アレイ部１１の水平方向の座標軸であり、縦軸Ｙは、画素アレイ部１１の垂直方向の座標軸である。Ｒ，Ｇ，Ｂは、それぞれ赤、緑、青の画素を表している。第奇数行目では、左端からＲ，Ｇ，Ｒ，Ｇ，・・・と配列され、偶数行目では、左端からＧ，Ｂ，Ｇ，Ｂ・・・と配列されている。その結果、例えば左上の３×３個は、１行目が、Ｒ，Ｇ，Ｒ、２行目が、Ｇ，Ｂ，Ｇ、そして３行目が、Ｒ，Ｇ，Ｒの画素で構成されている。

図３は、欠陥画素を説明する図である。同図においては、上から３行目で、左から５列目のＲの画素３１が欠陥画素とされている。

図４は、周辺画素を説明する図である。図４においては、欠陥画素３１と同じ水平線（ライン）上の画素であって、範囲６１内の８個の画素が、欠陥画素３１の周辺に位置する周辺画素とされる。周辺画素の第１のグループは、欠陥画素３１より前にスキャンされる画素（図中、欠陥画素３１より左側に示される画素）であって、欠陥画素３１に近い方から順番に画素４１乃至４４というＲ，Ｇ，Ｒ，Ｇの４個の画素により構成される。第２のグループは、欠陥画素３１より後にスキャンされる画素（図中、欠陥画素３１より右側に示される画素）であって、欠陥画素３１に近い方から順番に画素５１乃至５４というＧ，Ｒ，Ｇ，Ｒの４個の画素により構成されている。

図５は、座標軸を説明する図である。同図に示されるように、ＸＹ面と垂直なＺ軸方向に画素値を表すものとする。

図６は、欠陥画素と周辺画素の画素値を説明する図である。図６の横軸Ｘは、画素アレイ部１１の水平方向の画素の位置を表しており、縦軸Ｚは、各画素の画素値を表している。画素４４，４３，４２，４１は順次画素値が大きくなっている。画素５１，５２，４３，５４は、基本的に画素値が順次小さくなっているが、画素５３は画素５２の画素値より若干大きくなっている。欠陥画素３１の画素値は、周辺の画素４１乃至４４，５１乃至５４の画素値より大きくなっている。

図７は、欠陥画素と周辺画素の画素値を説明する図である。図７においては、図６におけるＲの画素が円の図形により、Ｇの画素が４角形の図形により表されている。そしてＲの欠陥画素３１はハッチングを施した円の図形により表されている。

図８は、欠陥画素と周辺画素の画素値を説明する図である。図８においては図７における各画素が一般化されて示されている。すなわち、欠陥画素３１は、注目画素Ｐ_３１として表され、周辺画素である画素４１乃至４４は、画素Ｐ_４１乃至Ｐ_４４として表され、画素５１乃至５４は、画素Ｐ_５１乃至Ｐ_５４として表されている。

図９は、欠陥画素の画素値の予測を説明する図である。本技術においては、図９に示されるように、注目画素Ｐ３１と同じ色の周辺画素である画素Ｐ_４４，Ｐ_４２と画素Ｐ_５４，Ｐ_５２から、注目画素３１の予測画素８１が予測される。つまり、画素Ｐ_４４と画素Ｐ４２を結ぶ直線上に、注目画素３１が位置しているものとして、予測画素Ｐ_８１の画素値が線形予測される。同様に、画素Ｐ_５４と画素Ｐ_５２を結ぶ直線上に、注目画素３１が位置しているものとして、予測画素Ｐ_８１の画素値が線形予測される。２つの予測された画素値が異なる場合、両者の平均値、あるいは大きい方または小さい方が選択されて、予測された画素値とされる。この画素値が基本画素値Ｚ_０とされる。

図１０は、注目画素と同じ色の周辺画素の変化量を説明する図である。本技術においては、注目画素Ｐ_３１と同じ色の周辺画素の変化量が演算される。具体的には、同じ色の画素Ｐ_４２とＰ_４４の画素値の差Ｓｄｆ１が、変化量として演算される。同様に、同じ色の画素Ｐ_５２とＰ_５４の画素値の差Ｓｄｆ２が、変化量として演算される。そして２つの変化量のうちの一方（例えば大きい方）が最終的な同色画素変化量Ｓｄｆとして選択される。

図１１は、注目画素と異なる色の周辺画素の変化量を説明する図である。本技術においては、注目画素Ｐ_３１と異なる色の周辺画素の変化量が演算される。具体的には、異なる色の画素Ｐ_４１とＰ_４３の画素値の差Ｄｄｆ１が、変化量として演算される。同様に、異なる色の画素Ｐ_５１とＰ_５３の画素値の差Ｄｄｆ２が、変化量として演算される。そして２つの変化量のうちの一方（例えば大きい方）が最終的な異色画素変化量Ｄｄｆとして選択される。

図１２は、変化量の合成を説明する図である。本技術においては、図９を参照して説明したように予測された予測画素Ｐ_８１の基本画素値Ｚ_０、図１０を参照して説明したように演算された同色画素変化量Ｓｄｆ、および図１１を参照して説明したように演算された異色画素変化量Ｄｄｆが合成され、推定値Ｖ_９１とされる。そして画素値が推定値Ｖ_９１である画素が推定画素Ｐ_９１とされる。

図１３は、注目画素の推定値の演算を説明する図である。同図に示されるように、基本画素値Ｚ_０に対して同色画素変化量Ｓｄｆが加算される。さらに基本画素値Ｚ_０と同色画素変化量Ｓｄｆの加算値に、異色画素変化量Ｄｄｆが加算され、推定値Ｖ_９１とされる。すなわち、推定画素Ｐ_９１の画素値である推定値Ｖ_９１は、基本画素値Ｚ_０、同色画素変化量Ｓｄｆ、および異色画素変化量Ｄｄｆの和となる。

図１４は、注目画素の補正を説明する図である。本技術においては、以上のようにして得られた推定画素Ｐ_９１により注目画素Ｐ_３１が補正される。具体的には、注目画素Ｐ_３１の画素値V_３１が、推定画素Ｐ_９１の画素値である推定値Ｖ_９１により置換される。ただしこの補正は、注目画素Ｐ_３１の画素値V_３１が推定値Ｖ_９１より大きいときに行われ、小さければ行われない。

ただし、注目画素Ｐ_３１の画素値V_３１が推定値Ｖ_９１より大きいときという条件は、図９に示されるように、基本画素値Ｚ_０が周辺画素の画素値より大きい場合の条件である。換言すれば、図９における画素Ｐ_４４，Ｐ_４２，Ｐ_８１，Ｐ_５２，Ｐ_５４を直線で結んで形成される形状が上方に突型になる場合の条件である。

図１５は、欠陥画素の画素値の予測を説明する図である。画素Ｐ_４４，Ｐ_４２，Ｐ_８１，Ｐ_５２，Ｐ_５４を直線で結んで形成される形状が、図９に示されるように上方に突型になるのではなく、図１５に示されるように下方に突になる場合がある。このように、基本画素値Ｚ_０が周辺画素の画素値より小さい場合、つまり画素Ｐ_４４，Ｐ_４２，Ｐ_８１，Ｐ_５２，Ｐ_５４を直線で結んで形成される形状が下方に突型になる場合には、次のように処理される。

この場合にも、図１５に示されるように、予測画素Ｐ_８１の画素値が線形予測され、その画素値が基本画素値Ｚ_０とされる。また図１０と図１１に示された場合と同様に、同色画素変化量Ｓｄｆと異色画素変化量Ｄｄｆが演算される。

図１６は、変化量の合成を説明する図である。この図１６に示されるように、基本画素値Ｚ_０、同色画素変化量Ｓｄｆ、および異色画素変化量Ｄｄｆが合成され、推定値Ｖ_９１が演算される。そして画素値が推定値Ｖ_９１である画素が推定画素Ｐ_９１とされる。

図１７は、注目画素の推定値の演算を説明する図である。同図に示されるように、基本画素値Ｚ_０から同色画素変化量Ｓｄｆが減算される。さらに基本画素値Ｚ_０と同色画素変化量Ｓｄｆの差から、異色画素変化量Ｄｄｆがさらに減算され、推定値Ｖ_９１とされる。すなわち、推定画素Ｐ_９１の画素値である推定値Ｖ_９１は、基本画素値Ｚ_０から同色画素変化量Ｓｄｆと異色画素変化量Ｄｄｆを減算した値となる。換言すれば、推定値Ｖ_９１は、基本画素値Ｚ_０に対して同色画素変化量Ｓｄｆと異色画素変化量Ｄｄｆを逆極性で加算した値となる。

図１８は、注目画素の推定値の演算を説明する図である。同図に示されるように、さらに推定画素Ｐ_９１により注目画素Ｐ_３１が補正される。具体的には、注目画素Ｐ_３１の画素値V_３１が、推定画素Ｐ_９１の画素値である推定値Ｖ_９１により置換される。ただしこの補正は、注目画素Ｐ_３１の画素値V_３１が推定値Ｖ_９１より小さいときに行われ、大きければ行われない。

図１９は、欠陥画素補正処理部１０１の構成を示すブロック図である。この欠陥画素補正処理部１０１は、信号処理部１７に含まれる。欠陥画素補正処理部１０１は、遅延回路１１１、推定値演算部１１２、比較回路１１３、および選択回路１１４により構成されている。

遅延回路１１１は、カラム処理部１３から入力された画素値のデータを、図４の範囲６１に含まれる画素数に対応するＮクロック分だけ遅延し、保持する。この実施の形態の場合、Ｎは９とされる。すなわち画素Ｐ_４４乃至Ｐ_４１、注目画素Ｐ_３１、画素Ｐ_５１乃至Ｐ_５４が保持される。推定値演算部１１２は、遅延回路１１１に保持された画素値に基づいて、上述した推定値Ｖ_９１を演算する。選択回路１１４は、遅延回路１１１より出力された注目画素Ｐ_３１の画素値Ｖ_３１と、推定値演算部１１２により演算された推定値Ｖ_９１の一方を選択し、出力する。比較回路１１３は、遅延回路１１１より出力された注目画素Ｐ_３１の画素値Ｖ_３１と、推定値演算部１１２により演算された推定値Ｖ_９１を比較し、比較結果に基づいて、選択回路１１４の選択を制御する。選択回路１１４は、比較回路１１３から信号ＹＥＳが入力されたとき、推定値Ｖ_９１を選択し、信号ＮＯが入力されたとき、画素値Ｖ_３１を選択する。

図２０は、推定値演算部１１２の機能的構成を示すブロック図である。推定値演算部１１２は、基本画素値演算部１５１、同色画素変化量演算部１５２、異色画素変化量演算部１５３、合成部１５４、および判定部１５５を有している。各部は必要に応じてデータを授受することができる。

基本画素値演算部１５１は上述した基本画素値Ｚ_０を演算する。同色画素変化量演算部１５２は、上述した同色画素変化量Ｓｄｆを演算し、異色画素変化量演算部１５３は、上述した異色画素変化量Ｄｄｆを演算する。合成部１５４は、基本画素値Ｚ_０、同色画素変化量Ｓｄｆ、および異色画素変化量Ｄｄｆを合成して、推定値Ｖ_９１を演算する。判定部１５５は、基本画素値Ｚ_０が周辺画素の画素値より大きい値であるかを判定する。

図２１は、欠陥画素補正処理部１０１の処理を説明するフローチャートである。以下、この図２１のフローチャートを参照して、欠陥画素補正処理部１０１の処理を説明する。

ステップＳ１において遅延回路１１１は、入力された画素値のデータを９画素分順次遅延、保持して出力する。遅延された画素データは順次選択回路１１４に供給される。欠陥画素が検出されない場合、比較回路１１３は信号ＮＯを出力して、選択回路１１４を制御し、遅延回路１１１から入力された画素データをそのまま後段に出力する。遅延回路１１１により保持された９個の画素値のデータは推定値演算部１１２に供給される。

ステップＳ２において推定値演算部１１２の基本画素値演算部１５１は、周辺の同色画素の画素値の傾きから基本画素値Ｚ_０を演算する。すなわち、図９と図１５を参照して説明したように、注目画素Ｐ_３１の予測画素Ｐ_８１が線形予測され、その基本画素値Ｚ_０が求められる。

ステップＳ３において同色画素変化量演算部１５２は、周辺の同色画素の画素値から同色画素変化量Ｓｄｆを演算する。すなわち図１０を参照して説明した同色画素変化量Ｓｄｆが求められる。

ステップＳ４において異色画素変化量演算部１５３は、周辺の異色画素の画素値から異色画素変化量Ｄｄｆを演算する。すなわち図１１を参照して説明した異色画素変化量Ｄｄｆが求められる。

ステップＳ５において合成部１５４は、基本画素値Ｚ_０、同色画素変化量Ｓｄｆ、および異色画素変化量Ｄｄｆを合成し、推定値Ｖ_９１を演算する。すなわち、図１２と図１３、並びに図１６と図１７を参照して説明したようにして、推定値Ｖ_９１が演算される。

ステップＳ６において判定部１５５は、基本画素値Ｚ_０が周辺画素の画素値より大きいかを判定する。基本画素値Ｚ_０が周辺画素の画素値より大きい場合、判定部１５５は比較回路１１３を制御し、画素値Ｖ_３１が推定値Ｖ_９１より大きいとき、信号ＹＥＳを出力させ、小さいとき、信号ＮＯを出力させる。

逆に、基本画素値Ｚ_０が周辺画素の画素値より小さい場合、判定部１５５は比較回路１１３を制御し、画素値Ｖ_３１が推定値Ｖ_９１より小さいとき、信号ＹＥＳを出力させ、大きいとき、信号ＮＯを出力させる。

信号ＹＥＳは、選択回路１１４に推定値Ｖ_９１を選択させる信号であり、信号ＮＯは、選択回路１１４に画素値Ｖ_３１を選択させる信号である。

そこでステップＳ６において基本画素値Ｚ_０が周辺画素の画素値より大きいと判定された場合、ステップＳ７において比較回路１１３は、注目画素Ｐ_３１の画素値Ｖ_３１と推定画素Ｐ_９１の推定値Ｖ_９１とを比較し、画素値Ｖ_３１が推定値Ｖ_９１より大きいかを判定する。画素値Ｖ_３１が推定値Ｖ_９１より大きい場合、比較回路１１３から信号ＹＥＳが出力されるので、ステップＳ９において選択回路１１４は、推定値演算部１１２が出力した推定値Ｖ_９１を選択して出力する。つまり、画素値Ｖ_３１を推定値Ｖ_９１に置換する処理が行われる。画素値Ｖ_３１が推定値Ｖ_９１より大きくない場合、ステップＳ９の置換処理は行われない。つまり、比較回路１１３は信号ＮＯを出力し、選択回路１１４は画素値Ｖ_３１を選択し、出力する。

一方ステップＳ６において基本画素値Ｚ_０が周辺画素の画素値より大きくないと判定された場合、ステップＳ８において比較回路１１３は、注目画素Ｐ_３１の画素値Ｖ_３１と推定画素Ｐ_９１の推定値Ｖ_９１とを比較し、画素値Ｖ_３１が推定値Ｖ_９１より小さいかを判定する。画素値Ｖ_３１が推定値Ｖ_９１より小さい場合、比較回路１１３から信号ＹＥＳが出力されるので、ステップＳ９において選択回路１１４は、推定値演算部１１２が出力した推定値Ｖ_９１を選択して出力する。つまり、画素値Ｖ_３１を推定値Ｖ_９１に置換する処理が行われる。画素値Ｖ_３１が推定値Ｖ_９１より小さくない場合、ステップＳ９の置換処理は行われない。つまり、比較回路１１３は信号ＮＯを出力し、選択回路１１４は画素値Ｖ_３１を選択し、出力する。

以上のようにしてライン単位で欠陥画素の画素値が補正される。異色画素変化量Ｄｄｆに基づいて推定値を演算しているので、偽色現象の発生が抑制され、色を正確に表すことが可能になる。

なお、主として偽色現象の発生の抑制だけを意図する場合、推定値Ｖ_９１の演算に、同色画素変化量Ｓｄｆの利用を省略することもできる。

図２２は、ライン単位で蓄積時間が異なる場合を説明する図である。被写体の空間周波数成分が異なる場合、ライン単位で画素データの蓄積時間が異なることがある。図２２の例では、３角、菱形、円、および正方形で表される４色の画素で画像が表示される。そして第１番目、第３番目、第５番目のラインの画素データは長時間蓄積され、第２番目、第４番目のラインの画素データは短時間蓄積される。このような場合、複数ラインの画素データ（例えば３×３個の画素データ）から欠陥画素を検出し、その画素値を補正する補正画素値を生成するような場合、蓄積時間の制御が困難になり、多くのパラメータが必要となり、アルゴリズムが複雑となる。

しかしながら本技術の場合、補正に利用される周辺画素は注目画素と同じライン上の画素とされている。従って、このような場合でも、簡単に欠陥画素を検出し、補正画素値を演算することができる。その結果、アルゴリズムも簡単でよく、信号処理も複雑にならない。

その結果、ゲインや撮影条件などのシーンに応じた閾値を設定する必要が無く、パラメータを少なくすることができる。輝度、ショットノイズ、異色信号量を考慮した推定値を算出することで、画質を保持したまま、精度良く欠陥検出や欠陥補正を行うことができる。欠陥画素の位置や補正値を予めメモリに記憶しておかなくとも、十分な欠陥検出や欠陥補正を行うことができる。

以上においては本技術をイメージセンサに応用した場合を例として説明したが、本技術は、ラインセンサ、ディスプレイなどの画像処理装置にも応用することが可能である。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、記憶部１６に、ネットワークや記録媒体からインストールされる。

なお、本明細書において、プログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

本技術は、以下のような構成もとることができる。
（１）
入力された画素値を保持する保持部と、
前記保持部により保持された画素値の注目画素の周辺に位置する周辺画素であって、前記注目画素と同じ色の複数の画素の画素値から基本画素値を演算する基本画素値演算部と、
前記周辺画素であって、前記注目画素と異なる色の画素の画素値の変化量である異色画素変化量を演算する異色画素変化量演算部と、
前記基本画素値と前記異色画素変化量とを合成して、前記注目画素の画素値の推定値を演算する合成部と、
前記注目画素の画素値を前記推定値により補正する補正部と
を備える画像処理装置。
（２）
前記異色画素変化量演算部は、前記注目画素と同じライン上の前記注目画素より前の異なる色の複数の画素の画素値の差、または前記注目画素と同じ前記ライン上の前記注目画素より後の異なる色の複数の画素の画素値の差を、前記異色画素変化量とする
前記（１）に記載の画像処理装置。
（３）
前記異色画素変化量演算部は、前記注目画素より前の異なる色の複数の画素の画素値の差と、前記注目画素より後の異なる色の複数の画素の画素値の差のうち、大きい方を、前記異色画素変化量とする
前記（１）または（２）に記載の画像処理装置。
（４）
前記周辺画素であって、前記注目画素と同じ色の画素の画素値の変化量である同色画素変化量を演算する同色画素変化量演算部をさらに備え、
前記合成部は、前記基本画素値、前記異色画素変化量、および前記同色画素変化量を合成して、前記推定値を演算する
前記（１）、（２）または（３）に記載の画像処理装置。
（５）
前記同色画素変化量演算部は、前記注目画素と同じライン上の前記注目画素より前の同じ色の複数の画素の画素値の差、または前記注目画素と同じ前記ライン上の前記注目画素より後の同じ色の複数の画素の画素値の差を、前記同色画素変化量とする
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記同色画素変化量演算部は、前記注目画素より前の同じ色の複数の画素の画素値の差と、前記注目画素より後の同じ色の複数の画素の画素値の差のうち、大きい方を、前記同色画素変化量とする
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記補正部は、前記基本画素値が前記周辺画素の画素値より大きい場合、前記注目画素の画素値が前記推定値より大きければ前記注目画素の画素値を補正し、前記基本画素値が前記周辺画素の画素値より小さい場合、前記注目画素の画素値が前記推定値より小さければ前記注目画素の画素値を補正する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（８）
前記画像処理装置は、イメージセンサである
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
入力された画素値を保持する保持ステップと、
前記保持ステップの処理により保持された画素値の注目画素の周辺に位置する周辺画素であって、前記注目画素と同じ色の複数の画素の画素値から基本画素値を演算する基本画素値演算ステップと、
前記周辺画素であって、前記注目画素と異なる色の画素の画素値の変化量である異色画素変化量を演算する異色画素変化量演算ステップと、
前記基本画素値と前記異色画素変化量とを合成して、前記注目画素の画素値の推定値を演算する合成ステップと、
前記注目画素の画素値を前記推定値により補正する補正ステップと
を含む画像処理方法。
（１０）
入力された画素値を保持する保持ステップと、
前記保持ステップの処理により保持された画素値の注目画素の周辺に位置する周辺画素であって、前記注目画素と同じ色の複数の画素の画素値から基本画素値を演算する基本画素値演算ステップと、
前記周辺画素であって、前記注目画素と異なる色の画素の画素値の変化量である異色画素変化量を演算する異色画素変化量演算ステップと、
前記基本画素値と前記異色画素変化量とを合成して、前記注目画素の画素値の推定値を演算する合成ステップと、
前記注目画素の画素値を前記推定値により補正する補正ステップと
をコンピュータに実行させるプログラムが記録されている記録媒体。
（１１）
入力された画素値を保持する保持ステップと、
前記保持ステップの処理により保持された画素値の注目画素の周辺に位置する周辺画素であって、前記注目画素と同じ色の複数の画素の画素値から基本画素値を演算する基本画素値演算ステップと、
前記周辺画素であって、前記注目画素と異なる色の画素の画素値の変化量である異色画素変化量を演算する異色画素変化量演算ステップと、
前記基本画素値と前記異色画素変化量とを合成して、前記注目画素の画素値の推定値を演算する合成ステップと、
前記注目画素の画素値を前記推定値により補正する補正ステップと
をコンピュータに実行させるプログラム。

１ 画像処理装置， １１ 画素アレイ部， １２ 垂直駆動部， １３ カラム処理部， １４ 水平駆動部， １５ 制御部， １６ 記憶部， １７ 信号処理部， １０１ 欠陥画素補正処理部， １１１ 遅延回路， １１２ 推定値演算部， １１３ 比較回路， １１４ 選択回路， １５１ 基本画素値演算部， １５２ 同色画素変化量演算部， １５３ 異色画素変化量演算部， １５４ 合成部， １５５ 判定部

Claims (11)

1. 入力された画素値を保持する保持部と、
   前記保持部により保持された画素値の注目画素の周辺に位置する周辺画素であって、前記注目画素と同じ色の複数の画素の画素値から基本画素値を演算する基本画素値演算部と、
   前記周辺画素であって、前記注目画素と異なる色の画素の画素値の変化量である異色画素変化量を演算する異色画素変化量演算部と、
   前記基本画素値と前記異色画素変化量とを合成して、前記注目画素の画素値の推定値を演算する合成部と、
   前記注目画素の画素値を前記推定値により補正する補正部と
   を備える画像処理装置。
2. 前記異色画素変化量演算部は、前記注目画素と同じライン上の前記注目画素より前の異なる色の複数の画素の画素値の差、または前記注目画素と同じ前記ライン上の前記注目画素より後の異なる色の複数の画素の画素値の差を、前記異色画素変化量とする
   請求項１に記載の画像処理装置。
3. 前記異色画素変化量演算部は、前記注目画素より前の異なる色の複数の画素の画素値の差と、前記注目画素より後の異なる色の複数の画素の画素値の差のうち、大きい方を、前記異色画素変化量とする
   請求項２に記載の画像処理装置。
4. 前記周辺画素であって、前記注目画素と同じ色の画素の画素値の変化量である同色画素変化量を演算する同色画素変化量演算部をさらに備え、
   前記合成部は、前記基本画素値、前記異色画素変化量、および前記同色画素変化量を合成して、前記推定値を演算する
   請求項３に記載の画像処理装置。
5. 前記同色画素変化量演算部は、前記注目画素と同じライン上の前記注目画素より前の同じ色の複数の画素の画素値の差、または前記注目画素と同じ前記ライン上の前記注目画素より後の同じ色の複数の画素の画素値の差を、前記同色画素変化量とする
   請求項４に記載の画像処理装置。
6. 前記同色画素変化量演算部は、前記注目画素より前の同じ色の複数の画素の画素値の差と、前記注目画素より後の同じ色の複数の画素の画素値の差のうち、大きい方を、前記同色画素変化量とする
   請求項５に記載の画像処理装置。
7. 前記補正部は、前記基本画素値が前記周辺画素の画素値より大きい場合、前記注目画素の画素値が前記推定値より大きければ前記注目画素の画素値を補正し、前記基本画素値が前記周辺画素の画素値より小さい場合、前記注目画素の画素値が前記推定値より小さければ前記注目画素の画素値を補正する
   請求項６に記載の画像処理装置。
8. 前記画像処理装置は、イメージセンサである
   請求項７に記載の画像処理装置。
9. 入力された画素値を保持する保持ステップと、
   前記保持ステップの処理により保持された画素値の注目画素の周辺に位置する周辺画素であって、前記注目画素と同じ色の複数の画素の画素値から基本画素値を演算する基本画素値演算ステップと、
   前記周辺画素であって、前記注目画素と異なる色の画素の画素値の変化量である異色画素変化量を演算する異色画素変化量演算ステップと、
   前記基本画素値と前記異色画素変化量とを合成して、前記注目画素の画素値の推定値を演算する合成ステップと、
   前記注目画素の画素値を前記推定値により補正する補正ステップと
   を含む画像処理方法。
10. 入力された画素値を保持する保持ステップと、
    前記保持ステップの処理により保持された画素値の注目画素の周辺に位置する周辺画素であって、前記注目画素と同じ色の複数の画素の画素値から基本画素値を演算する基本画素値演算ステップと、
    前記周辺画素であって、前記注目画素と異なる色の画素の画素値の変化量である異色画素変化量を演算する異色画素変化量演算ステップと、
    前記基本画素値と前記異色画素変化量とを合成して、前記注目画素の画素値の推定値を演算する合成ステップと、
    前記注目画素の画素値を前記推定値により補正する補正ステップと
    をコンピュータに実行させるプログラムが記録されている記録媒体。
11. 入力された画素値を保持する保持ステップと、
    前記保持ステップの処理により保持された画素値の注目画素の周辺に位置する周辺画素であって、前記注目画素と同じ色の複数の画素の画素値から基本画素値を演算する基本画素値演算ステップと、
    前記周辺画素であって、前記注目画素と異なる色の画素の画素値の変化量である異色画素変化量を演算する異色画素変化量演算ステップと、
    前記基本画素値と前記異色画素変化量とを合成して、前記注目画素の画素値の推定値を演算する合成ステップと、
    前記注目画素の画素値を前記推定値により補正する補正ステップと
    をコンピュータに実行させるプログラム。

Images