JP2009219096A - 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム - Google Patents

Abstract

【課題】 本発明は、撮像画素の原色透過フィルタの異常に起因する撮影画像の不具合を補正することができる技術を提供することを目的とする。
【解決手段】 本発明の画像処理装置は、二次元的に複数の撮像画素が配列され複数色のカラーフィルタを有する撮像素子の複数の撮像画素のうち、カラーフィルタに異常がある撮像画素の位置情報を記憶する位置情報記憶部と、異常がある撮像画素の画素値を補正する補正係数を記憶する補正係数記憶部と、位置情報を用いて補正対象画素の位置を設定する補正対象画素位置設定部と、補正対象画素の画素値を抽出する補正対象画素データ抽出部と、補正対象画素の周囲にあり補正対象画素のカラーフィルタの色とは異なる色の撮像画素の画素値である他色画素値を抽出する他色画素データ抽出部と、補正係数を用いて、補正対象画素の画素値と他色画素値との加重和を算出することにより補正対象画素の画素値を補正する画素データ補正部と、を備える。
【選択図】 図１

Description

本発明は、画像処理装置、撮像装置、補正係数算出方法及び画像処理方法に関する。

同一基板上に撮像画素と焦点検出画素とを混在させて配置した撮像素子を備え、撮像素子上に撮像レンズによって結像される被写体像を撮像するとともに、その像の焦点調節状態を検出するようにした撮像装置が知られている（例えば特許文献1）。各撮像画素には、ベイヤ配列型のパターンとなるように、Ｒ（赤）、Ｇ（緑）又はＢ（青）のいずれかのカラーフィルタが設置されるのに対して、焦点検出画素には、どのような色の被写体に対しても焦点検出を可能とするために、白色のフィルタが設置される。したがって、上記の撮像装置よって撮像された画像データにおいて、焦点検出画素の位置では通常のカラーフィルタに応じた画素値は得られない。そこで、焦点検出画素の近傍の撮像画素の画素値を用いて、焦点検出画素の位置における撮像用の画素値を補間する方法が、特許文献１等によって提案されている。
特開２００７−２８２１０９号公報

しかしながら、焦点検出画素のフィルタを白色に加工する影響で、焦点検出画素の近傍の撮像用画素のカラーフィルタの分光特性に異常が生じることを本発明者は発見した。したがって、特許文献１等の公知の方法で焦点検出画素位置の画素値を補正するだけでは、上記カラーフィルタの異常に起因して撮影画像に不自然な帯状の構造が生じるという問題がある。

上記従来技術が有する問題に鑑み、本発明の目的は、撮像画素のカラーフィルタの異常に起因する撮影画像の不具合を補正することができる技術を提供することにある。

上記課題を解決するために、この発明の画像処理装置は、二次元的に複数の撮像画素が配列され複数色のカラーフィルタを有する撮像素子の複数の撮像画素のうち、カラーフィルタに異常がある撮像画素の位置情報を記憶する位置情報記憶部と、異常がある撮像画素の画素値を補正する補正係数を記憶する補正係数記憶部と、位置情報を用いて補正対象画素の位置を設定する補正対象画素位置設定部と、補正対象画素の画素値を抽出する補正対象画素データ抽出部と、補正対象画素の周囲にあり補正対象画素のカラーフィルタの色とは異なる色の撮像画素の画素値である他色画素値を抽出する他色画素データ抽出部と、補正係数を用いて、補正対象画素の画素値と他色画素値との加重和を算出することにより補正対象画素の画素値を補正する画素データ補正部と、を備える。

また、この発明において、撮像素子は一部の領域に撮像画素とは分光特性が異なる焦点検出用画素を有し、位置情報記憶部は、焦点検出用画素の位置情報を記憶し、補正係数記憶部に記憶される補正係数は、焦点検出用画素からの距離に応じた係数であり、補正対象画素位置設定部は、焦点検出用画素の近傍の撮像画素の位置を補正対象画素の位置として設定する。

また、この発明において、画素データ補正部によって補正された補正対象画素の画素値を用いて、焦点検出用画素の位置における撮像用の画素値を補間する撮像画素データ推定部をさらに備える。

この発明の撮像装置は、撮像素子と、この発明の画像処理装置と、を備える。

また、この発明の画像処理装置の補正係数記憶部に記憶される補正係数を算出する補正係数算出方法において、撮像素子に対して分光特性の異なる複数の検査光を照射して複数の検査画像を生成する検査画像生成手順と、異常がある撮像画素の位置を検査対象画素の位置として設定する検査対象画素位置設定手順と、異常がある撮像画素の画素値を検査対象画素値として抽出する検査対象画素データ抽出手順と、検査対象画素の位置の周囲にあり検査対象画素のカラーフィルタの色とは異なる色の撮像画素の画素値である他色画素値を抽出する他色画素データ抽出手順と、検査対象画素と同じ色のカラーフィルタを有しカラーフィルタが正常である撮像画素の画素値を正常画素値として抽出する正常画素データ生成手順と、検査対象画素値と他色画素値との加重和を算出することにより正常画素値を近似する加重係数を、複数の検査画像について共通する係数として算出する加重係数生成手順と、を有する。

この発明の画像処理プログラムは、この発明の画像処理装置の処理をコンピュータで実現する。

本発明によると、撮像画素のカラーフィルタの異常に起因する撮影画像の不具合を補正することができる。

図１は、本発明の一の実施形態に係る電子カメラ１０の構成図である。

電子カメラ１０は、撮像レンズ１、撮像素子２、Ａ／Ｄ変換部３、バッファメモリ４、ＣＰＵ５、カードインタフェース（カードＩ／Ｆ）６、操作部材８、記憶部９、表示部１１及び画像処理部１２から構成される。バッファメモリ４、ＣＰＵ５、カードＩ／Ｆ６、操作部材８、記憶部９、表示部１１及び画像処理部１２は、バス１３を介して情報伝達可能に接続されている。なお、図１は電子カメラ１０の主要部分のみを示す。例えば、図１において、ＣＰＵ５の指令に従って、撮像素子２及びＡ／Ｄ変換部３に撮影指示のタイミングパルスを発するタイミングジェネレータ等は省略されている。

撮像レンズ１は、複数の光学レンズにより構成され、被写体像を撮像素子２の受光面に結像する。

撮像素子２は、その受光面上に配置された複数の撮像画素の各々に、Ｒ（赤）、Ｇ（緑）又はＢ（青）のいずれかのカラーフィルタがベイヤ配列型に設けられたＣＣＤやＣＭＯＳの半導体イメージセンサ等を適宜選択して用いる。さらに、本実施形態の撮像素子２は、受光面上の一部の領域に、水平走査方向に一次元的に配置された複数の焦点検出画素（ＡＦ画素）を有する。それらのＡＦ画素には、白色のフィルタが設置され、且つ撮像レンズ１の光学系の瞳の左側又は右側を通過する光束を受光する２種類のものがある。即ち、ＡＦ画素の各々は、白色光の輝度に応じた左側又は右側の瞳分割された検出信号を出力する。図２は、撮像素子２によって撮像された画像データのうち、ＡＦ画素が配置された領域を中心とした画像データの一部を示す。それぞれのセルが１つの画素を表す。各セルの先頭の記号Ｒ、Ｇ及びＢは、各カラーフィルタを有する撮像画素を示す。一方、記号Ｘ及びＹは、左側又は右側からの光束に感度を有するＡＦ画素を示し、それらが交互に水平走査方向に一次元的に配列されている。これらの記号に続く２桁の番号は画素の位置を示す。

この撮像素子２は、ＣＰＵ５の指令を受けてタイミングジェネレータ（不図示）が発するタイミングパルスに基づいて動作し、前方に設けられた撮像レンズ１によって結像される被写体像を取得する。撮像素子２から出力された画像信号は、Ａ／Ｄ変換部３にてデジタル信号に変換される。デジタルの画像信号は、フレームメモリ（不図示）に一時的に記録された後、バッファメモリ４に記録される。なお、バッファメモリ４には、半導体メモリのうち、任意の不揮発性メモリを適宜選択して用いることができる。

ＣＰＵ５は、ユーザによる操作部材８の電源釦操作によって電子カメラ１０の電源が入れられると、記憶部９に記憶されている制御プログラムや画像処理プログラムを読み込み、電子カメラ１０を初期化する。ＣＰＵ５は、操作部材８を介してユーザからの指示を受け付けると、制御プログラムに基づいて、タイミングジェネレータ（不図示）に被写体の撮像指令を出力したり、画像処理プログラムに基づいて、画像処理部１２に撮像した画像の画像処理をさせたり、カードメモリ７への記録や表示部１１への表示等の制御を行う。ＣＰＵ５には、一般的なコンピュータのＣＰＵが使用できる。

カードＩ／Ｆ６には、カードメモリ７が脱着可能に装着される。バッファメモリ４に記録されている画像は、ＣＰＵ５の指示に基づいて画像処理部１２で画像処理された後、ＪＰＥＧ形式やＹＵＶ形式等のファイルとしてカードメモリ７に記録される。

操作部材８は、ユーザによる部材操作の内容に応じた操作信号をＣＰＵ５に出力する。操作部材８には、例えば、電源釦、撮影モード等のモード設定釦及びレリーズ釦等の操作部材を有する。なお、操作部材８は、後述する表示部１１の画面に表示されるタッチパネル式の釦であっても良い。

記憶部９は、電子カメラ１０が撮像した画像データを記録したり、ＣＰＵ５が電子カメラ１０を制御するための制御プログラムや画像処理部１２に行わせる画像処理プログラム等の各種プログラム等を記憶する。さらに、記憶部９は、撮像素子２のＡＦ画素の位置情報や予め求めた画像処理プログラムに用いる補正係数等のデータをも記憶する。記憶部９に記憶されるプログラムやデータは、バス１３を介して、ＣＰＵ５から適宜参照することができる。記憶部９は、一般的なハードディスク装置や光磁気ディスク装置等の記憶装置を適宜選択して用いることができる。

表示部１１は、スルー画や撮影した画像又はモード設定画面等を表示する。表示部１１には、液晶モニタ等を適宜選択して用いることができる。

画像処理部１２は、ＣＰＵ５の画像処理に指示に基づいて、輪郭強調処理やホワイトバランス補正等の画像処理とともに、ＡＦ画素の画素位置における撮像画素値を補間計算を行うディジタルフロントエンド回路である。

次に、本実施形態に係る電子カメラ１０について、図３のＣＰＵ５に基づいた記憶部９と画像処理部１２とにおける画像データのフローとともに、図４の画像処理のフローチャートを参照しながら説明する。

ユーザにより操作部材８の電源釦が押されると、ＣＰＵ５は、電子カメラ１０の記憶部９に記憶されている制御プログラム及び画像処理プログラムを読み込み、電子カメラ１０を初期化する。ＣＰＵ５は、ユーザからの被写体の撮像指示が出されるまで待機する。ユーザによって操作部材８のレリーズ釦が押されると、ＣＰＵ５は、撮像指示が出されたと判断して、ステップＳ１０〜ステップＳ１９の処理を行う。なお、本実施形態において、撮像画素の各々に設置されるカラーフィルタがベイヤ配列のパターンであることから、記号ＸのＡＦ画素の位置には緑色（Ｇ）の撮像画素値が補間され、記号ＹのＡＦ画素の画素位置には青色（Ｂ）の撮像画素値が補間される。以下の説明において、本実施形態では、撮像素子２のカラーフィルタの分光特性に異常が生じた領域を、ＡＦ画素列を中心とした片側３画素幅の領域であるとする。

ステップＳ１０：ＣＰＵ５は、タイミングジェネレータ（不図示）に対して撮像指令を出す。タイミングジェネレータ（不図示）は、タイミングパルスを撮像素子２に発し、撮像素子２は撮像レンズ１によって結像される被写体を撮像する。撮像された画像データは、Ａ／Ｄ変換部３を介して、バッファメモリ４に記録される。ＣＰＵ５は、バッファメモリ４に対して、画像データを画像処理部１２へ転送する指令を出す。バッファメモリ４は、バス１３を介して、ステップＳ１０で撮影した画像データを画像処理部１２へ転送する。

ステップＳ１１：画像処理部１２の補正対象画素位置設定部１０１が、記憶部９の位置情報記憶部１０２からＡＦ画素位置情報を読み込む。ここで、位置情報記憶部１０２には、ＡＦ画素列の垂直走査方向の座標Ｖと水平走査方向の始点及び終点の座標Ｈ１及びＨ２が記憶されている。なお、Ｈ１及びＨ２は、垂直走査方向においてＲの撮像画素がある列の座標とする。補正対象画素位置設定部１０１は、補正対象画素の水平走査方向の座標をＨ１からＨ２まで、左側及び右側の瞳分割する焦点検出画素を一対として、２画素ずつ順次換えながら、ＡＦ画素列から３画素以内にある撮像画素の位置を補正対象画素位置として設定する。例えば、一対のＡＦ画素列として、Ｘ５１とＹ５２とすると、補正対象画素位置設定部１０１は、Ｒ２１、Ｇ３１、Ｒ４１、Ｇ２２、Ｂ３２、Ｇ４２、Ｒ６１、Ｇ７１、Ｒ８１、Ｇ６２、Ｂ７２及びＧ８２の撮像画素の位置を補正対象画素位置として設定する。次に、補正対象画素位置設定部１０１は、一対のＡＦ画素列Ｘ５３とＹ５４におけるＲ２３、Ｇ３３、Ｒ４３、Ｇ２４、Ｂ３４、Ｇ４４、Ｒ６３、Ｇ７３、Ｒ８３、Ｇ６４、Ｂ７４及びＧ８４の撮像画素の位置を補正対象画素位置として設定する。

ステップＳ１２：画像処理部１２の補正対象画素データ抽出部１０３は、ステップＳ１１において、補正対象画素位置設定部１０１が設定した補正対象画素位置の画素値を抽出する。

ステップＳ１３：画像処理部１２の他色画素データ抽出部１０４は、補正対象画素を補正するために、補正対象画素とは異なる色の他色画素値を隣接する撮像画素の画素値の平均値から求める。例えば、補正対象画素である撮像画素Ｒ４３の画素値Ｒ（ｘ１，ｙ１＋１）を補正するため、他色画素値Ｇ（ｘ１，ｙ１＋１）及びＢ（ｘ１，ｙ１＋１）を次式（１）から求める。なお、座標（ｘ１，ｙ１）は、ＡＦ画素Ｘ５３の座標を示す。
Ｇ（ｘ１，ｙ１＋１）＝（Ｇ（ｘ１−１，ｙ１＋１）＋Ｇ（ｘ１＋１，ｙ１＋１）＋Ｇ（ｘ１，ｙ１＋２））／３
Ｂ（ｘ１，ｙ１＋１）＝（Ｂ（ｘ１−１，ｙ１＋２）＋Ｂ（ｘ１＋１，ｙ１＋２））／２ …（１）
他の補正対象画素についても同様にして他色画素値を抽出する。

ステップＳ１４：画像処理部１２の画素データ補正部１０５が、記憶部９の補正係数記憶部１０６から補正係数を読み込む。本実施形態における補正係数の種類は次の通り。

ＡＦ画素から１画素の距離にあるＲ画素の補正係数（kR1_R，kR1_G，kR1_B）
ＡＦ画素から１画素の距離にあるＧ画素の補正係数（kG1_R，kG1_G，kG1_B）
ＡＦ画素から２画素の距離にあるＢ画素の補正係数（kB2_R，kB2_G，kB2_B）
ＡＦ画素から２画素の距離にあるＧ画素の補正係数（kG2_R，kG2_G，kG2_B）
ＡＦ画素から３画素の距離にあるＲ画素の補正係数（kR3_R，kR3_G，kR3_B）
ＡＦ画素から３画素の距離にあるＢ画素の補正係数（kG3_R，kG3_G，kG3_B）
補正係数の値はＡＦ画素近傍のカラーフィルタの特性によって異なるが、例えば、
（kR1_R，kR1_G，kR1_B）＝（０．０１５，０．０１１，０．０１２）
などの値を持つ。なお、ＡＦ画素近傍のカラーフィルタの特性がＡＦ画素列の配列方向（水平走査方向）にあまり依存しない場合、ＡＦ画素列からの距離が同じで同じ色の撮像画素に対しては同じ補正係数を用いれば良い。一方、ＡＦ画素近傍のカラーフィルタの特性が水平走査方向の座標に大きく依存する場合、補正係数は水平走査方向の座標に応じた値のものを用いる必要がある。なお、補正係数の算出方法については後述する。

ステップＳ１５：画像処理部１２の画素データ補正部１０５は、ステップＳ１３で求めた他色画素値を用いて、各補正対象画素位置で補正した画素値を算出する。例えば、撮像画素Ｒ２３、Ｇ３３、Ｒ４３、Ｇ２４、Ｂ３４、Ｇ４４、Ｒ６３、Ｇ７３、Ｒ８３、Ｇ６４、Ｂ７４及びＧ８４における画素値を、上記Ｘ５３の座標（ｘ１，ｙ１）を用いて表すと、Ｒ（ｘ１，ｙ１＋３）、Ｇ（ｘ１，ｙ１＋２）、Ｒ（ｘ１，ｙ１＋１）、Ｇ（ｘ１＋１，ｙ１＋３）、Ｂ（ｘ１＋１，ｙ１＋２），Ｇ（ｘ１＋１，ｙ１＋１）、Ｒ（ｘ１，ｙ−１）、Ｇ（ｘ１，ｙ１−２）、Ｇ（ｘ１，ｙ１−３）、Ｇ（ｘ１＋１，ｙ１−１）、Ｂ（ｘ１＋１，ｙ１−２）及びＧ（ｘ１＋１，ｙ１−３）となる。それらの補正された画素値を、Ｒ’（ｘ１，ｙ１＋３）、Ｇ’（ｘ１，ｙ１＋２）、Ｒ’（ｘ１，ｙ１＋１）、Ｇ’（ｘ１＋１，ｙ１＋３）、Ｂ’（ｘ１＋１，ｙ１＋２）、Ｇ’（ｘ１＋１，ｙ１＋１）、Ｒ’（ｘ１，ｙ−１）、Ｇ’（ｘ１，ｙ１−２）、Ｇ’（ｘ１，ｙ１−３）、Ｇ’（ｘ１＋１，ｙ１−１）、Ｂ’（ｘ１＋１，ｙ１−２）及びＧ’（ｘ１＋１，ｙ１−３）とすると、例えば、撮像画素Ｒ４３、Ｂ３４及びＧ２４における補正された画素値は、補正係数を用いて、次式（２）〜（４）のようにそれぞれ算出される。
Ｒ'（ｘ１，ｙ１＋１）＝Ｒ（ｘ１，y１＋１）＋kR1_R×Ｒ（ｘ１，ｙ１＋１）＋kR1_G×Ｇ（ｘ１，y１＋１）十kR1_B×Ｂ（ｘ１，ｙ１＋１） …（２）
Ｂ'（ｘ１＋１，ｙ１＋２）＝Ｂ（ｘ１＋１，ｙ１＋２）＋kB2_R×Ｒ（ｘ１＋1，ｙ１＋２）＋kB2_G×Ｇ（ｘ１＋１，ｙ１＋２）＋kB2_B×Ｂ（ｘ１＋１，ｙ１＋２） …（３）
Ｇ'（ｘ１＋１，ｙ１＋３）＝Ｇ（ｘ１＋１，ｙ１＋３）＋kB3_R×Ｒ（ｘ１＋１，ｙ１＋３）＋kB3_G×Ｇ（ｘ１＋1，ｙ１＋３）＋kB3_B×Ｂ（ｘ１＋１，ｙ１＋３） …（４）
他の画素値についても同様に求める。

ステップＳ１６：画像処理部１２は、全て補正対象画素の補正を行ったか否かを判定する。全ての補正対象画素についての補正処理が行った場合、画像処理部１２は、ステップＳ１７（ＹＥＳ側）へ移行する。補正処理が済んでいない場合、画像処理部１２は、ステップＳ１２（ＮＯ側）へ移行する。画像処理部１２は、次の一対のＡＦ画素列近傍にある補正対象画素に対して、ステップＳ１２からステップＳ１５までの処理を行う。

ステップＳ１７：画像処理部１２の画素データ代入部は、ステップＳ１５で求めた補正した画素値を補正対象画素の画素値として、画像データを更新する。

ステップＳ１８：画像処理部１２の画素データ推定部１０８は、例えば、特許文献１等に記載の公知の手法を用いて、補正された画像データにおけるＡＦ画素の位置における撮像用の画素値を算出し、ＡＦ画素の影響による異常が補正された画像データを生成する。そして、画像処理部１２は、ステップＳ１８で生成された画像データに対して、ホワイトバランス処理、ベイヤ補間処理、彩度強調、輪郭強調、ノイズ除去等の公知の画像処理を施し鑑賞できる画像を生成する。画像処理部１２は、その画像データを、バッファメモリ４へ転送し記録する。

ステップＳ１９：ＣＰＵ５は、バッファメモリ４にある画像データをＪＰＥＧ形式やＹＵＶ形式等のファイルにして、バス１３とカードＩ／Ｆ６とを介して、カードメモリ７に記録して、一連の作業を終了する。

次に、補正係数記憶部１０６に記憶される補正係数の求め方について説明する。

補正係数を求めるにあたり、製品に組み込まれる撮像素子２又はその撮像素子２と同じ性能を持つ撮像素子を用意する。その撮像素子２に対して、複数種類の様々な分光強度分布の照明を場所に応じて光量が変わらないように照射し、それぞれの分光強度分布の照明についての検査画像データを取得する。

次に、ステップＳ１１で補正対象画素設定部１０１が補正対象画素位置を設定するのと同じ処理を行って検査対象画素位置を設定する。そして、ステップＳ１２で補正対象画素データを抽出するのと同様に検査対象画素値を抽出する。ステップＳ１３で他色画素値を抽出するのと同様の処理を行い、検査対象画素位置における他色画素値を求める。さらに、ＡＦ画素位置から十分離れた箇所にあるカラーフィルタに異常のないＲ、Ｇ及びＢの正常な撮像画素の画素値を抽出し、それらを正常画素値Ｒ”、Ｇ”及びＢ”とする。これら検査対象画素値、他色画素値及び正常画素値について、複数の検査画像データの各々から抽出する。

そして、求めたい補正係数を、ＡＦ画素列からの距離に応じた複数の検査画像データについての共通の未定係数とする。例えば、ＡＦ画素列から１画素の距離にあるＲの撮像画素の補正係数をkR1_R、kR1_G及びkR1_Bとし、ＡＦ画素Ｘ５３（座標（ｘ１，ｙ１））の両隣のＲの撮像画素Ｒ４３とＲ６３について、次式（５）によって求まる値Ｆを算出する。
Ｆ＝（Ｒ”−Ｒ（ｘ１，y１＋１）−（kR1_R×Ｒ（ｘ１，ｙ１＋１）＋kR1_G×Ｇ（ｘ１，ｙ１＋１）＋kR1_B×Ｂ（ｘ１，ｙ１＋１）））²＋（Ｒ”−Ｒ（ｘ１，ｙ１−１）−（kR1_R×Ｒ（ｘ１，ｙ１−１）＋kR1_G×Ｇ（ｘ１，ｙ１−１）＋kR1_B×Ｂ（ｘ１，ｙ１−１）））² …（５）
したがって、ＡＦ画素列から１画素の距離で、水平走査方向の座標Ｈ１からＨ２にある全てのＲの撮像画素について、同様にして式（５）のＦ値をそれぞれ求める。各検査画像データにおいて求めた全てのＦ値を積算する。積算したＦ値を最小にする補正係数（kR1_R，kR1_G，kR1_B）の値を、最小二乗法で算出する。具体的には、積算した値を表す式をkR1_R、kR1_G又はkR1_Bでそれぞれ偏微分し、その偏微分値が０となる条件から連立一次方程式を導出することにより求めることができる。同様にして、ＡＦ画素列から１画素の距離にあるＧの撮像画素の補正係数等について求める。

なお、ＡＦ画素周辺のカラーフィルタの特性が並び方向である水平走査方向の位置にあまり依存しない場合、上記で求めた補正係数は水平走査方向の位置にあまり依存しないので、水平走査方向の各位置で求めた補正係数の平均又は適当な位置において求めた補正係数を、補正係数記憶部１０６に記憶すれば良い。一方、ＡＦ画素周辺のカラーフィルタの特性が水平走査方向の位置に大きく依存する場合、各位置に応じた補正係数を補正係数記憶部１０６に記憶する必要がある。

カラーフィルタに異常がある場合、そのカラーフィルタで本来透過するはずの色成分の光量が不足したり、本来あまり透過しないはずの色成分が過剰に透過したりする。本実施形態によると、ＲＧＢのカラーフィルタを透過した光量を表すＲＧＢそれぞれの撮像画素の画素値に適切な補正係数をかけた値をカラーフィルタに異常がある画素値に加えることにより、上記不足分や過剰分を調整して正常な画素値と同等の出力を再現することができる。そのようにしてカラーフィルタの異常を補正した後に、ＡＦ画素位置の画素値を求める処理を行うことにより、ＡＦ画素の影響による異常を補正することができる。

上述した実施の形態は、ＡＦ画素列周辺のカラーフィルタの異常を補正する場合について説明したが、本発明は、一般的なカラーフィルタの異常について適用可能である。例えば、撮像素子の生産工程の不具合によりある画素のカラーフィルタが剥れて分光感度に異常が生じている場合、検査によってその画素の位置情報と補正係数を求め、それぞれ位置情報記憶部１０２と補正係数記憶部１０６に記憶させておき、その撮像素子を組み込んだ電子カメラ１０で撮影した画像に対して本発明の処理を行えば、カラーフィルタの異常に起因する画像の異常を補正できる。

なお、本実施形態では、ＡＦ画素を有する撮像素子２で撮像された画像を処理したが、本発明はこれに限定されず、ＡＦ画素を設置されていない撮像素子によって撮像された画像に対しても適用できる。

なお、本実施形態では、ＡＦ画素の配列方向を水平走査方向としたが、本発明はこれに限定されず、ＡＦ画素は垂直走査方向又はその他の方向に配列されていても良い。

なお、本実施形態では、ＡＦ画素の各々は左側又は右側からの光束を瞳分割する焦点検出画素としたが、本発明はこれに限定されず、ＡＦ画素の各々は左側及び右側からの光束を瞳分割する画素を有する焦点検出画素でも良い。

なお、本実施形態では、撮像素子２のカラーフィルタの分光特性に異常のある領域は、ＡＦ画素列を中心とした片側３画素幅の領域としたが、本発明はこれに限定されず、ＡＦ画素列を中心として任意の大きさの幅を有する領域に対しても適用することができる。

なお、本発明に係る画像処理装置における処理をコンピュータで実現するためのプログラムに対しても適用可能である。

本発明の一の実施形態に係る電子カメラ１０の構成を示すブロック図 撮像素子のセルの配置を示す図 電子カメラ１０の記憶部９と画像処理部１２との間における画像データのフローを示す図 本実施形態の電子カメラ１０での画像処理のフローチャート

符号の説明

１ 撮像レンズ、２ 撮像素子、３ Ａ／Ｄ変換部、４ バッファメモリ、５ ＣＰＵ、６ カードＩ／Ｆ、７ カードメモリ、８ 操作部材、９ 記憶部、１０ 電子カメラ、１１ 表示部、１２ 画像処理部、１３ バス、１０１ 補正対象画素位置設定部、１０２ 位置情報記憶部、１０３ 補正対象画素データ抽出部、１０４ 他色画素データ抽出部、１０５ 画素データ補正部、１０６ 補正係数記憶部、１０７ 画素データ代入部、１０８ ＡＦ画素位置の画素データ推定部

Claims (6)

1. 二次元的に複数の撮像画素が配列され複数色のカラーフィルタを有する撮像素子の前記複数の撮像画素のうち、前記カラーフィルタに異常がある撮像画素の位置情報を記憶する位置情報記憶部と、
   前記異常がある撮像画素の画素値を補正する補正係数を記憶する補正係数記憶部と、
   前記位置情報を用いて補正対象画素の位置を設定する補正対象画素位置設定部と、
   前記補正対象画素の画素値を抽出する補正対象画素データ抽出部と、
   前記補正対象画素の周囲にあり前記補正対象画素の前記カラーフィルタの色とは異なる色の撮像画素の画素値である他色画素値を抽出する他色画素データ抽出部と、
   前記補正係数を用いて、前記補正対象画素の画素値と前記他色画素値との加重和を算出することにより前記補正対象画素の画素値を補正する画素データ補正部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記撮像素子は一部の領域に前記撮像画素とは分光特性が異なる焦点検出用画素を有し、
   前記位置情報記憶部は、前記焦点検出用画素の位置情報を記憶し、
   前記補正係数記憶部に記憶される前記補正係数は、前記焦点検出用画素からの距離に応じた係数であり、
   前記補正対象画素位置設定部は、前記焦点検出用画素の近傍の撮像画素の位置を前記補正対象画素の位置として設定する
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記画素データ補正部によって補正された前記補正対象画素の画素値を用いて、前記焦点検出用画素の位置における撮像用の画素値を補間する撮像画素データ推定部をさらに備えることを特徴とする画像処理装置。
4. 撮像素子と、
   請求項１ないし３のいずれか１項に記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
5. 請求項１ないし３のいずれか１項に記載の画像処理装置の前記補正係数記憶部に記憶される前記補正係数を算出する補正係数算出方法において、
   前記撮像素子に対して分光特性の異なる複数の検査光を照射して複数の検査画像を生成する検査画像生成手順と、
   前記異常がある撮像画素の位置を検査対象画素の位置として設定する検査対象画素位置設定手順と、
   前記異常がある撮像画素の画素値を検査対象画素値として抽出する検査対象画素データ抽出手順と、
   前記検査対象画素の位置の周囲にあり前記検査対象画素の前記カラーフィルタの色とは異なる色の撮像画素の画素値である他色画素値を抽出する他色画素データ抽出手順と、
   前記検査対象画素と同じ色の前記カラーフィルタを有し前記カラーフィルタが正常である撮像画素の画素値を正常画素値として抽出する正常画素データ生成手順と、
   前記検査対象画素値と前記他色画素値との加重和を算出することにより前記正常画素値を近似する加重係数を、前記複数の検査画像について共通する係数として算出する加重係数生成手順と、
   を有することを特徴とする補正係数算出方法。
6. 請求項１ないし３のいずれか１項に記載の画像処理装置の処理をコンピュータで実現するための画像処理プログラム。
   

Images