JP2012105023A - 画像処理装置、撮像装置、及び画像処理方法 - Google Patents

Abstract

【課題】 複合画素を単位セルとし、単位セルの一部画素が欠陥画素である場合に、欠陥画素において焦点が合っていない場合にも、欠陥画素から出力される画像信号に対して適正な補正を行うこと。
【解決手段】 異なる瞳領域を通過した光を受光する複数の光電変換素子を含み、その各光電変換素子から個別に読み出し可能な単位セル（１）を複数有する撮像素子（１１４）から出力される画像信号を処理する画像処理装置は、各単位セルの同じ位置にある光電変換素子に対応する画像信号から構成される複数の画像間の位相差を検出する検出手段（１２０）と、光電変換素子のいずれかに欠陥があるか否かを判断する判断手段（１５０）と、欠陥があると判断された光電変換素子に対応する画像信号を、検出された位相差に基づいて、複数の画像の内、該画像信号を含まない別の画像における、該画像信号に対応する画像信号を用いて補正する補正手段（１２０）とを有する。
【選択図】 図１

Description

本発明は、画像処理装置、撮像装置、及び画像処理方法に関し、特に、焦点調節機能と撮像機能を兼ね備えた撮像素子から出力された画像信号を処理する画像処理装置、撮像装置、及び画像処理方法に関するものである。

近年、デジタルカメラ等の撮像装置において、小型化・高精度化が求められている。小型化・高精度化を実現する技術のひとつとして注目されているのが、ピント精度の高い画像を得るために、撮像素子内に画像取得用画素と情報取得用画素（例えば、焦点調節用画素）を備えた撮像装置である。この撮像装置では、同一画面から画像用の画像データを取得するとともに、焦点調節用画素から画像データを取得して焦点調節を行うことで、高精度な画像を得ることができる（特許文献１参照）。

しかしながら、特許文献１で提案されている情報取得用画素は、画像取得用画素と異なる構造を有するため、通常、画像作成時には欠陥画素と同様の扱いで補正が行われ、画質の劣化を伴う。これに対し、情報取得用画素を画像取得用画素として兼用できるものが提案されている（特許文献２参照）。この技術によれば、情報取得用画素を水平、垂直方向に４分割し、画像取得時には４分割された領域の信号をすべて加算することで画像信号を得る。また、焦点調節時には、４分割された領域の内、水平または垂直方向の２領域の信号を加算することで、画素内を瞳分割し、位相差方式の焦点調節用信号として用いることができる（特許文献２参照）。

一方、受光素子を整数比の感光領域に分割し、分割された感光領域の一部に欠陥がある場合に、正常な感光領域から得られる画像データと、正常な感光領域と異常な感光領域との面積比に基づいて、補正を行うことが特許文献３に開示されている。

特開２００３−２４４７１２号公報 特開２００７−３２５１３９号公報 特許第４１４６１８６号公報

しかしながら、特許文献３のように、正常な感光領域と異常な感光領域との面積比に応じて補正を行う場合、その画素において焦点が合っていない場合には適切な画像データを得ることができないことがあった。

本発明は上記問題点を鑑みてなされたものであり、複合画素を単位セルとし、単位セルの一部画素が欠陥画素である場合に、欠陥画素において焦点が合っていない場合にも、欠陥画素から出力される画像信号に対して適正な補正を行うことを目的とする。

上記目的を達成するために、それぞれが異なる瞳領域を通過した光を受光する複数の光電変換素子を含み、前記複数の光電変換素子の各光電変換素子から個別に読み出し可能な単位セルを複数有する撮像素子から出力される画像信号を処理する本発明の画像処理装置は、前記複数の単位セルそれぞれにおいて同じ位置にある光電変換素子に対応する画像信号から構成される複数の画像間の位相差を検出する検出手段と、前記複数の光電変換素子のいずれかに欠陥があるか否かを判断する判断手段と、前記判断手段により欠陥があると判断された光電変換素子に対応する画像信号を、前記検出手段により検出された位相差に基づいて、前記複数の画像の内、該画像信号を含まない別の画像における、該画像信号に対応する画像信号を用いて補正する補正手段とを有する。

本発明によれば、複合画素を単位セルとし、単位セルの一部画素が欠陥画素である場合に、欠陥画素において焦点が合っていない場合にも、欠陥画素から出力される画像信号に対して適正な補正を行うことができる。

本発明の実施の形態における撮像装置の概略構成を示すブロック図。 実施の形態における撮像素子を構成する、複合画素構造を有する単位セルの概念を示す上面図。 正常画素と欠陥画素との面積比に基づいて欠陥画像を補正する場合の問題点を説明するための図。 実施の形態における撮像装置の撮影動作を示すフローチャート。 実施の形態における撮像装置の撮影動作を示すフローチャート。 実施の形態における欠陥画素補正動作を示すフローチャート。 実施の形態における相関値及びその信頼度の取得動作を示すフローチャート。 実施の形態における相関値及びその信頼度の取得動作を説明するための図。 実施の形態における欠陥画素補正の仕方を説明するための図。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

撮像装置の構成
図１は本発明の実施の形態における撮像装置の一例として、電子カメラの概略構成を示すブロック図である。

図１において、１１０は撮像素子１１４上に光学像を結像させるレンズ、１１１はレンズ１１０の制御を行うレンズ制御部である。１１２は後述する撮像素子１１４の露光量を制御するシャッターであり、１４０はシャッター１１２を制御するシャッター制御部である。１１４は光学像を電気信号に変換するＣＭＯＳセンサー等の撮像素子である。なお、撮像素子１１４は、情報取得用画素を画像取得用画素として兼用できる画素（単位セル）により構成されている。なお、各単位セルの構成は図２を参照して後述する。

１１５は撮像素子１１４から出力されるアナログ信号に対して、出力信号を処理する出力信号処理回路である。出力信号処理回路１１５には、オプティカルブラックのレベルを基準レベルに合わせる為のＯＢクランプ等の処理を行うとともに、デジタル信号に変換するアナログ・フロント・エンド（ＡＦＥ）１１６が含まれている。また、出力信号処理回路１１５には、各画素のデジタル出力を受けて各種補正処理や並び替え等をデジタル処理するデジタルフロントエンド（ＤＦＥ）１１７も含まれている。

１１８は、撮像素子１１４や出力信号処理回路１１５にクロック信号や制御信号を供給するタイミング発生回路である。１２０は画像処理回路であり、出力信号処理回路１１５からのデータに対して、欠陥画素補正処理や色変換処理等の予め決められた画像処理を行う。

１２２はメモリ制御回路であり、メモリ１３０、メモリ１５２、記録媒体１２００からの画像信号や補正情報等の読み出しや、画像表示部１２８への表示情報等を制御する。１２８はＴＦＴ方式のＬＣＤからなる画像表示部である。メモリ１３０は撮影された静止画像や動画像を格納するために用いられ、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を有している。また、メモリ１３０は、画像処理回路１２０が補正等の制御を行う際に画像信号を保持する補正用保持領域や、記録媒体１２００への保存動作を行う際の、画像記憶バッファ領域を備えている。１４６はＡＥ（自動露出）処理を行うための測光制御部である。

１５０は画像処理装置全体を制御するシステム制御回路であり、周知のＣＰＵなどを内蔵している。また、内部にはシステム制御回路１５０の動作用の定数、変数、プログラムなどを記憶するメモリ１５２を備えている。メモリ１５２は、後述する不揮発性メモリ１５６から、本実施の形態の撮像装置が動作中に必要な情報を読み出して、保持する機能も備えている。

１５６は後述するプログラムなどが格納された電気的に消去・記録可能なＥＥＰＲＯＭ等の不揮発性メモリであり、欠陥画素情報等の撮像装置特有の補正・調整情報も不揮発性メモリ１５６に記憶されている。

１６０はシステム制御回路１５０の各種動作指示を入力するための操作部である。操作部１６０は、押し込むことで段階的にオンし、撮影準備動作（ＡＦ、ＡＥ等）を行うＳＷ１と、撮影動作（シャッター制御・蓄積動作・読み出し動作）から画像処理及び記録動作を行うＳＷ２とからなるシャッタースイッチを含む。更に、ライブビュー機能を動作させるライブビュースイッチや、各種システムに電源供給するためのメインスイッチ等が含まれている。

１８０は電池検出回路やＤＣ−ＤＣコンバータ等から構成されている電源制御部、１８６はアルカリ電池やリチウム電池などからなる電源部である。１２００はメモリカードやハードディスクなどの着脱可能な記録媒体である。

撮像素子の構成
図２は、図１に示す撮像素子１１４を構成する、情報取得用と画像取得用を兼ねた、瞳分割した画素、いわゆる、複合画素から構成された単位セルの概念を示す上面図である。図２（ａ）において、１は撮像素子１１４の単位セルを示しており、撮像素子１１４は単位セル１を複数有する。１ａ〜１ｄは、各々、光電変換素子を含む周知の撮像画素構造を備えた画素であり、各々個別に出力することができる。また、各単位セル１を構成する画素１ａ〜１ｄの上面には、周知の同色のカラーフィルタが配設されている。２は、単位セル１毎に設けられた周知のマイクロレンズである。マイクロレンズ２は、単位セル毎に１つも受けられているため、画素１ａ〜１ｄは、マイクロレンズ２の異なる瞳領域を通過した光を受光することになる。

このような構成を有する撮像素子１１４において、画像取得時には、図２（ｂ）に示すように、単位セル内の画素１ａ〜１ｄの４画素からの画素出力全てを合成することで、画像を構成する信号として用いることができる。なお、合成に関してはさまざまな方法があり、画素内、撮像素子内での部分加算（縦方向もしくは横方向の加算）、撮像素子出力後の演算による加算等、何れのタイミングで合成を行っても良い。

一方、情報取得（焦点調節動作）時には、例えば、図２（ｃ）に示すように縦方向に画素出力を加算することにより、単位セル１を二分する。これにより、複数の単位セル１の左側の画素出力（１ａ＋１ｂ）から得られるＡ像と、右側の画素出力（１ｃ＋１ｄ）から得られるＢ像との横方向のずれ（画像間の位相差）を利用して、周知の位相差方式の焦点調節制御を行うことができる。同様に、横方向に二分するように画素出力を加算することで、縦方向のずれを利用して、位相差方式の焦点調節制御を行うことができる。

ここで、単位セル１の画素の１つが欠陥画素である場合に、上述した特許文献３の方法により補正を行う場合に生じる問題について説明する。

図３は、正常画素と欠陥画素との面積比に基づいて、画像データを補正する場合の補正目標の設定例を示す。図３（ａ）は、単位セル１の水平方向の配置の一部を示す図であり、ここでは、左から１１番目にある単位セル１の右下の画素１ｄが欠陥画素である例を示している。また、説明を簡素化する為に、水平方向のみに位相差が生じている例を示しているが、垂直方向に位相差が生じている場合も同様の問題が生じる。

図３（ｂ）は欠陥画素周辺に結像した被写体に焦点が合っている場合の画素１ａ〜１ｄそれぞれの出力値の一例を示し、図３（ｃ）は欠陥画素周辺に結像した被写体に焦点が合っていない場合の画素１ａ〜１ｄそれぞれの出力値を示している。なお、図３（ｂ）及び図３（ｃ）では、画素１ａの出力値から得られる像を１ａ像、画素１ｂの出力値から得られる像を１ｂ像、画素１ｃの出力値から得られる像を１ｃ像、画素１ｄの出力値から得られる像を１ｄ像と呼ぶ。

図３（ｂ）では、焦点が合っているため、１ａ像≒１ｂ像≒１ｃ像≒１ｄ像であり、欠陥画素１ｄの出力値のみがずれている（グラフ内の●）。特許文献３の補正方法では、欠陥画素１ｄを含む単位セル内の正常画素１ａ、１ｂ、１ｃの出力値に、正常画素１ａ、１ｂ、１ｃの面積と欠陥画素１ｄの面積の比を掛ける。焦点が合っている場合には、グラフ上の◇で表す補正値となり、欠陥画素１ｄの正しい出力値をほぼ正確に予測することができる。

一方、図３（ｃ）では、焦点がずれているため、１ａ像≒１ｂ像≠１ｃ像≒１ｄ像である。即ち、欠陥画素１ｄの出力値（グラフ内の●）のみではなく、正常画素から出力された１ａ像及び１ｂ像と、１ｃ像及び１ｂ像との間でも、位相差によりずれが生じている。この場合、欠陥画素１ｄを含む単位セル内の正常画素１ａ、１ｂ、１ｃの出力値に、正常画素１ａ、１ｂ、１ｃの面積と欠陥画素１ｄの面積の比を掛けた値は、グラフ上で◇で示す値となる。しかしながら、この場合、欠陥画素１ｄの出力値は、正常画素１ｃの出力値と略同等である◆で示す値が適正な補正値と考えられる。このように、グラフ上の◇が補正値として算出されると、誤った値で補正してしまうことになる。つまり、焦点がずれている場合、特許文献３の方法では正しい欠陥補正を行うことが困難である。

以下、焦点がずれている場合にも、適切な補正を行うことができる本発明の補正方法について説明する。

撮影動作
図４及び図５は図１に示す撮像装置の撮影動作の処理手順を示すフローチャートである。

Ｓ１０１において、電池交換などの電源投入により、システム制御回路１５０はフラグや制御変数等を初期化し、各部に対して必要な所定の初期設定を行う。この際に不揮発性メモリ１５６に記録されている必要情報を、システム制御回路１５０内のメモリ１５２へ読み出す。

Ｓ１０２において、システム制御回路１５０は、メインスイッチの設定位置を判別し、電源がＯＦＦに設定されているか否かを判別する。電源がＯＦＦに設定されている場合、Ｓ１０３において所定の終了処理を行った後、Ｓ１０２の処理に戻る。ここでは、例えば、画像表示部１２８の表示を終了状態に変更し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ１５６に記録し、電源制御部１８２により画像表示部１２８を含む各部の不要な電源を遮断する等の処理を行う。

一方、電源がＯＮに設定されている場合、Ｓ１０４において、既に設定されているＩＳＯ感度等の設定情報の読み出しを行う。次のＳ１０５では、システム制御回路１５０は電源制御部１８２により電池などの電源１８６の残容量や動作状況に問題があるか否かを判別し、問題があると判別された場合はＳ１０６へ、問題が無いと判別された場合はＳ１０７へ移行する。Ｓ１０６では、画像表示部１２８に画像の表示により所定の警告を行った後、Ｓ１０２の処理に戻る。

Ｓ１０５で電源１８６に問題が無いと判別されると、Ｓ１０７において操作部１６０内のモードダイアルスイッチが撮影モードに設定されているか否かを判別する。モードダイアルスイッチが撮影モードに設定されている場合はＳ１０９へ、その他のモードに設定されている場合はＳ１０８へ移行する。Ｓ１０８では、選択されたモードに応じた処理を実行し、実行後にＳ１０２の処理に戻る。

Ｓ１０９では、記録媒体１２００が装着されているか否かの判断及び、記録媒体１２００に記録された画像データの管理情報の取得及び、記録媒体１２００の動作状態が、記録媒体１２００に対する画像データの記録再生動作に問題があるか否かを判別する。問題があると判別された場合はＳ１０６に進んで上述した警告処理を行い、問題が無いと判別された場合はＳ１１３へ移行する。Ｓ１１３では、画像表示部１２８を用いて画像により各種設定状態の表示を行う。

次に、図５のＳ１１４に進み、操作部１６０に含まれる不図示のシャッタースイッチの操作（例えば半押し）により、ＳＷ１がＯＮされているか否かを判別する。ＳＷ１がＯＮされていない場合はＳ１０２の処理に戻り、ＳＷ１がＯＮされている場合はＳ１１５へ移行する。

Ｓ１１５では、測光制御部１４６を使用して、被写体の明るさを検知するとともに、撮影時の絞り値及びシャッター速度を決定する周知の測光処理を行う。Ｓ１１６では、焦点調節処理を行ってレンズ１１０の焦点を被写体に合わせる焦点調節動作を行う。ここでは、図２（ｃ）を参照して説明したように、縦方向（または横方向）に画素出力を加算することにより、異なる瞳領域を通過した２つの像（Ａ像及びＢ像）を求める。そして求めたＡ像とＢ像との位相差から、公知の焦点調節制御を行う。なお、この焦点調節処理を行う際には、不揮発性メモリ１５６から欠陥画素情報を読み出し、欠陥画素を含む単位セルからの出力は除外しておく。

Ｓ１１８では、操作部１６０に含まれる不図示のシャッタースイッチの操作（例えば全押し）により、ＳＷ２がＯＮされているか否かを判別する。ＳＷ２がＯＮされていない場合はＳ１１４へ、ＳＷ２がＯＮされている場合はＳ１１９へ移行する。

Ｓ１１９では、撮影した画像データを記憶可能な画像記憶バッファ領域がメモリ１３０にあるか否かを判別する。そして、メモリ１３０の画像記憶バッファ領域内に新たな画像データの記憶可能な領域が無いと判別された場合はＳ１２０へ進み、画像表示部１２８により所定の警告を行った後、Ｓ１０２の処理に戻る。一方、新たな画像データを記憶可能な領域があると判別された場合はＳ１２１へ移行する。

Ｓ１２１では、撮像素子１１４に電源供給を開始し、所定の制御信号を送ると共に、シャッター１１２を所定時間開口し、撮像素子１１４への露光動作を行う撮影動作を行う。また、Ｓ１２１では読み出し動作も行い、後段の出力信号処理回路１１５へ蓄積した電気信号の転送を行う。なお、Ｓ１２１の読み出し動作では、単位セルの各画素から独立して読み出しを行う。

次に、Ｓ１２３において、システム制御回路１５０は、出力信号処理回路１１５（ＡＦＥ１１６、ＤＦＥ１１７）及び画像処理回路１２０を用いて、撮像素子１１４から転送された電気信号（画像信号）の補正処理を行う。具体的には、画像として見る場合の基準レベルとなるＯＢのレベルを一定化するＯＢクランプ動作や、撮像素子１１４中の画素（単位セル）の位置によって微小に発生する出力ズレを補正するシェーディング補正等を行う。

更にＳ１２４において、正常な出力を出すことのできない欠陥画素の補正等を行い、補正後の画像信号をメモリ１３０の所定領域に記憶する。本実施の形態では、予め不揮発性メモリ１５６に記憶されている欠陥画素情報（座標等）を用いて補正するべき画素か否かの判断を行う。なお、欠陥画素か否かの判断はこの方法に限るものではなく、画像解析により異常な画素信号を検出するなど、別の方法により行っても構わない。Ｓ１２４で行われる欠陥画素の補正処理については、図６を参照して詳細に後述する。

Ｓ１２５において、システム制御回路１５０は、Ｓ１２４にて補正された画像信号をメモリ制御回路１２２を介して読み出し、現像処理を行うために必要なＷＢ（ホワイトバランス）積分演算処理、ＯＢ（オプティカルブラック）積分演算処理を行う。そして、演算結果をシステム制御回路１５０内部のメモリ１５２に記憶する。次に、画像処理回路１２０を用いて、メモリ１５２に記憶した演算結果を用いて、Ｓ１２４にて補正され、メモリ１３０の所定領域に記憶された画像信号に対し、ＡＷＢ（オートホワイトバランス）処理、ガンマ変換処理、色変換処理を含む各種現像処理を行う。

Ｓ１２６において、システム制御回路１５０は、現像された画像データを圧縮処理し、Ｓ１２７でメモリカードやコンパクトフラッシュ（登録商標）カード等の記録媒体１２００に、読み出した画像データを書き込む記録処理を行う。この記録処理は、メモリ１３０の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みが新たに行われる度に、その画像データに対して実行される。

Ｓ１２８では、システム制御回路１５０は、シャッタースイッチのＳＷ１がＯＮされているか否かを判別し、ＯＦＦである場合はＳ１０２の処理に戻り、ＯＮされた状態である場合はＳ１１８の処理に戻って、次の撮影に備える。

欠陥画素補正
次に、図６乃至図９を用いて、図５のＳ１２４で行われる欠陥画素補正動作について説明する。図６は、本実施の形態における欠陥画素補正動作を示したフローチャートである。

Ｓ２０１において、予め不揮発性メモリ１５６に保存され、システム制御回路１５０内のメモリ１５２に読み出された欠陥画素情報から、欠陥処理を行うべき画素の座標及び欠陥レベルを確認する。Ｓ２０２では、単位セルに欠陥画素として補正対象になっている画素が含まれるか否かを判定し、欠陥画素が含まれる場合、Ｓ２０３へ、含まれない場合（正常画素のみから成る単位セルであれば）、Ｓ２１３へ移行する。

Ｓ２０３では欠陥画素を含むと判断された同一単位セル内に他の欠陥画素があるか否かを判定し、他の欠陥画素があればＳ２０６へ、他の欠陥画素が無ければＳ２０４へ移行する。Ｓ２０４では、相関値（位相差）と、相関値の信頼度を求める。

（相関値と信頼度の取得）
ここで、Ｓ２０４で行われる動作について、図７を参照して説明する。Ｓ３０１では、欠陥画素のあるラインと同色構成の近接正常ラインの出力値を読み出す。Ｓ３０２において、Ｓ３０１で読み出した欠陥画素のあるラインと同色構成の近接正常ラインの出力値の平均値ｐと、所定の出力レベルＰとを比較する。ｐ＜Ｐならば出力値が低く、充分な精度で相関値を求めることができないのでＳ３０７へ移行し、ｐ≧Ｐならば相関値を求めるのに充分な出力値であるため、Ｓ３０３へ移行する。

Ｓ３０３では、Ｓ３０１にて読み出した欠陥画素のあるラインと同色構成の近接正常ラインの出力値の変動量Ｖｐ−ｐと所定レベルＣとを比較する。Ｖｐ−ｐ＜Ｃならば変動量（＝コントラスト）が低く、充分な精度で相関値を求めることができないのでＳ３０７へ移行し、Ｖｐ−ｐ≧Ｃならば相関値を求めるのに充分な変動量（＝コントラスト）であるため、Ｓ３０４へ移行する。

Ｓ３０４では、近接正常ラインにおける欠陥画素近辺の所定領域の相関値（位相差）ｄｘと、別の所定領域の相関値ｄｘ’とを求める。ここで求められる相関値の例を図８に示す。図８は、図８（ａ）に示すように、異なる距離に被写体Ｏｂ１と被写体Ｏｂ２がある場合に得られる出力値を示している。図８（ｂ）は、被写体Ｏｂ１及び被写体Ｏｂ２を含む、近接正常ラインの出力値の一部を、また、図８（ｃ）は、欠陥画素のあるラインにおいて図８（ｂ）と同じ領域から得られる出力値の一部を示している。

次に、Ｓ３０５において、欠陥画素のあるラインにおいて、相関値ｄｘ’を求めた領域に対応し、正常画素のみを含む所定領域の相関値Ｌｘ’を求める。

Ｓ３０６では、Ｓ３０４及びＳ３０５で求めた相関値ｄｘとｄｘ’とを比較すると共に、相関値Ｌｘ’とｄｘ’とを比較し、それぞれの差が所定範囲内にあるか否かを判定する。具体的には、｜ｄｘ−ｄｘ’｜≦Ｔｈ（閾値）かつ｜Ｌｘ’−ｄｘ’｜≦Ｔｈであるかどうかを判断する。所定範囲外であれば、欠陥画素ラインと近接正常ラインの出力に極端な変化がある（即ち、被写体の変化がある、ノイズ・欠陥等の影響で相関が取れない等）としてＳ３０７へ移行する。一方、所定範囲内であれば、欠陥画素ラインと近接正常ラインの出力に極端な変化がない（即ち、相関がある）としてＳ３１０へ移行し、相関値ｄｘを欠陥画素近辺における相関値とすると共に、信頼度が高い（＝ＯＫ）として記憶する。

Ｓ３０７では、Ｓ３０４及びＳ３０５で相関値を求めた画素領域が、最初の領域（第１の領域）であるか、または、第１の領域とは異なる第２の領域かを判定する。第２の領域でなければＳ３０８へ移行して、第１の領域とは異なる第２の領域を設定してＳ３０２に戻り、再度、相関値と信頼度を求める。

図８（ｄ）及び（ｅ）は、領域を変更した場合の一例を示しており、図８（ｄ）は被写体Ｏｂ２のみを含む近接正常ラインの出力値の一部を、また、図８（ｅ）は欠陥画素のあるラインにおいて図８（ｄ）と同じ領域から得られる出力値の一部を示している。図８（ｄ）及び（ｅ）に示す例では、ｄｘ≒ｄｘ’、Ｌｘ’≒ｄｘ’となり、求めた相関値の信頼度が高いので、２回目のＳ３１０において、近接正常ラインにおける欠陥画素近辺の領域の相関値ｄｘが記憶される。

一方、Ｓ３０７で第２の領域が設定されていたと判断されるとＳ３０９へ移行し、Ｓ３０４及びＳ３０５で求めた相関値の信頼度が低い（＝ＮＧ）として記憶する。

なお、Ｓ３０７及びＳ３０８において設定する相関値の取得領域は、被写体依存があるために発生する相関不一致を回避することを主な目的としている。そのため、例えば、図８を用いて説明した「欠陥画素を含むラインと、該ラインの上の正常画素ラインの境で被写体が変化した場合に相関が合わないが、欠陥画素を含むラインの下側の正常画素ラインが類似の被写体になる。」場合や、「欠陥画素を含むラインと、該ラインの上の正常画素ラインで、相関値の取得領域の左右で被写体が異なるが、左右方向を狭く観測すると類似の被写体になる。」場合なども想定される。従って、本実施の形態では第１の領域と第２の領域の切り替えに留めているが、さらに複数領域での判定を加えることも、本発明の主旨に即したものである。例えば、図８では領域を水平方向に移動させる処理を行っているが、「領域を狭くする」、「領域を広くする」、「領域を上下方向に変更する」等の処理を行うことも本発明の主旨に即したものである。

以上の処理が終了すると、図６のＳ２０５に進む。Ｓ２０５において、Ｓ２０４で確認した相関値の信頼度の結果を判定し、信頼度が低い（＝ＮＧ）場合はＳ２０６へ、信頼度が高い（＝ＯＫ）場合はＳ２０９へ移行する。

Ｓ２０６へ移行するのは、同一セル内に他の欠陥画素があるか、相関値の信頼度が低い場合である。そのため、周辺の欠陥画素を含まない正常同色単位セルの出力値（１ａ＋１ｂ＋１ｃ＋１ｄ）を読み出し、Ｓ２０７において、Ｓ２０６で読み出した周辺の正常同色単位セルの出力値の平均値ｖを算出する。次のＳ２０８において、欠陥画素を含む単位セルの出力値を、Ｓ２０７で求めた平均値ｖで置き換えることで補正し、メモリ１３０に記憶して、Ｓ２１３へ移行する。

なお、Ｓ２０６及びＳ２０７における補正値の算出方法は、例えば、上下左右の同色単位セルの出力値（１ａ＋１ｂ＋１ｃ＋１ｄ）の平均値とする等の方法で求めることを想定しているが、本発明はこれに限定されるものではない。相関値による欠陥画素の補正値算出を行わないものであれば、その他の補正方法により補正しても構わない。例えば、欠陥画素１ｄについて、上下左右の同色単位セルにおける画素１ｄの出力値の平均値を求めても良い。

一方、Ｓ２０５で相関信頼度が高い（＝ＯＫ）と判断された場合には、Ｓ２０９において、欠陥画素を含むラインのＡ像及びＢ像の出力値（一部または全部）を読み出す。そして、Ｓ２１０において、Ｓ２０４で記憶しておいた相関値ｄｘと欠陥画素を含むＡ像及び／またはＢ像の出力値とから、欠陥画素の仮想出力値ｘを求める。図９は、Ｓ２０９で読み出されたＡ像とＢ像の一例を示す図である。なお、ここでは、図３を参照して説明したように、画素１ｄが欠陥画素であるものとし、Ａ像とＢ像が水平方向にずれているものとする。

図９において、●は、欠陥画素１ｄからの出力を含むＢ像の値（１ｃ＋１ｄ）を示す。ここで、Ａ像とＢ像は、相関値ｄｘだけずれているため、相関値ｄｘ（位相差）だけずれた単位セルから出力されたＡ像の値が、欠陥画素１ｄを含む単位セルから出力されたＢ像の値に対応していることになる。従って、Ｓ２１０においては、図９で◇で示す、相関値ｄｘだけずれた位置にある単位セルから出力されるＡ像の値を読み出し、これを仮想出力値ｘとする。そして、Ｓ２１１において、この仮想出力値ｘに対して、Ｂ像を構成する画素１ｃ、１ｄのうちの正常画素（ここでは画素１ｃ）の出力値を引いた値を欠陥画素補正値ｋとして算出する。例えば、画素１ｄが欠陥である場合、
欠陥画素補正値ｋ＝仮想出力値ｘ−画素１ｃの出力値

として、欠陥画素１ｄの補正値を算出する。
Ｓ２１２では、Ｓ２１１で求めた欠陥画素補正値ｋによって欠陥画素１ｄを含む単位セルの出力値の補正処理を行う（図９の◆）。なお、上述の処理では、欠陥画素１ｄの補正値を求めたが、欠陥画素１ｄを含むＢ像の値（１ｃ＋１ｄ）を仮想出力値ｘにより置き換えても良い。そして、補正後の欠陥画素１ｄの出力値ｋを用いて、単位セルの出力値（１ａ＋１ｂ＋１ｃ＋ｋ）を算出してメモリ１３０に記憶する。

Ｓ２１３では、画像の最終画素（単位セル）まで欠陥補正動作を行ったか否か判定する。最終画素まで補正動作を行っていない場合はＳ２１４へ移行し、確認する画素を次の画素へ移動（確認画素のカウンタを１画素分アップするなど）して、既に説明済みのＳ２０２に戻って上述した処理を行う。Ｓ２１３で最終画素であった場合は、図２の処理に戻る。

上記の通り本実施の形態によれば、複数画素を単位セルとした撮像素子を使用する撮像装置において、単位セル内の一部の画素が欠陥である場合に、欠陥画素近辺における被写体の結像状態に関わらず、適正な欠陥補正を行うことが可能となる。

また、補正に使用する正常画素の相関値の信頼度が低い（例えば、低輝度・低コントラストや、被写体依存の相関不一致、ノイズ・欠陥による出力変化等）場合には、信頼性の低い補正を行うことを回避することができる。

また、本実施の形態での補正はＡ像＝１ａ＋１ｂ、Ｂ像＝１ｃ＋１ｄとして、行方向に近接するラインで相関値を参照するように記載している。しかしながら、本発明はこれに限られるものではなく、例えば、Ａ像＝１ａ＋１ｃ、Ｂ像＝１ｂ＋１ｄとして、列方向で近接するラインの相関値を参照して補正することも、本発明の意図するところである。

さらに、本発明の相関値を求める同色構造の正常画素セル群として、近接ラインの異なるセル群を指定しているが、本発明はこれに限定されるものではなく、例えば、同セル内での相関値取得可能な正常画素で相関値を取得して補正に用いても良い。具体的には、欠陥画素１ｄに対して、正常画素１ａと１ｃの像で相関値を求め、相関値分ずれた位置にある正常画素１ｂの値で補正してもよい。

なお、上述した実施の形態では画像出力の補正に特化したものとして説明しているが、本発明における相関値を基に、欠陥画素の補正値を、例えば、画素単位の距離情報として、画像情報に記録する等、画像出力の補正以外に利用してもよい。

また、上述した実施の形態では、単位セル内が４つの画素を含む構成として説明しているが、本発明はこれに限られるものではない。例えば単位セル内に同サイズの９つの画素を配置したり、焦点調節用に同サイズの画素を複数（例えば４画素）備えつつ、サイズの異なる画素も含む（例えば１画素）構成においても、欠陥補正方法として有用なものである。

さらに、上述した実施の形態では、単位セル内に４つの画素がある複合画素を撮像素子全面に配置するものを例に挙げているが、本発明はこれに限られるものではない。例えば、数行及び／または数列置きに離散的に複合画素が配置されている構成においても、配置状態によって、有効な補正を行うことが可能になるものである。

また、単位セル毎に画素１ａ〜１ｄの出力値を合成する場合、合成のタイミングは上述したタイミングに限られるものではなく、欠陥画素の補正を行う時に画像間の位相差を利用して補正可能であれば、どのようなタイミングで合成しても構わない。

＜他の実施形態＞
上述した実施の形態では、欠陥画素の補正を撮像装置において行う場合について説明したが、撮像素子１１４から得られる画像信号と共に、欠陥画素の情報を与えることにより、例えばコンピュータなどの画像処理装置において行うことも可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. それぞれが異なる瞳領域を通過した光を受光する複数の光電変換素子を含み、前記複数の光電変換素子の各光電変換素子から個別に読み出し可能な単位セルを複数有する撮像素子から出力される画像信号を処理する画像処理装置であって、
   前記複数の単位セルそれぞれにおいて同じ位置にある光電変換素子に対応する画像信号から構成される複数の画像間の位相差を検出する検出手段と、
   前記複数の光電変換素子のいずれかに欠陥があるか否かを判断する判断手段と、
   前記判断手段により欠陥があると判断された光電変換素子に対応する画像信号を、前記検出手段により検出された位相差に基づいて、前記複数の画像の内、該画像信号を含まない別の画像における、該画像信号に対応する画像信号を用いて補正する補正手段と
   を有することを特徴とする画像処理装置。
2. 前記検出手段は、前記複数の光電変換素子の内、前記単位セルを垂直に二分した領域にそれぞれ含まれる光電変換素子に対応する画像信号から構成される２つの画像間の水平方向の位相差を検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、前記複数の光電変換素子の内、前記単位セルを水平に二分した領域にそれぞれ含まれる光電変換素子に対応する画像信号から構成される２つの画像間の垂直方向の位相差を検出することを特徴とする請求項１に記載の画像処理装置。
4. 単位セル毎に、各単位セルに含まれる全ての光電変換素子に対応する画像信号を合成して出力する合成手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記検出手段により検出された位相差の信頼度が、予め決められた信頼度よりも高いか否かを判断する判断手段を更に有し、
   前記判断手段により前記信頼度が前記予め決められた信頼度よりも高くないと判断された場合に、前記補正手段は、前記欠陥があると判断された光電変換素子の画像信号を、該光電変換素子を含む単位セルの周辺にある単位セルに含まれる光電変換素子の画像信号を用いて補正することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記撮像素子と、
   請求項１乃至５のいずれか１項に記載の画像処理装置と
   を有することを特徴とする撮像装置。
7. 前記単位セルが、前記撮像素子の全面に配置されていることを特徴とする請求項６に記載の撮像装置。
8. 前記単位セルが、離散的に配置されていることを特徴とする請求項６に記載の撮像装置。
9. それぞれが異なる瞳領域を通過した光を受光する複数の光電変換素子を含み、前記複数の光電変換素子の各光電変換素子から個別に読み出し可能な単位セルを複数有する撮像素子から出力される画像信号を処理する画像処理方法であって、
   検出手段が、前記複数の単位セルそれぞれにおいて同じ位置にある光電変換素子に対応する画像信号から構成される複数の画像間の位相差を検出する検出工程と、
   判断手段が、前記複数の光電変換素子のいずれかに欠陥があるか否かを判断する判断工程と、
   補正手段が、前記判断工程において欠陥があると判断された光電変換素子に対応する画像信号を、前記検出工程で検出された位相差に基づいて、前記複数の画像の内、該画像信号を含まない別の画像における該画像信号に対応する画像信号を用いて補正する補正手段と
   を有することを特徴とする画像処理方法。
10. コンピュータに、請求項９に記載の画像処理方法の各工程を実行させるためのプログラム。
11. コンピュータを、請求項１乃至５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
12. 請求項１０または１１に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images