JP2015056710A - 撮像装置、およびその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】分割画素の欠陥画素補正に有利な撮像装置を提供する。
【解決手段】単一のマイクロレンズ（１０２０）が設けられ複数の光電変換部（２０１）からなる単位画素（２００）を有する撮像素子（１０３）と、前記光電変換部のうち欠陥のある光電変換部を欠陥画素として記憶する記憶手段（１０６ａ）と、前記記憶手段に記憶された前記欠陥画素の情報に基づいて、前記欠陥画素を補正する補正手段（１０６）と、を有し、前記補正手段は、撮像装置の撮像条件に応じて、前記欠陥画素を含む第１の単位画素とは異なる第２の単位画素に含まれる光電変換部からの出力信号によって前記欠陥画素を補正する第一の欠陥画素補正方法と、前記第１の単位画素に含まれる光電変換部で、前記欠陥画素とは異なる光電変換部からの出力信号によって前記欠陥画素を補正する第二の欠陥画素補正方法と、を切り替える。
【選択図】 図１０

Description

本発明は、撮像装置に関する。特に、マイクロレンズにより単位画素内で瞳分割された光の情報を取得し、撮像面において焦点検出を行う手段を有する撮像装置に関する。

特許文献１では、撮像装置において、瞳分割位相差方式の焦点検出が可能な技術が開示されている。特許文献１によると、撮像素子の１つの単位画素は２つのフォトダイオードを有しており（以下、分割画素とする）、各フォトダイオードは１つのマイクロレンズによって撮影レンズの異なる瞳を通過した光を受光するよう構成されている。したがって、２つのフォトダイオードからの出力信号波形を比較することで、瞳分割位相差を用いた焦点検出が可能となる。また、２つのフォトダイオードからの出力信号を加算することで、通常の撮影画像を得ることができる。

しかしながら、ＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの固体撮像素子は、半導体基板上に存在する局所的な結晶欠陥などにより、欠陥画素が発生することがある。このような欠陥画素の出力信号では正しい画像を構成することができないため、欠陥画素の出力信号を補正する必要がある。

そこで、特許文献２では、分割画素に欠陥がある場合に、該分割画素近傍の同象限の分割画素（欠陥補正用画素）を使用することによって、欠陥補正を行うことを開示している。

特開２００１−１２４９８４号公報 特開２００９−１６３２２９号公報

しかしながら、前述の特許文献２では、欠陥補正用画素として、欠陥画素（着目画素）とは異なるマイクロレンズに属する画素を使用することを前提としている。そのため、マイクロレンズの形状バラツキや撮像面での位置関係等を考慮すると、より精度の高い欠陥補正を行うことは難しい。

本発明は、上記問題点を鑑みてなされたものであり、分割画素の欠陥画素補正に有利な撮像装置およびその制御方法、プログラム、記憶媒体を提供することを目的とする。

本発明の一側面としての撮像装置は、単一のマイクロレンズが設けられ複数の光電変換部からなる単位画素を有する撮像素子と、前記光電変換部のうち欠陥のある光電変換部を欠陥画素として記憶する記憶手段と、前記記憶手段に記憶された前記欠陥画素の情報に基づいて、前記欠陥画素を補正する補正手段と、を有し、前記補正手段は、撮像装置の撮像条件に応じて、前記欠陥画素を含む第１の単位画素とは異なる第２の単位画素に含まれる光電変換部からの出力信号によって前記欠陥画素を補正する第一の欠陥画素補正方法と、前記第１の単位画素に含まれる光電変換部で、前記欠陥画素とは異なる光電変換部からの出力信号によって前記欠陥画素を補正する第二の欠陥画素補正方法と、を切り替える、ことを特徴とする。

本発明によれば、分割画素の欠陥画素補正に有利な撮像装置およびその制御方法、プログラム、記憶媒体を提供することができる。

本発明の実施形態にかかる撮像装置の全体ブロック図である。 本発明における撮像素子の画素配置図である。 本発明における撮影レンズの射出瞳から出た光束が単位画素に入射する概念図である。 本発明における単位画素内の分割画素の構成を示す回路図である。 本発明における撮像素子の読み出しを説明する図である。 本発明における列回路の構成を示す回路図である。 本発明における撮像素子の駆動タイミングチャートである。 デフォーカス時の被写体のＡ像信号およびＢ像信号の像崩れを説明する模式図である。 撮影レンズの射出瞳から出る光束と撮影レンズの絞りとの関係を説明する概念図である。 実施例１の撮像装置の撮像動作の流れを示すフローチャート図である。 本発明における第一の欠陥画素補正方法を説明する図である。 本発明における第二の欠陥画素補正方法を説明する図である。 実施例２の撮像装置の撮像動作の流れを示すフローチャート図である。 実施例３および実施例４の撮像装置の欠陥画素補正方法の切り替え領域を説明する図である。

以下、図面を用いて本発明の好ましい実施の形態を説明する。

図１は、本発明の実施形態にかかる撮像装置１００のブロック図である。図１では、撮像装置本体（カメラ本体）とレンズ装置（撮像光学系）とが一体となった撮像装置を示しているが、本発明は、これに限定されるものではなく、レンズ装置が撮像装置本体に対して交換可能（着脱可能）に装着される撮像システムにも適用可能である。

図１において、１０１はズームレンズやフォーカスレンズなどの光学素子を一枚のレンズとしてまとめて表した撮影レンズである。１０２はマイクロレンズアレイ、１０３は撮像素子である。撮影レンズ１０１を通過した光は撮影レンズ１０１の焦点位置近傍に結像する。マイクロレンズアレイ１０２は複数のマイクロレンズ１０２０から構成されており、撮影レンズ１０１の焦点位置近傍に配置されることで、撮影レンズ１０１の異なる瞳領域を通過した光を瞳領域ごとに分割して出射する機能を有する。撮像素子１０３はＣＭＯＳイメージセンサやＣＣＤイメージセンサに代表される固体撮像素子である。撮像素子１０３は、単一のマイクロレンズ１０２０を共有する複数の画素（光電変換部）からなる単位画素を複数有する。単一のマイクロレンズに複数の光電変換部が配置されることで、マイクロレンズ１０２０で瞳領域ごとに分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換する機能を有する。

１０４はアナログ信号処理回路（ＡＦＥ）、１０５はデジタル信号処理回路（ＤＦＥ）である。アナログ信号処理回路１０４は、撮像素子１０３から出力される画像信号に対して相関二重サンプリング処理、信号増幅、基準レベル調整、Ａ／Ｄ変換処理等を行う。デジタル信号処理回路１０５は、アナログ信号処理回路１０４から出力される画像信号に対して基準レベル調整等のデジタル画像処理を行う。

１０６は画像処理回路、１０７はメモリ回路、１０８は記録回路である。画像処理回路１０６はデジタル信号処理回路１０５から出力された画像信号に対して後述するＡ像、Ｂ像の相関演算や焦点検出、また所定の画像処理や欠陥画素補正等を施す。すなわち、本発明の画像処理回路１０６は、光電変換部からの出力信号に基づいてデフォーカス量を算出する算出手段としての機能や、後述する記憶手段に記憶された欠陥画素の情報に基づいて欠陥画素を補正する補正手段としての機能を有する。また、画像処理回路１０６は、後述するように欠陥画素の補正の有無を判定する判定手段としての機能も有する。メモリ回路１０７および記録回路１０８は画像処理回路１０６から出力された画像信号等を記録保持する不揮発性メモリあるいはメモリカード等の記録媒体である。

１０９は制御回路、１１０は操作回路、１１１は表示回路である。制御回路１０９は撮像素子１０３や画像処理回路１０６等の撮像装置全体を統括的に駆動・制御する制御手段として機能する。操作回路１１０は撮像装置１００に備え付けられた操作部材からの信号を受け付け、制御回路１０９に対してユーザーの命令を反映する。表示回路１１１は撮影後の画像やライブビュー画像、各種設定画面等を表示する。

次に、本実施例の撮像装置における撮影レンズ１０１、マイクロレンズアレイ１０２および撮像素子１０３の関係と、画素の定義、および瞳分割位相差方式による焦点検出の原理について説明する。

図２は、撮像素子１０３およびマイクロレンズアレイ１０２を図１の光軸Ｚ方向から観察した図である。本実施例では、マイクロレンズアレイ１０２を形成する個々のマイクロレンズ１０２０を１つの画素と定義し、これを単位画素２００とする。また、１つのマイクロレンズ１０２０に対して複数の分割画素２０１が対応するように配置されている。なお、本実施例では単位画素２００には、分割画素２０１が２行２列の計４個あり、それぞれ２０１Ａ、２０１Ｂ、２０１Ｃ、２０１Ｄとする。ただし、本発明はこれに限定されず、単位画素を構成する分割画素の数は２個やあるいは４個以上設けられてもよい。

図３は、撮影レンズ１０１から出射された光が１つのマイクロレンズ１０２０を通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直方向（１次元）から観察した図である。ここで２０５は分割画素２０１Ａと２０１Ｃを足し合わせた加算画素、２０６は分割画素２０１Ｂと２０１Ｄを足し合わせた加算画素とする（実際は信号上で加算されるが焦点検出の原理を平面で説明するための概念図である）。また２０２、２０３は撮影レンズの射出瞳を表す。射出瞳を通過した光は、光軸Ｚを中心として単位画素２００に入射する。図３に示すように瞳領域２０２を通過する光束はマイクロレンズ１０２０を通して加算画素２０５で受光され、瞳領域２０３を通過する光束はマイクロレンズ１０２０を通して加算画素２０６で受光される。したがって、加算画素２０５と２０６はそれぞれ撮影レンズの射出瞳の異なる領域の光を受光している。

このように瞳分割された加算画素２０５の信号を図３におけるＸ方向（１次元方向）に並ぶ複数の単位画素２００から取得し、これらの出力信号群で構成した被写体像をＡ像とする。同様に瞳分割された加算画素２０６の信号をＸ方向（１次元方向）に並ぶ複数の単位画素２００から取得し、これらの出力信号群で構成した被写体像をＢ像とする。

Ａ像とＢ像に対して相関演算を実施し、像のずれ量（瞳分割位相差）を検出する。さらに像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。ここで算出された焦点位置情報を基に撮影レンズ１０１のフォーカスを制御することで撮像面位相差ＡＦが可能となる。したがって、Ａ像の信号（Ａ像信号）およびＢ像の信号（Ｂ像信号）は、それぞれ焦点検出信号として機能する。

また、Ａ像信号とＢ像信号を加算したものをＡ＋Ｂ像信号とすることで、このＡ＋Ｂ像信号を通常の撮影画像に用いることができる。換言すれば、このＡ＋Ｂ像信号は、撮像信号として機能する。

次に、撮像素子１０３の構成を図４を用いて詳細に説明する。

図４は、本発明における撮像素子１０３の単位画素２００を示す回路図である。なお、本実施例で説明する単位画素２００は２行２列配列とし、４つの分割画素に対し、１つのフローティングディフュージョンが接続された構成とする。ただし本発明はこれに限定されず、任意の配列や接続方法が可能である。

単位画素２００は、第１から第４までのフォトダイオード３０１Ａ〜３０１Ｄ、第１から第４までの転送スイッチ３０２Ａ〜３０２Ｄを有している。図４に示されるように、第１から第４までの分割画素２０１Ａ〜２０１Ｄはそれぞれ、対応するフォトダイオード３０１Ａ〜３０１Ｄを１つ含んで構成される。単位画素２００は、さらに、フローティングディフュージョン３０３、ソースフォロアアンプ３０４、リセットスイッチ３０５、セレクトスイッチ３０６を含んで構成される。

フォトダイオード３０１Ａ〜３０１Ｄは、同一のマイクロレンズを通過した光を受光し、その受光量に応じた信号電荷を生成する光電変換部として機能する。

転送スイッチ３０２Ａ〜３０２Ｄは、それぞれに対応するフォトダイオード３０１Ａ〜３０１Ｄで発生した電荷を共通のフローティングディフュージョン３０３に転送する。転送スイッチ３０２Ａ〜３０２Ｄは、それぞれ転送パルス信号ＰＴＸＡ〜ＰＴＸＤによって制御される。

フローティングディフュージョン３０３は、フォトダイオード３０１Ａ〜３０１Ｄから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。

リセットスイッチ３０５は、フローティングディフュージョン３０３の電位を基準電位ＶＤＤ３０８にリセットする。リセットスイッチ３０５は、リセットパルス信号ＰＲＥＳによって制御される。

ソースフォロアアンプ３０４は、ＭＯＳトランジスタと基準電位ＶＤＤ３０８からなるソースフォロア回路であり、フローティングディフュージョン３０３に保持した電荷に基づく電圧信号を増幅して、画素信号として出力する。

セレクトスイッチ３０６は、ソースフォロアアンプ３０４で増幅された画素信号を垂直出力線３０７に出力する。セレクトスイッチ３０６は、セレクトパルス信号ＰＳＥＬによって制御される。

次に、撮像素子１０３の読み出し回路について図５を用いて説明する。

撮像素子１０３は複数の単位画素２００が行列状に配置されている。なお、図５においては単位画素２００を４行２列の計８個として図示するが、実際は数百万、数千万の単位画素２００で構成される。また、単位画素２００はベイヤー配列に従って並べられ、それぞれ赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが設けられる。すなわち、単位画素２００は、複数色あるカラーフィルタのうちいずれか一色のカラーフィルタを有している。４０１は垂直シフトレジスタであり、各行ごとに接続される信号線４０２を通して行を選択・駆動する。４０３は垂直出力線（図４の符号３０７）であり、同列の単位画素２００が共通に接続され、垂直シフトレジスタ４０１によって列回路４０４に出力される。列回路４０４で処理された信号は水平シフトレジスタ４０５により、水平出力線４０６、４０７を通して出力アンプ４０８に転送される。

次に、列回路４０４の回路構成を図６を用いて説明する。

５０１はクランプ容量Ｃ０、５０２はフィードバック容量Ｃｆ、５０３はオペアンプ、５０４は基準電圧Ｖｒｅｆを供給する基準電源、５０５はフィードバック容量Ｃｆの両端をショートさせるためのスイッチである。スイッチ５０５はＣ０リセット信号ＰＣ０Ｒで制御される。５０６、５０７は信号電圧を保持するための容量であり、５０６を容量ＣＴＳ、５０７を容量ＣＴＮとする。５０８、５０９は容量への書き込みを制御するスイッチである。スイッチ５０８はＰＴＳ信号で制御され、スイッチ５０９はＰＴＮ信号で制御される。５１０、５１１は水平シフトレジスタ４０５からの信号を受け、それぞれ水平出力線４０６、４０７を介して、出力アンプ４０８に信号を出力するためのスイッチである。スイッチ５１０は水平シフトレジスタ４０５のＰＨＳ信号で制御され、スイッチ５１１はＰＨＮ信号で制御される。

図７は本実施例の撮像装置における画素信号を読み出す駆動方法を示すタイミングチャートである。この駆動タイミングは複数のフォトダイオード３０１Ａ〜３０１Ｄで発生した電荷を順に読み出すものである。

まず、ＨＢＬＫＡの期間にフォトダイオード３０１Ａの信号読み出しを行う。始めにＰＲＥＳがＨｉの状態で、フローティングディフュージョン３０３をリセットする。時刻Ｔ＝ｔ１でＰＴＸＡをＨｉとし、フォトダイオード３０１Ａをリセットする。Ｔ＝ｔ２でＰＴＸＡをＬｏとし、フォトダイオード３０１Ａの電荷蓄積を開始する。

電荷蓄積後Ｔ＝ｔ３でＰＳＥＬをＨｉとし、ソースフォロアアンプ３０４を動作状態とする。Ｔ＝ｔ４でＰＲＥＳをＬｏとすることでフローティングディフュージョン３０３のリセットを解除する。このときのフローティングディフュージョン３０３の電位を垂直出力線４０３にリセット信号レベル（ノイズ成分）として読み出し、列回路４０４に入力する。列回路４０４において、Ｔ＝ｔ５でＰＣ０ＲをＬｏとしオペアンプ５０３の基準電圧Ｖｒｅｆ出力バッファを解除し、Ｔ＝ｔ６、ｔ７でＰＴＮをＨｉ、Ｌｏとしスイッチ５０９を動作させることで容量ＣＴＮ５０７にリセット信号レベルを書き込む。

次に、Ｔ＝ｔ８、ｔ９でＰＴＸＡをＨｉ、Ｌｏとしてフォトダイオード３０１Ａに蓄積された光電荷をフローティングディフュージョン３０３に転送する。すると、電荷量に応じたフローティングディフュージョン３０３の電位変動が垂直出力線４０３に光信号レベル（光成分＋ノイズ成分）として読み出され、列回路４０４に入力される。列回路４０４において、Ｔ＝ｔ１０、ｔ１１でＰＴＳをＨｉ、Ｌｏとしスイッチ５０８を動作させることで容量ＣＴＳ５０６に光信号レベルを書き込む。

なお、ＣＴＳ５０６、ＣＴＮ５０７に信号を書き込む際、クランプ容量Ｃ０５０１とフィードバック容量Ｃｆ５０２の比に応じた反転ゲインがかかり出力される。

その後、Ｔ＝ｔ１２でＰＲＥＳをＨｉとし、フローティングディフュージョン３０３をリセット状態にする。

次に、ＨＳＲＡの期間にＣＴＳ５０６、ＣＴＮ５０７に保持された信号を水平シフトレジスタ４０５により読み出す。Ｔ＝ｔ１３〜ｔ１４の間に、列回路４０４ごとに順次ＰＨＳ、ＰＨＮをＨｉ、Ｌｏとしスイッチ５１０、５１１を動作させる。スイッチ５１０、５１１を動作させることで、ＣＴＳ５０６、ＣＴＮ５０７に保持された信号は水平出力線４０６、４０７を通り、出力アンプ４０８で差動信号レベル（光成分）として出力される。

続けて、フォトダイオード３０１Ｂ〜３０１Ｄについても同様に信号読み出しを行う。図７に示すＨＢＬＫＢ、ＨＳＲＢの期間中にフォトダイオード３０１Ｂの信号読み出しを行い、ＨＢＬＫＣ、ＨＳＲＣの期間中にフォトダイオード３０１Ｃの信号読み出しを行い、ＨＢＬＫＤ、ＨＳＲＤの期間中にフォトダイオード３０１Ｄの信号読み出しを行う。これらの読み出しタイミングは先に説明したフォトダイオード３０１Ａの信号読み出しタイミングと同様のため、詳細な説明は割愛する。

以上のようにして、単位画素２００の４つの分割画素の信号読み出しを完了する。

ところで本実施例の撮像装置では、撮影レンズの瞳領域を通過する光束を用いて瞳分割方式の焦点検出を行っている。そのため、合焦状態から離れるほど被写体像の崩れ方が大きくなる。そこで図８を用いて各デフォーカス状態における被写体像を模式図で説明する。

図８は図３と同様に光軸Ｚに対して垂直方向（１次元）から観察した図とする。大デフォーカス状態では図８（ａ）のように被写体像の崩れ方が大きく、以下、中デフォーカスでは図８（ｂ）のように、小デフォーカスでは図８（ｃ）のようにデフォーカス量に応じて被写体像の崩れ方が小さくなる。ここで一般にデフォーカス量に影響を与える要素として光学系の絞り（Ｆナンバー）が挙げられる。例えば、絞りが開放に近いときは、撮影レンズのより広範囲の瞳領域を通過する光線を取り込むため、一般に合焦状態から離れたときに大デフォーカスになりやすいとされる（いわゆるボケ表現。被写界深度の浅い状態）。一方、絞りを絞り、撮影レンズの瞳領域を通過する光線を制限するときは、一般に合焦状態から離れたときに大デフォーカスになりにくいとされる（いわゆるパンフォーカス。被写界深度の深い状態）。

これを単位画素２００内の光線に置き換えて説明した模式図が図９である。図９は、図３と同様に撮影レンズ１０１から出射された光が１つのマイクロレンズ１０２０を通過して撮像素子１０３で受光される様子を光軸Ｚに対して垂直方向（１次元）から観察した図である。図３と同様に２０５は分割画素２０１Ａと２０１Ｃを加算した加算画素であり、２０６は分割画素２０１Ｂと２０１Ｄを加算した加算画素である。また２０４は撮影レンズの絞りである。

図９（ａ）は絞り値が小さい場合の模式図である。このとき、加算画素２０５、２０６に入射する光線は、それぞれ撮影レンズの光軸から離れた射出瞳領域を通過した成分（入射角度の大きい成分）が支配的になる。つまり、加算画素２０５、２０６はそれぞれ異なる瞳領域の光を受光し、瞳分割位相差が大きくなる。一方、図９（ｂ）は絞り値が大きい場合の模式図である。このとき、加算画素２０５、２０６に入射する光線は、それぞれ撮影レンズの光軸に近い射出瞳領域を通過した成分（入射角度の小さい成分、いわゆる平行光に近似できる成分）が支配的になる。つまり、加算画素２０５、２０６はそれぞれ略同等の光を受光し、瞳分割位相差が小さくなる。

なお、図９（ａ）の被写体像は例えば図８（ａ）に対応し、図９（ｂ）の被写体像は例えば図８（ｃ）に対応する。

その他、光学系の絞り値の他にデフォーカス量に影響を与える要素として以下を挙げる。１つは撮影レンズの焦点距離である。焦点距離が短いほど（広角なほど）被写界深度が深く、パンフォーカスになりやすい。また光学系（レンズ径）が小さくても絞りを絞るのと同様に被写界深度が深くなる。さらに撮像素子のサイズが小さい場合にも、画角に対して焦点距離が小さくなるため、より深い被写界深度が得られやすい（サイズの大きい撮像素子と同じ画角を得るためには焦点距離の短いレンズを使用する必要がある）。また、被写体までの距離が遠い場合も被写界深度が深くなる。

上記は光学系そのものの性能による例であるが、撮像装置の機能の面からデフォーカス量に影響を与える要素としては、例えばクロップモードやマクロモードが挙げられる。前者はサイズの大きい撮像素子の任意の領域を切り取る（読み出す）ことで撮像素子のサイズが疑似的に小さくなり、より深い被写界深度が得られやすい。後者は被写体距離が近い（焦点距離が長い）ため一般的に被写界深度が浅くなりやすい。

以上を踏まえ、本発明の特徴である画像処理回路１０６における欠陥補正動作について、図１０のフローチャート図を用いて説明する。なお、画像処理回路１０６には、あらかじめ欠陥画素の座標や種類（黒欠陥、白欠陥等）、および所定の条件下での出力信号値のデータなどの情報がメモリ（記憶手段）１０６ａに記憶されているものとする。

図１０において、ステップ（以下、ステップをＳと記す）１００１では、静止画撮影、動画撮影などのモード設定、また感度、絞り値などの撮影条件設定が、ユーザーから操作回路１１０によって手動で、あるいは制御回路１０９によって自動でなされる。

Ｓ１００２において、画像処理回路１０６は、あらかじめメモリ１０６ａに記憶された欠陥画素の情報を読み出す。

Ｓ１００３において、制御回路１０９は、フォトダイオードの電荷蓄積を行った後、信号読み出しを行う。

Ｓ１００４とＳ１００５において、画像処理回路１０６は、読み出した画像信号から画面内の所定の領域におけるデフォーカス量を算出し、取得したデフォーカス量に応じて欠陥画素補正に用いる補間画素の選択方法を決定する。換言すれば、画像処理回路１０６は、撮像装置の撮像条件（ここでは、撮像光学系の焦点状態（デフォーカス量））に応じて、欠陥画素の補正方法を切り替える。ここでデフォーカス量が所定の値より大きい場合はＳ１００６に進み、またデフォーカス量が所定の値以下である場合はＳ１００７に進む。

Ｓ１００６では、画像処理回路１０６は、後述する第一の欠陥画素補正方法により欠陥画素補正を実施する。

Ｓ１００７では、画像処理回路１０６は、後述する第二の欠陥画素補正方法により欠陥画素補正を実施する。

Ｓ１００８において、画像処理回路１０６は、画像信号をメモリ回路１０７および記録回路１０８、表示回路１１１に出力する。

Ｓ１００９において、制御回路１０９は、撮影終了の有無を判定し、継続ならばＳ１０１０を経由して再度画像を取得する。一方終了ならば一連の動作を終了する。

Ｓ１０１０では、画像処理回路１０６は、算出したデフォーカス量に基づいて公知である相関演算（測距）を行い、被写体の焦点位置と合焦のためのレンズ駆動量を算出する。ここで測距時の欠陥画素補正については、計算結果への影響、処理時間等の観点から、欠陥補正をしない等の選択もできる。

Ｓ１０１１では、制御回路１０９は、不図示の駆動回路を用いてＳ１０１０で算出したレンズ駆動量に応じて実際にレンズ（フォーカスレンズ）を駆動する。

その後、Ｓ１００３に戻り、上記動作の繰り返しを行う。この場合は感度などの再設定のためにＳ１００１まで戻ることも可能である。

なお、Ｓ１００４とＳ１００５におけるデフォーカス量に影響を与える要素は、前述したようにレンズの焦点距離や撮像素子の大きさ等の光学系、クロップ等の撮像装置の動作モードがある。したがって、これらの要素に応じて適宜欠陥画素補正方法を選択するしきい値である所定の値を決めておくことができる。

図１１は本実施例の撮像装置における第一の欠陥画素補正方法を説明する図である。これは近傍のマイクロレンズにおける同一象限の分割画素を補間画素（欠陥補正用画素）として選択する方法である。

図１１において、単位画素（２、２）の分割画素ｃが欠陥画素（補正対象画素）である。この分割画素ｃの出力値を、例えばベイヤー配列におけるＧ画素の場合、近傍の単位画素（１、１）、（３、１）、（１、３）、（３、３）において位置関係が同一であるそれぞれの分割画素ｃの平均値などで置き換える。換言すれば、欠陥画素を含む単位画素（第１の単位画素）に設けられた第１のマイクロレンズとは異なる近傍の第２のマイクロレンズが設けられた単位画素（第２の単位画素）に含まれる欠陥画素ｃと同一象限に配置された分割画素を補間画素として用いる。そして、その出力信号（または出力信号の平均値）を欠陥画素の出力値に置き換える補正を実行する。ここで、近傍の第２のマイクロレンズとは、例えば図１１に示すように、第１のマイクロレンズと斜め４５度の方向に隣接するマイクロレンズを指す。なお、ここでは、第２のマイクロレンズが第１のマイクロレンズと直接的に隣接するものを例示的に挙げたが、本発明はこれに限定されない。第２のマイクロレンズが第１のマイクロレンズと１つのマイクロレンズ（第３のマイクロレンズ）を挟んで間接的に隣接するものであってもよい。例えば、近傍の第２のマイクロレンズは、図１１の（０、０）、（４、０）、（４、４）、（０、４）にあるマイクロレンズであってもよい。また、本発明はこれに限定されず、近傍の第２のマイクロレンズは、例えば、第１のマイクロレンズと垂直方向及び／又は水平方向に隣接するマイクロレンズであってもよい。この場合、近傍の第２のマイクロレンズは、図１１の（２、１）、（３、２）、（２、３）、（１、２）にあるマイクロレンズであってもよいし、（２、０）、（４、２）、（２、４）、（０、２）にあるマイクロレンズであってもよい。

この第一の欠陥画素補正方法は、同一象限に属する分割画素同士による補間方法であるため、補正対象画素付近の被写体に対するデフォーカス量によらない補正が可能である。

図１２は本実施例の撮像装置における第二の欠陥画素補正方法を説明する図である。これは同一のマイクロレンズにおける他の象限の分割画素（すなわち、欠陥画素とは異なる分割画素）を補間画素として選択する方法である。

図１２において、単位画素（２、２）の分割画素ｃが欠陥画素（補正対象画素）である。この分割画素ｃの出力値を、同一の単位画素（２、２）において位置関係（象限）が異なる欠陥画素ではない分割画素ａ、ｂ、ｄの平均値などで置き換える。換言すれば、欠陥画素を含む単位画素（第１の単位画素）に設けられた第１のマイクロレンズに含まれる欠陥画素とは異なる他の象限に配置された分割画素を補間画素として用いる。そして、その出力信号（または出力信号の平均値）を欠陥画素の出力値に置き換える補正を実行する。換言すれば、欠陥画素が含まれるマイクロレンズと同一のマイクロレンズ内に配置された欠陥画素ではない他の分割画素を補間画素として用いる。

この第二の欠陥画素補正方法は、同一マイクロレンズに属する分割画素同士による補間方法であるため、補正対象画素付近の被写体の周波数成分によらない補正が可能である。

第二の欠陥画素補正方法においては、合焦状態のときは同一マイクロレンズに属する分割画素それぞれの出力値は近くなる（ほぼ同一の出力が得られる）。しかし、デフォーカス量が大きくなるにつれて、同一マイクロレンズに属する分割画素それぞれの出力値は被写体の輝度分布に応じて異なってくる。したがって、被写体の合焦度合に応じて第一の欠陥画素補正方法と第二の欠陥画素補正方法を適宜選択することで、より精度の高い補間を行うことが可能となる。

なお、本実施例においてデフォーカス量を算出する領域は、撮影画像内の１つの領域でも複数の領域であってもよい。後者の場合、当該欠陥画素近傍（例えば欠陥画素と隣接する単位画素）のデフォーカス量に応じて欠陥画素補正方法を選択することが望ましい。

また、欠陥画素補正が適用される欠陥画素は、Ｓ１００２においてメモリから読み込まれるが、読み込まれた欠陥画素が必ずしも第一あるいは第二の欠陥画素補正方法により補正される必要はない。これは、デフォーカス量によっては画質への影響が小さいことも考えられるため、むやみに補正痕を増やさないために、着目欠陥画素の補正実施の有無を判定するしきい値をデフォーカス量によって変えることも可能である。すなわち、欠陥画素の欠陥レベルに応じて補正判定（補正するか否か）を行う判定手段を設け、算出されたデフォーカス量に応じて、欠陥画素の補正の有無を判定するしきい値を変更する。ここで、判定のしきい値は、欠陥の種類あるいは欠陥画素の出力信号の大きさに応じて決定される。

本発明の実施例２において、前述の実施例１との違いは、第一および第二の欠陥画素補正方法に分岐する条件を、デフォーカス量ではなく撮影レンズの絞り値とすることである。これを図１３のフローチャート図を用いて説明する。なお、画像処理回路１０６には、あらかじめ欠陥画素の座標や種類（黒欠陥、白欠陥等）、および所定の条件下での出力信号値のデータなどの情報がメモリ（記憶手段）１０６ａに記憶されているものとする。

図１３において、Ｓ１１０１では、静止画撮影、動画撮影などのモード設定、また感度、絞り値などの撮影条件設定が、ユーザーから操作回路１１０によって手動で、あるいは制御回路１０９によって自動でなされる。

Ｓ１１０２において、画像処理回路１０６は、あらかじめメモリ１０６ａに記憶された欠陥画素の情報を読み出す。

Ｓ１１０３において、制御回路１０９は、フォトダイオードの電荷蓄積を行った後、信号読み出しを行う。

Ｓ１１０４とＳ１１０５において、画像処理回路１０６は、Ｓ１１０１によって設定された絞り値を取得し、取得した絞り値に応じて欠陥画素補正に用いる補間画素の選択方法を決定する。換言すれば、画像処理回路１０６は、撮像装置の撮像条件（ここでは、撮影レンズの絞り値）に応じて、欠陥画素の補正方法を切り替える。ここで絞り値が所定の値より小さい場合はＳ１１０６に進み、また絞り値が所定の値以上である場合はＳ１１０７に進む。

Ｓ１１０６では、画像処理回路１０６は、前述した第一の欠陥画素補正方法により欠陥画素補正を実施する。

Ｓ１１０７では、画像処理回路１０６は、前述した第二の欠陥画素補正方法により欠陥画素補正を実施する。

Ｓ１１０８において、画像処理回路１０６は、画像信号をメモリ回路１０７および記録回路１０８、表示回路１１１に出力する。

Ｓ１１０９において、制御回路１０９は、撮影終了の有無を判定し、継続ならばＳ１１１０を経由して再度画像を取得する。一方終了ならば一連の動作を終了する。

Ｓ１１１０では、画像処理回路１０６は、Ｓ１１０５と同様に絞り値の判定を行い、絞り値が所定の値より小さい場合はＳ１１１１に進み焦点検出を行う。また、絞り値が所定の値以上である場合はＳ１１０３に戻り、上記動作の繰り返しを行う。

Ｓ１１１１では、画像処理回路１０６は、デフォーカス量を算出するとともに該デフォーカス量に基づいて公知である相関演算（測距）を行い、被写体の焦点位置と合焦のためのレンズ駆動量を算出する。ここで測距時の欠陥画素補正については、計算結果への影響、処理時間等の観点から、欠陥補正をしない等の選択もできる。

Ｓ１１１２では、制御回路１０９は、不図示の駆動回路を用いてＳ１１１１で算出したレンズ駆動量に応じて実際にレンズ（フォーカスレンズ）を駆動する。

その後、Ｓ１１０３に戻り、上記動作の繰り返しを行う。この場合は感度などの再設定のためにＳ１１０１まで戻ることも可能である。また、Ｓ１１１０において絞り値が所定の値以上である場合は焦点検出動作を省いたが、一時的に絞りを開けることで焦点検出をする構成にしても構わない。

実施例１に対する実施例２の効果は、絞り値のみで分岐を判定するため、判定時のデフォーカス量算出などの処理を省くことができる点である。

また、欠陥画素補正が適用される欠陥画素は、Ｓ１１０２においてメモリから読み込まれるが、読み込まれた欠陥画素が必ずしも第一あるいは第二の欠陥画素補正方法により補正される必要はない。これは、絞り値によっては画質への影響が小さいことも考えられるため、むやみに補正痕を増やさないために、着目欠陥画素の補正実施の有無を判定するしきい値を絞り値によって変えることも可能である。すなわち、欠陥画素の欠陥レベルに応じて補正判定（補正するか否か）を行う欠陥補正レベル判定手段を設け、撮影レンズの絞り値に応じて、欠陥画素の補正の有無を判定するしきい値を変更する。ここで、判定のしきい値は、欠陥の種類あるいは欠陥画素の出力信号の大きさに応じて決定される。

本発明の実施例３において、前述の実施例１との違いは、取得したデフォーカス量に応じて、撮影画像（撮影画面）内の領域毎に適用する第一および第二の欠陥画素補正方法を切り替えることである。

これを図１４を用いて説明する。図１４は撮影画像をいくつかの領域に区切り、領域毎に適用する欠陥画素補正方法を示したマップである。なお、本実施例では、撮影画面内の欠陥画素近傍の領域（例えば、欠陥画素を含む単位画素に隣接する単位画素）においてデフォーカス量を算出している。

撮影画像全体を図１４（ａ）として、デフォーカス量が所定の値より大きい場合、図１４（ｂ）に示すように撮影画像内で第一の欠陥画素補正方法を適用する領域を第二の欠陥画素補正方法を適用する領域よりも広く取るように決定する。一方、デフォーカス量が所定の値以下である場合、図１４（ｃ）に示すように撮影画像内で第二の欠陥画素補正方法を適用する領域を第一の欠陥画素補正方法を適用する領域よりも広く取るように決定する。換言すれば、算出されたデフォーカス量が小さいほど、撮影画面内において第二の欠陥画素補正方法を適用する領域を拡大するように決定する。なお、図１４に示すように、第一の欠陥画素補正方法を適用する領域は第二の欠陥画素補正方法を適用する領域よりも外側に設定される。

上記は、例えば、デフォーカス量が小さい場合であっても、周辺部では第二の欠陥画素補正方法が適切な補正とならない場合が考えられるためである。そのような場合を鑑み、デフォーカス量と領域によって欠陥画素補正方法を適宜選択することで、より精度の高い補間を行うことが可能となる。

なお、実施例１でも述べたが、デフォーカス量を算出する領域は撮影画像内の１つである必要はなく、計算処理の負荷等を鑑みて複数個所で算出し、それぞれに適した欠陥画素補正方法を選択することもできる。

本発明の実施例４において、前述の実施例２との違いは、撮影レンズの絞り値に応じて、撮影画像内の領域毎に適用する第一および第二の欠陥画素補正方法を切り替えることである。

これを実施例３と同様に図１４を用いて説明する。つまり、撮影画像全体を図１４（ａ）として、絞り値が所定の値より小さい場合、図１４（ｂ）に示すように撮影画像内で第一の欠陥画素補正方法を適用する領域を第二の欠陥画素補正方法を適用する領域よりも広く取るように決定する。一方、絞り値が所定の値以上である場合、図１４（ｃ）に示すように撮影画像内で第二の欠陥画素補正方法を適用する領域を第一の欠陥画素補正方法を適用する領域よりも広く取るように決定する。換言すれば、撮影レンズの絞り値が大きいほど、撮影画面内において第二の欠陥画素補正方法を適用する領域を拡大するように決定する。

上記は、例えば、絞り値が大きい場合であっても、光軸に対して周辺部では第二の欠陥画素補正方法が適切な補正とならない場合が考えられるためである。そのような場合を鑑み、絞り値と領域によって欠陥画素補正方法を適宜選択することで、より精度の高い補間を行うことが可能となる。当然ながら、絞り値によっては第一と第二の欠陥画素補正方法を共存させる必要はなく、一方のみを撮影画像全体に適用することもできる。

以上、本発明の好ましい実施の形態を説明したが、本発明はこれらの実施形態に限定されるものではなく、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、本発明にかかる撮像装置の画素構成においては、画素の構造を簡潔に説明するため、同一のマイクロレンズに属する分割画素を２行２列構成としたが、本発明はこれに限定されず、様々な数及び形状の分割画素を有する構成としても構わない。

あるいは、Ｓ１００６において単位画素（２、２）の欠陥画素ｃを補間するための補間画素として、単位画素（１、１）、（３、１）、（１、３）、（３、３）中の画素から選択したが、本発明はこれに限定されるものではない。例えば欠陥画素を含む単位画素がベイヤー配列におけるＲ画素、Ｂ画素の場合、（０、０）、（２、０）、（４、０）、（０、２）、（４、２）、（０、４）、（２、４）、（４、４）のように同色のカラーフィルタを有する単位画素から補間することが望ましい。
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、装置（例えば、撮像装置）に供給する。そしてその装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどのカメラシステムに好適に利用できる。

１０２：マイクロレンズアレイ
１０２０：マイクロレンズ
１０３：撮像素子
１０６：画像処理回路

Claims (17)

1. 単一のマイクロレンズが設けられ複数の光電変換部からなる単位画素を有する撮像素子と、
   前記光電変換部のうち欠陥のある光電変換部を欠陥画素として記憶する記憶手段と、
   前記記憶手段に記憶された前記欠陥画素の情報に基づいて、前記欠陥画素を補正する補正手段と、
   を有し、
   前記補正手段は、
   撮像装置の撮像条件に応じて、
   前記欠陥画素を含む第１の単位画素とは異なる第２の単位画素に含まれる光電変換部からの出力信号によって前記欠陥画素を補正する第一の欠陥画素補正方法と、
   前記第１の単位画素に含まれる光電変換部で、前記欠陥画素とは異なる光電変換部からの出力信号によって前記欠陥画素を補正する第二の欠陥画素補正方法と、を切り替える、
   ことを特徴とする撮像装置。
2. 前記光電変換部からの出力信号によってデフォーカス量を算出する算出手段をさらに有し、
   前記補正手段は、
   前記算出手段によって算出されたデフォーカス量が所定の値より大きい場合は、前記第一の欠陥画素補正方法を実行し、
   前記算出手段によって算出されたデフォーカス量が所定の値以下である場合は、前記第二の欠陥画素補正方法を実行する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記補正手段は、
   前記デフォーカス量に応じて、
   撮影画面内で前記第一の欠陥画素補正方法を適用する領域と前記第二の欠陥画素補正方法を適用する領域を決定することを特徴とする請求項２に記載の撮像装置。
4. 前記補正手段は、
   前記デフォーカス量が小さいほど、撮影画面内において前記第二の欠陥画素補正方法を適用する領域を拡大することを特徴とする請求項３に記載の撮像装置。
5. 前記欠陥画素の欠陥レベルに応じて補正判定を行う判定手段をさらに有し、
   前記判定手段は、
   前記デフォーカス量に応じて、前記欠陥画素の補正の有無を判定するしきい値を変更することを特徴とする請求項２ないし４のいずれか一項に記載の撮像装置。
6. 前記補正手段は、
   撮影レンズの絞り値が所定の値より小さい場合は、前記第一の欠陥画素補正方法を実行し、
   撮影レンズの絞り値が所定の値以上である場合は、前記第二の欠陥画素補正方法を実行する、
   ことを特徴とする請求項１に記載の撮像装置。
7. 前記補正手段は、
   前記絞り値に応じて、
   撮影画面内で前記第一の欠陥画素補正方法を適用する領域と前記第二の欠陥画素補正方法を適用する領域を決定することを特徴とする請求項６に記載の撮像装置。
8. 前記補正手段は、
   前記絞り値が大きいほど、撮影画面内において前記第二の欠陥画素補正方法を適用する領域を拡大することを特徴とする請求項７に記載の撮像装置。
9. 前記欠陥画素の欠陥レベルに応じて補正判定を行う判定手段をさらに有し、
   前記判定手段は、
   前記絞り値に応じて、前記欠陥画素の補正の有無を判定するしきい値を変更することを特徴とする請求項６ないし８のいずれか一項に記載の撮像装置。
10. 前記しきい値は、欠陥の種類あるいは前記欠陥画素の出力信号の大きさに応じて決定されることを特徴とする請求項５または９に記載の撮像装置。
11. 前記第２の単位画素に含まれる光電変換部は、前記第１の単位画素の前記欠陥画素の位置関係と同じであることを特徴とする請求項１ないし１０のいずれか一項に記載の撮像装置。
12. 前記単位画素は、複数色のカラーフィルタのうちいずれか一色のカラーフィルタを有することを特徴とする請求項１ないし１１のいずれか一項に記載の撮像装置。
13. 前記第２の単位画素が有するカラーフィルタは、
    前記第１の単位画素が有するカラーフィルタと同色であることを特徴とする請求項１２に記載の撮像装置。
14. 請求項１ないし１３のいずれか一項に記載の撮像装置と、
    前記撮像装置に着脱可能な撮影レンズと、を有することを特徴とする撮像システム。
15. 単一のマイクロレンズが設けられ複数の光電変換部からなる単位画素を有する撮像素子を備えた撮像装置の制御方法であって、
    記憶手段から前記光電変換部のうち欠陥のある欠陥画素の情報を取得する取得ステップと、
    前記記憶手段に記憶された前記欠陥画素の情報に基づいて、前記欠陥画素を補正する補正ステップと、
    を有し、
    前記補正ステップは、
    前記撮像装置の撮像条件に応じて、
    前記欠陥画素を含む第１の単位画素とは異なる第２の単位画素に含まれる光電変換部からの出力信号によって前記欠陥画素を補正する第一の欠陥画素補正方法と、
    前記第１の単位画素に含まれる光電変換部で、前記欠陥画素とは異なる光電変換部からの出力信号によって前記欠陥画素を補正する第二の欠陥画素補正方法と、を切り替える
    ことを特徴とする撮像装置の制御方法。
16. 請求項１５に記載の撮像装置の制御方法の手順が記述された、コンピュータで実行可能なプログラム。
17. コンピュータに、請求項１５に記載の撮像装置の制御方法のステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。