JP2018107548A - 撮像装置 - Google Patents

Abstract

【課題】
光学系を瞳分割する画素を有する撮像素子の欠陥画素を補正するために必要なデータ容量を低減すること。
【解決手段】
１つのマイクロレンズに複数の光電変換素子を備え、撮影光学系を瞳分割する画素を有する撮像素子と、複数の光電変換素子の信号の夫々を読み出す第１の画像データの欠陥位置情報を示す第１の欠陥位置情報と、複数の光電変換素子の信号を全て混合して読み出す第２の画像データの欠陥位置情報を示す第２の欠陥位置情報と、複数の光電変換素子を構成するための素子分離領域の異常箇所を判定する分離領域異常判定手段と、複数の光電変換素子の信号のひとつもしくは一部を混合した第３の画像データの第３の欠陥位置情報を生成する欠陥位置情報合成手段を持ち、欠陥位置情報合成手段は、第１の欠陥位置情報と第２の欠陥位置情報と分離領域異常判定手段により得られる分離領域の異常箇所に基づいて生成することを特徴とする構成とした。
【選択図】 図８

Description

本発明は、撮像素子を有する撮像装置に関し、特に撮像面に撮影光学系の瞳分割が可能な画素を有する撮像素子の画像信号に対する欠陥補正に関するものである。

従来デジタルカメラなどの撮像装置に用いられるＣＣＤイメージセンサー、ＣＭＯＳイメージセンサーなどの撮像素子は、光電変換部をそれぞれ含む複数の画素が２次元的に配列された画素配列を有している。画素配列は、その全体に均一なレベルの入射光が照射された場合に、特異なレベルの電気信号しか得られない欠陥画素を含むことが多い。この欠陥画素から出力された信号をそのまま用いて画像を得た場合、その画像の画質が劣化する。例えば、特許文献１では工場出荷時に予め不揮発性メモリに格納された撮像素子の欠陥画素のアドレス等の欠陥画素情報を参照して、欠陥画素を補正している。

一方、光学系を瞳分割する画素を有する撮像素子において、複数の光電変換素子の信号のひとつもしくは一部を混合することで立体像として鑑賞するための画像データを取得する撮影やライトフィールド撮影が可能な撮像装置が存在する。

例えば、特許文献２では撮影者の意図した構図に応じて混合する光電変換素子の信号の組み合わせを変えることで撮影した画像を立体像として鑑賞するための画像信号を生成している。このような撮像装置の一例では、光学系を瞳分割する画素を有する撮像素子において、光電変換を行うフォトダイオード（ＰＤ）は１つのＰＤが素子分離領域によって複数のＰＤに分離されており、複数の光電変換素子の信号のひとつもしくは一部を混合して画像データを読み出している。

特開２０１１−８２６３４号公報 特開２０１２−１２９７２６号公報

上述の特許文献１に開示された従来技術では、撮像素子の全画素を対象として欠陥画素を抽出している。また、１つのマイクロレンズに複数のフォトダイオードが配置される撮影光学系を瞳分割する画素を有する撮像素子は、欠陥画素を検出する対象がフォトダイオードの数だけ必要になるので欠陥画素情報が多くなり、限られた不揮発性メモリの容量を圧迫するといった問題がある。上述の特許文献２に開示された従来技術では、混合する光電変換素子の信号の組み合わせを変えるため、組み合わせの数だけ欠陥画素情報が多くなり、不揮発性メモリの容量を更に圧迫してしまう問題がある。

そこで、本発明の目的は、光学系を瞳分割する画素を有する撮像素子において複数の光電変換素子の信号のひとつもしくは一部を混合する場合においても欠陥画素を補正するために必要な不揮発性メモリのデータ容量を低減することにある。

上記目的を達成するために、本発明は、１つのマイクロレンズに複数の光電変換素子を備え、撮影光学系を瞳分割する画素を有する撮像素子と、複数の光電変換素子の信号の夫々を読み出す第１の画像データの欠陥位置情報を示す第１の欠陥位置情報と、複数の光電変換素子の信号を全て混合して読み出す第２の画像データの欠陥位置情報を示す第２の欠陥位置情報と、複数の光電変換素子を構成するための素子分離領域の異常箇所を判定する分離領域異常判定手段と、複数の光電変換素子の信号のひとつもしくは一部を混合した第３の画像データの第３の欠陥位置情報を生成する欠陥位置情報合成手段を持ち、前記欠陥位置情報合成手段は、前記第１の欠陥位置情報と前記第２の欠陥位置情報と前記分離領域異常判定手段により得られる分離領域の異常箇所に基づいて生成することを特徴とする。

本発明によれば、光学系を瞳分割する画素を有する撮像素子の欠陥画素を補正するために必要な不揮発性メモリのデータ容量を低減することができる。

本発明の第１、第２、第３の実施例に係わる撮像装置の構成を示す図である。 本発明の第１、第２、第３の実施例に係わる撮像装置で使用される撮像素子の構成を示す図である。 本発明の第１、第２、第３の実施例に係わる撮像装置で使用される撮像素子の読み出しデータを示す図である。 本発明の第１、第２、第３の実施例に係わる撮像装置で使用される撮像素子の構成を示す図である。 本発明の第１、第２、第３の実施例に係わる素子分離領域異常と欠陥を持つ読出しデータの関係を示す図である。 本発明の第１、第２、第３の実施例に係わる撮像装置で使用される補正部の構成を示す図である。 本発明の第１、第２、第３の実施例に係わる撮像装置で使用される補正部の構成を示す図である。 本発明の第１、第２、第３の実施例に係わる撮像装置で使用される欠陥アドレス情報マージ部の構成を示す図である。 本発明の第１の実施例に係わる撮像装置の動作を示すフローチャートである。 本発明の第２の実施例に係わる撮像装置の動作を示すフローチャートである。 本発明の第２、第３の実施例に係わる撮影モードと欠陥アドレス情報の関係を示す図である。 本発明の第３の実施例に係わる撮像装置の動作を示すフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
［実施例１］
以下、図１を参照して、本発明の第１の実施例による、撮像装置の構成について説明する。

図１は、本発明の第１の実施例に係る撮像装置の構成を示すブロック図である。同図において、１００は、撮影光学系で形成された被写体の光学像を電気信号に光電変換する撮像素子である。撮像素子１００は後述するＣＰＵ１０３等によって制御され、静止画または動画を撮影する。１０１は、撮像素子１００から出力されたアナログの画像信号に対して、ゲイン調整や所定の量子化ビットに対応してデジタル変換を行うアナログフロントエンド（以下、これをＡＦＥと称する）である。

１０２は、撮像素子１００及びＡＦＥ１０１の駆動タイミングを制御するタイミングジェネレータ（以下、これをＴＧと称する）である。本実施例では、撮像素子１００の外部にＡＦＥ１０１、ＴＧ１０２を配置しているが、それらは撮像素子内に内蔵される構成であってもかまわない。

１０６はＲＡＭである。ＲＡＭ１０６は、ＡＦＥ１０１でデジタル変換された画像データや、後述の画像処理部１０８で処理された画像データを記憶する画像データ記憶手段の機能と、後述のＣＰＵ１０３が動作を行う際のワークメモリの機能を兼備する。なお、本実施例では、これらの機能を、ＲＡＭ１０６を用いて行うようにしているが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他のメモリを適用することも可能である。１０７は、ＣＰＵ１０３が各部の動作を制御するためにロードして実行するプログラムを格納するＲＯＭである。

ここで、本実施形態では、Ｆｌａｓｈ−ＲＯＭを示すが、これは一例であり、アクセス速度が十分に速くて動作上問題のレベルのメモリであれば、他のメモリを適用することも可能である。また、ＲＯＭ１０７には後述する欠陥画素のアドレス情報を含む。１０３は、撮像装置を統括的に制御するＣＰＵである。上述のように、ＣＰＵ１０３は撮像素子の各部を制御するためのプログラムを実行する。１０８は、撮影された静止画または動画の補正・圧縮等の処理を行う画像処理部である。また、静止画像、動画像の生成機能を備える。

１０９は、焦点検出のために、焦点検出用データを用いて焦点検出を行うＡＦ演算部である。１１０は、静止画データ及び動画データを記録するための、着脱可能なフラッシュメモリである。本実施例では、記録媒体としてフラッシュメモリを適用しているが、その他のデータ書き込み可能な不揮発メモリ、ハードディスク等でもよい。また、これらの記録媒体を内蔵した形態でもよい。１０４は、撮影命令や撮影条件等の設定をＣＰＵ１０３に対して行う操作部である。１０５は、撮影した静止画像や動画像およびメニュー等の表示を行う表示部である。

１１６は、撮影光学系（共通光学系）の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１１７は絞りで、その開口径を調節することで撮影時の光量を調節する。１１８は第２レンズ群である。そして、前記絞り１１７及び第２レンズ群１１８は一体となって光軸方向に進退し、前記第１レンズ群１１６の進退動作との連動により、変倍作用（ズーム機能）を実現する。１１９は第３レンズ群で、光軸方向の進退により、撮影光学系の焦点を調節する。

１１１は、静止画撮影時に露光秒時を調節するフォーカルプレーンシャッタである。本実施例では、フォーカルプレーンシャッタにて撮像素子１００の露光秒時を調節する構成であるが、これに限られるものではなく、撮像素子１００が電子シャッタ機能を有し、制御パルスで露光秒時を調節する構成であってもよい。１１２は、光学系の焦点位置を変更する焦点位置変更手段であるフォーカス駆動回路で、ＡＦ演算部１０９の焦点検出結果に基づいてフォーカスアクチュエータ１１４の駆動を制御し、第３レンズ群１１９を光軸方向に進退駆動して焦点調節を行なう。１１３は絞り駆動回路で、絞りアクチュエータ１１５の駆動を制御して絞り１１７の開口を制御する。

次に撮像素子１００の構成を、図２を参照して説明する。図２（ａ）は、撮像素子１００の構成を示す。図２（ａ）において、撮像素子は、画素が二次元に配列された画素アレイ１００ａと、画素アレイ１００ａの画素の行を選択する垂直選択回路１００ｄ、画素アレイ１００ａの画素の列を選択する水平選択回路１００ｃを持つ。また、撮像素子１００はさらに、画素アレイ１００ａの画素のうち、垂直選択回路１００ｄ及び水平選択回路１００ｃによって選択される画素の信号を読み出すための読み出し回路１００ｂを備える。

垂直選択回路１００ｄは、画素アレイ１００ａの行を選択し、ＣＰＵ１０３から出力される水平同期信号に基づいたＴＧ１０２から出力される読出しパルスを、選択行において有効にする。読出し回路１００ｂは列毎に設けられアンプやメモリを有し、選択行の画素信号を、アンプを介してメモリに格納する。メモリに格納された１行分の画素信号は、水平選択回路１００ｃによって列方向に順に選択され、アンプ１００ｅを介して外部に出力される。この動作を行数分繰り返し、全ての画素の信号を外部に出力する。

撮像素子１００の画素アレイ１００ａを図２（ｂ）に示す。図２（ｂ）において、３００はマイクロレンズアレイを構成するマイクロレンズである。３０１、３０２、３０３、３０４は光電変換を行う光電変換手段としてのフォトダイオード（ＰＤ）である。この４つのＰＤは、１つのＰＤが素子分離領域によって分離された構成となっている。また、各画素は、ＰＤ４つに対して１つのマイクロレンズ３００が上部に配置される構成となっている。すなわち、１つの画素は、１つのマイクロレンズに対して複数の光電変換部を備える。

マイクロレンズ３００を共有している撮像領域を１画素とした場合、画素アレイ領域には、この画素が水平方向にｈ画素、垂直方向にｖ画素並んで配置されている。ＰＤ３０１、ＰＤ３０２、ＰＤ３０３、ＰＤ３０４で蓄積された信号は、前述した読出し動作によって所定の組み合わせで外部に出力される。ＰＤ３０１、ＰＤ３０２、ＰＤ３０３、ＰＤ３０４は後述する瞳分割構成により、互いに位相差を持った別々の像が入射されるため、ここではＰＤ３０１をＡ像用光電変換部、ＰＤ３０２をＢ像用光電変換部、ＰＤ３０３をＣ像用光電変換部、ＰＤ３０４をＤ像用光電変換部とする。

本実施例の撮像素子は画素信号の読み出しとして、３種類の読み出し方があり、撮像装置の撮影モード設定に応じて変わる。第１のモードでは、図３（ａ）に示すように、ＰＤ３０１〜ＰＤ３０２のそれぞれの信号であるＡ像、Ｂ像、Ｃ像と、ＰＤ３０１〜ＰＤ３０４を加算した信号であるＡＢＣＤ像が読み出される。第２のモードでは、図３（ｂ）に示すように、ＰＤ３０１とＰＤ３０３を加算した信号であるＡＣ像と、ＰＤ３０１〜ＰＤ３０４を加算した信号であるＡＢＣＤ像が読み出され、または、図３（ｃ）に示すように、ＰＤ３０１とＰＤ３０２を加算した信号であるＡＢ像と、ＰＤ３０１〜ＰＤ３０４を加算した信号であるＡＢＣＤ像が読み出される。

ここで、本実施例における、画素欠陥の原因について説明する。図４は画素の詳細の構成である。３１３はＰＤ全体であり、前述したＰＤ３０１、ＰＤ３０２、ＰＤ３０３、ＰＤ３０４は、素子分離領域３０９〜３１２によって分離されている。３０５〜３０８はそれぞれＰＤ３０１〜３０４の転送ゲートであり、読み出し時はこれらのオン、オフを制御することにより電荷をＰＤ３０１〜３０４の電荷を読み出し回路へ転送する。

本実施例における画素欠陥は２種類あり、第１の欠陥としてＰＤ３１３に不純物が混入した場合や、転送ゲート３０５〜３０８の異常があった場合となる。第２の欠陥として、素子分離領域３０９〜３１２の少なくとも１つに異常があった場合となる。

第１の欠陥がある画素は、読み出したＡ像、Ｂ像、Ｃ像、ＡＢＣＤ像はともに欠陥となる。また、第２の欠陥がある画素は、次のようなものがある。素子分離領域３０９に異常があった場合、Ａ像やＢ像は隣接するＰＤの電荷が混入して欠陥となるが、ＡＢ像やＡＢＣＤ像は欠陥とならない。また、ＡＣ像はＡ像が欠陥のため欠陥となる。同様に、素子分離領域３１２に異常があった場合、Ｃ像は隣接するＰＤの電荷が混入して欠陥となるが、ＡＢ像やＡＢＣＤ像は欠陥とならない。また、ＡＣ像はＣ像が欠陥のため欠陥となる。

このように素子分離領域３０９〜３１２のいずれか１つが異常であった場合の、各像の欠陥の有無の一覧を図５に示す。素子分離領域３０９〜３１２の２つ以上が異常である場合は、撮像素子の検査工程にてＡ像、Ｂ像、Ｃ像、Ｄ像を評価することにより、予めどこの素子分離領域に異常があるか検出しておくか、製造不良として除外することとする。

一覧に示す通り、素子分離領域の異常がどこに現れるかで欠陥の有無が変わるため、Ａ像、Ｂ像、Ｃ像、ＡＢＣＤ像用にそれぞれ欠陥画素情報を持つ必要がある。ＡＢ像とＡＣ像についてはＡ像、Ｂ像、Ｃ像の欠陥画素情報を用いて素子分離領域３０９〜３１２のどこに異常あるかを判定し、Ａ像とＣ像とＡＢＣＤ像の欠陥画素情報およびＡ像とＢ像とＡＢＣＤ像の欠陥画素情報から欠陥画素情報を作りだすことができる。詳細は後述する。

次に第１のモードにおける欠陥補正回路について図６を用いて説明する。図６の欠陥補正部１２０内、４００は欠陥指定回路である。欠陥指定回路４００にはＲＡＭ１０６に格納されるＡ像欠陥アドレス情報４０２、Ｂ像欠陥アドレス情報４０３、Ｃ像欠陥アドレス情報４０４、ＡＢＣＤ像欠陥アドレス情報４０５のいずれかが画像データ入力の種類に応じて選択的に入力され、欠陥指定回路４００は欠陥アドレスに該当する画素に欠陥であるフラグを付加する。欠陥補正回路４０１は入力された画素に欠陥フラグが付加されていた場合には、周辺の同じカラーフィルターが配置される画素値を使用して画素値の補間（欠陥補正）を行う。

続いて第２のモードにおける欠陥補正回路について図７を用いて説明する。図７の欠陥補正部１２０内、４００は欠陥指定回路である。欠陥指定回路４００にはＲＡＭ１０６に格納されるＡＢ像欠陥アドレス情報４０６、ＡＣ像欠陥アドレス情報４０７、ＡＢＣＤ像欠陥アドレス情報４０５のいずれかが画像データ入力の種類に応じて選択的に入力され、欠陥指定回路４００は欠陥アドレスに該当する画素に欠陥であるフラグを付加する。欠陥補正回路４０１は入力された画素に欠陥フラグが付加されていた場合には、周辺の同じカラーフィルターが配置される画素値を使用して画素値の補間（欠陥補正）を行う。

このように撮像装置に設定される撮影モードに応じて必要な欠陥アドレス情報が異なる。本実施例では、ＲＯＭ１０７にＡ像、Ｂ像、Ｃ像、ＡＢＣＤ像の欠陥アドレス情報を格納しており、撮像装置に設定されるモードに応じてＲＡＭ１０６に欠陥アドレス情報をそのまま格納する場合もあれば、ＡＢ像やＡＣ像のように欠陥アドレス情報をマージすることで新たな欠陥アドレス情報を作成して格納する。ＲＯＭ１０７に格納される欠陥アドレス情報とＲＡＭ１０６に格納する欠陥アドレスの関係を複数の光電変換素子の信号を混合して読み出す撮影モードを例に図８を用いて説明する。

ＲＯＭ１０７に格納されるＡ像欠陥アドレス情報４０８は、撮像素子の検査工程にて、Ａ像を評価して抽出された欠陥画素のアドレスである。Ｂ像欠陥アドレス情報４０９は、撮像素子の検査工程にて、Ｂ像を評価して抽出された欠陥画素のアドレスである。Ｃ像欠陥アドレス情報４１０は、撮像素子の検査工程にて、Ｃ像を評価して抽出された欠陥画素のアドレスである。ＡＢＣＤ像欠陥アドレス情報４１１は、撮像素子の検査工程にて、ＡＢＣＤ像を評価して抽出された欠陥画素のアドレスである。

欠陥アドレス情報マージ処理４１２は、撮像装置の所定のタイミングでＲＯＭ１０７に格納されるＡ像欠陥アドレス情報４０８とＢ像欠陥アドレス情報４０９とＣ像欠陥アドレス情報４１０とＡＢＣＤ像欠陥アドレス情報４１１を入力としてＡＢ像欠陥アドレス情報とＡＣ像欠陥アドレス情報を作成しＲＡＭ１０６に格納する。ＡＢＣＤ像欠陥アドレス情報４０５はそのままＲＯＭ１０７からＲＡＭ１０６へ展開してもよいし、欠陥アドレス情報マージ部４１２を経由してもよいものとする。

次に本実施例における撮像装置の撮影モード２の場合においてＡＣ像欠陥アドレス情報を作成してＲＯＭ１０７からＲＡＭ１０６への欠陥アドレス情報を格納する動作について、図９のフローチャートを用いて説明する。ここでは、Ａ像欠陥アドレス情報とＣ像欠陥アドレス情報とＡＢＣＤ像欠陥アドレス情報を用いる。ステップＳ１０１にて、ＣＰＵ１０３はマージするＡ像欠陥アドレス情報とＣ像欠陥アドレス情報があるか否かを判定し、ある場合にはステップＳ１０２を実行し、ない場合には処理を終了する。

次にステップＳ１０２にて、ＣＰＵ１０３はＲＯＭ１０７に格納されているＡ像欠陥アドレス情報とＣ像欠陥アドレス情報を取得する。このとき、それぞれ先頭から順次取得するものとし、欠陥アドレス情報は次の欠陥画素への相対アドレスと欠陥のグレードを含む。

ステップＳ１０３にて、ＣＰＵ１０３はＡ像欠陥アドレス情報とＣ像欠陥アドレス情報を相対アドレスから絶対アドレス：Ｉに変換したときの同一アドレスを比較し、Ａ像とＣ像の少なくとも片方が欠陥か否かを判定する。少なくとも片方が欠陥である場合には、ステップＳ１０４を実行する。図５より素子分離領域３０９、３１０、３１２のいずれか１つが異常の場合に起こり得る。両方とも欠陥でない場合は図５より素子分離領域３１１が異常の場合だけなのでＡＣ像の絶対アドレス：Ｉは第２の欠陥については欠陥ではないと判定してステップＳ１０１に戻る。

次にステップＳ１０４にて、ＣＰＵ１０３はＡ像欠陥アドレス情報とＣ像欠陥アドレス情報を比較し、アドレス：Ｉに対して、Ａ像とＣ像の両方が欠陥か否かを判定する。両方が欠陥である場合にはステップＳ１０５を実行する。図５より素子分離領域３１０が異常の場合だけなのでＡＣ像の絶対アドレス：Ｉは第２の欠陥については欠陥ではないと判定できる。Ａ像とＣ像のどちらかのみが欠陥である場合にはステップＳ１０７を実行する。図５より素子分離領域３０９、３１２のいずれか１つが異常の場合と考えられるのでＡＣ像の絶対アドレス：Ｉは第２の欠陥については欠陥であると判定できる。

ステップＳ１０５にて、ＣＰＵ１０３はＲＯＭ１０７に格納されているＡＢＣＤ像欠陥アドレス情報を取得する。ステップＳ１０６にて、ＣＰＵ１０３はＡＢＣＤ像のアドレス：Ｉに対して欠陥か否かを判定する。ＡＢＣＤ像に欠陥である場合は、ステップＳ１０４でＡＣ像のアドレス：Ｉには第２の欠陥がないと判定した場合でも第１の欠陥があるとしてＡＣ像のアドレス：Ｉは欠陥とする。また、ＡＢＣＤ像に欠陥がない場合は、ＡＣ像のアドレス：Ｉは第１と第２の欠陥がないと判定してステップＳ１０１に戻り処理を繰り返す。

ステップＳ１０７にて、ＣＰＵ１０３はＡＣ像の絶対アドレス：Ｉの相対アドレス：Ｊを算出してＡＣ像の欠陥アドレスとしてＲＡＭ１０６に格納してステップＳ１０１に戻り処理を繰り返す。

以上の動作で第１の欠陥と第２の欠陥を含んだＡＣ像の欠陥アドレス情報を作成することができる。同様にＡ像欠陥アドレス情報とＢ像欠陥アドレス情報とＡＢＣＤ像欠陥アドレス情報を用いてＡＢ像の欠陥アドレス情報を作成できるがＡＣ図の欠陥アドレス作成と同じ手順のためここでは説明を省略する。

上述された第１の実施形態では、撮像素子から読み出す像（Ａ像、Ｂ像、Ｃ像、ＡＢＣＤ像）に特有な欠陥アドレス情報だけを不揮発メモリ上に持ち、素子分離領域が異常な場合に発生する欠陥情報を判定によって複数の光電変換素子の信号を混合して読み出す像（ＡＣ像、ＡＢ像）の欠陥アドレス情報を作成することで、記憶する欠陥情報量を低減することができる。

［実施例２］
続いて、本発明の第２の実施形態よる撮像装置の一例について説明する。なお、本実施形態による撮像装置の構成は、図１に示す撮像装置１００と同様である。

本実施例における撮像装置のＲＯＭ１０７からＲＡＭ１０６への欠陥アドレス情報の格納動作について、図１１のフローチャートを用いて説明する。まず、ステップＳ３０１にて、ＣＰＵ１０３はユーザーによって操作部１０４が操作されて撮像装置が起動されたか否かを判定する。起動されていない場合は処理を終了し、起動された場合はステップＳ３０２へ進む。

次にステップＳ３０２にて、ＣＰＵ１０３は撮影モード設定をフラッシュメモリ１１０から取得する。ステップＳ３０３にて、ＣＰＵ１０３は欠陥アドレス情報の組み合わせ一覧をフラッシュメモリ１１０から取得し、ステップＳ３０２で取得した撮影モードと照らし合わせてＲＡＭ１０６に展開すべき欠陥アドレス情報を決定する。欠陥アドレス情報の組み合わせ一覧の一例を図１１に示す。

複数の光電変換素子の信号を混合せずに読み出す像を必要とする撮影モードが設定された場合は、Ａ像欠陥アドレス情報、Ｂ像欠陥アドレス情報、Ｃ像欠陥アドレス情報、ＡＢＣＤ像欠陥アドレス情報を必要とし、複数の光電変換素子の信号を混合して読み出す像を必要とする撮影モードが設定された場合は、ＡＢ像欠陥アドレス情報、ＡＣ像欠陥アドレス情報、ＡＢＣＤ像欠陥アドレス情報を必要とすることを示す。

次にステップＳ３０４にて、ＣＰＵ１０３は欠陥アドレス情報のマージ処理が必要であると判定した場合はステップＳ３０５を実行し、マージ処理が必要ない場合はステップＳ３０７を実行する。ステップＳ３０５にて、ＣＰＵ１０３はＲＯＭ１０７に格納されている欠陥アドレス情報を取得し、マージ処理を行う。ステップＳ３０６にて、ＣＰＵ１０３はマージ処理が完了した欠陥アドレス情報をＲＡＭ１０６に格納して処理を終了する。ステップＳ３０７にて、ＣＰＵ１０３はＲＯＭ１０７に格納されている欠陥アドレス情報をそのままＲＡＭ１０６に格納して処理を終了する。

上述された第２の実施形態では、撮像装置の起動時に事前に撮像装置に設定されている撮影モードと欠陥アドレス情報の組み合わせ一覧によりＲＡＭ１０６へ格納する欠陥アドレス情報を判定により必要に応じて作成することで、撮影時にＲＯＭ１０７やＲＡＭ１０６へのアクセスを減らすことができる。そのため、メモリ帯域の低減に繋がり連写性能低下を防ぐことができる。

［実施例３］
続いて、本発明の第３の実施形態よる撮像装置の一例について説明する。なお、本実施形態による撮像装置の構成は、図１に示す撮像装置１００と同様である。

本実施例における撮像装置のＲＯＭ１０７からＲＡＭ１０６への欠陥アドレス情報の格納動作について、図１２のフローチャートを用いて説明する。まず、ステップＳ４０１にて、ＣＰＵ１０３はユーザーによって操作部１０４が操作されて撮像装置に対して撮影モードが変更されたか否かを判定する。変更されていない場合は処理を終了し、変更された場合はステップＳ４０２へ進む。

次にステップＳ３０３にて、ＣＰＵ１０３は欠陥アドレス情報の組み合わせ一覧をフラッシュメモリ１１０から取得し、設定された撮影モードを照らし合わせてＲＡＭ１０６に展開すべき欠陥アドレス情報を決定する。欠陥アドレス情報の組み合わせ一覧は実施例２と同じであるため説明は省略する。次にステップＳ４０３にて、ＣＰＵ１０３は欠陥アドレス情報のマージ処理が必要であると判定した場合はステップＳ４０４を実行し、マージ処理が必要ない場合はステップＳ４０６を実行する。

ステップＳ４０４にて、ＣＰＵ１０３はＲＯＭ１０７に格納されている欠陥アドレス情報を取得し、マージ処理を行う。マージ処理の詳細は実施例１のステップＳ３０５と同じであるため説明は省略する。ステップＳ４０５にて、ＣＰＵ１０３はマージ処理が完了した欠陥アドレス情報をＲＡＭ１０６に格納して処理を終了する。ステップＳ４０６にて、ＣＰＵ１０３はＲＯＭ１０７に格納されている欠陥アドレス情報をそのままＲＡＭ１０６に格納して処理を終了する。

上述された第３の実施形態では、撮像装置に対してユーザーの指示により撮影モードの変更が行われた際に欠陥アドレス情報の組み合わせ一覧によりＲＡＭ１０６へ格納する欠陥アドレス情報を判定により必要に応じて作成することで、撮影時にＲＯＭ１０７やＲＡＭ１０６へのアクセスを減らすことができる。そのため、メモリ帯域の低減に繋がり連写性能低下を防ぐことができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像素子
１０１ アナログフロントエンド（ＡＦＥ）
１０２ タイミングジェネレータ（ＴＧ）
１０３ ＣＰＵ
１０６ ＲＡＭ
１０７ ＲＯＭ
１０８ 画像処理部

Claims (5)

1. １つのマイクロレンズに複数の光電変換素子を備え、撮影光学系を瞳分割する画素を有する撮像素子（１００）と、
   複数の光電変換素子の信号の夫々を読み出す第１の画像データの欠陥位置情報を示す第１の欠陥位置情報（４０８、４０９、４１０）と、
   複数の光電変換素子の信号を全て混合して読み出す第２の画像データの欠陥位置情報を示す第２の欠陥位置情報（４１１）と、
   複数の光電変換素子を構成するための素子分離領域の異常箇所を判定する分離領域異常判定手段（４１２）と、
   複数の光電変換素子の信号のひとつもしくは一部を混合した第３の画像データの第３の欠陥位置情報（４０６、４０７）を生成する欠陥位置情報合成手段（４１２）を持ち、
   前記欠陥位置情報合成手段は、前記第１の欠陥位置情報と前記第２の欠陥位置情報と前記分離領域異常判定手段により得られる分離領域の異常箇所に基づいて生成することを特徴とする撮像装置。
2. 前記第１の欠陥位置情報と前記第２の欠陥位置情報は第１の記憶手段（１０７）に格納し、前記欠陥位置情報合成手段により生成された前記第３の欠陥位置情報を第２の記憶手段（１０６）に格納することを特徴とする、請求項１に記載の撮像装置。
3. 撮像装置に設定されている撮像モードを取得する撮影モード取得手段（１０３）と、
   撮影モードに応じて前記第１の欠陥位置情報と前記第２の欠陥位置情報と前記第３の欠陥位置情報のどれを前記第２の記憶手段（１０６）に格納するかを判定する組み合わせ判定手段（１０３）を持ち、
   前記第３の欠陥位置情報は、前記組み合わせ判定手段の結果に基づいて前記欠陥位置情報合成手段で生成することを特徴とする、請求項２に記載の撮像装置。
4. 撮像装置が起動時か否かを判定する起動判定手段（１０３）を持ち、
   前記第３の欠陥位置情報は、前記起動判定手段の結果に基づいて前記欠陥位置情報合成手段で生成することを特徴とする、請求項３に記載の撮像装置。
5. 撮像装置に撮影モードが設定されたことを判定する撮影モード設定判定手段（１０３）を持ち、
   前記第３の欠陥位置情報は、前記撮影モード設定判定手段の結果に基づいて前記欠陥位置情報合成手段で生成することを特徴とする、請求項３に記載の撮像装置。