JP2014230121A - 撮像装置および画素欠陥検出方法 - Google Patents

Abstract

【課題】遮光機能を有していない撮像装置であっても、画素欠陥を補正可能な撮像装置、および画像欠陥検出方法を提供する。【解決手段】第１の撮影によって第１の画像データを取得し（Ｓ９）、第２の撮影によって第２の画像データを取得し（Ｓ１７）、第１の画像データに基づいて第１の画素欠陥候補を検出し（Ｓ１９）、第２の画像データに基づいて第２の画素欠陥候補を検出し（Ｓ２１）、第１の画素欠陥候補及び第２の画素欠陥のうち画素欠陥位置が一致する画素アドレスの画素を最終的に画素欠陥とし、この検出した画素欠陥を補正する(Ｓ２３)。【選択図】 図２

Description

本発明は、撮像素子中の画素欠陥に基づく画像データの補正が可能な撮像装置および画素欠陥を検出する画素欠陥検出方法に関する。

ＣＭＯＳイメージセンサ等の撮像素子は、２次元状に多数の画素が配置されており、製造上の原因により画素欠陥が生じてしまう。画素部のリーク電流に起因する欠陥が支配的であり、光が入射していない状態でもリーク電流にって電荷を蓄積してしまうため、画素のレベルが高くなり、白点（ＦＰＮ：fixed pattern noise）として撮影画像に見えてしまい問題となる。通常撮影のシャッタ速度にて画像に見えるような白点は画素欠陥の座標をカメラ内に予め記憶しておき、欠陥補正を行うことが可能である。これに対して、シャッタ速度が長い撮影（夜景等を撮影するバルブ撮影など）を行うと、リーク電流は露光時間に比例して増加するため、撮影画像に見える白点の個数が増加する。この際の欠陥座標は露光時間や温度によって変わるため、カメラ製造時などに予めカメラ内に記憶していた欠陥画素のアドレスを基に画像劣化する方法では十分でない。そこで、画素欠陥に基づく画像劣化を補正する方法として、白点（ＦＰＮ：fixed pattern noise）補正方法が知られている。白点補正方法として、特許文献１には、長時間露光時に現われる白色のキズ（孤立点と称す）を検出し、これを補正することが提案されている。

特開２００４−０１５１９１号公報

上述した孤立点の検出にあたっては、周囲の画素の輝度レベルの差に基づいて、注目する画素が孤立点であるか否かを判定する。しかし、長時間露光における一般的な被写体である星空や夜景では１画素レベルでの小さな輝きがあるため、被写体の輝点なのか、白点（ＦＰＮ）なのかの区別が困難である。

メカシャッタ等の遮光部材を搭載した撮像装置においては、長時間露光時に撮影を行った後に、再度、同条件（シャッタ速度等）で遮光撮影を行い、画像データ同士を減算することにより、白点（ＦＰＮ）をキャンセルすることができる。しかし、遮光機能を有していない撮像装置においては、このような処理を行うことができない。

本発明は、このような事情を鑑みてなされたものであり、遮光機能を有していない撮像装置であっても、画素欠陥を補正可能な撮像装置、および画像欠陥検出方法を提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、撮影レンズと、複数の画素が二次元状に配置された撮像素子を用いて、第１の撮影と第２の撮影を行った画像データを取得する撮像部と、上記第１の撮影によって得られた第１の画像データ、及び上記第２の撮影によって得られた第２の画像データを基に、それぞれ第１の画素欠陥候補、及び第２の画素欠陥候補を検出し、該第１の画素欠陥候補、及び該第２の画素欠陥のうち画素欠陥位置が一致する画素アドレスの画素を最終的に画素欠陥とする画素欠陥検出部と、上記画素欠陥検出部により検出した画素欠陥を補正する画素欠陥補正部と、を備える。

第２の発明に係る撮像装置は、上記第１の発明において、上記第１の撮影は通常撮影であり、上記第２の撮影は画像をボカして撮影する。

第３の発明に係る撮像装置は、上記第１の発明において、上記第１の撮影は通常撮影であり、上記第２の撮影は上記撮像素子を上記撮影レンズの光軸に垂直な平面内で所定量シフトして撮影を行う。

第４の発明に係る撮像装置は、上記第１の発明において、上記第１の画像データ、及び上記第２の画像データのうち、注目画素の画素データと同色且つ該注目画素と隣接する複数画素の画素データの平均値との差が所定以上ある注目画素を欠陥画素候補とする。

第５の発明に係る画素欠陥検出方法は、複数の画素が二次元状に配置された撮像素子を用いて、第１の撮影と第２の撮影を行った画像データを取得する撮像ステップと、上記第１の撮影によって得られた第１の画像データ、及び上記第２の撮影によって得られた第２の画像データを基に、それぞれ第１の画素欠陥候補、及び第２の画素欠陥候補を検出し、該第１の画素欠陥候補、及び該第２の画素欠陥のうち画素欠陥位置が一致する画素アドレスの画素を最終的に画素欠陥とする画素欠陥検出ステップと、上記画素欠陥検出ステップにより検出した画素欠陥を補正する画素欠陥補正ステップと、を含む。

本発明によれば、遮光機能を有していない撮像装置であっても、画素欠陥を補正可能な撮像装置、および画像欠陥検出方法を提供することができる。

本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラの撮影のメインフローを示すフローチャートである。 本発明の一実施形態に係るカメラの撮影のメインフローの変形例を示すフローチャートである。 本発明の一実施形態に係るカメラの孤立点検出の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの欠陥補正の動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、孤立点の検出の仕方を説明する図である。 本発明の一実施形態に係るカメラにおいて、欠陥補正の際に使用するスレッシュレベルを説明する図である。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、撮像素子１４を含む撮像部を有し、この撮像部によって被写体像を画像データに変換し、ライブビュー表示や、画像データの記録のために、画像データを出力する。また、レリーズ釦が全押しされた際の撮影時には、第１の撮影に続いて第２の撮影を行う。第２の撮影にあたっては、レンズ２の位置をずらす等により、画像をボカしてから撮影を行う。なお、後述するように一実施形態の変形例においては、撮像素子を撮影レンズの光軸に垂直な平面内で所定量シフトしてから第２の撮影を行う。

また、本発明の一実施形態においては、第１および第２の撮影によって得られた第１の画像データおよび第２の画像データから、それぞれ画素欠陥候補を検出し、これらの画素欠陥候補を用いて、最終的な画素欠陥を決定する。

図１は、本発明の一実施形態に係わるカメラ１１の構成を示すブロック図である。レンズ１２の光軸上には、絞り機構１３および撮像素子１４が配置されている。

レンズ１２は、被写体像を形成するための撮影レンズであり、モータ１７によってレンズ１２の光軸方向に沿って移動可能である。モータ１７はフォーカス制御部１６に接続されており、フォーカス制御部１６は、後述するメインＣＰＵ（Central Processing Unit）２６からの制御命令に従って、レンズ１２を合焦位置に移動させる。なお、後述するように、第２の撮影時には、レンズ１２を駆動し、ピント位置をずらすようにしている（図２のＳ１１参照）。

絞り機構１３は、開口径が調節可能であり、レンズ１２を通過した被写体光束の開口径を調節し、光量調節を行う。絞り機構１３の開口径はモータ１９によって駆動され、モータ１９は、絞り制御部１８に接続されている。絞り制御部１８は、メインＣＰＵ２６からの制御命令に従って、絞り機構１３の絞り値(開口径)の制御を行う。

撮像素子１４は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像素子であり、複数の画素が二次元状に配置されており、レンズ１２によって撮像面上に形成された被写体像をアナログの画像信号に変換する。撮像素子１４は、タイミング信号に基づいて、画像信号の蓄積や読み出し等の駆動を行い、アナログ画像信号をＡ／Ｄ変換器によってデジタルの画像データに変換し、画像データをデータバス２５に出力する。

撮像素子１４は、レリーズ釦が全押しされた際（２ｎｄレリーズされた際）に、第１の撮影と、これに続く第２の撮影において、それぞれ画像データを出力する（図２のＳ５〜Ｓ９、Ｓ１３〜Ｓ１７参照）。また、撮像素子１４は、画像信号の蓄積や読み出しの制御によってグローバルシャッタ等の電子シャッタを有し、露光時間の制御を行うことができる。

撮像素子１４として、ローリング読み出し方式のＣＭＯＳイメージセンサを採用すると、読み出し水平ライン毎に時間差が発生するため、動体が歪んでしまう。このため、メカシャッタによる露光を行い、水平ライン毎の露光時間を揃えている。一方、グローバルシャッタを実現できるＣＭＯＳイメージセンサを採用すると、メカシャッタを用いずとも露光の時間差は発生することがなく、メカシャッタ無しでカメラを構成することができる。なお、ローリングシャッタであっても、読み出しフレームが高速になれば、実質的に動体の歪みを無視できることから、メカシャッタ無しにすることも可能である。

手振れ補正機構１５は、撮像素子１４をレンズ１２と垂直な平面内で動かすことができる。手振れ補正機構１５は、モータ２１によって駆動され、またモータ２１はＣＰＵ２６からの制御信号を入力する手振れ補正部２０からの指示信号によって駆動される。これらの手振れ補正機構１５、モータ２１、手振れ補正部２０によって、カメラが露光中に受けるブレを打ち消す方向に撮像素子１４を動かし、手振れを補正することができる。なお、後述するように、本発明の一実施形態の変形例においては、第２の撮影の際には、撮像素子１４をレンズ１２の光軸と垂直な方向に所定量だけシフトする（図３のＳ１２参照）。

データバス２５には、前述の撮像素子１４とメインＣＰＵ２６以外に、ＡＥ（Automatic Exposure）処理部２７、ＡＦ（Auto Focus）処理部２８、画像処理部３０、ＬＣＤ（Liquid Crystal）ドライバ３１、不揮発性メモリ３３、内蔵メモリ３４、圧縮伸張部３５、着脱メモリ３６が接続されている。

ＡＥ処理部２７は、撮像素子１４から出力される画像データに基づいて、撮影画像の内の所定領域のＡＥ評価値を算出し、露出レベルが適正になるような露出時間（シャッタ速度）や絞り値を演算し、この演算結果をデータバス２５を介してメインＣＰＵ２６に出力する。ＡＦ処理部２８は、撮像素子１４から出力される画像データに基づいて、所定領域の高周波成分を抽出し、被写体のピント状態を示すＡＦ評価値を算出する。演算結果は、データバス２５を介してメインＣＰＵ２６に出力される。

画像処理部３０は、撮像素子１４から出力された画像データの同時化処理、諧調変換処理、ホワイトバランス調整、エッジ処理、広ダイナミックレンズ画像データの合成処理等の各種画像処理を行う。

ＬＣＤドライバ３１の出力は、カメラ１１の背面等に配置されたＬＣＤ３２に接続されており、画像処理部３０から出力される画像データに基づいて、ＬＣＤ３２にライブビュー表示を行う。また着脱メモリ３６に記憶されている画像データに基づいて、撮影画像の再生表示を行う。なお、画像データに基づいて表示できれば、ＬＣＤに限らず、例えば有機ＥＬ等のモニタを用いても構わない。

不揮発性メモリ３３は、例えばフラッシュメモリのような電気的書き換え可能な不揮発性メモリである。この不揮発性メモリ３３には、メインＣＰＵ２６において実行処理されるプログラムや、カメラ１１の各種調整値等が記憶される。内蔵メモリ３４は、高速書込み、高速読み出しが可能なメモリであり、撮像素子１４からの画像データを一時的に格納する。内蔵メモリ３４としては、ＤＲＡＭ（Dynamic Random Access Memory）や演算処理用に利用されるＤＲＡＭ（Synchronous Dynamic Random Access Memory）等を採用してもよい。

圧縮伸張部３５は、画像データを圧縮する。この圧縮された画像データは着脱メモリ３６に記憶され、また、着脱メモリ３６から読み出された圧縮画像データは、圧縮伸張部３５によって伸張される。着脱メモリ３６は、カメラ１１の本体に対して着脱自在な記憶媒体である。

メインＣＰＵ２６は、カメラ１１全体の動作を、不揮発性メモリ３３に記憶されたプログラムに基づいて制御する。例えば、ＡＥ処理部２７から出力されるＡＥ評価値に基づいて絞り制御部１８に絞り値に関する制御命令を出力し、また撮像素子１４に電子シャッタ速度に関する制御命令を出力して自動露出制御（ＡＥ）を行う。またＡＦ処理部２８から出力されるＡＦ評価値に基づいてフォーカス制御部１６に制御命令を出力して自動焦点調節（ＡＦ）を行う。また、動画撮影や静止画撮影の制御を行い、撮像タイミングを制御したりする撮像制御部としての機能を有する。後述するように、静止画撮影の際に第１の撮影および第２の撮影の制御を行う。

また、メインＣＰＵ２６は、画素欠陥検出部としても機能し、第１の撮影によって得られた第１の画像データ、及び上記第２の撮影によって得られた第２の画像データを基に、それぞれ第１の画素欠陥候補、及び第２の画素欠陥候補を検出し、該第１の画素欠陥候補、及び該第２の画素欠陥のうち画素欠陥位置が一致する画素アドレスの画素を最終的に画素欠陥とする（図２のＳ１９、Ｓ２１、Ｓ２３、図４参照）。また、メインＣＰＵ２６は、検出した画素欠陥を補正する画素欠陥補正部としても機能する（図２のＳ２３、図５参照）。

入力部３７は、撮影を指示するためのレリーズ釦、撮影モード等の設定を行う操作スイッチ、ズーミング操作を指示するためのズームスイッチ等の各種操作部材を有し、これらの操作部材の操作状態はメインＣＰＵ２６に出力される。メインＣＰＵ２６は操作状態の情報に基づいてカメラの制御を行う。電源部３８は、バッテリや電池等を含み、メインＣＰＵ２６等を動作させるための電圧、モータ１７、１９、２１等を駆動する電圧、ＬＣＤ３２を駆動する電圧等を供給する。

次に、本実施形態における動作について、図２、４、５に示すフローチャートを用いて説明する。これらのフローチャートは、不揮発性メモリ３３に記憶されているプログラムに従って、メインＣＰＵ２６が実行する（この点については、図３に示すフローチャートも同様である）。

図２のフローは、バルブ撮影等の長時間露光撮影モードが設定されている場合を示す。図２のフローにおいて、撮影が開始されると、まず、２ｎｄレリーズが押されたか否かを判定する（Ｓ１）。撮影者が、ＬＣＤ３２においてライブビュー表示等を観察して、構図を決めると、長時間露光の開始を指示するために、レリーズ釦を全押しすることから、このステップでは２ｎｄレリーズスイッチがオンとなったか否かを判定する。この判定の結果、２ｎｄレリーズスイッチがオンでなかった場合には、２ｎｄレリーズスイッチがオンとなるのを待つ。なお、２ｎｄレリーズが押されるまでの間に、図示しないが、ライブビュー表示、ＡＥ動作、ＡＦ動作等、通常のカメラ制御が実行される。

ステップＳ１における判定の結果、２ｎｄレリーズが押された場合には、露光を開始する（Ｓ３）。ここでは、撮像素子１４は、レンズ１２によって形成された被写体像を光電変換し、光電変換電流の電荷蓄積を開始する。なお、ここで電荷蓄積される際の被写体像は、ＡＦ動作によってピントが合った被写体像である。

ステップＳ３において露光を開始すると、次に、２ｎｄレリーズが放されたか否かを判定する（Ｓ５）。撮影者は、長時間露光を終了する場合には、レリーズ釦の全押し操作を止め、レリーズ釦から手を離す。そこで、このステップでは、２ｎｄレリーズスイッチがオフとなったか否かを判定する。この判定の結果、２ｎｄレリーズスイッチがオフでなかった場合には、２ｎｄレリーズスイッチがオフとなるのを待つ。

ステップＳ５における判定の結果、２ｎｄレリーズが放された場合には、露光を終了する（Ｓ７）。このステップでは、ステップＳ３において開始した撮像素子１４の光電変換電流の蓄積を終了する。

ステップＳ７において露光を終了すると、記憶領域に画像データを保存し、この画像データを画像１とする（Ｓ９）。ここでは、撮像素子１４から画像信号を読み出し、これをＡ／Ｄ変換し、画像データを出力する。この出力された画像データを内蔵メモリ３４に保存する。これによって、第１の撮影が終了する。

ステップＳ９において、画像１の画像データを保存すると、次に、レンズ１２を駆動し、ピント位置をずらす（Ｓ１１）。ここでは、メインＣＰＵ２６は、フォーカス制御部１６に対してレンズ１２のピント位置を所定量だけずらすように指示し、モータ１７によってレンズ１２を駆動する。レンズ１２のピント位置のずらし量は、撮影画像中の点光源のピントがずれ、孤立点とはみなせなくなるようにボケた画像となればよい。

ステップＳ１１において、レンズのピント位置をずらすと、次に、露光を開始する（Ｓ１３）。このステップＳ１３からステップＳ１７において、孤立点検出のための第２の撮影を行う。ここでは、まず撮像素子１４の電荷蓄積部をリセットし、リセット後にレンズ１２によって形成された被写体像を光電変換した光電変換電流の電荷蓄積を開始する。

ステップＳ１３において、露光が開始されると、次に、露光を終了する（Ｓ１５）。露光が開始されてから露光が終了されるまでの所定時間は、周囲の被写体輝度によって異なるが、孤立点を検出できる程度の画像が露光されるまでの時間とする。所定時間が経過すると、ステップＳ１３において開始した撮像素子１４の光電変換電流の蓄積を終了する。
画像信号を読み出し、これをＡ／Ｄ変換し、画像データを出力する。

ステップＳ１５において、露光を終了すると、次に、記憶領域に画像データを保存し、この画像データを画像２とする（Ｓ１７）。ここでは、撮像素子１４から画像信号を読み出し、これをＡ／Ｄ変換し、画像データを出力する。この出力された画像データを内蔵メモリ３４に保存する。これによって、第２の撮影が終了する。

ステップＳ１７において、画像２の画像データを保存すると、次に、画像１より孤立点を検出し、この検出したアドレスをアドレス１として保存する（Ｓ１９）。ここでは、画像１の画像データを用いて、各画素とその周囲の画素を比較し、比較結果に基づいて輝度の高い画素を検出し、この孤立点画素のアドレスを内蔵メモリ３４等に保存する。この孤立点の検出の詳しい動作については、図４に示す孤立点検出のフローを用いて後述する。

ステップＳ１９において、アドレス１を保存すると、次に、画像２より孤立点を検出し、この検出したアドレスをアドレス２として保存する（Ｓ２１）。ここでは、画像２の画像データを用いて、ステップＳ１９と同様に、周囲の画素と比較し、輝度の高い画素を検出し、この孤立点画素のアドレスを内蔵メモリ３４等に保存する。この孤立点の検出の詳しい動作については、アドレス１の検出と同様に、図４に示す孤立点検出のフローを用いて説明する。

ステップＳ２１において、アドレス２を保存すると、次に、アドレス１と２の一致するアドレスについて、画像１を欠陥補正し、画像３とする（Ｓ２３）。本実施形態においては、第１の撮影完了後に、第２の撮影において、ピント位置をずらして、ピントのぼけた画像を撮影している。第２の撮影にて取得したピントのぼけた画像では、被写体の点光源はぼやけて孤立点画素ではなくなる。すなわち、第１の撮影では、被写体の点光源と、撮像素子１４の欠陥画素が共に孤立点として検出される。しかし、第２の撮影では、被写体の点光源は孤立点としては検出されず、撮像素子１４の欠陥画素が孤立点として検出されるだけである。

そこで、第１の撮影にて取得した画像１における孤立点画素のアドレスと、第２の撮影にて取得した画像２における孤立点画素のアドレスを比較し、画像１の孤立点画素のアドレスと、画像２の孤立点画素のアドレスが一致する場合には、そのアドレス（ＦＰＮアドレス）は画素欠陥があると判断する。また、画像１では孤立点画素のアドレスであるが、画像２の対応するアドレスでは孤立点画素として保存されていない場合には、画素欠陥ではなく、被写体の点光源と判断する。

欠陥補正にあたっては、アドレス１、２が一致している場合には、欠陥画素であることから、画像１の欠陥画素に対応する画像データを、周囲の画素データを用いて補正する。アドレス１、２が一致していない場合には、正常な画素であることから、補正の必要はない。

このように、ステップＳ２３においては、ピントをぼかした画像の孤立点検出によって、ＦＰＮアドレスを欠陥補正し、ＦＰＮ補正された画像を得ることができる。なお、本実施形態においては、後述するように、孤立点については、孤立点の割合を示す孤立点度を算出し（図４参照）、欠陥補正では、孤立点度を用いて画像データの補正を行っている。欠陥補正の詳しい動作については、図５を用いて後述する。

ステップＳ２３において、欠陥補正を行うと、画像３をメモリカードに保存する（Ｓ２５）。第１の撮影において取得された画像１に対して、ステップＳ２３において欠陥補正が施された画像３が生成されたことから、この画像３の画像データを着脱メモリ３６に保存し、このフローを終了する。

このように、本フローチャートにおいては、第１の撮影がなされると、続けて第２の撮影を行い、それぞれの撮影において取得した画像データを基に、それぞれ孤立点のアドレスを検出し、両画像データの孤立点のアドレスが一致するアドレスを最終的に画素欠陥のあるアドレスとして検出している。

また、本フローチャートにおいては、第１の撮影は通常撮影であり、第２の撮影は画像をボカしてから行うようにしている。このため、第１の撮影と第２の撮影で取得した画像データを比較することにより、画素欠陥のある位置を簡単に検出することができる。

なお、本フローチャートにおいては、レリーズ釦を押すと長時間露光を開始し、レリーズ釦から指を放すと長時間露光を終了していた。すなわち、レリーズ釦を押し続けている間、長時間露光を行っていた。しかし、これに限らず、レリーズ釦を押すと長時間露光を開始させ、この後、レリーズ釦から指を放しても長時間露光を続行させ、再度、レリーズ釦を押すと、長時間露光を終了するようにしてもよい。

次に、図３を用いて、本発明の一実施形態におけるメインフローの変形例を説明する。本発明の一実施形態においては、第１の撮影の後、レンズのピント位置をずらしてから、第２の撮影を行っていた。これに対して、本変形例においては、第１の撮影の後、手ブレ補正機能を駆動し、撮像素子１４の位置をレンズ１２の光軸と垂直な平面内でシフトしてから、第２の撮影を行うようにしている。

図３に示す本変形例のメインフローは、図２に示すメインフローのステップＳ１１を、ステップＳ１２に置き換えただけであり、その他のステップにおける処理は、図３に示すフローにおける処理と同様である。そのため、相違点を中心に説明する。

図３に示すフローに入ると、２ｎｄレリーズが押されると（Ｓ１Ｙｅｓ）、露光を開始し（Ｓ３）、２ｎｄレリーズが放されると（Ｓ５Ｙｅｓ）、露光を終了する（Ｓ７）。そして、この第１の撮影において取得した画像データを記録領域に画像１として保存する（Ｓ９）。

ステップＳ９において、画像１を保存すると、次に、手振れ補正機能を駆動し、撮像素子１４を規定値だけずらす（Ｓ１２）。ここでは、メインＣＰＵ２６は手振れ補正部２０に、撮像素子１４をレンズ１２の光軸に垂直な平面内で所定量シフトするように指示し、モータ２１によって撮像素子１４を駆動する。撮像素子１４のシフト量は、撮影画像中の点光源の位置がずれ、画素欠陥による孤立点と区別できる程度であればよい。

ステップＳ１２において、撮像素子１４をレンズ１２の光軸に垂直な平面内で所定量シフトすると、次に、第２の撮影の露光を開始し（Ｓ１３）、所定時間後に露光を終了し（Ｓ１５）、画像２の画像データを保存し（Ｓ１７）、画像１より孤立点を検出してアドレス１を保存し（Ｓ１９）、画像２より孤立点を検出してアドレス２を保存し（Ｓ２１）、アドレス１、２を用いて画像１の欠陥を補正し（Ｓ２５）、補正した画像３をメモリカードに保存する（Ｓ２５）。

このように、図３に示したメインフローの変形例においても、第１の撮影がなされると、続けて第２の撮影を行い、それぞれの撮影において取得した画像データを基に、それぞれ孤立点のアドレスを検出し、両画像データの孤立点のアドレスが一致するアドレスを最終的に画素欠陥のあるアドレスとして検出している。

また、本変形例においては、第１の撮影は通常の撮影であり、第２の撮影は、撮像素子１４をレンズ１２の光軸に垂直な平面内で所定量シフトしてから行うようにしている。このため、第１の撮影と第２の撮影で取得した画像データを比較することにより、画素欠陥のある位置を簡単に検出することができる。

次に、図４および図６を用いて、ステップＳ１９、Ｓ２１（図２、図３参照）において行われる孤立点の検出について説明する。孤立点の検出にあたっては、二次元状に配置された複数の全画素から、順次、注目画素Ｃとして指定し、全画素についてそれぞれ、孤立点度を算出する。

図６は、孤立点の検出時における画素の配置を示す図である。図６（ａ）は注目画素ＣがＧ画素（緑色フィルタを有する画素）の場合であり、図６（ｂ）は注目画素ＣがＲ画素（赤色フィルタを有する画素）またはＢ画素（青色フィルタを有する画素）の場合を示す。なお、図６は、ベイヤ配列の場合を示しているが、他の配列でも構わない。また、本実施形態においてＧｒ画素とＧｂ画素を同色画素として扱い、注目画素ＣがＧｒ画素またはＧｂ画素の場合（図６（ａ））と、Ｒ画素またはＢ画素の場合(図６（ｂ）)において、それぞれ図６に示す参照画素を用いて、孤立点度を算出する。

注目画素Ｃが、Ｇ画素、Ｒ画素、Ｂ画素、いずれの場合であっても、図６（ａ）（ｂ）に示すように、参照画素としては、画素Ｓ１〜Ｓ８を用いる。ここで、画素Ｓ１〜Ｓ８は、図６（ａ）の場合には、いずれもＧ画素であり、また図６（ｂ）の場合にはいずれもＲ画素またはＢ画素である。また、画素Ｓ１〜Ｓ８に加えて、注目画素Ｃを挟んで対称の位置にある画素の平均値も参照画素として扱う。従って、下記の１２ケの画素が参照画素となる。
Ｓ１〜Ｓ８、及び（Ｓ１＋Ｓ５）／２、（Ｓ２＋Ｓ６）／２、（Ｓ３＋Ｓ７）／２、（Ｓ４＋Ｓ８）／２

これらの１２ケの参照画素のそれぞれと注目画素Ｃとの差分絶対値を求め、この差分絶対値の小さいものから６ケを抽出する。この抽出した６ケの差分絶対値に対応する参照画素値の平均値（＝Ｘ）を算出する。この抽出された参照画素の平均値（＝Ｘ）は、注目画素周辺の輝度に相当する。この値と注目画素Ｃの差分を求める。この差分絶対値が孤立点度となる。差分絶対値は、注目画素の輝度が周囲からどの位、離れているかを示しており、差分絶対値が大きい程、輝度差が大きいことを意味している。

二次元状に配置された複数の全画素について、孤立点度が算出された後、あるレベル以上（欠陥スレッシュ以上）の孤立点度となる画素を欠陥画素候補として、その画素アドレスを記録領域に保存する。欠陥スレッシュは、実験等により最適値を設定すればよい。欠陥スレッシュが低すぎると欠陥が検出され易くなり、欠陥数が多くなるため、欠陥補正の副作用、例えば、解像度の低下やアーティファクトの発生等が懸念される。一方、欠陥スレッシュが高すぎると、欠陥が検出され難くなり、補正されない欠陥のため画質が低下してしまう。

なお、本実施形態において、参照画素として、注目画素Ｃを挟んで対称の位置にある画素の平均値も採用している。これは、被写体像の中に縦線状や横線状の輝線あると、注目画素と参照画素（Ｓ１〜Ｓ８）との差分を算出した際に差分絶対値が大きくなり、孤立点度が大きくなりやすい。このような輝線の場合であっても、対象位置の画素平均は差分絶対値が大きくなり難いことから、適正な孤立点度の算出ができる。

図４に示す孤立点の検出のフローチャートは、図６を用いて説明した孤立点度の検出方法に基づいている。孤立点検出のフローに入ると、まず、注目画素を決定し、Ｃとする（Ｓ３１）。ここでは、撮像素子１４のうちの１画素を注目画素Ｃと決定する。なお、１つの注目画素Ｃについて、ステップＳ３１〜Ｓ４５を実行すると、次の画素を注目画素Ｃとして、ステップＳ３１〜Ｓ４５を実行し、全ての画素について、孤立点の検出を行う。

ステップＳ３１において、注目画素Ｃを決定すると、次に、参照画素を１２ケ決定する（Ｓ３３）。図６を用いて前述したように参照画素としては、注目画素Ｃの近傍にある同色画素（Ｓ１〜Ｓ８の８ケ）に加えて、注目画素Ｃと対称の位置にある同色画素の画素データの平均値（４ケ）である。

ステップＳ３３において、参照画素を１２ケ決定すると、次に、｜注目画素−参照画素｜を算出する（Ｓ３５）。ここでは、前述したように、１２ケの参照画素のそれぞれの値と注目画素Ｃの値との差分絶対値を求める。

ステップＳ３５において、差分絶対値を算出すると、次に、｜注目画素−参照画素｜の小さいものから６ケ抽出する（Ｓ３７）。ここでは、前述したように、差分絶対値の小さいものから６ケを抽出する。

ステップＳ３７において、差分絶対値のうち、小さいものから６ケ抽出すると、この抽出した６ケの差分絶対値の平均値を算出し、Ｘとする（Ｓ３９）。この平均値Ｘは、注目画素Ｃの周囲の明るさを示す値である。

ステップＳ３９において、平均値Ｘを算出すると、次に、注目画素の孤立点度を、｜Ｃ−Ｘ｜から算出する（Ｓ４１）。ここでは、注目画素と周囲の明るさの差に基づいて、注目画素の孤立点度を算出する。注目画素の画素データが周囲よりも大きい程、孤立点度が大きくなる。

ステップＳ４１において、孤立点度を算出すると、次に、欠陥スレッシュ＜孤立点度か否かを判定する（Ｓ４３）。前述したように、欠陥スレッシュは、実験値等により決めた設計値であり、ここでは、ステップＳ４１で算出した孤立点度が欠陥スレッシュよりも大きいか否かを判定する。

ステップＳ４３における判定の結果、孤立点度が欠陥スレッシュよりも大きい場合には、注目画素Ｃを欠陥と判定し、この注目画素Ｃのアドレスを記憶する（Ｓ４５）。図４に示す孤立点検出のフローは、前述したように、第１の撮影において取得した画像１についてステップＳ１９の中で実行され、また第２の撮影において取得した画像２についてステップＳ２１の中で実行される。ステップＳ４５において記憶されるアドレスは、最終的な欠陥画素のアドレスではなく、欠陥画素候補のアドレスである。

ステップＳ４３における判定の結果、孤立点度が欠陥スレッシュよりも大きくなかった場合、またはステップＳ４５においてアドレスを記憶すると、前述したように、注目画素のアドレスを変更し、ステップＳ３１〜Ｓ４５を実行する。撮像素子１４の全画素について、孤立点検出を行うと、元のフローに戻る。

このように、孤立点検出のフローチャートにおいては、第１の撮影において取得した画像データ（図２及び図３のＳ９参照）、及び第２の撮影において取得した画像データ（図２及び図３のＳ１７参照）のうち、注目画素Ｃの画素データと、この注目画素Ｃの周囲の画像データの差が所定以上ある注目画素を欠陥画素候補としている。特に本フローにおいては、周囲の画像データとして、同色且つ注目画素と隣接する複数画素の画素データの平均値を用いている。注目画素の周囲に偶発的に高輝度出力の画素データがあったとしても、これに影響されることないため、欠陥画素候補の検出を高精度に行うことができる。

なお、本フローチャートにおいては、参照画素として、注目画素の周囲の８ケの画素と、複数画素の画素データの４ケの平均値を用いたが、これに限らず、参照画素の位置や数を変更してもよい。また、複数の差分絶対値の小さいものから参照画素数の半数である６ケを抽出したが、この抽出の割合や数は、適宜、変更してもよい。

次に、図５および図７を用いて、ステップＳ２３（図２、図３参照）において行われる欠陥補正について説明する。この欠陥補正のフローは、ステップＳ２３において、アドレス１、２が一致することから、画像１において欠陥画素の判定された画素の画素データに対して、図４に示す孤立点検出のフローにおいて算出された孤立点度を用いて、画像データの補正を行う。

本実施形態においては、図７に示すように、孤立点度のレベルに応じて、孤立点の補正方法を下記のＰ、Ｑ、Ｒの３つに場合分けしている。

（Ｐ）孤立点度＜レベルＬ
図７において、Ｐ領域にあたり、孤立点度（｜Ｃ−Ｘ｜）がレベルＬよりも小さい場合である。この場合は、注目画素と周囲の参照画素との間で明るさの差が大きくないことから、注目画素Ｃは正常な画素と判断できる。そこで、注目画素の画素データを補正せず、注目画素の画素データ（＝Ｃ）のままとする。

（Ｑ）レベルＬ≦孤立点度＜レベルＨ
図７において、Ｑ領域にあたり、孤立点度（｜Ｃ−Ｘ｜）がレベルＬ以上であり、レベルＨよりも小さい場合である。この場合は、注目画素は孤立点か、または正常な画素か明確でない。そこで、図７の領域Ｑの補正値で示すように、注目画素の画素データと周囲の画素データの平均値を混合した画素データを補正値としている。具体的には孤立点度が大きくなる程、参照画素の画素データの平均値Ｘに近づくように補正値を設定する。なお、図７においては、領域Ｑにおいて孤立点度と補正値との関係を直線で例示しているが、曲線であっても構わない。

（Ｒ）レベルＨ≦孤立点度
図７において、Ｒ領域にあたり、孤立点度（｜Ｃ−Ｘ｜）がレベルＨ以上の場合である。この場合は、注目画素Ｃの画素データは、参照画素の画素データの平均値より、かなり大きい場合であることから、注目画素Ｃは欠陥画素である可能性が高い。そこで、注目画素Ｃの画素データを、参照画素の画素データの平均値Ｘに置き換える。

図５に示す欠陥補正のフローチャートは、図７を用いて説明した欠陥補正に基づいている。欠陥補正のフローに入ると、まず、孤立点度がレベルＬよりも小さいか否かを判定する（Ｓ５１）。ここでは、欠陥画素と判定された画素について、ステップＳ１９、Ｓ２１において算出された孤立点度（図４のＳ４１参照）が、図７に示すＰ領域に属するか否かを判定する。

ステップＳ５１における判定の結果、孤立点度がレベルＬよりも小さい場合には、注目画素は補正しない（Ｓ５３）。ここでは、前述したように、注目画素Ｃと周囲の参照画素の平均値Ｘとの間で差が大きくないことから、注目画素Ｃの画素データのままとする。

一方、ステップＳ５１における判定の結果、孤立点度がレベルＬよりも小さくなかった場合には、次に、孤立点度がレベルＬ以上でレベルＨよりも小さいか否かを判定する（Ｓ５５）。ここでは、孤立点度（図４のＳ４１参照）が、図７に示すＱ領域に属するか否かを判定する。

ステップＳ５５における判定の結果、孤立点度がレベルＬ以上でレベルＨよりも小さかった場合には、ＣとＸを混合したもので、注目画素を置き換える（Ｓ５７）。ここでは、前述したように、孤立点度が大きくなる程、参照画素の画素データの平均値Ｘに近づくように補正値を設定する。

ステップＳ５５における判定の結果、孤立点度がレベルＬ以上でレベルＨよりも大きくない場合、すなわち、孤立点度がレベルＨ以上の場合には、注目画素をＸで置き換える（Ｓ５９）。ここでは、前述したように、注目画素Ｃの画素データは、参照画素の画素データの平均値Ｘより、かなり大きい場合であることから、注目画素Ｃの画素データを、参照画素の画素データの平均値Ｘに置き換える。

ステップＳ５３、Ｓ５７、Ｓ５９における処理を行うと、欠陥補正を必要とする画素が有る場合には、欠陥画素を変更して、ステップＳ５１〜Ｓ５９を実行し、全ての欠陥画素に対して欠陥補正が終了すると、元のフローに戻る。

このように、欠陥補正のフローチャートにおいては、画素欠陥として検出された注目画素の画素データを、注目画素の周囲の画素の平均値Ｘを用いて補正している。特に、本フローチャートにおいては、欠陥検出の際に算出した孤立点度（注目画素と周囲の画素の平均値の差分値）を用いて、補正方法を変更している。すなわち、孤立点度が高い場合には、周囲の画素の平均値に置き換え、孤立点度がそれより低い場合には、注目画素の画素データと周囲の画素データの平均値を混合した画素データに置き換えるようにしている。混合による補正を行うことから、周囲の明るさに馴染んだ画質とすることができる。

なお、本フローチャートにおいては、３通りの欠陥補正としているが、いずれかの補正方法を省略し、また、他の欠陥補正を追加しても勿論かまわない。また、本フローチャートにおいては、注目画素と周囲の明るさの差に基づいて、注目画素の孤立点度を算出したが（図４のステップＳ４１）、注目画素と周囲の明るさの比に基づいて、注目画素の孤立点度を算出してもよい。

以上説明したように、本発明の一実施形態や変形例においては、第１の撮影によって得られた第１の画像データ（図２及び図３のＳ９）、及び第２の撮影によって得られた第２の画像データ（図２及び図３のＳ１７）を基に、それぞれ第１の画素欠陥候補、及び第２の画素欠陥候補を検出し（図２及び図３のＳ１９、Ｓ２１）、第１の画素欠陥候補及び第２の画素欠陥のうち画素欠陥位置が一致する画素アドレスの画素を最終的に画素欠陥とし、この検出した画素欠陥を補正している(図２及び図３のＳ２３)。メカシャッタを有していなくても、画素欠陥を補正することが可能となる。すなわち、第１の撮影および第２の撮影は、メカシャッタを有していなくても行うことができる。

なお、本発明の一実施形態や変形例においては、撮像のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、処理全体の一部をＣＰＵ２６によりソフトウエア的に処理し、処理全体の他の一部をハードウエア的に処理する例について説明したが、ソフトウエア処理するものとハードウエア処理するものは、適宜、変更しても構わない。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１１・・・カメラ、１２・・・レンズ、１３・・・絞り機構、１４・・・撮像素子、１５・・・手振れ補正機構、１６・・・フォーカス制御部、１７・・・モータ、１８・・・絞り制御部、１９・・・モータ、２０・・・手振れ補正部、２１・・・モータ、２５・・・バス、２６・・・メインＣＰＵ、２７・・・ＡＥ処理部、２８・・・ＡＦ処理部、３０・・・画像処理部、３１・・・ＬＣＤドライバ、３２・・・ＬＣＤ、３３・・・不揮発性メモリ、３４・・・内蔵メモリ、３５・・・圧縮伸張部、３６・・・着脱メモリ、３７・・・入力部、３８・・・電源部

Claims (5)

1. 撮影レンズと、
   複数の画素が二次元状に配置された撮像素子を用いて、第１の撮影と第２の撮影を行った画像データを取得する撮像部と、
   上記第１の撮影によって得られた第１の画像データ、及び上記第２の撮影によって得られた第２の画像データを基に、それぞれ第１の画素欠陥候補、及び第２の画素欠陥候補を検出し、該第１の画素欠陥候補、及び該第２の画素欠陥のうち画素欠陥位置が一致する画素アドレスの画素を最終的に画素欠陥とする画素欠陥検出部と、
   上記画素欠陥検出部により検出した画素欠陥を補正する画素欠陥補正部と、
   を備えたことを特徴とする撮像装置。
2. 上記第１の撮影は通常撮影であり、上記第２の撮影は画像をボカして撮影することを特徴とする請求項１に記載の撮像装置。
3. 上記第１の撮影は通常撮影であり、上記第２の撮影は上記撮像素子を上記撮影レンズの光軸に垂直な平面内で所定量シフトして撮影を行うことを特徴とする請求項１に記載の撮像装置。
4. 上記第１の画像データ、及び上記第２の画像データのうち、注目画素の画素データと同色且つ該注目画素と隣接する複数画素の画素データの平均値との差が所定以上ある注目画素を欠陥画素候補とすることを特徴とする請求項１に記載の撮像装置。
5. 複数の画素が二次元状に配置された撮像素子を用いて、第１の撮影と第２の撮影を行った画像データを取得する撮像ステップと、
   上記第１の撮影によって得られた第１の画像データ、及び上記第２の撮影によって得られた第２の画像データを基に、それぞれ第１の画素欠陥候補、及び第２の画素欠陥候補を検出し、該第１の画素欠陥候補、及び該第２の画素欠陥のうち画素欠陥位置が一致する画素アドレスの画素を最終的に画素欠陥とする画素欠陥検出ステップと、
   上記画素欠陥検出ステップにより検出した画素欠陥を補正する画素欠陥補正ステップと、
   を含むことを特徴とする画素欠陥検出方法。

Images