JP2015233202A - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】 撮像して得られた画像データについて、より正確に欠陥画素を検出する。【解決手段】 画像処理装置であって、欠陥画素の位置を示す位置情報を記憶する記憶手段と、画像データに対して、前記記憶手段に記憶された欠陥画素の画素値を補正する補正手段と、前記補正手段により補正された画像データにおいて、欠陥画素と推定される推定欠陥画素を検出する検出手段と、前記検出手段によって検出された推定欠陥画素を使用するか否かを判定する判定手段と、前記判定手段による判定結果と前記検出手段による検出結果に応じて、前記記憶手段が記憶する欠陥画素の位置情報を更新する更新手段と、を有することを特徴とする。【選択図】 図３

Description

本発明は、撮像素子における欠陥画素の検出する方法に関する。

被写体を撮像して得られる画像をデジタル画像データとして記録するデジタルスチルカメラやデジタルビデオカメラ等のデジタル撮像装置が広く普及している。デジタル撮像装置は、ＣＣＤやＣＭＯＳセンサ等の撮像素子において、光学信号である画像を電気に変換することでデジタル画像データを生成する。ＣＭＯＳイメージセンサ等の撮像素子は、製造過程や外部環境、経時劣化等によって、異常なレベルを出力する欠陥画素が生じることがある。そこで、撮像素子の欠陥画素を検出する技術が幾つか提案されている（特許文献１、２）。これらの技術は、画像データに基づいて欠陥画素を検出するため、製造過程において発生した欠陥画素に限らず、製造後に発生した欠陥画素も検出することが可能である。特許文献１では、注目画素と注目画素の周辺の複数の画素との信号レベルの差分をカラーフィルタの色毎に求め、全ての差分が閾値以上である場合に、注目画素を欠陥画素として検出する技術が開示されている。ただし、このような手法では誤検出も発生してしまう。そこで特許文献２では、複数枚の欠陥画素検出の結果を用いて最終的に欠陥画素を判定することによって欠陥画素の検出精度を高めている。

特開２００４−２９７２６７号公報 特開平６−２８４３４６号公報

しかしながら、例えば欠陥画素であるかどうかの判別が難しい点光源（例えば星）画像やノイズ量の多い撮影画像に対しては、特許文献２の方法を用いても適切に欠陥画素を検出することができないという課題があった。そこで本発明の目的は、撮像して得られた画像データについて、より正確に欠陥画素を検出することにある。

上記課題を解決するため本発明は、画像処理装置であって、欠陥画素の位置を示す位置情報を記憶する記憶手段と、画像データに対して、前記記憶手段に記憶された欠陥画素の画素値を補正する補正手段と、前記補正手段により補正された画像データにおいて、欠陥画素と推定される推定欠陥画素を検出する検出手段と、前記検出手段によって検出された推定欠陥画素を使用するか否かを判定する判定手段と、前記判定手段による判定結果と前記検出手段による検出結果に応じて、前記記憶手段が記憶する欠陥画素の位置情報を更新する更新手段と、を有することを特徴とする。

本発明により、撮像して得られた画像データについて、より正確に欠陥画素を検出することができる。

撮像装置の一例を示す図 撮像装置の内部構成の一例を示すブロック図 画像処理部の内部構成の一例を示すブロック図 欠陥画素対策処理部の内部構成の一例を示すブロック図 判定部の内部構成の一例を示すブロック図 信頼度情報算出部の内部構成の一例を示すブロック図 処理の流れの一例を示すフローチャート図 画像処理の動作の一例を示すフローチャート図 欠陥画素対策処理の動作の一例を示すフローチャート図 信頼度の更新処理の動作の一例を示すフローチャート図 欠陥画素対策処理部の内部構成の一例を示すブロック図 欠陥画素対策処理の動作の一例を示すフローチャート図 信頼度の更新処理の動作の一例を示すフローチャート図 登録欠陥補正部の内部構成の一例を示すブロック図 欠陥画素の補正処理の具体例を示す模式図 登録欠陥補正部の内部構成の一例を示すブロック図 補正処理を説明する図 補正処理を説明する図

以下、添付の図面を参照して、本発明を実施する形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第１実施形態＞
図１は本実施形態における画像処理装置として、撮像装置１０１の外観を示す図である。本実施形態では、画像処理装置の一例としてデジタルカメラの構成例を示すがこれに限らない。例えば画像処理装置は、携帯電話やタブレットデバイス、パーソナルコンピュータなどの情報処理装置であってもいいし、カメラ付き携帯電話等の撮像装置であっても良い。

撮像装置１０１は、光学部１０２、撮影ボタン１０３、表示部１０４、操作ボタン１０５を有する。光学部１０２はズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッターから構成され、被写体の光情報を集光する。撮影ボタン１０３は、ユーザが撮影の開始等を撮像装置１０１に指示するためのボタンである。表示部１０４は、液晶ディスプレイなどが用いられており、撮像装置１０１にて処理された画像データの表示や各種データなどを表示する。操作ボタン１０５は、ユーザが撮影条件のパラメータなどを撮像装置１０１に指示するためのボタンである。なお表示部１０４がタッチパネルとして機能し、表示部１０４を介してユーザが撮像装置１０１に指示するような構成であっても良い。この場合、表示部１０８は、ユーザが所望の指示を入力するためのユーザインタフェース（ＵＩ）を表示する。

図２は本実施形態における撮像装置１０１の内部構成を示すブロック図である。カラー撮像素子部２０１は、光学部１０２によって集光された光情報を露光して、電気信号（電流値）へと変換する撮像素子を有する。光情報の露光時間に応じて、画像データの明るさを制御することができる。さらにカラー撮像素子部２０１において、撮像素子に対してカラーフィルタを組み合わせることで、撮像した画像を表すカラー画像を表す色情報を取得する。また、すべての画素に対して、任意の露光時間を設定可能な撮像素子とする。なお、すべての画素とはデモザイク前のＲＡＷデータを意味しており、カラーフィルタを通した各色の画素のことである。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３は、読出し専用メモリであり、撮像装置の設定パラメータやブートプログラム等が格納されている。ＲＡＭ２０４は、撮像した画像データや、表示部１０４に表示する画像データ操作ボタン１０３、１０５から受け付けた指示等を一次的に保存する。またＲＡＭ２０４はＣＰＵ２０２の作業領域等としても使用される。

ＣＰＵ２０２は、各構成の処理すべてに関わり、入力された信号や後述のプログラムに従って各構成における処理を制御する。ＣＰＵ２０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３や、ＲＡＭ（Ｒｏｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０４に格納されたプログラム等や命令を順次に読み出し、解釈して処理を実行する。

撮像系制御部２０５は、ＣＰＵ２０２からの指示に基づいて光学部１０２を制御する。例えば、フォーカスレンズを駆動してフォーカスを合わせたり、シャッターを開閉したり、絞りを調整したりする。制御部２０６は、撮影ボタン１０３、１０５からのユーザ指示に応じて、撮影動作の開始及び終了を制御する。キャラクタージェネレーション部２０７は文字やグラフィックなどを生成する。Ａ／Ｄ変換部２０８は、カラー撮像素子２０１によって得られる電気信号（電流値）をデジタル信号値に変換する。

Ａ／Ｄ変換部２０８は、画素毎にデジタルな信号値（以降、画素値）を有するデジタル画像データを出力する。ここで出力される画像データはいわゆるＲＡＷ画像データであり、ＲＡＷ画像データには、カラーフィルタによって得られる各色の情報を含む。本実施形態では、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の信号値を取得するカラーフィルタを用いるものとする。従って、Ａ／Ｄ変換部２０８から出力されるデジタル画像データは、ＲＧＢの３つの色成分に対応する信号値を含む。なおＡ／Ｄ変換部２０８から出力される画像データは、ユーザによる設定に関わらず画素数は一定であり、ここで得られる画像データの画素数は、カラー撮像素子２０１の解像度によって決まる。

また、Ａ／Ｄ変換部２０８から出力されるデジタル画像データの一部は、撮像素子における製造過程や外部環境、経時劣化等による結果によって、正常に被写体の光情報をデジタル信号値に変換できなかった画素が存在する。このような画素は欠陥（キズ）画素と呼ばれ、被写体の撮像によって得られる値としては異常なレベルの信号値（画素値）となっている。より具体的には、白キズと呼ばれる、撮像によって得られるべき本来よりも異常に明るい画素値の画素や、黒キズと呼ばれる、本来よりも異常に暗い画素値の画素等がある。このような欠陥画素は主に製造過程で発生するが、出荷後にも宇宙線、静電気破壊等の外部環境や経時変化による影響で増加してしまう。また、近年では、撮像素子における撮像領域内に、撮像目的以外の特定用途向け画素を備えたものがある。特定用途向け画素は例えば、位相差を検出するための像面位相差画素や、距離を測定するための測距用画素等がある。このような特定用途向け画素は、撮像によって得られる光情報を電気信号に変換する画素ではなく、意図的に画像データを生成するための画素値を取得できない。

画像処理部２０９はＡ／Ｄ変換部２０８によって得られるデジタルな画像データに対して、画像処理を実行する。詳細については後述する。エンコーダ部２１０は、画像処理部２０９によって処理された画像データをＪＰＥＧなどのファイルフォーマットに変換する。メディアＩ／Ｆ２１１は、外部装置であるＰＣ／メディア２１３（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカードなど）に画像データを送受信するためのインタフェースである。システムバス２１２は、撮像装置１０１全体の各部間においてデータを送受信するためのバスである。

図３は、本実施形態における画像処理部２０９の詳細な構成を示すブロック図である。画像入力部３０１は、Ａ／Ｄ変換部２０１から得られるデジタルな画像データを入力する。本実施形態では、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の信号値を含む、ＲＡＷ画像データが入力される。また、Ａ／Ｄ変換部２０１から得られる画像データを構成する画素は、０〜２５５のいずれかを画素値をもつ８ビットのデータである。なお画素値は、最大値２５５は最も明るいことを示し、最小値０は最も暗いことを示す
欠陥画素対策処理部３０２は、画像入力部３０１から入力された画像データにおける欠陥画素の画素値を補正する。詳細についてはさらに後述する。

現像処理部３０３は、欠陥画素が補正されたＲＧＢのＲＡＷ画像データに対して、デモザイク、ホワイトバランス、ノイズリダクション、ガンマ、シャープネスなどの各種画像処理を行う。これにより、被写体を撮像して得られるカラーのデジタル画像データが生成される。

画像出力部３０４は、現像処理した画像データをＤ／Ａ変換部２０３にてアナログ信号に変換して、ＲＡＭ２０４に保持し、表示部１１３する。もしくは、画像出力部３０４は現像処理した画像データをエンコーダ部２０４にてエンコードし、ＰＣ／メディア２１３に出力する。

（欠陥画素対策処理部３０２の詳細な説明）
前述の通り欠陥画素対策処理部３０２は、画像データにおける欠陥画素の画素値を補正する。図４は欠陥画素対策処理部３０２の詳細を示すブロック図である。欠陥画素対策処理部３０２は、処理対象における欠陥画素の位置を検出して、必要に応じて欠陥画素の画素値を補正する。

登録欠陥補正部４０１は、欠陥情報記憶部４０２が保持している欠陥画素の位置を表す情報に基づいて、欠陥画素を補正する。欠陥情報記憶部４０２は、登録欠陥補正部４０１で補正する欠陥画素を示す情報を保持する。予め保持している欠陥画素の補正については、例えば入力ＲＡＷ画像データがベイヤ配列の場合、以下のような方法で補正すればよい。図１７に、注目する画素がＧ成分の欠陥画素である場合の補正方法の一例を示した。注目画素Ｇ_ｍｎと同一のＧ成分を画素値として有する画素であって、注目画素Ｇ_ｍｎの周囲にある画素に基づいて補正する。例えば注目画素Ｇ_ｍｎから２画素分上方向の位置の画素Ｇ_{ｍ，ｎ−２}、２画素分下方向の位置の画素Ｇ_{ｍ，ｎ＋２}、２画素分左方向の位置の画素Ｇ_{ｍ−２，ｎ}及び２画素分右方向の位置の画素Ｇ_{ｍ＋２，ｎ}の４画素の平均値等を注目画素の補正値とする。当然のことながら、エッジ方向に沿って平均化することも考えられる。

本実施形態では、撮像装置１０１の撮像パラメータであるＩＳＯ感度毎に、欠陥画素の位置を保持している。撮像装置１０１を生産した後出荷前に公知の欠陥画素補正技術を用いて検出された欠陥画素の位置を示す位置情報をＩＳＯ感度毎に登録しておく。

欠陥検出部４０３は、登録欠陥補正部４０１によって補正された画像データについて、さらに欠陥画素と推定される画素を推定欠陥画素として検出する。欠陥検出部４０３によって、欠陥情報記憶部４０２に欠陥画素として保持されていない画素位置に、後発的に発生した欠陥画素や暗電流が大きい画素が検出される。欠陥検出部４０３は、画像データに基づいた欠陥画素検出処理として、注目画素について、その周辺の画素の信号よりも異常に高い信号あるいは逆に異常に低い信号が存在するか否かを判定する。周辺の画素の信号よりも異常に高い、または低い信号の画素であれば、推定欠陥画素として検出うる。なお注目画素に対して、どの範囲、何画素を周辺の画素とするか、あるいはどの程度を「異常に高い、低い」と判定するかは、適宜設定すればよい。例えば注目画素に囲む８つの画素（上下左右、斜め）を周囲の画素とし、８つの画素の画素値を平均して得られる平均値と注目画素の画素値とを比較し、所定の閾値とを比較することによって、欠陥画素を検出すればよい。あるいは、注目画素と該注目画素の近傍に位置する画素それぞれと複数回比較し、所定の閾値以上の差分があると判定された回数によって、注目画素を欠陥画素として検出する方法でもよい。

推定欠陥補正部４０４は、欠陥検出部４０３によって検出された推定欠陥画素の画素値を補正する。

判定部４０５は、欠陥検出部４０３によって検出した結果が信頼できるかどうかを判定する。前述の通り欠陥検出部４０３は、注目画素が周辺画素の信号と比較して異常に高い信号、あるいは異常に低い信号が存在するか否かによって検出する。そのため、例えば被写体に、星のような、周囲の画素に対して画素値が突出して大きい孤立点がある場合、被写体を撮像した結果得られた画素値を有する画素が欠陥検出部４０３によって欠陥画素として検出されてしまう場合がある。また、ノイズ量が多くなる撮影条件下で撮影した画像データでは、ノイズによって注目画素の画素値が、注目画素の周囲の画素の画素値と大きく異なる場合がある。特に、被写体の空間周波数が低域となる領域では、ノイズ成分によって周囲の画素の画素値よりも大きな値となる可能性が高い。その結果、欠陥検出部４０３は注目画素を欠陥画素として誤検出してしまうことがある。

一方、このような誤検出を回避するために検出条件を厳しく設定することも考えられる。しかしながら全体的に画素値が高い領域では、注目画素と周囲の画素との画素値の差分が小さくなるため、欠陥画素を検出することができなくなってしまう。そこで、判定部４０５によって欠陥検出部４０３における欠陥画素検出の精度が低下する条件であるか判定し、欠陥画素検出の精度が低下する条件であれば、欠陥画素検出結果を使用しないようにする。判定部４０５における処理の詳細は後述する。

信頼度情報算出部４０６は、撮像素子に対応する各画素が正常な画素値を出力する画素である可能性を表す信頼度情報を算出する。信頼度が低い画素は、欠陥画素である可能性が高いことを意味する。本実施形態において欠陥画素対策処理部３０２における各処理は、撮像装置１０１が撮像する毎に実行される。従って、信頼度情報算出部４０６は、撮像装置１０１が被写体を撮像するたびに、得られる画像データにおける各画素の信頼度を算出し、信頼度情報記憶部４０７が保持する画素毎の信頼度を随時更新する。信頼度情報算出部４０６の詳細と信頼度情報の算出方法については後述する。欠陥情報更新部４０８は、信頼度情報記憶部４０７を参照して欠陥情報記憶部４０２で保持している欠陥画素の情報を更新する。具体的には、撮像素子に対応する各画素の現在の信頼度を取得し、欠陥情報記憶部４０２に保持されている欠陥画素の情報において、信頼度が一定以下になった画素の位置情報を、欠陥画素の位置を示す位置情報に追加する。

以上の構成により、後発的に発生した欠陥画素を高精度に推定し、推定された欠陥画素を欠陥情報記憶部４０２に追加登録することが可能となる。したがって、ある撮影時に、その画像データの撮影条件や被写体によらず、高精度な欠陥画素の情報を得ることができる。

（判定部４０５の詳細な説明）
前述の通り判定部４０５は、欠陥検出部４０３が検出した結果が信頼できるかどうかを判定する。図５は判定部４０５の詳細を示すブロック図である。カメラ情報取得部５０２は、ＲＡＭ２０４に一次的に保存された処理対象の画像データが撮像された時の撮影条件を示す撮影情報をＲＭＡ２０４から取得する。本実施形態では、撮影情報としてＩＳＯ感度、露光時間の撮影パラメータと撮像装置内部の温度を取得する。被写体を撮像した際の撮影条件とノイズ量には相関がある。そこで撮影条件判定部５０１は、カメラ情報取得部５０２が取得した撮影情報に基づいて、処理対象の画像データがノイズを含みやすい条件下で撮像されたかどうかを判定する。具体的には、撮影条件判定部５０１は、事前にその撮像装置によって撮像され画像データにおけるノイズ量とＩＳＯ感度、露光時間、温度との関係を示すテーブルを用意しておく。このテーブルを参照することでＩＳＯ感度、露光時間、温度から、推定されるノイズ量を導出できる。このようなテーブルは、予め撮像装置を複数の撮影パラメータおよび温度の撮影条件下で、さまざまな画像データを撮像し、得られた画像データのノイズ量を解析することで作成できる。撮影条件判定部５０１は、テーブルを参照して得られた画像データのノイズ量が、設定した閾値以上であるか判定する。

なお、撮影条件判定部５０１が参照するテーブルは、機種の個体差は少ないので、同機種の撮像装置によって作成されたテーブルを用いればよい。また温度が取得できない場合は露光時間等の撮像パラメータだけでも実現可能である。

撮影環境取得部５０４は、ＧＰＳ・電子水準器・時刻等を示す環境情報を取得する。なお、撮像装置に内蔵又は入力可能な撮影環境に関する情報であれば、これらに限定されるものではない。被写体判定部５０３は、撮影環境取得部５０２が取得した環境情報に基づいて、被写体に星のような高輝度な孤立点が写っている可能性があるか否かを判定する。本実施形態では、時刻や垂直方向に対応した電子水準器の角度の値が設定した値の範囲内であるか比較することによって判定する。具体例として、例えば時刻が２３：００〜４：００であるか、電子水準器の垂直方向の値が６０度以上であれば、被写体判定部５０３は高輝度な孤立点が写っている可能性があるものと判定する。当然のことながら、これだけでは実際に特定の被写体が写っているかどうかまでは解らないが、特定の被写体が写っている可能性があるか否かは判定できる。そこで本実施形態では、誤検出の発生確率が高い撮影環境において撮影された画像データに基づいた欠陥画素検出結果を全て使用しない。

以上の処理によって、欠陥検出部４０３による処理対象の画像データに基づいた欠陥画素の検出結果について、信頼できるかどうかを判定する。

（信頼度情報算出部４０６の詳細な説明）
信頼度情報算出部４０６は、撮像素子に対応する各画素の欠陥度合いを表す信頼度情報を算出する。信頼度は欠陥検出部４０３の欠陥検出結果を利用して生成する。信頼度が高い画素は正常な画素である可能性が高く、信頼度が低い画素は欠陥画素である可能性が高いことを意味する。

信頼度情報算出部４０６は、欠陥と判定された画素の信頼度を下げるというものである。例えば、正常な画素の信頼度を１とし、欠陥画素の信頼度を０と規定する。撮像装置１０１で撮影を行ったとき、欠陥検出部４０３によって欠陥画素として検出され、かつ判定部４０５によって検出結果を信頼できると判定された場合は、欠陥画素として検出された画素の信頼度を０．１下げて０．９とする。ここで、推定欠陥画素として検出された画素の信頼度を下げるように設計すれば、信頼度はどのように規定してもよい。

ただし、欠陥検出部４０３は画像データに基づいて欠陥画素を検出する処理であるため、欠陥画素を検出するのに適さない画像データを除いたとしても、欠陥画素を誤検出してしまうことがある。そこで、一度の検出、判定結果によって信頼度を大きく下げて欠陥画素とみなすのではなく、複数回の結果を利用して信頼度を算出するのがよい。複数回の検出、判定結果を利用することにより、撮影条件や被写体によらず、常に欠陥と推定される画素のみの信頼度を下げるようにする。ここでは、ある撮影を行ったとき、前回の撮影における検出、判定結果を保持しておき、前回の検出結果で推定欠陥画素と判定されていて、かつ今回の検出結果でも推定欠陥画素と判定されている画素の信頼度を下げる。なお、当然のことながら、前回の結果だけでなく過去最近の複数回の検出結果で連続して欠陥と判定されているかを確認してもよい。

図６は、信頼度情報算出部４０６の詳細を示すブロック図である。欠陥検出結果取得部６０１は、欠陥検出部４０３によって推定欠陥画素として検出された画素の位置を取得する。白飛び黒潰れ判定部は、画像データにおける注目画素の画素値が白飛び（最大値）か、黒潰れ（最小値）であるかを判定する。なお、それぞれ最大値、最小値の付近の値を含めてもよい。

パラメータ記憶部６０４は、処理対象の画像データと同じＩＳＯ感度設定のもと撮影された前回の処理における、欠陥検出部４０３による検出結果を画素位置毎に保持している。信頼度更新部６０３は、撮像素子に対応する各画素が正常な画素値を出力する画素である可能性を表す信頼度を更新する。信頼度更新部６０３は、処理対象の画像データにおいて白飛び黒潰れ判定部６０２により白飛び黒潰れと判定された画素については例外的に扱い、欠陥検出部４０３による検出結果は使用しない。これは、ダイナミックレンジの限界付近、つまり白飛び黒潰れとなるような領域では、注目画素の画素値と周囲の画素の画素値との比較が正確に行えないためである。したがって、白飛び黒潰れの画素は除外して、信頼できる欠陥検出結果のみを利用して画素の信頼度を決定する。

（メイン処理フロー）
以下では、図１、図２が示す本実施形態における撮像装置１０１が被写体を撮像する際の全体の処理の流れを説明する。図７は撮像装置１０１による撮像処理のフローチャートである。

まず、ステップＳ７０１において、ユーザにより操作ボタン１０５を介して入力されたシャッタースピード、絞り値などの撮影条件の設定を受け付ける。ステップＳ７０２において制御部２０６は、撮影ボタン１０３が押されたかどうかを判定する。押された場合には、ステップＳ７０３に進み撮像を開始する。撮影ボタン１０３が押されていない場合には、ステップＳ７０１に戻る。ステップＳ７０３において、各画素の露光量の設定やピント位置の設定などの撮影パラメータを設定し、撮影準備を行う。

ステップＳ７０４において、ステップＳ７０３において設定した撮影パラメータに基づいて、被写体を撮影する。この本撮影では、撮像系制御部２０４により、撮像部１０２を駆動させることで被写体の光量を取得する。画像を表す被写体の光量はカラー撮像素子２０１を介してＡ／Ｄ変換部２０７により、ＲＡＷ画像データが生成される。ステップＳ７０５では、ステップＳ７０４にて変換したＲＡＷ画像データに対して、画像処理部２０９が現像処理を行う（詳細は後述する）。ステップＳ７０６では、ステップＳ７０５にて画像処理部２０９が現像した画像データを表示部１０４に表示する。ステップＳ７０７において、ステップＳ７０５において画像処理部２０９が現像した画像データをエンコーダ部２１０にて、ＪＰＥＧなどのファイルフォーマットに変換し、メディアＩ／Ｆ２１０にて、ＰＣ／メディア２１２に出力する。

（画像処理フロー）
以下では、図７で説明したステップＳ７０５の画像処理フローの詳細について、図８のフローチャートを参照して説明する。ステップＳ８０１において、画像処理部２０９は、Ａ／Ｄ変換部２０１から得られるＲＡＷ画像データを入力する。ステップＳ８０２において画像処理部２０９は、入力された画像データにおける欠陥画素の画素値を補正する。ステップＳ８０３において、画像処理部２０９は、欠陥画素の画素値が補正された画像データに対して、デモザイク、ホワイトバランス、ノイズリダクション、ガンマ、シャープネスなどの現像処理を行う。ステップＳ８０４において、画像処理部２０９は、現像処理した画像をアナログ信号に変換して表示部もしくは、エンコードしてＰＣ／メディアに出力する。

（欠陥画素対策処理フロー）
以下では、図８で説明したステップＳ８０２の欠陥画素対策処理フローの詳細について図９のフローチャートを参照して説明する。

ステップＳ９０１において登録欠陥補正部４０１は、欠陥情報記憶部４０２が保持する欠陥画素の位置を示す位置情報を取得する。ステップＳ９０２において登録欠陥補正部４０１は、取得した位置情報が欠陥画素と示す画素の画素値を補正する。

ステップＳ９０３において欠陥検出部４０３は、欠陥情報記憶部４０２が欠陥画素として保持していた位置の画素値を補正した画像データにおいて、さらに欠陥画素として推定される画素を推定欠陥画素として検出する。

ステップＳ９０４において信頼度情報算出部４０６は、撮像素子に対応する各画素の信頼度を算出する。信頼度情報算出部４０６は算出した信頼度に基づいて、信頼度情報記憶部４０７に記憶されている画素毎の信頼度のうち、更新すべき画素があれば、信頼度情報記憶部４０７に記憶されている信頼度を更新する。信頼度の更新処理フローの詳細は後述する。

ステップＳ９０５において欠陥情報更新部４０８は、信頼度情報記憶部４０７が保持している信頼度を参照し、所定の閾値以下の信頼度を有する画素を、新たな欠陥画素とする。新たな欠陥画素がある場合には、欠陥情報更新部４０８は、信頼度欠陥情報記憶部４０２に登録されている欠陥画素の位置情報を更新する。ステップＳ９０６において、推定欠陥補正部４０４はステップＳ９０３で検出された推定欠陥画素の画素値を補正する。

（信頼度の更新処理フロー）
以下では、図９で説明したステップＳ９０４において信頼度情報算出部４０６が実行する信頼度の更新処理フローの詳細について図１０のフローチャートを参照して説明する。

ステップＳ１００１において、欠陥対策処理部３０２はＩＳＯ感度に対応した信頼度データを選択する。これは、欠陥画素の位置情報をＩＳＯ感度毎に保持しているため、信頼度の情報もＩＳＯ感度毎に管理する必要があるためである。

ステップＳ１００２において信頼度情報算出部４０６は、処理対象の画像データの画素から、注目画素を選択する。ステップＳ１００３において、信頼度情報算出部４０６は、判定部４０５による被写体や撮影条件の判定結果を取得する。具体的には、ＧＰＳ・電子水準器・時刻情報による被写体の判定結果と、露光時間、撮像素子の温度情報による撮影条件の判定結果を判定部４０５から取得する。これは、信頼度を決定する上で被写体に星のような高輝度な孤立点が写っている画像データやノイズの多い画像データを除外することが目的である。したがって、欠陥検出が困難な被写体が写っておらず、ノイズの多くない撮影条件で撮像された画像データの場合のみ、そのときの欠陥検出結果を利用する。被写体、撮影条件のどちらか一つでも満たさないときは処理を終了し、どちらの条件も満たすときはステップＳ１００４に移行する。

ステップＳ１００４において欠陥検出結果取得部６０１は、欠陥検出部４０３による注目画素の欠陥検出結果を取得する。そして、注目画素が欠陥画素として検出されていればステップＳ１００６に移行し、注目画素が欠陥画素として検出されていなければステップＳ１００５に移行する。ステップＳ１００５において白飛び黒潰れ判定部６０２は、注目画素が白飛び又は黒潰れであるか判定する。注目画素が白飛び又は黒潰れである場合はステップＳ１０１１に移行し、そうでない場合はステップＳ１００８に移行する。

ステップＳ１００６において信頼度更新部６０３は、パラメータ記憶部６０４が記憶する前回の注目画素の検出結果を示すフラグ情報を判定する。そして、注目画素のフラグ情報がＯｎ、つまり前回の検出結果で欠陥画素と判定されていた場合にはステップＳ１００７に移行し、そうでない場合にはステップＳ１０１０に移行する。なお、ここで前回とは同じＩＳＯ感度で撮影した最近の結果のことを意味し、フラグ情報、信頼度はＩＳＯ感度毎に存在する。ステップＳ１００７において信頼度更新部６０３は、注目画素は同じＩＳＯ感度の撮影条件下において連続して欠陥画素として検出されているため、注目画素の信頼度を下げる。

ステップＳ１００８において信頼度更新部６０３は、今回の注目画素の検出結果として、パラメータ記憶部６０４が記憶する注目画素のフラグ情報をＯｆｆに設定する。そしてステップＳ１００９において信頼度更新部６０３は、注目画素の信頼度を初期値に戻す。これは、過去の検出結果で注目画素が欠陥画素として検出されたことが誤検出によるものと考えられるためである。確実な欠陥画素のみを最終的に欠陥画素として登録することが望ましいので、本実施形態では欠陥画素でない可能性のある画素は、その信頼度を初期値に戻す。

ステップＳ１０１０において信頼度更新部６０３は、今回の検出結果として、パラメータ記憶部６０４が記憶する注目画素のフラグ情報をＯｎに設定する。ステップＳ１０１１において信頼度情報算出部４０６は、画像データにおける全画素に対して処理が終了したか判定する。全画素に対して処理が終了していなければステップＳ１００２に移行し、そうでなければ欠陥対策処理を終了する。

以上本実施形態によれば、欠陥画素の検出精度が低下する可能性のない画像データに基づいた欠陥検出結果のみを利用して、出荷後に発生した欠陥画素を特定する。その結果、より正確に欠陥画素の可能性が高い画素を、新たな欠陥画素として欠陥画素の位置情報に随時追加登録することができる。星を被写体にした場合や、ノイズがのりやすい撮影条件下で撮影した画像データにおいても、過去の撮影によって随時欠陥画素が更新されている。そのため、出荷後に新たに発生してしまった欠陥画素を含む画素を欠陥画素としてみなし、適切に欠陥画素の画素値を補正することにより、高画質な画像データを得ることができる。

＜第２実施形態＞
第１実施形態では、ＩＳＯ感度毎に保持している欠陥画素の位置情報を更新した。つまり、予め登録されている（製造過程で発生した）欠陥画素の位置情報に、後発的に発生した欠陥画素を追加した。第２実施形態では、ＩＳＯ感度毎に保持している欠陥画素の位置情報を更新せずに、欠陥画素の検出精度を向上させる方法を説明する。前述の実施形態とは欠陥画素対策処理部３０２における詳細な構成が異なる。前述の実施形態と同様の構成については、同一の符号を付し、説明を省略する。

（欠陥画素対策処理部３０２の詳細な説明）
図１１は第２実施形態に適用可能な欠陥画素対策処理部３０２の詳細を示すブロック図である。登録欠陥補正部４０１、欠陥情報記憶部４０２、欠陥検出部４０３、推定欠陥補正部４０４、判定部４０５、信頼度情報算出部４０６、信頼度情報記憶部４０７は第１実施形態と同じである。本実施形態ではパラメータ変更部１１０１が追加されている。欠陥画素は、第１実施形態と同様、注目画素の画素値と注目画素の周辺画素の画素値との差分に基づいて検出される。パラメータ変更部１１０１は、信頼度情報記憶部４０７から各画素の信頼度を読み取り、信頼度に応じて欠陥検出を行う際の閾値を変更する。例えば、信頼度をＲｉ、注目画素の画素値と注目画素の周辺画素の画素値との差をＳｉ、所定の閾値をＴｈとすると、欠陥画素の検出は式（１）のように表すことができる。

ここで、注目画素がＧ成分である場合のＳｉの算出方法の一例を図１８に示した。このように注目画素Ｇ_ｍｎと、注目画素Ｇ_ｍｎと同一のＧ成分を画素値として有する画素であって、注目画素Ｇ_ｍｎの周囲にある画素に基づいてＳｉを算出する。例えば注目画素Ｇ_ｍｎから２画素分上方向の位置の画素Ｇ_{ｍ，ｎ−２}、２画素分下方向の位置の画素Ｇ_ｍ，ｎ＋２画素分左方向の位置の画素Ｇ_{ｍ−２，ｎ}及び２画素分右方向の位置の画素Ｇ_{ｍ＋２，ｎ}の４画素それぞれとの差分の絶対値を平均した値とする。このとき、必ずしも上下左右の４画素である必要はなく、例えば周囲８画素であってもよいし、エッジ方向上の隣接する２画素のみを使用することも考えられる。

式（１）によれば、所定の閾値ＴｈとＲｉとによって、検出するための閾値が設定されることになる。式（１）における右辺（閾値）は、信頼度が低い画素ほど欠陥画素と検出されやすく、信頼度の高い画素ほど検出されにくくする。ここで、信頼度Ｒｉは１のとき信頼できる画素（初期値）であり、０に近づいていくほど信頼度が低下することを意味する。なお、信頼度の算出方法、規定の仕方については、第１実施形態で説明した通りである。これにより、撮影条件や被写体によって画像データから高精度に欠陥検出することが困難な場合でも、誤検出を低減することが可能となる。

（欠陥画素対策処理フロー）
以下では、図８で説明したステップＳ８０２の欠陥画素対策処理フローの詳細について図１２のフローチャートを参照して説明する。

ステップＳ１２０１において登録欠陥補正部４０１は、欠陥情報記憶部４０２が記憶している予め登録された欠陥画素の位置情報を取得する。ステップＳ１２０２において登録欠陥補正部４０１は、取得した欠陥画素の位置情報に基づいて欠陥画素の画素値を補正する。ステップＳ１２０３において判定部４０５は、被写体や撮影条件の判定を行う。具体的には、ＧＰＳ・電子水準器・時刻情報等によって被写体の判定を、露光時間、撮像素子の温度の情報によって撮影条件の判定を行う。これは、信頼度を決定する上で被写体に星のような高輝度な孤立点が写っている画像データやノイズの多い画像データを除外することが目的である。したがって、欠陥検出が困難な被写体が写っていないかつノイズの多くない撮影条件である場合のみ、欠陥検出結果を利用する。被写体、撮影条件のどちらか一つでも満たさないときは処理を終了し、どちらの条件も満たすときはステップＳ１２０４に移行する。

ステップＳ１２０４において欠陥検出部４０３は、登録欠陥補正部４０１が補正した画像データにおいて、さらに欠陥画素と推定可能な画素を推定欠陥画素を検出する。これは、欠陥情報記憶部４０２に保持されていない欠陥画素や暗電流が大きい画素を対象としている。ステップＳ１２０５において信頼度情報算出部４０６は、カラー撮像素子２０１に対応する各画素の信頼度を算出し、信頼度情報記憶部４０７に記憶された各画素の信頼度を更新する。信頼度の更新処理フローの詳細は後述する。

ステップＳ１２０６においてパラメータ変更部１１０１は、各画素の信頼度に基づいて、欠陥検出処理における閾値を変更する。ステップＳ１２０７において欠陥検出部４０３は、ステップＳ１２０６においてパラメータ変更部１１０１により変更された閾値を用いて、欠陥画素を検出する。ステップＳ１２０８において推定欠陥補正部４０４は、ステップＳ１２０７で検出した結果に基づいて欠陥画素の画素値を補正する。

（信頼度の更新処理フロー）
以下では、図１２で説明したステップＳ１２０５において信頼度情報算出部４０６が実行する信頼度の更新処理フローの詳細について図１３のフローチャートを参照して説明する。

ステップＳ１３０１において欠陥対策処理部３０２は、ＩＳＯ感度に対応した信頼度データを選択する。ステップＳ１３０２において信頼度情報算出部４０６は、処理対象の画像データの画素から、注目画素を選択する。ステップＳ１３０３において欠陥検出結果取得部６０１は、欠陥検出部４０３による注目画素の欠陥検出結果を取得する。そして、注目画素が欠陥画素と判定されていればステップＳ１３０７に移行し、注目画素が欠陥画素と判定されていなければステップＳ１３０４に移行する。

ステップＳ１３０４において白飛び黒潰れ判定部６０２は、注目画素が白飛び又は黒潰れであるか判定する。注目画素が白飛び又は黒潰れのときはステップＳ１３１０に移行し、そうでないときはステップＳ１３０５に移行する。ステップＳ１３０５において信頼度更新部６０３は、パラメータ記憶部６０４が記憶する前回の検出結果を示す注目画素のフラグ情報をＯｆｆに設定する。ステップＳ１３０６において信頼度更新部６０３は、パラメータ記憶部６０４が記憶する注目画素の信頼度を初期値に戻す。信頼度を初期値に戻すということは本実施形態において、画素値としての信頼度が最も高いことを意味する。これは、過去の検出結果で欠陥画素と判定されたことが誤検出によるものとみなし、仮にそれまでに信頼度を下げられたことがあったとしてもそれらは参照しないようにするためである。確実な欠陥画素のみを最終的に欠陥画素として登録することが望ましいので、本実施形態では欠陥画素でない可能性のある画素は、その信頼度を初期値に戻す。

ステップＳ１３０７において信頼度更新部６０３は、パラメータ記憶部６０４が記憶する前回の検出結果を示すフラグ情報を判定する。そして、注目画素のフラグ情報がＯｎ、つまり前回の検出結果で欠陥画素と判定されていた場合にはステップＳ１３０９に移行し、そうでない場合にはステップＳ１３０８に移行する。なお、ここで前回とは同じＩＳＯ感度で撮影した最近の結果のことを意味し、フラグ情報、信頼度はＩＳＯ感度毎に存在する。

ステップＳ１３０８において信頼度更新部６０３は、パラメータ記憶部６０４が記憶する前回の検出結果を示す注目画素のフラグ情報をＯｎに設定する。ステップＳ１３０９において信頼度更新部６０３は、注目画素は同じＩＳＯ感度の撮影条件下において連続して欠陥画素として検出されているため、注目画素の信頼度を下げる。ステップＳ１３１０において信頼度情報算出部４０６は、画像データにおける全画素に対して処理が終了したか判定する。全画素に対して処理が終了していなければステップＳ１３０２に移行し、そうでなければ欠陥対策処理を終了する。

以上、本実施形態によれば、欠陥画素の検出精度が低下する可能性のない画像データに基づいた欠陥検出結果のみを利用して、カラー撮像素子２０１に対応する各画素の信頼度を生成する。そして、検出精度が低下する可能性のある画像データに対しては、信頼度に基づいて欠陥検出を行う。具体的には、信頼度が低い画素は欠陥画素と判定されやすく、信頼度が高い画素は欠陥画素と判定されにくくするように、欠陥検出を行う際の閾値を信頼度に基づいて変更する。これにより、撮影条件や被写体によって画像データから高精度に欠陥検出することが困難な場合でも、誤検出を低減することが可能となる。また、検出精度が低下する可能性のない画像データにおける欠陥画素の検出結果において、欠陥画素ではないと検出された場合信頼度を初期値にすることで、誤検出を防ぐことができる。

＜第３実施形態＞
第１、２実施形態では高精度な欠陥画素情報を取得するための方法を説明した。本実施形態では、カラー撮像素子２０１に対応する各画素の信頼度情報を利用して、欠陥画素補正精度の低下を防ぐ方法について説明する。

第１、２実施形態では、予め登録してある欠陥画素を補正する登録欠陥補正処理と、処理対象の画像データに基づいて検出した欠陥画素を補正する推定欠陥補正処理が含まれる構成となっていた。このとき、登録欠陥補正処理において、欠陥画素の周囲に登録されていない（後発的に発生した）欠陥画素が存在する際に、後発的に欠陥画素になってしまった画素の画素値を使用して、欠陥画素の補正することになる。したがって、欠陥画素の補正精度が低下してしまうという課題がある。本実施形態では、その際に補正精度の低下を防ぐ方法について説明する。前述の実施形態とは欠陥画素対策処理部３０２における登録欠陥補正部４０１の構成が異なる。なお、前述の実施形態と同様の構成については、説明を省略する。

（登録欠陥補正部１４０１の詳細な説明）
図１４は、第３実施形態における登録欠陥補正部４０１の詳細を示すブロック図である。登録欠陥補正部４０１は、使用画素決定部１４０１が決定した画素を使用して欠陥画素の補正処理を行う。使用画素決定部１４０１は着目している欠陥画素の周辺の画素の中から、信頼度情報記憶部４０７に記憶されている信頼度に基づいて、補正処理に使用する画素を複数決定する。具体的には、公知の欠陥画素補正技術で使用する周辺の画素の中から、信頼度が閾値以下の画素を除外する。本じし形態では、使用画素決定部１４０１が使用する画素を決定するために用いる信頼度への閾値は、欠陥情報更新部４０８が用いる閾値よりも高く設定する。つまり、使用画素決定部１４０１は、信頼度が低い画素を積極的に使用画素から除外するように構成する。一方、使用画素決定部１４０１と同様に信頼度を閾値により判定する欠陥情報更新部４０８は、欠陥画素の誤検出を避けるため、閾値を低く設定して厳しく判定することが望ましい。

補正処理部１４０２は使用画素決定部１４０１が決定した複数の画素のみを使用して着目している欠陥画素の補正処理を行う。本実施形態では補正処理部１４０２は、図１５に示すように、決定した画素の中から例えば最大値、最小値、中央値を選択し、平均値を注目画素の補正値として算出する。なお、当然のことながら、決定した全ての画素の平均値を、注目画素の補正値として算出してもよい。

以上、本実施形態によれば、検出精度が低下する可能性のない画像データに基づいた欠陥検出結果のみを利用して、撮像素子に対応する各画素の信頼度を生成する。そして、予め登録されている欠陥画素を補正する際に、欠陥画素の周囲に信頼度が低い画素が存在する際には、その画素を使用せずに補正処理を行う。これにより、後発的な欠陥画素の影響による欠陥画素補正精度の低下を防ぐことが可能となる。

＜第４実施形態＞
第３実施形態では、登録欠陥画素の補正において、信頼度が低い画素を除外して補正する方法について説明した。本実施形態では、信頼度に基づいて重みをつけて補正する方法について説明する。前述の実施形態とは登録欠陥補正部４０１が異なる。なお、前述の実施形態と同様の構成については、説明を省略する。

（登録欠陥補正部１４０１の詳細な説明）
図１６は登録欠陥補正部４０１の詳細を示すブロック図である。重み決定部１６０１は、欠陥画素である注目画素の補正処理をするため、周辺画素それぞれに対して重みを決定する。登録欠陥補正部４０１は、重み決定部１６０１が決定した重みに基づいて、注目画素の補正処理を行う。重み決定部１６０１は、信頼度情報記憶部４０７に記憶されている信頼度に基づいて、補正処理に使用する周辺画素の重みを決定する。具体的には、例えば正常な画素を１、欠陥画素（の可能性が高い画素）を０とするように信頼度Ｒを０〜１としたときに、重みｗを０〜１とする。そのとき、例えば平均値を用いた補正処理後画素値Ｉｃは次の式で表される。

式（２）では、補正処理の対象である有木画素の周囲のＭ×Ｎの画素値を使って処理した際の重み付き平均処理を表している。これにより、信頼度に基づいて、信頼性の低い画素の画素値の影響を減らして注目画素の補正値を算出することが可能となる。したがって、欠陥画素の周囲に信頼度は低いがまだ新しい欠陥画素として登録されていない画素が存在する際にも、補正処理の精度が低下することを防げる。

＜その他の実施形態＞
前述の実施形態では、撮像装置で撮影した画像データに対して撮影装置内の画像処理ハードウェア上で処理を行う例を説明した。これらはクライアント装置からサーバ装置上の画像処理アプリケーションにデータを送信し、サーバ装置上で画像データを処理する方法であってもかまわない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えばＡＳＩＣ）によっても実現可能である。

３０２ 欠陥画素対策処理部
４０１ 登録欠陥補正部
４０２ 欠陥情報記憶部
４０３ 欠陥検出部
４０４ 推定欠陥補正部
４０６ 信頼度情報算出部
４０８ 欠陥情報更新部

Claims (13)

1. 欠陥画素の位置を示す位置情報を記憶する記憶手段と、
   画像データに対して、前記記憶手段に記憶された欠陥画素の画素値を補正する補正手段と、
   前記補正手段により補正された画像データにおいて、欠陥画素と推定される推定欠陥画素を検出する検出手段と、
   前記検出手段によって検出された推定欠陥画素を使用するか否かを判定する判定手段と、
   前記判定手段による判定結果と前記検出手段による検出結果に応じて、前記記憶手段が記憶する欠陥画素の位置情報を更新する更新手段と、を有することを特徴とする画像処理装置。
2. 前記更新手段は、画素位置毎の信頼度を保持する保持手段と、
   前記判定手段による判定結果に基づいて、前記保持手段がもつ各画素位置の信頼度を更新する信頼度更新手段とを有し、
   前記信頼度更新手段により更新された信頼度が、所定の閾値よりも小さい画素の位置を前記欠陥画素の位置情報に追加することを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、前記画像データが撮影されたときの撮影条件を示す撮影情報を取得し、前記撮影情報に基づいて判定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記判定手段は、前記画像データに含まれる被写体に、特定の被写体が含まれるか否かに応じて判定することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記更新手段は、前記判定手段で使用すると判定された前記推定欠陥画素について、該推定欠陥画素が連続して推定欠陥画素として検出されている場合、前記欠陥画素の位置情報に新たな欠陥画素の位置を更新することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. さらに、前記検出手段により検出された推定欠陥画素に対して、白飛びまたは黒潰れの画素であるか否かを判定する白飛び黒潰れ判定手段を有し、
   前記信頼度更新手段は、前記白飛び黒潰れ判定手段により、白飛びまたは黒潰れの画素であると判定された推定欠陥画素は、前記欠陥画素の信頼度を更新しないことを特徴とする請求項２に記載の画像処理装置。
7. 前記信頼度更新手段は、前記判定手段により使用すると判定された画像データにおいて、前記検出手段により推定欠陥画素として検出されなかった画素の信頼度を上げることを特徴とする画像処理装置。
8. 前記更新手段は、前記閾値を変更する変更手段を有し、
   前記変更手段は、前記信頼度が低い画素は欠陥画素と判定されやすくなるように閾値を変更することを特徴とする請求項２に記載の画像処理装置。
9. さらに、前記検出手段により検出された推定欠陥画素を補正する推定欠陥補正手段を有することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 前記補正手段は、
    前記保持手段が保持する画素位置毎の信頼度に基づいて、注目画素の補正値を算出するために使用する画素を決定する使用画素決定手段と、
    前記使用画素決定手段により決定された画素の画素値に基づいて、前記注目画素の補正値を算出する算出手段とを有することを特徴とする請求項２乃至９のいずれか一項に記載の画像処理装置。
11. 前記補正手段は、
    前記保持手段が保持する画素位置毎の信頼度に基づいて、注目画素の補正値を算出するために使用する画素に対応する重みを決定する重み決定手段と、
    前記重み定手段により決定された重みと対応する画素の画素値とを用いた重み付け平均により、前記注目画素の補正値を算出する算出手段とを有することを特徴とする請求項２乃至９のいずれか一項に記載の画像処理装置。
12. 請求項１乃至１１のいずれか一項に記載の画像処理装置を内蔵する撮像装置。
13. コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１乃至１１の何れか一項に記載された画像処理装置として機能させることを特徴とするプログラム。

Images