JP2012124778A - 撮像装置、撮像処理方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】 欠陥画素の補正を適切に行う。
【解決手段】 遮光した状態で撮像された画像データの各検査対象の画素について、当該検査対象の画素の画素値とその周囲の同色の画素の画素値との差分値Ｄを導出する。導出した差分値Ｄが、予め設定された範囲に属する場合、当該検査対象の画素は欠陥画素でないと判定し、そうでない場合、当該検査対象の画素は、差分値Ｄに応じた欠陥グレードに属する欠陥画素であると判定する。この欠陥画素の位置情報と欠陥グレードとを記憶しておく。その後、撮像されたときと同じ条件で黒画像を得て、欠陥グレードＮの欠陥画素の位置情報から、その黒画像における「欠陥グレードＮの欠陥画素」を特定し、特定した欠陥画素の画素値とその周囲の同色の画素の画素値との差分値ｄの代表値Ｒを得る。代表値Ｒが閾値Ｔｈ１以上となる場合に、欠陥グレードＮ以上の欠陥グレードの欠陥画素の画素値を補正する。
【選択図】 図１

Description

本発明は、撮像装置、撮像処理方法、及びコンピュータプログラムに関し、特に、撮像された画像の欠陥を補正するために用いて好適なものである。

固体撮像素子（例えば、ＣＣＤ、ＣＭＯＳ等）において、結晶欠陥やダスト等により、撮像した画像に欠陥画素が生じることが従来から知られている。
従来では、例えば、撮像素子の画素欠陥の有無の試験を予め行い、その結果に基づいて、欠陥画素の補正が必要な位置情報を予め記憶しておき、実際の画像の撮像時には、当該位置情報を用いて欠陥画素の補正を行う技術が知られている。
この従来技術では、予め記憶した位置の欠陥画素の全てを、その周囲の画素の信号（画素値）等を用いて補正することになる。しかしながら、このときに、実際には必要のない欠陥画素の補正を行ってしまっている場合がある。これは、暗信号の異常増加等により発生する白点欠陥のように、一般的に温度や露光時間によって欠陥画素の信号レベルは変動するため、その時々で補正が必要となったり不要となったりすることによる。

欠陥画素の補正は、通常、欠陥画素以外の画素からの補間信号で、当該欠陥画素の画素値を置き換える処理となる。このため、被写体によっては補正痕が画質劣化の要因となってしまう。よって、前述のように補正する必要のない欠陥画素に対しての欠陥画素の補正を回避すべく、欠陥画素の補正要否を適切に判別することが重要な技術となっている。
昨今、このような場合に対処するための技術が提案されている。
特許文献１では、まず、予め第一の温度範囲０℃〜Ｔ１で発生する欠陥画素の位置情報をメモリＡ、第２の温度範囲Ｔ１〜Ｔ２で発生する欠陥画素の位置情報をメモリＢ、第３の温度範囲Ｔ２〜６０℃で発生する欠陥画素の位置情報をメモリＣにそれぞれ保持する。そして、撮像素子の温度をサーミスタで検出して、その温度に対応したメモリから欠陥画素情報を読み出して、対象画素を補正する。また、この特許文献１では、撮像素子の温度と同様に、実効露光時間によっても欠陥画素の補正を実施することが示されている。
また、特許文献２では、まず、映像の撮像中にリアルタイムの処理で、重心画素とその周囲の画素とから信号のパターンを判別する。そして、周囲の画素の信号レベルと比較して１画素だけ極端の大きいレベルや小さいレベルの画素を欠陥とみなし、欠陥画素の補正を行うようにしている。

特開平１１−１１２８７９号公報 特開２００２−３２０１４５公報

しかしながら、特許文献１に記載の技術では、事前にさまざまな温度範囲で欠陥画素の位置情報を取得する必要がある。このため、欠陥画素の位置情報を保存するメモリ量が増大すると共に、欠陥画素の検出にも時間を要してしまう。また、撮像時に撮像素子の温度を取得する必要がある。このため、サーミスタ等の素子を撮像装置が搭載しなければならず、ハード的な制約も増加する。さらに、露光量に対応する位置の欠陥画素を全て補正してしまう。よって、欠陥画素の補正を過度に行ってしまう虞がある。
また、特許文献２に記載の技術では、全ての画素について、重心画素とその周囲の画素とから、信号のパターンの判別をリアルタイムで行なわなくてはならない。このため、高速な画像処理性能が必要となってしまう。また、一般的に知られているように、被写体に点光源のようなものがあると、欠陥画素と誤判断をしてしまい、正しい撮像ができなくなる虞がある。
本発明は、このような問題点に鑑みてなされたものであり、撮像された画像における欠陥画素の補正が過度に行われることを抑制し、欠陥画素の補正を適切に行うようにすることを目的とする。

本発明の撮像装置は、撮像素子における欠陥画素の位置と欠陥グレードとを相互に関連付けた欠陥画素情報を記憶する記憶手段と、前記撮像素子を遮光した状態で、被写体を撮像するときと同じ撮像条件で撮像することにより黒画像を取得する取得手段と、前記欠陥画素情報に基づいて、前記欠陥グレードが同一である欠陥画素を前記黒画像から抽出し、抽出した各欠陥画素の画素値に基づく評価値を導出する導出手段と、前記評価値の代表値に基づいて、前記欠陥グレードの欠陥画素の画素値を補正するか否かを判定する第１の判定手段と、前記第１の判定手段により、前記欠陥グレードの欠陥画素の画素値を補正すると判定された場合に、当該欠陥グレードの欠陥画素の画素値を補正する補正手段と、を有することを特徴とする。

本発明によれば、欠陥グレードの単位で欠陥画素の画素値を補正するか否かを判定するようにしたので、撮像された画像における欠陥画素の補正が過度に行われることを抑制し、欠陥画素の補正を適切に行うようにすることができる。

撮像装置の構成を示す図である。 欠陥画素を事前に検出する際の処理を説明するフローチャートである。 欠陥画素の補正方法を説明する第１の例を説明するフローチャートである。 各画素の配置を示す図である。 欠陥画素が属する欠陥グレードを判定するための閾値を示す図である。 黒画像での各欠陥画素の周囲画素との差分値の分布を示す図である。 欠陥画素の補正方法を説明する第２の例を説明するフローチャートである。 欠陥画素の補正方法を説明する第３の例を説明するフローチャートである。

以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。図１は、本実施形態に係る撮像装置の機能構成の一例を示す図である。
まず、図１の各部の機能を説明する。以下の各実施形態では、固体撮像装置１００がデジタルスチルカメラである場合を例に挙げて説明する。

固体撮像装置１００の内部の機能を詳述する。固体撮像素子１０２は、光を電気信号へ変換するものであり、本実施形態ではＣＣＤであるとする。レンズ１０１は、被写体からの光を固体撮像素子１０２へ集光する。タイミングジェネレータ（ＴＧ）１０３は、固体撮像素子１０２を駆動するタイミングを規定する信号を生成する。
Ａ／Ｄ変換回路１０４は、固体撮像素子１０２から出力される電気信号、すなわちアナログ映像信号をデジタル映像信号へ変換する。記憶部１０５は、画像用メモリ領域１０６、黒画像用メモリ領域１０７、及び欠陥画素情報用メモリ領域１０８等を含むメモリである。Ａ／Ｄ変換回路１０４で得られたデジタル映像信号は、ＲＡＷ画像データとして、一旦、記憶部１０５の画像用メモリ領域１０６に記録される。黒画像用メモリ領域１０７は、被写体の撮像後に、図示しないメカシャッタを閉じて遮光状態としたままの状態で、被写体の撮像と同じ条件で撮像した画像（以下、この画像を必要に応じて「黒画像」と称する）のＲＡＷ画像データを記録するメモリ領域である。

また、記憶部１０５中の欠陥画素情報用メモリ領域１０８には、欠陥画素の検出によって得られた欠陥画素の位置情報と、各欠陥画素の欠陥グレード情報とが記録されている。これら欠陥画素の位置情報と、欠陥グレード情報は、事前に（工場調整時又はカメラ起動時等に）得られるものである。尚、欠陥グレード情報については、後で詳しく説明する。
補正要否判定回路１０９は、黒画像を用いて、各欠陥グレードの欠陥画素の補正が必要であるか否かを判定する。画像処理回路１１０は、画像用メモリ領域１０６に記録されているＲＡＷ画像データを画像処理し、ＪＰＥＧ等の最終的な出力画像フォーマットに変換する。この画像処理の段階で、補正要否判定回路１０９の判定結果に応じて、補正が必要な画素の欠陥補正処理を行う。画像処理回路１１０で画像処理されることにより得られた撮像画像のデータは、最終フォーマットで記録媒体１１１に記録される。

また、制御部１１２は、タイミングジェネレータ１０３、Ａ／Ｄ変換回路１０４、記憶部１０５、補正要否判定回路１０９、画像処理回路１１０及び記録媒体１１１を統括的に制御するものであり、本実施形態では、ＣＰＵであるとする。

ここで、欠陥グレードについて説明する。
欠陥画素の代表的なものに白点欠陥等がある。このような欠陥画素は、どの画素も固定的な信号レベルを出力するわけではなく、それぞれの画素毎に、周囲と比べて浮くレベルに差（レベルの大小）がある。よって、撮像画像には、画質的に影響度が大きい欠陥画素と小さい欠陥画素とが混在しており、これらの補正の要否を適応的に判別することができれば、画質の劣化を防ぐことができる。
従って、欠陥画素もその程度によってそれぞれレベル分けをすることが有用である。ここで定義する欠陥グレードは、この欠陥画素の欠陥の度合いを表すものであり、固体撮像素子１０２に存在する欠陥画素は、その欠陥の度合いによって、各欠陥グレードの何れかに割り当てられる。
尚、本実施形態では、欠陥グレードを５つに分けることとしている。欠陥グレード０を最も欠陥の度合いが高い（信号レベルの浮きが大きい）欠陥グレードとし、欠陥グレード４を最も欠陥の度合いが低い（信号レベルの浮きが小さい）欠陥グレードとする。これらの欠陥グレードは、欠陥画素のＸアドレス、Ｙアドレスと共に、欠陥画素情報用メモリ領域１０８に、欠陥画素情報として保存される。

以下に、図２のフローチャートを参照しながら、欠陥画素を事前に検出する際の固体撮像装置１００の処理の一例を説明する。本実施形態では、製品（固体撮像装置１００）の出荷前に、この欠陥画素の検出を行う場合を例に挙げて説明する。
尚、本実施形態における欠陥画素は、その周囲の画素に比べて信号レベル（画素値）が極端に大きい、いわゆる白点欠陥を対象としている。欠陥画素と、その周囲の画素との信号レベルの差（欠陥画素の信号レベルの浮き量）を算出することで欠陥画素と、その欠陥レベルとを検出することができる。
また、当然のことながら、固体撮像装置１００に搭載される固体撮像素子１０２（ＣＣＤ）によって、存在する欠陥画素の個数、当該欠陥画素の位置（アドレス）、及び当該欠陥画素の欠陥レベルが異なる。このため、製品個々に欠陥画素とその欠陥レベルとを検出する必要がある。

まず、ステップＳ２０１において、制御部１１２は、欠陥画素を検出するために、遮光した状態での撮像を指示し、固体撮像素子１０２は、当該指示に基づいて画像を取得する。当該撮像は、より多くの欠陥画素を抽出するために、高温且つ長秒露光の条件で行うことが好ましい。
次に、ステップＳ２０２において、Ａ／Ｄ変換回路１０４は、撮像された画像の信号であるアナログ映像信号をデジタル信号に変換し、ＲＡＷ画像データとして画像用メモリ領域１０６に記録する。

次に、ステップＳ２０３において、制御部１１２は、ＲＡＷ画像データの各画素のそれぞれについて、当該画素の周囲の画素であって、当該画素と同色の画素との差分値Ｄを算出する。以下の説明では、この値を、必要に応じて「周囲画素との差分値Ｄ」と称する。この周囲画素との差分値Ｄの算出方法の一例の詳細を、図４を参照しながら説明する。図４は、各画素の配置の一例を示す図である。尚、本実施形態では、固体撮像素子１０２のカラーフィルターが原色ベイヤー配列で配置されていることを前提に説明するが、固体撮像素子１０２が、その他の色フィルタを有していてもよい。

図４において、例えば、検査対象の画素を、図４の中心に位置する画素Ｒ３３としたとする。この場合、検査対象の画素Ｒ３３の周囲の画素（所定範囲（ここでは２画素の範囲内）にある画素）であって、当該画素と同色の画素は、画素Ｒ１１、Ｒ１３、Ｒ１５、Ｒ３１、Ｒ３５、Ｒ５１、Ｒ５３、Ｒ５５となる。これらの画素Ｒ１１、Ｒ１３、Ｒ１５、Ｒ３１、Ｒ３５、Ｒ５１、Ｒ５３、Ｒ５５の画素値の加算平均値をＡＶＥＲ３３とする。加算平均値ＡＶＥＲ３３は、以下の式（１）により求められる。
ＡＶＥＲ３３＝（Ｒ１１＋Ｒ１３＋Ｒ１５＋Ｒ３１＋Ｒ３５＋Ｒ５１＋Ｒ５３＋Ｒ５５）／８ ・・・（１）

さらに、加算平均値ＡＶＥＲ３３と、検査対象の画素Ｒ３３の画素値との差分値をＤＲ３３とすると、周囲画素との差分値ＤＲ３３は、以下の式（２）により求められる。
ＤＲ３３＝｜Ｒ３３−ＡＶＥＲ３３｜ ・・・（２）
この周囲画素との差分値ＤＲ３３は、検査対象の画素の画素値と、当該検査対象の画素の周囲の画素であって、当該画素と同色の画素の画素値との差分にあたり、欠陥画素の信号レベルの浮き量を表している。

図２のフローチャートの説明に戻る。ステップＳ２０３において周囲画素との差分値Ｄの計算を行った後、ステップＳ２０４において、制御部１１２は、欠陥画素を欠陥グレード毎に抽出する処理を行う。
欠陥画素を欠陥グレード毎に抽出する方法の一例の詳細について図５を参照しながら説明する。図５は、欠陥画素がどの欠陥グレードであるかを判定するための閾値の一例を示す図である。補正要否判定回路１０９は、ステップＳ２０４において算出された周囲画素との差分値Ｄの値が、図５のどの領域になるかによって、各画素が欠陥画素であるか否かの判定と、欠陥画素についての欠陥グレードの判定とを行う。
例えば、ステップＳ２０４で算出した周囲画素との差分値ＤＲ３３が、１２０ＬＳＢであった場合について説明する。この場合、周囲画素との差分値ＤＲ３３と、図５に示す閾値との比較の結果、検査対象の画素Ｒ３３は、欠陥グレード４の閾値（ＵｐｐｅｒＬｉｍｉｔ：２００ＬＳＢ、ＬｏｗｅｒＬｉｍｉｔ：１００ＬＳＢ）内にあるという判定結果が得られる。よって、検査対象の画素Ｒ３３は欠陥グレード４の欠陥画素であると識別される。

次に、ステップＳ２０５において、制御部１１２は、ステップＳ２０４で欠陥画素と識別された画素の位置情報としてのＸアドレス及びＹアドレスと、欠陥グレード情報（画素Ｒ３３の場合「４」）とを相互に関連付けて欠陥画素情報用メモリ領域１０８に記録する。画素Ｒ３３の場合には、位置情報として（３，３）、欠陥グレード情報として「４」が記録される。本実施形態では、ステップＳ２０４で欠陥でないと識別された画素の情報は記録されないようにする。そして、図２のフローチャートによる処理を終了する。

次に、図３のフローチャートを参照しながら、欠陥画素の補正の要否を判別し、判別した欠陥グレードに属する欠陥画素を補正する方法の一例を説明する。
本実施形態では、欠陥画素の補正の要否の判別を、被写体を撮像した際と同じ撮像条件で遮光撮像した黒画像を使用して行う。黒画像に発生する欠陥画素は、被写体を撮像したときに発生した欠陥画素と同じ位置に発生し、且つ、略同じ信号レベルを有する。よって、欠陥画素の補正の要否の判別に黒画像を用いることで、被写体を撮像した画像自体を判別に用いるよりも、画像に発生している欠陥画素を精度良く判別することができる。
また、本実施形態においては、事前に検出された欠陥画素に対してのみ補正の要否の判別を行うため、全ての画素に対して、補正の要否の判別を行うよりも、撮像処理の時間を短縮することができる。

撮像者の操作により撮像が開始されると、まず、ステップＳ３０１において、Ａ／Ｄ変換回路１０４は、撮像された被写体の画像の信号であるアナログ映像信号をデジタル信号に変換し、ＲＡＷ画像データとして画像用メモリ領域１０６に記録する。
次にステップＳ３０２において、固体撮像素子１０２は、メカシャッタを閉じて遮光状態としたままの状態で、撮像時と同じ露光条件の黒画像を取得する。Ａ／Ｄ変換回路１０４は、黒画像の信号であるアナログ映像信号をデジタル信号に変換し、ＲＡＷ画像データとして、黒画像用メモリ領域１０７に記録する。
次に、ステップＳ３０３において、補正要否判定回路１０９は、欠陥画素情報用メモリ領域１０８から、最も低い欠陥グレードの欠陥画素情報（Ｘアドレス、Ｙアドレスの位置情報）を取得する。本実施形態においては、欠陥グレード４の欠陥画素情報が取得される。以下では、計算対象となる欠陥グレードを「欠陥グレードＮ」と称する。最初は、Ｎ＝４となる。

次に、ステップＳ３０４において、補正要否判定回路１０９は、ステップＳ３０４で取得した欠陥画素情報から、黒画像の欠陥グレードＮの各欠陥画素のそれぞれについて、当該欠陥画素の周囲の画素であって、当該欠陥画素と同色の画素との差分値ｄを算出する。以下の説明では、この値を、必要に応じて「周囲画素との差分値ｄ」と称する。
周囲画素との差分値ｄの計算方法の一例の詳細を、図４を参照しながら説明する。尚、前述したように、本実施形態では、固体撮像素子１０２のカラーフィルターが原色ベイヤー配列で配置されていることを前提に説明するが、固体撮像素子１０２が、その他の色フィルタを有していていもよい。

図４において、例えば、ステップＳ３０３で取得した欠陥画素情報が、欠陥グレード４の欠陥画素Ｒ３３を示すものであるとする。この場合、欠陥画素Ｒ３３の周囲の画素（所定範囲（ここでは２画素の範囲内）にある画素）であって、当該画素と同色の画素は、画素Ｒ１１、Ｒ１３、Ｒ１５、Ｒ３１、Ｒ３５、Ｒ５１、Ｒ５３、Ｒ５５となる。これらの画素Ｒ１１、Ｒ１３、Ｒ１５、Ｒ３１、Ｒ３５、Ｒ５１、Ｒ５３、Ｒ５５の画素値の加算平均値をａｖｅＲ３３とする。加算平均値ａｖｅＲ３３は、以下の式（３）により求められる。
ａｖｅＲ３３＝（Ｒ１１＋Ｒ１３＋Ｒ１５＋Ｒ３１＋Ｒ３５＋Ｒ５１＋Ｒ５３＋Ｒ５５）／８ ・・・（３）
さらに、加算平均値ａｖｅＲ３３と欠陥画素Ｒ３３との差分値をｄＲ３３とすると、周囲画素との差分値ｄＲ３３は、以下の式（４）により求められる。
ｄＲ３３＝｜Ｒ３３−ａｖｅＲ３３｜ ・・・（４）

ここで、各欠陥グレードの欠陥画素を補正するか否かの判別手法の一例について説明する。
図６は、ある黒画像での各欠陥画素の周囲画素との差分値ｄの分布の一例を示す図である。図６において、横軸は、各欠陥グレードを表し、縦軸は、各欠陥画素の周辺画素との差分値ｄのレベルを表している。
図６に示すように、同じ欠陥グレードの欠陥画素であっても、周辺画素との差分値ｄのレベルにバラツキが存在している。本実施形態では、欠陥グレード単位で、欠陥画素の補正の要否を判定することで撮像処理の簡素化を図っている。このため、各欠陥グレードの画素群における周囲画素との差分値ｄの代表値を求める。そして、この代表値が、欠陥画素の補正の要否を判定するための閾値以上であれば、欠陥グレードＮと、当該欠陥グレードＮよりも欠陥の度合いが高い欠陥グレードに属する欠陥画素の補正が必要であると判定する。一方、この代表値が、欠陥画素の補正の要否を判定するための閾値よりも小さければ、該当する欠陥グレードＮに属する欠陥画素の補正は不要であると判定する。
また、この代表値の求め方はさまざまである。
本実施形態では、各欠陥グレードにおいて、そこに属するほとんど全ての欠陥画素の周囲画素との差分値ｄが閾値よりも小さければ、当該欠陥グレードに属する欠陥画素の補正は不要とし、多少でも閾値以上になる可能性がある場合には当該補正が必要であるとする。そのため、本実施形態では、当該欠陥グレードに属する欠陥画素群の周囲画素との差分値ｄに対して、おおよその最大値を求めるべく（平均値＋３σ）の値を算出し、それを代表値としている。

そこで、ステップＳ３０５において、補正要否判定回路１０９は、ステップＳ３０４で取得した各欠陥画素の周囲画素との差分値ｄから、欠陥グレードＮにおける「各欠陥画素の周囲画素との差分値ｄの『平均値Ａ及び標準偏差σ』」を算出する。

各欠陥画素の周囲画素との差分値ｄの平均値及び標準偏差の計算方法の一例を、図４を参照しながら説明する。
図４において、例えば、欠陥グレード４の欠陥画素を、画素Ｒ３３、Ｇｒ４５、Ｇｂ５２、Ｂ６６とする。また、ステップＳ３０４において、式（３）、式（４）を用いて算出された各欠陥画素Ｒ３３、Ｇｒ４５、Ｇｂ５２、Ｂ６６の周囲画素との差分値ｄをｄＲ３３、ｄＧｒ４５、ｄＧｂ５２、ｄＢ６６とする。そうすると、各欠陥画素の周囲画素との差分値ｄの平均値ＡＧ４は、以下の式（５）より求められる。
ＡＧ４＝（ｄＲ３３＋ｄＧｒ４５＋ｄＧｂ５２＋ｄＢ６６）／４ ・・・（５）
さらに、欠陥グレード４の各欠陥画素の周囲画素との差分値ｄの標準偏差σＧ４は、以下の式（６）より求められる。
σＧ４＝√[[(ｄＲ３３−ＡＧ４)２＋（ｄＧｒ４５−ＡＧ４）２＋（ｄＧｂ５２−ＡＧ４）２＋（ｄＢ６６−ＡＧ４）２]／４] ・・・（６）

図３のフローチャートの説明に戻る。ステップＳ３０７において、補正要否判定回路１０９は、ステップＳ３０５で算出した平均値Ａと標準偏差σから、欠陥グレードＮの代表値Ｒを算出する。
本実施形態では、前述のとおり、以下の式（７）で欠陥グレード４の代表値ＲＧ４を求める。
ＲＧ４＝ＡＧ４＋３×σＧ４ ・・・（７）
尚、ここでは、式（６）での説明を簡単にするために、欠陥グレード４の欠陥画素の数を４つとして代表値Ｒを計算した。実際には、各欠陥グレード内の欠陥画素は相当数あるため、標準偏差σの計算は有用である。

次に、ステップＳ３０７において、補正要否判定回路１０９は、欠陥グレードＮの代表値Ｒが、欠陥画素の補正の要否を判定するための閾値Ｔｈ１未満であるか否かを判定する。この判定の結果、欠陥グレードＮの代表値Ｒが閾値Ｔｈ以上である場合には（ＮＯの場合には）、ステップＳ３０９に進む。ステップＳ３０９に進むと、画像処理回路１１０は、次の処理を行う。すなわち、画像処理回路１１０は、欠陥画素情報用メモリ領域１０８に記録されている「『欠陥グレードＮの欠陥画素情報』と『欠陥グレードＮ以上の欠陥グレードの欠陥画素情報』」のそれぞれにより特定される欠陥画素欠陥画素に対して欠陥画素補正を行う。

欠陥画素補正の方法は様々である。本実施形態では、例えば、欠陥画素の周囲の画素であって、欠陥画素と同色の画素の画素値から補間値を導出し、導出した補間値に欠陥画素の画素値を置き換える。具体的には、例えば、図６において、欠陥画素Ｒ３３を補正する場合には、以下の式（８）を用いて、欠陥画素Ｒ３３の画素値を、欠陥画素Ｒ３３の周囲の画素であって、欠陥画素Ｒ３３と同色の画素の画素値の平均値ａｖｅＲ３３と置き換える。
Ｒ３３＝ａｖｅＲ３３＝（Ｒ１１＋Ｒ１３＋Ｒ１５＋Ｒ３１＋Ｒ３５＋Ｒ５１＋Ｒ５３＋Ｒ５５）／８ ・・・（８）

ここで、欠陥グレードＮのみでなく、それ以上の欠陥グレードの欠陥画素の画素値も補正するのは、図６からも分かるように、欠陥グレードが上位になるほど（Ｎが小さいほど）、欠陥画素の欠陥レベルは大きくなると考えられるためである。
このように、本実施形態では、最も低い欠陥グレードから順に、欠陥画素の補正を行う必要がある欠陥グレードであるか否かの判別を行い、補正が必要であると判断された欠陥グレード以上に属する欠陥画素の画素値を補正する。このようにすれば、欠陥画素の補正を行う必要がある欠陥グレードであるか否かの判別を、全ての欠陥グレードに対してそれぞれ行うよりも、撮像処理の時間を短縮することができる。
そして、ステップＳ３０９で、欠陥画素の画素値の補正が行われると、そして、図３のフローチャートによる処理を終了する。

一方、ステップＳ３０７の判定の結果、欠陥グレードＮの代表値Ｒが閾値Ｔｈ１を下回った場合（ＹＥＳの場合）には、欠陥グレードＮの欠陥画素は補正を要するほどレベルが高くないと判断できる。よって、この場合にはステップＳ３０８に進み、画像処理回路１１０は、欠陥グレードＮの欠陥画素の画素値の補正を行わない（実際にはステップＳ３０８の処理は行われない）。そして、ステップＳ３１０において、補正要否判定回路１０９は、最上位の欠陥グレードまで、欠陥画素の補正の要否の判別が終了したか否かを判定する（すなわち、Ｎ＝０であるか否かを判定する）。

この判定の結果、最上位の欠陥グレードまで、欠陥画素の補正の要否の判別が終了した場合には、全ての画素に対して、欠陥画素の補正が必要ないと判断し、図３のフローチャートを終了する。
一方、最上位の欠陥グレードまで、欠陥画素の補正の要否の判別が終了していない場合には、ステップＳ３１１に進む。ステップＳ３１１に進むと、補正要否判定回路１０９は、欠陥画素情報用メモリ領域１０８から、判別を終えた欠陥グレードの一つ上位の欠陥グレードＮ−１の欠陥画像情報を、計算対象の欠陥グレードＮの欠陥画素情報として取得する。その後は、その欠陥グレードＮ−１の欠陥画素に対して、ステップＳ３０４以降の処理を行う。
ステップＳ３１０において、最上位の欠陥グレードまで、欠陥画素の補正の要否の判別が終了したと判定されると、画像処理回路１１０で欠陥補正以外の画像処理がなされ、記録媒体１１１に、撮像された画像データが記録される。尚、図２及び図３のフローチャートによる処理の一部又は全部を制御部１１２で行うこともできる。

以上のように本実施形態では、遮光した状態で撮像された画像データの各検査対象の画素について、当該検査対象の画素の画素値とその周囲の同色の画素の画素値との差分値Ｄを導出する。導出した差分値Ｄが、予め設定された範囲に属する場合、当該検査対象の画素は欠陥画素でないと判定し、そうでない場合、当該検査対象の画素は、差分値Ｄに応じた欠陥グレードに属する欠陥画素であると判定する。この欠陥画素の位置情報と欠陥グレードとを相互に関連付けて記憶しておく。その後、撮像されたときと同じ条件で黒画像を得て、欠陥グレードＮの欠陥画素の位置情報から、その黒画像における「欠陥グレードＮの欠陥画素」を特定し、特定した欠陥画素の画素値とその周囲の同色の画素の画素値との差分値ｄの代表値Ｒを得る。代表値Ｒが閾値Ｔｈ１以上となる場合に、欠陥グレードＮ以上の欠陥グレードの欠陥画素の画素値を補正する。したがって、代表値Ｒが閾値Ｔｈ１未満の欠陥グレードの欠陥画素の画素値を補正しないようにすることができ、撮像された画像における欠陥画素の補正が過度に行われることを抑制することができる。よって、無駄な補正痕の発生を回避した最適な欠陥画素の補正を行うことが可能となる。

本実施形態では、各欠陥グレードの欠陥画素を全て用いて、各欠陥グレードの代表値Ｒを算出するために、ステップＳ３０２において、１画面全体の黒画像を記録するようにした。しかしながら、欠陥画素の補正の要否の判別には、必ずしも全ての画素を用いる必要はない。例えば、複数のフィールドのうち、それよりも少ない数のフィールドのみを読み出し、読み出した画素を用いるようにする手法等を採用することができる。このようにすれば、欠陥画素の補正の要否の判別処理の更なる高速化を図ることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。前述した第１の実施形態では、各欠陥グレードの欠陥画素に対して補正の要否を判別する方法を例示した。しかし、補正が必要な欠陥画素が発生しやすい撮像条件（高温・長秒露光等）では、図２に示す事前の処理で欠陥画素として検出されなかった画素が、欠陥画素として視覚的に目立つ状況が発生することがある。これらの欠陥画素は事前に検出できていないため、どの欠陥グレードにも属していない。そのため、これらの欠陥画素が目立つ状況では欠陥画素の補正以外の対策が必要となっている。

このような状況に対しては、撮像した画像から黒画像を減算する黒引き補正という方法が考えられる。黒画像に発生する欠陥画素は、被写体の撮像時に発生した欠陥画素と同じ位置に発生し、且つ、略同じ信号レベルを有する。このため、撮像した画像から黒画像を減算することで、事前に検出した欠陥画素以外の欠陥画素も含めて、ＦＰＮ（固定パターンノイズ）を除去することができる。尚、このような補正方法は、ＦＰＮを除去できる一方、ランダムノイズが増加するため、常時行えるものではない。

以上のように本実施形態では、欠陥画素の補正の要否の判別を行うに際し（図３を参照）、前記黒引き補正を行うか否かの判別を行えるようにしたものである。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図６に付した符号と同一の符号を付す等して詳細な説明を省略する。
本実施形態では、欠陥の度合いが最も低い欠陥グレードの代表値Ｒが、黒引き補正の要否を判別するための閾値Ｔｈ２以上である場合に、黒引き補正を行う。この黒引き補正の要否を判別するための閾値Ｔｈ２の値は、欠陥画素の補正の要否を判別するための閾値Ｔｈ１よりも大きい。
このような閾値Ｔｈ１、Ｔｈ２の大小関係は、事前に欠陥画素として検出されていない画素が欠陥画素として視覚的に目立っている状況では、最も低い欠陥グレードの欠陥画素の画素値がより高いレベルとなっていることと等価であるとの考えから導かれている。

図７は、黒引き補正の要否と、欠陥画素の補正の要否を判別し、欠陥画素の補正を行う方法の一例を説明するフローチャートである。
本実施形態における、欠陥画素の補正の要否の判別方法は第１の実施形態と同じである（図３を参照）。よって以下では、黒引き補正の要否の判別に着目して、図７を参照しながら、その方法の一例を説明する。

ステップＳ７０１〜Ｓ７０６の処理は、第１の実施形態のステップＳ３０１〜３０６の処理と同じである。
ステップＳ７０７に進むと、補正要否判定回路１０９は、最も低い欠陥グレードである欠陥グレード４の代表値ＲＧ４が、黒引き補正の要否を判別するための閾値Ｔｈ２未満であるか否かを判定する。この判定の結果、欠陥グレード４の代表値ＲＧ４が閾値Ｔｈ２以上である場合（ＮＯの場合）、事前に検出されていない欠陥画素も目立っていることが想定されるため、ステップＳ７０８に進み、画像処理回路１１０は、撮像された画像に対して黒引き補正を行う。そして、図７のフローチャートによる処理を終了する。

一方、ステップＳ７０７において、欠陥グレード４の代表値ＲＧ４が閾値Ｔｈ２未満であった場合（ＹＥＳの場合）、黒引き補正は不要であると判断し、ステップＳ７０９に進む。
ステップＳ７０９〜Ｓ７１６の処理は、第１の実施形態のステップＳ３０４〜Ｓ３１１の処理と同じである。

以上のように本実施形態では、最下位の欠陥グレードＮの「欠陥画素の画素値とその周囲の同色の画素の画素値との差分値ｄの代表値Ｒ」が閾値Ｔｈ２以上となる場合には、欠陥画素の補正を行わずに、撮像した画像から黒画像を減算する黒引き補正を行う。したがって、前述した効果に加え、欠陥画素が発生しやすい撮像条件（高温・長秒露光等）で、図２に示す事前の処理で欠陥画素として検出されなかった画素が、欠陥画素として視覚的に目立つ状況が発生することを抑制することができる。

本実施形態では、欠陥グレード４の欠陥画素を使用して、黒引き補正の判別を行う場合を例示した。しかし、他の欠陥グレードの結果願が装置を使用して判別を行なっても同様の効果は得られる。また、欠陥画素の欠陥グレードとは別に、黒引き判別用の欠陥グレードを取得し、それを使用しても同様の効果が得られる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。前述した第１及び第２の実施形態では、被写体を撮像した後、撮像と同じ条件で遮光状態の撮像をして黒画像を取得し、これ用いて欠陥画素の補正の要否（及び黒引き補正の要否）を判別する方法を例示した。しかし、撮像時に黒画像を追加で取得するのは時間を要してしまうため、毎回黒画像を取得しないですませる手法も非常に有用である。
そこで、本実施形態では、撮像素子の温度が所定値以下であったり、露光時間が所定値以上であったりする撮像条件では、欠陥画素が非常に微量であり、撮像画像に悪影響がないと考えられる。そこで、そのような条件では、黒画像の取得と、欠陥画素の補正の要否の判別とを行わないようにする。このように本実施形態では、第１及び第２の実施形態に対して、撮像素子の温度や露光時間を検出する装置や処理と、撮像素子の温度や露光時間に応じて、黒画像の取得と、欠陥画素の補正の要否の判別とを行わないようにする処理とが追加されたものである。したがって、本実施形態の説明において、第１及び第２の実施形態と同一の部分については、図１〜図７に付した符号と同一の符号を付す等して詳細な説明を省略する。

本実施形態では、撮像時の温度から、補正の判別のための黒画像を取得するか否かを判定する方法について図８を参照しながら説明する。
図８は、黒画像の取得と欠陥画素の補正の要否を判別し、欠陥画素の補正を行う方法の一例を説明するフローチャートである。
本実施形態における、欠陥画素の補正の要否の判別方法は、第１の実施形態と同じである（図３を参照）。よって以下では、黒画像の取得の要否の判別に着目して、図８を参照しながら、その方法の一例を説明する。

撮像者の操作により撮像が開始すると、まず、ステップＳ８０１において、Ａ／Ｄ変換回路１０４は、撮像された被写体の画像の信号であるアナログ映像信号をデジタル信号に変換し、ＲＡＷ画像データとして画像用メモリ領域１０６に記録する。
次に、ステップＳ８０２において、補正要否判定回路１０９は、固体撮像素子１０２の近傍に配置されたサーミスタから、固体撮像素子１０２の温度の測定値を取得し、記憶部１０５に記録する。
次に、ステップＳ８０３において、補正要否判定回路１０９は、記憶部１０５に記録された固体撮像素子１０２の温度が、事前に設定された温度閾値Ｔｈ３を超えたか否かを判定する。この判定の結果、固体撮像素子１０２の温度が閾値Ｔｈ３を超えている場合には、欠陥画素補正要否の判別を行うべく、ステップＳ８０５に進む。ステップＳ８０５〜Ｓ８１４の処理は、第１の実施形態のステップＳ３０２〜Ｓ３１１の処理と同じである。

一方、ステップＳ８０３において、固体撮像素子１０２の温度が閾値Ｔｈ３以下の場合には、ステップＳ８０４に進む。ステップＳ８０４に進むと、画像処理回路１１０は、予め定められた欠陥グレードの欠陥画素の画素値を補正する。そして、図８のフローチャートによる処理を終了する。

以上のように本実施形態では、固体撮像素子１０２の温度が閾値Ｔｈ３以下の場合には、黒画像を取得せずに、予め定められた欠陥グレードの欠陥画素の画素値を補正する。したがって、前述した効果に加え、必要なときにだけ黒画像を取得することができ、撮像処理の一層の短縮化を図ることができる。

本実施形態では、固体撮像素子１０２の温度を用いて黒画像を取得するか否かの判定を行うようにした。しかしながら、実効露光時間や実効感度など、他の撮像時の条件から、黒画像を取得するか否かの判定を行ってもよい。また、複数の条件を組み合わせた結果から、黒画像を取得するか否かの判定を行ってもよい。例えば、固体撮像素子１０２の温度が所定値未満であり、且つ、実効露光時間が所定値以上である場合に、黒画像を取得せずに、予め定められた欠陥グレードの欠陥画素の画素値を補正するようにすることができる。
また、第２の実施形態の処理に対して本実施形態の処理を行うことができる。この場合、例えば、図７のステップＳ７０１、Ｓ７０２の間に、ステップＳ８０２、Ｓ８０３の処理を行い、ステップＳ８０３でＹＥＳと判定されると、ステップＳ７０２の処理を行い、ＮＯと判定されると、ステップＳ８０４の処理を行うようにすることができる。

尚、前述した各実施形態では、信号レベルの浮きを欠陥の度合いとして評価し、周囲画素との差分値Ｄ、ｄを評価値として求めるようにした。しかしながら、欠陥の度合いを反映する値であれば、必ずしも周囲画素との差分値Ｄ、ｄを評価値として用いる必要はない。例えば、周囲画素との差分値Ｄの代わりに、各画素のそれぞれの画素値を評価値として用いてもよいし、各画素の画素値のうち閾値を超えるものを評価値として用いてもよい。また、周囲画素との差分値ｄの代わりに、各欠陥画素のそれぞれの画素値を評価値として用いてもよいし、各欠陥画素の画素値のうち閾値を超えるものを評価値として用いてもよい。

尚、前述した実施形態では、例えば、ステップＳ２０４の処理の実行により判別手段が実現され、ステップＳ２０５の処理の実行により記憶手段が実現される。
また、例えば、ステップＳ３０２、Ｓ７０２、Ｓ８０５の処理の実行により取得手段が実現され、ステップＳ３０４、Ｓ７０４、Ｓ７０９、Ｓ８０７の処理の実行により導出手段が実現される。また、周囲画素との差分値ｄが、評価値（差分値）の一例であり、代表値Ｒが、評価値（差分値）の代表値の一例である。また、例えば、ステップＳ３０７、Ｓ７１２、Ｓ８１０の処理の実行により第１の判定手段が実現され、ステップＳ３０９、Ｓ７０８、Ｓ７１４、Ｓ８０４、Ｓ８１２の処理の実行により補正手段が実現される。また、例えば、ステップＳ３０３・Ｓ３１０・Ｓ３１１、Ｓ７０３・Ｓ７１５・Ｓ７１６、Ｓ８０６・Ｓ８１３・Ｓ８１４の処理の実行により、欠陥の度合いが低い欠陥グレードから順に欠陥画素の画素値の補正の要否が判定される。また、閾値Ｔｈ１が第１の閾値の一例である。
また、例えば、ステップＳ７０７の処理の実行により第２の判定手段が実現される。また、例えば、ステップＳ８０３の処理の実行により第３の判定手段が実現される。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

１００ 固体撮像装置、１０９ 補正要否判定回路、１１０ 画像処理回路

Claims (15)

1. 撮像素子における欠陥画素の位置と欠陥グレードとを相互に関連付けた欠陥画素情報を記憶する記憶手段と、
   前記撮像素子を遮光した状態で、被写体を撮像するときと同じ撮像条件で撮像することにより黒画像を取得する取得手段と、
   前記欠陥画素情報に基づいて、前記欠陥グレードが同一である欠陥画素を前記黒画像から抽出し、抽出した各欠陥画素の画素値に基づく評価値を導出する導出手段と、
   前記評価値の代表値に基づいて、前記欠陥グレードの欠陥画素の画素値を補正するか否かを判定する第１の判定手段と、
   前記第１の判定手段により、前記欠陥グレードの欠陥画素の画素値を補正すると判定された場合に、当該欠陥グレードの欠陥画素の画素値を補正する補正手段と、
   を有することを特徴とする撮像装置。
2. 前記導出手段は、前記欠陥画素情報に基づいて、前記欠陥グレードが同一である欠陥画素を前記黒画像から抽出し、抽出した各欠陥画素のそれぞれについて、当該欠陥画素の画素値とその周囲の同色の画素の画素値との差分値を、前記評価値として導出することを特徴とする請求項１に記載の撮像装置。
3. 前記欠陥画素の画素値とその周囲の同色の画素の画素値との差分値の代表値は、前記差分値の平均値と標準偏差とに基づく値であることを特徴とする請求項２に記載の撮像装置。
4. 前記導出手段は、前記判定手段により、前記黒画像から抽出した欠陥画素が属する前記欠陥グレードの欠陥画素の画素値を補正すると判定されるまで、欠陥の度合いが低い欠陥グレードから順に、欠陥グレードが同一である欠陥画素を前記黒画像から抽出し、抽出した各欠陥画素のそれぞれについて、当該欠陥画素の画素値とその周囲の同色の画素の画素値との差分値を繰り返し導出することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
5. さらに、黒画像の画素値を撮像した画像の画素値から減算する黒引き補正を行うか否かを判定する第２の判定手段を有し、
   前記補正手段は、前記第２の判定手段により、黒引き補正を行うと判定されると、黒引き補正を行い、
   前記第１の判定手段は、前記第２の判定手段により、黒引き補正を行わないと判定された後に、前記欠陥画素の画素値とその周囲の同色の画素の画素値との差分値の代表値に基づいて、前記黒画像から抽出した欠陥画素が属する前記欠陥グレードの欠陥画素の画素値を補正するか否かを判定することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
6. 前記補正手段は、前記第１の判定手段により、前記黒画像から抽出した欠陥画素が属する前記欠陥グレードの欠陥画素を補正すると判定されると、当該欠陥グレードの欠陥画素の画素値と、当該欠陥グレードよりも欠陥の度合いが高いことを示す欠陥グレードの欠陥画素の画素値と、を補正することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
7. 撮像装置の撮像時の条件に応じて、前記取得手段による黒画像の取得を行うか否かを判定する第３の判定手段を有し、
   前記補正手段は、前記第３の判定手段により、前記取得手段による黒画像の取得を行わないと判定されると、所定の欠陥グレードに属する欠陥画素の画素値を補正し、
   前記取得手段は、前記第３の判定手段により、前記取得手段による黒画像の取得を行うと判定されると、前記撮像素子を遮光した状態で、被写体を撮像したときの撮像条件と同じ条件で撮像することにより黒画像を取得することを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
8. 撮像素子における欠陥画素の位置と欠陥グレードとを相互に関連付けた欠陥画素情報を記憶する記憶工程と、
   前記撮像素子を遮光した状態で、被写体を撮像するときと同じ撮像条件で撮像することにより黒画像を取得する取得工程と、
   前記欠陥画素情報に基づいて、前記欠陥グレードが同一である欠陥画素を前記黒画像から抽出し、抽出した各欠陥画素の画素値に基づく評価値を導出する導出工程と、
   前記評価値の代表値に基づいて、前記欠陥グレードの欠陥画素の画素値を補正するか否かを判定する第１の判定工程と、
   前記第１の判定工程により、前記欠陥グレードの欠陥画素の画素値を補正すると判定された場合に、当該欠陥グレードの欠陥画素の画素値を補正する補正工程と、
   を有することを特徴とする撮像処理方法。
9. 前記導出工程は、前記欠陥画素情報に基づいて、前記欠陥グレードが同一である欠陥画素を前記黒画像から抽出し、抽出した各欠陥画素のそれぞれについて、当該欠陥画素の画素値とその周囲の同色の画素の画素値との差分値を、前記評価値として導出することを特徴とする請求項８に記載の撮像処理方法。
10. 前記欠陥画素の画素値とその周囲の同色の画素の画素値との差分値の代表値は、前記差分値の平均値と標準偏差とに基づく値であることを特徴とする請求項９に記載の撮像処理方法。
11. 前記導出工程は、前記判定工程により、前記黒画像から抽出した欠陥画素が属する前記欠陥グレードの欠陥画素の画素値を補正すると判定されるまで、欠陥の度合いが低い欠陥グレードから順に、欠陥グレードが同一である欠陥画素を前記黒画像から抽出し、抽出した各欠陥画素のそれぞれについて、当該欠陥画素の画素値とその周囲の同色の画素の画素値との差分値を繰り返し導出することを特徴とする請求項８〜１０の何れか１項に記載の撮像処理方法。
12. さらに、黒画像の画素値を撮像した画像の画素値から減算する黒引き補正を行うか否かを判定する第２の判定工程を有し、
    前記補正工程は、前記第２の判定工程により、黒引き補正を行うと判定されると、黒引き補正を行い、
    前記第１の判定工程は、前記第２の判定工程により、黒引き補正を行わないと判定された後に、前記欠陥画素の画素値とその周囲の同色の画素の画素値との差分値の代表値に基づいて、前記黒画像から抽出した欠陥画素が属する前記欠陥グレードの欠陥画素の画素値を補正するか否かを判定することを特徴とする請求項８〜１１の何れか１項に記載の撮像処理方法。
13. 前記補正工程は、前記第１の判定工程により、前記黒画像から抽出した欠陥画素が属する前記欠陥グレードの欠陥画素を補正すると判定されると、当該欠陥グレードの欠陥画素の画素値と、当該欠陥グレードよりも欠陥の度合いが高いことを示す欠陥グレードの欠陥画素の画素値と、を補正することを特徴とする請求項８〜１２の何れか１項に記載の撮像処理方法。
14. 撮像処理方法の撮像時の条件に応じて、前記取得工程による黒画像の取得を行うか否かを判定する第３の判定工程を有し、
    前記補正工程は、前記第３の判定工程により、前記取得工程による黒画像の取得を行わないと判定されると、所定の欠陥グレードに属する欠陥画素の画素値を補正し、
    前記取得工程は、前記第３の判定工程により、前記取得工程による黒画像の取得を行うと判定されると、前記撮像素子を遮光した状態で、被写体を撮像したときの撮像条件と同じ条件で撮像することにより黒画像を取得することを特徴とする請求項８〜１３の何れか１項に記載の撮像処理方法。
15. 撮像素子における欠陥画素の位置と欠陥グレードとを相互に関連付けた欠陥画素情報を記憶する記憶工程と、
    前記撮像素子を遮光した状態で、被写体を撮像するときと同じ撮像条件で撮像することにより黒画像を取得する取得工程と、
    前記欠陥画素情報に基づいて、前記欠陥グレードが同一である欠陥画素を前記黒画像から抽出し、抽出した各欠陥画素の画素値に基づく評価値を導出する導出工程と、
    前記評価値の代表値に基づいて、前記欠陥グレードの欠陥画素の画素値を補正するか否かを判定する第１の判定工程と、
    前記第１の判定工程により、前記欠陥グレードの欠陥画素の画素値を補正すると判定された場合に、当該欠陥グレードの欠陥画素の画素値を補正する補正工程と、をコンピュータに実行させることを特徴とするコンピュータプログラム。

Images