JP2012124778A - 撮像装置、撮像処理方法、及びコンピュータプログラム - Google Patents
撮像装置、撮像処理方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2012124778A JP2012124778A JP2010274898A JP2010274898A JP2012124778A JP 2012124778 A JP2012124778 A JP 2012124778A JP 2010274898 A JP2010274898 A JP 2010274898A JP 2010274898 A JP2010274898 A JP 2010274898A JP 2012124778 A JP2012124778 A JP 2012124778A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- defective
- defect
- defective pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】 欠陥画素の補正を適切に行う。
【解決手段】 遮光した状態で撮像された画像データの各検査対象の画素について、当該検査対象の画素の画素値とその周囲の同色の画素の画素値との差分値Dを導出する。導出した差分値Dが、予め設定された範囲に属する場合、当該検査対象の画素は欠陥画素でないと判定し、そうでない場合、当該検査対象の画素は、差分値Dに応じた欠陥グレードに属する欠陥画素であると判定する。この欠陥画素の位置情報と欠陥グレードとを記憶しておく。その後、撮像されたときと同じ条件で黒画像を得て、欠陥グレードNの欠陥画素の位置情報から、その黒画像における「欠陥グレードNの欠陥画素」を特定し、特定した欠陥画素の画素値とその周囲の同色の画素の画素値との差分値dの代表値Rを得る。代表値Rが閾値Th1以上となる場合に、欠陥グレードN以上の欠陥グレードの欠陥画素の画素値を補正する。
【選択図】 図1
【解決手段】 遮光した状態で撮像された画像データの各検査対象の画素について、当該検査対象の画素の画素値とその周囲の同色の画素の画素値との差分値Dを導出する。導出した差分値Dが、予め設定された範囲に属する場合、当該検査対象の画素は欠陥画素でないと判定し、そうでない場合、当該検査対象の画素は、差分値Dに応じた欠陥グレードに属する欠陥画素であると判定する。この欠陥画素の位置情報と欠陥グレードとを記憶しておく。その後、撮像されたときと同じ条件で黒画像を得て、欠陥グレードNの欠陥画素の位置情報から、その黒画像における「欠陥グレードNの欠陥画素」を特定し、特定した欠陥画素の画素値とその周囲の同色の画素の画素値との差分値dの代表値Rを得る。代表値Rが閾値Th1以上となる場合に、欠陥グレードN以上の欠陥グレードの欠陥画素の画素値を補正する。
【選択図】 図1
Description
本発明は、撮像装置、撮像処理方法、及びコンピュータプログラムに関し、特に、撮像された画像の欠陥を補正するために用いて好適なものである。
固体撮像素子(例えば、CCD、CMOS等)において、結晶欠陥やダスト等により、撮像した画像に欠陥画素が生じることが従来から知られている。
従来では、例えば、撮像素子の画素欠陥の有無の試験を予め行い、その結果に基づいて、欠陥画素の補正が必要な位置情報を予め記憶しておき、実際の画像の撮像時には、当該位置情報を用いて欠陥画素の補正を行う技術が知られている。
この従来技術では、予め記憶した位置の欠陥画素の全てを、その周囲の画素の信号(画素値)等を用いて補正することになる。しかしながら、このときに、実際には必要のない欠陥画素の補正を行ってしまっている場合がある。これは、暗信号の異常増加等により発生する白点欠陥のように、一般的に温度や露光時間によって欠陥画素の信号レベルは変動するため、その時々で補正が必要となったり不要となったりすることによる。
従来では、例えば、撮像素子の画素欠陥の有無の試験を予め行い、その結果に基づいて、欠陥画素の補正が必要な位置情報を予め記憶しておき、実際の画像の撮像時には、当該位置情報を用いて欠陥画素の補正を行う技術が知られている。
この従来技術では、予め記憶した位置の欠陥画素の全てを、その周囲の画素の信号(画素値)等を用いて補正することになる。しかしながら、このときに、実際には必要のない欠陥画素の補正を行ってしまっている場合がある。これは、暗信号の異常増加等により発生する白点欠陥のように、一般的に温度や露光時間によって欠陥画素の信号レベルは変動するため、その時々で補正が必要となったり不要となったりすることによる。
欠陥画素の補正は、通常、欠陥画素以外の画素からの補間信号で、当該欠陥画素の画素値を置き換える処理となる。このため、被写体によっては補正痕が画質劣化の要因となってしまう。よって、前述のように補正する必要のない欠陥画素に対しての欠陥画素の補正を回避すべく、欠陥画素の補正要否を適切に判別することが重要な技術となっている。
昨今、このような場合に対処するための技術が提案されている。
特許文献1では、まず、予め第一の温度範囲0℃〜T1で発生する欠陥画素の位置情報をメモリA、第2の温度範囲T1〜T2で発生する欠陥画素の位置情報をメモリB、第3の温度範囲T2〜60℃で発生する欠陥画素の位置情報をメモリCにそれぞれ保持する。そして、撮像素子の温度をサーミスタで検出して、その温度に対応したメモリから欠陥画素情報を読み出して、対象画素を補正する。また、この特許文献1では、撮像素子の温度と同様に、実効露光時間によっても欠陥画素の補正を実施することが示されている。
また、特許文献2では、まず、映像の撮像中にリアルタイムの処理で、重心画素とその周囲の画素とから信号のパターンを判別する。そして、周囲の画素の信号レベルと比較して1画素だけ極端の大きいレベルや小さいレベルの画素を欠陥とみなし、欠陥画素の補正を行うようにしている。
昨今、このような場合に対処するための技術が提案されている。
特許文献1では、まず、予め第一の温度範囲0℃〜T1で発生する欠陥画素の位置情報をメモリA、第2の温度範囲T1〜T2で発生する欠陥画素の位置情報をメモリB、第3の温度範囲T2〜60℃で発生する欠陥画素の位置情報をメモリCにそれぞれ保持する。そして、撮像素子の温度をサーミスタで検出して、その温度に対応したメモリから欠陥画素情報を読み出して、対象画素を補正する。また、この特許文献1では、撮像素子の温度と同様に、実効露光時間によっても欠陥画素の補正を実施することが示されている。
また、特許文献2では、まず、映像の撮像中にリアルタイムの処理で、重心画素とその周囲の画素とから信号のパターンを判別する。そして、周囲の画素の信号レベルと比較して1画素だけ極端の大きいレベルや小さいレベルの画素を欠陥とみなし、欠陥画素の補正を行うようにしている。
しかしながら、特許文献1に記載の技術では、事前にさまざまな温度範囲で欠陥画素の位置情報を取得する必要がある。このため、欠陥画素の位置情報を保存するメモリ量が増大すると共に、欠陥画素の検出にも時間を要してしまう。また、撮像時に撮像素子の温度を取得する必要がある。このため、サーミスタ等の素子を撮像装置が搭載しなければならず、ハード的な制約も増加する。さらに、露光量に対応する位置の欠陥画素を全て補正してしまう。よって、欠陥画素の補正を過度に行ってしまう虞がある。
また、特許文献2に記載の技術では、全ての画素について、重心画素とその周囲の画素とから、信号のパターンの判別をリアルタイムで行なわなくてはならない。このため、高速な画像処理性能が必要となってしまう。また、一般的に知られているように、被写体に点光源のようなものがあると、欠陥画素と誤判断をしてしまい、正しい撮像ができなくなる虞がある。
本発明は、このような問題点に鑑みてなされたものであり、撮像された画像における欠陥画素の補正が過度に行われることを抑制し、欠陥画素の補正を適切に行うようにすることを目的とする。
また、特許文献2に記載の技術では、全ての画素について、重心画素とその周囲の画素とから、信号のパターンの判別をリアルタイムで行なわなくてはならない。このため、高速な画像処理性能が必要となってしまう。また、一般的に知られているように、被写体に点光源のようなものがあると、欠陥画素と誤判断をしてしまい、正しい撮像ができなくなる虞がある。
本発明は、このような問題点に鑑みてなされたものであり、撮像された画像における欠陥画素の補正が過度に行われることを抑制し、欠陥画素の補正を適切に行うようにすることを目的とする。
本発明の撮像装置は、撮像素子における欠陥画素の位置と欠陥グレードとを相互に関連付けた欠陥画素情報を記憶する記憶手段と、前記撮像素子を遮光した状態で、被写体を撮像するときと同じ撮像条件で撮像することにより黒画像を取得する取得手段と、前記欠陥画素情報に基づいて、前記欠陥グレードが同一である欠陥画素を前記黒画像から抽出し、抽出した各欠陥画素の画素値に基づく評価値を導出する導出手段と、前記評価値の代表値に基づいて、前記欠陥グレードの欠陥画素の画素値を補正するか否かを判定する第1の判定手段と、前記第1の判定手段により、前記欠陥グレードの欠陥画素の画素値を補正すると判定された場合に、当該欠陥グレードの欠陥画素の画素値を補正する補正手段と、を有することを特徴とする。
本発明によれば、欠陥グレードの単位で欠陥画素の画素値を補正するか否かを判定するようにしたので、撮像された画像における欠陥画素の補正が過度に行われることを抑制し、欠陥画素の補正を適切に行うようにすることができる。
以下、本発明の実施形態について、図面を参照しながら説明する。
(第1の実施形態)
まず、本発明の第1の実施形態について説明する。図1は、本実施形態に係る撮像装置の機能構成の一例を示す図である。
まず、図1の各部の機能を説明する。以下の各実施形態では、固体撮像装置100がデジタルスチルカメラである場合を例に挙げて説明する。
(第1の実施形態)
まず、本発明の第1の実施形態について説明する。図1は、本実施形態に係る撮像装置の機能構成の一例を示す図である。
まず、図1の各部の機能を説明する。以下の各実施形態では、固体撮像装置100がデジタルスチルカメラである場合を例に挙げて説明する。
固体撮像装置100の内部の機能を詳述する。固体撮像素子102は、光を電気信号へ変換するものであり、本実施形態ではCCDであるとする。レンズ101は、被写体からの光を固体撮像素子102へ集光する。タイミングジェネレータ(TG)103は、固体撮像素子102を駆動するタイミングを規定する信号を生成する。
A/D変換回路104は、固体撮像素子102から出力される電気信号、すなわちアナログ映像信号をデジタル映像信号へ変換する。記憶部105は、画像用メモリ領域106、黒画像用メモリ領域107、及び欠陥画素情報用メモリ領域108等を含むメモリである。A/D変換回路104で得られたデジタル映像信号は、RAW画像データとして、一旦、記憶部105の画像用メモリ領域106に記録される。黒画像用メモリ領域107は、被写体の撮像後に、図示しないメカシャッタを閉じて遮光状態としたままの状態で、被写体の撮像と同じ条件で撮像した画像(以下、この画像を必要に応じて「黒画像」と称する)のRAW画像データを記録するメモリ領域である。
A/D変換回路104は、固体撮像素子102から出力される電気信号、すなわちアナログ映像信号をデジタル映像信号へ変換する。記憶部105は、画像用メモリ領域106、黒画像用メモリ領域107、及び欠陥画素情報用メモリ領域108等を含むメモリである。A/D変換回路104で得られたデジタル映像信号は、RAW画像データとして、一旦、記憶部105の画像用メモリ領域106に記録される。黒画像用メモリ領域107は、被写体の撮像後に、図示しないメカシャッタを閉じて遮光状態としたままの状態で、被写体の撮像と同じ条件で撮像した画像(以下、この画像を必要に応じて「黒画像」と称する)のRAW画像データを記録するメモリ領域である。
また、記憶部105中の欠陥画素情報用メモリ領域108には、欠陥画素の検出によって得られた欠陥画素の位置情報と、各欠陥画素の欠陥グレード情報とが記録されている。これら欠陥画素の位置情報と、欠陥グレード情報は、事前に(工場調整時又はカメラ起動時等に)得られるものである。尚、欠陥グレード情報については、後で詳しく説明する。
補正要否判定回路109は、黒画像を用いて、各欠陥グレードの欠陥画素の補正が必要であるか否かを判定する。画像処理回路110は、画像用メモリ領域106に記録されているRAW画像データを画像処理し、JPEG等の最終的な出力画像フォーマットに変換する。この画像処理の段階で、補正要否判定回路109の判定結果に応じて、補正が必要な画素の欠陥補正処理を行う。画像処理回路110で画像処理されることにより得られた撮像画像のデータは、最終フォーマットで記録媒体111に記録される。
補正要否判定回路109は、黒画像を用いて、各欠陥グレードの欠陥画素の補正が必要であるか否かを判定する。画像処理回路110は、画像用メモリ領域106に記録されているRAW画像データを画像処理し、JPEG等の最終的な出力画像フォーマットに変換する。この画像処理の段階で、補正要否判定回路109の判定結果に応じて、補正が必要な画素の欠陥補正処理を行う。画像処理回路110で画像処理されることにより得られた撮像画像のデータは、最終フォーマットで記録媒体111に記録される。
また、制御部112は、タイミングジェネレータ103、A/D変換回路104、記憶部105、補正要否判定回路109、画像処理回路110及び記録媒体111を統括的に制御するものであり、本実施形態では、CPUであるとする。
ここで、欠陥グレードについて説明する。
欠陥画素の代表的なものに白点欠陥等がある。このような欠陥画素は、どの画素も固定的な信号レベルを出力するわけではなく、それぞれの画素毎に、周囲と比べて浮くレベルに差(レベルの大小)がある。よって、撮像画像には、画質的に影響度が大きい欠陥画素と小さい欠陥画素とが混在しており、これらの補正の要否を適応的に判別することができれば、画質の劣化を防ぐことができる。
従って、欠陥画素もその程度によってそれぞれレベル分けをすることが有用である。ここで定義する欠陥グレードは、この欠陥画素の欠陥の度合いを表すものであり、固体撮像素子102に存在する欠陥画素は、その欠陥の度合いによって、各欠陥グレードの何れかに割り当てられる。
尚、本実施形態では、欠陥グレードを5つに分けることとしている。欠陥グレード0を最も欠陥の度合いが高い(信号レベルの浮きが大きい)欠陥グレードとし、欠陥グレード4を最も欠陥の度合いが低い(信号レベルの浮きが小さい)欠陥グレードとする。これらの欠陥グレードは、欠陥画素のXアドレス、Yアドレスと共に、欠陥画素情報用メモリ領域108に、欠陥画素情報として保存される。
欠陥画素の代表的なものに白点欠陥等がある。このような欠陥画素は、どの画素も固定的な信号レベルを出力するわけではなく、それぞれの画素毎に、周囲と比べて浮くレベルに差(レベルの大小)がある。よって、撮像画像には、画質的に影響度が大きい欠陥画素と小さい欠陥画素とが混在しており、これらの補正の要否を適応的に判別することができれば、画質の劣化を防ぐことができる。
従って、欠陥画素もその程度によってそれぞれレベル分けをすることが有用である。ここで定義する欠陥グレードは、この欠陥画素の欠陥の度合いを表すものであり、固体撮像素子102に存在する欠陥画素は、その欠陥の度合いによって、各欠陥グレードの何れかに割り当てられる。
尚、本実施形態では、欠陥グレードを5つに分けることとしている。欠陥グレード0を最も欠陥の度合いが高い(信号レベルの浮きが大きい)欠陥グレードとし、欠陥グレード4を最も欠陥の度合いが低い(信号レベルの浮きが小さい)欠陥グレードとする。これらの欠陥グレードは、欠陥画素のXアドレス、Yアドレスと共に、欠陥画素情報用メモリ領域108に、欠陥画素情報として保存される。
以下に、図2のフローチャートを参照しながら、欠陥画素を事前に検出する際の固体撮像装置100の処理の一例を説明する。本実施形態では、製品(固体撮像装置100)の出荷前に、この欠陥画素の検出を行う場合を例に挙げて説明する。
尚、本実施形態における欠陥画素は、その周囲の画素に比べて信号レベル(画素値)が極端に大きい、いわゆる白点欠陥を対象としている。欠陥画素と、その周囲の画素との信号レベルの差(欠陥画素の信号レベルの浮き量)を算出することで欠陥画素と、その欠陥レベルとを検出することができる。
また、当然のことながら、固体撮像装置100に搭載される固体撮像素子102(CCD)によって、存在する欠陥画素の個数、当該欠陥画素の位置(アドレス)、及び当該欠陥画素の欠陥レベルが異なる。このため、製品個々に欠陥画素とその欠陥レベルとを検出する必要がある。
尚、本実施形態における欠陥画素は、その周囲の画素に比べて信号レベル(画素値)が極端に大きい、いわゆる白点欠陥を対象としている。欠陥画素と、その周囲の画素との信号レベルの差(欠陥画素の信号レベルの浮き量)を算出することで欠陥画素と、その欠陥レベルとを検出することができる。
また、当然のことながら、固体撮像装置100に搭載される固体撮像素子102(CCD)によって、存在する欠陥画素の個数、当該欠陥画素の位置(アドレス)、及び当該欠陥画素の欠陥レベルが異なる。このため、製品個々に欠陥画素とその欠陥レベルとを検出する必要がある。
まず、ステップS201において、制御部112は、欠陥画素を検出するために、遮光した状態での撮像を指示し、固体撮像素子102は、当該指示に基づいて画像を取得する。当該撮像は、より多くの欠陥画素を抽出するために、高温且つ長秒露光の条件で行うことが好ましい。
次に、ステップS202において、A/D変換回路104は、撮像された画像の信号であるアナログ映像信号をデジタル信号に変換し、RAW画像データとして画像用メモリ領域106に記録する。
次に、ステップS202において、A/D変換回路104は、撮像された画像の信号であるアナログ映像信号をデジタル信号に変換し、RAW画像データとして画像用メモリ領域106に記録する。
次に、ステップS203において、制御部112は、RAW画像データの各画素のそれぞれについて、当該画素の周囲の画素であって、当該画素と同色の画素との差分値Dを算出する。以下の説明では、この値を、必要に応じて「周囲画素との差分値D」と称する。この周囲画素との差分値Dの算出方法の一例の詳細を、図4を参照しながら説明する。図4は、各画素の配置の一例を示す図である。尚、本実施形態では、固体撮像素子102のカラーフィルターが原色ベイヤー配列で配置されていることを前提に説明するが、固体撮像素子102が、その他の色フィルタを有していてもよい。
図4において、例えば、検査対象の画素を、図4の中心に位置する画素R33としたとする。この場合、検査対象の画素R33の周囲の画素(所定範囲(ここでは2画素の範囲内)にある画素)であって、当該画素と同色の画素は、画素R11、R13、R15、R31、R35、R51、R53、R55となる。これらの画素R11、R13、R15、R31、R35、R51、R53、R55の画素値の加算平均値をAVER33とする。加算平均値AVER33は、以下の式(1)により求められる。
AVER33=(R11+R13+R15+R31+R35+R51+R53+R55)/8 ・・・(1)
AVER33=(R11+R13+R15+R31+R35+R51+R53+R55)/8 ・・・(1)
さらに、加算平均値AVER33と、検査対象の画素R33の画素値との差分値をDR33とすると、周囲画素との差分値DR33は、以下の式(2)により求められる。
DR33=|R33−AVER33| ・・・(2)
この周囲画素との差分値DR33は、検査対象の画素の画素値と、当該検査対象の画素の周囲の画素であって、当該画素と同色の画素の画素値との差分にあたり、欠陥画素の信号レベルの浮き量を表している。
DR33=|R33−AVER33| ・・・(2)
この周囲画素との差分値DR33は、検査対象の画素の画素値と、当該検査対象の画素の周囲の画素であって、当該画素と同色の画素の画素値との差分にあたり、欠陥画素の信号レベルの浮き量を表している。
図2のフローチャートの説明に戻る。ステップS203において周囲画素との差分値Dの計算を行った後、ステップS204において、制御部112は、欠陥画素を欠陥グレード毎に抽出する処理を行う。
欠陥画素を欠陥グレード毎に抽出する方法の一例の詳細について図5を参照しながら説明する。図5は、欠陥画素がどの欠陥グレードであるかを判定するための閾値の一例を示す図である。補正要否判定回路109は、ステップS204において算出された周囲画素との差分値Dの値が、図5のどの領域になるかによって、各画素が欠陥画素であるか否かの判定と、欠陥画素についての欠陥グレードの判定とを行う。
例えば、ステップS204で算出した周囲画素との差分値DR33が、120LSBであった場合について説明する。この場合、周囲画素との差分値DR33と、図5に示す閾値との比較の結果、検査対象の画素R33は、欠陥グレード4の閾値(UpperLimit:200LSB、LowerLimit:100LSB)内にあるという判定結果が得られる。よって、検査対象の画素R33は欠陥グレード4の欠陥画素であると識別される。
欠陥画素を欠陥グレード毎に抽出する方法の一例の詳細について図5を参照しながら説明する。図5は、欠陥画素がどの欠陥グレードであるかを判定するための閾値の一例を示す図である。補正要否判定回路109は、ステップS204において算出された周囲画素との差分値Dの値が、図5のどの領域になるかによって、各画素が欠陥画素であるか否かの判定と、欠陥画素についての欠陥グレードの判定とを行う。
例えば、ステップS204で算出した周囲画素との差分値DR33が、120LSBであった場合について説明する。この場合、周囲画素との差分値DR33と、図5に示す閾値との比較の結果、検査対象の画素R33は、欠陥グレード4の閾値(UpperLimit:200LSB、LowerLimit:100LSB)内にあるという判定結果が得られる。よって、検査対象の画素R33は欠陥グレード4の欠陥画素であると識別される。
次に、ステップS205において、制御部112は、ステップS204で欠陥画素と識別された画素の位置情報としてのXアドレス及びYアドレスと、欠陥グレード情報(画素R33の場合「4」)とを相互に関連付けて欠陥画素情報用メモリ領域108に記録する。画素R33の場合には、位置情報として(3,3)、欠陥グレード情報として「4」が記録される。本実施形態では、ステップS204で欠陥でないと識別された画素の情報は記録されないようにする。そして、図2のフローチャートによる処理を終了する。
次に、図3のフローチャートを参照しながら、欠陥画素の補正の要否を判別し、判別した欠陥グレードに属する欠陥画素を補正する方法の一例を説明する。
本実施形態では、欠陥画素の補正の要否の判別を、被写体を撮像した際と同じ撮像条件で遮光撮像した黒画像を使用して行う。黒画像に発生する欠陥画素は、被写体を撮像したときに発生した欠陥画素と同じ位置に発生し、且つ、略同じ信号レベルを有する。よって、欠陥画素の補正の要否の判別に黒画像を用いることで、被写体を撮像した画像自体を判別に用いるよりも、画像に発生している欠陥画素を精度良く判別することができる。
また、本実施形態においては、事前に検出された欠陥画素に対してのみ補正の要否の判別を行うため、全ての画素に対して、補正の要否の判別を行うよりも、撮像処理の時間を短縮することができる。
本実施形態では、欠陥画素の補正の要否の判別を、被写体を撮像した際と同じ撮像条件で遮光撮像した黒画像を使用して行う。黒画像に発生する欠陥画素は、被写体を撮像したときに発生した欠陥画素と同じ位置に発生し、且つ、略同じ信号レベルを有する。よって、欠陥画素の補正の要否の判別に黒画像を用いることで、被写体を撮像した画像自体を判別に用いるよりも、画像に発生している欠陥画素を精度良く判別することができる。
また、本実施形態においては、事前に検出された欠陥画素に対してのみ補正の要否の判別を行うため、全ての画素に対して、補正の要否の判別を行うよりも、撮像処理の時間を短縮することができる。
撮像者の操作により撮像が開始されると、まず、ステップS301において、A/D変換回路104は、撮像された被写体の画像の信号であるアナログ映像信号をデジタル信号に変換し、RAW画像データとして画像用メモリ領域106に記録する。
次にステップS302において、固体撮像素子102は、メカシャッタを閉じて遮光状態としたままの状態で、撮像時と同じ露光条件の黒画像を取得する。A/D変換回路104は、黒画像の信号であるアナログ映像信号をデジタル信号に変換し、RAW画像データとして、黒画像用メモリ領域107に記録する。
次に、ステップS303において、補正要否判定回路109は、欠陥画素情報用メモリ領域108から、最も低い欠陥グレードの欠陥画素情報(Xアドレス、Yアドレスの位置情報)を取得する。本実施形態においては、欠陥グレード4の欠陥画素情報が取得される。以下では、計算対象となる欠陥グレードを「欠陥グレードN」と称する。最初は、N=4となる。
次にステップS302において、固体撮像素子102は、メカシャッタを閉じて遮光状態としたままの状態で、撮像時と同じ露光条件の黒画像を取得する。A/D変換回路104は、黒画像の信号であるアナログ映像信号をデジタル信号に変換し、RAW画像データとして、黒画像用メモリ領域107に記録する。
次に、ステップS303において、補正要否判定回路109は、欠陥画素情報用メモリ領域108から、最も低い欠陥グレードの欠陥画素情報(Xアドレス、Yアドレスの位置情報)を取得する。本実施形態においては、欠陥グレード4の欠陥画素情報が取得される。以下では、計算対象となる欠陥グレードを「欠陥グレードN」と称する。最初は、N=4となる。
次に、ステップS304において、補正要否判定回路109は、ステップS304で取得した欠陥画素情報から、黒画像の欠陥グレードNの各欠陥画素のそれぞれについて、当該欠陥画素の周囲の画素であって、当該欠陥画素と同色の画素との差分値dを算出する。以下の説明では、この値を、必要に応じて「周囲画素との差分値d」と称する。
周囲画素との差分値dの計算方法の一例の詳細を、図4を参照しながら説明する。尚、前述したように、本実施形態では、固体撮像素子102のカラーフィルターが原色ベイヤー配列で配置されていることを前提に説明するが、固体撮像素子102が、その他の色フィルタを有していていもよい。
周囲画素との差分値dの計算方法の一例の詳細を、図4を参照しながら説明する。尚、前述したように、本実施形態では、固体撮像素子102のカラーフィルターが原色ベイヤー配列で配置されていることを前提に説明するが、固体撮像素子102が、その他の色フィルタを有していていもよい。
図4において、例えば、ステップS303で取得した欠陥画素情報が、欠陥グレード4の欠陥画素R33を示すものであるとする。この場合、欠陥画素R33の周囲の画素(所定範囲(ここでは2画素の範囲内)にある画素)であって、当該画素と同色の画素は、画素R11、R13、R15、R31、R35、R51、R53、R55となる。これらの画素R11、R13、R15、R31、R35、R51、R53、R55の画素値の加算平均値をaveR33とする。加算平均値aveR33は、以下の式(3)により求められる。
aveR33=(R11+R13+R15+R31+R35+R51+R53+R55)/8 ・・・(3)
さらに、加算平均値aveR33と欠陥画素R33との差分値をdR33とすると、周囲画素との差分値dR33は、以下の式(4)により求められる。
dR33=|R33−aveR33| ・・・(4)
aveR33=(R11+R13+R15+R31+R35+R51+R53+R55)/8 ・・・(3)
さらに、加算平均値aveR33と欠陥画素R33との差分値をdR33とすると、周囲画素との差分値dR33は、以下の式(4)により求められる。
dR33=|R33−aveR33| ・・・(4)
ここで、各欠陥グレードの欠陥画素を補正するか否かの判別手法の一例について説明する。
図6は、ある黒画像での各欠陥画素の周囲画素との差分値dの分布の一例を示す図である。図6において、横軸は、各欠陥グレードを表し、縦軸は、各欠陥画素の周辺画素との差分値dのレベルを表している。
図6に示すように、同じ欠陥グレードの欠陥画素であっても、周辺画素との差分値dのレベルにバラツキが存在している。本実施形態では、欠陥グレード単位で、欠陥画素の補正の要否を判定することで撮像処理の簡素化を図っている。このため、各欠陥グレードの画素群における周囲画素との差分値dの代表値を求める。そして、この代表値が、欠陥画素の補正の要否を判定するための閾値以上であれば、欠陥グレードNと、当該欠陥グレードNよりも欠陥の度合いが高い欠陥グレードに属する欠陥画素の補正が必要であると判定する。一方、この代表値が、欠陥画素の補正の要否を判定するための閾値よりも小さければ、該当する欠陥グレードNに属する欠陥画素の補正は不要であると判定する。
また、この代表値の求め方はさまざまである。
本実施形態では、各欠陥グレードにおいて、そこに属するほとんど全ての欠陥画素の周囲画素との差分値dが閾値よりも小さければ、当該欠陥グレードに属する欠陥画素の補正は不要とし、多少でも閾値以上になる可能性がある場合には当該補正が必要であるとする。そのため、本実施形態では、当該欠陥グレードに属する欠陥画素群の周囲画素との差分値dに対して、おおよその最大値を求めるべく(平均値+3σ)の値を算出し、それを代表値としている。
図6は、ある黒画像での各欠陥画素の周囲画素との差分値dの分布の一例を示す図である。図6において、横軸は、各欠陥グレードを表し、縦軸は、各欠陥画素の周辺画素との差分値dのレベルを表している。
図6に示すように、同じ欠陥グレードの欠陥画素であっても、周辺画素との差分値dのレベルにバラツキが存在している。本実施形態では、欠陥グレード単位で、欠陥画素の補正の要否を判定することで撮像処理の簡素化を図っている。このため、各欠陥グレードの画素群における周囲画素との差分値dの代表値を求める。そして、この代表値が、欠陥画素の補正の要否を判定するための閾値以上であれば、欠陥グレードNと、当該欠陥グレードNよりも欠陥の度合いが高い欠陥グレードに属する欠陥画素の補正が必要であると判定する。一方、この代表値が、欠陥画素の補正の要否を判定するための閾値よりも小さければ、該当する欠陥グレードNに属する欠陥画素の補正は不要であると判定する。
また、この代表値の求め方はさまざまである。
本実施形態では、各欠陥グレードにおいて、そこに属するほとんど全ての欠陥画素の周囲画素との差分値dが閾値よりも小さければ、当該欠陥グレードに属する欠陥画素の補正は不要とし、多少でも閾値以上になる可能性がある場合には当該補正が必要であるとする。そのため、本実施形態では、当該欠陥グレードに属する欠陥画素群の周囲画素との差分値dに対して、おおよその最大値を求めるべく(平均値+3σ)の値を算出し、それを代表値としている。
そこで、ステップS305において、補正要否判定回路109は、ステップS304で取得した各欠陥画素の周囲画素との差分値dから、欠陥グレードNにおける「各欠陥画素の周囲画素との差分値dの『平均値A及び標準偏差σ』」を算出する。
各欠陥画素の周囲画素との差分値dの平均値及び標準偏差の計算方法の一例を、図4を参照しながら説明する。
図4において、例えば、欠陥グレード4の欠陥画素を、画素R33、Gr45、Gb52、B66とする。また、ステップS304において、式(3)、式(4)を用いて算出された各欠陥画素R33、Gr45、Gb52、B66の周囲画素との差分値dをdR33、dGr45、dGb52、dB66とする。そうすると、各欠陥画素の周囲画素との差分値dの平均値AG4は、以下の式(5)より求められる。
AG4=(dR33+dGr45+dGb52+dB66)/4 ・・・(5)
さらに、欠陥グレード4の各欠陥画素の周囲画素との差分値dの標準偏差σG4は、以下の式(6)より求められる。
σG4=√[[(dR33−AG4)2+(dGr45−AG4)2+(dGb52−AG4)2+(dB66−AG4)2]/4] ・・・(6)
図4において、例えば、欠陥グレード4の欠陥画素を、画素R33、Gr45、Gb52、B66とする。また、ステップS304において、式(3)、式(4)を用いて算出された各欠陥画素R33、Gr45、Gb52、B66の周囲画素との差分値dをdR33、dGr45、dGb52、dB66とする。そうすると、各欠陥画素の周囲画素との差分値dの平均値AG4は、以下の式(5)より求められる。
AG4=(dR33+dGr45+dGb52+dB66)/4 ・・・(5)
さらに、欠陥グレード4の各欠陥画素の周囲画素との差分値dの標準偏差σG4は、以下の式(6)より求められる。
σG4=√[[(dR33−AG4)2+(dGr45−AG4)2+(dGb52−AG4)2+(dB66−AG4)2]/4] ・・・(6)
図3のフローチャートの説明に戻る。ステップS307において、補正要否判定回路109は、ステップS305で算出した平均値Aと標準偏差σから、欠陥グレードNの代表値Rを算出する。
本実施形態では、前述のとおり、以下の式(7)で欠陥グレード4の代表値RG4を求める。
RG4=AG4+3×σG4 ・・・(7)
尚、ここでは、式(6)での説明を簡単にするために、欠陥グレード4の欠陥画素の数を4つとして代表値Rを計算した。実際には、各欠陥グレード内の欠陥画素は相当数あるため、標準偏差σの計算は有用である。
本実施形態では、前述のとおり、以下の式(7)で欠陥グレード4の代表値RG4を求める。
RG4=AG4+3×σG4 ・・・(7)
尚、ここでは、式(6)での説明を簡単にするために、欠陥グレード4の欠陥画素の数を4つとして代表値Rを計算した。実際には、各欠陥グレード内の欠陥画素は相当数あるため、標準偏差σの計算は有用である。
次に、ステップS307において、補正要否判定回路109は、欠陥グレードNの代表値Rが、欠陥画素の補正の要否を判定するための閾値Th1未満であるか否かを判定する。この判定の結果、欠陥グレードNの代表値Rが閾値Th以上である場合には(NOの場合には)、ステップS309に進む。ステップS309に進むと、画像処理回路110は、次の処理を行う。すなわち、画像処理回路110は、欠陥画素情報用メモリ領域108に記録されている「『欠陥グレードNの欠陥画素情報』と『欠陥グレードN以上の欠陥グレードの欠陥画素情報』」のそれぞれにより特定される欠陥画素欠陥画素に対して欠陥画素補正を行う。
欠陥画素補正の方法は様々である。本実施形態では、例えば、欠陥画素の周囲の画素であって、欠陥画素と同色の画素の画素値から補間値を導出し、導出した補間値に欠陥画素の画素値を置き換える。具体的には、例えば、図6において、欠陥画素R33を補正する場合には、以下の式(8)を用いて、欠陥画素R33の画素値を、欠陥画素R33の周囲の画素であって、欠陥画素R33と同色の画素の画素値の平均値aveR33と置き換える。
R33=aveR33=(R11+R13+R15+R31+R35+R51+R53+R55)/8 ・・・(8)
R33=aveR33=(R11+R13+R15+R31+R35+R51+R53+R55)/8 ・・・(8)
ここで、欠陥グレードNのみでなく、それ以上の欠陥グレードの欠陥画素の画素値も補正するのは、図6からも分かるように、欠陥グレードが上位になるほど(Nが小さいほど)、欠陥画素の欠陥レベルは大きくなると考えられるためである。
このように、本実施形態では、最も低い欠陥グレードから順に、欠陥画素の補正を行う必要がある欠陥グレードであるか否かの判別を行い、補正が必要であると判断された欠陥グレード以上に属する欠陥画素の画素値を補正する。このようにすれば、欠陥画素の補正を行う必要がある欠陥グレードであるか否かの判別を、全ての欠陥グレードに対してそれぞれ行うよりも、撮像処理の時間を短縮することができる。
そして、ステップS309で、欠陥画素の画素値の補正が行われると、そして、図3のフローチャートによる処理を終了する。
このように、本実施形態では、最も低い欠陥グレードから順に、欠陥画素の補正を行う必要がある欠陥グレードであるか否かの判別を行い、補正が必要であると判断された欠陥グレード以上に属する欠陥画素の画素値を補正する。このようにすれば、欠陥画素の補正を行う必要がある欠陥グレードであるか否かの判別を、全ての欠陥グレードに対してそれぞれ行うよりも、撮像処理の時間を短縮することができる。
そして、ステップS309で、欠陥画素の画素値の補正が行われると、そして、図3のフローチャートによる処理を終了する。
一方、ステップS307の判定の結果、欠陥グレードNの代表値Rが閾値Th1を下回った場合(YESの場合)には、欠陥グレードNの欠陥画素は補正を要するほどレベルが高くないと判断できる。よって、この場合にはステップS308に進み、画像処理回路110は、欠陥グレードNの欠陥画素の画素値の補正を行わない(実際にはステップS308の処理は行われない)。そして、ステップS310において、補正要否判定回路109は、最上位の欠陥グレードまで、欠陥画素の補正の要否の判別が終了したか否かを判定する(すなわち、N=0であるか否かを判定する)。
この判定の結果、最上位の欠陥グレードまで、欠陥画素の補正の要否の判別が終了した場合には、全ての画素に対して、欠陥画素の補正が必要ないと判断し、図3のフローチャートを終了する。
一方、最上位の欠陥グレードまで、欠陥画素の補正の要否の判別が終了していない場合には、ステップS311に進む。ステップS311に進むと、補正要否判定回路109は、欠陥画素情報用メモリ領域108から、判別を終えた欠陥グレードの一つ上位の欠陥グレードN−1の欠陥画像情報を、計算対象の欠陥グレードNの欠陥画素情報として取得する。その後は、その欠陥グレードN−1の欠陥画素に対して、ステップS304以降の処理を行う。
ステップS310において、最上位の欠陥グレードまで、欠陥画素の補正の要否の判別が終了したと判定されると、画像処理回路110で欠陥補正以外の画像処理がなされ、記録媒体111に、撮像された画像データが記録される。尚、図2及び図3のフローチャートによる処理の一部又は全部を制御部112で行うこともできる。
一方、最上位の欠陥グレードまで、欠陥画素の補正の要否の判別が終了していない場合には、ステップS311に進む。ステップS311に進むと、補正要否判定回路109は、欠陥画素情報用メモリ領域108から、判別を終えた欠陥グレードの一つ上位の欠陥グレードN−1の欠陥画像情報を、計算対象の欠陥グレードNの欠陥画素情報として取得する。その後は、その欠陥グレードN−1の欠陥画素に対して、ステップS304以降の処理を行う。
ステップS310において、最上位の欠陥グレードまで、欠陥画素の補正の要否の判別が終了したと判定されると、画像処理回路110で欠陥補正以外の画像処理がなされ、記録媒体111に、撮像された画像データが記録される。尚、図2及び図3のフローチャートによる処理の一部又は全部を制御部112で行うこともできる。
以上のように本実施形態では、遮光した状態で撮像された画像データの各検査対象の画素について、当該検査対象の画素の画素値とその周囲の同色の画素の画素値との差分値Dを導出する。導出した差分値Dが、予め設定された範囲に属する場合、当該検査対象の画素は欠陥画素でないと判定し、そうでない場合、当該検査対象の画素は、差分値Dに応じた欠陥グレードに属する欠陥画素であると判定する。この欠陥画素の位置情報と欠陥グレードとを相互に関連付けて記憶しておく。その後、撮像されたときと同じ条件で黒画像を得て、欠陥グレードNの欠陥画素の位置情報から、その黒画像における「欠陥グレードNの欠陥画素」を特定し、特定した欠陥画素の画素値とその周囲の同色の画素の画素値との差分値dの代表値Rを得る。代表値Rが閾値Th1以上となる場合に、欠陥グレードN以上の欠陥グレードの欠陥画素の画素値を補正する。したがって、代表値Rが閾値Th1未満の欠陥グレードの欠陥画素の画素値を補正しないようにすることができ、撮像された画像における欠陥画素の補正が過度に行われることを抑制することができる。よって、無駄な補正痕の発生を回避した最適な欠陥画素の補正を行うことが可能となる。
本実施形態では、各欠陥グレードの欠陥画素を全て用いて、各欠陥グレードの代表値Rを算出するために、ステップS302において、1画面全体の黒画像を記録するようにした。しかしながら、欠陥画素の補正の要否の判別には、必ずしも全ての画素を用いる必要はない。例えば、複数のフィールドのうち、それよりも少ない数のフィールドのみを読み出し、読み出した画素を用いるようにする手法等を採用することができる。このようにすれば、欠陥画素の補正の要否の判別処理の更なる高速化を図ることができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。前述した第1の実施形態では、各欠陥グレードの欠陥画素に対して補正の要否を判別する方法を例示した。しかし、補正が必要な欠陥画素が発生しやすい撮像条件(高温・長秒露光等)では、図2に示す事前の処理で欠陥画素として検出されなかった画素が、欠陥画素として視覚的に目立つ状況が発生することがある。これらの欠陥画素は事前に検出できていないため、どの欠陥グレードにも属していない。そのため、これらの欠陥画素が目立つ状況では欠陥画素の補正以外の対策が必要となっている。
次に、本発明の第2の実施形態について説明する。前述した第1の実施形態では、各欠陥グレードの欠陥画素に対して補正の要否を判別する方法を例示した。しかし、補正が必要な欠陥画素が発生しやすい撮像条件(高温・長秒露光等)では、図2に示す事前の処理で欠陥画素として検出されなかった画素が、欠陥画素として視覚的に目立つ状況が発生することがある。これらの欠陥画素は事前に検出できていないため、どの欠陥グレードにも属していない。そのため、これらの欠陥画素が目立つ状況では欠陥画素の補正以外の対策が必要となっている。
このような状況に対しては、撮像した画像から黒画像を減算する黒引き補正という方法が考えられる。黒画像に発生する欠陥画素は、被写体の撮像時に発生した欠陥画素と同じ位置に発生し、且つ、略同じ信号レベルを有する。このため、撮像した画像から黒画像を減算することで、事前に検出した欠陥画素以外の欠陥画素も含めて、FPN(固定パターンノイズ)を除去することができる。尚、このような補正方法は、FPNを除去できる一方、ランダムノイズが増加するため、常時行えるものではない。
以上のように本実施形態では、欠陥画素の補正の要否の判別を行うに際し(図3を参照)、前記黒引き補正を行うか否かの判別を行えるようにしたものである。したがって、本実施形態の説明において、第1の実施形態と同一の部分については、図1〜図6に付した符号と同一の符号を付す等して詳細な説明を省略する。
本実施形態では、欠陥の度合いが最も低い欠陥グレードの代表値Rが、黒引き補正の要否を判別するための閾値Th2以上である場合に、黒引き補正を行う。この黒引き補正の要否を判別するための閾値Th2の値は、欠陥画素の補正の要否を判別するための閾値Th1よりも大きい。
このような閾値Th1、Th2の大小関係は、事前に欠陥画素として検出されていない画素が欠陥画素として視覚的に目立っている状況では、最も低い欠陥グレードの欠陥画素の画素値がより高いレベルとなっていることと等価であるとの考えから導かれている。
本実施形態では、欠陥の度合いが最も低い欠陥グレードの代表値Rが、黒引き補正の要否を判別するための閾値Th2以上である場合に、黒引き補正を行う。この黒引き補正の要否を判別するための閾値Th2の値は、欠陥画素の補正の要否を判別するための閾値Th1よりも大きい。
このような閾値Th1、Th2の大小関係は、事前に欠陥画素として検出されていない画素が欠陥画素として視覚的に目立っている状況では、最も低い欠陥グレードの欠陥画素の画素値がより高いレベルとなっていることと等価であるとの考えから導かれている。
図7は、黒引き補正の要否と、欠陥画素の補正の要否を判別し、欠陥画素の補正を行う方法の一例を説明するフローチャートである。
本実施形態における、欠陥画素の補正の要否の判別方法は第1の実施形態と同じである(図3を参照)。よって以下では、黒引き補正の要否の判別に着目して、図7を参照しながら、その方法の一例を説明する。
本実施形態における、欠陥画素の補正の要否の判別方法は第1の実施形態と同じである(図3を参照)。よって以下では、黒引き補正の要否の判別に着目して、図7を参照しながら、その方法の一例を説明する。
ステップS701〜S706の処理は、第1の実施形態のステップS301〜306の処理と同じである。
ステップS707に進むと、補正要否判定回路109は、最も低い欠陥グレードである欠陥グレード4の代表値RG4が、黒引き補正の要否を判別するための閾値Th2未満であるか否かを判定する。この判定の結果、欠陥グレード4の代表値RG4が閾値Th2以上である場合(NOの場合)、事前に検出されていない欠陥画素も目立っていることが想定されるため、ステップS708に進み、画像処理回路110は、撮像された画像に対して黒引き補正を行う。そして、図7のフローチャートによる処理を終了する。
ステップS707に進むと、補正要否判定回路109は、最も低い欠陥グレードである欠陥グレード4の代表値RG4が、黒引き補正の要否を判別するための閾値Th2未満であるか否かを判定する。この判定の結果、欠陥グレード4の代表値RG4が閾値Th2以上である場合(NOの場合)、事前に検出されていない欠陥画素も目立っていることが想定されるため、ステップS708に進み、画像処理回路110は、撮像された画像に対して黒引き補正を行う。そして、図7のフローチャートによる処理を終了する。
一方、ステップS707において、欠陥グレード4の代表値RG4が閾値Th2未満であった場合(YESの場合)、黒引き補正は不要であると判断し、ステップS709に進む。
ステップS709〜S716の処理は、第1の実施形態のステップS304〜S311の処理と同じである。
ステップS709〜S716の処理は、第1の実施形態のステップS304〜S311の処理と同じである。
以上のように本実施形態では、最下位の欠陥グレードNの「欠陥画素の画素値とその周囲の同色の画素の画素値との差分値dの代表値R」が閾値Th2以上となる場合には、欠陥画素の補正を行わずに、撮像した画像から黒画像を減算する黒引き補正を行う。したがって、前述した効果に加え、欠陥画素が発生しやすい撮像条件(高温・長秒露光等)で、図2に示す事前の処理で欠陥画素として検出されなかった画素が、欠陥画素として視覚的に目立つ状況が発生することを抑制することができる。
本実施形態では、欠陥グレード4の欠陥画素を使用して、黒引き補正の判別を行う場合を例示した。しかし、他の欠陥グレードの結果願が装置を使用して判別を行なっても同様の効果は得られる。また、欠陥画素の欠陥グレードとは別に、黒引き判別用の欠陥グレードを取得し、それを使用しても同様の効果が得られる。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。前述した第1及び第2の実施形態では、被写体を撮像した後、撮像と同じ条件で遮光状態の撮像をして黒画像を取得し、これ用いて欠陥画素の補正の要否(及び黒引き補正の要否)を判別する方法を例示した。しかし、撮像時に黒画像を追加で取得するのは時間を要してしまうため、毎回黒画像を取得しないですませる手法も非常に有用である。
そこで、本実施形態では、撮像素子の温度が所定値以下であったり、露光時間が所定値以上であったりする撮像条件では、欠陥画素が非常に微量であり、撮像画像に悪影響がないと考えられる。そこで、そのような条件では、黒画像の取得と、欠陥画素の補正の要否の判別とを行わないようにする。このように本実施形態では、第1及び第2の実施形態に対して、撮像素子の温度や露光時間を検出する装置や処理と、撮像素子の温度や露光時間に応じて、黒画像の取得と、欠陥画素の補正の要否の判別とを行わないようにする処理とが追加されたものである。したがって、本実施形態の説明において、第1及び第2の実施形態と同一の部分については、図1〜図7に付した符号と同一の符号を付す等して詳細な説明を省略する。
次に、本発明の第3の実施形態について説明する。前述した第1及び第2の実施形態では、被写体を撮像した後、撮像と同じ条件で遮光状態の撮像をして黒画像を取得し、これ用いて欠陥画素の補正の要否(及び黒引き補正の要否)を判別する方法を例示した。しかし、撮像時に黒画像を追加で取得するのは時間を要してしまうため、毎回黒画像を取得しないですませる手法も非常に有用である。
そこで、本実施形態では、撮像素子の温度が所定値以下であったり、露光時間が所定値以上であったりする撮像条件では、欠陥画素が非常に微量であり、撮像画像に悪影響がないと考えられる。そこで、そのような条件では、黒画像の取得と、欠陥画素の補正の要否の判別とを行わないようにする。このように本実施形態では、第1及び第2の実施形態に対して、撮像素子の温度や露光時間を検出する装置や処理と、撮像素子の温度や露光時間に応じて、黒画像の取得と、欠陥画素の補正の要否の判別とを行わないようにする処理とが追加されたものである。したがって、本実施形態の説明において、第1及び第2の実施形態と同一の部分については、図1〜図7に付した符号と同一の符号を付す等して詳細な説明を省略する。
本実施形態では、撮像時の温度から、補正の判別のための黒画像を取得するか否かを判定する方法について図8を参照しながら説明する。
図8は、黒画像の取得と欠陥画素の補正の要否を判別し、欠陥画素の補正を行う方法の一例を説明するフローチャートである。
本実施形態における、欠陥画素の補正の要否の判別方法は、第1の実施形態と同じである(図3を参照)。よって以下では、黒画像の取得の要否の判別に着目して、図8を参照しながら、その方法の一例を説明する。
図8は、黒画像の取得と欠陥画素の補正の要否を判別し、欠陥画素の補正を行う方法の一例を説明するフローチャートである。
本実施形態における、欠陥画素の補正の要否の判別方法は、第1の実施形態と同じである(図3を参照)。よって以下では、黒画像の取得の要否の判別に着目して、図8を参照しながら、その方法の一例を説明する。
撮像者の操作により撮像が開始すると、まず、ステップS801において、A/D変換回路104は、撮像された被写体の画像の信号であるアナログ映像信号をデジタル信号に変換し、RAW画像データとして画像用メモリ領域106に記録する。
次に、ステップS802において、補正要否判定回路109は、固体撮像素子102の近傍に配置されたサーミスタから、固体撮像素子102の温度の測定値を取得し、記憶部105に記録する。
次に、ステップS803において、補正要否判定回路109は、記憶部105に記録された固体撮像素子102の温度が、事前に設定された温度閾値Th3を超えたか否かを判定する。この判定の結果、固体撮像素子102の温度が閾値Th3を超えている場合には、欠陥画素補正要否の判別を行うべく、ステップS805に進む。ステップS805〜S814の処理は、第1の実施形態のステップS302〜S311の処理と同じである。
次に、ステップS802において、補正要否判定回路109は、固体撮像素子102の近傍に配置されたサーミスタから、固体撮像素子102の温度の測定値を取得し、記憶部105に記録する。
次に、ステップS803において、補正要否判定回路109は、記憶部105に記録された固体撮像素子102の温度が、事前に設定された温度閾値Th3を超えたか否かを判定する。この判定の結果、固体撮像素子102の温度が閾値Th3を超えている場合には、欠陥画素補正要否の判別を行うべく、ステップS805に進む。ステップS805〜S814の処理は、第1の実施形態のステップS302〜S311の処理と同じである。
一方、ステップS803において、固体撮像素子102の温度が閾値Th3以下の場合には、ステップS804に進む。ステップS804に進むと、画像処理回路110は、予め定められた欠陥グレードの欠陥画素の画素値を補正する。そして、図8のフローチャートによる処理を終了する。
以上のように本実施形態では、固体撮像素子102の温度が閾値Th3以下の場合には、黒画像を取得せずに、予め定められた欠陥グレードの欠陥画素の画素値を補正する。したがって、前述した効果に加え、必要なときにだけ黒画像を取得することができ、撮像処理の一層の短縮化を図ることができる。
本実施形態では、固体撮像素子102の温度を用いて黒画像を取得するか否かの判定を行うようにした。しかしながら、実効露光時間や実効感度など、他の撮像時の条件から、黒画像を取得するか否かの判定を行ってもよい。また、複数の条件を組み合わせた結果から、黒画像を取得するか否かの判定を行ってもよい。例えば、固体撮像素子102の温度が所定値未満であり、且つ、実効露光時間が所定値以上である場合に、黒画像を取得せずに、予め定められた欠陥グレードの欠陥画素の画素値を補正するようにすることができる。
また、第2の実施形態の処理に対して本実施形態の処理を行うことができる。この場合、例えば、図7のステップS701、S702の間に、ステップS802、S803の処理を行い、ステップS803でYESと判定されると、ステップS702の処理を行い、NOと判定されると、ステップS804の処理を行うようにすることができる。
また、第2の実施形態の処理に対して本実施形態の処理を行うことができる。この場合、例えば、図7のステップS701、S702の間に、ステップS802、S803の処理を行い、ステップS803でYESと判定されると、ステップS702の処理を行い、NOと判定されると、ステップS804の処理を行うようにすることができる。
尚、前述した各実施形態では、信号レベルの浮きを欠陥の度合いとして評価し、周囲画素との差分値D、dを評価値として求めるようにした。しかしながら、欠陥の度合いを反映する値であれば、必ずしも周囲画素との差分値D、dを評価値として用いる必要はない。例えば、周囲画素との差分値Dの代わりに、各画素のそれぞれの画素値を評価値として用いてもよいし、各画素の画素値のうち閾値を超えるものを評価値として用いてもよい。また、周囲画素との差分値dの代わりに、各欠陥画素のそれぞれの画素値を評価値として用いてもよいし、各欠陥画素の画素値のうち閾値を超えるものを評価値として用いてもよい。
尚、前述した実施形態では、例えば、ステップS204の処理の実行により判別手段が実現され、ステップS205の処理の実行により記憶手段が実現される。
また、例えば、ステップS302、S702、S805の処理の実行により取得手段が実現され、ステップS304、S704、S709、S807の処理の実行により導出手段が実現される。また、周囲画素との差分値dが、評価値(差分値)の一例であり、代表値Rが、評価値(差分値)の代表値の一例である。また、例えば、ステップS307、S712、S810の処理の実行により第1の判定手段が実現され、ステップS309、S708、S714、S804、S812の処理の実行により補正手段が実現される。また、例えば、ステップS303・S310・S311、S703・S715・S716、S806・S813・S814の処理の実行により、欠陥の度合いが低い欠陥グレードから順に欠陥画素の画素値の補正の要否が判定される。また、閾値Th1が第1の閾値の一例である。
また、例えば、ステップS707の処理の実行により第2の判定手段が実現される。また、例えば、ステップS803の処理の実行により第3の判定手段が実現される。
また、例えば、ステップS302、S702、S805の処理の実行により取得手段が実現され、ステップS304、S704、S709、S807の処理の実行により導出手段が実現される。また、周囲画素との差分値dが、評価値(差分値)の一例であり、代表値Rが、評価値(差分値)の代表値の一例である。また、例えば、ステップS307、S712、S810の処理の実行により第1の判定手段が実現され、ステップS309、S708、S714、S804、S812の処理の実行により補正手段が実現される。また、例えば、ステップS303・S310・S311、S703・S715・S716、S806・S813・S814の処理の実行により、欠陥の度合いが低い欠陥グレードから順に欠陥画素の画素値の補正の要否が判定される。また、閾値Th1が第1の閾値の一例である。
また、例えば、ステップS707の処理の実行により第2の判定手段が実現される。また、例えば、ステップS803の処理の実行により第3の判定手段が実現される。
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
(その他の実施例)
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)が当該コンピュータプログラムを読み出して実行する。
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)が当該コンピュータプログラムを読み出して実行する。
100 固体撮像装置、109 補正要否判定回路、110 画像処理回路
Claims (15)
- 撮像素子における欠陥画素の位置と欠陥グレードとを相互に関連付けた欠陥画素情報を記憶する記憶手段と、
前記撮像素子を遮光した状態で、被写体を撮像するときと同じ撮像条件で撮像することにより黒画像を取得する取得手段と、
前記欠陥画素情報に基づいて、前記欠陥グレードが同一である欠陥画素を前記黒画像から抽出し、抽出した各欠陥画素の画素値に基づく評価値を導出する導出手段と、
前記評価値の代表値に基づいて、前記欠陥グレードの欠陥画素の画素値を補正するか否かを判定する第1の判定手段と、
前記第1の判定手段により、前記欠陥グレードの欠陥画素の画素値を補正すると判定された場合に、当該欠陥グレードの欠陥画素の画素値を補正する補正手段と、
を有することを特徴とする撮像装置。 - 前記導出手段は、前記欠陥画素情報に基づいて、前記欠陥グレードが同一である欠陥画素を前記黒画像から抽出し、抽出した各欠陥画素のそれぞれについて、当該欠陥画素の画素値とその周囲の同色の画素の画素値との差分値を、前記評価値として導出することを特徴とする請求項1に記載の撮像装置。
- 前記欠陥画素の画素値とその周囲の同色の画素の画素値との差分値の代表値は、前記差分値の平均値と標準偏差とに基づく値であることを特徴とする請求項2に記載の撮像装置。
- 前記導出手段は、前記判定手段により、前記黒画像から抽出した欠陥画素が属する前記欠陥グレードの欠陥画素の画素値を補正すると判定されるまで、欠陥の度合いが低い欠陥グレードから順に、欠陥グレードが同一である欠陥画素を前記黒画像から抽出し、抽出した各欠陥画素のそれぞれについて、当該欠陥画素の画素値とその周囲の同色の画素の画素値との差分値を繰り返し導出することを特徴とする請求項1〜3の何れか1項に記載の撮像装置。
- さらに、黒画像の画素値を撮像した画像の画素値から減算する黒引き補正を行うか否かを判定する第2の判定手段を有し、
前記補正手段は、前記第2の判定手段により、黒引き補正を行うと判定されると、黒引き補正を行い、
前記第1の判定手段は、前記第2の判定手段により、黒引き補正を行わないと判定された後に、前記欠陥画素の画素値とその周囲の同色の画素の画素値との差分値の代表値に基づいて、前記黒画像から抽出した欠陥画素が属する前記欠陥グレードの欠陥画素の画素値を補正するか否かを判定することを特徴とする請求項1〜4の何れか1項に記載の撮像装置。 - 前記補正手段は、前記第1の判定手段により、前記黒画像から抽出した欠陥画素が属する前記欠陥グレードの欠陥画素を補正すると判定されると、当該欠陥グレードの欠陥画素の画素値と、当該欠陥グレードよりも欠陥の度合いが高いことを示す欠陥グレードの欠陥画素の画素値と、を補正することを特徴とする請求項1〜5の何れか1項に記載の撮像装置。
- 撮像装置の撮像時の条件に応じて、前記取得手段による黒画像の取得を行うか否かを判定する第3の判定手段を有し、
前記補正手段は、前記第3の判定手段により、前記取得手段による黒画像の取得を行わないと判定されると、所定の欠陥グレードに属する欠陥画素の画素値を補正し、
前記取得手段は、前記第3の判定手段により、前記取得手段による黒画像の取得を行うと判定されると、前記撮像素子を遮光した状態で、被写体を撮像したときの撮像条件と同じ条件で撮像することにより黒画像を取得することを特徴とする請求項1〜6の何れか1項に記載の撮像装置。 - 撮像素子における欠陥画素の位置と欠陥グレードとを相互に関連付けた欠陥画素情報を記憶する記憶工程と、
前記撮像素子を遮光した状態で、被写体を撮像するときと同じ撮像条件で撮像することにより黒画像を取得する取得工程と、
前記欠陥画素情報に基づいて、前記欠陥グレードが同一である欠陥画素を前記黒画像から抽出し、抽出した各欠陥画素の画素値に基づく評価値を導出する導出工程と、
前記評価値の代表値に基づいて、前記欠陥グレードの欠陥画素の画素値を補正するか否かを判定する第1の判定工程と、
前記第1の判定工程により、前記欠陥グレードの欠陥画素の画素値を補正すると判定された場合に、当該欠陥グレードの欠陥画素の画素値を補正する補正工程と、
を有することを特徴とする撮像処理方法。 - 前記導出工程は、前記欠陥画素情報に基づいて、前記欠陥グレードが同一である欠陥画素を前記黒画像から抽出し、抽出した各欠陥画素のそれぞれについて、当該欠陥画素の画素値とその周囲の同色の画素の画素値との差分値を、前記評価値として導出することを特徴とする請求項8に記載の撮像処理方法。
- 前記欠陥画素の画素値とその周囲の同色の画素の画素値との差分値の代表値は、前記差分値の平均値と標準偏差とに基づく値であることを特徴とする請求項9に記載の撮像処理方法。
- 前記導出工程は、前記判定工程により、前記黒画像から抽出した欠陥画素が属する前記欠陥グレードの欠陥画素の画素値を補正すると判定されるまで、欠陥の度合いが低い欠陥グレードから順に、欠陥グレードが同一である欠陥画素を前記黒画像から抽出し、抽出した各欠陥画素のそれぞれについて、当該欠陥画素の画素値とその周囲の同色の画素の画素値との差分値を繰り返し導出することを特徴とする請求項8〜10の何れか1項に記載の撮像処理方法。
- さらに、黒画像の画素値を撮像した画像の画素値から減算する黒引き補正を行うか否かを判定する第2の判定工程を有し、
前記補正工程は、前記第2の判定工程により、黒引き補正を行うと判定されると、黒引き補正を行い、
前記第1の判定工程は、前記第2の判定工程により、黒引き補正を行わないと判定された後に、前記欠陥画素の画素値とその周囲の同色の画素の画素値との差分値の代表値に基づいて、前記黒画像から抽出した欠陥画素が属する前記欠陥グレードの欠陥画素の画素値を補正するか否かを判定することを特徴とする請求項8〜11の何れか1項に記載の撮像処理方法。 - 前記補正工程は、前記第1の判定工程により、前記黒画像から抽出した欠陥画素が属する前記欠陥グレードの欠陥画素を補正すると判定されると、当該欠陥グレードの欠陥画素の画素値と、当該欠陥グレードよりも欠陥の度合いが高いことを示す欠陥グレードの欠陥画素の画素値と、を補正することを特徴とする請求項8〜12の何れか1項に記載の撮像処理方法。
- 撮像処理方法の撮像時の条件に応じて、前記取得工程による黒画像の取得を行うか否かを判定する第3の判定工程を有し、
前記補正工程は、前記第3の判定工程により、前記取得工程による黒画像の取得を行わないと判定されると、所定の欠陥グレードに属する欠陥画素の画素値を補正し、
前記取得工程は、前記第3の判定工程により、前記取得工程による黒画像の取得を行うと判定されると、前記撮像素子を遮光した状態で、被写体を撮像したときの撮像条件と同じ条件で撮像することにより黒画像を取得することを特徴とする請求項8〜13の何れか1項に記載の撮像処理方法。 - 撮像素子における欠陥画素の位置と欠陥グレードとを相互に関連付けた欠陥画素情報を記憶する記憶工程と、
前記撮像素子を遮光した状態で、被写体を撮像するときと同じ撮像条件で撮像することにより黒画像を取得する取得工程と、
前記欠陥画素情報に基づいて、前記欠陥グレードが同一である欠陥画素を前記黒画像から抽出し、抽出した各欠陥画素の画素値に基づく評価値を導出する導出工程と、
前記評価値の代表値に基づいて、前記欠陥グレードの欠陥画素の画素値を補正するか否かを判定する第1の判定工程と、
前記第1の判定工程により、前記欠陥グレードの欠陥画素の画素値を補正すると判定された場合に、当該欠陥グレードの欠陥画素の画素値を補正する補正工程と、をコンピュータに実行させることを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010274898A JP2012124778A (ja) | 2010-12-09 | 2010-12-09 | 撮像装置、撮像処理方法、及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010274898A JP2012124778A (ja) | 2010-12-09 | 2010-12-09 | 撮像装置、撮像処理方法、及びコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012124778A true JP2012124778A (ja) | 2012-06-28 |
Family
ID=46505755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010274898A Pending JP2012124778A (ja) | 2010-12-09 | 2010-12-09 | 撮像装置、撮像処理方法、及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012124778A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018085654A (ja) * | 2016-11-24 | 2018-05-31 | 株式会社リコー | 光電変換装置、光電変換方法及び画像形成装置 |
JP2018137586A (ja) * | 2017-02-21 | 2018-08-30 | 株式会社リコー | 画像撮像装置及び電子機器 |
JP2022187308A (ja) * | 2021-06-07 | 2022-12-19 | シャープディスプレイテクノロジー株式会社 | X線撮像装置及びx線撮像装置の制御方法 |
-
2010
- 2010-12-09 JP JP2010274898A patent/JP2012124778A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018085654A (ja) * | 2016-11-24 | 2018-05-31 | 株式会社リコー | 光電変換装置、光電変換方法及び画像形成装置 |
JP2018137586A (ja) * | 2017-02-21 | 2018-08-30 | 株式会社リコー | 画像撮像装置及び電子機器 |
JP2022187308A (ja) * | 2021-06-07 | 2022-12-19 | シャープディスプレイテクノロジー株式会社 | X線撮像装置及びx線撮像装置の制御方法 |
JP7396560B2 (ja) | 2021-06-07 | 2023-12-12 | シャープディスプレイテクノロジー株式会社 | X線撮像装置及びx線撮像装置の制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5631325B2 (ja) | 撮像装置の欠陥検出方法及び撮像装置 | |
JP5311945B2 (ja) | 撮像装置および欠陥画素検出方法 | |
JP5526014B2 (ja) | 撮像装置 | |
US8970742B2 (en) | Image processing apparatus and method capable of performing correction process speedily and easily | |
US9420206B2 (en) | Image-pickup apparatus and method of detecting defective pixel thereof | |
JP6320571B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2010057114A (ja) | 欠陥検出補正装置及び欠陥検出補正方法 | |
JP4453332B2 (ja) | 欠陥画素検出方法、検出装置および撮像装置 | |
JP2009130553A (ja) | 欠陥画素補正方法、欠陥画素補正プログラム及び欠陥画素補正装置 | |
JP5262953B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2012124778A (ja) | 撮像装置、撮像処理方法、及びコンピュータプログラム | |
JP5544285B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
US10623674B2 (en) | Image processing device, image processing method and computer readable recording medium | |
JP2008148115A (ja) | 方向検出を用いた撮像デバイスの画像欠陥補正システム | |
JP5028077B2 (ja) | 撮像装置、及びその欠陥画素の判別方法、並びにプログラム | |
JP4394470B2 (ja) | 撮像装置 | |
WO2018020685A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2008141325A (ja) | 撮像装置及び欠陥補正方法 | |
JP2010178384A (ja) | 画像信号処理回路、カメラ、及び画像信号処理方法 | |
JP4481764B2 (ja) | 撮像素子から出力される信号の補正方法およびそれを用いた画像処理装置 | |
JP2006108918A (ja) | 撮像装置 | |
JP2009284343A (ja) | 撮像装置、欠陥補正装置、欠陥補正方法及びプログラム | |
JP2013115547A (ja) | 撮像装置及びその制御方法 | |
JP2013016901A (ja) | 撮像装置 | |
JP2006129273A (ja) | 撮像装置 |