JP2008141325A - Imaging device and defect correction method - Google Patents
Imaging device and defect correction method Download PDFInfo
- Publication number
- JP2008141325A JP2008141325A JP2006323547A JP2006323547A JP2008141325A JP 2008141325 A JP2008141325 A JP 2008141325A JP 2006323547 A JP2006323547 A JP 2006323547A JP 2006323547 A JP2006323547 A JP 2006323547A JP 2008141325 A JP2008141325 A JP 2008141325A
- Authority
- JP
- Japan
- Prior art keywords
- defect
- signal level
- image data
- temperature
- output signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、欠陥画素を含むデジタル画像データを補正する撮像装置及び欠陥補正方法に関する。 The present invention relates to an imaging apparatus and a defect correction method for correcting digital image data including defective pixels.
CCDやCMOSなどの固体撮像素子は、半導体の局部的な結晶欠陥などによる異常な撮像信号を出力する欠陥画素を所定の割合以下の数だけ有する場合がある。この欠陥画素によって、当該撮像素子が生成した画像データには画質劣化が生じる。
従来、欠陥画素に起因する画質劣化を信号処理によって補正するための方式や回路構成が各種提案されている。例えば、特許文献1には、欠陥画素の位置データ(以降、欠陥データと呼ぶ)を記憶する記憶手段(メモリやバッファ)を持ち、欠陥画素に関するデータを近傍画素の平均値データ等で補間する欠陥補正手段が開示されている。
A solid-state imaging device such as a CCD or CMOS may have a defective pixel that outputs an abnormal imaging signal due to a local crystal defect of a semiconductor or the like at a predetermined ratio or less. Due to this defective pixel, image quality degradation occurs in the image data generated by the imaging device.
Conventionally, various methods and circuit configurations for correcting image quality degradation caused by defective pixels by signal processing have been proposed. For example, Patent Document 1 includes a storage unit (memory or buffer) that stores position data (hereinafter referred to as defect data) of defective pixels, and a defect that interpolates data related to defective pixels with average value data of neighboring pixels or the like. Correction means are disclosed.
特に欠陥画素の中でも白点欠陥と呼ばれる欠陥は、温度依存性を有する。白点欠陥の出力特性は、温度の上昇とともに増大し、その増大量は温度の変化と線形の関係にある。
例えば特許文献1に開示された欠陥画素補正方法では、記憶手段に記憶された欠陥データには、例えば撮像素子製造の際に測定されたデータ、すなわち特定の温度(例えば50℃)で測定されたデータを基にしたデータが使用されている。すなわち、特許文献1に開示された欠陥画素補正方法では、特に白点欠陥に関しては、実際の撮影時の撮像素子の温度(例えば30℃)が記憶手段に記憶された欠陥データの測定時の温度と異なる場合には、正しく補正を行うことができない、という不利益がある。
In particular, a defect called a white point defect among defective pixels has temperature dependency. The output characteristic of the white spot defect increases as the temperature increases, and the amount of increase has a linear relationship with the change in temperature.
For example, in the defective pixel correction method disclosed in Patent Document 1, the defect data stored in the storage means is measured at a specific temperature (for example, 50 ° C.), for example, data measured at the time of manufacturing the image sensor. Data based on data is used. That is, in the defective pixel correction method disclosed in Patent Document 1, particularly for white point defects, the temperature of the image sensor at the time of actual photographing (for example, 30 ° C.) is the temperature at the time of measuring the defect data stored in the storage means. If it is different from the above, there is a disadvantage that correct correction cannot be performed.
このような事態への対処として、例えば特許文献2、3、4に開示されているような技術がある。
特許文献2には、撮像素子の温度が所定のしきい値より高い場合に、撮像した画像中の線状欠陥を補正する撮像装置が開示されている。
特許文献3には、記憶手段に、温度とシャッタ速度に応じた欠陥データが記憶されており、撮影時の温度及びシャッタ速度に対応する欠陥データを使用して欠陥補正を行う画素欠陥補正装置が開示されている。
特許文献4には、記憶手段に各温度範囲毎の撮像素子の固定パターン雑音(欠陥)を記憶し、これを使用して固定パターン雑音を撮像素子の出力信号から減算して固定パターン雑音の除去を行う撮像装置が開示されている。
In
しかし、上述した特許文献2に開示された技術では、撮像素子の温度が所定のしきい値より高いか低いかにより補正を行うか否かを決定しているため、例えば、撮像素子の温度が所定のしきい値を大きく超える温度と、所定のしきい値を僅かに超える温度とにおいて同様の補正を行うので、補正の精度が低い、という不利益がある。
また、特許文献3及び4に開示された技術では、予め記憶手段に温度毎の欠陥データが記憶されているため、予め記憶手段に記憶するべきデータ量が多くなり、記憶手段の増大が必要となってしまう、という不利益がある。
However, in the technique disclosed in
Further, in the techniques disclosed in
本発明は、上述した不利益を解消するために、従来と比較して記憶手段を増大させずに精度よく白点欠陥を補正することができる撮像装置及び欠陥補正方法を提供することを目的とする。 An object of the present invention is to provide an imaging apparatus and a defect correction method capable of correcting white point defects with high accuracy without increasing the storage means compared with the prior art in order to eliminate the disadvantages described above. To do.
上述した目的を達成するために、第1の発明の撮像装置は、画像データを生成する撮像素子と、前記撮像素子が前記画像データを生成した際の前記撮像素子の温度を検知するセンサと、前記撮像素子が生成した前記画像データ中の白点欠陥を検出し、検出された白点欠陥の位置を含む欠陥データを生成する欠陥検出部と、前記センサが検知した前記撮像素子の前記画像データ生成時の温度を基に、撮像素子の温度と、当該撮像素子中の白点欠陥の出力信号レベルとの関係を示す第1のパラメータを使用して、前記欠陥検出部が検出した白点欠陥の出力信号レベルのオフセット値を算出する欠陥信号レベル算出部と、前記欠陥検出部の生成した前記欠陥データを基に、前記撮像素子が生成した前記画像データから前記白点欠陥の出力信号レベルを取得し、当該白点欠陥の出力信号レベルから前記欠陥信号レベル算出部が算出した前記白点欠陥の出力信号レベルのオフセット値を減算することにより、当該白点欠陥の補正を行う欠陥補正部と、を有する。 In order to achieve the above-described object, an imaging device of a first invention includes an imaging device that generates image data, a sensor that detects a temperature of the imaging device when the imaging device generates the image data, A defect detection unit that detects a white spot defect in the image data generated by the image sensor and generates defect data including a position of the detected white spot defect; and the image data of the image sensor detected by the sensor Based on the temperature at the time of generation, the white point defect detected by the defect detection unit using the first parameter indicating the relationship between the temperature of the image sensor and the output signal level of the white point defect in the image sensor. Output signal level of the white point defect from the image data generated by the image sensor based on the defect data generated by the defect detector A defect correction unit that corrects the white point defect by subtracting the offset value of the output signal level of the white point defect calculated by the defect signal level calculation unit from the output signal level of the white point defect Have.
第2の発明の撮像装置は、画像データを生成し、直後に入射光の無い状態で撮影して暗電流ノイズのみの暗電流ノイズ画像を生成する撮像素子と、前記撮像素子が生成した前記暗電流ノイズ画像を基に、暗電流ノイズの信号レベルと、前記撮像素子の温度との関係を示す第2のパラメータを使用して、前記撮像素子の前記画像データ生成時直後の温度を算出する温度算出部と、前記撮像素子が生成した前記画像データ中の白点欠陥を検出し、検出された白点欠陥の位置を含む欠陥データを生成する欠陥検出部と、前記温度算出部が算出した前記撮像素子の前記画像データ生成直後の温度を基に、前記欠陥検出部が検出した白点欠陥の出力信号レベルのオフセット値を算出する欠陥信号レベル算出部と、前記欠陥検出部の生成した前記欠陥データを基に、前記撮像素子が生成した前記画像データから前記白点欠陥の出力信号レベルを取得し、当該白点欠陥の出力信号レベルから前記欠陥信号レベル算出部が算出した前記白点欠陥の出力信号レベルのオフセット値を減算することにより、当該白点欠陥の補正を行う欠陥補正部と、を有する。 An image pickup apparatus according to a second aspect of the present invention generates an image data, and immediately after taking an image without incident light to generate a dark current noise image of only dark current noise, the darkness generated by the image pickup device Based on the current noise image, a temperature at which the temperature immediately after the image data generation of the image sensor is calculated using a second parameter indicating the relationship between the signal level of dark current noise and the temperature of the image sensor A calculation unit; a defect detection unit that detects a white spot defect in the image data generated by the imaging device; and generates defect data including a position of the detected white point defect; and the temperature calculation unit calculates the defect Based on the temperature immediately after the image data generation of the image sensor, a defect signal level calculation unit that calculates an offset value of the output signal level of the white spot defect detected by the defect detection unit, and the defect generated by the defect detection unit Day The white spot defect output signal level is obtained from the image data generated by the image sensor, and the white spot defect output calculated by the defect signal level calculation unit from the white spot defect output signal level. A defect correction unit that corrects the white point defect by subtracting the offset value of the signal level.
第3の発明の欠陥補正方法は、撮像素子を有する撮像装置の欠陥補正方法であって、前記撮像素子が画像データを生成する第1の工程と、前記画像データを生成した際の前記撮像素子の温度を検知する第2の工程と、前記第1の工程において前記撮像素子が生成した前記画像データ中の白点欠陥を検出し、検出された白点欠陥の位置を含む欠陥データを生成する第3の工程と、前記第2の工程において検知された前記撮像素子の前記画像データ生成時の温度を基に、撮像素子の温度と、当該撮像素子中の白点欠陥の出力信号レベルとの関係を示す第1のパラメータを使用して、前記第3の工程において検出された白点欠陥の出力信号レベルのオフセット値を算出する第4の工程と、前記第3の工程において生成された前記欠陥データを基に、前記撮像素子が生成した前記画像データから前記白点欠陥の出力信号レベルを取得し、当該白点欠陥の出力信号レベルから前記第4の工程において算出された前記白点欠陥の出力信号レベルのオフセット値を減算することにより、当該白点欠陥の補正を行う第5の工程と、を有する。 A defect correction method according to a third aspect of the present invention is a defect correction method for an image pickup apparatus having an image sensor, wherein the image sensor generates image data, and the image sensor when the image data is generated. And detecting a white spot defect in the image data generated by the imaging device in the first process, and generating defect data including the position of the detected white spot defect. Based on the temperature at the time of image data generation of the image sensor detected in the third step and the second step, the temperature of the image sensor and the output signal level of the white point defect in the image sensor A fourth step of calculating an offset value of the output signal level of the white spot defect detected in the third step using the first parameter indicating the relationship; and the step generated in the third step Based on the defect data An output signal level of the white spot defect is acquired from the image data generated by the imaging device, and an offset of the output signal level of the white spot defect calculated in the fourth step from the output signal level of the white spot defect And a fifth step of correcting the white spot defect by subtracting the value.
第4の発明の欠陥補正方法は、撮像素子を有する撮像装置の欠陥補正方法であって、前記撮像素子が画像データを生成し、直後に入射光の無い状態で撮影して暗電流ノイズのみの暗電流ノイズ画像を生成する第6の工程と、前記第6の工程において生成された前記暗電流ノイズ画像を基に、暗電流ノイズの信号レベルと、前記撮像素子の温度との関係を示す第2のパラメータを使用して、前記撮像素子の前記画像データ生成時直後の温度を算出する第7の工程と、前記第6の工程において生成された前記画像データ中の白点欠陥を検出し、検出された白点欠陥の位置を含む欠陥データを生成する第8の工程と、前記第7の工程において算出された前記撮像素子の前記画像データ生成直後の温度を基に、前記第8の工程において検出された白点欠陥の出力信号レベルのオフセット値を算出する第9の工程と、前記前記第8の工程において生成された前記欠陥データを基に、前記撮像素子が生成した前記画像データから前記白点欠陥の出力信号レベルを取得し、当該白点欠陥の出力信号レベルから前記第9の工程において算出された前記白点欠陥の出力信号レベルのオフセット値を減算することにより、当該白点欠陥の補正を行う第10の工程と、を有する。 A defect correction method according to a fourth aspect of the present invention is a defect correction method for an image pickup apparatus having an image pickup device, wherein the image pickup device generates image data, and immediately after that, an image is taken without incident light and only dark current noise is detected. A sixth step of generating a dark current noise image, and a sixth step showing a relationship between a dark current noise signal level and the temperature of the image sensor based on the dark current noise image generated in the sixth step. A white point defect in the image data generated in the seventh step of calculating the temperature immediately after the image data generation time of the image sensor using the parameter of 2, and the sixth step; An eighth step of generating defect data including the position of the detected white spot defect, and the eighth step based on the temperature immediately after the generation of the image data of the image sensor calculated in the seventh step. White spot detected in The output of the white spot defect from the image data generated by the imaging device based on the defect data generated in the ninth step of calculating the offset value of the output signal level of the defect and the eighth step The signal level is acquired, and the white point defect correction is performed by subtracting the offset value of the output signal level of the white point defect calculated in the ninth step from the output signal level of the white point defect. 10 steps.
本発明によれば、従来と比較して記憶手段を増大させずに精度よく白点欠陥を補正することができる撮像装置及び欠陥補正方法を提供することができる。 According to the present invention, it is possible to provide an imaging apparatus and a defect correction method capable of correcting a white spot defect with high accuracy without increasing the storage means as compared with the prior art.
<第1実施形態>
以下、第1実施形態の撮像装置100について説明する。
図1に示すように、撮像装置100は撮像素子1、A/D変換部2、欠陥検出部3、欠陥信号レベル算出部4、欠陥補正部5、信号処理部6、メモリ7を有する。
図1は、撮像装置100の構成例を示すブロック図である。
<First Embodiment>
Hereinafter, the
As illustrated in FIG. 1, the
FIG. 1 is a block diagram illustrating a configuration example of the
撮像素子1は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等により構成された受光素子であり、図1に図示しないレンズが集光した光をアナログの電気信号(画像データ)に変換して出力する。
また、撮像素子1はセンサ11を有する。
センサ11は、撮像素子1の各画素の温度を検知する。
A/D変換部2は、撮像装置1が生成したアナログの画像データをデジタル画像データに変換して出力する。
The imaging element 1 is a light receiving element configured by a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like, and converts the light collected by a lens (not shown in FIG. 1) into an analog electrical signal (image data). Convert and output.
Further, the image sensor 1 has a
The
The A /
欠陥検出部3は、A/D変換部2が出力したデジタル画像データ中の全ての白点欠陥を検出し、その位置を欠陥データとして後述するメモリ7に記憶させる。
欠陥検出部3の白点欠陥の検出方法については本発明では限定しない。従来の技術を利用することができる。
The
The detection method of the white spot defect of the
欠陥信号レベル算出部4は、センサ11が検知した撮像素子1の画像データ生成時の温度を基に、欠陥検出部3が検出した白点欠陥の出力する信号レベルの値を算出する。
以下、欠陥信号レベル算出部4の欠陥信号レベル算出処理について説明する。
The defect signal
Hereinafter, the defect signal level calculation process of the defect signal
白点欠陥は、撮像素子1を構成する半導体に暗電流が発生し、欠陥ではない画素と比較して信号出力が大きくなる欠陥である。暗電流は、撮像素子の動作温度の上昇に伴い増大するため、白点欠陥における信号出力も撮像素子の温度が上昇することにより増大する。 The white spot defect is a defect in which a dark current is generated in a semiconductor constituting the image sensor 1 and a signal output is larger than that of a pixel that is not a defect. Since the dark current increases as the operating temperature of the image sensor increases, the signal output at the white spot defect also increases as the temperature of the image sensor increases.
図2に白点欠陥の温度による出力増大の具体例を示す。
図2は、特定の白点欠陥における、撮像素子に入射する光量(単位は限定しない)と、白点欠陥が出力する出力レベル(単位mV)と、温度との関係を示す図である。
図2において、原点を通過する実線は、当該画素が白点欠陥で無かった場合の出力信号レベルと光量との関係を、破線は白点欠陥の温度(撮像素子の温度)が25℃であるときの当該白点欠陥からの出力信号レベルと光量との関係を、長鎖線は白点欠陥の温度が50℃であるときの当該白点欠陥からの出力信号レベルと光量との関係を、それぞれ示している。
FIG. 2 shows a specific example of the output increase due to the temperature of the white spot defect.
FIG. 2 is a diagram illustrating the relationship between the amount of light incident on the image sensor (unit is not limited), the output level (unit mV) output by the white spot defect, and temperature in a specific white spot defect.
In FIG. 2, the solid line passing through the origin indicates the relationship between the output signal level and the amount of light when the pixel is not a white spot defect, and the broken line is the temperature of the white spot defect (temperature of the image sensor) is 25 ° C. The relationship between the output signal level from the white spot defect and the amount of light, and the long chain line represents the relationship between the output signal level from the white spot defect and the amount of light when the temperature of the white spot defect is 50 ° C., respectively. Show.
図2に示すように、白点欠陥の温度が高くなればなるほど、同じ光量に対する出力信号レベルが増大していることが分かる。
また、同じ光量においては、当該画素が白点欠陥で無かった場合の出力信号レベルと白点欠陥が50℃のときの出力信号レベルとの差(5mV)は、当該画素が白点欠陥で無かった場合の出力信号レベルと白点欠陥が25℃のときの出力信号レベルとの差(2.5mV)の2倍である。このように、白点欠陥の出力信号レベルと、当該画素が白点欠陥で無かった場合の出力信号レベルとの差(以下オフセット成分と称する)は、温度(℃)に比例することが経験的に分かっている。
As shown in FIG. 2, it can be seen that the higher the temperature of the white spot defect, the higher the output signal level for the same amount of light.
For the same amount of light, the difference (5 mV) between the output signal level when the pixel is not a white point defect and the output signal level when the white point defect is 50 ° C. is that the pixel is not a white point defect. This is twice the difference (2.5 mV) between the output signal level and the output signal level when the white spot defect is 25 ° C. Thus, the difference between the output signal level of the white spot defect and the output signal level when the pixel is not a white spot defect (hereinafter referred to as an offset component) is empirically proportional to the temperature (° C.). I know.
図3に、白点欠陥が出力する信号レベルと、温度との関係の一例を示す。白点欠陥が出力する信号レベルと欠陥が無い撮像素子の出力信号レベルとの差は、温度(℃)に比例するため、白点欠陥が出力する信号レベルと、温度との関係は、図3に示すように一次線形の関係となる。従って、撮像装置100の製造時等に、少なくとも2つの異なる温度において撮像素子1に固有の白点欠陥の出力レベルを測定することによって、例えば図3に示すような白点欠陥が出力する信号レベルと温度との関係式を構成するためのパラメータ(傾き及び切片:以下出力/温度パラメータと称する、本発明の第1のパラメータに相当)を予め算出しておくことができ、欠陥信号レベル算出部4は、当該出力/温度パラメータを使用して、センサ11が検知した撮像装置100の使用時の撮像素子1の温度を基に、当該白色欠陥のオフセット成分を求めることができる。
FIG. 3 shows an example of the relationship between the signal level output by the white spot defect and the temperature. Since the difference between the signal level output by the white spot defect and the output signal level of the image sensor without the defect is proportional to the temperature (° C.), the relationship between the signal level output by the white spot defect and the temperature is shown in FIG. As shown in FIG. Therefore, by measuring the output level of the white spot defect inherent to the image sensor 1 at at least two different temperatures when the
以上のようにして、欠陥信号レベル算出部4は、センサ11が検知した撮像素子1の画像データ生成時の温度の値と、予め後述するメモリ7に記憶された出力/温度パラメータと、欠陥検出部3が検出した欠陥データとを基に、欠陥検出部3が検出した全ての白点欠陥のオフセット成分を算出する。
As described above, the defect signal
欠陥補正部5は、欠陥信号レベル算出部4が算出した全ての白点欠陥のオフセット成分を使用して、各白点欠陥の出力レベルを補正する。
上述したように、オフセット成分とは白点欠陥の出力信号レベルと、当該画素が白点欠陥で無かった場合の出力信号レベルとの差であるから、撮像素子1が生成しA/D変換部2がA/D変換した画像データ上における白点欠陥の出力信号レベルから、オフセット成分を減ずることによって、当該画素が白色欠陥で無かった場合の出力信号レベルを算出することができる。すなわち、白色欠陥を補正することができる。
すなわち、欠陥補正部5は、撮像素子1が生成しA/D変換部2がA/D変換したデジタル画像データにおける、欠陥検出部3が検出した全ての白色欠陥の出力信号レベルから、欠陥信号レベル算出部4が算出した白点欠陥のオフセット成分を減算することによって、各白色欠陥の補正を行う。
The
As described above, the offset component is the difference between the output signal level of the white spot defect and the output signal level when the pixel is not a white spot defect. By subtracting the offset component from the output signal level of the white spot defect on the
In other words, the
信号処理部6は、欠陥補正部5が欠陥補正を行ったデジタル画像データに、輝度信号・式差信号生成処理、自動露光処理、自動焦点処理、色信号処理(ホワイトバランス調整、γ処理等)、輝度信号処理(低周波部分抽出等)等のデジタル画像信号処理を行い、出力する。
メモリ7は、欠陥検出部3が検出した欠陥データを記憶する記憶装置である。また、メモリ7は、撮像装置100の製造時に、予め撮像素子1の出力/温度パラメータを記憶している。
The
The memory 7 is a storage device that stores defect data detected by the
次に、撮像装置100の白色欠陥補正時の動作例について説明する。
図4は、撮像装置100の動作例を示すフローチャートである。
ステップST1:
撮像素子1がアナログ画像データを生成する。
ステップST2:
センサ11が画像データ生成時の撮像素子1の各画素の温度を検知する。
Next, an operation example at the time of white defect correction of the
FIG. 4 is a flowchart illustrating an operation example of the
Step ST1:
The image sensor 1 generates analog image data.
Step ST2:
The
ステップST3:
A/D変換部2が、ステップST1において撮像素子1が生成したアナログ画像データをA/D変換してデジタル画像データを出力する。
ステップST4:
欠陥検出部3が、ステップST3においてA/D変換部2が出力したデジタル画像データの全画素に対して白色欠陥であるか否かの判定を行い、全ての白色欠陥を検出する。欠陥検出部3は検出した白色欠陥の位置を欠陥データとしてメモリ7に記憶させる。
Step ST3:
The A /
Step ST4:
The
ステップST5:
欠陥信号レベル算出部4は、ステップST4において欠陥検出部3が検出した全ての白色欠陥に対して、センサ11が検知したそれぞれの白色欠陥の温度と、メモリ7に予め記憶された出力/温度パラメータとを基に、それぞれの白色欠陥のオフセット成分を算出する。
ステップST6:
欠陥補正部5は、ステップST3においてA/D変換部2が出力したデジタル画像データから、全ての白色欠陥の出力信号レベルをステップST4において欠陥検出部3が出力した欠陥データを基に取得し、それぞれの白色欠陥の出力信号レベルからステップST5において欠陥信号レベル算出部4が算出した、対応する白色欠陥のオフセット成分を減算し、当該画素の正常な出力信号レベルを算出することによって欠陥補正を行う。
ステップST7:
信号処理部6は、ステップST6において欠陥補正部5が全ての白色欠陥の欠陥補正を行ったデジタル画像データに、各種信号処理を行い、出力する。ここで信号処理部6が行う各種信号処理に関しては、本発明では限定しない。
Step ST5:
The defect signal
Step ST6:
The
Step ST7:
The
以上説明したように、本実施形態の撮像装置100では、白点欠陥の出力信号レベルと、当該画素が白点欠陥で無かった場合の出力信号レベルとの差(オフセット成分)が温度(℃)に比例することを利用して、撮像素子1の画像データ生成時にセンサ11が検知した各画素の温度を基に欠陥信号レベル算出部4が全ての白点欠陥のオフセット成分を算出し、欠陥補正部5が撮像素子1が生成しA/D変換部2がA/D変換したデジタル画像データにおける各白点欠陥の出力信号レベルから、欠陥信号レベル算出部4が算出した、対応する白点欠陥のオフセット成分を減算することによって、白点欠陥の補正を行うことができる。
As described above, in the
これにより、本実施形態の撮像装置100は、画像データ生成時の撮像素子の温度に合わせた白色欠陥補正を行うので、精度の高い欠陥補正を行うことができる。
また、撮像装置100の製造時にメモリ7に予め記憶しておく必要があるのは、出力/温度パラメータのみであり、当該出力/温度パラメータは傾き及び切片の2つの情報のみで構成されているため、予めメモリ7に記憶されるべき情報量が少なくて済み、撮像装置100全体の構成要素及び製造時の工程をも少なく抑えることが可能である。
Thereby, since the
Further, only the output / temperature parameter needs to be stored in advance in the memory 7 at the time of manufacturing the
<第2実施形態>
以下、第2実施形態の撮像装置101について説明する。
図5は、第2実施形態の撮像装置101の構成例を示すブロック図である。
図5に示すように、撮像装置101は、撮像素子1、A/D変換部2、欠陥検出部3、欠陥信号レベル算出部4、欠陥補正部5、信号処理部6、メモリ7、温度算出部8を有する。
すなわち、本実施形態の撮像装置101は、センサ11及び温度算出部8を除いて第1実施形態の撮像装置100と同様の構成を有する。
本実施形態の撮像装置101は、センサ11の代わりに温度算出部8が画像データ生成時の撮像素子1の各画素の温度を推定する点において、第1実施形態の撮像装置100と異なっている。
<Second Embodiment>
Hereinafter, the
FIG. 5 is a block diagram illustrating a configuration example of the
As shown in FIG. 5, the
That is, the
The
撮像素子1は、CCDやCMOS等により構成された受光素子であり、図5に図示しないレンズが集光した光をアナログの電気信号(画像データ)に変換して出力する。
なお、本実施形態においては、撮像素子1は各画素の温度を検知するセンサ11を有さない。
また、撮像素子1は、アナログ画像データを撮影直後、同じ露光時間で遮光空間を撮影し、暗電流ノイズのみの画像を生成する。この暗電流ノイズ画像は、後述する温度算出部8が温度算出に使用するための画像データである。
A/D変換部2は、撮像装置1が生成したアナログ画像データ(及び暗電流ノイズ画像)をデジタル画像データに変換して出力する。
The imaging element 1 is a light receiving element configured by a CCD, a CMOS, or the like, and converts the light collected by a lens (not shown in FIG. 5) into an analog electric signal (image data) and outputs it.
In the present embodiment, the image sensor 1 does not have the
In addition, immediately after analog image data is captured, the image sensor 1 captures the light-shielding space with the same exposure time, and generates an image with only dark current noise. This dark current noise image is image data used by a
The A /
欠陥検出部3は、A/D変換部2が出力したデジタル画像データ中の全ての白点欠陥を検出し、その位置を欠陥データとしてメモリ7に記憶させる。
欠陥検出部3の白点欠陥の検出方法については本発明では限定しない。従来の技術を利用することができる。
The
The detection method of the white spot defect of the
欠陥信号レベル算出部4は、後述する温度算出部8が検知した撮像素子1の画像データ生成時の温度の値と、予め後述するメモリ7に記憶された出力/温度パラメータと、欠陥検出部3が検出した欠陥データとを基に、第1実施形態において説明した方法と同様の方法で欠陥検出部3が検出した全ての白点欠陥のオフセット成分を算出する。
The defect signal
欠陥補正部5は、撮像素子1が生成しA/D変換部2がA/D変換したデジタル画像データにおける、欠陥検出部3が検出した全ての白色欠陥の出力信号レベルから、欠陥信号レベル算出部4が算出した白点欠陥のオフセット成分を減算することによって、各白色欠陥の補正を行う。
The
信号処理部6は、欠陥補正部5が欠陥補正を行ったデジタル画像データに、輝度信号・式差信号生成処理、自動露光処理、自動焦点処理、色信号処理(ホワイトバランス調整、γ処理等)、輝度信号処理(低周波部分抽出等)等のデジタル画像信号処理を行い、出力する。
メモリ7は、欠陥検出部3が検出した欠陥データを記憶する記憶装置である。また、メモリ7は、後述する温度算出用パラメータ(本発明の第2のパラメータに相当)と、第1実施形態において説明した出力/温度パラメータとを予め記憶している。
The
The memory 7 is a storage device that stores defect data detected by the
温度算出部8は、撮像素子1が画像データの撮影直後に生成した、暗電流ノイズ画像を基に、撮像素子1の画像データ生成時の温度を算出する。
暗電流ノイズ画像は、撮像素子1が入射光を感知しない状態で生成した画像であるため、本来は全ての画素において信号レベルが0となるはずである。
しかし、CCDやCMOS等の固体撮像素子は、一般に入射光を遮蔽した状態においても出力電圧が生じる暗出力(暗電圧)特性を有し、これに伴って暗電流と呼ばれる微電流が発生する。このため、暗電流ノイズ画像には、暗電流に起因する信号(暗電流ノイズ)のみが撮影されている。
ここで、暗電流は、概ね8℃の撮像素子の温度の変化(上昇)により約2倍に増大するという温度依存性を有していることが経験的に分かっている。すなわち、暗電流と、撮像素子の温度の上昇との間には、指数関数的な関係があることになる。
加えて、暗電流ノイズ画像に写っている暗電流ノイズの信号レベルは、暗電流に比例することから、概ね8℃の撮像素子の温度上昇により、暗電流ノイズ画像内の暗電流ノイズの信号レベルも約2倍となり、撮像素子の温度上昇と暗電流ノイズ画像内の暗電流ノイズの信号レベルとの間にも指数関数的な関係があることが分かる。
The
Since the dark current noise image is an image generated in a state where the image sensor 1 does not sense incident light, the signal level should be zero in all pixels.
However, a solid-state imaging device such as a CCD or CMOS generally has a dark output (dark voltage) characteristic in which an output voltage is generated even in a state where incident light is shielded, and accordingly, a minute current called a dark current is generated. For this reason, only the signal (dark current noise) resulting from the dark current is captured in the dark current noise image.
Here, it has been empirically found that the dark current has a temperature dependency of approximately twice as large as a temperature change (rise) of the image sensor of about 8 ° C. That is, there is an exponential relationship between the dark current and the temperature rise of the image sensor.
In addition, since the signal level of dark current noise reflected in the dark current noise image is proportional to the dark current, the signal level of dark current noise in the dark current noise image is increased by a temperature rise of the image sensor of about 8 ° C. Also, it can be seen that there is an exponential relationship between the temperature rise of the image sensor and the dark current noise signal level in the dark current noise image.
従って、例えば撮像装置101の製造時等に、所定の温度において、撮像素子1の暗電流ノイズ画像を撮影し、暗電流ノイズ画像内の暗電流ノイズの信号レベルと、温度との関係を示す関係式を導出することが可能である。この関係式は指数関数であることが上述した理由により分かっているため、この関係式のパラメータ(上述した温度算出用パラメータ)をメモリ7に記憶しておくことによって、温度算出部8は、撮像素子1が画像データ生成直後に撮影した暗電流ノイズ画像を基に、当該温度算出用パラメータを含む関係式によって、撮像素子1の温度を算出することができる。
温度算出部8は、以上のようにして、撮像素子1が画像データ生成直後に撮影した暗電流ノイズ画像を基に、メモリ7に予め記憶された温度算出用パラメータを使用して撮像素子1の画像データ撮影時(直後)の温度を算出する。
Therefore, for example, at the time of manufacturing the
As described above, the
以下、本実施形態の撮像装置101の動作例について説明する。
図6は、第2実施形態の撮像装置101の動作例を説明するためのフローチャートである。
ステップST11:
撮像素子1がアナログ画像データを生成する。また、撮像素子1は、アナログ画像データを撮影直後、同じ露光時間で遮光空間を撮影し、暗電流ノイズのみの画像を生成する。
ステップST12:
A/D変換部2が、ステップST11において撮像素子1が生成したアナログ画像データをA/D変換してデジタル画像データを出力する。
Hereinafter, an operation example of the
FIG. 6 is a flowchart for explaining an operation example of the
Step ST11:
The image sensor 1 generates analog image data. In addition, immediately after analog image data is captured, the image sensor 1 captures the light-shielding space with the same exposure time, and generates an image with only dark current noise.
Step ST12:
The A /
ステップST13:
欠陥検出部3が、A/D変換部2が出力したデジタル画像データの全画素に対して白色欠陥であるか否かの判定を行い、全ての白色欠陥を検出する。欠陥検出部3は検出した白色欠陥の位置を欠陥データとしてメモリ7に記憶させる。
ステップST14:
温度算出部8は、撮像素子1が画像データ生成直後に撮影した暗電流ノイズ画像を基に、メモリ7に予め記憶された温度算出用パラメータを使用して撮像素子1の画像データ撮影時(直後)の温度を算出する。
Step ST13:
The
Step ST14:
The
ステップST15:
欠陥信号レベル算出部4は、ステップST14において温度算出部8が算出した画像データ生成直後の撮像素子1の温度と、メモリ7に予め記憶された出力/温度パラメータとを基に、画像データ全体の白色欠陥のオフセット成分を算出する。
ステップST16:
欠陥補正部5は、ステップST12においてA/D変換部2が出力したデジタル画像データから、全ての白色欠陥の出力信号レベルをステップST3において欠陥検出部3が出力した欠陥データを基に取得し、それぞれの白色欠陥の出力信号レベルからステップST15において欠陥信号レベル算出部4が算出した白色欠陥の出力信号レベルのオフセット成分を減算し、当該画素の正常な出力信号レベルを算出することによって欠陥補正を行う。
Step ST15:
The defect signal
Step ST16:
The
ステップST17:
信号処理部6は、ステップST16において欠陥補正部5が全ての白色欠陥の欠陥補正を行ったデジタル画像データに、各種信号処理を行い、出力する。ここで信号処理部6が行う各種信号処理に関しては、本発明では限定しない。
Step ST17:
The
以上説明したように、本実施形態の撮像装置101では、画像データ生成直後に撮像素子1が撮影した暗電流ノイズ画像を基に、メモリ7に予め記憶された温度算出用パラメータを使用して撮像素子1の画像データ撮影時(直後)の温度を温度算出部8が算出するため、第1実施形態の撮像装置100と比較してセンサ11が必要ない分だけ、撮像装置101の部品点数を少なくすることができ、従って、製造時の工程数が少なくなり、製造コストが低下する、という効果を奏する。
As described above, in the
本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
The present invention is not limited to the embodiment described above.
That is, when implementing the present invention, various modifications, combinations, sub-combinations, and alternatives may be made to the components of the above-described embodiments within the technical scope of the present invention or an equivalent scope thereof.
例えば、上述した実施形態の撮像装置100及び101においては、欠陥信号レベル算出部4は、撮像素子1の温度を基に白色欠陥の出力信号レベルのオフセット成分を算出していたが、白色欠陥の出力信号レベルのオフセット成分は撮像素子の温度だけでなく露光時間にも依存していることが分かっているため、この事実を利用して、露光時間と白色欠陥の出力信号レベルのオフセット成分との関係式を予め導出することによって、欠陥信号レベル算出部4は温度とともに画像データ生成時の露光時間を利用して白色欠陥の出力信号レベルのオフセット成分を算出するようにしても良い。この場合、より正確な白色欠陥の出力信号レベルのオフセット成分を算出することができるようになる。
For example, in the
また、上述した実施形態の撮像装置100及び101においては、A/D変換部2が出力したデジタル画像データから、全ての白色欠陥の出力信号レベルを欠陥検出部3が出力した欠陥データを基に取得し、それぞれの白色欠陥の出力信号レベルから欠陥信号レベル算出部4が算出した白色欠陥の出力信号レベルのオフセット成分を減算し、当該画素の正常な出力信号レベルを算出することによって欠陥補正部5は欠陥補正を行っていたが、本発明はこれには限定されない。例えば、低温時の撮影等、撮像素子の温度と周囲との温度差が大きくなってしまうような場合には、白色欠陥の出力信号レベルのオフセット成分が大きくなってしまい、当該オフセット成分の信頼性が低下してしまう。そこで、このような場合には、所定のオフセット成分のしきい値を予め設定しておき、算出されたオフセット成分が当該しきい値より小さい場合には上述した実施形態と同様、欠陥補正部5はデジタル画像データの白色欠陥出力信号レベルからオフセット値を減算して補正を行い、算出されたオフセット成分が当該しきい値より大きい場合には、欠陥補正部5は、デジタル画像データにおいて白色欠陥の周囲に存在する画素値を用いて白色欠陥補正を行うような構成としても良い。白色欠陥の周囲に存在する画素値を用いて白色欠陥補正とは、例えば周辺画素値を平均して白色欠陥の画素値とするような方法であり、従来の技術を利用することができる。
In the
なお、上述した実施形態の撮像装置100及び101における欠陥検出部3、欠陥信号レベル算出部4、欠陥補正部5、温度算出部8は、ハードウェア的に構成されていてもよいし、ソフトウェア的に構成されていてもよい。
Note that the
100,101…撮像装置、1…撮像素子、11…センサ、2…A/D変換部、3…欠陥検出部、4…欠陥信号レベル算出部、5…欠陥補正部、6…信号処理部、7…メモリ、8…温度算出部 DESCRIPTION OF SYMBOLS 100,101 ... Imaging device, 1 ... Imaging element, 11 ... Sensor, 2 ... A / D conversion part, 3 ... Defect detection part, 4 ... Defect signal level calculation part, 5 ... Defect correction part, 6 ... Signal processing part, 7: Memory, 8 ... Temperature calculation unit
Claims (4)
前記撮像素子が前記画像データを生成した際の前記撮像素子の温度を検知するセンサと、
前記撮像素子が生成した前記画像データ中の白点欠陥を検出し、検出された白点欠陥の位置を含む欠陥データを生成する欠陥検出部と、
前記センサが検知した前記撮像素子の前記画像データ生成時の温度を基に、撮像素子の温度と、当該撮像素子中の白点欠陥の出力信号レベルとの関係を示す第1のパラメータを使用して、前記欠陥検出部が検出した白点欠陥の出力信号レベルのオフセット値を算出する欠陥信号レベル算出部と、
前記欠陥検出部の生成した前記欠陥データを基に、前記撮像素子が生成した前記画像データから前記白点欠陥の出力信号レベルを取得し、当該白点欠陥の出力信号レベルから前記欠陥信号レベル算出部が算出した前記白点欠陥の出力信号レベルのオフセット値を減算することにより、当該白点欠陥の補正を行う欠陥補正部と、
を有する撮像装置。 An image sensor for generating image data;
A sensor that detects the temperature of the image sensor when the image sensor generates the image data;
A defect detection unit that detects a white spot defect in the image data generated by the image sensor and generates defect data including a position of the detected white spot defect;
Based on the temperature of the image sensor detected by the sensor when the image data is generated, the first parameter indicating the relationship between the temperature of the image sensor and the output signal level of the white point defect in the image sensor is used. A defect signal level calculation unit that calculates an offset value of the output signal level of the white spot defect detected by the defect detection unit;
Based on the defect data generated by the defect detection unit, the output signal level of the white spot defect is acquired from the image data generated by the imaging device, and the defect signal level is calculated from the output signal level of the white spot defect. A defect correction unit that corrects the white point defect by subtracting the offset value of the output signal level of the white point defect calculated by the unit;
An imaging apparatus having
前記撮像素子が生成した前記暗電流ノイズ画像を基に、暗電流ノイズの信号レベルと、前記撮像素子の温度との関係を示す第2のパラメータを使用して、前記撮像素子の前記画像データ生成時直後の温度を算出する温度算出部と、
前記撮像素子が生成した前記画像データ中の白点欠陥を検出し、検出された白点欠陥の位置を含む欠陥データを生成する欠陥検出部と、
前記温度算出部が算出した前記撮像素子の前記画像データ生成直後の温度を基に、前記欠陥検出部が検出した白点欠陥の出力信号レベルのオフセット値を算出する欠陥信号レベル算出部と、
前記欠陥検出部の生成した前記欠陥データを基に、前記撮像素子が生成した前記画像データから前記白点欠陥の出力信号レベルを取得し、当該白点欠陥の出力信号レベルから前記欠陥信号レベル算出部が算出した前記白点欠陥の出力信号レベルのオフセット値を減算することにより、当該白点欠陥の補正を行う欠陥補正部と、
を有する撮像装置。 An image sensor that generates image data, and immediately after shooting in the absence of incident light to generate a dark current noise image of only dark current noise,
Based on the dark current noise image generated by the image sensor, the second parameter indicating the relationship between the signal level of dark current noise and the temperature of the image sensor is used to generate the image data of the image sensor. A temperature calculation unit for calculating the temperature immediately after the hour;
A defect detection unit that detects a white spot defect in the image data generated by the image sensor and generates defect data including a position of the detected white spot defect;
A defect signal level calculation unit that calculates an offset value of the output signal level of the white point defect detected by the defect detection unit based on the temperature immediately after the image data generation of the image sensor calculated by the temperature calculation unit;
Based on the defect data generated by the defect detection unit, the output signal level of the white spot defect is acquired from the image data generated by the imaging device, and the defect signal level is calculated from the output signal level of the white spot defect. A defect correction unit that corrects the white point defect by subtracting the offset value of the output signal level of the white point defect calculated by the unit;
An imaging apparatus having
前記撮像素子が画像データを生成する第1の工程と、
前記画像データを生成した際の前記撮像素子の温度を検知する第2の工程と、
前記第1の工程において前記撮像素子が生成した前記画像データ中の白点欠陥を検出し、検出された白点欠陥の位置を含む欠陥データを生成する第3の工程と、
前記第2の工程において検知された前記撮像素子の前記画像データ生成時の温度を基に、撮像素子の温度と、当該撮像素子中の白点欠陥の出力信号レベルとの関係を示す第1のパラメータを使用して、前記第3の工程において検出された白点欠陥の出力信号レベルのオフセット値を算出する第4の工程と、
前記第3の工程において生成された前記欠陥データを基に、前記撮像素子が生成した前記画像データから前記白点欠陥の出力信号レベルを取得し、当該白点欠陥の出力信号レベルから前記第4の工程において算出された前記白点欠陥の出力信号レベルのオフセット値を減算することにより、当該白点欠陥の補正を行う第5の工程と、
を有する欠陥補正方法。 A defect correction method for an imaging apparatus having an imaging element,
A first step in which the image sensor generates image data;
A second step of detecting the temperature of the image sensor when the image data is generated;
A third step of detecting a white spot defect in the image data generated by the imaging element in the first step and generating defect data including a position of the detected white spot defect;
A first relationship between the temperature of the image sensor detected in the second step and the output signal level of the white point defect in the image sensor based on the temperature at which the image data is generated of the image sensor. A fourth step of calculating an offset value of the output signal level of the white spot defect detected in the third step using a parameter;
Based on the defect data generated in the third step, an output signal level of the white spot defect is obtained from the image data generated by the imaging device, and the fourth output signal level of the white spot defect is obtained. A fifth step of correcting the white spot defect by subtracting the offset value of the output signal level of the white spot defect calculated in the step;
A defect correction method comprising:
前記撮像素子が画像データを生成し、直後に入射光の無い状態で撮影して暗電流ノイズのみの暗電流ノイズ画像を生成する第6の工程と、
前記第6の工程において生成された前記暗電流ノイズ画像を基に、暗電流ノイズの信号レベルと、前記撮像素子の温度との関係を示す第2のパラメータを使用して、前記撮像素子の前記画像データ生成時直後の温度を算出する第7の工程と、
前記第6の工程において生成された前記画像データ中の白点欠陥を検出し、検出された白点欠陥の位置を含む欠陥データを生成する第8の工程と、
前記第7の工程において算出された前記撮像素子の前記画像データ生成直後の温度を基に、前記第8の工程において検出された白点欠陥の出力信号レベルのオフセット値を算出する第9の工程と、
前記前記第8の工程において生成された前記欠陥データを基に、前記撮像素子が生成した前記画像データから前記白点欠陥の出力信号レベルを取得し、当該白点欠陥の出力信号レベルから前記第9の工程において算出された前記白点欠陥の出力信号レベルのオフセット値を減算することにより、当該白点欠陥の補正を行う第10の工程と、
を有する欠陥補正方法。 A defect correction method for an imaging apparatus having an imaging element,
A sixth step in which the imaging element generates image data, and immediately after shooting in the absence of incident light, a dark current noise image only of dark current noise is generated;
Based on the dark current noise image generated in the sixth step, the second parameter indicating the relationship between the dark current noise signal level and the temperature of the image sensor, and A seventh step of calculating a temperature immediately after image data generation;
An eighth step of detecting a white spot defect in the image data generated in the sixth step and generating defect data including a position of the detected white spot defect;
Ninth step of calculating an offset value of the output signal level of the white spot defect detected in the eighth step based on the temperature immediately after the generation of the image data of the image sensor calculated in the seventh step. When,
Based on the defect data generated in the eighth step, an output signal level of the white point defect is obtained from the image data generated by the imaging device, and the output signal level of the white point defect is A tenth step of correcting the white point defect by subtracting the offset value of the output signal level of the white point defect calculated in step 9;
A defect correction method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006323547A JP2008141325A (en) | 2006-11-30 | 2006-11-30 | Imaging device and defect correction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006323547A JP2008141325A (en) | 2006-11-30 | 2006-11-30 | Imaging device and defect correction method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008141325A true JP2008141325A (en) | 2008-06-19 |
Family
ID=39602380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006323547A Pending JP2008141325A (en) | 2006-11-30 | 2006-11-30 | Imaging device and defect correction method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008141325A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011018816A1 (en) * | 2009-08-10 | 2011-02-17 | 株式会社島津製作所 | Optical or radiation imaging device |
WO2020144996A1 (en) * | 2019-01-10 | 2020-07-16 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device and calibration method |
-
2006
- 2006-11-30 JP JP2006323547A patent/JP2008141325A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011018816A1 (en) * | 2009-08-10 | 2011-02-17 | 株式会社島津製作所 | Optical or radiation imaging device |
WO2020144996A1 (en) * | 2019-01-10 | 2020-07-16 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device and calibration method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9066033B2 (en) | Defective pixel data correcting apparatus, image capturing apparatus, and method for correcting defective pixel data | |
JP5631325B2 (en) | Defect detection method for imaging apparatus and imaging apparatus | |
US8537253B2 (en) | Defect pixel detection apparatus and method for detecting defect pixel | |
JP5162730B2 (en) | Imaging device and dark current correction method thereof | |
US20020176013A1 (en) | Image pickup apparatus | |
JP2009284424A (en) | Imaging apparatus, imaging method, and program | |
JP2010068056A (en) | Imaging device, and method and program for adjusting black level | |
JP2007300191A (en) | Infrared image processor and infrared image processing method | |
JP2009188463A (en) | Imaging apparatus and control method thereof | |
US10515442B2 (en) | Image processing apparatus that corrects for lateral chromatic aberration, image capturing apparatus, image processing method, and storage medium | |
JP2009069740A (en) | Image pickup device | |
JP2008141325A (en) | Imaging device and defect correction method | |
JPWO2005004467A1 (en) | Video signal correction device for electronic camera | |
JP5544285B2 (en) | Image signal processing apparatus and image signal processing method | |
JP2007174500A (en) | Imaging apparatus | |
JP2010268271A (en) | Imaging device | |
JP2007281759A (en) | Imaging device and imaging apparatus | |
JP2010187308A (en) | Image processor and image processing method | |
JP2007028338A (en) | Imaging apparatus and control method thereof, program, and storage medium | |
JP2007028496A (en) | Image processing apparatus, image processing method, program and storage medium | |
JP2014158165A (en) | Image processing device, image processing method, and program | |
JP2012124778A (en) | Imaging apparatus, imaging processing method, and computer program | |
JP6878947B2 (en) | Image imager and electronic equipment | |
JP2008028634A (en) | Imaging apparatus | |
JP2007129328A (en) | Imaging apparatus |