JP2008141325A - Imaging device and defect correction method - Google Patents

Imaging device and defect correction method Download PDF

Info

Publication number
JP2008141325A
JP2008141325A JP2006323547A JP2006323547A JP2008141325A JP 2008141325 A JP2008141325 A JP 2008141325A JP 2006323547 A JP2006323547 A JP 2006323547A JP 2006323547 A JP2006323547 A JP 2006323547A JP 2008141325 A JP2008141325 A JP 2008141325A
Authority
JP
Japan
Prior art keywords
defect
signal level
image data
temperature
output signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006323547A
Other languages
Japanese (ja)
Inventor
Akihiro Tamaoki
晶宏 玉置
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006323547A priority Critical patent/JP2008141325A/en
Publication of JP2008141325A publication Critical patent/JP2008141325A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging device and a defect correction method which can correct void defects highly precisely without increasing storage means in comparison with conventional ones. <P>SOLUTION: A defect signal level calculation part 4 calculates offset components of all the flake defects on the basis of temperature of each pixel sensed by a sensor 11 when generating image data of an imaging device 1, a defect correction method 5 subtracts an offset component of a corresponding flake defect calculated by the defect signal level calculation part 4 from an output signal level of each flake defect in digital image data which the imaging device 1 has generated and an A/D conversion part 2 A/D has converted. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、欠陥画素を含むデジタル画像データを補正する撮像装置及び欠陥補正方法に関する。   The present invention relates to an imaging apparatus and a defect correction method for correcting digital image data including defective pixels.

CCDやCMOSなどの固体撮像素子は、半導体の局部的な結晶欠陥などによる異常な撮像信号を出力する欠陥画素を所定の割合以下の数だけ有する場合がある。この欠陥画素によって、当該撮像素子が生成した画像データには画質劣化が生じる。
従来、欠陥画素に起因する画質劣化を信号処理によって補正するための方式や回路構成が各種提案されている。例えば、特許文献1には、欠陥画素の位置データ(以降、欠陥データと呼ぶ)を記憶する記憶手段(メモリやバッファ)を持ち、欠陥画素に関するデータを近傍画素の平均値データ等で補間する欠陥補正手段が開示されている。
A solid-state imaging device such as a CCD or CMOS may have a defective pixel that outputs an abnormal imaging signal due to a local crystal defect of a semiconductor or the like at a predetermined ratio or less. Due to this defective pixel, image quality degradation occurs in the image data generated by the imaging device.
Conventionally, various methods and circuit configurations for correcting image quality degradation caused by defective pixels by signal processing have been proposed. For example, Patent Document 1 includes a storage unit (memory or buffer) that stores position data (hereinafter referred to as defect data) of defective pixels, and a defect that interpolates data related to defective pixels with average value data of neighboring pixels or the like. Correction means are disclosed.

特に欠陥画素の中でも白点欠陥と呼ばれる欠陥は、温度依存性を有する。白点欠陥の出力特性は、温度の上昇とともに増大し、その増大量は温度の変化と線形の関係にある。
例えば特許文献1に開示された欠陥画素補正方法では、記憶手段に記憶された欠陥データには、例えば撮像素子製造の際に測定されたデータ、すなわち特定の温度(例えば50℃)で測定されたデータを基にしたデータが使用されている。すなわち、特許文献1に開示された欠陥画素補正方法では、特に白点欠陥に関しては、実際の撮影時の撮像素子の温度(例えば30℃)が記憶手段に記憶された欠陥データの測定時の温度と異なる場合には、正しく補正を行うことができない、という不利益がある。
In particular, a defect called a white point defect among defective pixels has temperature dependency. The output characteristic of the white spot defect increases as the temperature increases, and the amount of increase has a linear relationship with the change in temperature.
For example, in the defective pixel correction method disclosed in Patent Document 1, the defect data stored in the storage means is measured at a specific temperature (for example, 50 ° C.), for example, data measured at the time of manufacturing the image sensor. Data based on data is used. That is, in the defective pixel correction method disclosed in Patent Document 1, particularly for white point defects, the temperature of the image sensor at the time of actual photographing (for example, 30 ° C.) is the temperature at the time of measuring the defect data stored in the storage means. If it is different from the above, there is a disadvantage that correct correction cannot be performed.

このような事態への対処として、例えば特許文献2、3、4に開示されているような技術がある。
特許文献2には、撮像素子の温度が所定のしきい値より高い場合に、撮像した画像中の線状欠陥を補正する撮像装置が開示されている。
特許文献3には、記憶手段に、温度とシャッタ速度に応じた欠陥データが記憶されており、撮影時の温度及びシャッタ速度に対応する欠陥データを使用して欠陥補正を行う画素欠陥補正装置が開示されている。
特許文献4には、記憶手段に各温度範囲毎の撮像素子の固定パターン雑音(欠陥)を記憶し、これを使用して固定パターン雑音を撮像素子の出力信号から減算して固定パターン雑音の除去を行う撮像装置が開示されている。
特許第3544304号 特開2006−108918号公報 特開2000−101925号公報 特開平01−147973号公報
As a countermeasure against such a situation, there are techniques disclosed in Patent Documents 2, 3, and 4, for example.
Patent Document 2 discloses an imaging device that corrects a linear defect in a captured image when the temperature of the imaging element is higher than a predetermined threshold value.
Patent Document 3 discloses a pixel defect correction apparatus in which defect data corresponding to temperature and shutter speed is stored in a storage unit, and defect correction is performed using defect data corresponding to temperature and shutter speed at the time of shooting. It is disclosed.
In Patent Document 4, the fixed pattern noise (defect) of the image sensor for each temperature range is stored in the storage means, and this is used to subtract the fixed pattern noise from the output signal of the image sensor to remove the fixed pattern noise. An imaging apparatus that performs the above is disclosed.
Japanese Patent No. 3544304 JP 2006-108918 A JP 2000-101925 A Japanese Patent Laid-Open No. 01-147773

しかし、上述した特許文献2に開示された技術では、撮像素子の温度が所定のしきい値より高いか低いかにより補正を行うか否かを決定しているため、例えば、撮像素子の温度が所定のしきい値を大きく超える温度と、所定のしきい値を僅かに超える温度とにおいて同様の補正を行うので、補正の精度が低い、という不利益がある。
また、特許文献3及び4に開示された技術では、予め記憶手段に温度毎の欠陥データが記憶されているため、予め記憶手段に記憶するべきデータ量が多くなり、記憶手段の増大が必要となってしまう、という不利益がある。
However, in the technique disclosed in Patent Document 2 described above, whether to perform correction is determined depending on whether the temperature of the image sensor is higher or lower than a predetermined threshold value. Since the same correction is performed at a temperature greatly exceeding the predetermined threshold and a temperature slightly exceeding the predetermined threshold, there is a disadvantage that the accuracy of the correction is low.
Further, in the techniques disclosed in Patent Documents 3 and 4, since the defect data for each temperature is stored in the storage unit in advance, the amount of data to be stored in the storage unit in advance increases, and the storage unit needs to be increased. There is a disadvantage of becoming.

本発明は、上述した不利益を解消するために、従来と比較して記憶手段を増大させずに精度よく白点欠陥を補正することができる撮像装置及び欠陥補正方法を提供することを目的とする。   An object of the present invention is to provide an imaging apparatus and a defect correction method capable of correcting white point defects with high accuracy without increasing the storage means compared with the prior art in order to eliminate the disadvantages described above. To do.

上述した目的を達成するために、第1の発明の撮像装置は、画像データを生成する撮像素子と、前記撮像素子が前記画像データを生成した際の前記撮像素子の温度を検知するセンサと、前記撮像素子が生成した前記画像データ中の白点欠陥を検出し、検出された白点欠陥の位置を含む欠陥データを生成する欠陥検出部と、前記センサが検知した前記撮像素子の前記画像データ生成時の温度を基に、撮像素子の温度と、当該撮像素子中の白点欠陥の出力信号レベルとの関係を示す第1のパラメータを使用して、前記欠陥検出部が検出した白点欠陥の出力信号レベルのオフセット値を算出する欠陥信号レベル算出部と、前記欠陥検出部の生成した前記欠陥データを基に、前記撮像素子が生成した前記画像データから前記白点欠陥の出力信号レベルを取得し、当該白点欠陥の出力信号レベルから前記欠陥信号レベル算出部が算出した前記白点欠陥の出力信号レベルのオフセット値を減算することにより、当該白点欠陥の補正を行う欠陥補正部と、を有する。   In order to achieve the above-described object, an imaging device of a first invention includes an imaging device that generates image data, a sensor that detects a temperature of the imaging device when the imaging device generates the image data, A defect detection unit that detects a white spot defect in the image data generated by the image sensor and generates defect data including a position of the detected white spot defect; and the image data of the image sensor detected by the sensor Based on the temperature at the time of generation, the white point defect detected by the defect detection unit using the first parameter indicating the relationship between the temperature of the image sensor and the output signal level of the white point defect in the image sensor. Output signal level of the white point defect from the image data generated by the image sensor based on the defect data generated by the defect detector A defect correction unit that corrects the white point defect by subtracting the offset value of the output signal level of the white point defect calculated by the defect signal level calculation unit from the output signal level of the white point defect Have.

第2の発明の撮像装置は、画像データを生成し、直後に入射光の無い状態で撮影して暗電流ノイズのみの暗電流ノイズ画像を生成する撮像素子と、前記撮像素子が生成した前記暗電流ノイズ画像を基に、暗電流ノイズの信号レベルと、前記撮像素子の温度との関係を示す第2のパラメータを使用して、前記撮像素子の前記画像データ生成時直後の温度を算出する温度算出部と、前記撮像素子が生成した前記画像データ中の白点欠陥を検出し、検出された白点欠陥の位置を含む欠陥データを生成する欠陥検出部と、前記温度算出部が算出した前記撮像素子の前記画像データ生成直後の温度を基に、前記欠陥検出部が検出した白点欠陥の出力信号レベルのオフセット値を算出する欠陥信号レベル算出部と、前記欠陥検出部の生成した前記欠陥データを基に、前記撮像素子が生成した前記画像データから前記白点欠陥の出力信号レベルを取得し、当該白点欠陥の出力信号レベルから前記欠陥信号レベル算出部が算出した前記白点欠陥の出力信号レベルのオフセット値を減算することにより、当該白点欠陥の補正を行う欠陥補正部と、を有する。   An image pickup apparatus according to a second aspect of the present invention generates an image data, and immediately after taking an image without incident light to generate a dark current noise image of only dark current noise, the darkness generated by the image pickup device Based on the current noise image, a temperature at which the temperature immediately after the image data generation of the image sensor is calculated using a second parameter indicating the relationship between the signal level of dark current noise and the temperature of the image sensor A calculation unit; a defect detection unit that detects a white spot defect in the image data generated by the imaging device; and generates defect data including a position of the detected white point defect; and the temperature calculation unit calculates the defect Based on the temperature immediately after the image data generation of the image sensor, a defect signal level calculation unit that calculates an offset value of the output signal level of the white spot defect detected by the defect detection unit, and the defect generated by the defect detection unit Day The white spot defect output signal level is obtained from the image data generated by the image sensor, and the white spot defect output calculated by the defect signal level calculation unit from the white spot defect output signal level. A defect correction unit that corrects the white point defect by subtracting the offset value of the signal level.

第3の発明の欠陥補正方法は、撮像素子を有する撮像装置の欠陥補正方法であって、前記撮像素子が画像データを生成する第1の工程と、前記画像データを生成した際の前記撮像素子の温度を検知する第2の工程と、前記第1の工程において前記撮像素子が生成した前記画像データ中の白点欠陥を検出し、検出された白点欠陥の位置を含む欠陥データを生成する第3の工程と、前記第2の工程において検知された前記撮像素子の前記画像データ生成時の温度を基に、撮像素子の温度と、当該撮像素子中の白点欠陥の出力信号レベルとの関係を示す第1のパラメータを使用して、前記第3の工程において検出された白点欠陥の出力信号レベルのオフセット値を算出する第4の工程と、前記第3の工程において生成された前記欠陥データを基に、前記撮像素子が生成した前記画像データから前記白点欠陥の出力信号レベルを取得し、当該白点欠陥の出力信号レベルから前記第4の工程において算出された前記白点欠陥の出力信号レベルのオフセット値を減算することにより、当該白点欠陥の補正を行う第5の工程と、を有する。   A defect correction method according to a third aspect of the present invention is a defect correction method for an image pickup apparatus having an image sensor, wherein the image sensor generates image data, and the image sensor when the image data is generated. And detecting a white spot defect in the image data generated by the imaging device in the first process, and generating defect data including the position of the detected white spot defect. Based on the temperature at the time of image data generation of the image sensor detected in the third step and the second step, the temperature of the image sensor and the output signal level of the white point defect in the image sensor A fourth step of calculating an offset value of the output signal level of the white spot defect detected in the third step using the first parameter indicating the relationship; and the step generated in the third step Based on the defect data An output signal level of the white spot defect is acquired from the image data generated by the imaging device, and an offset of the output signal level of the white spot defect calculated in the fourth step from the output signal level of the white spot defect And a fifth step of correcting the white spot defect by subtracting the value.

第4の発明の欠陥補正方法は、撮像素子を有する撮像装置の欠陥補正方法であって、前記撮像素子が画像データを生成し、直後に入射光の無い状態で撮影して暗電流ノイズのみの暗電流ノイズ画像を生成する第6の工程と、前記第6の工程において生成された前記暗電流ノイズ画像を基に、暗電流ノイズの信号レベルと、前記撮像素子の温度との関係を示す第2のパラメータを使用して、前記撮像素子の前記画像データ生成時直後の温度を算出する第7の工程と、前記第6の工程において生成された前記画像データ中の白点欠陥を検出し、検出された白点欠陥の位置を含む欠陥データを生成する第8の工程と、前記第7の工程において算出された前記撮像素子の前記画像データ生成直後の温度を基に、前記第8の工程において検出された白点欠陥の出力信号レベルのオフセット値を算出する第9の工程と、前記前記第8の工程において生成された前記欠陥データを基に、前記撮像素子が生成した前記画像データから前記白点欠陥の出力信号レベルを取得し、当該白点欠陥の出力信号レベルから前記第9の工程において算出された前記白点欠陥の出力信号レベルのオフセット値を減算することにより、当該白点欠陥の補正を行う第10の工程と、を有する。   A defect correction method according to a fourth aspect of the present invention is a defect correction method for an image pickup apparatus having an image pickup device, wherein the image pickup device generates image data, and immediately after that, an image is taken without incident light and only dark current noise is detected. A sixth step of generating a dark current noise image, and a sixth step showing a relationship between a dark current noise signal level and the temperature of the image sensor based on the dark current noise image generated in the sixth step. A white point defect in the image data generated in the seventh step of calculating the temperature immediately after the image data generation time of the image sensor using the parameter of 2, and the sixth step; An eighth step of generating defect data including the position of the detected white spot defect, and the eighth step based on the temperature immediately after the generation of the image data of the image sensor calculated in the seventh step. White spot detected in The output of the white spot defect from the image data generated by the imaging device based on the defect data generated in the ninth step of calculating the offset value of the output signal level of the defect and the eighth step The signal level is acquired, and the white point defect correction is performed by subtracting the offset value of the output signal level of the white point defect calculated in the ninth step from the output signal level of the white point defect. 10 steps.

本発明によれば、従来と比較して記憶手段を増大させずに精度よく白点欠陥を補正することができる撮像装置及び欠陥補正方法を提供することができる。   According to the present invention, it is possible to provide an imaging apparatus and a defect correction method capable of correcting a white spot defect with high accuracy without increasing the storage means as compared with the prior art.

<第1実施形態>
以下、第1実施形態の撮像装置100について説明する。
図1に示すように、撮像装置100は撮像素子1、A/D変換部2、欠陥検出部3、欠陥信号レベル算出部4、欠陥補正部5、信号処理部6、メモリ7を有する。
図1は、撮像装置100の構成例を示すブロック図である。
<First Embodiment>
Hereinafter, the imaging apparatus 100 according to the first embodiment will be described.
As illustrated in FIG. 1, the imaging apparatus 100 includes an imaging element 1, an A / D conversion unit 2, a defect detection unit 3, a defect signal level calculation unit 4, a defect correction unit 5, a signal processing unit 6, and a memory 7.
FIG. 1 is a block diagram illustrating a configuration example of the imaging apparatus 100.

撮像素子1は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等により構成された受光素子であり、図1に図示しないレンズが集光した光をアナログの電気信号(画像データ)に変換して出力する。
また、撮像素子1はセンサ11を有する。
センサ11は、撮像素子1の各画素の温度を検知する。
A/D変換部2は、撮像装置1が生成したアナログの画像データをデジタル画像データに変換して出力する。
The imaging element 1 is a light receiving element configured by a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like, and converts the light collected by a lens (not shown in FIG. 1) into an analog electrical signal (image data). Convert and output.
Further, the image sensor 1 has a sensor 11.
The sensor 11 detects the temperature of each pixel of the image sensor 1.
The A / D conversion unit 2 converts analog image data generated by the imaging device 1 into digital image data and outputs the digital image data.

欠陥検出部3は、A/D変換部2が出力したデジタル画像データ中の全ての白点欠陥を検出し、その位置を欠陥データとして後述するメモリ7に記憶させる。
欠陥検出部3の白点欠陥の検出方法については本発明では限定しない。従来の技術を利用することができる。
The defect detection unit 3 detects all white spot defects in the digital image data output from the A / D conversion unit 2 and stores the positions in a memory 7 described later as defect data.
The detection method of the white spot defect of the defect detection unit 3 is not limited in the present invention. Conventional techniques can be used.

欠陥信号レベル算出部4は、センサ11が検知した撮像素子1の画像データ生成時の温度を基に、欠陥検出部3が検出した白点欠陥の出力する信号レベルの値を算出する。
以下、欠陥信号レベル算出部4の欠陥信号レベル算出処理について説明する。
The defect signal level calculation unit 4 calculates the value of the signal level output by the white spot defect detected by the defect detection unit 3 based on the temperature at the time of image data generation of the image sensor 1 detected by the sensor 11.
Hereinafter, the defect signal level calculation process of the defect signal level calculation unit 4 will be described.

白点欠陥は、撮像素子1を構成する半導体に暗電流が発生し、欠陥ではない画素と比較して信号出力が大きくなる欠陥である。暗電流は、撮像素子の動作温度の上昇に伴い増大するため、白点欠陥における信号出力も撮像素子の温度が上昇することにより増大する。   The white spot defect is a defect in which a dark current is generated in a semiconductor constituting the image sensor 1 and a signal output is larger than that of a pixel that is not a defect. Since the dark current increases as the operating temperature of the image sensor increases, the signal output at the white spot defect also increases as the temperature of the image sensor increases.

図2に白点欠陥の温度による出力増大の具体例を示す。
図2は、特定の白点欠陥における、撮像素子に入射する光量(単位は限定しない)と、白点欠陥が出力する出力レベル(単位mV)と、温度との関係を示す図である。
図2において、原点を通過する実線は、当該画素が白点欠陥で無かった場合の出力信号レベルと光量との関係を、破線は白点欠陥の温度(撮像素子の温度)が25℃であるときの当該白点欠陥からの出力信号レベルと光量との関係を、長鎖線は白点欠陥の温度が50℃であるときの当該白点欠陥からの出力信号レベルと光量との関係を、それぞれ示している。
FIG. 2 shows a specific example of the output increase due to the temperature of the white spot defect.
FIG. 2 is a diagram illustrating the relationship between the amount of light incident on the image sensor (unit is not limited), the output level (unit mV) output by the white spot defect, and temperature in a specific white spot defect.
In FIG. 2, the solid line passing through the origin indicates the relationship between the output signal level and the amount of light when the pixel is not a white spot defect, and the broken line is the temperature of the white spot defect (temperature of the image sensor) is 25 ° C. The relationship between the output signal level from the white spot defect and the amount of light, and the long chain line represents the relationship between the output signal level from the white spot defect and the amount of light when the temperature of the white spot defect is 50 ° C., respectively. Show.

図2に示すように、白点欠陥の温度が高くなればなるほど、同じ光量に対する出力信号レベルが増大していることが分かる。
また、同じ光量においては、当該画素が白点欠陥で無かった場合の出力信号レベルと白点欠陥が50℃のときの出力信号レベルとの差(5mV)は、当該画素が白点欠陥で無かった場合の出力信号レベルと白点欠陥が25℃のときの出力信号レベルとの差(2.5mV)の2倍である。このように、白点欠陥の出力信号レベルと、当該画素が白点欠陥で無かった場合の出力信号レベルとの差(以下オフセット成分と称する)は、温度(℃)に比例することが経験的に分かっている。
As shown in FIG. 2, it can be seen that the higher the temperature of the white spot defect, the higher the output signal level for the same amount of light.
For the same amount of light, the difference (5 mV) between the output signal level when the pixel is not a white point defect and the output signal level when the white point defect is 50 ° C. is that the pixel is not a white point defect. This is twice the difference (2.5 mV) between the output signal level and the output signal level when the white spot defect is 25 ° C. Thus, the difference between the output signal level of the white spot defect and the output signal level when the pixel is not a white spot defect (hereinafter referred to as an offset component) is empirically proportional to the temperature (° C.). I know.

図3に、白点欠陥が出力する信号レベルと、温度との関係の一例を示す。白点欠陥が出力する信号レベルと欠陥が無い撮像素子の出力信号レベルとの差は、温度(℃)に比例するため、白点欠陥が出力する信号レベルと、温度との関係は、図3に示すように一次線形の関係となる。従って、撮像装置100の製造時等に、少なくとも2つの異なる温度において撮像素子1に固有の白点欠陥の出力レベルを測定することによって、例えば図3に示すような白点欠陥が出力する信号レベルと温度との関係式を構成するためのパラメータ(傾き及び切片:以下出力/温度パラメータと称する、本発明の第1のパラメータに相当)を予め算出しておくことができ、欠陥信号レベル算出部4は、当該出力/温度パラメータを使用して、センサ11が検知した撮像装置100の使用時の撮像素子1の温度を基に、当該白色欠陥のオフセット成分を求めることができる。   FIG. 3 shows an example of the relationship between the signal level output by the white spot defect and the temperature. Since the difference between the signal level output by the white spot defect and the output signal level of the image sensor without the defect is proportional to the temperature (° C.), the relationship between the signal level output by the white spot defect and the temperature is shown in FIG. As shown in FIG. Therefore, by measuring the output level of the white spot defect inherent to the image sensor 1 at at least two different temperatures when the imaging device 100 is manufactured, for example, the signal level output by the white spot defect as shown in FIG. A parameter (slope and intercept: hereinafter referred to as an output / temperature parameter, which corresponds to the first parameter of the present invention) for constructing a relational expression between temperature and temperature can be calculated in advance, and a defect signal level calculation unit 4, using the output / temperature parameter, the offset component of the white defect can be obtained based on the temperature of the imaging device 1 detected by the sensor 11 when the imaging device 100 is used.

以上のようにして、欠陥信号レベル算出部4は、センサ11が検知した撮像素子1の画像データ生成時の温度の値と、予め後述するメモリ7に記憶された出力/温度パラメータと、欠陥検出部3が検出した欠陥データとを基に、欠陥検出部3が検出した全ての白点欠陥のオフセット成分を算出する。   As described above, the defect signal level calculation unit 4 detects the temperature value at the time of image data generation of the image sensor 1 detected by the sensor 11, the output / temperature parameter stored in the memory 7 to be described later, and the defect detection. Based on the defect data detected by the unit 3, offset components of all white point defects detected by the defect detection unit 3 are calculated.

欠陥補正部5は、欠陥信号レベル算出部4が算出した全ての白点欠陥のオフセット成分を使用して、各白点欠陥の出力レベルを補正する。
上述したように、オフセット成分とは白点欠陥の出力信号レベルと、当該画素が白点欠陥で無かった場合の出力信号レベルとの差であるから、撮像素子1が生成しA/D変換部2がA/D変換した画像データ上における白点欠陥の出力信号レベルから、オフセット成分を減ずることによって、当該画素が白色欠陥で無かった場合の出力信号レベルを算出することができる。すなわち、白色欠陥を補正することができる。
すなわち、欠陥補正部5は、撮像素子1が生成しA/D変換部2がA/D変換したデジタル画像データにおける、欠陥検出部3が検出した全ての白色欠陥の出力信号レベルから、欠陥信号レベル算出部4が算出した白点欠陥のオフセット成分を減算することによって、各白色欠陥の補正を行う。
The defect correction unit 5 corrects the output level of each white point defect using the offset components of all white point defects calculated by the defect signal level calculation unit 4.
As described above, the offset component is the difference between the output signal level of the white spot defect and the output signal level when the pixel is not a white spot defect. By subtracting the offset component from the output signal level of the white spot defect on the image data 2 subjected to A / D conversion, the output signal level when the pixel is not a white defect can be calculated. That is, white defects can be corrected.
In other words, the defect correction unit 5 calculates the defect signal from the output signal levels of all white defects detected by the defect detection unit 3 in the digital image data generated by the image sensor 1 and A / D converted by the A / D conversion unit 2. Each white defect is corrected by subtracting the offset component of the white point defect calculated by the level calculation unit 4.

信号処理部6は、欠陥補正部5が欠陥補正を行ったデジタル画像データに、輝度信号・式差信号生成処理、自動露光処理、自動焦点処理、色信号処理(ホワイトバランス調整、γ処理等)、輝度信号処理(低周波部分抽出等)等のデジタル画像信号処理を行い、出力する。
メモリ7は、欠陥検出部3が検出した欠陥データを記憶する記憶装置である。また、メモリ7は、撮像装置100の製造時に、予め撮像素子1の出力/温度パラメータを記憶している。
The signal processing unit 6 applies luminance signal / expression difference signal generation processing, automatic exposure processing, automatic focus processing, color signal processing (white balance adjustment, γ processing, etc.) to the digital image data that has been subjected to defect correction by the defect correction unit 5. Digital image signal processing such as luminance signal processing (low frequency partial extraction, etc.) is performed and output.
The memory 7 is a storage device that stores defect data detected by the defect detection unit 3. The memory 7 stores the output / temperature parameters of the image sensor 1 in advance when the image pickup apparatus 100 is manufactured.

次に、撮像装置100の白色欠陥補正時の動作例について説明する。
図4は、撮像装置100の動作例を示すフローチャートである。
ステップST1:
撮像素子1がアナログ画像データを生成する。
ステップST2:
センサ11が画像データ生成時の撮像素子1の各画素の温度を検知する。
Next, an operation example at the time of white defect correction of the imaging apparatus 100 will be described.
FIG. 4 is a flowchart illustrating an operation example of the imaging apparatus 100.
Step ST1:
The image sensor 1 generates analog image data.
Step ST2:
The sensor 11 detects the temperature of each pixel of the image sensor 1 when image data is generated.

ステップST3:
A/D変換部2が、ステップST1において撮像素子1が生成したアナログ画像データをA/D変換してデジタル画像データを出力する。
ステップST4:
欠陥検出部3が、ステップST3においてA/D変換部2が出力したデジタル画像データの全画素に対して白色欠陥であるか否かの判定を行い、全ての白色欠陥を検出する。欠陥検出部3は検出した白色欠陥の位置を欠陥データとしてメモリ7に記憶させる。
Step ST3:
The A / D converter 2 performs A / D conversion on the analog image data generated by the image sensor 1 in step ST1, and outputs digital image data.
Step ST4:
The defect detection unit 3 determines whether all the pixels of the digital image data output from the A / D conversion unit 2 in step ST3 are white defects, and detects all white defects. The defect detection unit 3 stores the detected position of the white defect in the memory 7 as defect data.

ステップST5:
欠陥信号レベル算出部4は、ステップST4において欠陥検出部3が検出した全ての白色欠陥に対して、センサ11が検知したそれぞれの白色欠陥の温度と、メモリ7に予め記憶された出力/温度パラメータとを基に、それぞれの白色欠陥のオフセット成分を算出する。
ステップST6:
欠陥補正部5は、ステップST3においてA/D変換部2が出力したデジタル画像データから、全ての白色欠陥の出力信号レベルをステップST4において欠陥検出部3が出力した欠陥データを基に取得し、それぞれの白色欠陥の出力信号レベルからステップST5において欠陥信号レベル算出部4が算出した、対応する白色欠陥のオフセット成分を減算し、当該画素の正常な出力信号レベルを算出することによって欠陥補正を行う。
ステップST7:
信号処理部6は、ステップST6において欠陥補正部5が全ての白色欠陥の欠陥補正を行ったデジタル画像データに、各種信号処理を行い、出力する。ここで信号処理部6が行う各種信号処理に関しては、本発明では限定しない。
Step ST5:
The defect signal level calculation unit 4 calculates the temperature of each white defect detected by the sensor 11 and the output / temperature parameter stored in advance in the memory 7 for all white defects detected by the defect detection unit 3 in step ST4. Based on the above, the offset component of each white defect is calculated.
Step ST6:
The defect correction unit 5 acquires the output signal levels of all white defects from the digital image data output by the A / D conversion unit 2 in step ST3 based on the defect data output by the defect detection unit 3 in step ST4. The defect correction is performed by subtracting the offset component of the corresponding white defect calculated by the defect signal level calculation unit 4 in step ST5 from the output signal level of each white defect, and calculating the normal output signal level of the pixel. .
Step ST7:
The signal processing unit 6 performs various kinds of signal processing on the digital image data in which the defect correction unit 5 has corrected all the white defects in step ST6, and outputs the digital image data. Here, various signal processing performed by the signal processing unit 6 is not limited in the present invention.

以上説明したように、本実施形態の撮像装置100では、白点欠陥の出力信号レベルと、当該画素が白点欠陥で無かった場合の出力信号レベルとの差(オフセット成分)が温度(℃)に比例することを利用して、撮像素子1の画像データ生成時にセンサ11が検知した各画素の温度を基に欠陥信号レベル算出部4が全ての白点欠陥のオフセット成分を算出し、欠陥補正部5が撮像素子1が生成しA/D変換部2がA/D変換したデジタル画像データにおける各白点欠陥の出力信号レベルから、欠陥信号レベル算出部4が算出した、対応する白点欠陥のオフセット成分を減算することによって、白点欠陥の補正を行うことができる。   As described above, in the imaging apparatus 100 of this embodiment, the difference (offset component) between the output signal level of the white spot defect and the output signal level when the pixel is not a white spot defect is the temperature (° C.). The defect signal level calculation unit 4 calculates offset components of all white spot defects based on the temperature of each pixel detected by the sensor 11 when the image data of the image sensor 1 is generated. The corresponding white point defect calculated by the defect signal level calculation unit 4 from the output signal level of each white point defect in the digital image data generated by the image sensor 1 by the unit 5 and A / D converted by the A / D conversion unit 2 By subtracting the offset component, white point defects can be corrected.

これにより、本実施形態の撮像装置100は、画像データ生成時の撮像素子の温度に合わせた白色欠陥補正を行うので、精度の高い欠陥補正を行うことができる。
また、撮像装置100の製造時にメモリ7に予め記憶しておく必要があるのは、出力/温度パラメータのみであり、当該出力/温度パラメータは傾き及び切片の2つの情報のみで構成されているため、予めメモリ7に記憶されるべき情報量が少なくて済み、撮像装置100全体の構成要素及び製造時の工程をも少なく抑えることが可能である。
Thereby, since the imaging device 100 of this embodiment performs white defect correction according to the temperature of the imaging device at the time of image data generation, it can perform highly accurate defect correction.
Further, only the output / temperature parameter needs to be stored in advance in the memory 7 at the time of manufacturing the imaging apparatus 100, and the output / temperature parameter is composed of only two pieces of information of the slope and the intercept. The amount of information to be stored in the memory 7 in advance is small, and it is possible to reduce the components of the entire imaging apparatus 100 and the manufacturing process.

<第2実施形態>
以下、第2実施形態の撮像装置101について説明する。
図5は、第2実施形態の撮像装置101の構成例を示すブロック図である。
図5に示すように、撮像装置101は、撮像素子1、A/D変換部2、欠陥検出部3、欠陥信号レベル算出部4、欠陥補正部5、信号処理部6、メモリ7、温度算出部8を有する。
すなわち、本実施形態の撮像装置101は、センサ11及び温度算出部8を除いて第1実施形態の撮像装置100と同様の構成を有する。
本実施形態の撮像装置101は、センサ11の代わりに温度算出部8が画像データ生成時の撮像素子1の各画素の温度を推定する点において、第1実施形態の撮像装置100と異なっている。
<Second Embodiment>
Hereinafter, the imaging apparatus 101 of the second embodiment will be described.
FIG. 5 is a block diagram illustrating a configuration example of the imaging apparatus 101 according to the second embodiment.
As shown in FIG. 5, the imaging device 101 includes an imaging device 1, an A / D conversion unit 2, a defect detection unit 3, a defect signal level calculation unit 4, a defect correction unit 5, a signal processing unit 6, a memory 7, and a temperature calculation. Part 8.
That is, the imaging apparatus 101 of the present embodiment has the same configuration as the imaging apparatus 100 of the first embodiment except for the sensor 11 and the temperature calculation unit 8.
The imaging apparatus 101 of the present embodiment is different from the imaging apparatus 100 of the first embodiment in that the temperature calculation unit 8 estimates the temperature of each pixel of the imaging element 1 when generating image data instead of the sensor 11. .

撮像素子1は、CCDやCMOS等により構成された受光素子であり、図5に図示しないレンズが集光した光をアナログの電気信号(画像データ)に変換して出力する。
なお、本実施形態においては、撮像素子1は各画素の温度を検知するセンサ11を有さない。
また、撮像素子1は、アナログ画像データを撮影直後、同じ露光時間で遮光空間を撮影し、暗電流ノイズのみの画像を生成する。この暗電流ノイズ画像は、後述する温度算出部8が温度算出に使用するための画像データである。
A/D変換部2は、撮像装置1が生成したアナログ画像データ(及び暗電流ノイズ画像)をデジタル画像データに変換して出力する。
The imaging element 1 is a light receiving element configured by a CCD, a CMOS, or the like, and converts the light collected by a lens (not shown in FIG. 5) into an analog electric signal (image data) and outputs it.
In the present embodiment, the image sensor 1 does not have the sensor 11 that detects the temperature of each pixel.
In addition, immediately after analog image data is captured, the image sensor 1 captures the light-shielding space with the same exposure time, and generates an image with only dark current noise. This dark current noise image is image data used by a temperature calculation unit 8 to be described later for temperature calculation.
The A / D converter 2 converts the analog image data (and dark current noise image) generated by the imaging device 1 into digital image data and outputs the digital image data.

欠陥検出部3は、A/D変換部2が出力したデジタル画像データ中の全ての白点欠陥を検出し、その位置を欠陥データとしてメモリ7に記憶させる。
欠陥検出部3の白点欠陥の検出方法については本発明では限定しない。従来の技術を利用することができる。
The defect detection unit 3 detects all white spot defects in the digital image data output from the A / D conversion unit 2 and stores the positions in the memory 7 as defect data.
The detection method of the white spot defect of the defect detection unit 3 is not limited in the present invention. Conventional techniques can be used.

欠陥信号レベル算出部4は、後述する温度算出部8が検知した撮像素子1の画像データ生成時の温度の値と、予め後述するメモリ7に記憶された出力/温度パラメータと、欠陥検出部3が検出した欠陥データとを基に、第1実施形態において説明した方法と同様の方法で欠陥検出部3が検出した全ての白点欠陥のオフセット成分を算出する。   The defect signal level calculation unit 4 is a temperature value at the time of image data generation of the image sensor 1 detected by a temperature calculation unit 8 described later, an output / temperature parameter stored in advance in a memory 7 described later, and the defect detection unit 3. Based on the defect data detected by, the offset components of all white point defects detected by the defect detection unit 3 are calculated by a method similar to the method described in the first embodiment.

欠陥補正部5は、撮像素子1が生成しA/D変換部2がA/D変換したデジタル画像データにおける、欠陥検出部3が検出した全ての白色欠陥の出力信号レベルから、欠陥信号レベル算出部4が算出した白点欠陥のオフセット成分を減算することによって、各白色欠陥の補正を行う。   The defect correction unit 5 calculates the defect signal level from the output signal levels of all white defects detected by the defect detection unit 3 in the digital image data generated by the image sensor 1 and A / D converted by the A / D conversion unit 2. Each white defect is corrected by subtracting the offset component of the white point defect calculated by the unit 4.

信号処理部6は、欠陥補正部5が欠陥補正を行ったデジタル画像データに、輝度信号・式差信号生成処理、自動露光処理、自動焦点処理、色信号処理(ホワイトバランス調整、γ処理等)、輝度信号処理(低周波部分抽出等)等のデジタル画像信号処理を行い、出力する。
メモリ7は、欠陥検出部3が検出した欠陥データを記憶する記憶装置である。また、メモリ7は、後述する温度算出用パラメータ(本発明の第2のパラメータに相当)と、第1実施形態において説明した出力/温度パラメータとを予め記憶している。
The signal processing unit 6 applies luminance signal / expression difference signal generation processing, automatic exposure processing, automatic focus processing, color signal processing (white balance adjustment, γ processing, etc.) to the digital image data that has been subjected to defect correction by the defect correction unit 5. Digital image signal processing such as luminance signal processing (low frequency partial extraction, etc.) is performed and output.
The memory 7 is a storage device that stores defect data detected by the defect detection unit 3. The memory 7 stores in advance a temperature calculation parameter (corresponding to a second parameter of the present invention) described later and the output / temperature parameter described in the first embodiment.

温度算出部8は、撮像素子1が画像データの撮影直後に生成した、暗電流ノイズ画像を基に、撮像素子1の画像データ生成時の温度を算出する。
暗電流ノイズ画像は、撮像素子1が入射光を感知しない状態で生成した画像であるため、本来は全ての画素において信号レベルが0となるはずである。
しかし、CCDやCMOS等の固体撮像素子は、一般に入射光を遮蔽した状態においても出力電圧が生じる暗出力(暗電圧)特性を有し、これに伴って暗電流と呼ばれる微電流が発生する。このため、暗電流ノイズ画像には、暗電流に起因する信号(暗電流ノイズ)のみが撮影されている。
ここで、暗電流は、概ね8℃の撮像素子の温度の変化(上昇)により約2倍に増大するという温度依存性を有していることが経験的に分かっている。すなわち、暗電流と、撮像素子の温度の上昇との間には、指数関数的な関係があることになる。
加えて、暗電流ノイズ画像に写っている暗電流ノイズの信号レベルは、暗電流に比例することから、概ね8℃の撮像素子の温度上昇により、暗電流ノイズ画像内の暗電流ノイズの信号レベルも約2倍となり、撮像素子の温度上昇と暗電流ノイズ画像内の暗電流ノイズの信号レベルとの間にも指数関数的な関係があることが分かる。
The temperature calculation unit 8 calculates the temperature at the time of image data generation of the image sensor 1 based on the dark current noise image generated immediately after the image sensor 1 captures the image data.
Since the dark current noise image is an image generated in a state where the image sensor 1 does not sense incident light, the signal level should be zero in all pixels.
However, a solid-state imaging device such as a CCD or CMOS generally has a dark output (dark voltage) characteristic in which an output voltage is generated even in a state where incident light is shielded, and accordingly, a minute current called a dark current is generated. For this reason, only the signal (dark current noise) resulting from the dark current is captured in the dark current noise image.
Here, it has been empirically found that the dark current has a temperature dependency of approximately twice as large as a temperature change (rise) of the image sensor of about 8 ° C. That is, there is an exponential relationship between the dark current and the temperature rise of the image sensor.
In addition, since the signal level of dark current noise reflected in the dark current noise image is proportional to the dark current, the signal level of dark current noise in the dark current noise image is increased by a temperature rise of the image sensor of about 8 ° C. Also, it can be seen that there is an exponential relationship between the temperature rise of the image sensor and the dark current noise signal level in the dark current noise image.

従って、例えば撮像装置101の製造時等に、所定の温度において、撮像素子1の暗電流ノイズ画像を撮影し、暗電流ノイズ画像内の暗電流ノイズの信号レベルと、温度との関係を示す関係式を導出することが可能である。この関係式は指数関数であることが上述した理由により分かっているため、この関係式のパラメータ(上述した温度算出用パラメータ)をメモリ7に記憶しておくことによって、温度算出部8は、撮像素子1が画像データ生成直後に撮影した暗電流ノイズ画像を基に、当該温度算出用パラメータを含む関係式によって、撮像素子1の温度を算出することができる。
温度算出部8は、以上のようにして、撮像素子1が画像データ生成直後に撮影した暗電流ノイズ画像を基に、メモリ7に予め記憶された温度算出用パラメータを使用して撮像素子1の画像データ撮影時(直後)の温度を算出する。
Therefore, for example, at the time of manufacturing the image pickup apparatus 101, a dark current noise image of the image pickup device 1 is taken at a predetermined temperature, and the relationship indicating the relationship between the dark current noise signal level in the dark current noise image and the temperature. It is possible to derive an expression. Since the relational expression is known to be an exponential function for the above-described reason, the temperature calculation unit 8 can capture the image by storing the parameter of the relational expression (the temperature calculation parameter described above) in the memory 7. Based on the dark current noise image taken immediately after the image data is generated by the element 1, the temperature of the image sensor 1 can be calculated by a relational expression including the temperature calculation parameter.
As described above, the temperature calculation unit 8 uses the temperature calculation parameter stored in advance in the memory 7 based on the dark current noise image captured immediately after the image sensor 1 generates the image data. The temperature at the time of image data shooting (immediately after) is calculated.

以下、本実施形態の撮像装置101の動作例について説明する。
図6は、第2実施形態の撮像装置101の動作例を説明するためのフローチャートである。
ステップST11:
撮像素子1がアナログ画像データを生成する。また、撮像素子1は、アナログ画像データを撮影直後、同じ露光時間で遮光空間を撮影し、暗電流ノイズのみの画像を生成する。
ステップST12:
A/D変換部2が、ステップST11において撮像素子1が生成したアナログ画像データをA/D変換してデジタル画像データを出力する。
Hereinafter, an operation example of the imaging apparatus 101 of the present embodiment will be described.
FIG. 6 is a flowchart for explaining an operation example of the imaging apparatus 101 according to the second embodiment.
Step ST11:
The image sensor 1 generates analog image data. In addition, immediately after analog image data is captured, the image sensor 1 captures the light-shielding space with the same exposure time, and generates an image with only dark current noise.
Step ST12:
The A / D converter 2 performs A / D conversion on the analog image data generated by the image sensor 1 in step ST11 and outputs digital image data.

ステップST13:
欠陥検出部3が、A/D変換部2が出力したデジタル画像データの全画素に対して白色欠陥であるか否かの判定を行い、全ての白色欠陥を検出する。欠陥検出部3は検出した白色欠陥の位置を欠陥データとしてメモリ7に記憶させる。
ステップST14:
温度算出部8は、撮像素子1が画像データ生成直後に撮影した暗電流ノイズ画像を基に、メモリ7に予め記憶された温度算出用パラメータを使用して撮像素子1の画像データ撮影時(直後)の温度を算出する。
Step ST13:
The defect detection unit 3 determines whether or not all pixels of the digital image data output from the A / D conversion unit 2 are white defects, and detects all white defects. The defect detection unit 3 stores the detected position of the white defect in the memory 7 as defect data.
Step ST14:
The temperature calculation unit 8 uses a temperature calculation parameter stored in advance in the memory 7 on the basis of a dark current noise image captured immediately after the image sensor 1 generates image data. ) Is calculated.

ステップST15:
欠陥信号レベル算出部4は、ステップST14において温度算出部8が算出した画像データ生成直後の撮像素子1の温度と、メモリ7に予め記憶された出力/温度パラメータとを基に、画像データ全体の白色欠陥のオフセット成分を算出する。
ステップST16:
欠陥補正部5は、ステップST12においてA/D変換部2が出力したデジタル画像データから、全ての白色欠陥の出力信号レベルをステップST3において欠陥検出部3が出力した欠陥データを基に取得し、それぞれの白色欠陥の出力信号レベルからステップST15において欠陥信号レベル算出部4が算出した白色欠陥の出力信号レベルのオフセット成分を減算し、当該画素の正常な出力信号レベルを算出することによって欠陥補正を行う。
Step ST15:
The defect signal level calculation unit 4 calculates the entire image data based on the temperature of the image sensor 1 immediately after the image data generation calculated by the temperature calculation unit 8 in step ST14 and the output / temperature parameter stored in the memory 7 in advance. The offset component of the white defect is calculated.
Step ST16:
The defect correction unit 5 acquires the output signal levels of all white defects from the digital image data output by the A / D conversion unit 2 in step ST12 based on the defect data output by the defect detection unit 3 in step ST3. Defect correction is performed by subtracting the offset component of the output signal level of the white defect calculated by the defect signal level calculation unit 4 in step ST15 from the output signal level of each white defect, and calculating the normal output signal level of the pixel. Do.

ステップST17:
信号処理部6は、ステップST16において欠陥補正部5が全ての白色欠陥の欠陥補正を行ったデジタル画像データに、各種信号処理を行い、出力する。ここで信号処理部6が行う各種信号処理に関しては、本発明では限定しない。
Step ST17:
The signal processing unit 6 performs various types of signal processing on the digital image data that has been subjected to defect correction of all white defects by the defect correction unit 5 in step ST16, and outputs the digital image data. Here, various signal processing performed by the signal processing unit 6 is not limited in the present invention.

以上説明したように、本実施形態の撮像装置101では、画像データ生成直後に撮像素子1が撮影した暗電流ノイズ画像を基に、メモリ7に予め記憶された温度算出用パラメータを使用して撮像素子1の画像データ撮影時(直後)の温度を温度算出部8が算出するため、第1実施形態の撮像装置100と比較してセンサ11が必要ない分だけ、撮像装置101の部品点数を少なくすることができ、従って、製造時の工程数が少なくなり、製造コストが低下する、という効果を奏する。   As described above, in the imaging apparatus 101 of the present embodiment, imaging is performed using the temperature calculation parameter stored in advance in the memory 7 based on the dark current noise image captured by the imaging device 1 immediately after the image data is generated. Since the temperature calculation unit 8 calculates the temperature when the image data of the element 1 is captured (immediately after), the number of components of the imaging device 101 is reduced by the amount that the sensor 11 is not required compared to the imaging device 100 of the first embodiment. Therefore, the number of processes at the time of manufacturing is reduced, and the manufacturing cost is reduced.

本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
The present invention is not limited to the embodiment described above.
That is, when implementing the present invention, various modifications, combinations, sub-combinations, and alternatives may be made to the components of the above-described embodiments within the technical scope of the present invention or an equivalent scope thereof.

例えば、上述した実施形態の撮像装置100及び101においては、欠陥信号レベル算出部4は、撮像素子1の温度を基に白色欠陥の出力信号レベルのオフセット成分を算出していたが、白色欠陥の出力信号レベルのオフセット成分は撮像素子の温度だけでなく露光時間にも依存していることが分かっているため、この事実を利用して、露光時間と白色欠陥の出力信号レベルのオフセット成分との関係式を予め導出することによって、欠陥信号レベル算出部4は温度とともに画像データ生成時の露光時間を利用して白色欠陥の出力信号レベルのオフセット成分を算出するようにしても良い。この場合、より正確な白色欠陥の出力信号レベルのオフセット成分を算出することができるようになる。   For example, in the imaging devices 100 and 101 according to the above-described embodiments, the defect signal level calculation unit 4 calculates the offset component of the output signal level of the white defect based on the temperature of the imaging element 1. Since it is known that the offset component of the output signal level depends not only on the temperature of the image sensor but also on the exposure time, this fact is used to calculate the offset between the exposure time and the offset component of the output signal level of the white defect. By deriving the relational expression in advance, the defect signal level calculation unit 4 may calculate the offset component of the output signal level of the white defect using the exposure time when generating the image data together with the temperature. In this case, a more accurate offset component of the output signal level of the white defect can be calculated.

また、上述した実施形態の撮像装置100及び101においては、A/D変換部2が出力したデジタル画像データから、全ての白色欠陥の出力信号レベルを欠陥検出部3が出力した欠陥データを基に取得し、それぞれの白色欠陥の出力信号レベルから欠陥信号レベル算出部4が算出した白色欠陥の出力信号レベルのオフセット成分を減算し、当該画素の正常な出力信号レベルを算出することによって欠陥補正部5は欠陥補正を行っていたが、本発明はこれには限定されない。例えば、低温時の撮影等、撮像素子の温度と周囲との温度差が大きくなってしまうような場合には、白色欠陥の出力信号レベルのオフセット成分が大きくなってしまい、当該オフセット成分の信頼性が低下してしまう。そこで、このような場合には、所定のオフセット成分のしきい値を予め設定しておき、算出されたオフセット成分が当該しきい値より小さい場合には上述した実施形態と同様、欠陥補正部5はデジタル画像データの白色欠陥出力信号レベルからオフセット値を減算して補正を行い、算出されたオフセット成分が当該しきい値より大きい場合には、欠陥補正部5は、デジタル画像データにおいて白色欠陥の周囲に存在する画素値を用いて白色欠陥補正を行うような構成としても良い。白色欠陥の周囲に存在する画素値を用いて白色欠陥補正とは、例えば周辺画素値を平均して白色欠陥の画素値とするような方法であり、従来の技術を利用することができる。   In the imaging devices 100 and 101 according to the above-described embodiments, the output signal levels of all white defects are derived from the digital image data output from the A / D conversion unit 2 based on the defect data output by the defect detection unit 3. The defect correction unit obtains and calculates the normal output signal level of the pixel by subtracting the offset component of the output signal level of the white defect calculated by the defect signal level calculation unit 4 from the output signal level of each white defect In FIG. 5, defect correction was performed, but the present invention is not limited to this. For example, when the temperature difference between the temperature of the image sensor and the surroundings becomes large, such as when shooting at low temperatures, the offset component of the output signal level of the white defect becomes large, and the reliability of the offset component Will fall. Therefore, in such a case, a threshold value of a predetermined offset component is set in advance, and when the calculated offset component is smaller than the threshold value, the defect correction unit 5 is similar to the above-described embodiment. Performs correction by subtracting the offset value from the white defect output signal level of the digital image data, and when the calculated offset component is larger than the threshold value, the defect correction unit 5 detects the white defect in the digital image data. A configuration may be adopted in which white defect correction is performed using pixel values existing around. The white defect correction using the pixel values existing around the white defect is, for example, a method of averaging the peripheral pixel values to obtain the pixel value of the white defect, and a conventional technique can be used.

なお、上述した実施形態の撮像装置100及び101における欠陥検出部3、欠陥信号レベル算出部4、欠陥補正部5、温度算出部8は、ハードウェア的に構成されていてもよいし、ソフトウェア的に構成されていてもよい。   Note that the defect detection unit 3, the defect signal level calculation unit 4, the defect correction unit 5, and the temperature calculation unit 8 in the imaging devices 100 and 101 according to the above-described embodiments may be configured in hardware, or may be software-like. It may be configured.

図1は、第1実施形態の撮像装置100の構成例を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration example of the imaging apparatus 100 according to the first embodiment. 図2は、白点欠陥の温度による出力増大の具体例を示す図である。FIG. 2 is a diagram showing a specific example of the output increase due to the temperature of the white spot defect. 図3は、白点欠陥が出力する信号レベルと、温度との関係の一例を示す図である。FIG. 3 is a diagram illustrating an example of the relationship between the signal level output by the white spot defect and the temperature. 図4は、撮像装置100の動作例を示すフローチャートである。FIG. 4 is a flowchart illustrating an operation example of the imaging apparatus 100. 図5は、第2実施形態の撮像装置101の構成例を示すブロック図である。FIG. 5 is a block diagram illustrating a configuration example of the imaging apparatus 101 according to the second embodiment. 図6は、第2実施形態の撮像装置101の動作例を説明するためのフローチャートである。FIG. 6 is a flowchart for explaining an operation example of the imaging apparatus 101 according to the second embodiment.

符号の説明Explanation of symbols

100,101…撮像装置、1…撮像素子、11…センサ、2…A/D変換部、3…欠陥検出部、4…欠陥信号レベル算出部、5…欠陥補正部、6…信号処理部、7…メモリ、8…温度算出部   DESCRIPTION OF SYMBOLS 100,101 ... Imaging device, 1 ... Imaging element, 11 ... Sensor, 2 ... A / D conversion part, 3 ... Defect detection part, 4 ... Defect signal level calculation part, 5 ... Defect correction part, 6 ... Signal processing part, 7: Memory, 8 ... Temperature calculation unit

Claims (4)

画像データを生成する撮像素子と、
前記撮像素子が前記画像データを生成した際の前記撮像素子の温度を検知するセンサと、
前記撮像素子が生成した前記画像データ中の白点欠陥を検出し、検出された白点欠陥の位置を含む欠陥データを生成する欠陥検出部と、
前記センサが検知した前記撮像素子の前記画像データ生成時の温度を基に、撮像素子の温度と、当該撮像素子中の白点欠陥の出力信号レベルとの関係を示す第1のパラメータを使用して、前記欠陥検出部が検出した白点欠陥の出力信号レベルのオフセット値を算出する欠陥信号レベル算出部と、
前記欠陥検出部の生成した前記欠陥データを基に、前記撮像素子が生成した前記画像データから前記白点欠陥の出力信号レベルを取得し、当該白点欠陥の出力信号レベルから前記欠陥信号レベル算出部が算出した前記白点欠陥の出力信号レベルのオフセット値を減算することにより、当該白点欠陥の補正を行う欠陥補正部と、
を有する撮像装置。
An image sensor for generating image data;
A sensor that detects the temperature of the image sensor when the image sensor generates the image data;
A defect detection unit that detects a white spot defect in the image data generated by the image sensor and generates defect data including a position of the detected white spot defect;
Based on the temperature of the image sensor detected by the sensor when the image data is generated, the first parameter indicating the relationship between the temperature of the image sensor and the output signal level of the white point defect in the image sensor is used. A defect signal level calculation unit that calculates an offset value of the output signal level of the white spot defect detected by the defect detection unit;
Based on the defect data generated by the defect detection unit, the output signal level of the white spot defect is acquired from the image data generated by the imaging device, and the defect signal level is calculated from the output signal level of the white spot defect. A defect correction unit that corrects the white point defect by subtracting the offset value of the output signal level of the white point defect calculated by the unit;
An imaging apparatus having
画像データを生成し、直後に入射光の無い状態で撮影して暗電流ノイズのみの暗電流ノイズ画像を生成する撮像素子と、
前記撮像素子が生成した前記暗電流ノイズ画像を基に、暗電流ノイズの信号レベルと、前記撮像素子の温度との関係を示す第2のパラメータを使用して、前記撮像素子の前記画像データ生成時直後の温度を算出する温度算出部と、
前記撮像素子が生成した前記画像データ中の白点欠陥を検出し、検出された白点欠陥の位置を含む欠陥データを生成する欠陥検出部と、
前記温度算出部が算出した前記撮像素子の前記画像データ生成直後の温度を基に、前記欠陥検出部が検出した白点欠陥の出力信号レベルのオフセット値を算出する欠陥信号レベル算出部と、
前記欠陥検出部の生成した前記欠陥データを基に、前記撮像素子が生成した前記画像データから前記白点欠陥の出力信号レベルを取得し、当該白点欠陥の出力信号レベルから前記欠陥信号レベル算出部が算出した前記白点欠陥の出力信号レベルのオフセット値を減算することにより、当該白点欠陥の補正を行う欠陥補正部と、
を有する撮像装置。
An image sensor that generates image data, and immediately after shooting in the absence of incident light to generate a dark current noise image of only dark current noise,
Based on the dark current noise image generated by the image sensor, the second parameter indicating the relationship between the signal level of dark current noise and the temperature of the image sensor is used to generate the image data of the image sensor. A temperature calculation unit for calculating the temperature immediately after the hour;
A defect detection unit that detects a white spot defect in the image data generated by the image sensor and generates defect data including a position of the detected white spot defect;
A defect signal level calculation unit that calculates an offset value of the output signal level of the white point defect detected by the defect detection unit based on the temperature immediately after the image data generation of the image sensor calculated by the temperature calculation unit;
Based on the defect data generated by the defect detection unit, the output signal level of the white spot defect is acquired from the image data generated by the imaging device, and the defect signal level is calculated from the output signal level of the white spot defect. A defect correction unit that corrects the white point defect by subtracting the offset value of the output signal level of the white point defect calculated by the unit;
An imaging apparatus having
撮像素子を有する撮像装置の欠陥補正方法であって、
前記撮像素子が画像データを生成する第1の工程と、
前記画像データを生成した際の前記撮像素子の温度を検知する第2の工程と、
前記第1の工程において前記撮像素子が生成した前記画像データ中の白点欠陥を検出し、検出された白点欠陥の位置を含む欠陥データを生成する第3の工程と、
前記第2の工程において検知された前記撮像素子の前記画像データ生成時の温度を基に、撮像素子の温度と、当該撮像素子中の白点欠陥の出力信号レベルとの関係を示す第1のパラメータを使用して、前記第3の工程において検出された白点欠陥の出力信号レベルのオフセット値を算出する第4の工程と、
前記第3の工程において生成された前記欠陥データを基に、前記撮像素子が生成した前記画像データから前記白点欠陥の出力信号レベルを取得し、当該白点欠陥の出力信号レベルから前記第4の工程において算出された前記白点欠陥の出力信号レベルのオフセット値を減算することにより、当該白点欠陥の補正を行う第5の工程と、
を有する欠陥補正方法。
A defect correction method for an imaging apparatus having an imaging element,
A first step in which the image sensor generates image data;
A second step of detecting the temperature of the image sensor when the image data is generated;
A third step of detecting a white spot defect in the image data generated by the imaging element in the first step and generating defect data including a position of the detected white spot defect;
A first relationship between the temperature of the image sensor detected in the second step and the output signal level of the white point defect in the image sensor based on the temperature at which the image data is generated of the image sensor. A fourth step of calculating an offset value of the output signal level of the white spot defect detected in the third step using a parameter;
Based on the defect data generated in the third step, an output signal level of the white spot defect is obtained from the image data generated by the imaging device, and the fourth output signal level of the white spot defect is obtained. A fifth step of correcting the white spot defect by subtracting the offset value of the output signal level of the white spot defect calculated in the step;
A defect correction method comprising:
撮像素子を有する撮像装置の欠陥補正方法であって、
前記撮像素子が画像データを生成し、直後に入射光の無い状態で撮影して暗電流ノイズのみの暗電流ノイズ画像を生成する第6の工程と、
前記第6の工程において生成された前記暗電流ノイズ画像を基に、暗電流ノイズの信号レベルと、前記撮像素子の温度との関係を示す第2のパラメータを使用して、前記撮像素子の前記画像データ生成時直後の温度を算出する第7の工程と、
前記第6の工程において生成された前記画像データ中の白点欠陥を検出し、検出された白点欠陥の位置を含む欠陥データを生成する第8の工程と、
前記第7の工程において算出された前記撮像素子の前記画像データ生成直後の温度を基に、前記第8の工程において検出された白点欠陥の出力信号レベルのオフセット値を算出する第9の工程と、
前記前記第8の工程において生成された前記欠陥データを基に、前記撮像素子が生成した前記画像データから前記白点欠陥の出力信号レベルを取得し、当該白点欠陥の出力信号レベルから前記第9の工程において算出された前記白点欠陥の出力信号レベルのオフセット値を減算することにより、当該白点欠陥の補正を行う第10の工程と、
を有する欠陥補正方法。
A defect correction method for an imaging apparatus having an imaging element,
A sixth step in which the imaging element generates image data, and immediately after shooting in the absence of incident light, a dark current noise image only of dark current noise is generated;
Based on the dark current noise image generated in the sixth step, the second parameter indicating the relationship between the dark current noise signal level and the temperature of the image sensor, and A seventh step of calculating a temperature immediately after image data generation;
An eighth step of detecting a white spot defect in the image data generated in the sixth step and generating defect data including a position of the detected white spot defect;
Ninth step of calculating an offset value of the output signal level of the white spot defect detected in the eighth step based on the temperature immediately after the generation of the image data of the image sensor calculated in the seventh step. When,
Based on the defect data generated in the eighth step, an output signal level of the white point defect is obtained from the image data generated by the imaging device, and the output signal level of the white point defect is A tenth step of correcting the white point defect by subtracting the offset value of the output signal level of the white point defect calculated in step 9;
A defect correction method comprising:
JP2006323547A 2006-11-30 2006-11-30 Imaging device and defect correction method Pending JP2008141325A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006323547A JP2008141325A (en) 2006-11-30 2006-11-30 Imaging device and defect correction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006323547A JP2008141325A (en) 2006-11-30 2006-11-30 Imaging device and defect correction method

Publications (1)

Publication Number Publication Date
JP2008141325A true JP2008141325A (en) 2008-06-19

Family

ID=39602380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006323547A Pending JP2008141325A (en) 2006-11-30 2006-11-30 Imaging device and defect correction method

Country Status (1)

Country Link
JP (1) JP2008141325A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011018816A1 (en) * 2009-08-10 2011-02-17 株式会社島津製作所 Optical or radiation imaging device
WO2020144996A1 (en) * 2019-01-10 2020-07-16 ソニーセミコンダクタソリューションズ株式会社 Imaging device and calibration method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011018816A1 (en) * 2009-08-10 2011-02-17 株式会社島津製作所 Optical or radiation imaging device
WO2020144996A1 (en) * 2019-01-10 2020-07-16 ソニーセミコンダクタソリューションズ株式会社 Imaging device and calibration method

Similar Documents

Publication Publication Date Title
US9066033B2 (en) Defective pixel data correcting apparatus, image capturing apparatus, and method for correcting defective pixel data
JP5631325B2 (en) Defect detection method for imaging apparatus and imaging apparatus
US8537253B2 (en) Defect pixel detection apparatus and method for detecting defect pixel
JP5162730B2 (en) Imaging device and dark current correction method thereof
US20020176013A1 (en) Image pickup apparatus
JP2009284424A (en) Imaging apparatus, imaging method, and program
JP2010068056A (en) Imaging device, and method and program for adjusting black level
JP2007300191A (en) Infrared image processor and infrared image processing method
JP2009188463A (en) Imaging apparatus and control method thereof
US10515442B2 (en) Image processing apparatus that corrects for lateral chromatic aberration, image capturing apparatus, image processing method, and storage medium
JP2009069740A (en) Image pickup device
JP2008141325A (en) Imaging device and defect correction method
JPWO2005004467A1 (en) Video signal correction device for electronic camera
JP5544285B2 (en) Image signal processing apparatus and image signal processing method
JP2007174500A (en) Imaging apparatus
JP2010268271A (en) Imaging device
JP2007281759A (en) Imaging device and imaging apparatus
JP2010187308A (en) Image processor and image processing method
JP2007028338A (en) Imaging apparatus and control method thereof, program, and storage medium
JP2007028496A (en) Image processing apparatus, image processing method, program and storage medium
JP2014158165A (en) Image processing device, image processing method, and program
JP2012124778A (en) Imaging apparatus, imaging processing method, and computer program
JP6878947B2 (en) Image imager and electronic equipment
JP2008028634A (en) Imaging apparatus
JP2007129328A (en) Imaging apparatus