JP2002290837A - Black defect detecting device for solid state image sensing device and imaging apparatus, and black defect detecting method - Google Patents

Black defect detecting device for solid state image sensing device and imaging apparatus, and black defect detecting method

Info

Publication number
JP2002290837A
JP2002290837A JP2001087063A JP2001087063A JP2002290837A JP 2002290837 A JP2002290837 A JP 2002290837A JP 2001087063 A JP2001087063 A JP 2001087063A JP 2001087063 A JP2001087063 A JP 2001087063A JP 2002290837 A JP2002290837 A JP 2002290837A
Authority
JP
Japan
Prior art keywords
level
black defect
solid
imaging device
state imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001087063A
Other languages
Japanese (ja)
Other versions
JP4524529B2 (en
Inventor
Takayuki Nakajima
隆行 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001087063A priority Critical patent/JP4524529B2/en
Publication of JP2002290837A publication Critical patent/JP2002290837A/en
Application granted granted Critical
Publication of JP4524529B2 publication Critical patent/JP4524529B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To accurately detect a black defect of a solid state image sensing device. SOLUTION: The solid state image sensing device 3 is provided with a plurality of kinds of optical filters having sensitivity differences with wavelength characteristics of incident light for respective photodetecting elements. Further, a gain coefficient setting means 24 is provided with sets a predetermined gain coefficient for each optical filter when a photodetecting element having a black defect is detected by monitoring the signal level outputted from the solid image pickup element when plane light is made incident. The output signal levels of photodetecting elements corresponding to the respective optical filters are multiplied by individual gain coefficients to make level corrections so that the output signal levels obtained from photodetecting elements having no black defect have the same prescribed level is irrelevantly to the kinds of the optical filters. The photodetecting element having the black defect can be decided from the difference between the output signal level of the element and the prescribed level.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、固体撮像素子につ
いて黒欠陥検出を正確に行うための技術に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for accurately detecting a black defect in a solid-state imaging device.

【0002】[0002]

【従来の技術】固体撮像素子に関する欠陥画素の検出に
は、白欠陥検出(所謂白点の欠陥画素検出であり、入射
光量に対する正常な輝度よりも明るくなる欠陥画素を検
出すること。)と黒欠陥検出(所謂黒点の欠陥画素検出
であり、入射光量に対する正常な輝度よりも暗くなる欠
陥画素を検出すること。)が挙げられ、後者の検出方法
としては、白い被写体を撮影した時に固体撮像素子から
得られる出力の信号レベルを、予め規定された基準レベ
ルと比較することによって行う方法が知られている。
2. Description of the Related Art Detecting defective pixels relating to a solid-state image pickup device includes detecting white defects (detecting defective pixels at a so-called white point, and detecting defective pixels that are brighter than normal luminance with respect to the amount of incident light) and black. Defect detection (a so-called black dot defective pixel detection, which detects a defective pixel darker than normal luminance with respect to the incident light amount). The latter detection method is a solid-state image sensor when a white object is photographed. A method is known in which the signal level of the output obtained from is compared with a predetermined reference level.

【0003】図7は従来の検出方法の要点に関する説明
図であり、固体撮像素子の出力信号レベルを横軸に沿っ
て並べた棒グラフで示したものである。尚、この例では
補色系カラーフィルタ(各種色フィルタを配列したフィ
ルタアレイ)を使用しており、図中の「Mg」はマゼン
タ、「G」は緑を表している。
FIG. 7 is an explanatory diagram relating to the essential points of the conventional detection method, and shows a bar graph in which the output signal levels of the solid-state imaging device are arranged along the horizontal axis. In this example, a complementary color filter (a filter array in which various color filters are arranged) is used, and “Mg” in the figure represents magenta and “G” represents green.

【0004】また、「BLK」は黒レベルを表し、「L
sh」は欠陥検出のための閾値(欠陥判定用基準レベ
ル)を表していて、矢印「E1」や、「E2」で示す信
号出力について素子に欠陥が生じていることを想定して
いる。つまり、矢印「E1」に示す位置においては、破
線で示す信号レベルが本来得られるはずが、図示するよ
うに、「Lsh」よりやや上回ったレベルの出力しか得
られず(矢印「D1」参照。)、また、矢印「E2」に
示す位置においては、破線で示す信号レベルが本来得ら
れるはずが、図示するように、「Lsh」に比してやや
下回ったレベルの出力しか得られない(矢印「D2」参
照。)ため、各位置において欠陥が生じている。
Further, "BLK" represents a black level, and "LK"
“sh” indicates a threshold value (defect determination reference level) for defect detection, and it is assumed that a defect occurs in the element with respect to a signal output indicated by an arrow “E1” or “E2”. That is, at the position indicated by the arrow “E1”, the signal level indicated by the broken line should be originally obtained, but as shown in the figure, only an output of a level slightly higher than “Lsh” is obtained (see the arrow “D1”). Also, at the position indicated by the arrow "E2", the signal level indicated by the broken line should be originally obtained, but as shown in the figure, only an output with a level slightly lower than "Lsh" is obtained (arrow "E2"). D2).) Therefore, a defect occurs at each position.

【0005】[0005]

【発明が解決しようとする課題】しかしながら、上記方
法のように単一の判定基準レベルを設定して当該レベル
と信号レベルとを比較する方法では、黒欠陥検出を正確
に行う上で下記に示す問題がある。
However, in the method of setting a single judgment reference level and comparing the signal level with the signal level as in the above-mentioned method, the following method is required to accurately detect a black defect. There's a problem.

【0006】矢印「E2」に示す位置においては信号レ
ベルが閾値Lshより小さいので欠陥が検出されるが、
矢印「E1」に示す位置では信号レベルが閾値Lshを
越えているので欠陥が検出されない。即ち、欠陥レベル
(欠陥の度合を示すレベルであり、図7の矢印「D1」
参照。)が大きい場合と、欠陥レベル(図7の矢印「D
2」参照。)を比較した場合に、前者については信号レ
ベルが閾値Lshを越えているという理由だけで欠陥検
出がなされないので(欠陥レベルが大きくても本来の信
号レベルが高い場合には欠陥が検出され難い。)、感度
差のあるカラーフィルタを用いた固体撮像素子において
黒欠陥検出を高精度で行うことが難しい。
At the position indicated by the arrow "E2", a defect is detected because the signal level is smaller than the threshold value Lsh.
At the position indicated by the arrow "E1", no defect is detected because the signal level exceeds the threshold value Lsh. That is, the defect level (a level indicating the degree of defect, which is indicated by an arrow “D1” in FIG. 7)
reference. ) Is large and the defect level (arrow “D” in FIG. 7)
2 ". ), No defect is detected in the former case simply because the signal level exceeds the threshold value Lsh. (Even if the defect level is high, it is difficult to detect a defect if the original signal level is high.) ), It is difficult to detect black defects with high accuracy in a solid-state imaging device using a color filter having a sensitivity difference.

【0007】そこで、本発明は、固体撮像素子に関する
正確な黒欠陥検出を課題とする。
Accordingly, an object of the present invention is to accurately detect a black defect relating to a solid-state imaging device.

【0008】[0008]

【課題を解決するための手段】本発明は、上記した課題
を解決するために、複数種の光フィルタについて予め決
められた利得係数を設定する利得係数設定手段と、各光
フィルタに対応する受光素子の出力信号レベルに対して
各別の利得係数を乗じることにより、黒欠陥のない受光
素子から得られる出力信号のレベルが光フィルタの種類
に拠らずに同一の規定レベルとなるようにレベル補正す
る補正手段と、規定レベルと黒欠陥の生じている受光素
子から得られる出力信号のレベルとの差分から黒欠陥を
判別する判別手段を備えたものである。
In order to solve the above-mentioned problems, the present invention provides a gain coefficient setting means for setting a predetermined gain coefficient for a plurality of types of optical filters, and a light receiving means corresponding to each of the optical filters. The output signal level of the element is multiplied by each different gain coefficient so that the level of the output signal obtained from the light-receiving element without black defects is the same specified level regardless of the type of optical filter. The image processing apparatus further includes a correction unit for correcting the image and a determination unit for determining a black defect based on a difference between a prescribed level and a level of an output signal obtained from a light receiving element having the black defect.

【0009】従って、本発明によれば、黒欠陥のない受
光素子から得られる出力信号のレベルが光フィルタの種
類に拠らずに同一の規定レベルとなり、黒欠陥の生じて
いる受光素子から得られる出力信号のレベルが上記規定
レベルとは異なるレベルを示すことに基づいて、黒欠陥
の位置及び度合を正確に検出することができる。
Therefore, according to the present invention, the level of the output signal obtained from the light receiving element having no black defect becomes the same specified level regardless of the type of the optical filter, and the level of the output signal obtained from the light receiving element having the black defect is obtained. Based on the fact that the level of the output signal obtained indicates a level different from the specified level, it is possible to accurately detect the position and the degree of the black defect.

【0010】[0010]

【発明の実施の形態】本発明は、固体撮像素子に対して
平面光(平面波の光)を入射した当該固定撮像素子から
出力される信号レベルを監視することで黒欠陥が生じて
いる受光素子を検出するための黒欠陥検出装置や黒欠陥
検出方法、あるいはこれらを用いた撮像装置に関するも
のである。
DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention is directed to a light receiving element having a black defect by monitoring a signal level output from a fixed image pickup element upon which plane light (plane wave light) is incident on a solid state image pickup element. The present invention relates to a black defect detection device and a black defect detection method for detecting the image, or an imaging device using the same.

【0011】そして、固体撮像素子については、入射光
の波長特性により感度差が生じる複数種の光フィルタが
各受光素子毎にそれぞれ設けられていることを前提とす
る。尚、光フィルタについては、その波長域に関して、
可視光域の場合にはカラーフィルタ(色フィルタあるい
は色分解フィルタ)が使用されるが、これに限らず紫外
線フィルタや赤外線フィルタ等への幅広い適用が可能で
ある。
[0011] The solid-state imaging device is premised on that a plurality of types of optical filters having different sensitivities due to the wavelength characteristics of incident light are provided for each light receiving device. As for the optical filter, regarding its wavelength range,
In the case of the visible light region, a color filter (color filter or color separation filter) is used. However, the present invention is not limited to this, and can be widely applied to an ultraviolet filter, an infrared filter, and the like.

【0012】図1は、黒欠陥検出装置を用いた撮像装置
1を構成するカメラ信号処理部に本発明を適用した場合
の構成例を示すものである。尚、本例では、補色コーデ
ィングのカラーフィルタ(シアン「Cy」、黄「Y
e」、緑「G」、マゼンタ「Mg」を含むモザイク状の
色フィルタアレイ)を用いたCCD(電荷結合素子)型
固体撮像素子を例示しているが、原色コーディング(R
GB)のカラーフィルタを用いた撮像素子への適用が可
能であるし、CCD型に限らずMOS(金属酸化物半導
体)型等の撮像素子への適用が可能であることは勿論で
ある。また、単板式に限らず2板式等への適用が可能で
ある。
FIG. 1 shows an example of a configuration in which the present invention is applied to a camera signal processing section constituting an imaging device 1 using a black defect detection device. In this example, color filters of complementary color coding (cyan “Cy”, yellow “Y”
e), a CCD (charge coupled device) type solid-state imaging device using a mosaic color filter array including green “G” and magenta “Mg”, but primary color coding (R
Of course, the present invention can be applied to an image sensor using a GB) color filter, and can be applied to an image sensor such as a MOS (metal oxide semiconductor) type as well as a CCD type. Further, the present invention is not limited to the single-plate type, and can be applied to a two-plate type and the like.

【0013】カメラ信号処理部は、下記に示す構成要素
を具備する(括弧内の数字は符号を示す。)。
The camera signal processing unit has the following constituent elements (the numbers in parentheses indicate the signs).

【0014】・レンズ系及びアイリス(2) ・光フィルタとしてカラーフィルタを用いた固体撮像素
子(3) ・サンプルホールド及び自動利得制御回路(4) ・アナログ/ディジタル変換回路(5) ・欠陥検出及び補正回路(6) ・信号処理回路(7) ・制御部(8)。
A lens system and an iris (2); a solid-state image pickup device using a color filter as an optical filter (3); a sample hold and automatic gain control circuit (4); an analog / digital conversion circuit (5); Correction circuit (6) Signal processing circuit (7) Control unit (8).

【0015】尚、図では、サンプルホールドを「S/
H」、自動利得制御を「AGC」、アナログ/ディジタ
ル変換を「A/D変換」と略記している。
In the figure, the sample hold is represented by "S /
H "," AGC "for automatic gain control, and" A / D conversion "for analog / digital conversion.

【0016】レンズ系及びアイリス2(所謂光学系)
は、固体撮像素子3とともに撮影系を構成しており、黒
欠陥検出の際には、平面光が入射される。
Lens system and iris 2 (so-called optical system)
Constitutes an imaging system together with the solid-state imaging device 3, and receives a plane light when a black defect is detected.

【0017】固体撮像素子3は、光学系を通した被写体
からの光をフィルターアレイ(本例では補色系カラーフ
ィルタ)の感度特性に応じた受光量から電気信号に変換
するためのものである。
The solid-state imaging device 3 converts light from a subject through an optical system from an amount of light received according to the sensitivity characteristics of a filter array (in this example, a complementary color filter) into an electric signal.

【0018】サンプルホールド及び自動利得制御回路4
は、固体撮像素子3の出力信号に係るサンプリング(標
本抽出)と、利得調節を自動的に行うことで信号レベル
の安定化に必要な回路であり、その出力信号は後段のア
ナログ/ディジタル変換回路5に送出される。
Sample hold and automatic gain control circuit 4
Is a circuit necessary for stabilizing the signal level by automatically performing sampling (sample extraction) relating to the output signal of the solid-state imaging device 3 and gain adjustment, and the output signal is output to a subsequent analog / digital conversion circuit. 5 is sent.

【0019】アナログ/ディジタル変換回路5によって
量子化されたディジタル信号出力は、欠陥検出及び補正
回路6を経た後、信号処理回路7に送出される。
The digital signal output quantized by the analog / digital conversion circuit 5 is sent to a signal processing circuit 7 after passing through a defect detection and correction circuit 6.

【0020】欠陥検出及び補正回路6は、アナログ/デ
ィジタル変換回路5の出力信号に基づいて黒欠陥検出、
白欠陥検出を含む欠陥検出を行うとともに、検出結果に
応じた補正処理を担当している。
The defect detection and correction circuit 6 detects a black defect based on the output signal of the analog / digital conversion circuit 5,
In addition to performing defect detection including white defect detection, he is in charge of correction processing according to the detection result.

【0021】また、信号処理回路7は、その入力信号に
対して輝度(Y)信号処理及びクロマ(C)信号処理、
エンコード等を含む各種の処理を施した後に複合映像信
号(ビデオ信号)を出力する。
The signal processing circuit 7 performs luminance (Y) signal processing and chroma (C) signal processing on the input signal.
After performing various processes including encoding and the like, a composite video signal (video signal) is output.

【0022】制御部8については、マイクロコンピュー
タ8a及び不揮発性メモリ8bを用いて構成され、マイ
クロコンピュータ8aは、欠陥検出結果を不揮発性メモ
リ8bに記憶させたり、あるいは欠陥補正時において不
揮発性メモリ8bに記憶されているデータを読み出して
これを欠陥検出及び補正回路6に送出することで欠陥補
正アドレス(欠陥位置の情報)を設定する等の役割を有
する。また、不揮発性メモリ8bについては、例えば、
EEPROM(電気的消去書き込み可能な読み専用メモ
リ)が挙げられるが、電源供給停止時においてデータ保
持が可能な記憶手段であればこれに限らず、別のメモリ
(例えば、バックアップ機能を備えた揮発性メモリ
等。)、あるいは記録媒体による補助記憶装置等を使用
しても構わない。
The control unit 8 is constituted by using a microcomputer 8a and a nonvolatile memory 8b. The microcomputer 8a stores a defect detection result in the nonvolatile memory 8b or a nonvolatile memory 8b when correcting a defect. Has a role of setting a defect correction address (information of a defect position) by reading out the data stored in the memory and sending it to the defect detection and correction circuit 6. For the nonvolatile memory 8b, for example,
An EEPROM (electrically erasable and writable read-only memory) is an example. However, the storage means is not limited to this as long as data can be retained when power supply is stopped. Another memory (for example, a volatile memory having a backup function) A memory or the like.) Or an auxiliary storage device using a recording medium may be used.

【0023】欠陥検出及び補正回路6の構成について
は、例えば、図1に示されるように、下記の構成要素を
具備する(括弧内の数字は符号を示す。)。
The configuration of the defect detection and correction circuit 6 includes, for example, the following components as shown in FIG. 1 (numbers in parentheses indicate symbols).

【0024】・黒欠陥検出用回路(9) ・白欠陥検出回路(10) ・セレクタ(11) ・欠陥アドレスメモリ(12) ・補正信号発生回路(13) ・欠陥補正回路(14)。A circuit for detecting a black defect (9) A circuit for detecting a white defect (10) A selector (11) A defect address memory (12) A correction signal generation circuit (13) A defect correction circuit (14).

【0025】黒欠陥検出用回路9は、黒欠陥検出の中心
部分であり、検出結果はセレクタ11を介して白欠陥検
出回路10に送出される。尚、その構成及び動作につい
ては後で詳述するが、本発明の実施形態については、下
記に示す態様が挙げられる。
The circuit 9 for detecting a black defect is a central part of the detection of a black defect, and the detection result is sent to a white defect detection circuit 10 via a selector 11. The configuration and operation will be described later in detail, but embodiments of the present invention include the following modes.

【0026】(i)黒欠陥検出結果を示す信号をそのま
ま用いて黒欠陥が生じている受光素子を特定すると共
に、その位置情報を記憶手段に記憶させておき、欠陥補
正時には当該記憶手段から読み出した情報に基づいて欠
陥補正用のタイミング信号を生成して欠陥補正を行う形
態 (ii)黒欠陥検出結果を示す信号をそのまま用いず
に、黒欠陥の検出信号を白欠陥相当の検出信号へと転化
させることで、白欠陥検出及び白欠陥補正のための手段
を流用する形態。
(I) The light-receiving element having a black defect is specified by using the signal indicating the result of the black defect detection as it is, and its position information is stored in the storage means, and is read out from the storage means when the defect is corrected. A timing signal for defect correction is generated based on the obtained information to perform defect correction. (Ii) The detection signal of the black defect is converted into a detection signal corresponding to a white defect without using the signal indicating the detection result of the black defect as it is. A mode in which the means for detecting white defects and correcting white defects is diverted by conversion.

【0027】先ず、(i)については黒欠陥検出を行
い、その結果に基づいて素直に黒欠陥補正を行う形態で
ある。例えば、欠陥画素が判明した場合にその1画素分
前の画素出力によって置換を行うことで、欠陥の生じて
いる受光素子から得られる出力信号を無視したり、ある
いは隣接画素の画素出力から得られる演算値で代用する
といった処理を行う。但し、本形態では、白欠陥検出及
び補正を黒欠陥検出及び補正とは別個に行う必要があ
る。
First, (i) is a mode in which a black defect is detected and the black defect is corrected based on the result. For example, when a defective pixel is found, by performing replacement with the pixel output one pixel before the defective pixel, an output signal obtained from a defective light receiving element can be ignored or obtained from a pixel output of an adjacent pixel. Processing such as substituting with a calculated value is performed. However, in this embodiment, it is necessary to perform the white defect detection and correction separately from the black defect detection and correction.

【0028】他方、形態(ii)によれば、黒と白の違
いが信号レベルの相対的な関係であること、つまり、黒
レベルと白レベルについてレベル軸の向きを逆転させれ
ば互い白黒反転した関係となることに着目して、黒欠陥
の検出信号を、白欠陥相当の検出信号に変換することに
より、白欠陥検出手段の仕組みをそのまま利用して黒欠
陥検出を行うことができる。つまり、信号変換によって
黒欠陥を白欠陥とみなして受光素子の位置を特定して、
その位置情報を記憶手段に記憶させておき、欠陥補正時
には当該記憶手段から読み出した情報に基づいて欠陥補
正用のタイミング信号を生成して欠陥補正を行えば、結
果として黒欠陥を補正したことになる。よって、白欠陥
検出回路や白欠陥補正回路の兼用によって回路構成を簡
単化して、コスト削減を図ることができるという利点が
得られる。
On the other hand, according to the form (ii), the difference between black and white is the relative relationship between the signal levels. That is, if the direction of the level axis is reversed for the black level and the white level, the black and white are inverted. By paying attention to the relationship described above, the detection signal of the black defect is converted into the detection signal corresponding to the white defect, so that the black defect can be detected using the mechanism of the white defect detection means as it is. That is, the position of the light receiving element is identified by regarding the black defect as a white defect by signal conversion,
When the position information is stored in the storage means, and a defect correction is performed by generating a timing signal for defect correction based on the information read from the storage means at the time of defect correction, the black defect is corrected as a result. Become. Therefore, there is an advantage that the circuit configuration can be simplified by using the white defect detection circuit and the white defect correction circuit, and the cost can be reduced.

【0029】セレクタ11は、アナログ/ディジタル変
換回路5の出力信号又は黒欠陥検出用回路9からの信号
のいずれかを選択して後段の白欠陥検出回路10に送出
する。つまり、黒欠陥検出時には、黒欠陥検出用回路9
を通した信号を選択し、白欠陥検出時には、黒欠陥検出
用回路9を通さない信号を選択する。
The selector 11 selects either the output signal of the analog / digital conversion circuit 5 or the signal from the black defect detection circuit 9 and sends it to the subsequent white defect detection circuit 10. That is, when a black defect is detected, the circuit 9 for detecting a black defect is used.
When a white defect is detected, a signal that does not pass through the black defect detection circuit 9 is selected.

【0030】白欠陥検出回路10は、白欠陥の生じてい
る受光素子を特定するための回路であり、既知の構成を
有する。例えば、欠陥判別のために信号レベルを所定の
閾値と比較するための比較回路(コンパレータ)と、該
比較回路の結果から欠陥画素の位置(固体撮像素子上の
受光素子の位置)を特定するアドレス検出回路や、欠陥
レベルの大きさに応じて順番に並び替えるためのソーテ
ィング回路等を備えている。尚、本例では前記(ii)
の形態を採用しているので、白欠陥検出回路10は、黒
欠陥検出時においても使用される。つまり、本回路は上
記黒欠陥検出用回路9とともに黒欠陥検出装置をも構成
している。
The white defect detection circuit 10 is a circuit for specifying a light receiving element having a white defect, and has a known configuration. For example, a comparison circuit (comparator) for comparing a signal level with a predetermined threshold for defect determination, and an address for specifying a position of a defective pixel (a position of a light receiving element on a solid-state imaging device) from the result of the comparison circuit A detection circuit, a sorting circuit for rearranging in order according to the size of the defect level, and the like are provided. In this example, (ii)
Therefore, the white defect detection circuit 10 is used even when a black defect is detected. That is, this circuit also constitutes a black defect detection device together with the above-mentioned black defect detection circuit 9.

【0031】欠陥アドレスメモリ12は、検出された欠
陥について固体撮像素子上の位置情報(アドレス)を保
存するものである。つまり、当該メモリはマイクロコン
ピュータ8aの制御下において、白欠陥検出回路10か
らのデータを記憶したり、当該メモリから読み出された
記憶データを補正信号発生回路13に送出するものであ
る。尚、本例では前記(ii)の形態を採用しているの
で、本メモリは白欠陥検出、黒欠陥検出において共通に
使用される。
The defect address memory 12 stores position information (address) of the detected defect on the solid-state imaging device. That is, the memory stores the data from the white defect detection circuit 10 and sends the storage data read from the memory to the correction signal generation circuit 13 under the control of the microcomputer 8a. In this example, since the configuration of (ii) is adopted, this memory is commonly used in white defect detection and black defect detection.

【0032】補正信号発生回路13は、欠陥アドレスメ
モリ12から送られてくるデータに基づいて欠陥補正用
信号(タイミング信号)を生成するための回路であり、
当該信号は欠陥補正回路14に送出される。
The correction signal generation circuit 13 is a circuit for generating a defect correction signal (timing signal) based on data sent from the defect address memory 12.
The signal is sent to the defect correction circuit 14.

【0033】欠陥補正回路14は、アナログ/ディジタ
ル変換回路5と信号処理回路7との間に配置され、補正
信号発生回路13からの欠陥補正用信号を受けて固体撮
像素子3の出力信号に対して欠陥補正を行う。尚、本例
では前記(ii)の形態を採用しているので、本回路は
白欠陥検出、黒欠陥検出において共通に使用される。ま
た、欠陥補正の方法については、欠陥が検出された位置
の受光素子の出力値を、近傍位置における欠陥のない素
子の出力値(正常な画素出力値)で置換したり、あるい
は近傍位置の欠陥のない素子群の各出力値に基づく演算
結果で代用する等といった各種の方法が挙げられること
及び本発明に関する限りその方法の如何を問わないこと
から説明を省略する。
The defect correction circuit 14 is arranged between the analog / digital conversion circuit 5 and the signal processing circuit 7, receives a defect correction signal from the correction signal generation circuit 13, and receives an output signal of the solid-state imaging device 3. To perform defect correction. In this example, since the configuration (ii) is adopted, the present circuit is commonly used in white defect detection and black defect detection. Further, regarding the defect correction method, the output value of the light receiving element at the position where the defect is detected is replaced with the output value of a non-defective element at the nearby position (normal pixel output value), or the defect at the nearby position is replaced. Since various methods such as substituting with the calculation result based on each output value of the element group having no element can be cited, and the method does not matter as far as the present invention is concerned, the description is omitted.

【0034】図2に示す黒欠陥検出用回路9の構成につ
いて説明する前に、黒欠陥検出方法について、図3乃至
図6に従って説明する。
Before describing the configuration of the black defect detection circuit 9 shown in FIG. 2, a black defect detection method will be described with reference to FIGS.

【0035】図3は、アナログ/ディジタル変換回路5
によって変換された固体撮像素子3の画像出力レベルの
一例(色差線順次方式)を、横軸(画素の水平走査方向
に相当する。)に沿って並べて棒グラフに示したもので
ある。尚、図示する信号レベルは、G(緑)のカラーフ
ィルタとMg(マゼンタ)のカラーフィルタに対応した
レベルが交互に示されている。また、矢印「E1」や、
「E2」で示す信号出力について素子に欠陥が生じてい
ることを想定しており、矢印「E1」に示す位置(M
g)においては、他のMgのフィルタを経た出力レベル
と同様に、破線で示す信号レベルが本来得られるはず
が、他の出力レベルよりに比して小さくなっている(欠
陥レベルを、矢印「D1」に示す。)。また、矢印「E
2」に示す位置(G)においては、他のMgのフィルタ
を経た出力レベルと同様に、破線で示す信号レベルが本
来得られるはずが、図示するように、他の出力レベルよ
りも小さくなっている(欠陥レベルを、矢印「D2」に
示す。)。
FIG. 3 shows an analog / digital conversion circuit 5
An example of the image output level of the solid-state imaging device 3 (color-difference line-sequential system) converted by the above is shown in a bar graph arranged along the horizontal axis (corresponding to the horizontal scanning direction of pixels). The signal levels shown in the figure alternately indicate levels corresponding to a G (green) color filter and a Mg (magenta) color filter. Also, the arrow “E1”,
It is assumed that the element has a defect with respect to the signal output indicated by “E2”, and the position (M
In g), the signal level indicated by the broken line should be originally obtained, as in the case of the output level having passed through the other Mg filters, but is smaller than the other output levels (the defect level is indicated by an arrow " D1 "). Also, the arrow "E
At the position (G) indicated by "2", the signal level indicated by the broken line should be originally obtained, as in the case of the output level after passing through the other Mg filters. (The defect level is indicated by an arrow “D2”).

【0036】尚、図中の「BLK」は黒レベルを示す。Note that "BLK" in the figure indicates a black level.

【0037】図4は、図3に示したグラフから黒レベル
に示す「BLK」の分を差し引いた後のグラフを示した
ものである。つまり、黒レベル「BLK」を原点レベル
の基準としている。
FIG. 4 shows a graph obtained by subtracting "BLK" shown at the black level from the graph shown in FIG. That is, the black level “BLK” is used as the reference of the origin level.

【0038】図5は、図4に示される各信号レベルに対
して、予め決定されている利得係数をそれぞれ掛けた後
の状態を示したものである。
FIG. 5 shows a state after each of the signal levels shown in FIG. 4 is multiplied by a predetermined gain coefficient.

【0039】例えば、補色コーディングにおいてCy、
Ye、G、Mgの各カラーフィルタに対する利得係数を
それぞれ、「KCy」、「KYe」、「KG」、「KMg」と
し、各カラーフィルタを通した受光素子の出力信号レベ
ルをそれぞれ、「VCy」、「VYe」、「VG」、「VM
g」とすると、「KCy×VCy」、「KYe×VYe」、「KG
×VG」、「KMg×VMg」をそれぞれ計算してレベル補
正を行う。
For example, in complementary color coding, Cy,
The gain coefficients for the Ye, G, and Mg color filters are respectively “KCy”, “KYe”, “KG”, and “KMg”, and the output signal level of the light receiving element passing through each color filter is “VCy”. , "VYe", "VG", "VM
g ”,“ KCy × VCy ”,“ KYe × VYe ”,“ KG
× VG ”and“ KMg × VMg ”are respectively calculated to perform level correction.

【0040】図5では、説明の便宜上、「KG=2」、
「KMg=1」に各係数が選ばれているので、Gのフィル
タを経た撮像出力レベル(黒欠陥のない受光素子による
出力レベル)については、そのレベルが2倍になって規
定レベル(図に「LVL」と記す。)にまで達する。ま
た、Mgのフィルタを経た撮像出力レベル(黒欠陥のな
い受光素子による出力レベル)については、そのままの
レベルである。つまり、規定レベル「LVL」は黒欠陥
のないMgに係る出力信号のレベルに規定されている。
In FIG. 5, for convenience of explanation, “KG = 2”,
Since each coefficient is selected as “KMg = 1”, the level of the imaging output level (the output level by the light-receiving element having no black defect) having passed through the G filter is doubled to the specified level (see FIG. "LVL"). The imaging output level (the output level of the light receiving element having no black defect) after passing through the Mg filter is the same level. That is, the specified level “LVL” is specified as the level of the output signal related to Mg having no black defect.

【0041】このように、複数種の光フィルタについて
予め決められた利得係数が設定され、各光フィルタに対
応する画素出力値、つまり、各光フィルタに対応する受
光素子の出力信号レベルに対して各別の利得係数を乗じ
ることにより、それぞれの光フィルタの感度特性が揃う
ように各出力信号間の差分を補正すると、黒欠陥のない
受光素子から得られる出力信号のレベルが光フィルタの
種類に拠らずに同一の規定レベルLVLになることが分
かる。換言すれば、黒欠陥がない場合において、信号レ
ベルが、同一の規定レベルLVLとなるように各利得係
数が事前に決定されているということである。
As described above, a predetermined gain coefficient is set for a plurality of types of optical filters, and a pixel output value corresponding to each optical filter, that is, an output signal level of a light receiving element corresponding to each optical filter, is set. By multiplying each of the gain coefficients to correct the difference between each output signal so that the sensitivity characteristics of each optical filter become uniform, the level of the output signal obtained from the light-receiving element having no black defect is determined by the type of optical filter. It can be seen that the same specified level LVL is obtained regardless of the above. In other words, when there is no black defect, each gain coefficient is determined in advance so that the signal level becomes the same specified level LVL.

【0042】他方、黒欠陥の生じている受光素子から得
られる出力信号については、図5の矢印「F1」、「F
2」に示すように、規定レベルLVLとは異なるレベル
を示す。つまり、本例では、利得係数の設定値から分か
るように、矢印「F1」に示すMgについての欠陥レベ
ル(LVL−KMg×VMg=LVL−VMg)は、図3や図
4において矢印「E1」に示す欠陥レベルに等しいが、
矢印「F2」に示すGについての欠陥レベル(LVL−
KG×VG=LVL−2×VG)は、図3や図4において
矢印「E2」に示す欠陥レベルよりも大きくなってい
る。
On the other hand, regarding the output signals obtained from the light receiving element having the black defect, arrows "F1" and "F
As shown in “2”, the level is different from the specified level LVL. That is, in this example, as can be seen from the set value of the gain coefficient, the defect level (LVL−KMg × VMg = LVL−VMg) of Mg indicated by the arrow “F1” is the arrow “E1” in FIGS. Is equal to the defect level shown in
The defect level (LVL−G) of G indicated by the arrow “F2”
(KG × VG = LVL−2 × VG) is higher than the defect level indicated by the arrow “E2” in FIGS.

【0043】このように、黒欠陥のある受光素子につい
ては、その信号レベルが規定レベルLVLに揃わないこ
とが分かる。
As described above, it can be seen that the signal level of the light receiving element having a black defect is not equal to the specified level LVL.

【0044】図6は、規定レベルLVLを白レベルに設
定するともに、当該レベルから図5にされる各信号レベ
ルを差し引いた結果を示したものであり、同図において
矢印「D1」、「D2」の上にオーバーラインを付した
ものが、前記した矢印「D1」、「D2」に示す欠陥レ
ベルにそれぞれ対応した演算結果を示している。
FIG. 6 shows the result of setting the specified level LVL to the white level and subtracting each signal level shown in FIG. 5 from the level, and the arrows "D1" and "D2" in FIG. ”Indicates an operation result corresponding to each of the defect levels indicated by the arrows“ D1 ”and“ D2 ”.

【0045】つまり、黒欠陥のある素子の欠陥レベルが
上記の演算によってそれぞれ抽出される(図5において
レベルLVLを基準レベルにとってレベル軸を逆向きに
設定したときの各信号のレベル関係と同じである。つま
り、白レベルを基準としてレベル反転を行ったのと等価
である。)。
That is, the defect level of the element having a black defect is extracted by the above-described calculation (the same as the level relationship of each signal when the level axis is set in the opposite direction with respect to the level LVL as the reference level in FIG. 5). That is, it is equivalent to performing the level inversion based on the white level.)

【0046】このように、黒欠陥に係る画像出力が、白
欠陥に係る画像出力相当の信号に変換されて出力され
る。即ち、図5において、矢印「F1」、「F2」に示
す位置では白欠陥が生じているために各信号レベルが規
定レベルLVLに達していないとみなすことができる
(実際の原因は、当然に黒欠陥に依るが、上記した処方
によって黒欠陥検出処理を白欠陥検出処理に転化でき
る。)。
As described above, the image output related to the black defect is converted into a signal corresponding to the image output related to the white defect and output. That is, in FIG. 5, at the positions indicated by the arrows “F1” and “F2”, it can be considered that each signal level has not reached the specified level LVL because a white defect has occurred. Although it depends on the black defect, the above-mentioned prescription can convert the black defect detection processing to the white defect detection processing.)

【0047】図2は黒欠陥検出用回路9の構成例を示す
ものであり、下記の構成要素を具備する(括弧内の数字
は符号を示す。)。
FIG. 2 shows a configuration example of the circuit 9 for detecting a black defect, and includes the following components (the numbers in parentheses indicate symbols).

【0048】・初段の引き算回路(15) ・掛算回路(16) ・出力段の引き算回路(17) ・平均値検出回路(18) ・黒レベル設定部(19) ・利得係数設定部(20) ・セレクタ(21) ・白レベル設定部(22) ・シーケンサ(23)。A first stage subtraction circuit (15) A multiplication circuit (16) An output stage subtraction circuit (17) An average value detection circuit (18) A black level setting section (19) A gain coefficient setting section (20) A selector (21) a white level setting unit (22) a sequencer (23).

【0049】本回路においては、アナログ/ディジタル
変換回路5からの信号(例えば、図3参照。)は、引き
算回路15に送られる。そして、図4において説明した
ように、ここでは各信号のレベルから、黒レベルBLK
が引き算される。尚、黒レベルBLKについてはマイク
ロコンピュータ8aからの指令に従って黒レベル設定部
19により規定され、当該レベルを示す信号が引き算回
路15に送出されるようになっている。
In this circuit, a signal from the analog / digital conversion circuit 5 (for example, see FIG. 3) is sent to a subtraction circuit 15. Then, as described with reference to FIG. 4, here, the black level BLK is calculated from the level of each signal.
Is subtracted. The black level BLK is defined by the black level setting unit 19 in accordance with a command from the microcomputer 8a, and a signal indicating the level is sent to the subtraction circuit 15.

【0050】そして、引き算回路15の出力は掛算回路
16に送出され、ここでは、上記したように、各カラー
フィルタに対応する受光素子の出力信号レベルに対して
各別の利得係数(KCy、KYe、KG、KMg)を乗じる処
理が行われる(図5参照)。尚、各利得係数の値は、マ
イクロコンピュータ8aからの指令に従って利得係数設
定部20に設定されてから、セレクタ21を介して掛算
回路16に送られてくるように構成されており、シーケ
ンサ23からの制御信号に応じたセレクタ21の切換制
御によって、Cy、Ye、G、Mgの各フィルタに対す
る利得係数が選択されて当該係数の乗算タイミングが規
定される。つまり、利得係数設定部20、セレクタ2
1、シーケンサ23は、複数種の光フィルタについて予
め決められた利得係数を設定する利得係数設定手段24
を構成しており、各利得係数と、各フィルタを通した受
光素子の出力信号レベルとがそれぞれ対応するように制
御されて、両者の乗算処理が行われる。この処理によ
り、黒欠陥でない撮像出力についてはそのレベルが同一
レベルに揃えられるので、光フィルタ(この場合にはカ
ラーフィルタ)の感度差が補正されて、各フィルタの違
いが吸収される。
Then, the output of the subtraction circuit 15 is sent to the multiplication circuit 16, where, as described above, different gain coefficients (KCy, KYe) are applied to the output signal levels of the light receiving elements corresponding to the respective color filters. , KG, KMg) (see FIG. 5). The value of each gain coefficient is set in the gain coefficient setting unit 20 according to a command from the microcomputer 8a, and then sent to the multiplication circuit 16 via the selector 21. , The gain coefficient for each of the filters of Cy, Ye, G, and Mg is selected, and the multiplication timing of the coefficient is defined. That is, the gain coefficient setting unit 20, the selector 2
1. The sequencer 23 is a gain coefficient setting means 24 for setting a predetermined gain coefficient for a plurality of types of optical filters.
Are controlled so that each gain coefficient and the output signal level of the light receiving element passed through each filter correspond to each other, and a multiplication process of both is performed. By this processing, the level of the imaging output that is not a black defect is adjusted to the same level, so that the sensitivity difference of the optical filter (the color filter in this case) is corrected, and the difference between the filters is absorbed.

【0051】また、掛算回路16は、各光フィルタに対
応する受光素子の出力信号レベルに対して各別の利得係
数を乗じる役割を有しており、黒欠陥のない受光素子か
ら得られる出力信号のレベルが光フィルタの種類に拠ら
ずに同一の規定レベルとなるようにレベル補正する補正
手段25を構成している。
The multiplying circuit 16 has a function of multiplying the output signal level of the light receiving element corresponding to each optical filter by a different gain coefficient. The output signal obtained from the light receiving element having no black defect is output. The correction means 25 is configured to perform level correction so that the level of the image data becomes the same specified level regardless of the type of the optical filter.

【0052】掛算回路16の出力は後段の引き算回路1
7に送出されるが、マイクロコンピュータ8aからの指
令に従って白レベル設定部22により白レベルが規定さ
れ、当該レベルを示す信号が引き算回路17に送出され
てくる。そして、ここでは、図6において説明したよう
に、規定レベルを白レベルに規定して、このレベルから
利得係数の乗算後の信号レベルが引き算される。これに
より、黒欠陥の撮像出力が白欠陥の撮像出力相当の信号
に変換されることになる。
The output of the multiplying circuit 16 is the output of the subtracting circuit 1 in the subsequent stage.
The white level is defined by the white level setting unit 22 according to a command from the microcomputer 8a, and a signal indicating the level is transmitted to the subtraction circuit 17. Here, as described in FIG. 6, the prescribed level is defined as the white level, and the signal level after multiplication by the gain coefficient is subtracted from this level. Thus, the imaging output of the black defect is converted into a signal corresponding to the imaging output of the white defect.

【0053】引き算回路17の出力は、前記したよう
に、セレクタ21を介して白欠陥検出回路10に送出さ
れ、当該回路を使って黒欠陥検出が行われる。つまり、
本例では、上記した規定レベルと、黒欠陥の生じている
受光素子から得られる出力信号のレベルとの差分として
得られる情報に基づいて黒欠陥を判別する判別手段26
として白欠陥検出回路10が兼用されている。
The output of the subtraction circuit 17 is sent to the white defect detection circuit 10 via the selector 21 as described above, and the black defect is detected using the circuit. That is,
In this example, the determination means 26 determines a black defect based on information obtained as a difference between the above-mentioned specified level and the level of an output signal obtained from a light receiving element having a black defect.
The white defect detection circuit 10 is also used.

【0054】つまり、図6に示した信号が、白欠陥検出
回路10に入力されることにより、欠陥レベルが検出さ
れるとともに、固体撮像素子3における受光素子の欠陥
位置情報(アドレス)が検出される。そして、本回路内
にはソーティング回路が設けられていて、欠陥レベルの
大きさに応じて検出情報の並べ替えが行われる(欠陥レ
ベルの大きいものから順に並べ替えられる。)ので、映
像信号への影響が大きい欠陥から先に検出したのと同じ
結果が得られる。
That is, when the signal shown in FIG. 6 is input to the white defect detection circuit 10, the defect level is detected, and the defect position information (address) of the light receiving element in the solid-state imaging device 3 is detected. You. Then, a sorting circuit is provided in this circuit, and the detection information is rearranged according to the level of the defect level (rearranged in descending order of the defect level). The same result as previously detected is obtained from a defect having a large influence.

【0055】そして、検出された欠陥位置情報は、マイ
クロコンピュータ8aの制御下で、不揮発性メモリ8b
に送られて記憶されて、一連の黒欠陥検出動作が終了す
る。
The detected defect position information is stored in the nonvolatile memory 8b under the control of the microcomputer 8a.
And a series of black defect detection operations are completed.

【0056】尚、黒欠陥補正処理に関しては、既存の白
欠陥補正回路を兼用することから明らかなように白欠陥
補正処理と同じであり、マイクロコンピュータ8aの制
御下おいて不揮発性メモリ8bから読み出された欠陥位
置情報(欠陥アドレス)が欠陥アドレスメモリ12上に
一旦記憶されてから、これに応じて補正信号発生回路1
3により生成される欠陥補正用信号が欠陥補正回路14
に送出されることで欠陥補正処理が行われる。
Note that the black defect correction processing is the same as the white defect correction processing as is apparent from the fact that the existing white defect correction circuit is also used, and is read from the nonvolatile memory 8b under the control of the microcomputer 8a. The issued defect position information (defect address) is temporarily stored in the defect address memory 12, and then the correction signal generation circuit 1
The defect correction signal generated by the defect correction circuit 14 is
To perform a defect correction process.

【0057】平均値検出回路18は、アナログ/ディジ
タル変換回路5からの信号、即ち、光フィルタ毎の受光
素子から得られる出力信号のレベルについて、それぞれ
の平均値を求めるための回路であり、シーケンサ23に
より制御される。黒欠陥検出の前には、事前に利得係数
を決定しておく必要があり、そのためには、固体撮像素
子3に平面光の入射したときに、欠陥のない画素に係る
出力信号のレベルについて平均値を平均値検出回路18
が算出して、これをマイクロコンピュータ8aに送出す
る。マイクロコンピュータ8aは、この平均値で上記の
規定レベルを割った比率から決定される値を利得係数と
して算出する(これが利得係数設定部20に対して設定
される利得係数の値として用いられる。)。尚、本回路
においては、平均値検出回路そのものが平均値検出手段
を構成しているが、これに限らず、平均値計算処理をマ
イクロコンピュータ8aに委ねる等の各種の形態が可能
である。また、利得係数の値についてはマイクロコンピ
ュータ8aのメモリ内に保持しても良いし、安全性を考
慮して不揮発性メモリ8b内に記憶保持しても良いこと
は勿論である。
The average value detection circuit 18 is a circuit for obtaining an average value of each signal from the analog / digital conversion circuit 5, that is, the level of the output signal obtained from the light receiving element for each optical filter. 23. Before detecting a black defect, it is necessary to determine a gain coefficient in advance. For this purpose, when plane light is incident on the solid-state imaging device 3, the average of the output signal level of a pixel having no defect is obtained. Average value detection circuit 18
Is calculated and sent to the microcomputer 8a. The microcomputer 8a calculates, as a gain coefficient, a value determined from a ratio obtained by dividing the above specified level by the average value (this is used as a value of the gain coefficient set in the gain coefficient setting unit 20). . In this circuit, the average value detection circuit itself constitutes the average value detection means, but the present invention is not limited to this, and various forms such as leaving the average value calculation processing to the microcomputer 8a are possible. Further, the value of the gain coefficient may be held in the memory of the microcomputer 8a or may be stored and held in the nonvolatile memory 8b in consideration of safety.

【0058】しかして、本発明に係る黒欠陥検出方法の
手順を箇条書きにしてまとめると、下記のようになる。
The procedure of the method for detecting a black defect according to the present invention is summarized as follows.

【0059】(1)感度差を有する複数種の光フィルタ
について予め決められた利得係数をそれぞれ設定してお
く。
(1) A predetermined gain coefficient is set for each of a plurality of types of optical filters having a sensitivity difference.

【0060】(2)各光フィルタに対応する受光素子の
出力信号レベルに対して上記利得係数を乗じることによ
り、それぞれの光フィルタの感度特性が揃うようにレベ
ル補正を行う。
(2) By multiplying the output signal level of the light receiving element corresponding to each optical filter by the above gain coefficient, level correction is performed so that the sensitivity characteristics of each optical filter become uniform.

【0061】(3)黒欠陥の発生している画素について
欠陥レベル及びその位置を検出する。つまり、黒欠陥の
ない受光素子から得られる出力信号のレベルが光フィル
タの種類に拠らずに同一の規定レベル「LVL」となる
が、黒欠陥の生じている受光素子から得られる(利得調
節後の)出力信号のレベル「Uj=Kj×Vj」(但
し、jは、「Cy,Ye,G,Mg」の何れかを示す。)が上記規
定レベルとは異なるレベルを示すので、両者の差分量
(LVL−Uj)を演算により算出することで欠陥の度
合を把握できる。
(3) A defect level and its position are detected for a pixel having a black defect. That is, the level of the output signal obtained from the light receiving element having no black defect is the same specified level "LVL" regardless of the type of the optical filter, but is obtained from the light receiving element having the black defect (gain adjustment). Since the output signal level “Uj = Kj × Vj” (where j indicates one of “Cy, Ye, G, Mg”) indicates a level different from the above-mentioned specified level, The degree of the defect can be grasped by calculating the difference amount (LVL-Uj) by calculation.

【0062】尚、(3)においては、黒欠陥のない各受
光素子から得られる出力信号のレベルが同一の規定レベ
ルとなるように利得係数の乗算によって揃えた後で、当
該規定レベルから、各受光素子の出力信号レベルに対し
て(1)の利得係数を乗じた後の信号レベルを引き算す
れば良い。その際には規定レベルを白レベルとし、当該
レベルから各受光素子の出力信号レベルに対して利得係
数を乗じた後の信号レベルを引き算すると、上記したよ
うに、黒欠陥の大きさを示す検出信号を白欠陥検出相当
の信号とみなして処理できるので、回路構成が簡単で済
む。
In (3), after the output signals obtained from the respective light receiving elements having no black defect have the same specified level by multiplying by a gain coefficient, the output level is reduced from the specified level. What is necessary is just to subtract the signal level after multiplying the output signal level of the light receiving element by the gain coefficient of (1). At this time, the specified level is set to a white level, and the signal level after multiplying the output signal level of each light receiving element by a gain coefficient is subtracted from the level, and as described above, the detection indicating the size of the black defect is performed. Since the signal can be regarded as a signal corresponding to white defect detection and processed, the circuit configuration can be simplified.

【0063】また、各利得係数の決定にあたっては、固
体撮像素子3に平面光を当てたときに得られる、光フィ
ルタ毎の受光素子から得られる出力信号のレベルを検出
するとともに、各フィルタ毎に平均値を求め、該平均値
で規定レベルを割った比率から利得係数を決定する方法
が簡単であり、光フィルタや固体撮像素子の個体差に応
じた利得係数を得ることができるので精度向上にとって
好ましい。
In determining each gain coefficient, the level of an output signal obtained from the light receiving element for each optical filter, which is obtained when the solid-state imaging device 3 is irradiated with plane light, is detected. An average value is obtained, and a method of determining a gain coefficient from a ratio obtained by dividing a specified level by the average value is simple, and it is possible to obtain a gain coefficient according to an individual difference of an optical filter or a solid-state imaging device. preferable.

【0064】上記に説明したように、各光フィルタに対
応した利得係数を、当該光フィルタ毎の画素出力のレベ
ルに対して乗算する演算処理を施して欠陥レベルを検出
できるので、例えば、下記に示す利点が得られる。
As described above, the defect level can be detected by performing the arithmetic processing of multiplying the gain coefficient corresponding to each optical filter by the level of the pixel output for each optical filter. The advantages shown are obtained.

【0065】・各フィルタの感度特性が異なっている固
体撮像素子に関して、欠陥検出の際に入射される平面光
の波長特性が問題とならない。つまり、波長特性に依存
して検出信号レベルや欠陥レベルに差があるために、基
準レベル(閾値)との比較に際して検出精度が不正確に
なってしまうことはない(つまり、欠陥レベルに利得係
数を掛けた分が検出される。)し、また、黒欠陥検出に
おいて単一の基準レベルを設定する必要がなくなる。
Regarding the solid-state imaging device in which the sensitivity characteristics of each filter are different, the wavelength characteristic of the plane light incident upon detecting a defect does not matter. That is, since there is a difference between the detection signal level and the defect level depending on the wavelength characteristic, the detection accuracy does not become inaccurate when comparing with the reference level (threshold) (that is, the gain coefficient is not included in the defect level). Is multiplied.) In addition, it is not necessary to set a single reference level in black defect detection.

【0066】・上記の形態(ii)を採用した場合に
は、白欠陥に係る検出手段や欠陥補正手段を利用できる
ので、回路の兼用によりコストや回路の実装面積の低減
にとって有利である。
When the embodiment (ii) is adopted, the detecting means and the defect correcting means relating to the white defect can be used, which is advantageous for reducing the cost and the mounting area of the circuit by sharing the circuit.

【0067】[0067]

【発明の効果】以上に記載したところから明らかなよう
に、請求項1や請求項8に係る発明によれば、黒欠陥の
ない受光素子から得られる出力信号のレベルが光フィル
タの種類に拠らずに同一の規定レベルとなり、黒欠陥の
生じている受光素子から得られる出力信号のレベルが上
記規定レベルとは異なるレベルを示すことに基づいて、
黒欠陥の位置及び度合を正確に検出することができるの
で、感度差のある光フィルタを用いた固体撮像素子につ
いて黒欠陥検出を正確に行うことができる。
As is apparent from the above description, according to the first and eighth aspects of the present invention, the level of the output signal obtained from the light receiving element having no black defect depends on the type of the optical filter. The same specified level, and based on the fact that the level of the output signal obtained from the light receiving element having the black defect indicates a level different from the specified level,
Since the position and the degree of the black defect can be accurately detected, the black defect can be accurately detected for a solid-state imaging device using an optical filter having a sensitivity difference.

【0068】請求項2や請求項9に係る発明によれば、
黒欠陥検出信号を簡単な演算処理によって得ることがで
きる。
According to the second and ninth aspects of the invention,
A black defect detection signal can be obtained by simple arithmetic processing.

【0069】請求項3や請求項10に係る発明によれ
ば、黒欠陥の大きさを示す検出信号に対してレベル反転
処理を施して白欠陥検出信号とみなすことにより、白欠
陥検出回路を利用して黒欠陥検出を行えるので、回路構
成が簡単で済む。
According to the third and tenth aspects of the present invention, the detection signal indicating the size of the black defect is subjected to level inversion processing and is regarded as a white defect detection signal, thereby utilizing the white defect detection circuit. As a result, the black defect can be detected, so that the circuit configuration can be simplified.

【0070】請求項7に係る発明によれば、撮像装置に
おいて正確な黒欠陥検出を行うことにより劣化の極めて
少ない撮影画像を取得することができる。
According to the seventh aspect of the present invention, it is possible to acquire a photographed image with extremely little deterioration by performing accurate black defect detection in the image pickup apparatus.

【0071】請求項4乃至6や請求項11乃至13に係
る発明によれば、信号レベルの平均値算出に基づいて利
得係数を簡単に決定することができる。
According to the inventions according to claims 4 to 6 and 11 to 13, the gain coefficient can be easily determined based on the calculation of the average value of the signal levels.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明に係る撮像装置の構成例を示すブロック
図である。
FIG. 1 is a block diagram illustrating a configuration example of an imaging device according to the present invention.

【図2】黒欠陥検出用回路の回路構成例を示すブロック
図である。
FIG. 2 is a block diagram illustrating a circuit configuration example of a black defect detection circuit.

【図3】図4乃至図6とともに、黒欠陥検出方法につい
ての説明図であり、本図は黒欠陥を含む信号出力例を示
すグラフ図である。
FIG. 3 is an explanatory diagram of a black defect detection method together with FIGS. 4 to 6, and FIG. 3 is a graph showing an example of a signal output including a black defect.

【図4】図3に示す各信号から黒レベルを差し引いた後
の各信号レベルを示したグラフ図である。
FIG. 4 is a graph showing signal levels after subtracting a black level from each signal shown in FIG. 3;

【図5】利得係数の乗算後における各信号レベルを示し
たグラフ図である。
FIG. 5 is a graph showing signal levels after multiplication by a gain coefficient.

【図6】白レベルを規定レベルとして、これから利得係
数の乗算後における各信号レベルを引き算した後の信号
レベルを示したグラフ図である。
FIG. 6 is a graph showing a signal level after subtracting each signal level after multiplying a gain coefficient by a white level as a specified level.

【図7】従来の黒欠陥検出方法について説明するための
グラフ図である。
FIG. 7 is a graph for explaining a conventional black defect detection method.

【符号の説明】[Explanation of symbols]

1…撮像装置、3…固体撮像素子、18…平均値検出手
段、24…利得係数設定手段、25…補正手段、26…
判別手段
DESCRIPTION OF SYMBOLS 1 ... Image pick-up device, 3 ... Solid-state image sensor, 18 ... Average value detection means, 24 ... Gain coefficient setting means, 25 ... Correction means, 26 ...
Judgment means

Claims (13)

【特許請求の範囲】[Claims] 【請求項1】 入射光の波長特性により感度差が生じる
複数種の光フィルタが各受光素子にそれぞれ設けられた
固体撮像素子に対して、平面光が入射されたときに当該
固定撮像素子から出力される信号レベルを監視すること
で黒欠陥が生じている受光素子を検出するための、固体
撮像素子の黒欠陥検出装置において、 上記複数種の光フィルタについて予め決められた利得係
数を設定する利得係数設定手段と、 各光フィルタに対応する受光素子の出力信号レベルに対
して各別の利得係数を乗じることにより、黒欠陥のない
受光素子から得られる出力信号のレベルが光フィルタの
種類に拠らずに同一の規定レベルとなるようにレベル補
正する補正手段と、 上記の規定レベルと、黒欠陥の生じている受光素子から
得られる出力信号のレベルとの差分から黒欠陥を判別す
る判別手段を備えていることを特徴とする固体撮像素子
の黒欠陥検出装置。
1. A solid-state image sensor, in which a plurality of types of optical filters having different sensitivities due to wavelength characteristics of incident light are provided in respective light-receiving elements, output from the fixed image sensor when planar light is incident. A black defect detecting device for a solid-state imaging device for detecting a light receiving element having a black defect by monitoring a signal level to be applied, wherein a gain for setting a predetermined gain coefficient for the plurality of types of optical filters is provided. The coefficient setting means multiplies the output signal level of the light receiving element corresponding to each optical filter by a different gain coefficient, so that the level of the output signal obtained from the light receiving element having no black defect depends on the type of the optical filter. Correction means for correcting the level so as to be the same specified level, and the difference between the specified level and the level of the output signal obtained from the light receiving element having a black defect A black defect detecting device for a solid-state imaging device, comprising: a determination unit configured to determine a black defect from the image.
【請求項2】 請求項1に記載した固体撮像素子の黒欠
陥検出装置において、 上記同一の規定レベルから、各受光素子の出力信号レベ
ルに対して利得係数を乗じた後の信号レベルを引き算す
ることによって黒欠陥検出信号を得ることを特徴とする
固体撮像素子の黒欠陥検出装置。
2. The black defect detecting device for a solid-state imaging device according to claim 1, wherein a signal level obtained by multiplying an output signal level of each light receiving element by a gain coefficient is subtracted from the same prescribed level. A black defect detection device for a solid-state imaging device, wherein a black defect detection signal is obtained by the above.
【請求項3】 請求項1に記載した固体撮像素子の黒欠
陥検出装置において、 上記同一の規定レベルが白レベルに設定されており、当
該白レベルから、各受光素子の出力信号レベルに対して
利得係数を乗じた後の信号レベルを引き算することで、
黒欠陥の大きさを示す検出信号に対してレベル反転処理
を施して検出信号を得ることを特徴とする固体撮像素子
の黒欠陥検出装置。
3. The black defect detecting device for a solid-state imaging device according to claim 1, wherein the same prescribed level is set to a white level, and the white level is used to determine an output signal level of each light receiving element. By subtracting the signal level after multiplying by the gain factor,
A black defect detection device for a solid-state image sensor, wherein a level inversion process is performed on a detection signal indicating the size of a black defect to obtain a detection signal.
【請求項4】 請求項1に記載した固体撮像素子の黒欠
陥検出装置において、 平面光を固体撮像素子に入射したときに、光フィルタ毎
の受光素子から得られる出力信号のレベルについて、そ
の平均値を求める平均値検出手段を設けるとともに、該
平均値で規定レベルを割った比率から決定される値を利
得係数として利得係数設定手段が設定することを特徴と
する固体撮像素子の黒欠陥検出装置。
4. The black defect detecting device for a solid-state image sensor according to claim 1, wherein when plane light is incident on the solid-state image sensor, an average of output signal levels obtained from light-receiving elements for each optical filter is obtained. A black defect detecting device for a solid-state imaging device, wherein an average value detecting means for obtaining a value is provided, and a gain coefficient setting means sets a value determined from a ratio obtained by dividing a specified level by the average value as a gain coefficient. .
【請求項5】 請求項2に記載した固体撮像素子の黒欠
陥検出装置において、 平面光を固体撮像素子に入射したときに、光フィルタ毎
の受光素子から得られる出力信号のレベルについて、そ
の平均値を求める平均値検出手段を設けるとともに、該
平均値で規定レベルを割った比率から決定される値を利
得係数として利得係数設定手段が設定することを特徴と
する固体撮像素子の黒欠陥検出装置。
5. The black defect detecting device for a solid-state imaging device according to claim 2, wherein when plane light is incident on the solid-state imaging device, an average of output signal levels obtained from the light-receiving devices for each optical filter is obtained. A black defect detecting device for a solid-state imaging device, wherein an average value detecting means for obtaining a value is provided, and a gain coefficient setting means sets a value determined from a ratio obtained by dividing a specified level by the average value as a gain coefficient. .
【請求項6】 請求項3に記載した固体撮像素子の黒欠
陥検出装置において、 平面光を固体撮像素子に入射したときに、光フィルタ毎
の受光素子から得られる出力信号のレベルについて、そ
の平均値を求める平均値検出手段を設けるとともに、該
平均値で規定レベルを割った比率から決定される値を利
得係数として利得係数設定手段が設定することを特徴と
する固体撮像素子の黒欠陥検出装置。
6. The black defect detecting device for a solid-state image sensor according to claim 3, wherein when plane light is incident on the solid-state image sensor, an average of output signal levels obtained from light-receiving elements for each optical filter is obtained. A black defect detecting device for a solid-state imaging device, wherein an average value detecting means for obtaining a value is provided, and a gain coefficient setting means sets a value determined from a ratio obtained by dividing a specified level by the average value as a gain coefficient. .
【請求項7】 入射光の波長特性により感度差が生じる
複数種の光フィルタが各受光素子にそれぞれ設けられた
固体撮像素子を有し、該固体撮像素子に対して、平面光
が入射されたときに当該固定撮像素子から出力される信
号レベルを監視することで黒欠陥が生じている受光素子
を検出する機能を備えた撮像装置において、 上記複数種の光フィルタについて予め決められた利得係
数を設定する利得係数設定手段と、 各光フィルタに対応する受光素子の出力信号レベルに対
して各別の利得係数を乗じることにより、黒欠陥のない
受光素子から得られる出力信号のレベルが光フィルタの
種類に拠らずに同一の規定レベルとなるようにレベル補
正する補正手段と、 上記の規定レベルと、黒欠陥の生じている受光素子から
得られる出力信号のレベルとの差分から黒欠陥を判別す
る判別手段を備えていることを特徴とする撮像装置。
7. A solid-state imaging device in which a plurality of types of optical filters having different sensitivities due to wavelength characteristics of incident light are provided for each light-receiving element, and plane light is incident on the solid-state imaging device. In an imaging apparatus having a function of detecting a light receiving element having a black defect by monitoring a signal level output from the fixed imaging element, a gain coefficient predetermined for the plurality of types of optical filters is A gain coefficient setting means for setting, and multiplying the output signal level of the light receiving element corresponding to each optical filter by each different gain coefficient, the level of the output signal obtained from the light receiving element having no black defect is adjusted by the optical filter. Correcting means for correcting the level so as to be the same specified level irrespective of the type; and the specified level and the level of an output signal obtained from a light receiving element having a black defect. An imaging apparatus comprising: a determination unit configured to determine a black defect from a difference between the two.
【請求項8】 入射光の波長特性により感度差が生じる
複数種の光フィルタが各受光素子にそれぞれ設けられた
固体撮像素子に対して、平面光が入射されたときに当該
固定撮像素子から出力される信号レベルを監視すること
で黒欠陥が生じている受光素子を検出する、固体撮像素
子の黒欠陥検出方法において、 上記複数種の光フィルタについて予め決められた利得係
数をそれぞれ設定しておき、 各光フィルタに対応する受光素子の出力信号レベルに対
して上記利得係数を乗じることにより、それぞれの光フ
ィルタの感度特性が揃うようにレベル補正し、 黒欠陥のない受光素子から得られる出力信号のレベルが
光フィルタの種類に拠らずに同一の規定レベルとなり、
黒欠陥の生じている受光素子から得られる出力信号のレ
ベルが上記規定レベルとは異なるレベルを示すことに基
づいて、黒欠陥の発生を検出することを特徴とする固体
撮像素子の黒欠陥検出方法。
8. A solid-state image sensor in which a plurality of types of optical filters having different sensitivities due to wavelength characteristics of incident light are provided in each light-receiving element. Detecting a light receiving element having a black defect by monitoring a signal level to be detected, wherein a predetermined gain coefficient is set for each of the plurality of types of optical filters. By multiplying the output signal level of the light receiving element corresponding to each optical filter by the above gain coefficient, the level is corrected so that the sensitivity characteristics of each optical filter become uniform, and the output signal obtained from the light receiving element having no black defect is obtained. Level is the same specified level regardless of the type of optical filter,
A black defect detection method for a solid-state imaging device, comprising: detecting occurrence of a black defect based on a level of an output signal obtained from a light receiving element having a black defect being different from the specified level. .
【請求項9】 請求項8に記載した固体撮像素子の黒欠
陥検出方法において、 黒欠陥のない各受光素子から得られる出力信号のレベル
が同一の規定レベルとなるように利得係数の乗算によっ
て揃えた後で、当該規定レベルから、各受光素子の出力
信号レベルに対して利得係数を乗じた後の信号レベルを
引き算することで、黒欠陥検出信号を得ることを特徴と
する固体撮像素子の黒欠陥検出方法。
9. A black defect detecting method for a solid-state imaging device according to claim 8, wherein the levels of output signals obtained from the respective light receiving elements having no black defect are equalized by multiplication of gain coefficients so as to be the same specified level. After that, a black defect detection signal is obtained by subtracting the signal level obtained by multiplying the output signal level of each light receiving element by a gain coefficient from the specified level. Defect detection method.
【請求項10】 請求項8に記載した固体撮像素子の黒
欠陥検出方法において、 黒欠陥のない各受光素子から得られる出力信号のレベル
が同一の白レベルとなるように利得係数の乗算によって
レベルを揃えた後、当該白レベルから、各受光素子の出
力信号レベルに対して利得係数を乗じた後の信号レベル
を引き算することで、黒欠陥の大きさを示す検出信号に
対してレベル反転処理を施して白欠陥検出信号とみなす
ことを特徴とする固体撮像素子の黒欠陥検出方法。
10. The black defect detecting method for a solid-state imaging device according to claim 8, wherein the level of the output signal obtained from each light-receiving element having no black defect has the same white level by multiplying the level by a gain coefficient. Then, by subtracting the signal level obtained by multiplying the output signal level of each light receiving element by a gain coefficient from the white level, a level inversion process is performed on the detection signal indicating the size of the black defect. A black defect detection method for a solid-state imaging device, wherein the black defect detection signal is regarded as a white defect detection signal.
【請求項11】 請求項8に記載した固体撮像素子の黒
欠陥検出方法において、 平面光を固体撮像素子に入射したときに、光フィルタ毎
の受光素子から得られる出力信号のレベルについて、そ
の平均値を求め、該平均値で規定レベルを割った比率か
ら利得係数を決定することを特徴とする固体撮像素子の
黒欠陥検出方法。
11. A black defect detecting method for a solid-state imaging device according to claim 8, wherein when plane light is incident on the solid-state imaging device, an average of output signal levels obtained from the light-receiving elements for each optical filter is obtained. A black defect detection method for a solid-state imaging device, comprising: obtaining a value; and determining a gain coefficient from a ratio obtained by dividing a specified level by the average value.
【請求項12】 請求項9に記載した固体撮像素子の黒
欠陥検出方法において、 平面光を固体撮像素子に入射したときに、光フィルタ毎
の受光素子から得られる出力信号のレベルについて、そ
の平均値を求め、該平均値で規定レベルを割った比率か
ら利得係数を決定することを特徴とする固体撮像素子の
黒欠陥検出方法。
12. The black defect detecting method for a solid-state imaging device according to claim 9, wherein when plane light is incident on the solid-state imaging device, an average of output signal levels obtained from the light-receiving devices for each optical filter is obtained. A black defect detection method for a solid-state imaging device, comprising: obtaining a value; and determining a gain coefficient from a ratio obtained by dividing a specified level by the average value.
【請求項13】 請求項10に記載した固体撮像素子の
黒欠陥検出方法において、 平面光を固体撮像素子に入射したときに、光フィルタ毎
の受光素子から得られる出力信号のレベルについて、そ
の平均値を求め、該平均値で規定レベルを割った比率か
ら利得係数を決定することを特徴とする固体撮像素子の
黒欠陥検出方法。
13. The black defect detection method for a solid-state imaging device according to claim 10, wherein when plane light is incident on the solid-state imaging device, an average of output signal levels obtained from the light-receiving elements for each optical filter is obtained. A black defect detection method for a solid-state imaging device, comprising: obtaining a value; and determining a gain coefficient from a ratio obtained by dividing a specified level by the average value.
JP2001087063A 2001-03-26 2001-03-26 Black defect detection device and imaging device for solid-state image sensor, and black defect detection method Expired - Fee Related JP4524529B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001087063A JP4524529B2 (en) 2001-03-26 2001-03-26 Black defect detection device and imaging device for solid-state image sensor, and black defect detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001087063A JP4524529B2 (en) 2001-03-26 2001-03-26 Black defect detection device and imaging device for solid-state image sensor, and black defect detection method

Publications (2)

Publication Number Publication Date
JP2002290837A true JP2002290837A (en) 2002-10-04
JP4524529B2 JP4524529B2 (en) 2010-08-18

Family

ID=18942356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001087063A Expired - Fee Related JP4524529B2 (en) 2001-03-26 2001-03-26 Black defect detection device and imaging device for solid-state image sensor, and black defect detection method

Country Status (1)

Country Link
JP (1) JP4524529B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008537411A (en) * 2005-04-14 2008-09-11 マイクロン テクノロジー, インク. Creating and storing column offsets for column-parallel image sensors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09163383A (en) * 1995-12-11 1997-06-20 Matsushita Electron Corp Solid-state image pickup element
JP2000115815A (en) * 1998-10-09 2000-04-21 Sony Corp Defect detection method and image pickup device
JP2000184289A (en) * 1998-12-18 2000-06-30 Fuji Photo Film Co Ltd Defective pixel correction device for image pickup device and its method
JP2000287135A (en) * 1999-03-31 2000-10-13 Sony Corp Image pickup unit and device and method for detecting pixel defect in solid-state image pickup element

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09163383A (en) * 1995-12-11 1997-06-20 Matsushita Electron Corp Solid-state image pickup element
JP2000115815A (en) * 1998-10-09 2000-04-21 Sony Corp Defect detection method and image pickup device
JP2000184289A (en) * 1998-12-18 2000-06-30 Fuji Photo Film Co Ltd Defective pixel correction device for image pickup device and its method
JP2000287135A (en) * 1999-03-31 2000-10-13 Sony Corp Image pickup unit and device and method for detecting pixel defect in solid-state image pickup element

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008537411A (en) * 2005-04-14 2008-09-11 マイクロン テクノロジー, インク. Creating and storing column offsets for column-parallel image sensors
JP4702571B2 (en) * 2005-04-14 2011-06-15 マイクロン テクノロジー, インク. Creating and storing column offsets for column-parallel image sensors

Also Published As

Publication number Publication date
JP4524529B2 (en) 2010-08-18

Similar Documents

Publication Publication Date Title
JP5335327B2 (en) Defect detection and correction apparatus and defect detection and correction method
KR101001431B1 (en) Pixel defect detecting/correcting device and pixel defect detecting/correcting method
US6181830B1 (en) Image signal correction device
JPH0670238A (en) Flaw correction apparatus of solid-state image sensing device
JP2000092397A (en) Pixel defect detecting device for solid-state image pickup device
JP4664118B2 (en) Solid-state imaging device
US7667748B2 (en) Method and apparatus of defective pixel correction for a solid-state imaging device
JP2003046871A (en) Image pickup device
US7986354B2 (en) Method for correcting pixel defect of image pickup device
JP4166974B2 (en) Pixel scratch detection / correction device
JP4524529B2 (en) Black defect detection device and imaging device for solid-state image sensor, and black defect detection method
JP2002271806A (en) Pixel defect signal correction circuit for ccd image pickup element
JP2882227B2 (en) Pixel defect correction device
JP2001016599A (en) Pixel defect correction device, pixel defect detector and pixel defect detecting method
JP4670654B2 (en) Imaging apparatus and image processing method
JP2001230976A (en) Device and method for picking up image, and computer- readable recording medium with recorded program for computer for executing the same
JP2002176653A (en) Pixel defect detecting method and electronic camera
JP4481764B2 (en) Method for correcting signal output from image sensor and image processing apparatus using the same
JP3021943B2 (en) Color television camera device
JP2006100913A (en) Image processor and processing method
JPH11355785A (en) Photometric exposure controller and photometric exposure control method
JP3024353B2 (en) Color television camera device
JP2004112025A (en) Apparatus for correcting defective pixel of solid-state imaging element
JPH10243300A (en) Pixel defect detector and pixel defect corrector
JP3021942B2 (en) Color television camera device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071227

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100506

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100519

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees