JP2000101924A - Defect detection correction device in image input device - Google Patents

Defect detection correction device in image input device

Info

Publication number
JP2000101924A
JP2000101924A JP10283595A JP28359598A JP2000101924A JP 2000101924 A JP2000101924 A JP 2000101924A JP 10283595 A JP10283595 A JP 10283595A JP 28359598 A JP28359598 A JP 28359598A JP 2000101924 A JP2000101924 A JP 2000101924A
Authority
JP
Japan
Prior art keywords
pixel
defect
defect detection
image
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10283595A
Other languages
Japanese (ja)
Other versions
JP2000101924A5 (en
Inventor
Hiroshi Ito
広 伊藤
Nobuyuki Watanabe
伸之 渡辺
Susumu Kikuchi
奨 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP10283595A priority Critical patent/JP2000101924A/en
Publication of JP2000101924A publication Critical patent/JP2000101924A/en
Publication of JP2000101924A5 publication Critical patent/JP2000101924A5/ja
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To obtain a defect detection correction device that is applicable to various photographing scenes and to almost all defect detection systems by discriminating a pixel to be defective, in when the correlation of three consecutive pixels satisfies a prescribed correlation condition and the pixel is a pixel placed in the center of the three consecutive pixels. SOLUTION: A mean value calculation section 303 calculates the mean value of three consecutive pixels, where a target pixel is a center pixel of the three pixels. Comparators 304, 306 that simultaneously receive the output of the mean value calculation section 303 compare respectively the means level with the levels of the three consecutive pixel signals, divides the pixel distribution into 2 to 1 under a boundary of the mean value level and give the result to result to a decode section 307. A comparator 310 compares the absolute value output of a differential absolute value calculation section 309 with a prescribed threshold and provides the output of a discrimination pulse that denotes possibility of a defect of the target pixel, when the absolute value output is larger than the threshold. Only when an output of the decode section 307 and the output of the comparator 310 are both at an L level, is it finally discriminated that the target pixel is defective.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は、固体撮像素子上
又は固体撮像素子から出力される画像中に発生する画素
欠陥並びに不良特異点信号を電気的に検出し補正する画
像入力装置における欠陥検出補正装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a defect detection and correction in an image input device for electrically detecting and correcting a pixel defect and a defective singular point signal generated on a solid-state image sensor or in an image output from the solid-state image sensor. Related to the device.

【0002】[0002]

【従来の技術】一般に、多画素を有する固体撮像素子を
用いた高精細なカメラなどのような画像入力装置におい
ては、不良画素すなわち欠陥画素の発生頻度が高くな
り、これを検出し補正するための技術が必須となってい
る。これら欠陥画素に代表される特異点画素を補正する
ことによって、固体撮像素子の歩留まりは向上し、装置
価格を大幅に低減することが可能となる。
2. Description of the Related Art Generally, in an image input device such as a high-definition camera using a solid-state image pickup device having a large number of pixels, the frequency of occurrence of defective pixels, that is, defective pixels, increases. Technology is indispensable. By correcting the singular point pixels represented by these defective pixels, the yield of the solid-state imaging device is improved, and the cost of the device can be significantly reduced.

【0003】かかる欠陥画素の補正を電気的に行う技術
としては、次のような手法が知られている。すなわち、
固体撮像素子製造時に各素子固有に発生する欠陥画素の
位置を予め保持するメモリを作成し、これをカメラ等の
画像入力装置に搭載することにより、欠陥と判定された
画素位置を隣接画素からの平均値等により補完する手法
がある。しかしながら、この手法では、光量や温度によ
り変化する欠陥へ十分に対応できず、製品の出荷後に発
生した欠陥に至っては全く対応できないという問題点が
ある。
As a technique for electrically correcting such defective pixels, the following method is known. That is,
A memory that holds in advance the positions of defective pixels that are generated uniquely during the manufacture of solid-state imaging devices is created, and this is mounted on an image input device such as a camera. There is a method of complementing with an average value or the like. However, this method has a problem that it cannot sufficiently cope with a defect that changes depending on the light amount or the temperature, and cannot cope with a defect generated after the product is shipped at all.

【0004】これに対処するための技術として、特開平
6−205302号公報には、注目画素とその近傍の連
続する4画素を用い、注目画素信号が周辺画素信号に対
して一定値以上突出し、且つ隣接する前後の画素信号が
一定のレベル以上であるときに、注目画素を欠陥と判定
し、これを補正するようにした手法が開示されている。
As a technique for coping with this, Japanese Patent Application Laid-Open No. 6-205302 discloses a technique in which a pixel of interest and four adjacent pixels in the vicinity thereof are used, and a pixel signal of interest protrudes from a peripheral pixel signal by a certain value or more. In addition, a method is disclosed in which when a pixel signal before and after an adjacent pixel is equal to or higher than a certain level, a pixel of interest is determined to be defective, and this is corrected.

【0005】しかしながら、上記特開平6−20530
2号公報開示の手法は、あらゆる画像に適応できるもの
ではなく、画像パターンによっては欠陥を検出できない
場合や、正常画素を誤って欠陥として検出する場合が発
生する。これに対処するための技術として特開平5−8
3638号公報には、撮像フレームもしくはフィールド
毎に各画素の欠陥判定を行い、欠陥として判定される頻
度の高い画素の位置データをメモリに記憶し、このデー
タにより補正がなされるようにした手法が開示されてい
る。
However, Japanese Patent Application Laid-Open No. Hei 6-20530 discloses
The technique disclosed in Japanese Patent Application Laid-Open Publication No. 2002-133873 is not applicable to all types of images, and a defect may not be detected depending on an image pattern, or a normal pixel may be erroneously detected as a defect. Japanese Patent Application Laid-Open No. 5-8 / 1990 discloses a technique for coping with this.
Japanese Patent No. 3638 discloses a method in which a defect is determined for each pixel for each imaging frame or field, and position data of a pixel that is frequently determined to be defective is stored in a memory, and correction is performed based on the data. It has been disclosed.

【0006】[0006]

【発明が解決しようとする課題】ところで、上記特開平
6−205302号公報には、先に述べたように、平坦
なレベルの中の1画素のみ突出する画素を欠陥として判
定する手法が開示されているが、周辺が平坦ではない中
に存在する欠陥には対応できず、周囲信号レベルが低い
とき、即ち暗い背景に発生した欠陥にも対応できない。
つまり、欠陥を欠陥として判断できる周辺画素条件、即
ち撮像シーンが限定される。また、欠陥検出のために必
要な画素が注目画素を含めて5画素と多いため、5画素
以内で画素信号レベルが大きく変動する画像パターンに
対して欠陥検出能力が低いという問題点がある。
As described above, Japanese Patent Laid-Open Publication No. Hei 6-205302 discloses a method of determining a pixel which protrudes only one pixel in a flat level as a defect. However, it cannot cope with a defect that exists in an area where the periphery is not flat, nor can it cope with a defect that occurs when the ambient signal level is low, that is, a dark background.
In other words, the peripheral pixel conditions that can determine a defect as a defect, that is, the imaging scene, are limited. Further, since the number of pixels required for defect detection is as large as five pixels including the pixel of interest, there is a problem that the defect detection capability is low for an image pattern in which the pixel signal level greatly varies within five pixels.

【0007】また、上記公報開示のものを含め、注目す
る画素の欠陥の正否をごく近傍の周囲画素のみから判定
する方式においては、あらゆる画像から欠陥だけを正確
に検出することは不可能であり、方式毎に欠陥の検出が
不可能な画像パターンが存在する。したがって、上記特
開平5−83638号公報開示のものにおいて欠陥検出
頻度を取得するためのソース画像が、採用した欠陥検出
方式にとって不適当なものである状況が長時間続いた場
合、誤った結果を蓄積し続けるため頻度蓄積の効果がな
くなってしまうという問題点がある。
[0007] In addition, in the method including the one disclosed in the above-mentioned publications, it is impossible to accurately detect only a defect from any image in a method in which the right or wrong of a defect of a pixel of interest is determined only from neighboring pixels in the immediate vicinity. There is an image pattern for which a defect cannot be detected for each method. Therefore, in a case where the source image for obtaining the defect detection frequency disclosed in the above-mentioned Japanese Patent Application Laid-Open No. Hei 5-83638 is inappropriate for the adopted defect detection method for a long time, an erroneous result is obtained. There is a problem that the effect of frequency accumulation is lost because accumulation is continued.

【0008】本発明は、従来の欠陥検出方式における上
記問題点を解消するためになされたもので、請求項1〜
3に係る発明は、様々な撮像シーンに適応できるように
した画像入力装置における欠陥検出補正装置を提供する
ことを目的とする。また請求項4及び5に係る発明は、
殆どの欠陥検出方式に適応できるようにした画像入力装
置における欠陥検出補正装置を提供することを目的とす
る。
The present invention has been made to solve the above problems in the conventional defect detection method.
An object of the invention according to 3 is to provide a defect detection and correction device in an image input device adapted to various imaging scenes. The invention according to claims 4 and 5 is
It is an object of the present invention to provide a defect detection and correction device in an image input device which can be adapted to most defect detection methods.

【0009】[0009]

【課題を解決するための手段】上記問題点を解決するた
め、請求項1に係る発明は、固体撮像素子上もしくは入
力画像中で連続する3つの画素の信号レベル分布を2個
対1個に2分割するためのレベル分布分割手段と、該2
分割された2個側画素のレベル分布状態を定量化するた
めの分布定量値算出手段と、該分布定量値算出手段によ
り得られた2個側画素の分布定量値と1個側画素の信号
レベルとの相関を算出するための相関値算出手段と、該
相関値算出手段によって得られた相関値が所定の相関値
条件を満たし、且つ1個側画素が連続する3画素の中心
に位置する画素である場合に、1個側画素を欠陥と判定
するための欠陥検出手段と、該欠陥検出手段で欠陥と判
定された画素を補正するための欠陥補正手段とで画像入
力装置における欠陥検出補正装置を構成するものであ
る。
In order to solve the above problems, the invention according to claim 1 is to reduce the signal level distribution of three consecutive pixels on a solid-state image sensor or in an input image to two to one. Level distribution dividing means for dividing into two,
Quantitative distribution value calculation means for quantifying the level distribution state of the divided two pixels, distribution quantitative values of the two pixels and the signal level of the one pixel obtained by the quantitative distribution value calculation means A correlation value calculating means for calculating a correlation with a pixel, a correlation value obtained by the correlation value calculating means satisfying a predetermined correlation value condition, and a pixel located at the center of three consecutive one-side pixels A defect detecting means for determining one pixel as a defect and a defect correcting means for correcting a pixel determined to be defective by the defect detecting means. It constitutes.

【0010】このように構成した欠陥検出補正装置にお
いては、連続する3画素を用い中心画素に対して欠陥検
出が行われるので、誤検出が少なくなり、様々な撮像シ
ーンに適応させることが可能となる。
[0010] In the defect detection / correction device configured as described above, the defect detection is performed on the central pixel using three consecutive pixels, so that erroneous detection is reduced and it is possible to adapt to various imaging scenes. Become.

【0011】また、請求項4に係る発明は、固体撮像素
子上もしくは入力画像における欠陥位置を記憶するため
の電気的に書き換え可能な記憶手段と、特定動作時にの
み欠陥検出を行う手段と、前記特定動作時に検出された
欠陥の頻度を前記記憶手段により画素毎に管理する手段
と、前記記憶手段による前記欠陥検出頻度の管理容量を
擬似的に無限にする手段と、特定条件下で前記記憶手段
に記憶された内容を適宜更新する手段とで画像入力装置
における欠陥検出補正装置を構成するものである。
According to a fourth aspect of the present invention, there is provided an electronically rewritable storage means for storing a defect position on a solid-state imaging device or in an input image, a means for performing defect detection only at a specific operation, Means for managing the frequency of defects detected during a specific operation for each pixel by the storage means, means for making the storage capacity of the defect detection frequency by the storage means pseudo infinite, and storage means under specific conditions And a means for appropriately updating the content stored in the image input device constitute a defect detection and correction device in the image input device.

【0012】このように構成した欠陥検出補正装置にお
いては、欠陥位置を記憶する手段を設け、欠陥検出頻度
を蓄積して行くようにしているので、欠陥検出手法の特
性に左右されずに欠陥検出性能を具現化することがで
き、また欠陥検出頻度の管理容量の擬似的無限化手段を
備えているので、情報量を常時増やしてゆき、画像パタ
ーンに左右される欠陥検出方式の誤判定を最小限に抑え
ることが可能となる。
In the defect detection and correction device thus configured, a means for storing the defect position is provided to accumulate the defect detection frequency. Therefore, the defect detection and correction device is not affected by the characteristics of the defect detection method. Performance can be embodied, and the system has a pseudo-infinite means for managing the frequency of defect detection, so that the amount of information is constantly increased, minimizing the erroneous determination of the defect detection method depending on the image pattern. It is possible to keep it to a minimum.

【0013】[0013]

【発明の実施の形態】次に、実施の形態について説明す
る。図1は本発明に係る欠陥検出補正装置の第1の実施
の形態を示す全体ブロック構成図で、この実施の形態は
請求項1〜3に係る発明に対応するものである。図1に
おいて、100 は固体撮像素子、200 はA/D変換器、30
0 は画素欠陥検出補正回路であり、固体撮像素子100 に
おいて光強度を光電変換して得られた電気信号は、A/
D変換器200 によりディジタル変換され、画素欠陥検出
補正回路300 で欠陥検出及び補正がなされて、後段の画
像処理装置などへ送られるようになっている。
Next, an embodiment will be described. FIG. 1 is an overall block diagram showing a first embodiment of a defect detection and correction apparatus according to the present invention. This embodiment corresponds to the inventions according to claims 1 to 3. In FIG. 1, 100 is a solid-state imaging device, 200 is an A / D converter, 30
Reference numeral 0 denotes a pixel defect detection and correction circuit, and an electric signal obtained by photoelectrically converting the light intensity in the solid-state imaging device 100 is A / A
The data is digitally converted by the D converter 200, subjected to defect detection and correction by the pixel defect detection and correction circuit 300, and sent to the subsequent image processing device or the like.

【0014】図2は、画素欠陥検出補正回路300 の詳細
な構成を示す図である。図2において、301 ,302 はフ
リップフロップ(FF)で、各フリップフロップは注目
画素X(m,n)(m,nは自然数)と、これに連続する画
素信号X(m,n+1)がそれぞれ記憶されるようになってい
る。ここで、連続する画素信号とは画素欠陥検出補正回
路300 に入力される画素信号を意味し、固体撮像素子10
0 の離れた位置に配置された画素からの信号を連続して
受ける場合も含む。但し、ここでのX(m,n)は、エリア
画像中のm行n列の位置に存在する画素又は画素信号レ
ベルを示すものとする。
FIG. 2 is a diagram showing a detailed configuration of the pixel defect detection and correction circuit 300. In FIG. 2, reference numerals 301 and 302 denote flip-flops (FF). Each flip-flop is a pixel of interest X (m, n) (m and n are natural numbers) and a pixel signal X (m, n + 1) continuous with the pixel of interest. Are respectively stored. Here, the continuous pixel signal means a pixel signal input to the pixel defect detection and correction circuit 300, and the solid-state imaging device 10
This includes the case where signals from pixels arranged at positions separated by 0 are continuously received. Here, it is assumed that X (m, n) indicates a pixel or a pixel signal level existing at the position of m rows and n columns in the area image.

【0015】上記2つの画素信号X(m,n),X(m,n+1)
に連続する画素信号X(m,n-1)とフリップフロップ301
,302 の出力は、それぞれ比較器(COMP)304 ,3
06 に送られると同時に、平均値算出部(AVE)303
に入力される。平均値算出部303 では、次式(1)で示
す注目画素X(m,n)を中心とした連続する3画素の平均
値(図4,6におけるAve1)が算出される。 〔X(m,n-1))+X(m,n)+X(m,n+1)〕/3 ・・・・・・・・(1) そして、この平均値算出部303 の出力を同時に受けた比
較器304 ,306 では、該平均値レベルと連続する3つの
画素信号レベルそれぞれの大小を比較し、(1)式で示
した平均値レベルを境界として、2個対1個に画素分布
を分割する。図3に示した論理値表においてa,cはそ
れぞれ比較器304 ,306 の出力を示し、平均値レベルA
ve1より画素信号レベルが大きな場合はHを、小さな場
合にはLを出力している。
The above two pixel signals X (m, n) and X (m, n + 1)
Pixel signal X (m, n-1) and flip-flop 301
, 302 are output from comparators (COMP) 304, 3 respectively.
06, and at the same time, an average value calculation unit (AVE) 303
Is input to The average value calculation unit 303 calculates the average value (Ave1 in FIGS. 4 and 6) of three consecutive pixels centered on the target pixel X (m, n) represented by the following equation (1). [X (m, n-1)) + X (m, n) + X (m, n + 1)] / 3 (1) Then, the outputs of the average value calculation unit 303 are simultaneously output. The received comparators 304 and 306 compare the average value level with each of the three consecutive pixel signal levels, and make a two-to-one pixel distribution with the average value level shown in equation (1) as a boundary. Split. In the logical value table shown in FIG. 3, a and c indicate the outputs of the comparators 304 and 306, respectively, and the average level A
H is output when the pixel signal level is higher than ve1, and L is output when the pixel signal level is lower than ve1.

【0016】上記2つの比較器出力はデコード部(DE
CODE)307 により、図3の論理値コードに基づき、
3つの連続する画素のうち中心に位置する画素が、画素
分布上1個側のものであるか否かを判定された後、欠陥
判定フラグ用ORゲート(OR)311 へ送られる。な
お、ここで図3に示す論理値表中のアルファベットa,
c,dは、図2におけるデコード部307 の入出力を表
し、1bit の出力結果dは、“H”であれば正常画素
を、“L”であれば欠陥画素である可能性があることを
示している。
The outputs of the two comparators are supplied to a decoding section (DE
CODE) 307, based on the logical value code of FIG.
After it is determined whether or not the pixel located at the center of the three consecutive pixels is one on the pixel distribution side, the pixel is sent to a defect determination flag OR gate (OR) 311. Here, alphabets a, a in the logical value table shown in FIG.
c and d indicate the input and output of the decoding unit 307 in FIG. 2. The 1-bit output result d indicates that there is a possibility that the pixel is a normal pixel if "H" and a defective pixel if it is "L". Is shown.

【0017】以上が欠陥検出の第1段階となるが、ここ
でその欠陥検出の考え方について説明する。連続する3
つの画素の分布パターンとしては、図4の(A),
(B),(C)に示したもの、及び図4の(A),
(B),(C)の各画素信号レベルの高低を反転したも
のの6種類が存在する。反転型も全く同等に検出できる
ため図示は省略する。また、図4の(A)においてXn
とXn+1 の高低レベルが逆転したときのように、画素分
布の2個側の2画素の信号レベルの高低が反転している
場合も、同等に検出可能なため図示は割愛する。図4の
(A),(C)に示す分布パターンは、注目画素Xn を
境にその両側が自然に変化している可能性、つまり注目
画素Xn が画像エッジである可能性が高い。一方、図4
の(B)の注目画素Xn は明らかに1点だけ突出してい
る。したがって、本欠陥検出補正回路の欠陥検出部では
前者〔図4の(A),(C)〕におけるXn を正常画
素、後者〔図4の(B)〕におけるXn を欠陥の可能性
の高い画素として検出している。なお、注目画素を連続
する3画素中の中心画素とすることで、1点のみ突出す
る画素を検出するようにしている。
The above is the first stage of defect detection. Here, the concept of the defect detection will be described. 3 consecutive
The distribution patterns of the two pixels are shown in FIG.
(B) and (C), and FIGS.
There are six types in which the levels of the pixel signal levels in (B) and (C) are inverted. Since the inverted type can be detected exactly the same, the illustration is omitted. In FIG. 4A, Xn
In the case where the signal levels of two pixels on two sides of the pixel distribution are inverted, such as when the levels of Xn + 1 and Xn + 1 are inverted, they are not shown because they can be detected equally. In the distribution patterns shown in FIGS. 4A and 4C, there is a high possibility that both sides of the distribution pattern naturally change from the target pixel Xn, that is, there is a high possibility that the target pixel Xn is an image edge. On the other hand, FIG.
The pixel of interest Xn in FIG. 3B is clearly protruded by one point. Therefore, in the defect detection section of the present defect detection and correction circuit, Xn in the former [(A) and (C) of FIG. 4] is a normal pixel, and Xn in the latter [(B) of FIG. 4] is a pixel having a high possibility of a defect. Has been detected as Note that, by setting the target pixel as the center pixel of the three consecutive pixels, a pixel protruding only by one point is detected.

【0018】図2において、平均値算出部308 では、次
式(2)で示す、注目画素を除いたその両隣の画素X
(m,n-1)とX(m,n+1)のレベルの平均値(図4,6にお
けるAve2)を算出する。 〔X(m,n-1))+X(m,n+1)〕/2 ・・・・・・・・・・・・・(2) この平均値算出部308 の出力結果は、差分絶対値算出部
309 において注目画素信号レベルとの差分がとられ、次
式(3)で示す絶対値が出力される。 |X(m,n)−〔X(m,n-1))+X(m,n+1)〕/2| ・・・・・・(3) そして、この差分絶対値算出部309 の絶対値出力は比較
器310 に入力される。更に、該絶対値出力は比較器310
で所定の閾値Thrと大小比較され、閾値Thrより大きな
場合、注目画素は欠陥である可能性があるとして、欠陥
判定フラグ用ORゲート311 へ1bit の判別パルスを出
力する。ここで、比較器310 は注目画素を欠陥と判定し
たときに“L”を出力するものとすると、前述のデコー
ド部307 出力と比較器310 出力が共に“L”であるとき
のみ、ORゲート311 の出力は“L”となり、これによ
り注目画素は最終的に欠陥と判定され、セレクタ(SE
L)312 では注目画素を平均値算出部308 の出力、即ち
(2)式で示す両隣の画素の平均値で置き換えるように
構成されている。
In FIG. 2, the average value calculation unit 308 calculates a pixel X on both sides thereof, excluding the pixel of interest, represented by the following equation (2).
The average value (Ave2 in FIGS. 4 and 6) of the levels of (m, n-1) and X (m, n + 1) is calculated. [X (m, n-1)) + X (m, n + 1)] / 2 (2) The output result of this average value calculation unit 308 is the absolute difference Value calculator
At 309, the difference from the target pixel signal level is obtained, and the absolute value represented by the following equation (3) is output. | X (m, n) − [X (m, n−1)) + X (m, n + 1)] / 2 | (3) Then, the absolute value of the difference absolute value calculation unit 309 The value output is input to the comparator 310. Further, the absolute value output is supplied to the comparator 310
Is compared with a predetermined threshold value Thr, and if it is larger than the threshold value Thr, it is determined that the pixel of interest may be defective, and a 1-bit determination pulse is output to the OR gate 311 for the defect determination flag. Here, assuming that the comparator 310 outputs “L” when the pixel of interest is determined to be defective, the OR gate 311 is output only when both the output of the decoding unit 307 and the output of the comparator 310 are “L”. Becomes "L", whereby the target pixel is finally determined to be defective, and the selector (SE)
In L) 312, the pixel of interest is replaced with the output of the average value calculation unit 308, that is, the average value of the pixels on both sides shown in the equation (2).

【0019】図5は、図2における欠陥検出補正回路30
0 を、欠陥検出と欠陥補正の機能別にブロック分けして
示すブロック図であり、図2中のフリップフロップ301
,302 がシフトレジスタ部320 を、平均値算出部303
〜ORゲート311 が欠陥検出部321 を、セレクタ312 が
欠陥補正部322 を構成している。
FIG. 5 shows the defect detection and correction circuit 30 in FIG.
FIG. 3 is a block diagram showing a block diagram of FIG. 2 according to the functions of defect detection and defect correction.
, 302 shift the shift register section 320 and the average value calculating section 303.
The OR gate 311 constitutes the defect detecting section 321 and the selector 312 constitutes the defect correcting section 322.

【0020】特開平6−205302号公報開示のもの
では、欠陥検出をするのに要する隣接画素が4画素と多
いことにより、図6に示すように5画素内で変動する高
周波の規則正しい正常画素列があった場合、中央の画素
Xn を欠陥として検出する結果、本来の画像エッジをつ
ぶしてしまう可能性が高いが、本実施の形態では欠陥検
出をするのに要する隣接画素が2画素と少なく、Xn に
対する欠陥検出パターンは図4の(A)に示すようなパ
ターンとなるため、欠陥として誤検出することがない。
したがって、多画素になる程に要求される高周波の画像
再現において、欠陥検出の適応性能が高い。また、連続
3画素中の中心画素に対して欠陥検出を行うため、1画
素幅以上の画像エッジ部を欠陥と誤判定することが少な
い。
In the device disclosed in Japanese Patent Application Laid-Open No. 6-205302, the number of adjacent pixels required for detecting a defect is as large as four pixels, and as shown in FIG. When the center pixel Xn is detected as a defect, there is a high possibility that the original image edge will be crushed. However, in the present embodiment, the number of adjacent pixels required for detecting a defect is as small as two pixels, and Since the defect detection pattern for Xn is as shown in FIG. 4A, it is not erroneously detected as a defect.
Therefore, in high-frequency image reproduction required as the number of pixels increases, the adaptive performance of defect detection is high. In addition, since the defect detection is performed on the center pixel of the three consecutive pixels, the image edge portion having a width of one pixel or more is not erroneously determined as a defect.

【0021】次に、第2の実施の形態について説明す
る。上記第1の実施の形態においては、1次元方向のみ
に欠陥検出処理を行うようにしたものを示したが、この
第2の実施の形態は、欠陥検出処理を2次元に拡張する
ものである。図7は、第2の実施の形態における欠陥検
出補正回路を示す概略ブロック構成図で、シフトレジス
タ333 と水平及び垂直欠陥検出部332 ,334 及び欠陥補
正部336 の詳細な構成は、図2に示したものと同様であ
る。この実施の形態においては、処理を実施する画素並
び方向(水平方向)における全画素分のラインメモリ33
0 ,331 を2系統用意し、上記第1の実施の形態の処理
方向に対して垂直方向となる画素列に対しても同様な処
理を実行する。ラインメモリ330 ,331 は1水平ライン
毎にデータが更新され、垂直欠陥検出部332 への入力c
に対して入力a,bは、それぞれ1水平ライン遅延され
たもの及び2水平ライン遅延されたものとなる。垂直欠
陥検出部332 では前記入力a,b,cの3画素に対し、
上記第1の実施の形態と同様の処理を実行する。したが
って、ORゲート335 には同一画素を水平方向から欠陥
判定した結果と垂直方向から欠陥判定した結果が、第1
の実施の形態の極性で入力される。そして、共に欠陥で
あるとされた場合に限り、最終的に該画素が欠陥として
判定されて欠陥補正部336 へ送られ、所定の補完を完了
するようになっている。
Next, a second embodiment will be described. In the first embodiment described above, the defect detection processing is performed only in one-dimensional direction. However, the second embodiment extends the defect detection processing to two dimensions. . FIG. 7 is a schematic block diagram showing a defect detection and correction circuit according to the second embodiment. The detailed configuration of the shift register 333, the horizontal and vertical defect detection units 332 and 334, and the defect correction unit 336 is shown in FIG. It is the same as shown. In this embodiment, the line memory 33 for all pixels in the pixel arrangement direction (horizontal direction) in which the processing is performed.
0 and 331 are prepared, and the same processing is executed for a pixel row that is perpendicular to the processing direction of the first embodiment. The data is updated in the line memories 330 and 331 for each horizontal line, and the input c to the vertical defect detector 332 is input.
The inputs a and b are respectively delayed by one horizontal line and delayed by two horizontal lines. In the vertical defect detection unit 332, for the three pixels of the inputs a, b, and c,
The same processing as in the first embodiment is executed. Therefore, the OR gate 335 stores the result of the defect determination of the same pixel in the horizontal direction and the result of the defect determination in the vertical direction in the first pixel.
Is input with the polarity of the embodiment. Only when both pixels are determined to be defective, the pixel is finally determined to be defective and sent to the defect correction unit 336 to complete predetermined complementation.

【0022】図8に示すような1列の縦線画像の場合、
水平方向からの欠陥検出のみでは、縦線該当部画素を欠
陥と認識する結果、縦線をつぶしてしまうが、垂直方向
からの欠陥検出では該画素を正常画素と判定するため、
本実施の形態においては、水平・垂直両方向から欠陥と
判定されたときのみ最終的に欠陥と判断するようにして
いるので、縦線をつぶすことがない。また、垂直方向の
欠陥検出用ラインメモリ330 ,331 を利用して、斜め方
向に隣接する画素に対しても全く同様の処理を行うこと
も可能である。これにより、水平、垂直、斜め方向から
欠陥と判定されたときのみ、最終的に欠陥と判断するよ
うにすれば、正常画素としての斜線をつぶすことなく、
更に高精度な欠陥検出が可能となる。
In the case of a one-line vertical line image as shown in FIG.
If only the defect detection from the horizontal direction is performed, the vertical line corresponding part pixel is recognized as a defect, and the vertical line is crushed.However, in the defect detection from the vertical direction, the pixel is determined as a normal pixel.
In the present embodiment, only when a defect is determined in both the horizontal and vertical directions, the defect is finally determined, so that the vertical line is not collapsed. Also, by using the line memories 330 and 331 for defect detection in the vertical direction, it is possible to perform exactly the same processing on pixels adjacent in the diagonal direction. Thus, only when a defect is determined from the horizontal, vertical, and oblique directions, if it is finally determined to be a defect, the oblique line as a normal pixel is not crushed.
Further, highly accurate defect detection becomes possible.

【0023】次に、第3の実施の形態について説明す
る。図9は、第3の実施の形態における欠陥検出補正回
路を示す概略ブロック構成図である。この実施の形態
は、シフトレジスタ340 及び欠陥検出部341 により、上
記第1の実施の形態と同じく水平方向から欠陥検出を行
うものである。そして、欠陥位置メモリ342 には、注目
画素X(m,n)が該当水平方向の欠陥検出処理により欠陥
か正常かを判定された結果、例えば欠陥であれば
“L”、正常であれば“H”のディジタルデータ1bit
と、更に欠陥と判定された場合には、それが白欠陥か黒
欠陥かを表す1bit ,例えば黒欠陥であれば“L”、白
欠陥であれば“H”とする計2bit を記憶する。欠陥が
白か黒かは、X(m,n)の信号レベルがX(m,n-1))とX
(m,n+1)の信号レベル平均値Ave2(又はAve1でも全
く同等)より大きいか小さいかで判定すればよい。
Next, a third embodiment will be described. FIG. 9 is a schematic block diagram showing a defect detection and correction circuit according to the third embodiment. In this embodiment, a shift register 340 and a defect detection unit 341 detect a defect in the horizontal direction as in the first embodiment. Then, as a result of determining whether the target pixel X (m, n) is defective or not by the corresponding defect detection processing in the horizontal direction, the defect position memory 342 stores, for example, “L” for a defective pixel and “L” for a normal pixel. H ”digital data 1 bit
If it is determined that the defect is a defect, 1 bit indicating whether the defect is a white defect or a black defect, for example, "L" for a black defect and "H" for a white defect, for a total of 2 bits. Whether the defect is white or black depends on whether the signal level of X (m, n) is X (m, n-1)) and X
The determination may be made based on whether the signal level average value Ave2 (or Ave1 is completely equivalent) of (m, n + 1) is larger or smaller.

【0024】デコード判定部343 では、欠陥検出部341
からX(m,n)の欠陥判定結果を得ると同時に、欠陥位置
メモリ342 に保持されている同一列(垂直方向)隣接画
素X(m-1,n)の欠陥判定結果を得て、図10に示す論理値
表に基づき欠陥判定を行う。表中のa,b,c,d,e
は、それぞれ欠陥検出部341 の出力の欠陥判定結果、同
じく欠陥検出部341 の出力の欠陥の白黒判定結果、欠陥
位置メモリ342 の出力の欠陥判定結果、同じく欠陥位置
メモリ342 の出力の欠陥の白黒判定結果、及びデコード
判定部343 の欠陥判定結果を表し、「−」は不定
(“H”・“L”いずれでも可)を表している。
In the decoding determining section 343, the defect detecting section 341
, The defect determination result of the pixel X (m-1, n) adjacent to the same column (vertical direction) held in the defect position memory 342 is obtained at the same time as the defect determination result of X (m, n) is obtained. Defect judgment is performed based on the logical value table shown in FIG. A, b, c, d, e in the table
Are the defect determination result of the output of the defect detection unit 341, the black and white determination result of the defect of the output of the defect detection unit 341, the defect determination result of the output of the defect position memory 342, and the black and white of the defect of the output of the defect position memory 342. The judgment result and the defect judgment result of the decoding judgment unit 343 are shown, and "-" indicates indefinite (either "H" or "L" is acceptable).

【0025】デコード判定部343 では、X(m,n)とX
(m-1,n)、即ち同一列の画素が2行に渡って白黒一致し
た欠陥として検出された場合、該画素は欠陥ではなく白
又は黒の縦線画像である可能性が高いため、このような
ときには注目画素X(m,n)を正常画素と認識させるよう
に判定を行う。
In the decoding determining unit 343, X (m, n) and X (m, n)
(M-1, n), that is, when a pixel in the same column is detected as a defect in which black and white matches over two rows, it is highly possible that the pixel is not a defect but a white or black vertical line image. In such a case, determination is made so that the target pixel X (m, n) is recognized as a normal pixel.

【0026】図7に示した上記第2の実施の形態では、
画素信号レベルをそのまま記憶するために、1画素につ
き画素データbit 長分の記憶容量を持つ2ライン分のメ
モリを必要としているが、本実施の形態によれば1画素
につき2bit の記憶容量を持つ1ラインのメモリで済
む。したがって、メモリの規模を格段に小さくすること
が可能となる。
In the second embodiment shown in FIG.
In order to store the pixel signal level as it is, two lines of memory having a storage capacity of one pixel data bit length are required for one pixel, but according to the present embodiment, one pixel has a storage capacity of two bits. Only one line of memory is required. Therefore, the size of the memory can be significantly reduced.

【0027】次に、第4の実施の形態について説明す
る。この実施の形態は、請求項4に係る発明に対応する
もので、オートフォーカス(AF)機能付カラーカメラ
において、ホワイトバランス処理に用いられる入力画像
をソースに用いて欠陥位置を検出し、その後はAFを利
用して欠陥を検出しやすい撮像状態を検知しながら、こ
のときの欠陥検出結果を蓄積していくことによって、総
合的に欠陥判定を行うようにするものである。図11は第
4の実施の形態の欠陥検出補正回路を示すブロック構成
図で、システム全体構成は図1に示した第1の実施の形
態と全く同等であり、撮像素子からの電気信号をA/D
変換したディジタル画像信号中に含まれる欠陥を、欠陥
検出補正回路で検出し補正するようになっている。
Next, a fourth embodiment will be described. This embodiment corresponds to the invention according to claim 4, and in a color camera with an auto focus (AF) function, a defect position is detected using an input image used for white balance processing as a source, and thereafter, While detecting an imaging state in which a defect can be easily detected using AF, the defect detection result at this time is accumulated, so that a comprehensive defect determination is performed. FIG. 11 is a block diagram showing a defect detection / correction circuit according to the fourth embodiment. The overall system configuration is exactly the same as that of the first embodiment shown in FIG. / D
A defect included in the converted digital image signal is detected and corrected by a defect detection and correction circuit.

【0028】この実施の形態における欠陥検出部350 並
びに欠陥補正部357 は、上記各実施の形態で示した欠陥
検出部並びに欠陥補正部と同等のものでなくても特に構
わないが、説明を簡単にするため図2及び図5に示した
ものと概略同じものを用いて説明する。但し、図5に示
した第1の実施の形態では、欠陥検出部321 の出力が
“L”であったとき欠陥と判定していたが、この実施の
形態における欠陥検出部350 では極性を反転し、欠陥時
には“H”を出力するものとする。
Although the defect detecting section 350 and the defect correcting section 357 in this embodiment need not be the same as the defect detecting section and the defect correcting section shown in each of the above-mentioned embodiments, the explanation is simple. In order to achieve this, description will be made using substantially the same components as those shown in FIGS. However, in the first embodiment shown in FIG. 5, when the output of the defect detection unit 321 is "L", it is determined that the defect is a defect. However, the polarity is inverted in the defect detection unit 350 in this embodiment. When a defect occurs, "H" is output.

【0029】欠陥検出部350 での判定結果は加算器351
に送られ、欠陥位置メモリ354 の出力をビットシフト回
路355 により所定 bitシフトした結果と加算されるよう
になっている。欠陥位置メモリ354 の各アドレスには、
各画素に対応して欠陥検出回数を記憶するが、デフォル
トでは全て“L”が書かれている。また、欠陥位置メモ
リ354 の動作制御を行うメモリコントローラ358 は、加
算器351 におけるメモリ出力タイミングが欠陥検出部35
0 での被判定画素出力と同一位置画素となるように、シ
ステム全体と同期して欠陥位置メモリ354 を制御するよ
うになっている。
The judgment result in the defect detection section 350 is added to an adder 351.
The output of the defect position memory 354 is added to the result obtained by shifting the output of the defect position memory 354 by a predetermined bit by the bit shift circuit 355. Each address of the defect location memory 354 has
The number of times of defect detection is stored for each pixel, but "L" is written by default. Further, the memory controller 358 which controls the operation of the defect position memory 354 transmits the memory output timing in the adder 351 to the defect detector 35.
The defect position memory 354 is controlled in synchronization with the entire system so that the pixel at the same position as the output of the pixel to be determined at 0 is obtained.

【0030】最初のホワイトバランス取得時に、初めて
欠陥位置メモリ354 への書き込みが可能となり、欠陥検
出されたデータは“H”=“1”として、そのまま欠陥
位置メモリ354 に記憶される。その後は特定撮像条件下
とならない限りメモリ書き込み動作は禁止され、欠陥位
置メモリ内容を保持したまま読み出しを継続する。欠陥
位置メモリ354 の出力は欠陥判定部356 へと送られ、メ
モリ出力ビットが欠陥判定のためのデータ閾値と比較さ
れ、例えば、メモリデータ長が8bit 256 階調以上あっ
たとすると、128 以上になって初めて欠陥として判定す
るなどとする。メモリ出力ビット長は各画素が欠陥とし
て検出された頻度を表し、ここで外部からの操作によ
り、その欠陥判定のためのデータ閾値(=欠陥検出回
数)を調整可能としてもよい。
At the time of the first white balance acquisition, writing into the defect position memory 354 becomes possible for the first time, and the detected data is stored in the defect position memory 354 as "H" = "1" as it is. After that, the memory writing operation is prohibited unless the specific imaging condition is satisfied, and the reading is continued while the contents of the defective position memory are held. The output of the defect position memory 354 is sent to a defect judging unit 356, and the memory output bit is compared with a data threshold for defect judgment. For example, if the memory data length is 8 bits or more than 256 gradations, it becomes 128 or more. Is determined only as a defect. The memory output bit length indicates the frequency at which each pixel is detected as a defect, and the data threshold (= the number of defect detections) for determining the defect may be adjusted by an external operation.

【0031】AF制御部359 では、撮像の合焦を検出し
制御する。ここでは、合焦条件に反する意図的なデフォ
ーカス状態を適宜作成することを可能とし、この特定状
態下になったことがメモリコントローラ358 に送られる
と、欠陥位置メモリ354 が欠陥位置データ更新可能、即
ち書き込み可能となる。すると、加算器351 によりメモ
リ出力を所定 bitシフトした結果と欠陥検出部341 の結
果とが加算され、欠陥検出部350 の出力が“H”となっ
た場合、欠陥検出回数が新たに+1累積加算されたデー
タとして欠陥位置メモリ354 に保持される。メモリ出力
巡回側(加算器351 の出力側)には、データ下位数bit
をビットシフト・切り捨てて(四捨五入でも可)送り出
し、累積データbit 長を圧縮してやることで、欠陥入力
データの蓄積容量を無限に拡大することができる。
The AF controller 359 detects and controls the focus of the image pickup. Here, it is possible to appropriately create an intentional defocus state contrary to the focusing condition, and when this specific state is sent to the memory controller 358, the defect position memory 354 can update the defect position data. That is, writing becomes possible. Then, the result obtained by shifting the memory output by a predetermined bit by the adder 351 and the result of the defect detection unit 341 are added, and when the output of the defect detection unit 350 becomes “H”, the number of times of defect detection is newly added by +1. The data is held in the defect position memory 354. On the memory output circulating side (output side of the adder 351), the lower several bits of data
Is bit-shifted and truncated (or rounded off), and the accumulated data bit length is compressed, so that the storage capacity of defect input data can be expanded indefinitely.

【0032】また、欠陥位置メモリ内容は、所定のモー
ド認識により全内容の一斉更新(以下リフレッシュと称
する)を可能とする。モード設定は、図11に示すように
外部キー入力360 などにより行えばよく、これをメモリ
コントローラ358 に送ることによってモードの認識を行
い、このとき強制的に欠陥位置メモリ354 に対して all
“L”信号を書き込めばよい。欠陥位置メモリ354 に a
ll“L”を書き込む方法としては、加算器351 出力に出
力制御バッファ352 を用意すると共に、メモリ354 の入
力端を抵抗器353 によりプルダウンしておき、リフレッ
シュ時に出力制御バッファ352 の出力をハイインピーダ
ンスにすればよい。記憶したデータは電源遮断直前のも
のが消されることなく保持され続け、次の電源立ち上げ
後の初期データとして反映される。
The contents of the defect location memory can be simultaneously updated (hereinafter referred to as refresh) by recognizing a predetermined mode. The mode may be set by an external key input 360 as shown in FIG. 11, and is sent to the memory controller 358 to recognize the mode.
What is necessary is just to write the "L" signal. A in the defect location memory 354
As a method of writing "L", an output control buffer 352 is prepared at the output of the adder 351 and the input terminal of the memory 354 is pulled down by a resistor 353 so that the output of the output control buffer 352 is set to a high impedance at the time of refresh. What should I do? The stored data is retained without being erased immediately before the power is turned off, and is reflected as initial data after the next power-on.

【0033】この実施の形態によれば、次のような作用
効果が得られる。すなわち、カラーカメラのホワイトバ
ランスは、所定の色温度下における白色を然るべく再現
するために、3基準色の感度差を調整するものであり、
理想的には所定の色温度下における白色を撮像し、カメ
ラの全感度波長領域におけるこのときの3基準色それぞ
れの分光積分値を電気的に等しくするような処理がなさ
れる。したがって、主に産業用途のカメラであれば、ホ
ワイトバランス時の被写体は撮像領域一面に所定の白を
映したものとすることが多く、必然的にエッジの少ない
画像となる確率が高い。
According to this embodiment, the following operation and effect can be obtained. That is, the white balance of a color camera is to adjust the sensitivity difference between the three reference colors in order to properly reproduce white under a predetermined color temperature.
Ideally, processing is performed such that white is captured at a predetermined color temperature, and the spectral integration values of the three reference colors at this time in the entire sensitivity wavelength region of the camera are electrically equalized. Therefore, in the case of a camera mainly for industrial use, a subject at the time of white balance often assumes a predetermined white image over the entire imaging region, and there is a high probability that an image having few edges is inevitably obtained.

【0034】画像から欠陥を検出する方式における欠点
は、画像エッジに絡むものとノイズに絡むものの2つに
大別され、平坦画像が得られる可能性の高いホワイトバ
ランス時の被写体は、欠陥検出に好都合な画像となる確
率も高くなる。同様にデフォーカス時はピントがずれて
いる結果、画像エッジが平滑化され、一方で欠陥画素は
画像に無関係にぼけることなく定常的に存在するため、
このときに欠陥を検出することは、誤検出を抑える上で
好都合となる。
Defects in the method of detecting a defect from an image are roughly classified into two types, one involving an image edge and one involving a noise. A subject in a white balance in which a flat image is highly likely to be obtained is used for defect detection. The probability of a favorable image also increases. Similarly, as a result of defocusing at the time of defocusing, the image edge is smoothed, while the defective pixel is constantly present without blurring regardless of the image,
Detecting a defect at this time is convenient for suppressing erroneous detection.

【0035】欠陥位置メモリ354 を用意して、ここに欠
陥検出頻度を蓄積して行くことは、検出手法の特性に左
右されない欠陥検出性能を具現化するために効果が高
い。即ち、特定の画像パターン下で欠陥の検出ができな
かったり、又は誤って正常画素を欠陥として検出してし
まうということがない。また、撮像毎に欠陥検出と欠陥
補正を行ったときに、ノイズの影響により欠陥検出され
たりされなかったりを短撮像フレーム周期で繰り返す画
素が、画面上でちらつくことも皆無となる。
Providing the defect position memory 354 and accumulating the defect detection frequency therein is highly effective for realizing the defect detection performance which is not affected by the characteristics of the detection method. That is, there is no possibility that a defect cannot be detected under a specific image pattern or a normal pixel is erroneously detected as a defect. Further, when the defect detection and the defect correction are performed for each image pickup, the pixel which repeats the defect detection or the non-detection in the short image pickup frame cycle due to the influence of the noise does not flicker on the screen.

【0036】欠陥判定部356 により、欠陥と判定するた
めの欠陥頻度の大小を操作できることは、システムとし
ての適応性を向上させる。例えば、高温環境下では固体
撮像素子内の暗電流が増加して白点欠陥が増大する。そ
の結果、欠陥の絶対個数が上昇するため、欠陥判定用の
頻度閾値を下げて欠陥を検出しやすくすることにより、
突然高温下でシステムを稼働したときに欠陥が目立って
見えることを防ぐことができる。
The fact that the defect judging section 356 can operate the magnitude of the defect frequency for judging a defect improves the adaptability of the system. For example, in a high-temperature environment, the dark current in the solid-state imaging device increases and white spot defects increase. As a result, the absolute number of defects increases, and by lowering the frequency threshold for defect determination to make it easier to detect defects,
The defects can be prevented from being noticeable when the system is suddenly operated at a high temperature.

【0037】また、蓄積された欠陥検出頻度をビットシ
フトして巡回加算することにより、擬似的に無限に欠陥
検出頻度を蓄積することが可能となる。これにより、情
報を常時増やしてゆくことで、画像パターンに左右され
る欠陥検出方式の性能の影響及びノイズによる誤判定の
影響を最小限に抑えることができ、欠陥検出精度を総合
的に極限まで上げることに寄与する。
Further, by carrying out the cyclic addition by shifting the accumulated defect detection frequency by bit shifting, it is possible to pseudo-infinitely accumulate the defect detection frequency. As a result, by constantly increasing the information, it is possible to minimize the influence of the performance of the defect detection method depending on the image pattern and the influence of erroneous determination due to noise, and to achieve the maximum defect detection accuracy as a whole. Contribute to raising.

【0038】また、一斉更新機能は、万が一異常データ
を長期に蓄積させてしまった場合のための緊急対策手段
であり、欠陥検出/補正システムが異常を来したとき
に、誤った欠陥位置メモリデータを消去することによ
り、これに対処できる。
The simultaneous update function is an emergency countermeasure means in the event that abnormal data is accumulated for a long period of time. When the defect detection / correction system becomes abnormal, an erroneous defect position memory data is stored. This can be dealt with by deleting.

【0039】次に、第5の実施の形態について説明す
る。この実施の形態は、上記第4の実施の形態のよう
に、ホワイトバランス取得時又はデフォーカス時の画像
から欠陥位置データを取得する代わりに、動画検出を行
い、動画撮影状態における欠陥検出結果を、欠陥位置メ
モリに累積書き込みして行くようにするものである。
Next, a fifth embodiment will be described. In this embodiment, instead of acquiring the defect position data from the image at the time of obtaining the white balance or at the time of defocusing as in the fourth embodiment, a moving image is detected, and the defect detection result in the moving image shooting state is obtained. , Cumulative writing to the defect location memory.

【0040】動画検出手段としては、時系列画像の相関
を取る方式や加速度センサを利用する方式などが考えら
れる。図12は時系列画像の相関を取る方式として最も一
般的な手法を行う構成のブロック図である。1フレーム
遅延回路400 と減算器401 とにより得られる、連続する
2フレームにおける画素毎のレベル差分を、絶対値回路
402 で絶対値化し、絶対値回路402 の出力と閾値設定回
路403 で設定された閾値とを入力とする比較器404 を用
い、所定の閾値より大きな値が発生した場合に動画と判
定する。なお、このとき輝度変化を動きと誤認しないよ
うにするためには、所定の閾値を輝度変化に対応したも
のにすればよい。
As the moving image detecting means, a method of obtaining a correlation between time-series images, a method of using an acceleration sensor, and the like can be considered. FIG. 12 is a block diagram of a configuration for performing the most general method as a method for obtaining a correlation between time-series images. An absolute value circuit calculates a level difference for each pixel in two consecutive frames obtained by the one-frame delay circuit 400 and the subtractor 401.
An absolute value is obtained at 402, and a comparator 404 which receives the output of the absolute value circuit 402 and the threshold value set at the threshold value setting circuit 403 as inputs is used. At this time, in order to prevent the luminance change from being erroneously recognized as a movement, the predetermined threshold may be set to correspond to the luminance change.

【0041】この実施の形態においては、次のような作
用効果が得られる。即ち、多画素のCCD撮像素子で
は、読み出しフレーム速度が遅いため、移動する被写体
を撮像した場合、動きによる画像の劣化を生じる。この
ときデフォーカス時と同様に、画像中のエッジは少なく
なり、欠陥検出に好適な画像状態となる。したがって、
動画時の欠陥検出結果を参照することにより、誤りの少
ない欠陥判定が可能となる。
In this embodiment, the following operation and effect can be obtained. That is, in the case of a multi-pixel CCD image sensor, since the read frame speed is low, when a moving subject is imaged, the image is deteriorated due to motion. At this time, as in the case of defocusing, the number of edges in the image is reduced, and an image state suitable for defect detection is obtained. Therefore,
By referring to the defect detection result at the time of moving image, defect determination with few errors can be performed.

【0042】なお、上記第4及び第5の実施の形態で示
したもの以外でも、エッジの少ない画像又はノイズの少
ない画像を検知することにより、そのときの欠陥検出結
果を蓄積して行けば、全く同様の効果が得られる。
It should be noted that, by detecting an image having a small number of edges or an image having a small amount of noise other than those shown in the above-described fourth and fifth embodiments, if the defect detection results at that time are accumulated and then performed, Exactly the same effect can be obtained.

【0043】[0043]

【発明の効果】以上実施の形態に基づいて説明したよう
に、請求項1〜3に係る発明によれば、連続する3画素
を用い中心画素に対して欠陥検出が行われるように構成
しているので、誤検出が少なくなり、様々な撮像シーン
に適応させることが可能な画像入力装置における欠陥検
出補正装置を実現することができる。また請求項4及び
5に係る発明によれば、欠陥位置を記憶する手段を設け
欠陥検出頻度を蓄積して行くように構成しているので、
欠陥検出手法の特性に左右されずに欠陥検出を行うこと
が可能となる。
As described above with reference to the embodiments, according to the first to third aspects of the present invention, it is configured that defect detection is performed on the central pixel using three consecutive pixels. Therefore, erroneous detection is reduced, and a defect detection and correction device in an image input device that can be adapted to various imaging scenes can be realized. According to the fourth and fifth aspects of the present invention, a means for storing a defect position is provided to accumulate the defect detection frequency.
Defect detection can be performed without being affected by the characteristics of the defect detection method.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明に係る画像入力装置の欠陥検出補正装置
の第1の実施の形態の全体構成を示す概略ブロック図で
ある。
FIG. 1 is a schematic block diagram showing an overall configuration of a first embodiment of a defect detection and correction device for an image input device according to the present invention.

【図2】図1に示した第1の実施の形態における欠陥検
出補正回路の詳細な構成を示すブロック構成図である。
FIG. 2 is a block diagram showing a detailed configuration of a defect detection and correction circuit according to the first embodiment shown in FIG.

【図3】図2に示した欠陥検出補正回路のデコード部で
用いる論理値コードを表した図である。
FIG. 3 is a diagram illustrating logical value codes used in a decoding unit of the defect detection and correction circuit illustrated in FIG. 2;

【図4】連続する3つの画素のパターン例を示す図であ
る。
FIG. 4 is a diagram illustrating an example of a pattern of three consecutive pixels.

【図5】図2に示した欠陥補正回路を機能別にブロック
化して示すブロック図である。
FIG. 5 is a block diagram showing the defect correction circuit shown in FIG. 2 divided into blocks by function.

【図6】5画素からなる正常画素列例を示す図である。FIG. 6 is a diagram illustrating an example of a normal pixel row including five pixels.

【図7】本発明の第2の実施の形態における欠陥検出補
正回路を示す概略ブロック構成図である。
FIG. 7 is a schematic block diagram illustrating a defect detection and correction circuit according to a second embodiment of the present invention.

【図8】1列の縦線画像を示す図である。FIG. 8 is a diagram showing a vertical line image in one column.

【図9】第3の実施の形態における欠陥検出補正回路を
示す概略ブロック構成図である。
FIG. 9 is a schematic block diagram illustrating a defect detection and correction circuit according to a third embodiment.

【図10】図9に示した欠陥検出補正回路のデコード判定
部で用いる論理値コードを示す図である。
10 is a diagram illustrating a logical value code used in a decoding determination unit of the defect detection and correction circuit illustrated in FIG. 9;

【図11】第4の実施の形態における欠陥検出補正回路を
示す概略ブロック構成図である。
FIG. 11 is a schematic block diagram illustrating a defect detection and correction circuit according to a fourth embodiment.

【図12】第5の実施の形態で用いる時系列画像の相関取
得手段の構成を示すブロック図である。
FIG. 12 is a block diagram illustrating a configuration of a time-series image correlation acquisition unit used in the fifth embodiment.

【符号の説明】[Explanation of symbols]

100 固体撮像素子 200 A/D変換器 300 欠陥検出補正回路 301,302 フリップフロップ 303 平均値算出部 304,306 比較器 307 デコード部 308 平均値算出部 309 差分絶対値算出部 310 比較器 311 ORゲート 312 セレクタ 320 シフトレジスタ 321 欠陥検出部 322 欠陥補正部 330,331 ラインメモリ 332 垂直欠陥検出部 333 シフトレジスタ 334 水平欠陥検出部 335 ORゲート 336 欠陥補正部 340 シフトレジスタ 341 欠陥検出部 342 欠陥位置メモリ 343 デコード判定部 344 欠陥補正部 350 欠陥検出部 351 加算器 352 出力制御バッファ 353 プルダウン抵抗器 354 欠陥位置メモリ 355 ビットシフト回路 356 欠陥判定部 357 欠陥補正部 358 メモリコントローラ 359 AF制御部 360 キー入力 400 1フレーム遅延回路 401 減算器 402 絶対値回路 403 閾値設定回路 404 比較器 100 solid-state imaging device 200 A / D converter 300 defect detection and correction circuit 301,302 flip-flop 303 average value calculation unit 304,306 comparator 307 decoding unit 308 average value calculation unit 309 difference absolute value calculation unit 310 comparator 311 OR gate 312 selector 320 shift Register 321 Defect detection unit 322 Defect correction unit 330,331 Line memory 332 Vertical defect detection unit 333 Shift register 334 Horizontal defect detection unit 335 OR gate 336 Defect correction unit 340 Shift register 341 Defect detection unit 342 Defect position memory 343 Decode judgment unit 344 Defect correction Unit 350 Defect detection unit 351 Adder 352 Output control buffer 353 Pulldown resistor 354 Defect position memory 355 Bit shift circuit 356 Defect judgment unit 357 Defect correction unit 358 Memory controller 359 AF control unit 360 Key input 400 One frame delay circuit 401 Subtractor 402 Absolute value circuit 403 Threshold setting circuit 404 Comparator

───────────────────────────────────────────────────── フロントページの続き (72)発明者 菊地 奨 東京都渋谷区幡ケ谷2丁目43番2号 オリ ンパス光学工業株式会社内 Fターム(参考) 5C024 AA01 CA09 FA01 FA11 HA12 HA14 HA18 HA23  ────────────────────────────────────────────────── ─── Continuing on the front page (72) Inventor Sho Kikuchi 2-43-2 Hatagaya, Shibuya-ku, Tokyo F-term in Olympus Optical Co., Ltd. 5C024 AA01 CA09 FA01 FA11 HA12 HA14 HA18 HA23

Claims (5)

【特許請求の範囲】[Claims] 【請求項1】 固体撮像素子上もしくは入力画像中で連
続する3つの画素の信号レベル分布を2個対1個に2分
割するためのレベル分布分割手段と、該2分割された2
個側画素のレベル分布状態を定量化するための分布定量
値算出手段と、該分布定量値算出手段により得られた2
個側画素の分布定量値と1個側画素の信号レベルとの相
関を算出するための相関値算出手段と、該相関値算出手
段によって得られた相関値が所定の相関値条件を満た
し、且つ1個側画素が連続する3画素の中心に位置する
画素である場合に、1個側画素を欠陥と判定するための
欠陥検出手段と、該欠陥検出手段で欠陥と判定された画
素を補正するための欠陥補正手段とを有することを特徴
とする画像入力装置における欠陥検出補正装置。
1. A level distribution dividing means for dividing a signal level distribution of three consecutive pixels on a solid-state image pickup device or an input image into two parts one by one, and said two divided two parts.
Distribution quantitative value calculation means for quantifying the level distribution state of the individual pixel, and 2 obtained by the distribution quantitative value calculation means.
Correlation value calculation means for calculating the correlation between the distribution quantitative value of the individual pixel and the signal level of the one pixel, and the correlation value obtained by the correlation value calculation means satisfies a predetermined correlation value condition, and When the one-side pixel is a pixel located at the center of three consecutive pixels, a defect detection unit for determining the one-side pixel as a defect, and correcting the pixel determined to be defective by the defect detection unit And a defect correction unit for an image input device.
【請求項2】 前記レベル分布分割手段は前記3画素の
信号レベルの平均値に対する各画素の信号レベルの大小
に基づいて分割する手段で構成され、前記分布定量値算
出手段は前記2個側画素の平均値を算出する手段で構成
され、前記相関値算出手段は前記1個側画素の信号レベ
ルと2個側画素の画素信号の平均値との差分値を算出す
る手段で構成され、前記所定の相関値条件は前記相関値
算出手段で算出された前記差分値と比較される所定の閾
値との大小関係であり、前記欠陥補正手段は前記分布定
量値算出手段で算出された2個側画素の平均値により欠
陥画素の信号レベルを補正する手段で構成されているこ
とを特徴とする請求項1に係る画像入力装置における欠
陥検出補正装置。
2. The level distribution dividing means comprises means for dividing based on the magnitude of the signal level of each pixel with respect to the average value of the signal levels of the three pixels. The correlation value calculating means is configured to calculate a difference value between the signal level of the one-side pixel and the average value of the pixel signal of the two-side pixel, and The correlation value condition is a magnitude relationship between the difference value calculated by the correlation value calculation means and a predetermined threshold value to be compared, and the defect correction means calculates the two pixel values calculated by the distribution quantitative value calculation means. 2. A defect detection and correction device in an image input device according to claim 1, comprising means for correcting the signal level of the defective pixel based on the average value of.
【請求項3】 前記固体撮像素子上もしくは画像中で連
続する3つの画素は、水平方向又は垂直方向又は斜め方
向に連続する画素であることを特徴とする請求項1又は
2に係る画像入力装置における欠陥検出補正装置。
3. The image input device according to claim 1, wherein the three consecutive pixels on the solid-state imaging device or in the image are pixels consecutive in a horizontal direction, a vertical direction, or an oblique direction. Defect detection and correction device.
【請求項4】 固体撮像素子上もしくは入力画像におけ
る欠陥位置を記憶するための電気的に書き換え可能な記
憶手段と、特定動作時にのみ欠陥検出を行う手段と、前
記特定動作時に検出された欠陥の頻度を前記記憶手段に
より画素毎に管理する手段と、前記記憶手段による前記
欠陥検出頻度の管理容量を擬似的に無限にする手段と、
特定条件下で前記記憶手段に記憶された内容を適宜更新
する手段とを有することを特徴とする画像入力装置にお
ける欠陥検出補正装置。
4. An electrically rewritable storage means for storing a defect position on a solid-state imaging device or in an input image; a means for detecting a defect only during a specific operation; Means for managing the frequency for each pixel by the storage means, means for making the management capacity of the defect detection frequency by the storage means pseudo infinite,
Means for appropriately updating the contents stored in the storage means under specific conditions.
【請求項5】 前記特定動作時は、画像入力装置のデフ
ォーカス撮影時、動画撮影時、又はカラー撮影時におけ
るホワイトバランス情報取得時のいずれかであり、前記
管理容量擬似的無限化手段は、前記欠陥位置記憶手段の
出力データをビットシフトして巡回させ、所定の演算後
再度該記憶手段に入力するように構成されていることを
特徴とする請求項4に係る画像入力装置における欠陥検
出補正装置。
5. The specific operation is performed at the time of defocus shooting of the image input device, at the time of moving image shooting, or at the time of white balance information acquisition at the time of color shooting, and the management capacity pseudo infinity means includes: 5. The defect detection and correction in the image input device according to claim 4, wherein the output data of the defect position storage means is bit-shifted and circulated, and after a predetermined operation, is input to the storage means again. apparatus.
JP10283595A 1998-09-21 1998-09-21 Defect detection correction device in image input device Pending JP2000101924A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10283595A JP2000101924A (en) 1998-09-21 1998-09-21 Defect detection correction device in image input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10283595A JP2000101924A (en) 1998-09-21 1998-09-21 Defect detection correction device in image input device

Publications (2)

Publication Number Publication Date
JP2000101924A true JP2000101924A (en) 2000-04-07
JP2000101924A5 JP2000101924A5 (en) 2005-11-04

Family

ID=17667545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10283595A Pending JP2000101924A (en) 1998-09-21 1998-09-21 Defect detection correction device in image input device

Country Status (1)

Country Link
JP (1) JP2000101924A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030005009A (en) * 2001-07-06 2003-01-15 산요 덴키 가부시키가이샤 Image data correcting method and image signal processing apparatus
JP2005328134A (en) * 2004-05-12 2005-11-24 Sony Corp Imaging apparatus and defect detecting method of solid-state imaging element
JP2006140654A (en) * 2004-11-11 2006-06-01 Sony Corp Circuit and method for correcting defect detection
JP2006166194A (en) * 2004-12-09 2006-06-22 Sony Corp Pixel defect detection circuit and pixel defect detection method
JP2007201530A (en) * 2006-01-23 2007-08-09 Pentax Corp Pixel defect correction apparatus
US7715617B2 (en) 2002-07-25 2010-05-11 Fujitsu Microelectronics Limited Circuit and method for correction of defect pixel
US8085322B2 (en) 2006-10-30 2011-12-27 Fujitsu Semiconductor Limited Defect pixel correction circuit, image processing system using the same, and defect pixel correcting method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030005009A (en) * 2001-07-06 2003-01-15 산요 덴키 가부시키가이샤 Image data correcting method and image signal processing apparatus
US7715617B2 (en) 2002-07-25 2010-05-11 Fujitsu Microelectronics Limited Circuit and method for correction of defect pixel
JP2005328134A (en) * 2004-05-12 2005-11-24 Sony Corp Imaging apparatus and defect detecting method of solid-state imaging element
JP2006140654A (en) * 2004-11-11 2006-06-01 Sony Corp Circuit and method for correcting defect detection
JP4591046B2 (en) * 2004-11-11 2010-12-01 ソニー株式会社 Defect detection correction circuit and defect detection correction method
JP2006166194A (en) * 2004-12-09 2006-06-22 Sony Corp Pixel defect detection circuit and pixel defect detection method
JP2007201530A (en) * 2006-01-23 2007-08-09 Pentax Corp Pixel defect correction apparatus
US8085322B2 (en) 2006-10-30 2011-12-27 Fujitsu Semiconductor Limited Defect pixel correction circuit, image processing system using the same, and defect pixel correcting method

Similar Documents

Publication Publication Date Title
JP5266957B2 (en) Defective pixel detection device, imaging device, and defective pixel detection method
JP3747909B2 (en) Pixel defect detection correction apparatus and pixel defect detection correction method
US7593569B2 (en) Pixel defect correction device
US7405756B2 (en) Image pickup apparatus
US7800661B2 (en) Programmable pattern matching device
US20030179418A1 (en) Producing a defective pixel map from defective cluster pixels in an area array image sensor
KR20010050876A (en) Method for detecting a pixel defect and image processing device
JP4591046B2 (en) Defect detection correction circuit and defect detection correction method
JP2000059799A (en) Pixel defect correcting device and pixel defect correcting method
JP2000101924A (en) Defect detection correction device in image input device
JP3227815B2 (en) Solid-state imaging device
JP3696069B2 (en) Method and apparatus for detecting defective pixels of solid-state image sensor
JP2006166194A (en) Pixel defect detection circuit and pixel defect detection method
JP2005341463A (en) Solid-state imaging device and defect-correcting method
JP2005223796A (en) Pixel defect correcting device
JP2882227B2 (en) Pixel defect correction device
JP2004064512A (en) Method and device for detecting defective pixel, and image pickup device
JP2011114473A (en) Pixel defect correction device
JP2008312169A (en) Image processing apparatus and method, and imaging apparatus
JP2008148115A (en) Image defect correction system of imaging device using direction detection
JP2005286825A (en) Defective pixel correction apparatus and method, imaging apparatus, program, and storage medium
JP2002330354A (en) Device, method and program for detecting and correcting defective pixel, and video signal processor
JP5968145B2 (en) Image processing apparatus and control method thereof
JP4088869B2 (en) Defective pixel detection device for solid-state imaging device and solid-state imaging device
JP2002152601A (en) Solid-state imaging unit and method for correcting defective pixel

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050913

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080812

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081015