JP2005210164A - Correction apparatus for defective pixel - Google Patents

Correction apparatus for defective pixel Download PDF

Info

Publication number
JP2005210164A
JP2005210164A JP2004011508A JP2004011508A JP2005210164A JP 2005210164 A JP2005210164 A JP 2005210164A JP 2004011508 A JP2004011508 A JP 2004011508A JP 2004011508 A JP2004011508 A JP 2004011508A JP 2005210164 A JP2005210164 A JP 2005210164A
Authority
JP
Japan
Prior art keywords
frame
defective pixel
defective
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004011508A
Other languages
Japanese (ja)
Other versions
JP2005210164A5 (en
Inventor
Takako Ichien
孝子 一圓
Original Assignee
Olympus Corp
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, オリンパス株式会社 filed Critical Olympus Corp
Priority to JP2004011508A priority Critical patent/JP2005210164A/en
Publication of JP2005210164A publication Critical patent/JP2005210164A/en
Publication of JP2005210164A5 publication Critical patent/JP2005210164A5/ja
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a correction apparatus for defective pixels, capable of obtaining an image with high quality without the need for using pseudo-pixel data. <P>SOLUTION: A defective pixel correcting section is configured with an input image memory 21 for storing an image of a plurality of frames resulting from photographing the same scene with different timings; a defect position memory 22 for storing the position of a defective pixel of a CCD area sensor 11; a deviated vector detecting section 23 for detecting a deviation vector of an image between two frames; first and second frames, arbitrarily selected from among images of a plurality of frames stored in the input image memory; and a defective pixel replacing section 24 for replacing defective pixels, on the basis of coordinate data of the defective pixel obtained from the defective position memory and the deviated vector obtained from the deviated vector detecting section. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

この発明は、固体撮像素子の欠陥画素を補正する欠陥画素補正装置に関する。   The present invention relates to a defective pixel correction apparatus that corrects a defective pixel of a solid-state imaging device.
デジタルカメラ等の撮像装置に一般に用いられる、CCD素子を画素として用いた多画素を有する固体撮像素子においては、均一な入射光レベルにも関わらず、周辺のCCD素子とは特異なレベルを出力するいわゆる欠陥画素の発生頻度が高くなり、画質が劣化するという問題がある。   In a solid-state imaging device having a multi-pixel using a CCD element as a pixel, which is generally used in an imaging apparatus such as a digital camera, a level that is unique from the peripheral CCD elements is output despite a uniform incident light level. There is a problem in that the occurrence frequency of so-called defective pixels increases and the image quality deteriorates.
従来このような問題に対して、欠陥画素補正に関する技術が提案されている。例えば、特開2000−176586号公報では、所定サイズの周囲画素から所定方向の相関値を求め、方向算出部でその相関が最大になる方向に属する周囲画素を用いて、欠陥画素の補正値を算出する欠陥画素補正装置を開示している。
特開2000−176586号公報
Conventionally, techniques relating to defective pixel correction have been proposed for such problems. For example, in Japanese Patent Laid-Open No. 2000-176586, a correlation value in a predetermined direction is obtained from surrounding pixels of a predetermined size, and a correction value for a defective pixel is calculated using surrounding pixels belonging to a direction in which the correlation is maximized by a direction calculation unit. A defective pixel correction apparatus for calculation is disclosed.
JP 2000-176586 A
ところで、欠陥画素の補正は、一般に当該欠陥画素の周辺に位置する4画素の情報に基づいて行われる。すなわち、欠陥画素に対して、その上下(垂直方向)左右(水平方向)に隣接する4画素の信号の平均値によって、その欠陥画素の位置に係る画像出力データを置換する。しかしながら、置換に用いる画素データは擬似的に作られたものであるため、補正画像が特異な画像になることがある。   By the way, correction of defective pixels is generally performed based on information of four pixels located around the defective pixels. That is, for the defective pixel, the image output data relating to the position of the defective pixel is replaced by the average value of the signals of the four pixels adjacent to the vertical (vertical direction) and the left and right (horizontal direction). However, since the pixel data used for replacement is artificially created, the corrected image may be a peculiar image.
本発明は、この点に注目してなされたものであり、高品質な画像を得ることが可能な欠陥画素補正装置を提供することを目的とする。   The present invention has been made paying attention to this point, and an object thereof is to provide a defective pixel correction device capable of obtaining a high-quality image.
上記問題点を解決するため、請求項1に係る発明は、欠陥画素を有する固体撮像素子から読み出した画像データに含まれる欠陥画素データを補正する欠陥画素補正装置において、前記固体撮像素子を用いて同一シーンを異なるタイミングで撮影した複数フレームの画像データを記憶する記憶手段と、該記憶手段に記憶した複数フレームの画像データの中の任意に選択した第1及び第2の2フレーム間の画像のずれベクトルを検出するずれベクトル検出手段と、該ずれベクトル検出手段で検出したずれベクトルに基づいて前記第1のフレームの欠陥画素データを前記第2のフレームの画素データで置換する欠陥画素置換手段とを具備することを特徴とするものである。そして、この請求項1に係る発明の実施例には、実施例1が対応する。   In order to solve the above problems, the invention according to claim 1 is a defective pixel correction apparatus that corrects defective pixel data included in image data read from a solid-state imaging device having defective pixels, and uses the solid-state imaging device. Storage means for storing image data of a plurality of frames taken from the same scene at different timings, and images between first and second frames arbitrarily selected from the image data of a plurality of frames stored in the storage means; Shift vector detecting means for detecting a shift vector; and defective pixel replacement means for replacing defective pixel data of the first frame with pixel data of the second frame based on the shift vector detected by the shift vector detecting means. It is characterized by comprising. The embodiment of the invention according to claim 1 corresponds to the first embodiment.
請求項2に係る発明は、請求項1に係る欠陥画素補正装置において、前記ずれベクトル検出手段は、選択した第1のフレーム及び第2のフレームにおいて、ずれベクトルが0の場合は、選択した前記第2のフレーム以外の他のフレームを第2のフレームとして選択し、ずれベクトルを検出することを特徴とするものである。そして、この請求項2に係る発明の実施例には、実施例1が対応する。   According to a second aspect of the present invention, in the defective pixel correction apparatus according to the first aspect, the shift vector detecting means selects the selected one when the shift vector is 0 in the selected first frame and second frame. A frame other than the second frame is selected as the second frame, and a shift vector is detected. The embodiment of the invention according to claim 2 corresponds to the first embodiment.
請求項3に係る発明は、請求項1に係る欠陥画素補正装置において、前記固体撮像素子は、その受光面に、基本色ブロックが2×2画素単位で繰り返し配列された色フィルタが貼付されていることを特徴とするものである。そして、この請求項3に係る発明の実施例には、実施例2が対応する。   According to a third aspect of the present invention, in the defective pixel correction device according to the first aspect, the solid-state imaging device has a color filter in which basic color blocks are repeatedly arranged in units of 2 × 2 pixels on the light receiving surface. It is characterized by being. A second embodiment corresponds to the embodiment of the invention according to claim 3.
請求項4に係る発明は、請求項3に係る欠陥画素補正装置において、前記欠陥画素置換手段は、前記ずれベクトル検出手段で検出されたずれベクトルのX軸及びY軸方向について、ずれ量が画素単位でともに偶数の場合は、第2のフレームにおける第1のフレームの欠陥画素位置の画像に対応する画像の画素データを第1のフレームの欠陥画素データと置換し、いずれか一方のずれ量が画素単位で奇数の場合は、第2のフレームにおける第1のフレームの欠陥画素位置の画像に対応する画像に近接する第1のフレームの欠陥画素と同色の画素データを第1のフレームの欠陥画素データと置換することを特徴とするものである。そして、この請求項4に係る発明の実施例には、実施例2が対応する。   According to a fourth aspect of the present invention, in the defective pixel correction apparatus according to the third aspect, the defective pixel replacement unit has a pixel shift amount in the X-axis and Y-axis directions of the shift vector detected by the shift vector detection unit. If both units are even, the pixel data of the image corresponding to the image of the defective pixel position of the first frame in the second frame is replaced with the defective pixel data of the first frame, and the amount of shift of either one is If the pixel unit is an odd number, the pixel data of the same color as the defective pixel of the first frame adjacent to the image corresponding to the image of the defective pixel position of the first frame in the second frame is the defective pixel of the first frame. It is characterized by replacing data. The second embodiment corresponds to the embodiment of the invention according to claim 4.
請求項5に係る発明は、欠陥画素を有する固体撮像素子から読み出した画像データに含まれる欠陥画素データを補正する欠陥画素補正装置において、前記固体撮像素子又は該固体撮像素子の前方に配置したレンズの少なくとも一方を所定量移動させる移動駆動手段と、該移動駆動手段で前記固体撮像素子又は前記レンズの少なくとも一方を所定量移動させ、該所定量移動の前後において前記固体撮像素子を用いて同一シーンを撮影して得られた第1及び第2の2フレームの画像データを記憶する記憶手段と、前記移動駆動手段による前記所定量移動による前記2フレーム間のずれベクトルに基づいて前記記憶手段に記憶した第1のフレームの欠陥画素データを第2のフレームの画素データで置換する欠陥画素置換手段とを備えていることを特徴とするものである。そして、この請求項5に係る発明の実施例には、実施例3が対応する。   The invention according to claim 5 is a defective pixel correction device that corrects defective pixel data included in image data read from a solid-state imaging device having defective pixels, and the lens disposed in front of the solid-state imaging device or the solid-state imaging device. A movement driving means for moving at least one of the predetermined amount, and at least one of the solid-state imaging element or the lens is moved by a predetermined amount by the movement driving means, and the same scene is used by using the solid-state imaging element before and after the predetermined amount movement. Storage means for storing image data of the first and second frames obtained by photographing the image, and storage in the storage means based on a deviation vector between the two frames due to the movement of the predetermined amount by the movement driving means. And defective pixel replacement means for replacing the defective pixel data of the first frame with the pixel data of the second frame. It is an. A third embodiment corresponds to the embodiment of the invention according to claim 5.
請求項6に係る発明は、請求項5に係る欠陥画素補正装置において、前記移動駆動手段は、第1のフレームの欠陥画素位置に基づいて前記固体撮像素子又はレンズの少なくとも一方を所定量移動させることを特徴とするものである。そして、この請求項6に係る発明の実施例には、実施例3が対応する。   According to a sixth aspect of the present invention, in the defective pixel correction device according to the fifth aspect, the movement driving means moves at least one of the solid-state imaging device or the lens by a predetermined amount based on the defective pixel position of the first frame. It is characterized by this. A third embodiment corresponds to the embodiment of the invention according to claim 6.
請求項1に係る欠陥画素補正装置によれば、第1のフレームと第2のフレーム間の画像のずれベクトルに基づいて、第2のフレームにおける第1のフレームの欠陥画素位置に相当する画素データを第1のフレームの欠陥画素データと置き換えることができ、より実際の画像に近い画像が得られる。また請求項2に係る欠陥画素補正装置によれば、最初に選択された第1のフレームと第2のフレーム間で、ずれベクトルが0となる場合、第2のフレームにおける第1のフレームの欠陥画素位置に相当する画素データも欠陥画素データとなるので、この場合は上記選択された第2のフレーム以外の前記ずれベクトルが0とならないフレームを新たな第2のフレームとして用いて、ずれ検出を行い欠陥画素の補正を行うことが可能となる。   According to the defective pixel correction apparatus according to claim 1, pixel data corresponding to the defective pixel position of the first frame in the second frame based on the image shift vector between the first frame and the second frame. Can be replaced with defective pixel data of the first frame, and an image closer to the actual image can be obtained. According to the defective pixel correction apparatus of claim 2, when the shift vector becomes 0 between the first frame and the second frame selected first, the defect of the first frame in the second frame Since the pixel data corresponding to the pixel position is also defective pixel data, in this case, a frame other than the selected second frame in which the shift vector is not 0 is used as a new second frame to detect shift. This makes it possible to correct defective pixels.
また請求項3に係る欠陥画素補正装置によれば、カラー画像でも、欠陥画素に対して第2のフレームで得られた画素データと置換ができるので、より実際の画像に近いカラー画像が得られる。また請求項4に係る欠陥画素補正装置によれば、ずれベクトル検出手段で検出されたずれベクトルのX軸及びY軸方向について、ずれ量が画素単位で共に偶数の場合は、第2のフレームにおける第1のフレームの欠陥画素位置に相当する画素データを第1のフレームの欠陥画素データと置換することができ、またいずれか一方のずれ量が画素単位で奇数の場合は、同色ではないためそのまま置換することはできないが、第2のフレームにおける第1のフレームの欠陥画素位置に近接する第1のフレームの欠陥画素と同色の画素データを第1のフレームの欠陥画素データと置換することにより、欠陥画素の補正が可能となる。   Further, according to the defective pixel correction apparatus according to the third aspect, even a color image can be replaced with the pixel data obtained in the second frame for the defective pixel, so that a color image closer to the actual image can be obtained. . According to the defective pixel correction apparatus of the fourth aspect, in the case of the second frame when the amount of deviation is an even number in pixel units with respect to the X-axis and Y-axis directions of the deviation vector detected by the deviation vector detecting means. The pixel data corresponding to the defective pixel position of the first frame can be replaced with the defective pixel data of the first frame, and if any one of the shift amounts is an odd number in units of pixels, it is not the same color, so Although it cannot be replaced, by replacing pixel data of the same color as the defective pixel of the first frame adjacent to the defective pixel position of the first frame in the second frame with defective pixel data of the first frame, It is possible to correct defective pixels.
また請求項5に係る欠陥画素補正装置によれば、固体撮像素子又はレンズが所定量移動させられるので、この移動量をずれベクトルとして扱うことができ、ずれベクトルを検出手段を用いて検出する必要がなくなる。また請求項6に係る欠陥画素補正装置によれば、第1のフレームの欠陥画素位置に基づいて、移動量を設定することができ、第1のフレームと第2のフレームの欠陥画素の絶対位置が異なることがないので、必ず第1のフレームの欠陥画素データを所定量移動した第2のフレームの対応する画素データで置換できる。   According to the defective pixel correction apparatus of the fifth aspect, since the solid-state imaging device or the lens is moved by a predetermined amount, this movement amount can be handled as a deviation vector, and the deviation vector needs to be detected using a detecting unit. Disappears. According to the defective pixel correction device of the sixth aspect, the movement amount can be set based on the defective pixel position of the first frame, and the absolute position of the defective pixel of the first frame and the second frame. Therefore, the defective pixel data of the first frame can always be replaced with the corresponding pixel data of the second frame moved by a predetermined amount.
次に、発明を実施するための最良の形態について説明する。   Next, the best mode for carrying out the invention will be described.
まず、本発明に係る欠陥画素補正装置の実施例1について説明する。この実施例は、請求項1及び2に係る発明に対応するものであり、固体撮像素子としては、フィルタを用いないモノクロCCDエリアセンサを使用するものとする。   First, a first embodiment of the defective pixel correction apparatus according to the present invention will be described. This embodiment corresponds to the inventions according to claims 1 and 2, and a monochrome CCD area sensor not using a filter is used as the solid-state imaging device.
図1は、本発明の実施例1に係わる欠陥画素補正装置を適用した撮像装置の概略構成を示すブロック図である。図1において、10は被写体からの光を結像するための撮影レンズで、その周辺回路を含んでいる。11はCCDエリアセンサで、その周辺回路を含んでいる。12はアナログ回路で構成されるプリプロセス回路、13はA/D変換回路、14は欠陥画素補正部、15は画像信号処理部であり、17は全体の動作を制御するCPUである。   FIG. 1 is a block diagram illustrating a schematic configuration of an imaging apparatus to which the defective pixel correction apparatus according to the first embodiment of the present invention is applied. In FIG. 1, reference numeral 10 denotes a photographic lens for forming an image of light from a subject, and includes a peripheral circuit thereof. A CCD area sensor 11 includes its peripheral circuits. Reference numeral 12 denotes a preprocess circuit constituted by an analog circuit, reference numeral 13 denotes an A / D conversion circuit, reference numeral 14 denotes a defective pixel correction unit, reference numeral 15 denotes an image signal processing unit, and reference numeral 17 denotes a CPU that controls the overall operation.
図2は、図1に示した実施例1における欠陥画素補正部14の構成を示すブロック図で、この欠陥画素補正部14は、A/D変換回路13からの入力画像を格納する入力画像メモリ21と、CCDエリアセンサ11上の欠陥画素の位置を格納する欠陥位置メモリ22と、入力画像のずれを検出するずれベクトル検出部23と、欠陥位置メモリ22から得た座標データとずれベクトル検出部23より得られたずれベクトルに基づいて欠陥画素を置換する欠陥画素置換部24とで構成されている。   FIG. 2 is a block diagram showing the configuration of the defective pixel correction unit 14 in the first embodiment shown in FIG. 1, and the defective pixel correction unit 14 stores an input image memory from the A / D conversion circuit 13. 21, a defect position memory 22 that stores the position of the defective pixel on the CCD area sensor 11, a shift vector detection unit 23 that detects a shift of the input image, and coordinate data and a shift vector detection unit obtained from the defect position memory 22 And a defective pixel replacement unit 24 that replaces the defective pixel based on the deviation vector obtained from 23.
次に、図1及び図2に示した実施例1の動作について説明する。CCDエリアセンサ11から出力された画像信号は、プリプロセス回路12及びA/D変換回路13を介して欠陥画素補正部14に入力される。ここで、画像信号を出力したCCDエリアセンサ11の画素が正常な画素である場合には、欠陥位置メモリ22から出力されている欠陥画素の位置と一致することはないため、画像信号は、欠陥画素置換部24にて補正を施されることなく、そのまま画像信号処理部15へ出力される。一方、画像信号を出力したCCDエリアセンサ11の画素が欠陥画素である場合には、欠陥位置メモリ22から入力されている欠陥画素の位置と一致するため、画像信号は欠陥画素置換部24にて補正が施される。   Next, the operation of the first embodiment shown in FIGS. 1 and 2 will be described. The image signal output from the CCD area sensor 11 is input to the defective pixel correction unit 14 via the preprocess circuit 12 and the A / D conversion circuit 13. Here, when the pixel of the CCD area sensor 11 that has output the image signal is a normal pixel, it does not coincide with the position of the defective pixel output from the defect position memory 22, so the image signal is not defective. The pixel replacement unit 24 outputs the signal to the image signal processing unit 15 without any correction. On the other hand, if the pixel of the CCD area sensor 11 that has output the image signal is a defective pixel, it matches the position of the defective pixel input from the defective position memory 22, so that the image signal is received by the defective pixel replacement unit 24. Correction is applied.
図3は、欠陥画素補正部14において実行される画素欠陥補正の態様を示す説明図である。欠陥画素補正部14では、まず同一シーンを異なるタイミングで撮影した複数フレームの画像を入力画像メモリ21に格納する。入力画像メモリ21に格納された複数フレームの画像から任意に選択した第1及び第2のフレームの画像を用い、ずれベクトル検出部23で2フレーム間の画像のずれベクトルを検出する。このずれベクトルに基づいて、欠陥である画素データを実際の画像となるべきデータで置き換える。なお、第1及び第2のフレームとしては、通常最初に撮影されたフレームと次いで撮影されたフレームが選択される。   FIG. 3 is an explanatory diagram showing a mode of pixel defect correction executed in the defective pixel correction unit 14. The defective pixel correction unit 14 first stores, in the input image memory 21, images of a plurality of frames obtained by photographing the same scene at different timings. Using a first and second frame image arbitrarily selected from a plurality of frames stored in the input image memory 21, a shift vector detector 23 detects a shift vector of the image between two frames. Based on this deviation vector, the defective pixel data is replaced with data to be an actual image. As the first and second frames, the frame that was first shot and the frame that was shot next are usually selected.
具体的には、第1のフレームにおける欠陥画素の座標(a,b)と、第1のフレームと第2のフレームからずれベクトル検出部23で検出されたずれベクトルのX軸及びY軸成分である移動量(c,d)に基づき、第2のフレームにおける第1のフレームの欠陥画素による画像に対応する真のデータ座標(a+c,b+d)を求め、第2のフレームにおける実際の画像となるべきデータの座標(a+c,b+d)にある画素データを、第1のフレームの座標(a,b)における欠陥画素データと置換する。   Specifically, the coordinates (a, b) of the defective pixel in the first frame and the X-axis and Y-axis components of the shift vector detected by the shift vector detection unit 23 from the first frame and the second frame. Based on a certain amount of movement (c, d), true data coordinates (a + c, b + d) corresponding to an image of defective pixels in the first frame in the second frame are obtained, and an actual image in the second frame is obtained. The pixel data at the coordinates (a + c, b + d) of the power data is replaced with defective pixel data at the coordinates (a, b) of the first frame.
更に、具体的に図4を用いて説明する。図4は、モノクロCCDエリアセンサ11の画素配列の一部を示したものである。この図示例では、画素34が欠陥画素であるという前提で説明する。この欠陥画素の位置情報は、予め欠陥位置メモリ22に格納されているものとする。同一シーンを異なるタイミングで撮影した複数フレームの画像から選択した第1のフレーム及び第2のフレームの画像について、ずれベクトル検出部23でずれベクトルを画像マッチングにより抽出し、抽出されたずれベクトルに基づいて欠陥補正を行う。図4の図示例の場合、ずれベクトルのX軸及びY軸成分は(−3,−2)となり、画素34′のデータを、第1のフレームの欠陥画素34のデータと置き換えることにより、第1のフレームは欠陥のない画像となる。   Furthermore, it demonstrates concretely using FIG. FIG. 4 shows a part of the pixel arrangement of the monochrome CCD area sensor 11. In this illustrated example, description will be made on the assumption that the pixel 34 is a defective pixel. It is assumed that the position information of the defective pixel is stored in the defect position memory 22 in advance. With respect to the first frame image and the second frame image selected from the images of the plurality of frames taken at the same scene at different timings, the shift vector detection unit 23 extracts the shift vector by image matching, and based on the extracted shift vector. Correct the defect. In the illustrated example of FIG. 4, the X-axis and Y-axis components of the shift vector are (−3, −2), and the data of the pixel 34 ′ is replaced with the data of the defective pixel 34 of the first frame. One frame is an image having no defect.
撮影された複数フレームの画像から選択した第1のフレーム及び第2のフレームの2フレーム間で、ずれベクトルが0となる場合、第2のフレームにおける第1のフレームの欠陥画素位置に相当する画素データも欠陥画素データとなる。この場合は、最初に選択した第2のフレーム以外のずれベクトルが0とならないフレームを第2のフレームとして用いることにより、欠陥補正を行うことが可能となる。   A pixel corresponding to the defective pixel position of the first frame in the second frame when the shift vector is 0 between the first frame and the second frame selected from the captured images of the plurality of frames. Data also becomes defective pixel data. In this case, defect correction can be performed by using, as the second frame, a frame in which the deviation vector other than the first selected second frame does not become zero.
また、連続する欠陥画素により構成されるクラスター欠陥などの場合も、同様に、第2のフレームにおける第1のフレームの欠陥画素位置に相当する画素データも欠陥画素データとなる場合がある。この場合は、最初に選択された第2のフレーム以外のフレームを第2のフレームとして用いることで、第1のフレームの欠陥画素による画像に対応する第2のフレームの画素データで、第1のフレームの欠陥画素データを置換することで、欠陥補正が可能となる。   Similarly, in the case of a cluster defect composed of continuous defective pixels, the pixel data corresponding to the defective pixel position of the first frame in the second frame may also be defective pixel data. In this case, by using a frame other than the first selected second frame as the second frame, the pixel data of the second frame corresponding to the image by the defective pixel of the first frame can be Defect correction can be performed by replacing defective pixel data in a frame.
次に、実施例2について説明する。この実施例は、請求項3及び4に係る発明に対応するもので、受光面にカラーフィルタを貼布したカラーCCDイメージセンサを用い、カラー画像における欠陥画素を補正処理するようにしたものである。カラーフィルタとしては、ここでは、基本色ブロックが2×2画素単位で繰り返し配列して構成されるRGBベイヤー配列のフィルタを用いるものとする。   Next, Example 2 will be described. This embodiment corresponds to the inventions according to claims 3 and 4 and uses a color CCD image sensor in which a color filter is pasted on the light receiving surface to correct defective pixels in a color image. . Here, as the color filter, an RGB Bayer array filter configured by repeatedly arranging basic color blocks in units of 2 × 2 pixels is used.
図5は、カラーCCDエリアセンサのカラーフィルタに対応する画素配列を示したものである。この例では画素R33が欠陥であり、該欠陥画素R33が左上に位置する太線で囲まれた2×2画素ブロックが欠陥画素ブロックであるという前提で説明する。図中(a)は第1のフレームの画素データを、(b),(c),(d),(e)は第2のフレームにおける第1のフレームの欠陥画素ブロック位置の画像に対応する画像の画素データを示しており、(b),(c),(d),(e)に示した4画素の左上の画素が、第1のフレームの欠陥画素R33の位置の画像に対応する第2のフレームの画像の画素データである。   FIG. 5 shows a pixel array corresponding to the color filter of the color CCD area sensor. In this example, description will be made on the assumption that the pixel R33 is defective and the 2 × 2 pixel block surrounded by a thick line located at the upper left is the defective pixel block. In the figure, (a) corresponds to the pixel data of the first frame, and (b), (c), (d), and (e) correspond to the image of the defective pixel block position of the first frame in the second frame. The pixel data of the image is shown, and the upper left pixel of the four pixels shown in (b), (c), (d), and (e) corresponds to the image at the position of the defective pixel R33 in the first frame. It is pixel data of the image of the second frame.
第2のフレームにおける第1のフレームの欠陥画素位置の画像に相当する画素データのX軸及びY軸方向の移動量が、画素単位で共に偶数の場合(b)は、第2のフレームにおける第1のフレームの欠陥画素位置の画像に相当する第1のフレームにおける欠陥画素データと同色の色フィルタを持った画素データ(ハッチングを付したR画素のデータ)で、第1のフレームの欠陥画素データの置換ができる。一方、第2のフレームにおける第1のフレームの欠陥画素位置の画像に相当する画素データのX軸又はY軸方向のいずれかの移動量が、画素単位で奇数の場合(c),(d),(e)は、奇数であるX軸及び/又はY軸方向の移動量に1を加えて、X軸及びY軸方向の移動量を(f)に示すように偶数に補正してから、第2のフレームにおける第1のフレームの欠陥画素位置の画像に相当する第1のフレームにおける欠陥画素データと同色の色フィルタを持った画素データ(ハッチングを付したR画素のデータ)で、第1のフレームの欠陥画素データの置換ができる。これにより、欠陥画素と近接且つ同色の画素データでの置換補正が可能となる。   When the amount of movement in the X-axis and Y-axis directions of the pixel data corresponding to the image of the defective pixel position of the first frame in the second frame is an even number in pixel units (b), The pixel data having the same color filter as the defective pixel data in the first frame corresponding to the image of the defective pixel position in the first frame (R pixel data with hatching), and the defective pixel data in the first frame Can be replaced. On the other hand, when the movement amount in the X-axis or Y-axis direction of pixel data corresponding to the image at the defective pixel position of the first frame in the second frame is an odd number in units of pixels (c), (d) , (E) adds 1 to the movement amount in the X-axis and / or Y-axis direction, which is an odd number, and corrects the movement amount in the X-axis and Y-axis direction to an even number as shown in (f), Pixel data having a color filter of the same color as the defective pixel data in the first frame corresponding to the image of the defective pixel position in the first frame in the second frame (data of R pixels with hatching), It is possible to replace defective pixel data in the frame. As a result, replacement correction can be performed with pixel data of the same color as that of the defective pixel.
次に、実施例3について説明する。この実施例は、請求項5及び6に係る発明に対応するものである。図6は、実施例3に係る欠陥画素補正装置を適用した撮像装置の概略構成を示すブロック図である。この撮像装置は、図1に示した実施例1に係る撮像装置において、CCDエリアセンサ11又はレンズ10の少なくとも一方を所定量に移動させることができる機械的な移動駆動手段16を追加したものである。   Next, Example 3 will be described. This embodiment corresponds to the inventions according to claims 5 and 6. FIG. 6 is a block diagram illustrating a schematic configuration of an imaging apparatus to which the defective pixel correction apparatus according to the third embodiment is applied. This image pickup apparatus is the same as the image pickup apparatus according to the first embodiment shown in FIG. 1, except that a mechanical movement driving means 16 capable of moving at least one of the CCD area sensor 11 and the lens 10 by a predetermined amount is added. is there.
上記移動駆動手段16によりCCDエリアセンサ11又はレンズ10の少なくとも一方を所定量に移動させることにより、同一シーンを異なるタイミング、つまり所定量移動の前後で撮影した2つのフレーム間の画像のずれベクトルを制御することができるので、図2に示した実施例1に係る欠陥画素補正部14におけるずれベクトル検出部23を用いて、ずれベクトルを検出する必要がなくなる。したがって、本実施例のようにCCDエリアセンサ11又はレンズ10の少なくとも一方を所定量に移動させることができる移動駆動手段16を設ける場合の欠陥画素補正部14は、図7に示すように入力画像メモリ21,欠陥位置メモリ22,欠陥画素置換部24で構成され、図2に示した実施例1における欠陥画素補正部14で必要であったずれベクトル検出部23は、不要となる。   By moving at least one of the CCD area sensor 11 or the lens 10 by a predetermined amount by the movement driving means 16, an image shift vector between two frames taken at different timings, that is, before and after the predetermined amount of movement is obtained. Since it can be controlled, it is not necessary to detect a shift vector using the shift vector detection unit 23 in the defective pixel correction unit 14 according to the first embodiment shown in FIG. Therefore, as shown in FIG. 7, the defective pixel correction unit 14 in the case where the movement driving means 16 capable of moving at least one of the CCD area sensor 11 or the lens 10 by a predetermined amount is provided as shown in FIG. The shift vector detection unit 23, which includes the memory 21, the defect position memory 22, and the defective pixel replacement unit 24 and is necessary for the defective pixel correction unit 14 in the first embodiment shown in FIG.
また、第1のフレームの欠陥の位置に基づいてCCDエリアセンサ11又はレンズ10の少なくとも一方を移動させれば、第1のフレームと第2のフレームの2フレーム間で画像のずれが必ず生じるように制御できるので、同一シーンを異なるタイミングで撮影した2つのフレームのみで欠陥画素を補正することができる。なお、CCDエリアセンサ又はレンズの少なくとも一方の移動量は、移動前の第1のフレームにおける欠陥画素位置に基づいて設定するのが好ましい。   Further, if at least one of the CCD area sensor 11 or the lens 10 is moved based on the position of the defect in the first frame, an image shift between the first frame and the second frame is necessarily generated. Therefore, defective pixels can be corrected only with two frames obtained by photographing the same scene at different timings. Note that the movement amount of at least one of the CCD area sensor or the lens is preferably set based on the defective pixel position in the first frame before the movement.
本発明に係る欠陥画素補正装置の実施例1を適用した撮像装置の概略構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of an imaging apparatus to which a defective pixel correction apparatus according to a first embodiment of the present invention is applied. 図1に示した実施例1における欠陥画素補正部の構成を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration of a defective pixel correction unit according to the first exemplary embodiment illustrated in FIG. 1. 図2に示した欠陥画素補正部の動作を説明するための説明図である。FIG. 3 is an explanatory diagram for explaining an operation of the defective pixel correction unit illustrated in FIG. 2. 図2に示した欠陥画素補正部の動作を更に詳細に説明するための説明図である。FIG. 3 is an explanatory diagram for explaining the operation of the defective pixel correction unit shown in FIG. 2 in more detail. カラーCCDエリアセンサを用いた実施例2における欠陥画素補正部の動作を説明するための説明図である。It is explanatory drawing for demonstrating operation | movement of the defective pixel correction | amendment part in Example 2 using a color CCD area sensor. 本発明の実施例3に係る欠陥画素補正装置を適用した撮像装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the imaging device to which the defective pixel correction apparatus which concerns on Example 3 of this invention is applied. 図6に示した実施例3における欠陥画素補正部の構成を示すブロック図である。It is a block diagram which shows the structure of the defective pixel correction | amendment part in Example 3 shown in FIG.
符号の説明Explanation of symbols
10 レンズ
11 CCDエリアセンサ
12 プリプロセス回路
13 A/D変換回路
14 欠陥画素補正部
15 画像信号処理部
16 移動駆動手段
17 CPU
21 入力画像メモリ
22 欠陥位置メモリ
23 ずれベクトル検出部
24 欠陥画素置換部
10 lenses
11 CCD area sensor
12 Preprocess circuit
13 A / D converter circuit
14 Defective pixel correction unit
15 Image signal processor
16 Movement drive means
17 CPU
21 Input image memory
22 Defect location memory
23 Deviation vector detector
24 Defective pixel replacement

Claims (6)

  1. 欠陥画素を有する固体撮像素子から読み出した画像データに含まれる欠陥画素データを補正する欠陥画素補正装置において、前記固体撮像素子を用いて同一シーンを異なるタイミングで撮影した複数フレームの画像データを記憶する記憶手段と、該記憶手段に記憶した複数フレームの画像データの中の任意に選択した第1及び第2の2フレーム間の画像のずれベクトルを検出するずれベクトル検出手段と、該ずれベクトル検出手段で検出したずれベクトルに基づいて前記第1のフレームの欠陥画素データを前記第2のフレームの画素データで置換する欠陥画素置換手段とを具備することを特徴とする欠陥画素補正装置。   In a defective pixel correction apparatus that corrects defective pixel data included in image data read from a solid-state imaging device having defective pixels, image data of a plurality of frames obtained by capturing the same scene at different timings using the solid-state imaging device is stored. Storage means, shift vector detection means for detecting a shift vector of an image between arbitrarily selected first and second frames in a plurality of frames of image data stored in the storage means, and the shift vector detection means A defective pixel correction device comprising: defective pixel replacement means for replacing defective pixel data of the first frame with pixel data of the second frame based on the shift vector detected in step (b).
  2. 前記ずれベクトル検出手段は、選択した第1のフレーム及び第2のフレームにおいて、ずれベクトルが0の場合は、選択した前記第2のフレーム以外の他のフレームを第2のフレームとして選択し、ずれベクトルを検出することを特徴とする請求項1に係る欠陥画素補正装置。   The shift vector detecting means selects a frame other than the selected second frame as the second frame when the shift vector is 0 in the selected first frame and second frame, and shifts the shift vector. 2. The defective pixel correction apparatus according to claim 1, wherein a vector is detected.
  3. 前記固体撮像素子は、その受光面に、基本色ブロックが2×2画素単位で繰り返し配列された色フィルタが貼付されていることを特徴とする請求項1に係る欠陥画素補正装置。   2. The defective pixel correction apparatus according to claim 1, wherein the solid-state image pickup device has a color filter in which basic color blocks are repeatedly arranged in units of 2 × 2 pixels attached to a light receiving surface thereof.
  4. 前記欠陥画素置換手段は、前記ずれベクトル検出手段で検出されたずれベクトルのX軸及びY軸方向について、ずれ量が画素単位でともに偶数の場合は、第2のフレームにおける第1のフレームの欠陥画素位置の画像に対応する画像の画素データを第1のフレームの欠陥画素データと置換し、いずれか一方のずれ量が画素単位で奇数の場合は、第2のフレームにおける第1のフレームの欠陥画素位置の画像に対応する画像に近接する第1のフレームの欠陥画素と同色の画素データを第1のフレームの欠陥画素データと置換することを特徴とする請求項3に係る欠陥画素補正装置。   The defective pixel replacement unit detects a defect of the first frame in the second frame when the amount of shift is an even number in pixel units with respect to the X-axis and Y-axis directions of the shift vector detected by the shift vector detection unit. When the pixel data of the image corresponding to the image at the pixel position is replaced with the defective pixel data of the first frame, and the displacement amount of either one is an odd number per pixel, the defect of the first frame in the second frame 4. The defective pixel correction apparatus according to claim 3, wherein pixel data having the same color as defective pixels in the first frame adjacent to an image corresponding to the image at the pixel position is replaced with defective pixel data in the first frame.
  5. 欠陥画素を有する固体撮像素子から読み出した画像データに含まれる欠陥画素データを補正する欠陥画素補正装置において、前記固体撮像素子又は該固体撮像素子の前方に配置したレンズの少なくとも一方を所定量移動させる移動駆動手段と、該移動駆動手段で前記固体撮像素子又は前記レンズの少なくとも一方を所定量移動させ、該所定量移動の前後において前記固体撮像素子を用いて同一シーンを撮影して得られた第1及び第2の2フレームの画像データを記憶する記憶手段と、前記移動駆動手段による前記所定量移動による前記2フレーム間のずれベクトルに基づいて前記記憶手段に記憶した第1のフレームの欠陥画素データを第2のフレームの画素データで置換する欠陥画素置換手段とを備えていることを特徴とする欠陥画素補正装置。   In a defective pixel correction apparatus that corrects defective pixel data included in image data read from a solid-state imaging device having defective pixels, at least one of the solid-state imaging device or a lens disposed in front of the solid-state imaging device is moved by a predetermined amount. A movement driving means, and at least one of the solid-state imaging element or the lens is moved by a predetermined amount by the movement driving means, and a first scene obtained by photographing the same scene using the solid-state imaging element before and after the movement by the predetermined amount. Storage means for storing image data of the first and second frames, and defective pixels of the first frame stored in the storage means based on a shift vector between the two frames due to the predetermined amount of movement by the movement driving means A defective pixel correction device comprising: defective pixel replacement means for replacing data with pixel data of the second frame .
  6. 前記移動駆動手段は、第1のフレームの欠陥画素位置に基づいて前記固体撮像素子又はレンズの少なくとも一方を所定量移動させることを特徴とする請求項5に係る欠陥画素補正装置。   6. The defective pixel correction apparatus according to claim 5, wherein the movement driving unit moves at least one of the solid-state imaging device or the lens by a predetermined amount based on the defective pixel position of the first frame.
JP2004011508A 2004-01-20 2004-01-20 Correction apparatus for defective pixel Pending JP2005210164A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004011508A JP2005210164A (en) 2004-01-20 2004-01-20 Correction apparatus for defective pixel

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004011508A JP2005210164A (en) 2004-01-20 2004-01-20 Correction apparatus for defective pixel

Publications (2)

Publication Number Publication Date
JP2005210164A true JP2005210164A (en) 2005-08-04
JP2005210164A5 JP2005210164A5 (en) 2007-03-01

Family

ID=34898177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004011508A Pending JP2005210164A (en) 2004-01-20 2004-01-20 Correction apparatus for defective pixel

Country Status (1)

Country Link
JP (1) JP2005210164A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009031585A1 (en) * 2007-09-05 2009-03-12 Hamamatsu Photonics K. K. Solid-state imaging device
US8149305B2 (en) 2007-03-27 2012-04-03 Samsung Electronics Co., Ltd. Method and apparatus to detect a dead pixel of an image sensor and method and apparatus to capture an image from an image sensor
US8547464B2 (en) 2008-01-24 2013-10-01 Hamamatsu Photonics K.K. Solid-state imaging device and frame data correcting method which determine a voltage value corresponding to a pixel portion in frame data
US8625741B2 (en) 2008-07-17 2014-01-07 Hamamatsu Photonics K.K. Solid-state image pickup device
JP2014518469A (en) * 2011-06-15 2014-07-28 マイクロソフト コーポレーション High resolution multispectral image capture
CN108426640A (en) * 2018-02-28 2018-08-21 北京理工大学 A kind of bearing calibration for infrared detector defect pixel

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8149305B2 (en) 2007-03-27 2012-04-03 Samsung Electronics Co., Ltd. Method and apparatus to detect a dead pixel of an image sensor and method and apparatus to capture an image from an image sensor
WO2009031585A1 (en) * 2007-09-05 2009-03-12 Hamamatsu Photonics K. K. Solid-state imaging device
JP2009065375A (en) * 2007-09-05 2009-03-26 Hamamatsu Photonics Kk Solid-state imaging apparatus
US8189084B2 (en) 2007-09-05 2012-05-29 Hamamatsu Photonics K.K. Solid state imaging device
US8547464B2 (en) 2008-01-24 2013-10-01 Hamamatsu Photonics K.K. Solid-state imaging device and frame data correcting method which determine a voltage value corresponding to a pixel portion in frame data
US8625741B2 (en) 2008-07-17 2014-01-07 Hamamatsu Photonics K.K. Solid-state image pickup device
JP2014518469A (en) * 2011-06-15 2014-07-28 マイクロソフト コーポレーション High resolution multispectral image capture
US9635274B2 (en) 2011-06-15 2017-04-25 Microsoft Technology Licensing, Llc High resolution multispectral image capture
KR101824290B1 (en) * 2011-06-15 2018-01-31 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 High resolution multispectral image capture
US9992457B2 (en) 2011-06-15 2018-06-05 Microsoft Technology Licensing, Llc High resolution multispectral image capture
CN108426640A (en) * 2018-02-28 2018-08-21 北京理工大学 A kind of bearing calibration for infrared detector defect pixel

Similar Documents

Publication Publication Date Title
JP5740465B2 (en) Imaging apparatus and defective pixel correction method
JP5744263B2 (en) Imaging apparatus and focus control method thereof
JP2005064697A (en) Imaging device and imaging method
US9065988B2 (en) Image pickup apparatus including image pickup element having image pickup pixel and focus detection pixel and signal processing method
JP2004320128A (en) Defective pixel correction device
JP6027777B2 (en) Pixel information management device and imaging device using the same
JP5608820B2 (en) Imaging apparatus and focus control method
JP2005210164A (en) Correction apparatus for defective pixel
JP2015049402A (en) Defocus-amount detection device, and control method of the same, and imaging device
CN102870402B (en) Imaging device and formation method
JP2013165485A (en) Image processing apparatus, image capturing apparatus, and computer program
JP2013165483A (en) Image processing apparatus, image capturing apparatus, and computer program
JP2005244440A (en) Imaging apparatus, and imaging method
JP2009296174A (en) Imaging apparatus and correction method
JP2005210164A5 (en)
JP4270947B2 (en) Imaging device with image distortion correction function
JPWO2012147337A1 (en) Flicker detection apparatus, flicker detection method, and flicker detection program
JP2007049266A (en) Picture imaging apparatus
JP2009021985A (en) Imaging apparatus, and driving method of imaging apparatus
JP5446955B2 (en) Imaging device
JP2007312076A (en) Noise reducing device for image data and control method thereof
JP4985124B2 (en) Image processing apparatus, image processing method, and image processing program
JP2007306506A (en) Imaging apparatus
JP6336341B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP2011101158A (en) Imaging apparatus

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090721

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091124