JP2012080468A - Defective pixel information generation device and constitution method of defective pixel information - Google Patents

Defective pixel information generation device and constitution method of defective pixel information Download PDF

Info

Publication number
JP2012080468A
JP2012080468A JP2010226058A JP2010226058A JP2012080468A JP 2012080468 A JP2012080468 A JP 2012080468A JP 2010226058 A JP2010226058 A JP 2010226058A JP 2010226058 A JP2010226058 A JP 2010226058A JP 2012080468 A JP2012080468 A JP 2012080468A
Authority
JP
Japan
Prior art keywords
defective pixel
pixel
information
defective
pixel information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010226058A
Other languages
Japanese (ja)
Other versions
JP5567972B2 (en
JP2012080468A5 (en
Inventor
Daisuke Wakamiya
大輔 若宮
Takeshi Ogawa
武志 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010226058A priority Critical patent/JP5567972B2/en
Publication of JP2012080468A publication Critical patent/JP2012080468A/en
Publication of JP2012080468A5 publication Critical patent/JP2012080468A5/en
Application granted granted Critical
Publication of JP5567972B2 publication Critical patent/JP5567972B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To generate defective pixel information having a small data amount for which addition and updating are easily performed.SOLUTION: In a readout order of pixels on an imaging element, a periodic number is allocated to a pixel so as to at least be different from the number of an adjacent pixel. Then, when a pixel on the imaging element is detected to be a defective pixel, the number allocated to the detected defective pixel is added to defective pixel information as information indicating the position of the pixel. Also, when defective pixels are not detected until the next allocation of the same number as the number allocated to the pixel detected to be a defective pixel, with information indicating that a pixel to which the same number or a number allocated earlier than the same number is allocated is not a defective pixel, the number is added to the defective pixel information.

Description

本発明は、撮像素子上の欠陥画素に起因する画像の画質劣化を補正する技術に関する。   The present invention relates to a technique for correcting image quality deterioration of an image caused by defective pixels on an image sensor.

一般に、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等の半導体で形成される撮像素子には、半導体の局所的な結晶欠陥等が生じた、所謂欠陥画素が含まれていることがある。欠陥画素を有する撮像素子を用いて撮像を行った場合、欠陥画素からは正常な画像信号が出力されず、出力された画像の画質劣化の要因となる。   In general, an image sensor formed of a semiconductor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor includes a so-called defective pixel in which a local crystal defect of the semiconductor has occurred. There is. When imaging is performed using an imaging element having defective pixels, a normal image signal is not output from the defective pixels, which causes deterioration in image quality of the output image.

このような欠陥画素に起因する画像の画質劣化を低減させるための方法として、欠陥画素から出力された画像信号について、周囲の画素から出力された画像信号を用いた補正処理を行う方法が知られている。この場合、欠陥画素に起因する画像の画質劣化を補正するためには、欠陥画素の位置の情報を予め撮像装置の内部メモリ等に格納しておく必要がある。   As a method for reducing image quality degradation due to such defective pixels, a method of performing correction processing using image signals output from surrounding pixels is known for image signals output from defective pixels. ing. In this case, in order to correct the image quality deterioration of the image caused by the defective pixel, it is necessary to store information on the position of the defective pixel in advance in the internal memory of the imaging apparatus.

しかしながら、近年の撮像素子の画素密度が拡大すると、撮像素子の画素ごとに欠陥画素であるか否かを示す情報を記憶する方法ではデータ量が増大して回路構成が大型化してしまう。また、例えば撮像素子の温度等によっても欠陥画素の状態が変化するため、様々な撮像素子の状態に対応する欠陥画素の情報を格納しておく必要があり、欠陥画素情報のデータ量はさらに増大する。   However, when the pixel density of an image sensor in recent years increases, the method of storing information indicating whether each pixel of the image sensor is a defective pixel increases the amount of data and increases the circuit configuration. In addition, since the state of the defective pixel changes depending on the temperature of the image sensor, for example, it is necessary to store information on the defective pixel corresponding to various states of the image sensor, and the data amount of the defective pixel information further increases. To do.

特許文献1には、撮像素子の画素に対してアドレスを設定し、任意の欠陥画素から次の欠陥画素までの相対アドレスを用いて欠陥画素の位置を表すことにより、欠陥画素情報のデータ量を低減する技術が開示されている。また特許文献1には、相対アドレスに最大値を設定し、欠陥画素間の相対アドレスが最大値を越えないように、ダミーの欠陥画素の情報を挿入することにより、欠陥画素情報のデータ量を低減することについても開示されている。   In Patent Document 1, an address is set for a pixel of an image sensor, and the position of the defective pixel is expressed using a relative address from an arbitrary defective pixel to the next defective pixel, thereby reducing the data amount of defective pixel information. Techniques for reducing are disclosed. Further, in Patent Document 1, a maximum value is set for the relative address, and dummy defective pixel information is inserted so that the relative address between defective pixels does not exceed the maximum value. Reduction is also disclosed.

特開平1−103376号公報JP-A-1-103376

上述したような欠陥画素情報は、例えばデジタルカメラ等の撮像装置の出荷前に撮像素子の欠陥画素を検出して、内部メモリに記憶される。しかしながら、撮像素子の経年変化等によって新たな欠陥画素が生じたり、出荷時に検出されていた欠陥画素の度合い(傷レベル)がより悪化することがある。   The defective pixel information as described above is detected in the internal memory by detecting defective pixels of the image sensor before shipment of the imaging device such as a digital camera. However, a new defective pixel may be generated due to aging of the image sensor or the like, and the degree (scratch level) of the defective pixel detected at the time of shipment may be further deteriorated.

このように、撮像素子上の欠陥画素の分布に変化があった場合、出荷前に記憶された欠陥画素情報を用いて画像における欠陥画素の画質劣化を補正を行ったとしても、適正な補正を行うことはできない。即ち、出力された画像内には、出荷後に生じた欠陥画素によって欠落画素が含まれてしまったり、欠陥画素の傷レベルに対応しない補正を行うことにより不自然な画素が生じてしまう。   In this way, when there is a change in the distribution of defective pixels on the image sensor, even if the image quality deterioration of the defective pixels in the image is corrected using the defective pixel information stored before shipment, proper correction is performed. Can't do it. In other words, in the output image, missing pixels are included due to defective pixels generated after shipment, or unnatural pixels are generated by performing correction not corresponding to the scratch level of the defective pixels.

このため、欠陥画素の分布の変化にも対応可能なように、出荷後も欠陥画素を検出して欠陥画素情報を更新する必要がある。しかしながら、特許文献1のように欠陥画素間の相対アドレスを用いて欠陥画素情報が構成されている場合、例えば新たに欠陥画素情報が追加された場合に、他の欠陥画素の相対アドレスも変更する必要があり、処理時間が増大してしまう。   For this reason, it is necessary to detect defective pixels and update defective pixel information after shipment so as to cope with a change in distribution of defective pixels. However, when defective pixel information is configured using relative addresses between defective pixels as in Patent Document 1, for example, when new defective pixel information is added, the relative addresses of other defective pixels are also changed. It is necessary and processing time increases.

本発明は、上述の問題点に鑑みてなされたものであり、データ量が少なく、かつ追加及び更新が容易な欠陥画素情報を生成することを目的とする。   The present invention has been made in view of the above-described problems, and an object of the present invention is to generate defective pixel information that has a small amount of data and can be easily added and updated.

前述の目的を達成するために、本発明の欠陥画素情報の構成方法は、以下の構成を備える。
撮像素子上の欠陥画素の位置を示す欠陥画素情報の構成方法であって、計数手段が、撮像素子上の画素の読み出し順に、画素に対して周期的な番号を割り振る計数工程と、検出手段が、撮像素子上の画素それぞれについて欠陥画素であるか否かを検出する検出工程と、格納手段が、検出工程において欠陥画素であると検出された画素について、計数工程において割り振られた番号を記憶手段に記憶されている欠陥画素情報に追加する格納工程と、を備え、格納工程において格納手段は、欠陥画素であると検出された画素に割り振られた番号から次に同じ番号が割り振られるまでに、検出工程において検出された欠陥画素が存在しない場合は、同じ番号、あるいは、同じ番号よりも前に割り振られた番号を、当該番号が割り振られた画素が欠陥画素ではないことを示す情報とともに欠陥画素情報に追加することを特徴とする。
In order to achieve the above-described object, the defective pixel information configuration method of the present invention has the following configuration.
A method for constructing defective pixel information indicating a position of a defective pixel on an image sensor, wherein the counting means assigns a periodic number to the pixels in the readout order of the pixels on the image sensor, and the detection means A detecting step for detecting whether or not each pixel on the image sensor is a defective pixel, and a storage means for storing a number assigned in the counting step for a pixel detected as a defective pixel in the detecting step A storage step of adding to the defective pixel information stored in the storage step, and in the storage step, the storage means until the next same number is assigned from the number assigned to the pixel detected as a defective pixel. If there is no defective pixel detected in the detection process, use the same number or a number assigned before the same number, and the pixel to which that number is assigned is defective. Characterized by adding to the defective pixel information together with information indicating that it is not a prime.

このような構成により本発明によれば、データ量が少なく、かつ追加及び更新が容易な欠陥画素情報を生成することを可能とする。   With this configuration, according to the present invention, it is possible to generate defective pixel information that has a small amount of data and can be easily added and updated.

本発明の実施形態に係るデジタルカメラの機能構成を示すブロック図。1 is a block diagram showing a functional configuration of a digital camera according to an embodiment of the present invention. 実施形態に係る欠陥画素情報の1つの画素の情報のデータ構造を示す図。The figure which shows the data structure of the information of one pixel of the defective pixel information which concerns on embodiment. 実施形態に係る撮像素子上の欠陥画素の分布例を示す図。FIG. 5 is a view showing an example of distribution of defective pixels on the image sensor according to the embodiment. 実施形態に係る撮像素子上の画素の位置とカウントの対応を示した図。The figure which showed the response | compatibility of the position of the pixel on the image sensor which concerns on embodiment, and a count. 実施形態に係る欠陥画素情報生成処理のフローチャート。9 is a flowchart of defective pixel information generation processing according to the embodiment. 実施形態に係る欠陥画素情報を説明するための図。The figure for demonstrating the defective pixel information which concerns on embodiment. 実施形態に係る追加される欠陥画素情報を示した図。The figure which showed the defective pixel information added which concerns on embodiment. 実施形態に係る欠陥画素情報統合処理のフローチャート。6 is a flowchart of defective pixel information integration processing according to the embodiment. 実施形態に係る統合された欠陥画素情報を示した図。The figure which showed the integrated defective pixel information which concerns on embodiment.

以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、欠陥画素情報生成装置の一例として、撮像素子を備えるデジタルカメラにおいて、本発明を適用した例を説明する。しかし、本発明は、撮像素子を有し、当該撮像素子に含まれる欠陥画素を検出することが可能な任意の機器、及び撮像素子を有する機器と接続して欠陥画素の検出が可能な任意の機器に適用可能である。   Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the drawings. In addition, one Embodiment described below demonstrates the example which applied this invention in the digital camera provided with an image pick-up element as an example of a defective pixel information generation apparatus. However, the present invention has an image pickup device, can detect a defective pixel included in the image pickup device, and can connect with a device having the image pickup device to detect a defective pixel. Applicable to equipment.

図1は、本発明の実施形態に係るデジタルカメラ100の機能構成を示すブロック図である。
制御部101は、例えばマイクロプロセッサであり、デジタルカメラ100が備える各ブロックの動作を制御する。制御部101は、例えばROM102に記憶されているデジタルカメラ100が備える各ブロックの動作プラグラムを読み出し、RAM103に展開して実行することにより、デジタルカメラ100が備える各ブロックの動作を制御する。なお、本実施形態ではデジタルカメラ100が備える各ブロックの動作を当該ブロックの動作プログラムにより制御するものとして説明するが、本発明の実施はこれに限らず、各ブロックは当該動作プログラムと同様の処理を行う回路で構成されてもよい。
FIG. 1 is a block diagram showing a functional configuration of a digital camera 100 according to an embodiment of the present invention.
The control unit 101 is, for example, a microprocessor, and controls the operation of each block included in the digital camera 100. For example, the control unit 101 reads out an operation program of each block included in the digital camera 100 stored in the ROM 102, develops it in the RAM 103, and executes it to control the operation of each block included in the digital camera 100. In this embodiment, the operation of each block included in the digital camera 100 is described as being controlled by the operation program of the block. However, the present invention is not limited to this, and each block is processed in the same manner as the operation program. It may be composed of a circuit that performs the above.

ROM102は、例えばフラッシュメモリ等の書き換え可能な不揮発性メモリであり、デジタルカメラ100が備える各ブロックの動作プログラムに加え、欠陥画素情報や欠陥画素により生じる画質劣化を補正するための信号補間方法等の情報が格納される。RAM103は、書き換え可能な揮発性メモリであり、デジタルカメラ100が備える各ブロックの動作において必要なパラメータや設定等を一時的に格納する領域として用いられる。   The ROM 102 is a rewritable non-volatile memory such as a flash memory, for example, in addition to an operation program for each block provided in the digital camera 100, such as a signal interpolation method for correcting defective pixel information and image quality degradation caused by the defective pixel. Information is stored. The RAM 103 is a rewritable volatile memory, and is used as an area for temporarily storing parameters and settings necessary for the operation of each block included in the digital camera 100.

撮像部105は、例えばCCDやCMOSセンサ等で構成される撮像素子であり、光学系104により撮像素子上に結像された光学像を光電変換して得られたアナログ画像信号を、撮像素子上の画素の読み出し順に読み出して、撮像信号処理部106に出力する。   The imaging unit 105 is an imaging element configured by, for example, a CCD or a CMOS sensor, and an analog image signal obtained by photoelectrically converting an optical image formed on the imaging element by the optical system 104 is displayed on the imaging element. Are read out in the order in which the pixels are read out and output to the imaging signal processing unit 106.

撮像信号処理部106は撮像部105より入力されたアナログ画像信号に対し、信号の増幅、A/D変換等の処理を行うことにより、デジタル画像データを出力する。また、撮像信号処理部106は後述する欠陥画素検出部111及び欠陥補正部112を備える。欠陥画素検出部111は、撮像部105から出力された撮像素子上の画素ごとのアナログ画像信号から、欠陥画素を検出する。欠陥画素の検出方法は、公知の方法を用いればよく、本明細書では説明を省略する。   The imaging signal processing unit 106 outputs digital image data by performing processing such as signal amplification and A / D conversion on the analog image signal input from the imaging unit 105. Further, the imaging signal processing unit 106 includes a defective pixel detection unit 111 and a defect correction unit 112 which will be described later. The defective pixel detection unit 111 detects a defective pixel from the analog image signal for each pixel on the image sensor output from the imaging unit 105. A known method may be used as the defective pixel detection method, and the description thereof is omitted in this specification.

検出された欠陥画素の情報は、欠陥画素情報として例えばROM102に記憶される。欠陥補正部112は、欠陥画素検出部111で検出されROM102に記憶された欠陥画素情報に従って、入力されたアナログ画像信号のうちの欠陥画素から出力された信号を補正する。なお、欠陥画素から出力された信号の補正については、欠陥画素の分布が変更ないと判断される場合は、例えば欠陥画素情報から生成されてROM102に記憶されている、欠陥画素により生じる画質劣化を補正するための信号補間方法等を用いて補正を行ってもよい。   Information on the detected defective pixel is stored in the ROM 102 as defective pixel information, for example. The defect correction unit 112 corrects a signal output from the defective pixel in the input analog image signal according to the defective pixel information detected by the defective pixel detection unit 111 and stored in the ROM 102. As for correction of the signal output from the defective pixel, if it is determined that the distribution of the defective pixel is not changed, for example, image quality degradation caused by the defective pixel generated from the defective pixel information and stored in the ROM 102 is corrected. The correction may be performed by using a signal interpolation method for correction.

画像処理部107は、撮像信号処理部106から入力されたデジタル画像データに対し、各種画像処理及び符号化処理等を実行し、記録媒体109に出力する。記録媒体109は、例えばデジタルカメラ100が備える内蔵メモリや、デジタルカメラ100に着脱可能に接続されるメモリカードやHDD等の記録装置であってよく、入力されたデジタル画像データを記録する。   The image processing unit 107 performs various types of image processing, encoding processing, and the like on the digital image data input from the imaging signal processing unit 106 and outputs the result to the recording medium 109. The recording medium 109 may be, for example, a built-in memory included in the digital camera 100 or a recording device such as a memory card or HDD that is detachably connected to the digital camera 100 and records input digital image data.

画素カウンタ108は、本実施形態において、撮像素子上の画素を、画素の読み出し順にカウントする計数手段である。画素カウンタ108は例えば16ビットのカウントであり、本実施形態では欠陥画素情報における欠陥画素の位置を示すための情報として、画素カウンタ108のカウントのうち、下位4ビットをROM102に格納する。なお、欠陥画素情報における欠陥画素の位置を示すための情報は、本実施形態のようにカウントの下位の情報を抽出して用いる方法でなくてもよい。即ち、本発明において欠陥画素情報における欠陥画素の位置の情報は、少なくとも隣り合う画素と異なる値となるような、周期的に割り振られる番号(カウント)であればよい。   In this embodiment, the pixel counter 108 is a counting unit that counts the pixels on the image sensor in the pixel reading order. The pixel counter 108 is, for example, a 16-bit count. In this embodiment, the lower 4 bits of the count of the pixel counter 108 are stored in the ROM 102 as information for indicating the position of the defective pixel in the defective pixel information. Note that the information for indicating the position of the defective pixel in the defective pixel information may not be a method of extracting and using information at a lower level of the count as in the present embodiment. That is, in the present invention, the information on the position of the defective pixel in the defective pixel information may be a number (count) that is periodically assigned so as to have a value different from at least adjacent pixels.

(欠陥画素情報の構成)
以下、撮像素子上の欠陥画素の位置を示す欠陥画素情報の構成について、図を用いて詳細に説明する。
図2は、本実施形態における1つの欠陥画素に関する欠陥画素情報の構成を示している。図示されているように1つの欠陥画素に関する欠陥画素情報は、上位4ビットが欠陥画素の傷レベルを示す情報、下位4ビットが欠陥画素の位置を示すための情報で構成され、データ量は1バイトに収まるように構成されている。
(Configuration of defective pixel information)
Hereinafter, the configuration of the defective pixel information indicating the position of the defective pixel on the image sensor will be described in detail with reference to the drawings.
FIG. 2 shows a configuration of defective pixel information regarding one defective pixel in the present embodiment. As shown in the figure, the defective pixel information relating to one defective pixel is composed of information in which the upper 4 bits indicate the defect level of the defective pixel, and the lower 4 bits indicate information indicating the position of the defective pixel. Configured to fit in bytes.

例えば撮像素子が図3のように12×8の画素で構成され、図において斜線で示されるように、欠陥画素検出部111により検出された欠陥画素が分布している場合について、欠陥画素情報を構成する方法について説明する。撮像素子からの出力信号は、撮像部105により例えば撮像素子の行ごとの左端から右方向に、最上行から最下行まで読み出されて撮像信号処理部106に出力される。なお、本発明は、撮像素子に通常設定されている読み出し順で、画素カウンタ108によりカウントされた値を各画素の位置を示す情報として付すため、撮像素子の各画素で光電変換された電荷の走査方式(読み出し順)は、上述の方式に限定されない。   For example, in the case where the imaging element is configured by 12 × 8 pixels as shown in FIG. 3 and the defective pixels detected by the defective pixel detection unit 111 are distributed as shown by diagonal lines in the drawing, the defective pixel information is obtained. A configuration method will be described. An output signal from the image sensor is read from the uppermost row to the lowermost row by the image capturing unit 105, for example, from the left end to the right direction for each row of the image sensor, and is output to the image signal processing unit 106. Note that in the present invention, the value counted by the pixel counter 108 is attached as information indicating the position of each pixel in the readout order normally set in the image sensor, so that the charge photoelectrically converted by each pixel of the image sensor is added. The scanning method (reading order) is not limited to the method described above.

制御部101は撮像信号処理部106に、入力されたアナログ画像信号について、欠陥画素検出部111で画素ごとに欠陥画素であるか否か、または欠陥画素の傷レベルを検出させる。また同時に制御部101は、画素カウンタ108のカウントをリセットし、読み出し開始画素からカウントを開始させる。即ち、撮像部105から入力されたアナログ画像信号は、画素ごとに画素カウンタ108によりカウントが行われ、かつ当該画素が欠陥画素であるか否か、または欠陥画素の傷レベルを欠陥画素検出部111により判断する。   The control unit 101 causes the imaging signal processing unit 106 to detect whether or not the input analog image signal is a defective pixel for each pixel by the defective pixel detection unit 111, or the defect level of the defective pixel. At the same time, the control unit 101 resets the count of the pixel counter 108 and starts counting from the readout start pixel. That is, the analog image signal input from the imaging unit 105 is counted by the pixel counter 108 for each pixel, and whether the pixel is a defective pixel or the defect level of the defective pixel is determined by the defective pixel detection unit 111. Judgment by.

図4は、図3に示した撮像素子の全画素について、画素カウンタ108により割り当てられたカウント値、及び欠陥画素であるか否かの情報を示している。なお、図4の各画素の座標の情報は、図3の撮像素子の左上を原点(x,y)=(0,0)として示している。制御部101は、このように撮像素子の全画素についてカウント値を付し、かつ欠陥画素であるか否かを判断しながら欠陥画素情報を構成する。なお、欠陥画素であるか否かの情報は1ビットの情報として構成してもよいし、欠陥画素の傷レベルが最小レベルであるか否かにより表される構成であってもよい。   FIG. 4 shows the count value assigned by the pixel counter 108 and information on whether or not it is a defective pixel for all the pixels of the image sensor shown in FIG. Note that the coordinate information of each pixel in FIG. 4 indicates the upper left of the image sensor in FIG. 3 as the origin (x, y) = (0, 0). In this way, the control unit 101 assigns count values to all the pixels of the image sensor, and configures defective pixel information while determining whether or not the pixel is a defective pixel. The information indicating whether or not the pixel is a defective pixel may be configured as 1-bit information, or may be configured based on whether or not the defect level of the defective pixel is the minimum level.

(欠陥画素情報生成処理)
以下、本実施形態の欠陥画素情報生成処理について、図5のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部101が、例えばROM102に記憶されている対応する処理プログラムを読み出し、RAM103に展開して実行することにより実現することができる。なお、本欠陥画素情報生成処理は、出荷前、または例えばユーザがデジタルカメラ100の電源をOFFにする際に、シャッタをあけずに露光が行われて開始されるものとして説明する。
(Defective pixel information generation process)
Hereinafter, specific processing of the defective pixel information generation processing of the present embodiment will be described using the flowchart of FIG. The processing corresponding to the flowchart can be realized by the control unit 101 reading, for example, a corresponding processing program stored in the ROM 102, developing the program in the RAM 103, and executing the program. The defective pixel information generation process will be described as being started before the shipment or when the user turns off the power of the digital camera 100, for example, and exposure is performed without opening the shutter.

S501で、制御部101は、画素カウンタ108のカウントをリセットさせる。そしてS502から、制御部101は、撮像部105から撮像素子上の各画素について、欠陥画素情報に追加するか否かを判断する。   In step S501, the control unit 101 resets the count of the pixel counter 108. Then, from S502, the control unit 101 determines whether or not each pixel on the image sensor from the imaging unit 105 is added to the defective pixel information.

S502で、制御部101は、撮像素子上の全画素のアナログ画像信号の、撮像信号処理部106への出力が完了したかを判断する。具体的には、制御部101は、撮像信号処理部106から全画素のアナログ画像信号を読み込んだか否かの情報を取得することにより、撮像素子上の全画素のアナログ画像信号の出力が完了しているかを判断する。制御部101は、全画素のアナログ画像信号の出力が完了していないと判断した場合は、S503からS506までの処理を新たな対象画素のアナログ画像信号に対して実行し、出力が完了している場合はループ処理を抜けて欠陥画素情報生成処理を完了する。   In step S <b> 502, the control unit 101 determines whether output of analog image signals of all pixels on the image sensor to the image signal processing unit 106 has been completed. Specifically, the control unit 101 acquires information on whether or not the analog image signals of all the pixels have been read from the imaging signal processing unit 106, thereby completing the output of the analog image signals of all the pixels on the image sensor. Judgment is made. If the control unit 101 determines that the output of the analog image signal of all pixels has not been completed, the control unit 101 executes the processing from S503 to S506 on the analog image signal of the new target pixel, and the output is completed. If so, the loop processing is exited and the defective pixel information generation processing is completed.

S503で、制御部101は、画素カウンタ108に現在入力されているアナログ画像信号の画素(対象画素)の位置を示すための情報となる、カウントの値を増加させる。また制御部101はS504で、撮像信号処理部106に対象画素が欠陥画素であるか否かを判断させる。具体的には、制御部101は、撮像信号処理部106の欠陥画素検出部111において入力された対象画素のアナログ画像信号は欠陥画素であるか否かを検出させる。なお、本実施形態の欠陥画素情報は対象画素が欠陥画素であった場合、欠陥画素検出部111は対象画素の傷レベルを4ビットの値で出力するものとする。即ち、対象画素が欠陥画素ではないと判断された場合は、欠陥画素検出部111は欠陥画素の傷レベルを最小レベルである0として出力するものとする。制御部101は、対象画素が欠陥画素であると判断された場合は処理をS506に移し、欠陥画素ではないと判断された場合は処理をS505に移す。   In step S <b> 503, the control unit 101 increases the count value that is information for indicating the position of the pixel (target pixel) of the analog image signal currently input to the pixel counter 108. In step S504, the control unit 101 causes the imaging signal processing unit 106 to determine whether the target pixel is a defective pixel. Specifically, the control unit 101 detects whether the analog image signal of the target pixel input in the defective pixel detection unit 111 of the imaging signal processing unit 106 is a defective pixel. In the defective pixel information of the present embodiment, when the target pixel is a defective pixel, the defective pixel detection unit 111 outputs the scratch level of the target pixel as a 4-bit value. That is, if it is determined that the target pixel is not a defective pixel, the defective pixel detection unit 111 outputs the defect pixel with a scratch level of 0 as the minimum level. If it is determined that the target pixel is a defective pixel, the control unit 101 moves the process to S506. If it is determined that the target pixel is not a defective pixel, the control unit 101 moves the process to S505.

S505で、制御部101は、対象画素のカウントの値が、ROM102に記憶されている欠陥画素情報に最後に追加された画素のカウントの値と同じであるか否かを判断する。なお、欠陥画素情報は撮像素子上の欠陥画素の位置の情報をまとめた情報であり、例えば本欠陥画素情報生成処理の開始時に最小限の容量を有する新たな欠陥画素情報の領域を確保し、検出された欠陥画素の情報が追加されていくものとする。   In step S <b> 505, the control unit 101 determines whether the target pixel count value is the same as the last pixel count value added to the defective pixel information stored in the ROM 102. The defective pixel information is information that summarizes information on the position of the defective pixel on the image sensor.For example, a new defective pixel information area having a minimum capacity is secured at the start of the defective pixel information generation process. It is assumed that information on detected defective pixels is added.

本発明では欠陥画素の位置を示すために周期的に割り振られるカウントを用いるため、例えば本実施形態のように画素カウンタ108のカウントの下位4ビットを、位置を示す情報として用いる場合、同一のカウントが割り当てられる画素が16画素間隔で存在する。このため、カウントが1周する間に欠陥画素が存在しない場合、次に検出された欠陥画素の位置を一意に定義することができない。即ち、後述するS506で制御部101は、カウントが1周したことを示すダミーの欠陥画素として傷レベルが0の情報を欠陥画素情報に追加する。   Since the present invention uses a periodically assigned count to indicate the position of the defective pixel, for example, when the lower 4 bits of the count of the pixel counter 108 are used as information indicating the position as in this embodiment, the same count is used. Are assigned at intervals of 16 pixels. For this reason, when there is no defective pixel during one round of the count, the position of the next detected defective pixel cannot be uniquely defined. That is, in S <b> 506 described later, the control unit 101 adds information with a scratch level of 0 to the defective pixel information as a dummy defective pixel indicating that the count has made one round.

例えば撮像素子の読み出し順において、欠陥画素として検出された(x,y)=(7,0)の画素の次に検出される欠陥画素は(x,y)=(8,2)であるが、両欠陥画素の間は25カウントの差があいている。つまり、この場合前者の欠陥画素のあとに、当該欠陥画素と同一のカウントの値を有する(x,y)=(11,1)の画素がダミーの欠陥画素として欠陥画素情報に追加されることになる。   For example, the defective pixel detected after the pixel (x, y) = (7, 0) detected as a defective pixel in the readout order of the image sensor is (x, y) = (8, 2). There is a difference of 25 counts between the two defective pixels. That is, in this case, after the former defective pixel, a pixel of (x, y) = (11, 1) having the same count value as the defective pixel is added to the defective pixel information as a dummy defective pixel. become.

また、このように欠陥画素の位置を一意に定義することは、最初に検出される欠陥画素に対しても考慮する必要がある。本実施形態では、撮像素子の画素のうち最初に読み出される画素は、欠陥画素であるか否かに関わらず、欠陥画素情報に追加されるものとする。しかし、本発明の実施はこれに限らず、周期的なカウントの最初の1周の間に欠陥画素が存在しない場合に、当該最初の1周のカウントのうち、いずれかのカウントに対応付けられた画素の情報を欠陥画素情報に追加するようにしてもよい。   In addition, such a unique definition of the position of the defective pixel needs to be considered for the defective pixel detected first. In the present embodiment, it is assumed that the first pixel read out of the pixels of the image sensor is added to the defective pixel information regardless of whether or not it is a defective pixel. However, the implementation of the present invention is not limited to this, and when there is no defective pixel during the first round of the periodic count, it is associated with one of the counts of the first round. The pixel information may be added to the defective pixel information.

制御部101は、対象画素のカウントの値が、欠陥画素情報に最後に追加された画素のカウントの値と同じ場合は処理をS506に移し、異なる場合はループ処理を進めて処理をS502に戻す。そしてS506で、制御部101は、対象画素のカウント及び傷レベルの情報を欠陥画素情報に追加する。   If the count value of the target pixel is the same as the count value of the pixel added last to the defective pixel information, the control unit 101 moves the process to S506, and if not, advances the loop process and returns the process to S502. . In step S506, the control unit 101 adds information on the target pixel count and the scratch level to the defective pixel information.

なお、欠陥画素情報に最後に追加された画素のカウントの値と同じ値の対象画素を欠陥画素情報に追加することが望ましいが、欠陥画素情報に追加する情報は必ずしも、当該最後に追加された画素のカウントと同じ値の画素である必要はない。例えば、欠陥画素情報に最後に追加された画素のカウントが8であり、その後、対象画素のカウントの値が8となった際に、対象画素のカウントよりも少ない6や7のカウントに対応付けられた画素の情報を欠陥画素情報に追加するようにしてもよい。即ち、ダミーの欠陥画素は、周期的なカウントが1周する間に当該カウントに対応する画素において欠陥画素が存在しないことを示すため、少なくとも連続するカウントの画素を選択しない限りは、データ量を削減する効果を奏する。また、ダミー画素について、例えば周期的なカウントが1周する間に欠陥画素が存在しない場合に最後に追加されたダミー画素ではない欠陥画素のカウントの1つ前のカウントに対応する画素の情報を追加するように予め欠陥画素情報の構成を設定してもよい。なお、このように構成することによっても、上述した周期的なカウントの最初の1周の間に欠陥画素が存在しない場合の欠陥画素の位置を一意に定義することは可能となる。   It is desirable to add the target pixel having the same value as the count value of the pixel added last to the defective pixel information to the defective pixel information, but the information added to the defective pixel information is not necessarily added to the last. The pixels need not have the same value as the pixel count. For example, when the count of the pixel added last to the defective pixel information is 8, and then the value of the target pixel count is 8, it is associated with a count of 6 or 7 that is smaller than the count of the target pixel Information on the obtained pixel may be added to the defective pixel information. In other words, the dummy defective pixel indicates that there is no defective pixel in the pixel corresponding to the count during one round of the periodic count. Therefore, the amount of data is reduced unless at least consecutive count pixels are selected. There is an effect to reduce. In addition, for the dummy pixel, for example, when there is no defective pixel during one cycle of the periodic count, information on the pixel corresponding to the count immediately before the count of the defective pixel that is not the last added dummy pixel is displayed. The configuration of defective pixel information may be set in advance so as to be added. Even with this configuration, it is possible to uniquely define the position of the defective pixel when there is no defective pixel during the first round of the above-described periodic count.

このように本欠陥画素情報生成処理を実行することで、データ量を低減した欠陥画素情報を構成することができる。例えば図3に示した撮像素子については、図6(b)に示すような欠陥画素情報が生成される。図6(b)において傷レベルが0の情報はダミーの欠陥画素として追加された情報であり、当該ダミーの欠陥画素は、図6(a)に○で示されている。   By executing the defective pixel information generation process in this way, defective pixel information with a reduced data amount can be configured. For example, for the image sensor shown in FIG. 3, defective pixel information as shown in FIG. 6B is generated. In FIG. 6B, information with a scratch level of 0 is information added as a dummy defective pixel, and the dummy defective pixel is indicated by a circle in FIG. 6A.

(欠陥画素情報の追加及び更新)
デジタルカメラ100の出荷後に、撮像素子における欠陥画素の分布や欠陥画素の傷レベルに変化が生じた場合、適切に欠陥画素の情報を補正するためには、欠陥画素情報を更新する必要がある。
(Addition and update of defective pixel information)
If the distribution of defective pixels in the image sensor or the flaw level of the defective pixels changes after the digital camera 100 is shipped, it is necessary to update the defective pixel information in order to appropriately correct the defective pixel information.

例えば、上述したようにユーザがデジタルカメラ100の電源をOFFにする際に制御部101が欠陥画素情報生成処理を行った際に、既知ではない欠陥画素について新たな欠陥画素情報が得られる。即ち、既に欠陥画素情報に含まれている欠陥画素については、撮像信号処理部106に撮像素子の各画素から出力されるアナログ画像信号に対し、欠陥補正部112による補正が行われる。このため、出荷後に欠陥画素検出部111によって検出される欠陥画素は、経年変化により新たに生じた欠陥画素か、既に欠陥画素情報に含まれている欠陥画素のうち傷レベルが変化(一般的には悪化)した欠陥画素ということになる。即ち、出荷後に実行された欠陥画素情報生成処理によって生成された新たな欠陥画素情報には既知の欠陥画素情報が含まれていないため、欠陥補正部112での欠陥画素の補正処理を考えると、既知の欠陥画素情報と新たな欠陥画素情報とを統合することが望ましい。   For example, as described above, when the control unit 101 performs the defective pixel information generation process when the user turns off the power of the digital camera 100, new defective pixel information is obtained for a defective pixel that is not known. That is, for the defective pixels already included in the defective pixel information, the defect correction unit 112 corrects the analog image signal output from each pixel of the imaging element to the imaging signal processing unit 106. For this reason, the defective pixel detected by the defective pixel detection unit 111 after shipment is a defective pixel newly generated due to secular change, or the defect level of the defective pixel already included in the defective pixel information is changed (generally, Is a defective pixel that has deteriorated. That is, since the new defective pixel information generated by the defective pixel information generation process executed after shipment does not include known defective pixel information, considering the defective pixel correction process in the defect correction unit 112, It is desirable to integrate known defective pixel information and new defective pixel information.

(欠陥画素情報統合処理)
以下、本実施形態の欠陥画素情報統合処理について、図8のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部101が、例えばROM102に記憶されている対応する処理プログラムを読み出し、RAM103に展開して実行することにより実現することができる。なお、本欠陥画素情報統合処理は、例えば出荷後にユーザがデジタルカメラ100の電源をOFFにする際に、シャッタをあけずに露光が行われた場合に前述の欠陥画素生成処理が実行され、当該処理の完了後に開始されるものとして説明する。しかしながら、本欠陥画素情報統合処理の実行はこれに限らず、同一の撮像素子の状態に分類される欠陥画素情報が複数存在することを制御部101が認識した際に実行されてもよい。
(Defective pixel information integration process)
Hereinafter, specific processing of the defective pixel information integration processing of the present embodiment will be described with reference to the flowchart of FIG. The processing corresponding to the flowchart can be realized by the control unit 101 reading, for example, a corresponding processing program stored in the ROM 102, developing the program in the RAM 103, and executing the program. Note that this defective pixel information integration processing is performed, for example, when the user turns off the power of the digital camera 100 after shipment and the exposure is performed without opening the shutter. The description will be made assuming that the processing is started after completion of the processing. However, the execution of the defective pixel information integration process is not limited to this, and may be executed when the control unit 101 recognizes that there are a plurality of pieces of defective pixel information classified into the same image sensor state.

なお、本欠陥画素情報統合処理では、例えば出荷前にROM102に格納された第1の欠陥画素情報と、当該処理の直前に行われた欠陥画素情報生成処理において生成されてROM102に格納された第2の欠陥画素情報とを統合するものとして以下に説明する。第1の欠陥画素情報は図6(b)に示されるような情報、第2の欠陥画素情報は図7に示されるような情報で構成されているものとする。また、図9は、これら第1の欠陥画素情報及び第2の欠陥画素情報を統合した新たな欠陥画素情報を示す。   In this defective pixel information integration process, for example, the first defective pixel information stored in the ROM 102 before shipment and the first defective pixel information generated in the defective pixel information generation process performed immediately before the processing and stored in the ROM 102 are stored. The following description will be made assuming that the two pieces of defective pixel information are integrated. It is assumed that the first defective pixel information includes information as illustrated in FIG. 6B, and the second defective pixel information includes information as illustrated in FIG. FIG. 9 shows new defective pixel information obtained by integrating the first defective pixel information and the second defective pixel information.

S801で、制御部101は、第1及び第2の欠陥画素情報のそれぞれから、撮像素子の読み出し順において先頭となる欠陥画素の、位置を示すための情報であるカウントの値を読み出す。本実施形態においては、それぞれの欠陥画素情報には欠陥画素であるか否かに関わらず、撮像素子の読み出し順において最初に読み出される画素の情報が格納されている。このため、本ステップにおいて第1及び第2の欠陥画素情報のそれぞれから読み出されるカウントの値は同一となる。   In step S <b> 801, the control unit 101 reads a count value, which is information for indicating the position of the leading defective pixel in the reading order of the image sensor, from each of the first and second defective pixel information. In the present embodiment, each piece of defective pixel information stores information of a pixel that is read first in the reading order of the image sensor regardless of whether or not the pixel is a defective pixel. For this reason, the count value read from each of the first and second defective pixel information in this step is the same.

S802で、制御部101は、第1及び第2の欠陥画素情報のそれぞれから読み出されたカウントの値に対して、ROM102に記憶されている新たな欠陥画素情報に最後に追加された画素のカウントの値を減算したそれぞれの値の大小を比較する。具体的には、制御部101は、第1の欠陥画素情報から読み出されたカウントXと第2の欠陥画素情報から読み出されたYのそれぞれから、新たな欠陥画素情報に最後に追加された画素のカウントZを減算し、X−ZとY−Zの大小を判断する。即ち、本ステップでは、第1及び第2の欠陥画素情報のそれぞれから読み出されている画素のどちらが、撮像素子の読み出し順において先に読み出される画素であるかを判断する。   In step S <b> 802, the control unit 101 detects the last pixel added to the new defective pixel information stored in the ROM 102 with respect to the count value read from each of the first and second defective pixel information. Compare the magnitude of each value after subtracting the count value. Specifically, the control unit 101 is finally added to the new defective pixel information from each of the count X read from the first defective pixel information and the Y read from the second defective pixel information. The pixel count Z is subtracted to determine the magnitude of XZ and YZ. That is, in this step, it is determined which of the pixels read from each of the first and second defective pixel information is the pixel read first in the reading order of the image sensor.

制御部101は、第1の欠陥画素情報から読み出されたカウントの値から最後に追加された画素のカウントを減算した値の方(X−Z)が小さい場合は処理をS803に移す。また、制御部101は、第2の欠陥画素情報から読み出されたカウントの値から最後に追加された画素のカウントを減算した値(Y−Z)の方が小さい場合は処理をS805に移す。また、制御部101は、両者の値が同値である場合は処理をS807に移す。   When the value (XZ) obtained by subtracting the count of the pixel added last from the count value read from the first defective pixel information is smaller, the control unit 101 moves the process to S803. In addition, when the value (YZ) obtained by subtracting the count of the last added pixel from the count value read from the second defective pixel information is smaller, the control unit 101 moves the process to S805. . If the two values are the same, the control unit 101 moves the process to S807.

なお、本ステップにおいて、新たな欠陥画素情報に最後に追加された画素のカウントを減算するが、新たな欠陥画素情報に追加された画素の情報が存在しない場合は、当該減算が必要ないことは容易に理解されよう。また、当該減算の結果が負の値が出力された場合は当該値を正の値に換算した値で比較を行うものとする。例えば本実施形態のようにカウントの値が4ビットで示される場合、計算結果も4ビットの値、即ち−3であった場合は、2−3=16−3=13と換算されるものとする。 In this step, the count of the pixel added last to the new defective pixel information is subtracted, but if there is no pixel information added to the new defective pixel information, the subtraction is not necessary. Easy to understand. When a negative value is output as a result of the subtraction, the comparison is performed using a value obtained by converting the value into a positive value. For example, when the count value is indicated by 4 bits as in the present embodiment, if the calculation result is also a 4-bit value, that is, -3, it is converted to 2 4 -3 = 16-3 = 13. And

S803で、制御部101は、第1の欠陥画素情報から読み出されたカウントに対応する画素の情報(カウント+傷レベル)を取得して、ROM102に記憶されている新たな欠陥画素情報に追加する。そしてS804で、制御部101は、第1の欠陥画素情報から当該追加した画素の次の画素のカウントの値を読み出して処理をS809に移す。   In step S <b> 803, the control unit 101 acquires pixel information (count + scratch level) corresponding to the count read from the first defective pixel information and adds it to the new defective pixel information stored in the ROM 102. To do. In step S804, the control unit 101 reads the count value of the pixel next to the added pixel from the first defective pixel information, and moves the process to step S809.

同様にS805で、制御部101は、第2の欠陥画素情報から読み出されたカウントに対応する画素の情報を取得して、ROM102に記憶されている新たな欠陥画素情報に追加する。そしてS806で、制御部101は、第2の欠陥画素情報から当該追加した画素の次の画素のカウントの値を読み出して処理をS809に移す。   Similarly, in step S <b> 805, the control unit 101 acquires pixel information corresponding to the count read from the second defective pixel information and adds it to the new defective pixel information stored in the ROM 102. In step S806, the control unit 101 reads the count value of the pixel next to the added pixel from the second defective pixel information, and moves the process to step S809.

S807で、制御部101は、第1及び第2の欠陥画素情報のそれぞれから読み出されたカウントに対応する画素の情報を読み出し、両者の傷レベルを加算することにより当該カウントの画素の情報を更新する。そして制御部101は更新された当該画素の情報を、ROM102に記憶されている新たな欠陥画素情報に追加する。そしてS808で、制御部101は、第1及び第2の欠陥画素情報のそれぞれから、当該追加した画素の次の画素のカウントの値を読み出して処理をS809に移す。   In step S <b> 807, the control unit 101 reads pixel information corresponding to the count read from each of the first and second defective pixel information, and adds the scratch levels of the two to obtain pixel information of the count. Update. Then, the control unit 101 adds the updated pixel information to new defective pixel information stored in the ROM 102. In step S808, the control unit 101 reads out the count value of the pixel next to the added pixel from each of the first and second defective pixel information, and moves the process to step S809.

S809で、制御部101は、第1及び第2の欠陥画素情報のいずれかに含まれる全て欠陥画素の情報が、新たな欠陥画素情報に追加されたかを判断する。即ち、S804、S806、及びS808のいずれかで、新たな欠陥画素情報に追加された画素の次の画素の情報を読み出そうとした場合の次の画素の情報の有無により、全ての画素の情報が追加されたか否かを判断する。制御部101は、第1及び第2の欠陥画素情報に含まれる全ての欠陥画素の情報の、新たな欠陥画素情報への追加がいずれも完了していないと判断した場合は処理をS802に戻す。また、制御部101は、第1及び第2の欠陥画素情報の少なくともいずれかに含まれる全ての欠陥画素の情報の、新たな欠陥画素情報への追加が完了していると判断した場合は処理をS810へ移す。   In step S809, the control unit 101 determines whether information on all defective pixels included in any of the first and second defective pixel information is added to the new defective pixel information. That is, in any of S804, S806, and S808, the information on the next pixel of the pixel added to the new defective pixel information is read out, and the information on all the pixels is determined depending on the presence / absence of the information on the next pixel. Determine whether information has been added. If the control unit 101 determines that none of the information on all the defective pixels included in the first and second defective pixel information has been added to the new defective pixel information, the process returns to step S802. . In addition, when the control unit 101 determines that the addition of information on all defective pixels included in at least one of the first and second defective pixel information to the new defective pixel information has been completed, the processing is performed. To S810.

S810で、制御部101は、第1及び第2の欠陥画素情報のうち、全ての欠陥画素の情報の読み出しが完了していない欠陥画素情報がいずれであるかを判断する。制御部101は、全ての欠陥画素の情報の読み出しが完了していない欠陥画素情報が第1の欠陥画素情報である場合は処理をS811に、第2の欠陥画素情報である場合は処理をS812に移す。また、制御部101は、両欠陥画素情報とも全ての欠陥画素の情報の読み出しが完了している場合は処理をS813に移す。   In step S <b> 810, the control unit 101 determines which of the first and second defective pixel information is defective pixel information for which reading of information on all defective pixels has not been completed. The control unit 101 proceeds to S811 when the defective pixel information for which reading of all defective pixel information has not been completed is the first defective pixel information, and proceeds to S812 when the defective pixel information is the second defective pixel information. Move to. In addition, when the reading of information of all defective pixels is completed for both pieces of defective pixel information, the control unit 101 moves the process to S813.

S811で、制御部101は、第1の欠陥画素情報に含まれる画素の情報のうち、まだ新たな欠陥画素情報に追加されていない情報を、当該新たな欠陥画素情報に追加する。またS812で、制御部101は、第2の欠陥画素情報に含まれる画素の情報のうち、まだ新たな欠陥画素情報に追加されていない情報を、当該新たな欠陥画素情報に追加する。   In step S811, the control unit 101 adds information that has not been added to the new defective pixel information, among the pixel information included in the first defective pixel information, to the new defective pixel information. In step S <b> 812, the control unit 101 adds information that has not been added to the new defective pixel information among the pixel information included in the second defective pixel information to the new defective pixel information.

S813で、制御部101は、ROM102から第1及び第2の欠陥画素情報を消去し、本欠陥画素情報統合処理で生成された新たな欠陥画素情報のみを保持させて、本欠陥画素情報統合処理を完了する。即ち、次から撮像されて撮像部105から出力されるアナログ画像信号については、当該処理で生成された新たな欠陥画素情報に基づいて欠陥補正部112にて補正が行われる。   In step S813, the control unit 101 deletes the first and second defective pixel information from the ROM 102, holds only the new defective pixel information generated in the defective pixel information integration process, and performs the defective pixel information integration process. To complete. That is, the analog image signal that is captured next and output from the imaging unit 105 is corrected by the defect correction unit 112 based on the new defective pixel information generated by the processing.

なお、本実施形態では、欠陥画素情報統合処理において、ダミーの欠陥画素を含む全ての画素の情報を統合するものとして説明した。しかしながら、ダミーの欠陥画素の前に新たな欠陥画素の情報が追加されることにより不必要となった当該ダミーの欠陥画素の情報は、欠陥画素情報のデータ量低減の観点から削除してもよい。   In the present embodiment, the defective pixel information integration process has been described as integrating all pixel information including dummy defective pixels. However, the information on the dummy defective pixel which becomes unnecessary by adding information on a new defective pixel before the dummy defective pixel may be deleted from the viewpoint of reducing the data amount of the defective pixel information. .

このように、本発明の欠陥画素情報の構成方法で構成された欠陥画素情報では、新たな欠陥画素が生じた場合や欠陥画素の傷のレベルに変化が生じた場合等に、既知の欠陥画素情報のアドレス情報を更新することなく欠陥画素情報を追加及び更新することができる。   As described above, in the defective pixel information configured by the defective pixel information configuration method of the present invention, when a new defective pixel is generated or a flaw level of the defective pixel is changed, a known defective pixel is detected. It is possible to add and update defective pixel information without updating the address information of the information.

(欠陥画素情報の削除)
また、ROM102は上限のある記憶領域であるため、欠陥画素情報のデータ量の増大により記憶できない状況を防ぐために、欠陥画素情報のデータ量に上限設定がなされることが考えられる。このような場合、例えば経年変化により生じた新たな欠陥画素の情報を上述の欠陥画素統合処理によって追加して得られた欠陥画素情報のデータ量が、予め定められたデータ量の上限を超える場合は、以下のように処理すればよい。即ち制御部101は、例えば欠陥画素情報に含まれる全ての欠陥画素の情報のうち、傷レベルの低い欠陥画素の情報を削除する。つまり、本発明の欠陥画素情報の構成方法で構成された欠陥画素情報では、他の欠陥画素の位置の情報を更新することなく、欠陥画素の情報の削除することができる。なお、傷レベルの低い欠陥画素が比較的近い位置に集中しており、これらの情報を削除することによりカウントが1周する間に欠陥画素が存在しなく状況が生じる場合には、上述した方法によってダミーの欠陥画素を欠陥画素情報に追加すればよい。
(Delete defective pixel information)
In addition, since the ROM 102 is a storage area with an upper limit, it is conceivable that an upper limit is set for the data amount of defective pixel information in order to prevent a situation in which data cannot be stored due to an increase in the data amount of defective pixel information. In such a case, for example, when the data amount of defective pixel information obtained by adding information on a new defective pixel caused by secular change by the above-described defective pixel integration processing exceeds a predetermined upper limit of the data amount May be processed as follows. That is, for example, the control unit 101 deletes information on defective pixels having a low scratch level from information on all defective pixels included in defective pixel information. That is, in the defective pixel information configured by the defective pixel information configuration method of the present invention, it is possible to delete the defective pixel information without updating the position information of other defective pixels. In the case where defective pixels with a low scratch level are concentrated at relatively close positions and the situation occurs when there is no defective pixel during one round of counting by deleting these pieces of information, the method described above Thus, a dummy defective pixel may be added to the defective pixel information.

以上説明したように、本発明の欠陥画素情報の構成方法を用いることにより、撮像素子上の欠陥画素の位置を示す欠陥画素情報を、データ量を少なく、かつ追加及び更新が容易なように生成することができる。具体的には、欠陥画素情報生成装置は、撮像素子上の画素の読み出し順に、少なくとも隣り合う画素と異なる番号となるように、画素に対して周期的な番号を割り振る。そして撮像素子上の画素が欠陥画素であることを検出すると、検出された欠陥画素に割り振られた番号を、当該画素の位置を示す情報として欠陥画素情報に追加する。なお、欠陥画素であると検出された画素に割り振られた番号から次に同じ番号が割り振られるまでに次の欠陥画素が検出されなかった場合は、当該同じ番号が割り振られた画素が欠陥画素ではないことを示す情報とともに、当該同じ番号を欠陥画素情報に追加する。なお、このとき欠陥画素に追加する番号は、当該同じ番号よりも前に割り振られた番号であっても構わない。   As described above, by using the defective pixel information configuration method of the present invention, defective pixel information indicating the position of the defective pixel on the image sensor is generated so that the amount of data is small and addition and updating are easy. can do. Specifically, the defective pixel information generation device assigns periodic numbers to the pixels so that the numbers are different from at least adjacent pixels in the readout order of the pixels on the image sensor. When it is detected that the pixel on the image sensor is a defective pixel, the number assigned to the detected defective pixel is added to the defective pixel information as information indicating the position of the pixel. In addition, when the next defective pixel is not detected until the next same number is assigned from the number assigned to the pixel detected as the defective pixel, the pixel assigned the same number is not a defective pixel. The same number is added to the defective pixel information together with information indicating the absence. At this time, the number added to the defective pixel may be a number assigned before the same number.

(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

Claims (4)

撮像素子上の欠陥画素の位置を示す欠陥画素情報生成装置であって、
前記撮像素子上の画素の読み出し順に、前記画素に対して周期的な番号を割り振る計数手段と、
前記撮像素子上の画素それぞれについて欠陥画素であるか否かを検出する検出手段と、
前記検出手段により欠陥画素であると検出された画素について、前記計数手段により割り振られた前記番号を記憶手段に記憶されている前記欠陥画素情報に追加する格納手段と、を備え、
前記格納手段は、前記欠陥画素であると検出された画素に割り振られた番号から次に同じ番号が割り振られるまでに、前記検出手段によって検出された欠陥画素が存在しない場合は、前記同じ番号、あるいは、前記同じ番号よりも前に割り振られた番号を、当該番号が割り振られた画素が欠陥画素ではないことを示す情報とともに前記欠陥画素情報に追加することを特徴とする欠陥画素情報生成装置。
A defective pixel information generation device indicating a position of a defective pixel on an image sensor,
Counting means for assigning periodic numbers to the pixels in the readout order of the pixels on the image sensor;
Detecting means for detecting whether each pixel on the image sensor is a defective pixel;
Storage means for adding the number assigned by the counting means to the defective pixel information stored in the storage means for the pixels detected as defective pixels by the detection means,
The storage means, when there is no defective pixel detected by the detection means until the next same number is assigned from the number assigned to the pixel detected as the defective pixel, the same number, Alternatively, a defective pixel information generating apparatus, wherein a number assigned before the same number is added to the defective pixel information together with information indicating that a pixel to which the number is assigned is not a defective pixel.
前記格納手段により番号とともに、当該番号が割り振られた欠陥画素の状態を示す情報を前記欠陥画素情報に追加するように構成されることを特徴とする請求項1に記載の欠陥画素情報生成装置。   The defective pixel information generation apparatus according to claim 1, wherein information indicating a state of a defective pixel to which the number is assigned is added to the defective pixel information together with a number by the storage unit. 前記欠陥画素の状態を示す情報が、欠陥画素の傷のレベルを示す情報を含む場合、
前記格納手段は、前記欠陥画素ではないことを示す情報として、前記欠陥画素の傷のレベルが最小レベルであることを示す情報を前記記憶手段に追加することを特徴とする請求項2に記載の欠陥画素情報生成装置。
When the information indicating the state of the defective pixel includes information indicating the level of scratches on the defective pixel,
3. The storage unit according to claim 2, wherein the storage unit adds information indicating that the defect pixel has a minimum scratch level to the storage unit as information indicating that the pixel is not the defective pixel. Defective pixel information generation device.
撮像素子上の欠陥画素の位置を示す欠陥画素情報の構成方法であって、
計数手段が、前記撮像素子上の画素の読み出し順に、前記画素に対して周期的な番号を割り振る計数工程と、
検出手段が、前記撮像素子上の画素それぞれについて欠陥画素であるか否かを検出する検出工程と、
格納手段が、前記検出工程において欠陥画素であると検出された画素について、前記計数工程において割り振られた前記番号を記憶手段に記憶されている前記欠陥画素情報に追加する格納工程と、を備え、
前記格納工程において前記格納手段は、前記欠陥画素であると検出された画素に割り振られた番号から次に同じ番号が割り振られるまでに、前記検出工程において検出された欠陥画素が存在しない場合は、前記同じ番号、あるいは、前記同じ番号よりも前に割り振られた番号を、当該番号が割り振られた画素が欠陥画素ではないことを示す情報とともに前記欠陥画素情報に追加することを特徴とする欠陥画素情報の構成方法。
A method of configuring defective pixel information indicating a position of a defective pixel on an image sensor,
A counting step in which the counting means assigns a periodic number to the pixels in the readout order of the pixels on the image sensor;
A detecting step for detecting whether or not each of the pixels on the image sensor is a defective pixel;
A storage step of adding, to the defective pixel information stored in the storage means, the number assigned in the counting step for a pixel detected as a defective pixel in the detection step;
In the storage step, the storage means, when the defective pixel detected in the detection step does not exist until the next same number is allocated from the number allocated to the pixel detected as the defective pixel, The defective pixel, wherein the same number or a number assigned before the same number is added to the defective pixel information together with information indicating that the pixel to which the number is assigned is not a defective pixel. How information is organized.
JP2010226058A 2010-10-05 2010-10-05 Generation apparatus and defective pixel information configuration method Expired - Fee Related JP5567972B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010226058A JP5567972B2 (en) 2010-10-05 2010-10-05 Generation apparatus and defective pixel information configuration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010226058A JP5567972B2 (en) 2010-10-05 2010-10-05 Generation apparatus and defective pixel information configuration method

Publications (3)

Publication Number Publication Date
JP2012080468A true JP2012080468A (en) 2012-04-19
JP2012080468A5 JP2012080468A5 (en) 2013-11-21
JP5567972B2 JP5567972B2 (en) 2014-08-06

Family

ID=46240159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010226058A Expired - Fee Related JP5567972B2 (en) 2010-10-05 2010-10-05 Generation apparatus and defective pixel information configuration method

Country Status (1)

Country Link
JP (1) JP5567972B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6070880A (en) * 1983-09-27 1985-04-22 Sharp Corp Defect compensating circuit of solid-state image pickup element
JPH01103376A (en) * 1987-10-17 1989-04-20 Sony Corp Picture defect correction device for solid-state image pickup device
JP2008187402A (en) * 2007-01-29 2008-08-14 Canon Inc Correction information creating device and its method, imaging apparatus, and imaging system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6070880A (en) * 1983-09-27 1985-04-22 Sharp Corp Defect compensating circuit of solid-state image pickup element
JPH01103376A (en) * 1987-10-17 1989-04-20 Sony Corp Picture defect correction device for solid-state image pickup device
JP2008187402A (en) * 2007-01-29 2008-08-14 Canon Inc Correction information creating device and its method, imaging apparatus, and imaging system

Also Published As

Publication number Publication date
JP5567972B2 (en) 2014-08-06

Similar Documents

Publication Publication Date Title
JP5517883B2 (en) Image processing apparatus and image processing method
JP5615155B2 (en) Image processing apparatus and method
JP2011040893A (en) Device for correcting defective pixel data, imaging device, and method of correcting defective pixel data
JP2008205530A (en) Imaging apparatus, imaging system and imaging method
US10511792B2 (en) Image pickup apparatus with flash band compensation technique, control method therefor, and storage medium
US9900533B2 (en) Image processing apparatus and method, and image capturing apparatus
JP2013219665A (en) Imaging device, control method therefor, and program
JP2007174266A (en) Imaging apparatus
JP5567972B2 (en) Generation apparatus and defective pixel information configuration method
JP2020022135A (en) Defective pixel correction device, imaging device, and defective pixel correction method
JP2007306506A (en) Imaging apparatus
JP6218408B2 (en) Image processing apparatus, image processing method, and program
JP2015216601A (en) Imaging device, control method for the same and program
JP5794657B2 (en) Imaging control apparatus and imaging control method
CN105432073A (en) Image pickup device
JP2007028496A (en) Image processing apparatus, image processing method, program and storage medium
JP2014013957A (en) Imaging device, and method of controlling the same
JP2010171925A (en) Imaging apparatus
JP6324130B2 (en) Imaging device
JP2010187183A (en) Camera, lens aberration correction program, and computer readable recording medium with lens aberration correction program recorded thereon
JP2007036458A (en) Defective pixel update system
JP2008048191A (en) Fixed pattern noise removing device and imaging apparatus
JP2009284343A (en) Imaging device, defect correction apparatus, defect correction method, and program
JP6242156B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP5293447B2 (en) Electronic camera

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131007

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140620

R151 Written notification of patent or utility model registration

Ref document number: 5567972

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees