JP2012080468A - Defective pixel information generation device and constitution method of defective pixel information - Google Patents
Defective pixel information generation device and constitution method of defective pixel information Download PDFInfo
- Publication number
- JP2012080468A JP2012080468A JP2010226058A JP2010226058A JP2012080468A JP 2012080468 A JP2012080468 A JP 2012080468A JP 2010226058 A JP2010226058 A JP 2010226058A JP 2010226058 A JP2010226058 A JP 2010226058A JP 2012080468 A JP2012080468 A JP 2012080468A
- Authority
- JP
- Japan
- Prior art keywords
- defective pixel
- pixel
- information
- defective
- pixel information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、撮像素子上の欠陥画素に起因する画像の画質劣化を補正する技術に関する。 The present invention relates to a technique for correcting image quality deterioration of an image caused by defective pixels on an image sensor.
一般に、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等の半導体で形成される撮像素子には、半導体の局所的な結晶欠陥等が生じた、所謂欠陥画素が含まれていることがある。欠陥画素を有する撮像素子を用いて撮像を行った場合、欠陥画素からは正常な画像信号が出力されず、出力された画像の画質劣化の要因となる。 In general, an image sensor formed of a semiconductor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor includes a so-called defective pixel in which a local crystal defect of the semiconductor has occurred. There is. When imaging is performed using an imaging element having defective pixels, a normal image signal is not output from the defective pixels, which causes deterioration in image quality of the output image.
このような欠陥画素に起因する画像の画質劣化を低減させるための方法として、欠陥画素から出力された画像信号について、周囲の画素から出力された画像信号を用いた補正処理を行う方法が知られている。この場合、欠陥画素に起因する画像の画質劣化を補正するためには、欠陥画素の位置の情報を予め撮像装置の内部メモリ等に格納しておく必要がある。 As a method for reducing image quality degradation due to such defective pixels, a method of performing correction processing using image signals output from surrounding pixels is known for image signals output from defective pixels. ing. In this case, in order to correct the image quality deterioration of the image caused by the defective pixel, it is necessary to store information on the position of the defective pixel in advance in the internal memory of the imaging apparatus.
しかしながら、近年の撮像素子の画素密度が拡大すると、撮像素子の画素ごとに欠陥画素であるか否かを示す情報を記憶する方法ではデータ量が増大して回路構成が大型化してしまう。また、例えば撮像素子の温度等によっても欠陥画素の状態が変化するため、様々な撮像素子の状態に対応する欠陥画素の情報を格納しておく必要があり、欠陥画素情報のデータ量はさらに増大する。 However, when the pixel density of an image sensor in recent years increases, the method of storing information indicating whether each pixel of the image sensor is a defective pixel increases the amount of data and increases the circuit configuration. In addition, since the state of the defective pixel changes depending on the temperature of the image sensor, for example, it is necessary to store information on the defective pixel corresponding to various states of the image sensor, and the data amount of the defective pixel information further increases. To do.
特許文献1には、撮像素子の画素に対してアドレスを設定し、任意の欠陥画素から次の欠陥画素までの相対アドレスを用いて欠陥画素の位置を表すことにより、欠陥画素情報のデータ量を低減する技術が開示されている。また特許文献1には、相対アドレスに最大値を設定し、欠陥画素間の相対アドレスが最大値を越えないように、ダミーの欠陥画素の情報を挿入することにより、欠陥画素情報のデータ量を低減することについても開示されている。
In
上述したような欠陥画素情報は、例えばデジタルカメラ等の撮像装置の出荷前に撮像素子の欠陥画素を検出して、内部メモリに記憶される。しかしながら、撮像素子の経年変化等によって新たな欠陥画素が生じたり、出荷時に検出されていた欠陥画素の度合い(傷レベル)がより悪化することがある。 The defective pixel information as described above is detected in the internal memory by detecting defective pixels of the image sensor before shipment of the imaging device such as a digital camera. However, a new defective pixel may be generated due to aging of the image sensor or the like, and the degree (scratch level) of the defective pixel detected at the time of shipment may be further deteriorated.
このように、撮像素子上の欠陥画素の分布に変化があった場合、出荷前に記憶された欠陥画素情報を用いて画像における欠陥画素の画質劣化を補正を行ったとしても、適正な補正を行うことはできない。即ち、出力された画像内には、出荷後に生じた欠陥画素によって欠落画素が含まれてしまったり、欠陥画素の傷レベルに対応しない補正を行うことにより不自然な画素が生じてしまう。 In this way, when there is a change in the distribution of defective pixels on the image sensor, even if the image quality deterioration of the defective pixels in the image is corrected using the defective pixel information stored before shipment, proper correction is performed. Can't do it. In other words, in the output image, missing pixels are included due to defective pixels generated after shipment, or unnatural pixels are generated by performing correction not corresponding to the scratch level of the defective pixels.
このため、欠陥画素の分布の変化にも対応可能なように、出荷後も欠陥画素を検出して欠陥画素情報を更新する必要がある。しかしながら、特許文献1のように欠陥画素間の相対アドレスを用いて欠陥画素情報が構成されている場合、例えば新たに欠陥画素情報が追加された場合に、他の欠陥画素の相対アドレスも変更する必要があり、処理時間が増大してしまう。
For this reason, it is necessary to detect defective pixels and update defective pixel information after shipment so as to cope with a change in distribution of defective pixels. However, when defective pixel information is configured using relative addresses between defective pixels as in
本発明は、上述の問題点に鑑みてなされたものであり、データ量が少なく、かつ追加及び更新が容易な欠陥画素情報を生成することを目的とする。 The present invention has been made in view of the above-described problems, and an object of the present invention is to generate defective pixel information that has a small amount of data and can be easily added and updated.
前述の目的を達成するために、本発明の欠陥画素情報の構成方法は、以下の構成を備える。
撮像素子上の欠陥画素の位置を示す欠陥画素情報の構成方法であって、計数手段が、撮像素子上の画素の読み出し順に、画素に対して周期的な番号を割り振る計数工程と、検出手段が、撮像素子上の画素それぞれについて欠陥画素であるか否かを検出する検出工程と、格納手段が、検出工程において欠陥画素であると検出された画素について、計数工程において割り振られた番号を記憶手段に記憶されている欠陥画素情報に追加する格納工程と、を備え、格納工程において格納手段は、欠陥画素であると検出された画素に割り振られた番号から次に同じ番号が割り振られるまでに、検出工程において検出された欠陥画素が存在しない場合は、同じ番号、あるいは、同じ番号よりも前に割り振られた番号を、当該番号が割り振られた画素が欠陥画素ではないことを示す情報とともに欠陥画素情報に追加することを特徴とする。
In order to achieve the above-described object, the defective pixel information configuration method of the present invention has the following configuration.
A method for constructing defective pixel information indicating a position of a defective pixel on an image sensor, wherein the counting means assigns a periodic number to the pixels in the readout order of the pixels on the image sensor, and the detection means A detecting step for detecting whether or not each pixel on the image sensor is a defective pixel, and a storage means for storing a number assigned in the counting step for a pixel detected as a defective pixel in the detecting step A storage step of adding to the defective pixel information stored in the storage step, and in the storage step, the storage means until the next same number is assigned from the number assigned to the pixel detected as a defective pixel. If there is no defective pixel detected in the detection process, use the same number or a number assigned before the same number, and the pixel to which that number is assigned is defective. Characterized by adding to the defective pixel information together with information indicating that it is not a prime.
このような構成により本発明によれば、データ量が少なく、かつ追加及び更新が容易な欠陥画素情報を生成することを可能とする。 With this configuration, according to the present invention, it is possible to generate defective pixel information that has a small amount of data and can be easily added and updated.
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、欠陥画素情報生成装置の一例として、撮像素子を備えるデジタルカメラにおいて、本発明を適用した例を説明する。しかし、本発明は、撮像素子を有し、当該撮像素子に含まれる欠陥画素を検出することが可能な任意の機器、及び撮像素子を有する機器と接続して欠陥画素の検出が可能な任意の機器に適用可能である。 Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the drawings. In addition, one Embodiment described below demonstrates the example which applied this invention in the digital camera provided with an image pick-up element as an example of a defective pixel information generation apparatus. However, the present invention has an image pickup device, can detect a defective pixel included in the image pickup device, and can connect with a device having the image pickup device to detect a defective pixel. Applicable to equipment.
図1は、本発明の実施形態に係るデジタルカメラ100の機能構成を示すブロック図である。
制御部101は、例えばマイクロプロセッサであり、デジタルカメラ100が備える各ブロックの動作を制御する。制御部101は、例えばROM102に記憶されているデジタルカメラ100が備える各ブロックの動作プラグラムを読み出し、RAM103に展開して実行することにより、デジタルカメラ100が備える各ブロックの動作を制御する。なお、本実施形態ではデジタルカメラ100が備える各ブロックの動作を当該ブロックの動作プログラムにより制御するものとして説明するが、本発明の実施はこれに限らず、各ブロックは当該動作プログラムと同様の処理を行う回路で構成されてもよい。
FIG. 1 is a block diagram showing a functional configuration of a
The
ROM102は、例えばフラッシュメモリ等の書き換え可能な不揮発性メモリであり、デジタルカメラ100が備える各ブロックの動作プログラムに加え、欠陥画素情報や欠陥画素により生じる画質劣化を補正するための信号補間方法等の情報が格納される。RAM103は、書き換え可能な揮発性メモリであり、デジタルカメラ100が備える各ブロックの動作において必要なパラメータや設定等を一時的に格納する領域として用いられる。
The
撮像部105は、例えばCCDやCMOSセンサ等で構成される撮像素子であり、光学系104により撮像素子上に結像された光学像を光電変換して得られたアナログ画像信号を、撮像素子上の画素の読み出し順に読み出して、撮像信号処理部106に出力する。
The
撮像信号処理部106は撮像部105より入力されたアナログ画像信号に対し、信号の増幅、A/D変換等の処理を行うことにより、デジタル画像データを出力する。また、撮像信号処理部106は後述する欠陥画素検出部111及び欠陥補正部112を備える。欠陥画素検出部111は、撮像部105から出力された撮像素子上の画素ごとのアナログ画像信号から、欠陥画素を検出する。欠陥画素の検出方法は、公知の方法を用いればよく、本明細書では説明を省略する。
The imaging
検出された欠陥画素の情報は、欠陥画素情報として例えばROM102に記憶される。欠陥補正部112は、欠陥画素検出部111で検出されROM102に記憶された欠陥画素情報に従って、入力されたアナログ画像信号のうちの欠陥画素から出力された信号を補正する。なお、欠陥画素から出力された信号の補正については、欠陥画素の分布が変更ないと判断される場合は、例えば欠陥画素情報から生成されてROM102に記憶されている、欠陥画素により生じる画質劣化を補正するための信号補間方法等を用いて補正を行ってもよい。
Information on the detected defective pixel is stored in the
画像処理部107は、撮像信号処理部106から入力されたデジタル画像データに対し、各種画像処理及び符号化処理等を実行し、記録媒体109に出力する。記録媒体109は、例えばデジタルカメラ100が備える内蔵メモリや、デジタルカメラ100に着脱可能に接続されるメモリカードやHDD等の記録装置であってよく、入力されたデジタル画像データを記録する。
The
画素カウンタ108は、本実施形態において、撮像素子上の画素を、画素の読み出し順にカウントする計数手段である。画素カウンタ108は例えば16ビットのカウントであり、本実施形態では欠陥画素情報における欠陥画素の位置を示すための情報として、画素カウンタ108のカウントのうち、下位4ビットをROM102に格納する。なお、欠陥画素情報における欠陥画素の位置を示すための情報は、本実施形態のようにカウントの下位の情報を抽出して用いる方法でなくてもよい。即ち、本発明において欠陥画素情報における欠陥画素の位置の情報は、少なくとも隣り合う画素と異なる値となるような、周期的に割り振られる番号(カウント)であればよい。
In this embodiment, the
(欠陥画素情報の構成)
以下、撮像素子上の欠陥画素の位置を示す欠陥画素情報の構成について、図を用いて詳細に説明する。
図2は、本実施形態における1つの欠陥画素に関する欠陥画素情報の構成を示している。図示されているように1つの欠陥画素に関する欠陥画素情報は、上位4ビットが欠陥画素の傷レベルを示す情報、下位4ビットが欠陥画素の位置を示すための情報で構成され、データ量は1バイトに収まるように構成されている。
(Configuration of defective pixel information)
Hereinafter, the configuration of the defective pixel information indicating the position of the defective pixel on the image sensor will be described in detail with reference to the drawings.
FIG. 2 shows a configuration of defective pixel information regarding one defective pixel in the present embodiment. As shown in the figure, the defective pixel information relating to one defective pixel is composed of information in which the upper 4 bits indicate the defect level of the defective pixel, and the lower 4 bits indicate information indicating the position of the defective pixel. Configured to fit in bytes.
例えば撮像素子が図3のように12×8の画素で構成され、図において斜線で示されるように、欠陥画素検出部111により検出された欠陥画素が分布している場合について、欠陥画素情報を構成する方法について説明する。撮像素子からの出力信号は、撮像部105により例えば撮像素子の行ごとの左端から右方向に、最上行から最下行まで読み出されて撮像信号処理部106に出力される。なお、本発明は、撮像素子に通常設定されている読み出し順で、画素カウンタ108によりカウントされた値を各画素の位置を示す情報として付すため、撮像素子の各画素で光電変換された電荷の走査方式(読み出し順)は、上述の方式に限定されない。
For example, in the case where the imaging element is configured by 12 × 8 pixels as shown in FIG. 3 and the defective pixels detected by the defective
制御部101は撮像信号処理部106に、入力されたアナログ画像信号について、欠陥画素検出部111で画素ごとに欠陥画素であるか否か、または欠陥画素の傷レベルを検出させる。また同時に制御部101は、画素カウンタ108のカウントをリセットし、読み出し開始画素からカウントを開始させる。即ち、撮像部105から入力されたアナログ画像信号は、画素ごとに画素カウンタ108によりカウントが行われ、かつ当該画素が欠陥画素であるか否か、または欠陥画素の傷レベルを欠陥画素検出部111により判断する。
The
図4は、図3に示した撮像素子の全画素について、画素カウンタ108により割り当てられたカウント値、及び欠陥画素であるか否かの情報を示している。なお、図4の各画素の座標の情報は、図3の撮像素子の左上を原点(x,y)=(0,0)として示している。制御部101は、このように撮像素子の全画素についてカウント値を付し、かつ欠陥画素であるか否かを判断しながら欠陥画素情報を構成する。なお、欠陥画素であるか否かの情報は1ビットの情報として構成してもよいし、欠陥画素の傷レベルが最小レベルであるか否かにより表される構成であってもよい。
FIG. 4 shows the count value assigned by the
(欠陥画素情報生成処理)
以下、本実施形態の欠陥画素情報生成処理について、図5のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部101が、例えばROM102に記憶されている対応する処理プログラムを読み出し、RAM103に展開して実行することにより実現することができる。なお、本欠陥画素情報生成処理は、出荷前、または例えばユーザがデジタルカメラ100の電源をOFFにする際に、シャッタをあけずに露光が行われて開始されるものとして説明する。
(Defective pixel information generation process)
Hereinafter, specific processing of the defective pixel information generation processing of the present embodiment will be described using the flowchart of FIG. The processing corresponding to the flowchart can be realized by the
S501で、制御部101は、画素カウンタ108のカウントをリセットさせる。そしてS502から、制御部101は、撮像部105から撮像素子上の各画素について、欠陥画素情報に追加するか否かを判断する。
In step S501, the
S502で、制御部101は、撮像素子上の全画素のアナログ画像信号の、撮像信号処理部106への出力が完了したかを判断する。具体的には、制御部101は、撮像信号処理部106から全画素のアナログ画像信号を読み込んだか否かの情報を取得することにより、撮像素子上の全画素のアナログ画像信号の出力が完了しているかを判断する。制御部101は、全画素のアナログ画像信号の出力が完了していないと判断した場合は、S503からS506までの処理を新たな対象画素のアナログ画像信号に対して実行し、出力が完了している場合はループ処理を抜けて欠陥画素情報生成処理を完了する。
In step S <b> 502, the
S503で、制御部101は、画素カウンタ108に現在入力されているアナログ画像信号の画素(対象画素)の位置を示すための情報となる、カウントの値を増加させる。また制御部101はS504で、撮像信号処理部106に対象画素が欠陥画素であるか否かを判断させる。具体的には、制御部101は、撮像信号処理部106の欠陥画素検出部111において入力された対象画素のアナログ画像信号は欠陥画素であるか否かを検出させる。なお、本実施形態の欠陥画素情報は対象画素が欠陥画素であった場合、欠陥画素検出部111は対象画素の傷レベルを4ビットの値で出力するものとする。即ち、対象画素が欠陥画素ではないと判断された場合は、欠陥画素検出部111は欠陥画素の傷レベルを最小レベルである0として出力するものとする。制御部101は、対象画素が欠陥画素であると判断された場合は処理をS506に移し、欠陥画素ではないと判断された場合は処理をS505に移す。
In step S <b> 503, the
S505で、制御部101は、対象画素のカウントの値が、ROM102に記憶されている欠陥画素情報に最後に追加された画素のカウントの値と同じであるか否かを判断する。なお、欠陥画素情報は撮像素子上の欠陥画素の位置の情報をまとめた情報であり、例えば本欠陥画素情報生成処理の開始時に最小限の容量を有する新たな欠陥画素情報の領域を確保し、検出された欠陥画素の情報が追加されていくものとする。
In step S <b> 505, the
本発明では欠陥画素の位置を示すために周期的に割り振られるカウントを用いるため、例えば本実施形態のように画素カウンタ108のカウントの下位4ビットを、位置を示す情報として用いる場合、同一のカウントが割り当てられる画素が16画素間隔で存在する。このため、カウントが1周する間に欠陥画素が存在しない場合、次に検出された欠陥画素の位置を一意に定義することができない。即ち、後述するS506で制御部101は、カウントが1周したことを示すダミーの欠陥画素として傷レベルが0の情報を欠陥画素情報に追加する。
Since the present invention uses a periodically assigned count to indicate the position of the defective pixel, for example, when the lower 4 bits of the count of the
例えば撮像素子の読み出し順において、欠陥画素として検出された(x,y)=(7,0)の画素の次に検出される欠陥画素は(x,y)=(8,2)であるが、両欠陥画素の間は25カウントの差があいている。つまり、この場合前者の欠陥画素のあとに、当該欠陥画素と同一のカウントの値を有する(x,y)=(11,1)の画素がダミーの欠陥画素として欠陥画素情報に追加されることになる。 For example, the defective pixel detected after the pixel (x, y) = (7, 0) detected as a defective pixel in the readout order of the image sensor is (x, y) = (8, 2). There is a difference of 25 counts between the two defective pixels. That is, in this case, after the former defective pixel, a pixel of (x, y) = (11, 1) having the same count value as the defective pixel is added to the defective pixel information as a dummy defective pixel. become.
また、このように欠陥画素の位置を一意に定義することは、最初に検出される欠陥画素に対しても考慮する必要がある。本実施形態では、撮像素子の画素のうち最初に読み出される画素は、欠陥画素であるか否かに関わらず、欠陥画素情報に追加されるものとする。しかし、本発明の実施はこれに限らず、周期的なカウントの最初の1周の間に欠陥画素が存在しない場合に、当該最初の1周のカウントのうち、いずれかのカウントに対応付けられた画素の情報を欠陥画素情報に追加するようにしてもよい。 In addition, such a unique definition of the position of the defective pixel needs to be considered for the defective pixel detected first. In the present embodiment, it is assumed that the first pixel read out of the pixels of the image sensor is added to the defective pixel information regardless of whether or not it is a defective pixel. However, the implementation of the present invention is not limited to this, and when there is no defective pixel during the first round of the periodic count, it is associated with one of the counts of the first round. The pixel information may be added to the defective pixel information.
制御部101は、対象画素のカウントの値が、欠陥画素情報に最後に追加された画素のカウントの値と同じ場合は処理をS506に移し、異なる場合はループ処理を進めて処理をS502に戻す。そしてS506で、制御部101は、対象画素のカウント及び傷レベルの情報を欠陥画素情報に追加する。
If the count value of the target pixel is the same as the count value of the pixel added last to the defective pixel information, the
なお、欠陥画素情報に最後に追加された画素のカウントの値と同じ値の対象画素を欠陥画素情報に追加することが望ましいが、欠陥画素情報に追加する情報は必ずしも、当該最後に追加された画素のカウントと同じ値の画素である必要はない。例えば、欠陥画素情報に最後に追加された画素のカウントが8であり、その後、対象画素のカウントの値が8となった際に、対象画素のカウントよりも少ない6や7のカウントに対応付けられた画素の情報を欠陥画素情報に追加するようにしてもよい。即ち、ダミーの欠陥画素は、周期的なカウントが1周する間に当該カウントに対応する画素において欠陥画素が存在しないことを示すため、少なくとも連続するカウントの画素を選択しない限りは、データ量を削減する効果を奏する。また、ダミー画素について、例えば周期的なカウントが1周する間に欠陥画素が存在しない場合に最後に追加されたダミー画素ではない欠陥画素のカウントの1つ前のカウントに対応する画素の情報を追加するように予め欠陥画素情報の構成を設定してもよい。なお、このように構成することによっても、上述した周期的なカウントの最初の1周の間に欠陥画素が存在しない場合の欠陥画素の位置を一意に定義することは可能となる。 It is desirable to add the target pixel having the same value as the count value of the pixel added last to the defective pixel information to the defective pixel information, but the information added to the defective pixel information is not necessarily added to the last. The pixels need not have the same value as the pixel count. For example, when the count of the pixel added last to the defective pixel information is 8, and then the value of the target pixel count is 8, it is associated with a count of 6 or 7 that is smaller than the count of the target pixel Information on the obtained pixel may be added to the defective pixel information. In other words, the dummy defective pixel indicates that there is no defective pixel in the pixel corresponding to the count during one round of the periodic count. Therefore, the amount of data is reduced unless at least consecutive count pixels are selected. There is an effect to reduce. In addition, for the dummy pixel, for example, when there is no defective pixel during one cycle of the periodic count, information on the pixel corresponding to the count immediately before the count of the defective pixel that is not the last added dummy pixel is displayed. The configuration of defective pixel information may be set in advance so as to be added. Even with this configuration, it is possible to uniquely define the position of the defective pixel when there is no defective pixel during the first round of the above-described periodic count.
このように本欠陥画素情報生成処理を実行することで、データ量を低減した欠陥画素情報を構成することができる。例えば図3に示した撮像素子については、図6(b)に示すような欠陥画素情報が生成される。図6(b)において傷レベルが0の情報はダミーの欠陥画素として追加された情報であり、当該ダミーの欠陥画素は、図6(a)に○で示されている。 By executing the defective pixel information generation process in this way, defective pixel information with a reduced data amount can be configured. For example, for the image sensor shown in FIG. 3, defective pixel information as shown in FIG. 6B is generated. In FIG. 6B, information with a scratch level of 0 is information added as a dummy defective pixel, and the dummy defective pixel is indicated by a circle in FIG. 6A.
(欠陥画素情報の追加及び更新)
デジタルカメラ100の出荷後に、撮像素子における欠陥画素の分布や欠陥画素の傷レベルに変化が生じた場合、適切に欠陥画素の情報を補正するためには、欠陥画素情報を更新する必要がある。
(Addition and update of defective pixel information)
If the distribution of defective pixels in the image sensor or the flaw level of the defective pixels changes after the
例えば、上述したようにユーザがデジタルカメラ100の電源をOFFにする際に制御部101が欠陥画素情報生成処理を行った際に、既知ではない欠陥画素について新たな欠陥画素情報が得られる。即ち、既に欠陥画素情報に含まれている欠陥画素については、撮像信号処理部106に撮像素子の各画素から出力されるアナログ画像信号に対し、欠陥補正部112による補正が行われる。このため、出荷後に欠陥画素検出部111によって検出される欠陥画素は、経年変化により新たに生じた欠陥画素か、既に欠陥画素情報に含まれている欠陥画素のうち傷レベルが変化(一般的には悪化)した欠陥画素ということになる。即ち、出荷後に実行された欠陥画素情報生成処理によって生成された新たな欠陥画素情報には既知の欠陥画素情報が含まれていないため、欠陥補正部112での欠陥画素の補正処理を考えると、既知の欠陥画素情報と新たな欠陥画素情報とを統合することが望ましい。
For example, as described above, when the
(欠陥画素情報統合処理)
以下、本実施形態の欠陥画素情報統合処理について、図8のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部101が、例えばROM102に記憶されている対応する処理プログラムを読み出し、RAM103に展開して実行することにより実現することができる。なお、本欠陥画素情報統合処理は、例えば出荷後にユーザがデジタルカメラ100の電源をOFFにする際に、シャッタをあけずに露光が行われた場合に前述の欠陥画素生成処理が実行され、当該処理の完了後に開始されるものとして説明する。しかしながら、本欠陥画素情報統合処理の実行はこれに限らず、同一の撮像素子の状態に分類される欠陥画素情報が複数存在することを制御部101が認識した際に実行されてもよい。
(Defective pixel information integration process)
Hereinafter, specific processing of the defective pixel information integration processing of the present embodiment will be described with reference to the flowchart of FIG. The processing corresponding to the flowchart can be realized by the
なお、本欠陥画素情報統合処理では、例えば出荷前にROM102に格納された第1の欠陥画素情報と、当該処理の直前に行われた欠陥画素情報生成処理において生成されてROM102に格納された第2の欠陥画素情報とを統合するものとして以下に説明する。第1の欠陥画素情報は図6(b)に示されるような情報、第2の欠陥画素情報は図7に示されるような情報で構成されているものとする。また、図9は、これら第1の欠陥画素情報及び第2の欠陥画素情報を統合した新たな欠陥画素情報を示す。
In this defective pixel information integration process, for example, the first defective pixel information stored in the
S801で、制御部101は、第1及び第2の欠陥画素情報のそれぞれから、撮像素子の読み出し順において先頭となる欠陥画素の、位置を示すための情報であるカウントの値を読み出す。本実施形態においては、それぞれの欠陥画素情報には欠陥画素であるか否かに関わらず、撮像素子の読み出し順において最初に読み出される画素の情報が格納されている。このため、本ステップにおいて第1及び第2の欠陥画素情報のそれぞれから読み出されるカウントの値は同一となる。
In step S <b> 801, the
S802で、制御部101は、第1及び第2の欠陥画素情報のそれぞれから読み出されたカウントの値に対して、ROM102に記憶されている新たな欠陥画素情報に最後に追加された画素のカウントの値を減算したそれぞれの値の大小を比較する。具体的には、制御部101は、第1の欠陥画素情報から読み出されたカウントXと第2の欠陥画素情報から読み出されたYのそれぞれから、新たな欠陥画素情報に最後に追加された画素のカウントZを減算し、X−ZとY−Zの大小を判断する。即ち、本ステップでは、第1及び第2の欠陥画素情報のそれぞれから読み出されている画素のどちらが、撮像素子の読み出し順において先に読み出される画素であるかを判断する。
In step S <b> 802, the
制御部101は、第1の欠陥画素情報から読み出されたカウントの値から最後に追加された画素のカウントを減算した値の方(X−Z)が小さい場合は処理をS803に移す。また、制御部101は、第2の欠陥画素情報から読み出されたカウントの値から最後に追加された画素のカウントを減算した値(Y−Z)の方が小さい場合は処理をS805に移す。また、制御部101は、両者の値が同値である場合は処理をS807に移す。
When the value (XZ) obtained by subtracting the count of the pixel added last from the count value read from the first defective pixel information is smaller, the
なお、本ステップにおいて、新たな欠陥画素情報に最後に追加された画素のカウントを減算するが、新たな欠陥画素情報に追加された画素の情報が存在しない場合は、当該減算が必要ないことは容易に理解されよう。また、当該減算の結果が負の値が出力された場合は当該値を正の値に換算した値で比較を行うものとする。例えば本実施形態のようにカウントの値が4ビットで示される場合、計算結果も4ビットの値、即ち−3であった場合は、24−3=16−3=13と換算されるものとする。 In this step, the count of the pixel added last to the new defective pixel information is subtracted, but if there is no pixel information added to the new defective pixel information, the subtraction is not necessary. Easy to understand. When a negative value is output as a result of the subtraction, the comparison is performed using a value obtained by converting the value into a positive value. For example, when the count value is indicated by 4 bits as in the present embodiment, if the calculation result is also a 4-bit value, that is, -3, it is converted to 2 4 -3 = 16-3 = 13. And
S803で、制御部101は、第1の欠陥画素情報から読み出されたカウントに対応する画素の情報(カウント+傷レベル)を取得して、ROM102に記憶されている新たな欠陥画素情報に追加する。そしてS804で、制御部101は、第1の欠陥画素情報から当該追加した画素の次の画素のカウントの値を読み出して処理をS809に移す。
In step S <b> 803, the
同様にS805で、制御部101は、第2の欠陥画素情報から読み出されたカウントに対応する画素の情報を取得して、ROM102に記憶されている新たな欠陥画素情報に追加する。そしてS806で、制御部101は、第2の欠陥画素情報から当該追加した画素の次の画素のカウントの値を読み出して処理をS809に移す。
Similarly, in step S <b> 805, the
S807で、制御部101は、第1及び第2の欠陥画素情報のそれぞれから読み出されたカウントに対応する画素の情報を読み出し、両者の傷レベルを加算することにより当該カウントの画素の情報を更新する。そして制御部101は更新された当該画素の情報を、ROM102に記憶されている新たな欠陥画素情報に追加する。そしてS808で、制御部101は、第1及び第2の欠陥画素情報のそれぞれから、当該追加した画素の次の画素のカウントの値を読み出して処理をS809に移す。
In step S <b> 807, the
S809で、制御部101は、第1及び第2の欠陥画素情報のいずれかに含まれる全て欠陥画素の情報が、新たな欠陥画素情報に追加されたかを判断する。即ち、S804、S806、及びS808のいずれかで、新たな欠陥画素情報に追加された画素の次の画素の情報を読み出そうとした場合の次の画素の情報の有無により、全ての画素の情報が追加されたか否かを判断する。制御部101は、第1及び第2の欠陥画素情報に含まれる全ての欠陥画素の情報の、新たな欠陥画素情報への追加がいずれも完了していないと判断した場合は処理をS802に戻す。また、制御部101は、第1及び第2の欠陥画素情報の少なくともいずれかに含まれる全ての欠陥画素の情報の、新たな欠陥画素情報への追加が完了していると判断した場合は処理をS810へ移す。
In step S809, the
S810で、制御部101は、第1及び第2の欠陥画素情報のうち、全ての欠陥画素の情報の読み出しが完了していない欠陥画素情報がいずれであるかを判断する。制御部101は、全ての欠陥画素の情報の読み出しが完了していない欠陥画素情報が第1の欠陥画素情報である場合は処理をS811に、第2の欠陥画素情報である場合は処理をS812に移す。また、制御部101は、両欠陥画素情報とも全ての欠陥画素の情報の読み出しが完了している場合は処理をS813に移す。
In step S <b> 810, the
S811で、制御部101は、第1の欠陥画素情報に含まれる画素の情報のうち、まだ新たな欠陥画素情報に追加されていない情報を、当該新たな欠陥画素情報に追加する。またS812で、制御部101は、第2の欠陥画素情報に含まれる画素の情報のうち、まだ新たな欠陥画素情報に追加されていない情報を、当該新たな欠陥画素情報に追加する。
In step S811, the
S813で、制御部101は、ROM102から第1及び第2の欠陥画素情報を消去し、本欠陥画素情報統合処理で生成された新たな欠陥画素情報のみを保持させて、本欠陥画素情報統合処理を完了する。即ち、次から撮像されて撮像部105から出力されるアナログ画像信号については、当該処理で生成された新たな欠陥画素情報に基づいて欠陥補正部112にて補正が行われる。
In step S813, the
なお、本実施形態では、欠陥画素情報統合処理において、ダミーの欠陥画素を含む全ての画素の情報を統合するものとして説明した。しかしながら、ダミーの欠陥画素の前に新たな欠陥画素の情報が追加されることにより不必要となった当該ダミーの欠陥画素の情報は、欠陥画素情報のデータ量低減の観点から削除してもよい。 In the present embodiment, the defective pixel information integration process has been described as integrating all pixel information including dummy defective pixels. However, the information on the dummy defective pixel which becomes unnecessary by adding information on a new defective pixel before the dummy defective pixel may be deleted from the viewpoint of reducing the data amount of the defective pixel information. .
このように、本発明の欠陥画素情報の構成方法で構成された欠陥画素情報では、新たな欠陥画素が生じた場合や欠陥画素の傷のレベルに変化が生じた場合等に、既知の欠陥画素情報のアドレス情報を更新することなく欠陥画素情報を追加及び更新することができる。 As described above, in the defective pixel information configured by the defective pixel information configuration method of the present invention, when a new defective pixel is generated or a flaw level of the defective pixel is changed, a known defective pixel is detected. It is possible to add and update defective pixel information without updating the address information of the information.
(欠陥画素情報の削除)
また、ROM102は上限のある記憶領域であるため、欠陥画素情報のデータ量の増大により記憶できない状況を防ぐために、欠陥画素情報のデータ量に上限設定がなされることが考えられる。このような場合、例えば経年変化により生じた新たな欠陥画素の情報を上述の欠陥画素統合処理によって追加して得られた欠陥画素情報のデータ量が、予め定められたデータ量の上限を超える場合は、以下のように処理すればよい。即ち制御部101は、例えば欠陥画素情報に含まれる全ての欠陥画素の情報のうち、傷レベルの低い欠陥画素の情報を削除する。つまり、本発明の欠陥画素情報の構成方法で構成された欠陥画素情報では、他の欠陥画素の位置の情報を更新することなく、欠陥画素の情報の削除することができる。なお、傷レベルの低い欠陥画素が比較的近い位置に集中しており、これらの情報を削除することによりカウントが1周する間に欠陥画素が存在しなく状況が生じる場合には、上述した方法によってダミーの欠陥画素を欠陥画素情報に追加すればよい。
(Delete defective pixel information)
In addition, since the
以上説明したように、本発明の欠陥画素情報の構成方法を用いることにより、撮像素子上の欠陥画素の位置を示す欠陥画素情報を、データ量を少なく、かつ追加及び更新が容易なように生成することができる。具体的には、欠陥画素情報生成装置は、撮像素子上の画素の読み出し順に、少なくとも隣り合う画素と異なる番号となるように、画素に対して周期的な番号を割り振る。そして撮像素子上の画素が欠陥画素であることを検出すると、検出された欠陥画素に割り振られた番号を、当該画素の位置を示す情報として欠陥画素情報に追加する。なお、欠陥画素であると検出された画素に割り振られた番号から次に同じ番号が割り振られるまでに次の欠陥画素が検出されなかった場合は、当該同じ番号が割り振られた画素が欠陥画素ではないことを示す情報とともに、当該同じ番号を欠陥画素情報に追加する。なお、このとき欠陥画素に追加する番号は、当該同じ番号よりも前に割り振られた番号であっても構わない。 As described above, by using the defective pixel information configuration method of the present invention, defective pixel information indicating the position of the defective pixel on the image sensor is generated so that the amount of data is small and addition and updating are easy. can do. Specifically, the defective pixel information generation device assigns periodic numbers to the pixels so that the numbers are different from at least adjacent pixels in the readout order of the pixels on the image sensor. When it is detected that the pixel on the image sensor is a defective pixel, the number assigned to the detected defective pixel is added to the defective pixel information as information indicating the position of the pixel. In addition, when the next defective pixel is not detected until the next same number is assigned from the number assigned to the pixel detected as the defective pixel, the pixel assigned the same number is not a defective pixel. The same number is added to the defective pixel information together with information indicating the absence. At this time, the number added to the defective pixel may be a number assigned before the same number.
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (4)
前記撮像素子上の画素の読み出し順に、前記画素に対して周期的な番号を割り振る計数手段と、
前記撮像素子上の画素それぞれについて欠陥画素であるか否かを検出する検出手段と、
前記検出手段により欠陥画素であると検出された画素について、前記計数手段により割り振られた前記番号を記憶手段に記憶されている前記欠陥画素情報に追加する格納手段と、を備え、
前記格納手段は、前記欠陥画素であると検出された画素に割り振られた番号から次に同じ番号が割り振られるまでに、前記検出手段によって検出された欠陥画素が存在しない場合は、前記同じ番号、あるいは、前記同じ番号よりも前に割り振られた番号を、当該番号が割り振られた画素が欠陥画素ではないことを示す情報とともに前記欠陥画素情報に追加することを特徴とする欠陥画素情報生成装置。 A defective pixel information generation device indicating a position of a defective pixel on an image sensor,
Counting means for assigning periodic numbers to the pixels in the readout order of the pixels on the image sensor;
Detecting means for detecting whether each pixel on the image sensor is a defective pixel;
Storage means for adding the number assigned by the counting means to the defective pixel information stored in the storage means for the pixels detected as defective pixels by the detection means,
The storage means, when there is no defective pixel detected by the detection means until the next same number is assigned from the number assigned to the pixel detected as the defective pixel, the same number, Alternatively, a defective pixel information generating apparatus, wherein a number assigned before the same number is added to the defective pixel information together with information indicating that a pixel to which the number is assigned is not a defective pixel.
前記格納手段は、前記欠陥画素ではないことを示す情報として、前記欠陥画素の傷のレベルが最小レベルであることを示す情報を前記記憶手段に追加することを特徴とする請求項2に記載の欠陥画素情報生成装置。 When the information indicating the state of the defective pixel includes information indicating the level of scratches on the defective pixel,
3. The storage unit according to claim 2, wherein the storage unit adds information indicating that the defect pixel has a minimum scratch level to the storage unit as information indicating that the pixel is not the defective pixel. Defective pixel information generation device.
計数手段が、前記撮像素子上の画素の読み出し順に、前記画素に対して周期的な番号を割り振る計数工程と、
検出手段が、前記撮像素子上の画素それぞれについて欠陥画素であるか否かを検出する検出工程と、
格納手段が、前記検出工程において欠陥画素であると検出された画素について、前記計数工程において割り振られた前記番号を記憶手段に記憶されている前記欠陥画素情報に追加する格納工程と、を備え、
前記格納工程において前記格納手段は、前記欠陥画素であると検出された画素に割り振られた番号から次に同じ番号が割り振られるまでに、前記検出工程において検出された欠陥画素が存在しない場合は、前記同じ番号、あるいは、前記同じ番号よりも前に割り振られた番号を、当該番号が割り振られた画素が欠陥画素ではないことを示す情報とともに前記欠陥画素情報に追加することを特徴とする欠陥画素情報の構成方法。 A method of configuring defective pixel information indicating a position of a defective pixel on an image sensor,
A counting step in which the counting means assigns a periodic number to the pixels in the readout order of the pixels on the image sensor;
A detecting step for detecting whether or not each of the pixels on the image sensor is a defective pixel;
A storage step of adding, to the defective pixel information stored in the storage means, the number assigned in the counting step for a pixel detected as a defective pixel in the detection step;
In the storage step, the storage means, when the defective pixel detected in the detection step does not exist until the next same number is allocated from the number allocated to the pixel detected as the defective pixel, The defective pixel, wherein the same number or a number assigned before the same number is added to the defective pixel information together with information indicating that the pixel to which the number is assigned is not a defective pixel. How information is organized.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010226058A JP5567972B2 (en) | 2010-10-05 | 2010-10-05 | Generation apparatus and defective pixel information configuration method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010226058A JP5567972B2 (en) | 2010-10-05 | 2010-10-05 | Generation apparatus and defective pixel information configuration method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012080468A true JP2012080468A (en) | 2012-04-19 |
JP2012080468A5 JP2012080468A5 (en) | 2013-11-21 |
JP5567972B2 JP5567972B2 (en) | 2014-08-06 |
Family
ID=46240159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010226058A Expired - Fee Related JP5567972B2 (en) | 2010-10-05 | 2010-10-05 | Generation apparatus and defective pixel information configuration method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5567972B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6070880A (en) * | 1983-09-27 | 1985-04-22 | Sharp Corp | Defect compensating circuit of solid-state image pickup element |
JPH01103376A (en) * | 1987-10-17 | 1989-04-20 | Sony Corp | Picture defect correction device for solid-state image pickup device |
JP2008187402A (en) * | 2007-01-29 | 2008-08-14 | Canon Inc | Correction information creating device and its method, imaging apparatus, and imaging system |
-
2010
- 2010-10-05 JP JP2010226058A patent/JP5567972B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6070880A (en) * | 1983-09-27 | 1985-04-22 | Sharp Corp | Defect compensating circuit of solid-state image pickup element |
JPH01103376A (en) * | 1987-10-17 | 1989-04-20 | Sony Corp | Picture defect correction device for solid-state image pickup device |
JP2008187402A (en) * | 2007-01-29 | 2008-08-14 | Canon Inc | Correction information creating device and its method, imaging apparatus, and imaging system |
Also Published As
Publication number | Publication date |
---|---|
JP5567972B2 (en) | 2014-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5517883B2 (en) | Image processing apparatus and image processing method | |
JP5615155B2 (en) | Image processing apparatus and method | |
JP2011040893A (en) | Device for correcting defective pixel data, imaging device, and method of correcting defective pixel data | |
JP2008205530A (en) | Imaging apparatus, imaging system and imaging method | |
US10511792B2 (en) | Image pickup apparatus with flash band compensation technique, control method therefor, and storage medium | |
US9900533B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
JP2013219665A (en) | Imaging device, control method therefor, and program | |
JP2007174266A (en) | Imaging apparatus | |
JP5567972B2 (en) | Generation apparatus and defective pixel information configuration method | |
JP2020022135A (en) | Defective pixel correction device, imaging device, and defective pixel correction method | |
JP2007306506A (en) | Imaging apparatus | |
JP6218408B2 (en) | Image processing apparatus, image processing method, and program | |
JP2015216601A (en) | Imaging device, control method for the same and program | |
JP5794657B2 (en) | Imaging control apparatus and imaging control method | |
CN105432073A (en) | Image pickup device | |
JP2007028496A (en) | Image processing apparatus, image processing method, program and storage medium | |
JP2014013957A (en) | Imaging device, and method of controlling the same | |
JP2010171925A (en) | Imaging apparatus | |
JP6324130B2 (en) | Imaging device | |
JP2010187183A (en) | Camera, lens aberration correction program, and computer readable recording medium with lens aberration correction program recorded thereon | |
JP2007036458A (en) | Defective pixel update system | |
JP2008048191A (en) | Fixed pattern noise removing device and imaging apparatus | |
JP2009284343A (en) | Imaging device, defect correction apparatus, defect correction method, and program | |
JP6242156B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP5293447B2 (en) | Electronic camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131007 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140620 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5567972 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |