JP2007081453A - Imaging apparatus, signal processing method, and program - Google Patents
Imaging apparatus, signal processing method, and program Download PDFInfo
- Publication number
- JP2007081453A JP2007081453A JP2005262662A JP2005262662A JP2007081453A JP 2007081453 A JP2007081453 A JP 2007081453A JP 2005262662 A JP2005262662 A JP 2005262662A JP 2005262662 A JP2005262662 A JP 2005262662A JP 2007081453 A JP2007081453 A JP 2007081453A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel
- image area
- light
- column noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 48
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000001514 detection method Methods 0.000 claims abstract description 89
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000000903 blocking effect Effects 0.000 claims 2
- 238000000034 method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 229910052782 aluminium Inorganic materials 0.000 description 3
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000010409 thin film Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、X−Yアドレス型固体撮像素子により被写体を撮像する撮像装置及び信号処理方法並びにプログラムに関する。 The present invention relates to an imaging apparatus, a signal processing method, and a program for imaging a subject using an XY address type solid-state imaging device.
CMOS(complementary metal oxide semiconductor)センサに代表されるX−Yアドレス型の固体撮像素子1は、図6に示すように多数の画素が行列状に配列されており、この画素部52の各行(以下、ラインという。)を順に選択するための垂直走査回路54と、画素部52の各列(以下、カラムという。)を順に選択するための水平走査回路60と、信号を出力するための出力回路61を備えている。
An XY address type solid-
また、垂直走査回路54と水平走査回路59は、例えば、シフトレジスタによって構成され、垂直走査パルスおよび水平走査パルスをラインごと及びカラムごとに1個ずつ順に発生するようになっている。
The
また、各画素に蓄えられた画像信号を読み出す際には、垂直走査回路54によりパルス信号が一の垂直選択線53に加えられ、1ライン分の各画素トランジスタ51をすべて通電させ、各感光部50から画像信号が各垂直信号線55に読み出される。各垂直信号線55に読み出された画像信号は、画素ごとのオフセット信号を除去する相関二重サンプリング回路(CDS)56等の回路に供給される。
Further, when the image signal stored in each pixel is read, a pulse signal is applied to one
水平走査回路59は、各垂直信号線55に接続されているトランジスタ51に水平選択線59を介してパルス信号を加え、該トランジスタ51を通電状態にする。CDS56によりオフセット信号が除去されたカラムの画素信号は、水平信号線58に読み出され、出力回路61により電圧信号に変換されて、外部に出力される。
The
このようなX−Yアドレス型の固体撮像素子では、出力回路61から供給される画素信号は、カラムごとに垂直信号線55が異なるため、CDS56やトランジスタ57などに特性のばらつきがあると、カラムごとに異なるオフセットが画像信号に乗ってしまう。このカラムごとのオフセットが表示画面上に筋状の固定パターンノイズ(以下、カラムノイズという。)として現れ、画質の劣化を生じさせてしまう。
In such an XY address type solid-state imaging device, the pixel signal supplied from the
この劣化の防止を図る方法として、固体撮像素子からカラムノイズ成分のみを抽出し、抽出したカラムノイズ成分を補正のための基準信号として保持しておき、通常の撮像動作時に固体撮像素子の信号出力から保持されている基準信号を減算することによってカラムノイズを補正するものがある。 As a method for preventing this deterioration, only the column noise component is extracted from the solid-state image sensor, and the extracted column noise component is held as a reference signal for correction, and the signal output of the solid-state image sensor during normal imaging operation In some cases, column noise is corrected by subtracting the reference signal held from the column.
しかし、通常は、画素部52に光が照射されると、カラムノイズ成分に入射光による信号成分が加算されるため、この出力信号を補正のための基準信号として使うことはできない。そこで、特許文献1では、図7に示すように、画素部52を、光が照射される有効画像領域Aと、アルミ薄膜等による遮光板により数カラムから数十カラムに渡って光の照射が遮られる水平オプティカルブラック(以下、HOPBという。)領域Bと、アルミ薄膜等による遮光板により数ラインから数十ラインに渡って光の照射が遮られる垂直オプティカルブラック(以下、VOPBという。)領域Cとにより構成し、カラムノイズの検出・補正を行っている。
However, normally, when the
ところで、カラムノイズの原因となるカラムごとのオフセットは、有効画像領域Aに位置する画素だけではなく、遮光された黒レベル基準のVOPB領域Cに位置する画素からの出力にも同様に現れる。そのため、VOPB領域Cの画素からの信号を用いてカラムノイズ成分を検出し、有効画像領域Aの画素からの信号から差し引くことで補正できる。 By the way, the offset for each column causing the column noise appears not only in the pixel located in the effective image area A but also in the output from the pixel located in the shielded black level reference VOPB area C. Therefore, it can be corrected by detecting a column noise component using a signal from a pixel in the VOPB area C and subtracting it from a signal from a pixel in the effective image area A.
しかし、VOPB領域Cの各画素の信号を用いてカラムノイズを補正するための基準信号を得る場合には、VOPB領域Cの各画素から出力されるばらつきのある暗電流成分(以下、ランダムノイズという。)の影響が問題となる。特に、VOPB領域Cは、数ラインから数十ライン分であるため画素数が少なく、平均化処理を行ったとしても、各画素から出力されるランダムノイズを十分に抑圧することができない。 However, when obtaining a reference signal for correcting column noise using the signal of each pixel in the VOPB region C, there is a variation in dark current components (hereinafter referred to as random noise) output from each pixel in the VOPB region C. )) Is a problem. In particular, since the VOPB region C is from several lines to several tens of lines, the number of pixels is small, and even if averaging processing is performed, random noise output from each pixel cannot be sufficiently suppressed.
そこで、VOPB領域Cのライン数を増加してしまうと、カラムノイズ検出専用の領域が大きくなり、その分、固体撮像素子が大きくなってしまう。 Therefore, if the number of lines in the VOPB area C is increased, the area dedicated to column noise detection becomes larger, and the solid-state imaging device becomes larger correspondingly.
また、固体撮像素子から読み出す信号量もVOPB領域Cの分増加し、高速に読み出して処理できるだけの性能がハードウェアに求められる。 In addition, the amount of signal read from the solid-state imaging device is also increased by the VOPB area C, and the hardware is required to have performance sufficient to read and process at high speed.
これに対して、固体撮像素子を有効画像領域AとHOPB領域Bのみで構成することが考えられる。この構成の場合には、有効画像領域Aを一時的に遮光してカラムノイズを検出してメモリに保存し、カラムノイズの補正を行う。 On the other hand, it is conceivable that the solid-state imaging device is configured only by the effective image area A and the HOPB area B. In the case of this configuration, the effective image area A is temporarily shielded, column noise is detected and stored in the memory, and column noise is corrected.
しかしながら、このような方法では、工場出荷時又は電源投入時の一度しかカラムノイズを検出しないため、熱などの外的要因によってカラムノイズ成分が変化したときには、カラムノイズの補正がうまく行かず、結果として画質を劣化させてしまう。 However, in such a method, column noise is detected only once at the time of shipment from the factory or when the power is turned on, so when the column noise component changes due to external factors such as heat, the column noise is not corrected properly. As a result, the image quality deteriorates.
そこで、本発明では、固体撮像素子を有効画像領域AとHOPB領域Bのみで構成しながら、カラムノイズ成分が変化した場合であっても、当該カラムノイズ成分の変化に適応的に対応し、良質な画像を得る撮像装置及び信号処理方法並びにプログラムを提供する。 Therefore, in the present invention, the solid-state imaging device is configured only by the effective image area A and the HOPB area B, and even when the column noise component is changed, the solid-state imaging device is adaptively adapted to the change of the column noise component, and the high quality. Provided are an imaging apparatus, a signal processing method, and a program for obtaining a clear image.
本発明に係る撮像装置は、上述の課題を解決するために、画素が行列状に配置され、光が照射される有効画像領域と、光の照射が遮られる水平遮光画像領域とからなる画素部と、垂直選択線で共通に接続された同一行の画素の制御電極を制御する垂直走査回路と、同一列の画素の主電極が共通に接続された垂直信号線を介して出力される画素信号を行単位で順次出力する水平走査回路と、水平走査回路からの画素信号を出力する出力回路とを有する固体撮像素子手段と、有効画像領域に照射される光を遮光する遮光手段と、遮光手段により光が遮光された状態で有効画像領域に配置されている画素から出力される画素信号に基づき、有効画像領域のオフセット信号を検出する第1の検出手段と、水平遮光画像領域に配置されている画素から出力される画素信号に基づき、水平遮光画像領域の基準となるオフセット信号を検出する第2の検出手段と、第2の検出手段により基準となるオフセット信号を検出した後に、水平遮光画像領域に配置されている画素から出力される画素信号に基づき、水平遮光画像領域のオフセット信号を検出する第3の検出手段と、第2の検出手段により検出された基準オフセット信号と、第3の検出手段により検出された所定時間経過後のオフセット信号を比較する比較手段と、第1の検出手段から検出されたオフセット信号と、比較手段による比較結果とに基づいて補正信号を生成する補正信号生成手段と、補正信号生成手段により生成された補正信号に基づいて、有効画像領域に配置されている画素から出力されている画素信号を補正する補正手段とを備える。 In order to solve the above-described problems, an imaging apparatus according to the present invention includes a pixel unit including pixels, which are arranged in a matrix, an effective image area where light is irradiated, and a horizontal light-shielded image area where light irradiation is blocked. And a vertical scanning circuit for controlling the control electrodes of the pixels in the same row connected in common by the vertical selection line, and a pixel signal output via the vertical signal line in which the main electrodes of the pixels in the same column are connected in common A solid-state image pickup device means having a horizontal scanning circuit that sequentially outputs in units of rows, and an output circuit that outputs a pixel signal from the horizontal scanning circuit, a light shielding means for shielding light irradiated to an effective image area, and a light shielding means And a first detection means for detecting an offset signal of the effective image area based on a pixel signal output from a pixel arranged in the effective image area in a state where light is blocked by Out of the pixel A second detection unit that detects an offset signal that serves as a reference for the horizontal light-shielded image region based on the pixel signal that is generated, and an offset signal that serves as a reference is detected by the second detection unit and is then disposed in the horizontal light-shielded image region. A third detection unit that detects an offset signal of the horizontal light-shielded image region based on a pixel signal output from the active pixel, a reference offset signal detected by the second detection unit, and a third detection unit A comparison means for comparing the offset signal after the predetermined time has elapsed, a correction signal generation means for generating a correction signal based on the offset signal detected from the first detection means, and a comparison result by the comparison means, and a correction Correction means for correcting pixel signals output from pixels arranged in the effective image area based on the correction signal generated by the signal generation means; Provided.
また、本発明に係る信号処理方法は、上述の課題を解決するために、画素が行列状に配置され、光が照射される有効画像領域と、光の照射が遮られる水平遮光画像領域とからなる画素部と、垂直選択線で共通に接続された同一行の画素の制御電極を制御する垂直走査回路と、同一列の画素の主電極が共通に接続された垂直信号線を介して出力される画素信号を行単位で順次出力する水平走査回路と、水平走査回路からの画素信号を出力する出力回路とを有する固体撮像素子から出力される信号の信号処理方法であって、有効画像領域に照射される光を遮光する遮光工程と、遮光工程により光が遮光された状態で有効画像領域に配置されている画素から出力される画素信号に基づき、有効画像領域のオフセット信号を検出する第1の検出工程と、水平遮光画像領域に配置されている画素から出力される画素信号に基づき、水平遮光画像領域の基準となるオフセット信号を検出する第2の検出工程と、第2の検出工程により基準となるオフセット信号を検出した後に、水平遮光画像領域に配置されている画素から出力される画素信号に基づき、水平遮光画像領域のオフセット信号を検出する第3の検出工程と、第2の検出工程により検出された基準オフセット信号と、第3の検出工程により検出された所定時間経過後のオフセット信号を比較する比較工程と、第1の検出工程から検出されたオフセット信号と、比較工程による比較結果とに基づいて補正信号を生成する補正信号生成工程と、補正信号生成工程により生成された補正信号に基づいて、有効画像領域に配置されている画素から出力されている画素信号を補正する補正工程とを備える。 In order to solve the above-described problem, the signal processing method according to the present invention includes an effective image area where pixels are arranged in a matrix and irradiated with light, and a horizontal light-shielded image area where light irradiation is blocked. And a vertical scanning circuit for controlling the control electrodes of the pixels in the same row connected in common by the vertical selection line, and a vertical signal line in which the main electrodes of the pixels in the same column are connected in common. A signal processing method for a signal output from a solid-state imaging device having a horizontal scanning circuit that sequentially outputs pixel signals in units of rows and an output circuit that outputs pixel signals from the horizontal scanning circuit, the method including: A first step of detecting an offset signal of the effective image area based on a pixel signal output from a pixel arranged in the effective image area in a state where the light is blocked by the light shielding process; Detection process and A second detection step for detecting an offset signal serving as a reference for the horizontal shading image region based on a pixel signal output from a pixel arranged in the horizontal shading image region, and an offset signal serving as a reference by the second detection step After the detection, the third detection step of detecting the offset signal of the horizontal light-shielding image region based on the pixel signal output from the pixel arranged in the horizontal light-shielding image region, and the second detection step Based on the reference offset signal, the comparison step for comparing the offset signal detected after the elapse of the predetermined time detected by the third detection step, the offset signal detected from the first detection step, and the comparison result by the comparison step A correction signal generation step for generating a correction signal, and a pixel arranged in the effective image area based on the correction signal generated by the correction signal generation step. And a correction step of correcting a pixel signal that is output.
また、本発明に係るプログラムは、上述の課題を解決するために、画素が行列状に配置され、光が照射される有効画像領域と、光の照射が遮られる水平遮光画像領域とからなる画素部と、垂直選択線で共通に接続された同一行の画素の制御電極を制御する垂直走査回路と、同一列の画素の主電極が共通に接続された垂直信号線を介して出力される画素信号を行単位で順次出力する水平走査回路と、水平走査回路からの画素信号を出力する出力回路とを有する固体撮像素子から出力される信号を処理するプログラムであって、有効画像領域に照射される光を遮光する遮光工程と、遮光工程により光が遮光された状態で有効画像領域に配置されている画素から出力される画素信号に基づき、有効画像領域のオフセット信号を検出する第1の検出工程と、水平遮光画像領域に配置されている画素から出力される画素信号に基づき、水平遮光画像領域の基準となるオフセット信号を検出する第2の検出工程と、第2の検出工程により基準となるオフセット信号を検出した後に、水平遮光画像領域に配置されている画素から出力される画素信号に基づき、水平遮光画像領域のオフセット信号を検出する第3の検出工程と、第2の検出工程により検出された基準オフセット信号と、第3の検出工程により検出された所定時間経過後のオフセット信号を比較する比較工程と、第1の検出工程から検出されたオフセット信号と、比較工程による比較結果とに基づいて補正信号を生成する補正信号生成工程と、補正信号生成工程により生成された補正信号に基づいて、有効画像領域に配置されている画素から出力されている画素信号を補正する補正工程とをコンピュータに実行させるためのものである。 In addition, in order to solve the above-described problem, the program according to the present invention is a pixel including pixels that are arranged in a matrix, an effective image area where light is irradiated, and a horizontal light-shielded image area where light irradiation is blocked. And a vertical scanning circuit for controlling control electrodes of pixels in the same row connected in common by a vertical selection line, and a pixel output through a vertical signal line in which main electrodes of pixels in the same column are connected in common A program for processing a signal output from a solid-state imaging device having a horizontal scanning circuit that sequentially outputs signals in units of rows and an output circuit that outputs pixel signals from the horizontal scanning circuit, and is applied to an effective image area. And a first detection for detecting an offset signal of the effective image area based on a pixel signal output from a pixel arranged in the effective image area in a state where the light is blocked by the light shielding process. Craft And a second detection step for detecting an offset signal serving as a reference for the horizontal light-shielded image region based on a pixel signal output from a pixel arranged in the horizontal light-shielded image region, and a reference by the second detection step. After detecting the offset signal, based on the pixel signal output from the pixel arranged in the horizontal light-shielding image region, a third detection step for detecting the offset signal in the horizontal light-shielding image region, and detection by the second detection step A comparison step for comparing the reference offset signal that has been detected and an offset signal after the elapse of a predetermined time detected by the third detection step, an offset signal detected from the first detection step, and a comparison result by the comparison step A correction signal generation step for generating a correction signal based on the correction signal, and an image arranged in the effective image area based on the correction signal generated by the correction signal generation step. It is intended for executing a correction process for correcting the pixel signal output to the computer from.
本発明では、通常の撮像装置が有する固体撮像素子の構成(有効画像領域とHOPB領域)において、時間の経過により有効画像領域Aのカラムノイズ値が変化した場合に、HOPB領域Bにおけるカラムノイズの変化に応じてカラムノイズ補正値を生成し、当該カラムノイズ補正値によって有効画像領域Aのカラムノイズを適宜補正するので、常に良質な画像を得ることができる。 In the present invention, when the column noise value of the effective image area A changes with the passage of time in the configuration of the solid-state imaging device (effective image area and HOPB area) of a normal imaging apparatus, the column noise in the HOPB area B A column noise correction value is generated according to the change, and the column noise in the effective image area A is appropriately corrected by the column noise correction value, so that a high-quality image can always be obtained.
以下、本発明の実施の形態として、被写体を撮像する撮像装置及び信号処理方法並びにプログラムについて説明する。 Hereinafter, an imaging apparatus, a signal processing method, and a program for imaging a subject will be described as embodiments of the present invention.
撮像装置1は、図1に示すように、入射光を集光するレンズ10と、レンズ10で集光された光を所定時間だけ通過させるシャッタ11と、レンズ10及びシャッタ11を介して入射される被写体の画像を撮像する固体撮像素子12と、シャッタ11と固体撮像素子12を制御する制御部13と、固体撮像素子12により撮像された画素信号に所定の信号処理を行う信号処理部14とを備えている。
As shown in FIG. 1, the
被写体から発せられた光は、レンズ10及びシャッタ11の光学系を経て、固体撮像素子12に入射する。固体撮像素子12は、被写体を撮像する画素部を有している。画素部は、図2に示すように、光が照射される有効画像領域Aと、アルミ薄膜等による遮光板により数カラムから数十カラムに渡って光の照射が遮られる水平オプティカルブラック(以下、HOPBという。)領域Bで構成されている。このHOPB領域Bは、基準となる黒の信号レベルを獲得するために存在する。画像を撮影するときには、有効画像領域AとHOPB領域Bの信号を同一フレーム内に読出し、画像の黒レベルを検出・補正している。本発明では、詳細は以下に述べるが、HOPB領域Bの信号にもカラムノイズが存在することを利用してカラムノイズ成分の変化分をリアルタイムに検出し、メモリに蓄えられたカラムノイズ量に補正処理を行うものである。
Light emitted from the subject enters the solid-
制御部13は、シャッタ11の開閉動作を制御する。また、制御部13は、固体撮像素子12を制御し、選択的に有効画像領域A及びHOPB領域Bに配置されている画素から出力される画素信号S1を信号処理部14に出力させる。
The
ここで、固体撮像素子12について図3を用いて説明する。固体撮像素子12は、例えば、X−Yアドレス型を採用し、図3に示すように、光の照射に応じて電荷を蓄積する感光部15と、感光部15に蓄積されている電荷を出力する画素トランジスタ16からなる画素が行列状に配置されてなる画素部17と、画素部17に配列されている画素を行(ライン)ごとに接続している垂直選択線18にパルス信号を印加する垂直走査回路19と、垂直走査回路19によるパルス信号の印加により、画素部17に配列されている画素を列(カラム)ごとに接続している垂直信号線20に供給された信号のオフセット信号を除去する相関2重サンプリング回路(CDS)21と、CDS21によりオフセット信号が除去された信号を水平信号線22に供給するためのトランジスタ23と、CDS21によりオフセット信号が除去された信号を水平信号線22に供給させるために水平選択線24を介してトランジスタ23にパルス信号を供給する水平走査回路25と、水平走査回路25に供給された信号を信号処理部14に供給する出力回路26とを備える。
Here, the solid-
このようなX−Yアドレス型の固体撮像素子12では、出力回路26から供給される画素信号は、配置されている画素により列(カラム)ごとに垂直信号線4が異なるため、CDS21やトランジスタ23などに特性のばらつきがあると、カラムごとに異なるオフセット信号が画像信号に乗ってしまう。このカラムごとのオフセット信号が表示画面上に筋状の固定パターンノイズ(以下、カラムノイズという。)として現れ、画質の劣化を生じさせてしまう原因となる。固体撮像素子12の後段にある信号処理部14は、このようなカラムノイズを除去する。
In such an XY address type solid-
つぎに、信号処理部14の構成について以下に説明する。信号処理部14は、図4に示すように、固体撮像素子12の出力信号をデジタル信号に変換するAFE(analog front end)部30と、シャッタ11で遮光された有効画像領域Aのカラムノイズ成分を検出するカラムノイズ検出部31と、カラムノイズ検出部31で検出されたカラムノイズ成分を記憶保持するラインメモリ32と、HOPB領域Bのカラムノイズを検出し、基準となるカラムノイズと所定時間経過後のカラムノイズとを比較し、変化を検出するカラムノイズ変化検出部33と、カラムノイズ変化検出部33で検出されたカラムノイズの変化量と、ラインメモリ32に記憶されているカラムノイズに基づいてカラムノイズ補正値を生成するカラムノイズ補正値生成部34と、カラムノイズ補正値生成部34で生成されたカラムノイズ補正値に基づき、AFE部30から供給される画素信号のカラムノイズ成分を補正するカラムノイズ補正部35と、カラムノイズ補正部35の出力信号に所定のカメラ処理を行うカメラ信号処理部36とを備える。
Next, the configuration of the
AFE部30は、固体撮像素子12から供給された画素信号S1をデジタル信号に変換し、変換後の画素信号を出力する。また、AFE部30は、HOPB領域Bに配置されている画素から出力される信号S2をカラムノイズ変化検出部33に供給し、シャッタ11により光が遮光された状態で有効画像領域Aに配置されている画素から出力される信号S3をカラムノイズ検出部31に供給し、シャッタ11により光が遮光されていない状態で有効画像領域Aに配置されている画素から出力される信号S4をカラムノイズ補正部35に供給する。
The
カラムノイズ検出部31は、AFE部30から供給された信号S3に基づき、有効画像領域Aのカラムノイズ値を検出する。カラムノイズ検出部31は、有効画像領域Aのカラムノイズ値を求める時(例えば、工場調整時又は電源投入時)は、制御部13による制御に応じてシャッタ11が閉じられ、有効画像領域Aが遮光された状態における固体撮像素子12からカラムノイズ検出用の信号S3が供給される。カラムノイズ検出部31は、信号S3に基づいて演算を行い、演算により得られた(検出された)カラムノイズ値をラインメモリ32に保存する。なお、カラムノイズ検出部31は、有効画像領域Aのカラムごとにカラムノイズ値を算出し、算出したカラムごとのカラムノイズ値をラインメモリ32に記憶する。
The column
カラムノイズ変化検出部33は、カラムノイズ検出部31により有効画像領域Aのカラムノイズ量を求める時(例えば、工場調整時又は電源投入時)にAFE部30から供給されてきたHOPB領域Bの信号S2に基づいてカラムノイズ(基準カラムノイズ)を検出する。また、カラムノイズ変化検出部33は、基準カラムノイズを検出した後に、AFE部30から供給されてきたHOPB領域Bの信号S2に基づいてカラムノイズ(比較対照カラムノイズ)を検出する。カラムノイズ変化検出部33は、基準カラムノイズと比較対照カラムノイズを比較し、カラムノイズの変化量をリアルタイムに検出する。そして、カラムノイズ変化検出部33は、検出したカラムノイズの変化量をカラムノイズ補正値生成部34に供給する。
The column noise
ここで、カラムノイズ変化検出部33によりカラムノイズの変化を検出する場合の一例について説明する。図5に示すように、HOPB領域Bの各カラムで検出したカラムノイズCNiは正負存在する。そこで、カラムノイズの絶対値|CNi|を取り、平均化A=1/N(Σ|CNi|)を行う(HOPB領域Bのカラム数をNとする)。なお、平均化においては、カラム毎に変化量を求めてから、その変化量を平均化してもよい。
Here, an example in which the column noise
カラムノイズ変化検出部33は、基準カラムノイズAと、画像撮影時のカラムノイズBとの比をカラムノイズの変化量とし、例えば、カラムノイズB/カラムノイズA=2であれば、カラムノイズが2倍に変化したものと想定する。
The column noise
カラムノイズ補正値生成部34は、カラムノイズ変化検出部33から供給されたHOPB領域Bのカラムノイズの変化量に基づいて、ラインメモリ32に保存されている有効画像領域Aのカラムノイズ値を補正し、カラムノイズ補正値を生成する。カラムノイズ補正値生成部34は、生成したカラムノイズ補正値をカラムノイズ補正部35に供給する。
The column noise correction
また、カラムノイズ補正値生成部34は、カラムノイズ変化検出部33で検出されたカラムノイズの変化量をそのままカラムノイズ補正値の生成に使用しても良いが、HOPB領域Bと有効画像領域Aのカラムノイズの特性が多少異なり変化量をそのまま使えない場合には、カラムノイズ変化検出部33で検出されたカラムノイズ変化量に対応する変換テーブルを有し、当該変換テーブルを参照してラインメモリ32に記憶されている有効画像領域Aのカラムノイズ値を補正し、カラムノイズ補正値を生成しても良い。
The column noise correction
また、カラムノイズ補正値生成部34は、カラムノイズ変化検出部33により検出されたカラムノイズ変化量に時定数の大きいフィルタをかけて、カラムノイズ補正部35で用いるカラムノイズ値の変化を緩やかにする構成であっても良いし、ランダムノイズ成分を取り除くフィルタをかけることにより、カラムノイズ変化の検出精度を高める構成であっても良い。
In addition, the column noise correction
また、有効画像領域Aは、熱源(例えば、電源)に近いカラムほど温度による影響を受けやすい傾向にある。撮像装置1は、このような熱源による影響を考慮してカラムノイズ補正値を生成するために、有効画像領域Aの画素を複数のカラムごとに分け、複数のカラムごとにカラムノイズを調整するための調整値を保持する調整値保持部37を備える。
Also, the effective image area A tends to be more susceptible to temperature as the column is closer to the heat source (for example, power source). In order to generate a column noise correction value in consideration of the influence of such a heat source, the
カラムノイズ補正値生成部34は、カラムノイズ変化検出部33から供給されたHOPB領域Bのカラムノイズの変化量と、調整値保持部37により保持されている調整値に基づいて、ラインメモリ32に保存されている有効画像領域Aのカラムノイズ値を補正し、カラムノイズ補正値を生成する。
The column noise correction
カラムノイズ補正部35は、カラムノイズ補正値生成部34から供給されたカラムノイズ補正値に基づき、AFE部30から供給される画素信号のカラムノイズ成分を補正する。カラムノイズ補正部35は、カラムノイズ成分を補正した画素信号をカメラ信号処理部36に供給する。
The column
カメラ信号処理部36は、カラムノイズ補正部35でカラムノイズが補正処理された信号に所定のカメラ信号処理を行う。
The camera
ここで、撮像装置1の動作について説明する。撮像装置1では、通常の画像撮影時には、固体撮像素子12から有効画像領域Aの信号S4とHOPB領域Bの信号S2が読み出され、カラムノイズ変化検出部33によりHOPB領域Bのカラムノイズ量の変化がリアルタイムに観測される。
Here, the operation of the
カラムノイズ補正値生成部34は、カラムノイズ変化検出部33から供給されるカラムノイズの変化量に基づいて、ラインメモリ32に記憶されている有効画像領域Aのカラムノイズ値に補正を行い、カラムノイズ補正値を生成する。
The column noise correction
カラムノイズ補正部35では、カラムノイズ補正値生成部34から供給されるHOPB領域Bのカラムノイズの変化に合わせて補正されたカラムノイズ補正値を用いて、本線系の信号からカラムノイズ成分を減じ、カメラ信号処理部36へと信号を供給する。
The column
このようにして本発明に係る撮像装置1は、通常の撮像装置が有する固体撮像素子12の構成(有効画像領域AとHOPB領域B)において、固体撮像素子12の出力信号をデジタル信号に変換するAFE部30と、シャッタ11で遮光された有効画像領域Aのカラムノイズ成分を検出するカラムノイズ検出部31と、カラムノイズ検出部31で検出されたカラムノイズ成分を記憶保持するラインメモリ32と、HOPB領域Bのカラムノイズを検出し、基準となるカラムノイズと所定時間経過後のカラムノイズとを比較し、変化を検出するカラムノイズ変化検出部33と、カラムノイズ変化検出部33で検出されたカラムノイズの変化量と、ラインメモリ32に記憶されているカラムノイズに基づいてカラムノイズ補正値を生成するカラムノイズ補正値生成部34と、カラムノイズ補正値生成部34で生成されたカラムノイズ補正値に基づき、AFE部30から供給される画素信号のカラムノイズ成分を補正するカラムノイズ補正部35と、カラムノイズ補正部35の出力信号に所定のカメラ処理を行うカメラ信号処理部36とを備える信号処理部14を有し、シャッタ11によって遮光された状態の有効画像領域Aのカラムノイズ値をカラムノイズ検出部31において検出し、HOPB領域Bのカラムノイズ変化量をリアルタイムにカラムノイズ変化検出部33において検出し、カラムノイズ変化検出部33で検出したカラムノイズ変化量に基づいてカラムノイズ検出部31で検出したカラムノイズ値を補正し、カラムノイズ補正値をカラムノイズ補正値生成部34によって生成し、このカラムノイズ補正値に基づいて、通常の画像撮影時において有効画像領域Aから供給された信号S4をカラムノイズ補正部35によって補正するので、時間の経過により有効画像領域Aのカラムノイズ値が変化した場合に、HOPB領域Bにおけるカラムノイズの変化に応じてカラムノイズ補正値を生成し、当該カラムノイズ補正値によって有効画像領域Aのカラムノイズを適宜補正するので、常に良質な画像を得ることができる。
In this way, the
また、本発明に係る撮像装置1では、有効画像領域Aで検出したカラムノイズの変化分を補正するために特別のモードに移行する必要がなく、通常の画像撮影を行いながらリアルタイムにカラムノイズ補正を行うことができ、特に、画像の撮影が連続するような、いわゆる動画撮影において効果を発揮する。
Further, in the
また、本発明では、上述で説明した撮像装置1による一連の処理は、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。また、当該プログラムは、CD−ROMのようなリムーバブルメディアに記録されてユーザに配布されても良いし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されても良い。
In the present invention, the series of processing by the
1 撮像装置、10 レンズ、11 シャッタ、12 固体撮像素子、13 制御部、14 信号処理部、15 感光部、16 画素トランジスタ、17 画素部、18 垂直選択線、19 垂直走査回路、20 垂直信号線、21 相関2重サンプリング回路(CDS)、22 水平信号線、23 トランジスタ、24 水平選択線、25 水平走査回路、26 出力回路、30 AFE(analog front end)部、31 カラムノイズ検出部、32 ラインメモリ、33 カラムノイズ変化検出部、34 カラムノイズ補正値生成部、35 カラムノイズ補正部、36 カメラ信号処理部、37 調整値保持部
DESCRIPTION OF
Claims (6)
上記有効画像領域に照射される光を遮光する遮光手段と、
上記遮光手段により光が遮光された状態で上記有効画像領域に配置されている画素から出力される画素信号に基づき、上記有効画像領域のオフセット信号を検出する第1の検出手段と、
上記水平遮光画像領域に配置されている画素から出力される画素信号に基づき、上記水平遮光画像領域の基準となるオフセット信号を検出する第2の検出手段と、
上記第2の検出手段により上記基準となるオフセット信号を検出した後に、上記水平遮光画像領域に配置されている画素から出力される画素信号に基づき、上記水平遮光画像領域のオフセット信号を検出する第3の検出手段と、
上記第2の検出手段により検出された上記基準オフセット信号と、上記第3の検出手段により検出された所定時間経過後の上記オフセット信号を比較する比較手段と、
上記第1の検出手段から検出されたオフセット信号と、上記比較手段による比較結果とに基づいて補正信号を生成する補正信号生成手段と、
上記補正信号生成手段により生成された上記補正信号に基づいて、上記有効画像領域に配置されている画素から出力されている画素信号を補正する補正手段とを備えることを特徴とする撮像装置。 Control of pixels in the same row that are connected in common by vertical selection lines, and a pixel part that consists of an effective image area in which pixels are arranged in a matrix and light is irradiated, and a horizontal light-shielded image area that is blocked from light irradiation A vertical scanning circuit that controls the electrodes, a horizontal scanning circuit that sequentially outputs pixel signals output via a vertical signal line in which main electrodes of pixels in the same column are connected in common, and the horizontal scanning circuit Solid-state imaging device means having an output circuit for outputting the pixel signal of
A light shielding means for shielding light applied to the effective image area;
First detection means for detecting an offset signal of the effective image area based on a pixel signal output from a pixel arranged in the effective image area in a state where light is blocked by the light shielding means;
Second detection means for detecting an offset signal serving as a reference for the horizontal light-shielded image region based on a pixel signal output from a pixel arranged in the horizontal light-shielded image region;
After the offset signal serving as the reference is detected by the second detection means, a first offset signal for detecting the offset signal in the horizontal light-shielded image area is detected based on the pixel signal output from the pixel arranged in the horizontal light-shielded image area. 3 detection means;
A comparison means for comparing the reference offset signal detected by the second detection means with the offset signal after a predetermined time detected by the third detection means;
Correction signal generation means for generating a correction signal based on the offset signal detected from the first detection means and the comparison result by the comparison means;
An imaging apparatus comprising: correction means for correcting a pixel signal output from a pixel arranged in the effective image area based on the correction signal generated by the correction signal generation means.
上記補正信号生成手段は、上記第1の検出手段から検出されたオフセット信号と、上記比較手段による比較結果と、上記調整値保持手段により保持されている上記調整値に基づいて補正信号を生成することを特徴とする請求項1記載の撮像装置。 The pixel of the effective image area is divided into a plurality of columns, and includes adjustment value holding means for holding an adjustment value for adjusting the offset signal for each of the plurality of columns,
The correction signal generation unit generates a correction signal based on the offset signal detected from the first detection unit, the comparison result by the comparison unit, and the adjustment value held by the adjustment value holding unit. The imaging apparatus according to claim 1.
上記有効画像領域に照射される光を遮光する遮光工程と、
上記遮光工程により光が遮光された状態で上記有効画像領域に配置されている画素から出力される画素信号に基づき、上記有効画像領域のオフセット信号を検出する第1の検出工程と、
上記水平遮光画像領域に配置されている画素から出力される画素信号に基づき、上記水平遮光画像領域の基準となるオフセット信号を検出する第2の検出工程と、
上記第2の検出工程により上記基準となるオフセット信号を検出した後に、上記水平遮光画像領域に配置されている画素から出力される画素信号に基づき、上記水平遮光画像領域のオフセット信号を検出する第3の検出工程と、
上記第2の検出工程により検出された上記基準オフセット信号と、上記第3の検出工程により検出された所定時間経過後の上記オフセット信号を比較する比較工程と、
上記第1の検出工程から検出されたオフセット信号と、上記比較工程による比較結果とに基づいて補正信号を生成する補正信号生成工程と、
上記補正信号生成工程により生成された上記補正信号に基づいて、上記有効画像領域に配置されている画素から出力されている画素信号を補正する補正工程とを備えることを特徴とする信号処理方法。 Control of pixels in the same row that are connected in common by vertical selection lines, and a pixel part that consists of an effective image area in which pixels are arranged in a matrix and light is irradiated, and a horizontal light-shielded image area that is blocked from light irradiation A vertical scanning circuit that controls the electrodes, a horizontal scanning circuit that sequentially outputs pixel signals output via a vertical signal line in which main electrodes of pixels in the same column are connected in common, and the horizontal scanning circuit A signal processing method of a signal output from a solid-state imaging device having an output circuit for outputting the pixel signal of
A light shielding step for shielding the light applied to the effective image area;
A first detection step of detecting an offset signal of the effective image region based on a pixel signal output from a pixel arranged in the effective image region in a state where light is blocked by the light blocking step;
A second detection step of detecting an offset signal serving as a reference for the horizontal light-shielded image region based on a pixel signal output from a pixel arranged in the horizontal light-shielded image region;
After detecting the reference offset signal in the second detection step, the offset signal of the horizontal shading image area is detected based on the pixel signal output from the pixel arranged in the horizontal shading image area. 3 detection steps;
A comparison step of comparing the reference offset signal detected by the second detection step with the offset signal after the elapse of a predetermined time detected by the third detection step;
A correction signal generation step of generating a correction signal based on the offset signal detected from the first detection step and the comparison result of the comparison step;
And a correction step of correcting a pixel signal output from a pixel arranged in the effective image area based on the correction signal generated by the correction signal generation step.
上記有効画像領域に照射される光を遮光する遮光工程と、
上記遮光工程により光が遮光された状態で上記有効画像領域に配置されている画素から出力される画素信号に基づき、上記有効画像領域のオフセット信号を検出する第1の検出工程と、
上記水平遮光画像領域に配置されている画素から出力される画素信号に基づき、上記水平遮光画像領域の基準となるオフセット信号を検出する第2の検出工程と、
上記第2の検出工程により上記基準となるオフセット信号を検出した後に、上記水平遮光画像領域に配置されている画素から出力される画素信号に基づき、上記水平遮光画像領域のオフセット信号を検出する第3の検出工程と、
上記第2の検出工程により検出された上記基準オフセット信号と、上記第3の検出工程により検出された所定時間経過後の上記オフセット信号を比較する比較工程と、
上記第1の検出工程から検出されたオフセット信号と、上記比較工程による比較結果とに基づいて補正信号を生成する補正信号生成工程と、
上記補正信号生成工程により生成された上記補正信号に基づいて、上記有効画像領域に配置されている画素から出力されている画素信号を補正する補正工程とをコンピュータに実行させるためのプログラム。 Control of pixels in the same row that are connected in common by vertical selection lines, and a pixel part that consists of an effective image area in which pixels are arranged in a matrix and light is irradiated, and a horizontal light-shielded image area that is blocked from light irradiation A vertical scanning circuit that controls the electrodes, a horizontal scanning circuit that sequentially outputs pixel signals output via a vertical signal line in which main electrodes of pixels in the same column are connected in common, and the horizontal scanning circuit A program for processing a signal output from a solid-state imaging device having an output circuit for outputting the pixel signal of
A light shielding step for shielding the light applied to the effective image area;
A first detection step of detecting an offset signal of the effective image region based on a pixel signal output from a pixel arranged in the effective image region in a state where light is blocked by the light blocking step;
A second detection step of detecting an offset signal serving as a reference for the horizontal light-shielded image region based on a pixel signal output from a pixel arranged in the horizontal light-shielded image region;
After detecting the reference offset signal in the second detection step, the offset signal of the horizontal shading image area is detected based on the pixel signal output from the pixel arranged in the horizontal shading image area. 3 detection steps;
A comparison step of comparing the reference offset signal detected by the second detection step with the offset signal after the elapse of a predetermined time detected by the third detection step;
A correction signal generation step of generating a correction signal based on the offset signal detected from the first detection step and the comparison result of the comparison step;
A program for causing a computer to execute a correction step of correcting a pixel signal output from a pixel arranged in the effective image area based on the correction signal generated by the correction signal generation step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005262662A JP2007081453A (en) | 2005-09-09 | 2005-09-09 | Imaging apparatus, signal processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005262662A JP2007081453A (en) | 2005-09-09 | 2005-09-09 | Imaging apparatus, signal processing method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007081453A true JP2007081453A (en) | 2007-03-29 |
Family
ID=37941346
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005262662A Withdrawn JP2007081453A (en) | 2005-09-09 | 2005-09-09 | Imaging apparatus, signal processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007081453A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009135787A (en) * | 2007-11-30 | 2009-06-18 | Sony Corp | Noise detector, imaging device and noise detection method |
JP2010219234A (en) * | 2009-03-16 | 2010-09-30 | Canon Inc | Image sensor, and image capturing apparatus |
WO2020124314A1 (en) * | 2018-12-17 | 2020-06-25 | 深圳市大疆创新科技有限公司 | Image processing method, image processing apparatus, image collection apparatus and storage medium |
-
2005
- 2005-09-09 JP JP2005262662A patent/JP2007081453A/en not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009135787A (en) * | 2007-11-30 | 2009-06-18 | Sony Corp | Noise detector, imaging device and noise detection method |
JP2010219234A (en) * | 2009-03-16 | 2010-09-30 | Canon Inc | Image sensor, and image capturing apparatus |
WO2020124314A1 (en) * | 2018-12-17 | 2020-06-25 | 深圳市大疆创新科技有限公司 | Image processing method, image processing apparatus, image collection apparatus and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10785439B2 (en) | Image sensor comprising detection error correction using correction coefficient based on count values from plural pixels | |
JP4379230B2 (en) | Solid-state image sensor device and signal processing method | |
JP5852324B2 (en) | Imaging apparatus, control method therefor, and program | |
JP4396425B2 (en) | Solid-state imaging device and signal processing method | |
JP2006025148A (en) | Signal processing device and method thereof | |
US8422819B2 (en) | Image processing apparatus having a noise reduction technique | |
JP5013811B2 (en) | Imaging apparatus and correction method | |
US20120224086A1 (en) | Image capturing apparatus and control method thereof | |
JP6731626B2 (en) | Imaging device, camera, and imaging method | |
JP5013812B2 (en) | Imaging apparatus and correction method | |
JP5489739B2 (en) | Signal processing apparatus, imaging apparatus, and signal processing method | |
JP2008067060A (en) | Imaging apparatus | |
JP2007081453A (en) | Imaging apparatus, signal processing method, and program | |
JP5222029B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, AND IMAGING DEVICE CONTROL METHOD | |
JP7277251B2 (en) | Imaging device and its control method | |
JP7134786B2 (en) | Imaging device and control method | |
JP5311943B2 (en) | Imaging apparatus, control method, and program | |
JP2009260871A (en) | Imaging apparatus | |
JP2016039491A (en) | Imaging device and driving method therefor | |
JP5404217B2 (en) | Imaging apparatus and control method thereof | |
JP2009284358A (en) | Imaging apparatus | |
JP2006108918A (en) | Imaging apparatus | |
JP2006157341A (en) | Smear correcting method and signal processor for solid-state imaging device, and imaging apparatus | |
JP2006261932A (en) | Solid imaging device, solid imaging system, and black level setting method of solid imaging device | |
JP2006303953A (en) | Black level correcting device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20081202 |