JP2011171950A - Signal processing apparatus, semiconductor device, solid-state imaging device, imaging apparatus, electronic device, and method of suppressing noise - Google Patents
Signal processing apparatus, semiconductor device, solid-state imaging device, imaging apparatus, electronic device, and method of suppressing noise Download PDFInfo
- Publication number
- JP2011171950A JP2011171950A JP2010033055A JP2010033055A JP2011171950A JP 2011171950 A JP2011171950 A JP 2011171950A JP 2010033055 A JP2010033055 A JP 2010033055A JP 2010033055 A JP2010033055 A JP 2010033055A JP 2011171950 A JP2011171950 A JP 2011171950A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- signal
- pixel
- processing
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 309
- 238000000034 method Methods 0.000 title claims abstract description 243
- 238000003384 imaging method Methods 0.000 title claims description 152
- 239000004065 semiconductor Substances 0.000 title claims description 39
- 230000001629 suppression Effects 0.000 claims abstract description 123
- 238000006243 chemical reaction Methods 0.000 claims description 241
- 230000008569 process Effects 0.000 claims description 171
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 43
- 238000003860 storage Methods 0.000 claims description 31
- 230000010354 integration Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 abstract description 45
- 239000006185 dispersion Substances 0.000 abstract 2
- 230000006870 function Effects 0.000 description 56
- 230000000875 corresponding effect Effects 0.000 description 35
- 238000004891 communication Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 25
- 238000013500 data storage Methods 0.000 description 24
- 230000007547 defect Effects 0.000 description 24
- 230000007246 mechanism Effects 0.000 description 24
- 230000008859 change Effects 0.000 description 17
- 238000003745 diagnosis Methods 0.000 description 13
- 238000000926 separation method Methods 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 9
- 238000012546 transfer Methods 0.000 description 9
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 229910052710 silicon Inorganic materials 0.000 description 8
- 239000010703 silicon Substances 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000001066 destructive effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000003321 amplification Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 101100205847 Mus musculus Srst gene Proteins 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 101100481702 Arabidopsis thaliana TMK1 gene Proteins 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910021421 monocrystalline silicon Inorganic materials 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、信号処理装置、半導体装置、固体撮像装置、撮像装置、電子機器、ノイズ抑制方法に関する。より詳細には、素子から取得された信号に含まれるランダムノイズを抑圧する信号処理技術に関する。 The present invention relates to a signal processing device, a semiconductor device, a solid-state imaging device, an imaging device, an electronic apparatus, and a noise suppression method. More specifically, the present invention relates to a signal processing technique for suppressing random noise contained in a signal acquired from an element.
素子から読み出した信号に基づいて、各種の信号処理を行なうことが種々の電子機器で行なわれている。たとえば、半導体を記憶素子とするROM(Read Only Memory)やRAM(Random Access Memory:随時書き込み読み出しメモリ)などの半導体装置、さらにはRAM(たとえば不揮発性の半導体記憶素子であるフラッシュメモリ)を利用したシリコンディスクユニット(SDD:Solid State Drive )などの電子機器が知られている。 Various types of signal processing are performed in various electronic devices based on signals read from the elements. For example, a semiconductor device such as a ROM (Read Only Memory) or a RAM (Random Access Memory) using a semiconductor as a memory element, and a RAM (for example, a flash memory which is a nonvolatile semiconductor memory element) are used. Electronic devices such as a silicon disk unit (SDD: Solid State Drive) are known.
また、光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素(たとえば画素)をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置や、この物理量分布検知半導体装置を使用した電子機器が様々な分野で使われている。 Further, a physical quantity distribution detecting semiconductor device in which a plurality of unit components (for example, pixels) that are sensitive to electromagnetic waves input from the outside such as light and radiation are arranged in a line or matrix, and this physical quantity distribution Electronic equipment using a detection semiconductor device is used in various fields.
たとえば、映像機器の分野では、物理量のうちの光(電磁波の一例)を検知するCCD(Charge Coupled Device )型あるいはMOS(Metal Oxide Semiconductor )やCMOS(Complementary Metal-oxide Semiconductor )型の固体撮像装置が使われている。これらは、単位構成要素(固体撮像装置にあっては画素)によって電気信号に変換された物理量分布を電気信号として読み出す。 For example, in the field of video equipment, a CCD (Charge Coupled Device) type, a MOS (Metal Oxide Semiconductor) type, or a CMOS (Complementary Metal-oxide Semiconductor) type solid-state imaging device that detects light (an example of an electromagnetic wave) of a physical quantity. It is used. These read out, as an electrical signal, a physical quantity distribution converted into an electrical signal by a unit component (a pixel in a solid-state imaging device).
また、固体撮像装置の中には、電荷生成部で生成された信号電荷に応じた画素信号を生成する画素信号生成部に増幅用の駆動トランジスタを有する増幅型固体撮像素子(APS;Active Pixel Sensor /ゲインセルともいわれる)構成の画素を備えた増幅型固体撮像装置がある。 Further, in some solid-state imaging devices, an amplifying solid-state imaging device (APS; Active Pixel Sensor) that has a driving transistor for amplification in a pixel signal generation unit that generates a pixel signal corresponding to the signal charge generated in the charge generation unit. There is an amplification type solid-state imaging device including a pixel having a configuration (also called a gain cell).
ここで、素子から信号を読み出すための出力段には、一般的に、MOS構造(MOSトランジスタ)などの能動素子を用いている。信号の読出し時には、素子から様々なノイズが発生し、信号品質を低下させるという問題がある。 Here, an active element such as a MOS structure (MOS transistor) is generally used for an output stage for reading a signal from the element. When reading a signal, various noises are generated from the element, and there is a problem that the signal quality is lowered.
たとえば、デジタルカメラをはじめとする映像システムにおいては、CCDやCMOSなどを撮像素子として具備する固体撮像装置を使用して画像の取り込みを行なうが、撮像素子から様々なノイズが発生し、画質を低下させている。 For example, in a video system such as a digital camera, an image is captured by using a solid-state imaging device equipped with a CCD, a CMOS, or the like as an imaging device. I am letting.
たとえば、画素サイズの縮小に伴って、RTS(Random Telegraph Signal )ノイズと呼ばれるランダムノイズが問題となってきている。RTSノイズは通常発生頻度はppmオーダーと少ないが、ノイズ振幅が大きいため、画像として非常に目立つ(非特許文献1を参照)。 For example, as the pixel size is reduced, random noise called RTS (Random Telegraph Signal) noise has become a problem. RTS noise usually has a low occurrence frequency on the order of ppm, but because the noise amplitude is large, it is very conspicuous as an image (see Non-Patent Document 1).
ランダムノイズを低減して画質改善を後段の信号処理で行なう技術としては、「平均化法」が知られている(特許文献1を参照)。 An “averaging method” is known as a technique for reducing random noise and improving image quality by subsequent signal processing (see Patent Document 1).
特許文献1の仕組みでは、信号を平均化することにより、ランダムに発生しているノイズを圧縮して、画質S/Nを改善しており、後段の信号処理の負荷(メモリ、帯域幅)を軽減するようにしている。平均化に必要な複数の信号としては、破壊読出しのCCDを使っているため、露光を複数回行なう、いわゆる多重露光法を用いている。
In the mechanism of
しかしながら、特許文献1に記載のような多重露光法を用いたランダムノイズの圧縮法では、複数回の露光時に撮影対象物が移動する、あるいは撮影条件が変わってしまうという、「非同時性」の問題がある。
However, in the random noise compression method using the multiple exposure method as described in
「非同時性」の問題を解消するために、たとえば、多重露光法を用いず平均化を採る別の方法として、特定素子の周辺にある他の素子(隣接素子)の情報を用いる、いわゆる空間補正法を用いることが考えられる。 In order to solve the problem of “non-simultaneousness”, for example, as another method of averaging without using the multiple exposure method, so-called space using information of other elements (adjacent elements) around a specific element is used. It is conceivable to use a correction method.
空間補正法は1回の露光から信号を得るので「同時性」はあるが、隣接素子の信号を用いて平均化しているため、「解像度低下」という問題がある。 The spatial correction method obtains a signal from a single exposure, so that there is “simultaneity”, but there is a problem of “decrease in resolution” because averaging is performed using signals from adjacent elements.
また、従来の「平均化法」は、全ての素子の信号を処理対象として、平均値を求めて、その素子の信号とするものであり、処理負荷が大きくなる難点がある。たとえば、データ記憶用のメモリとして大規模のものが必要になるし、処理速度も低下する。 In addition, the conventional “averaging method” is a method in which the signals of all the elements are processed, the average value is obtained and used as the signal of the elements, and there is a drawback that the processing load increases. For example, a large-scale data storage memory is required, and the processing speed is reduced.
このように、従来の平均化法を適用したノイズ抑制手法は、同時性、解像度、処理負荷に関する各問題を同時に改善できるものとはなっていない。 Thus, the noise suppression method to which the conventional averaging method is applied has not been able to simultaneously improve the problems relating to simultaneity, resolution, and processing load.
本発明は、上記事情に鑑みてなされたものであり、同時性、解像度、処理負荷に関する各問題を同時に改善することのできる仕組みを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a mechanism that can simultaneously improve problems related to simultaneity, resolution, and processing load.
本発明の一態様は先ず、素子が保持している同一の情報をm回(mは2以上の整数)に亘って読み出し、各回の信号のばらつきを求め、m回の各信号のばらつきと予め定められた基準値とを比較して、ばらつきが基準値よりも大きい素子を特定素子として選定する。 According to one embodiment of the present invention, first, the same information held by an element is read m times (m is an integer of 2 or more), and a variation in each signal is obtained. An element having a larger variation than the reference value is selected as the specific element by comparing with the determined reference value.
そして、特定素子を処理対象として、特定素子が保持している同一の情報に基づく信号をM回(Mは2以上の整数)に亘って読み出し、読み出したM個の信号に基づいてノイズが抑制された信号を取得する。 Then, a signal based on the same information held by the specific element is read M times (M is an integer of 2 or more), and noise is suppressed based on the read M signals. Get the signal.
「読み出したM個の信号に基づいて」とは、読み出したM個の各信号の全てを使用することに限らない。たとえば、平均化法を適用する場合に、M回の全ての信号の平均値をとってもよいし、ノイズ量の上位からN(N<M)個を除いたM−N個の信号の平均値をとってもよい。また、好ましくは平均化法を適用するのがよいが、平均値化法に限らず、中央値などM個(あるいはM−N個)の各信号を代表する値を使用してもよい。何れにしても、M個の信号(全てとは限らない)を利用することで、本発明を適用しない従来技術よりも、ノイズが抑制された信号を取得できるような処理であればよい。 “Based on the read M signals” is not limited to using all of the read M signals. For example, when the averaging method is applied, an average value of all M signals may be taken, or an average value of MN signals excluding N (N <M) from the top of the noise amount. It may be taken. In addition, the averaging method is preferably applied. However, the value is not limited to the averaging method, and a value representative of M (or MN) signals such as a median may be used. In any case, it is only necessary to use M signals (not necessarily all) so as to obtain a signal in which noise is suppressed as compared with the prior art to which the present invention is not applied.
特定素子の選定は、信号取得の都度行なう手法と、信号取得とは別に予め行なう手法の何れでもよい。後者の場合は、選定した特定素子の位置情報を記憶部に保持しておき、信号取得の際には、記憶部から読み出した位置情報を参照するようにする。 The selection of the specific element may be either a method performed every time a signal is acquired or a method performed in advance separately from the signal acquisition. In the latter case, the position information of the selected specific element is held in the storage unit, and the position information read from the storage unit is referred to when acquiring a signal.
このような仕組みを採ると、ノイズ抑制処理は、複数の素子の全てについてではなく、ばらつきが基準値よりも大きい特定素子のみを対象とすることができる。 By adopting such a mechanism, the noise suppression process can target only a specific element whose variation is larger than the reference value, not all of the plurality of elements.
ノイズ抑制処理では、素子が保持している同一の情報に基づくM個の信号(全てとは限らない)を使用してノイズが抑制された信号を取得するので、「同時性」が確保される。また、特にノイズが大きな特定素子を選択してノイズが抑制された信号を取得する(たとえば平均化処理を行なう)ので、「解像度」が低下することはないし、複数の素子の全てについて平均化処理を行なう場合よりも「信号処理負荷」を低減することができる。 In noise suppression processing, a signal with suppressed noise is acquired using M signals (not all) based on the same information held by the element, so that "simultaneity" is ensured. . In addition, since a noise-suppressed signal is acquired by selecting a specific element having particularly large noise (for example, averaging processing is performed), the “resolution” does not decrease, and averaging processing is performed for all of a plurality of elements. The “signal processing load” can be reduced as compared with the case of performing the above.
本発明の一態様によれば、同時性、解像度、処理負荷に関する各問題を同時に改善しつつ、ノイズ抑制処理を実現できる。 According to one aspect of the present invention, it is possible to implement noise suppression processing while simultaneously improving problems related to simultaneity, resolution, and processing load.
以下、図面を参照して本発明の実施形態について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
説明は以下の順序で行なう。
1.固体撮像装置の概要
2.固体撮像装置の基本動作(通常のAD変換処理、多重加算AD変換処理)
3.RTSノイズ抑制処理:第1実施形態(基本原理、事例)
4.RTSノイズ抑制処理:第2実施形態
5.RTSノイズ抑制処理:第3実施形態
6.撮像装置
7.電子機器:画素欠陥診断への適用例
8.電子機器:その他の適用例(概略構造、半導体記憶装置への適用例)
The description will be made in the following order.
1. 1. Overview of solid-state imaging device Basic operation of solid-state imaging device (normal AD conversion processing, multiple addition AD conversion processing)
3. RTS noise suppression processing: first embodiment (basic principle, example)
4). 4. RTS noise suppression processing:
以下においては、X−Yアドレス型の固体撮像装置の一例である、電荷変調素子(CMD:Charge Modulation Device)を画素に持つCMD固体撮像装置をデバイスとして使用した場合を例に説明する。ただしこれは一例であって、対象となるデバイスはCMD型の固体撮像装置に限らない。光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素をライン状もしくはマトリクス状に複数個配列してなり、アドレス制御にて信号を読み出す(特に好ましくは、ランダムアドレス制御ができ、非破壊読出しが可能な)物理量分布検知用の半導体装置の全てに、後述する実施形態が同様に適用できる。 In the following, a case where a CMD solid-state imaging device having a charge modulation element (CMD) as a pixel, which is an example of an XY address type solid-state imaging device, is used as a device will be described as an example. However, this is an example, and the target device is not limited to the CMD solid-state imaging device. A plurality of unit components that are sensitive to electromagnetic waves input from the outside, such as light and radiation, are arranged in a line or matrix form, and signals are read by address control (particularly preferably, random address control The embodiments described later can be similarly applied to all semiconductor device for physical quantity distribution detection capable of non-destructive reading.
因みに、CMDは増幅型固体撮像素子(増幅型受光素子)の一例であり、たとえば、特開昭60−140752号、特開平5−95514、「A NEW MOS IMAGE SENSOR OPERATING IN A NON-DESTRUCTIVEREADOUT MODE、1986、IEDM(International Electron Device Meeting )の予稿集、P353 〜356」などに説明されている。 Incidentally, the CMD is an example of an amplification type solid-state imaging device (amplification type light receiving device). For example, Japanese Patent Application Laid-Open No. 60-140752, Japanese Patent Application Laid-Open No. 5-95514, 1986, IEDM (International Electron Device Meeting) Preliminary Book, P353-356.
<固体撮像装置の概要>
図1は、固体撮像装置の一実施形態であるCMD型の固体撮像装置(CMDイメージセンサ)の概略構成図である。なお、固体撮像装置は、半導体装置の一態様でもある。
<Outline of solid-state imaging device>
FIG. 1 is a schematic configuration diagram of a CMD type solid-state imaging device (CMD image sensor) which is an embodiment of the solid-state imaging device. Note that the solid-state imaging device is also an embodiment of a semiconductor device.
なお、本明細書では、以下においては、紙面の横方向を行(Row /ライン)方向、縦方向を列(Column/カラム)方向として説明する。行方向は行が延在する方向、列方向は列が延在する方向とし、相対的には、行が配列される方向(行配列方向)は列方向に該当し、列が配列される方向(列配列方向)は行方向に該当する。 In the present specification, in the following description, the horizontal direction of the paper surface will be described as the row direction, and the vertical direction will be described as the column direction. The row direction is the direction in which the row extends, the column direction is the direction in which the column extends, and the direction in which the rows are arranged (row arrangement direction) corresponds to the column direction, and the direction in which the columns are arranged (Column arrangement direction) corresponds to the row direction.
固体撮像装置1は、入射光量に応じた信号を出力する受光素子(電荷生成部の一例)を含む複数個の画素が行および列に配列された(すなわち2次元マトリクス状の)画素部を有する。固体撮像装置1は、電流電圧変換回路やデジタル変換回路(AD変換回路)などが列並列に設けられているものである。“列並列に電流電圧変換回路やデジタル変換回路が設けられている”とは、垂直列の垂直信号線19(列信号線の一例)に対して実質的に並列に複数の電流電圧変換回路やデジタル変換回路が設けられていることを意味する。
The solid-
図1に示すように、固体撮像装置1は、駆動制御部7、画素アレイ部10、電流電圧変換部24、カラムAD変換部26、参照信号生成部27、出力部28を備えている。画素アレイ部10は、CMD画素を基本素子に有する単位画素3が行および列に配列されており、画素部や撮像部などとも称される。駆動制御部7は、画素アレイ部10の外側に設けられている。固体撮像装置1の画素アレイ部10を除く各部により、ランダムノイズを抑制する処理を行なう信号処理装置が構成される。
As shown in FIG. 1, the solid-
カラムAD変換部26は、複数の単位画素3の内のノイズが予め定められた基準値よりも大きな特定画素を処理対象として、特定画素が保持している同一の情報に基づく信号をM回(Mは2以上の整数)に亘って読み出す信号読出部の機能を持つ。
The column
電流電圧変換部24は、画素アレイ部10の単位画素3(CMD画素)から垂直信号線19を介して供給される電流信号を電圧信号(画素信号電圧Vx)に変換し、垂直信号線19aを介してカラムAD変換部26へ引き渡す。
The current-
カラムAD変換部26は、垂直列ごとに配されたAD変換部250を有する。参照信号生成部27は、カラムAD変換部26にAD変換用の参照信号SLP_ADC を供給する。これらの各機能部は、同一の半導体基板上に設けられている。参照信号SLP_ADC は、全体的にある傾きを持って線形に変化する波形を持つものであればよく、その変化が滑らかなスロープ状を呈するものであってもよいし、階段状に順次変化するものであってもよい。
The column
参照信号比較型AD変換方式を採用する場合に、考え方としては、参照信号生成部27も列並列で(画素列ごとに)設けることも考えられる。たとえば、各画素列に比較器と参照信号発生器を設け、自列の比較器の比較結果を基に、逐次、参照信号の値を対応する列の参照信号発生器で変化させていく構成を採る場合である。しかしながらこれでは回路規模や消費電力が増える。そこで、本実施形態では、参照信号生成部27を全列共通に使用する構成を採り、参照信号生成部27から発生される参照信号SLP_ADC を各画素列のAD変換部250が共通に使用する構成にする。
When adopting the reference signal comparison type AD conversion method, as a way of thinking, it is conceivable to provide the reference
AD変換部250は、少なくともAD変換の機能を備えるが、必要に応じて差分処理の機能も備えるようにしてもよい。AD変換の機能は、画素信号電圧Vxをデジタルデータに変換する。差分処理の機能は、たとえば、暗時レベルSdarkやリセットレベルSrst のAD変換結果(第1相の変換結果)と明時レベルSlight や信号レベルSsig のAD変換結果(第2相の変換結果)との間で差分処理を実行することで、暗時レベルSdarkと明時レベルSlight の差あるいはリセットレベルSrst と信号レベルSsig の差で示される信号成分Vsig のデジタルデータDsig を取得する。暗時レベルSdarkやリセットレベルSrst を第1相レベルS_1stと称し、明時レベルSlight や信号レベルSsig を第2相レベルS_2ndと称する。 The AD conversion unit 250 has at least an AD conversion function, but may also have a difference processing function as necessary. The AD conversion function converts the pixel signal voltage Vx into digital data. The function of the difference processing is, for example, an AD conversion result (first phase conversion result) of dark level Sdark or reset level Srst and an AD conversion result (second phase conversion result) of light level Slight or signal level Ssig. The digital data Dsig of the signal component Vsig indicated by the difference between the dark level Sdark and the light level Slight or the difference between the reset level Srst and the signal level Ssig is acquired. The dark level Sdark and the reset level Srst are referred to as a first phase level S_1st, and the bright level Slight and the signal level Ssig are referred to as a second phase level S_2nd.
駆動制御部7は、画素アレイ部10の信号を順次読み出すための制御回路機能の実現のため水平走査部12(列走査回路)、垂直走査部14(行走査回路)、および通信・タイミング制御部20を備えている。通信・タイミング制御部20は、内部クロックを生成するクロック変換部の機能を持つクロック変換部20aおよび通信機能や各部を制御する機能を持つシステム制御部20bなどを有する。図示しないが、たとえば、水平走査部12は列アドレスや列走査を制御する水平アドレス設定部や水平駆動部などを有し、垂直走査部14は行アドレスや行走査を制御する垂直アドレス設定部や垂直駆動部などを有する。
The drive control unit 7 includes a horizontal scanning unit 12 (column scanning circuit), a vertical scanning unit 14 (row scanning circuit), and a communication / timing control unit for realizing a control circuit function for sequentially reading signals from the
本実施形態の場合、水平走査部12や垂直走査部14は、通常の読出し時には画素位置に対して順番に読み出す典型的な「走査処理」を行なうが、ノイズ低減処理を行なうときにはランダムアクセス処理を行なう。この点については後で詳しく説明する。
In the present embodiment, the
出力部28は、水平信号線18上の信号(デジタルデータではあるが小振幅)を検出するセンスアンプ28a(S・A)と、固体撮像装置1と外部とのインタフェース機能をなすインタフェース部28b(I/F部)を有する。インタフェース部28bの出力は出力端5cに接続されており、映像データが後段回路に出力される。
The output unit 28 includes a
本実施形態では、センスアンプ28aとインタフェース部28bとの間に、各種のデジタル演算処理を行なうデジタル演算部29(信号処理ブロック)を設けている。デジタル演算部29は、少なくとも、AD変換部250ではなくAD変換部250の後段にてノイズ抑制処理(たとえば平均化処理)を行なうノイズ抑制処理部(平均化処理部)の機能を持つ。
In the present embodiment, a digital operation unit 29 (signal processing block) that performs various digital operation processes is provided between the
このノイズ抑制処理は、読み出した複数回(全てとは限らない)の信号に基づいて、本実施形態を適用しない従来技術よりも、ノイズが抑制された信号を取得できるような処理であればよく、典型的には平均化処理を適用することが考えられる。平均化処理は、複数回のAD変換処理を繰り返して得られたAD変換部250から出力されるデジタルデータに対して、その複数回に対応した平均化を行なうことを意味する。 The noise suppression process may be any process that can acquire a signal with suppressed noise, based on the read signals of a plurality of times (not necessarily all), as compared to the conventional technique to which the present embodiment is not applied. Typically, an averaging process can be applied. The averaging process means that the digital data output from the AD conversion unit 250 obtained by repeating a plurality of AD conversion processes is averaged corresponding to the plurality of times.
平均化処理の際には、全ての信号の平均値をとることに限らず、ノイズ量の上位から幾つかを除いた残りの信号の平均値をとってもよい。好ましくは平均化法を適用するのがよいが、平均値化法に限らず、中央値など複数個(ノイズ量の多いものを除いた残りでもよい)の各信号を代表する値を使用してもよい。以下では特に断らない限り、平均化処理を適用するものとする。 The averaging process is not limited to taking the average value of all signals, but may take the average value of the remaining signals excluding some from the top of the noise amount. Preferably, the averaging method is applied, but not limited to the averaging method, the median value such as the median value (which may be the remainder excluding the one with a large amount of noise) is used as a representative value. Also good. Hereinafter, unless otherwise specified, the averaging process is applied.
ノイズ抑制の目的としては、AD変換で発生するノイズの低減を目的とする全画素について行なう多重加算AD変換処理の場合と、画素アレイ部10の単位画素3からカラムAD変換部26へ画素信号を読み出す際に発生するRTS(Random Telegraph Signal )ノイズと呼ばれるランダムノイズの低減を目的とする個別画素について行なう場合がある。
The purpose of noise suppression is the case of multiple addition AD conversion processing performed for all pixels for the purpose of reducing noise generated by AD conversion, and the pixel signal from the
前者の場合、デジタル演算部29は、カラムAD変換部26にて複数回のAD変換処理を繰り返して得られたAD変換部250から出力されるデジタルデータに対して、典型的には、その複数回(全てとは限らずノイズ量の多いものを除いた残りでもよい)に対応した平均化処理を行なう。
In the former case, the
後者の場合、デジタル演算部29は、カラムAD変換部26が読み出したM個(全てとは限らない)の信号に基づいてノイズが抑制された信号を取得する平均化処理部(ノイズ抑制部)の機能を持つ。平均化処理(ノイズ抑制処理)の際には、M個の信号の平均値をとってもよいし、ノイズ量の上位からN(N<M)個を除いたM−N個の信号の平均値をとってもよい。
In the latter case, the digital
また、後者の場合、デジタル演算部29は、素子(単位画素3)が保持している同一の情報をm回(mは2以上の整数)に亘って読み出し、各回の信号のばらつきを求め、m回の各信号のばらつきが予め定められた基準値よりも大きい素子(単位画素3)を特定素子(特定画素)として選定する特定素子選定部(特定画素選定部)の機能を持つ。
In the latter case, the
AD変換部250にノイズ抑制処理部(平均化処理部など)の機能を持たせる構成にすることも可能であるが、その場合、AD変換部250の構成が複数回の信号を使ったノイズ抑制処理(平均化処理など)に対応した構成としなくてはならず、AD変換部250の回路スペースが増える。これに対して、AD変換部250の後段にノイズ抑制処理部(平均化処理部など)の機能を持つデジタル演算部29を設ければ、AD変換部250の回路スペースを増やさずに、ノイズ抑制処理(平均化処理など)を実現できる。
The AD converter 250 may be configured to have the function of a noise suppression processing unit (such as an averaging processing unit). In this case, the AD conversion unit 250 is configured to suppress noise using a plurality of signals. A configuration corresponding to processing (such as averaging processing) must be provided, and the circuit space of the AD conversion unit 250 increases. On the other hand, if the
クロック変換部20aは、端子5aからのマスタークロックCLK0に基づいて、マスタークロックCLK0よりも高速のクロック周波数のパルスを生成する逓倍回路を内蔵しており、カウントクロックCKcnt1やカウントクロックCKdac1などの内部クロックを生成する。クロック変換部20aの逓倍回路としては、k1をマスタークロックCLK0の周波数の倍数としたときk1逓倍回路を設ければよく、位相同期ループ回路(PLL:Phase-locked loop )など、周知の様々な回路を利用することができる。マスタークロックCLK0よりもカウントクロックCKcnt1やカウントクロックCKdac1の周波数を高くすることで、AD変換処理やデータ出力処理などを高速に動作させることができるようになる。また、デジタル演算部29を設ける際、高速クロックを用いて、高速の計算を必要とする動き抽出や圧縮処理を行なうことができる。
The clock conversion unit 20a has a built-in multiplication circuit that generates a pulse having a clock frequency higher than that of the master clock CLK0 based on the master clock CLK0 from the terminal 5a. The clock conversion unit 20a includes internal clocks such as the count clock CKcnt1 and the count clock CKdac1. Is generated. As the multiplication circuit of the clock conversion unit 20a, a k1 multiplication circuit may be provided when k1 is a multiple of the frequency of the master clock CLK0. Various known circuits such as a phase-locked loop (PLL) Can be used. By making the frequency of the count clock CKcnt1 and the count clock CKdac1 higher than the master clock CLK0, AD conversion processing, data output processing, and the like can be operated at high speed. In addition, when the digital
図1では、簡単のため行および列の一部を省略して示しているが、現実には各行や各列には、数十から数千の信号電荷増幅機能を持つ単位画素3(CMD画素)が配置される。 In FIG. 1, for the sake of simplicity, some of the rows and columns are omitted, but in reality, each row and each column has a unit pixel 3 (CMD pixel) having several tens to thousands of signal charge amplification functions. ) Is arranged.
固体撮像装置1は、カラー画像を撮像するための複数色の色フィルタの組合せからなる色分解(色分離)フィルタを使用することで、画素アレイ部10をカラー撮像対応にすることができる。すなわち、画素アレイ部10における各電荷生成部(フォトダイオードなど)の電磁波(本例では光)が入射される受光面に色分解フィルタの何れの色フィルタを、たとえばいわゆるベイヤー(Bayer)配列などにして設けることで、カラー画像撮像対応とする。
The solid-
単位画素3は、行選択のための行制御線15を介して垂直走査部14と、また垂直信号線19を介してAD変換部250が垂直列ごとに設けられているカラムAD変換部26と、それぞれ接続されている。ここで、行制御線15は垂直走査部14から単位画素3に入る配線全般を示す。
The
水平走査部12や垂直走査部14などの駆動制御部7の各要素は、画素アレイ部10とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成されたものとする。すなわち、いわゆる1チップもの(同一の半導体基板上に設けられているもの)として、半導体システムの一例であるCMOSイメージセンサとして、固体撮像装置1の一部をなすように構成される。
The elements of the drive control unit 7 such as the
固体撮像装置1は、このように各部が半導体領域に一体的に形成された1チップとして形成された形態に限定されない。図示を割愛するが、画素アレイ部10、駆動制御部7、カラムAD変換部26などの各種の信号処理部の他の機能部をも含む状態で、これらを纏めてパッケージングされた撮像機能を有するモジュール状の形態としてもよい。他の機能部としては、たとえば、撮影レンズ、光学ローパスフィルタ、あるいは赤外光カットフィルタなどの光学系が該当する。
Thus, the solid-
水平走査部12や垂直走査部14は、通信・タイミング制御部20から与えられる制御信号CN1,CN2に応答してシフト動作(走査)を開始するようになっている。このためたとえば、行制御線15には、単位画素3を駆動するための種々のパルス信号(たとえば、初期化制御電位を規定する画素リセットパルスRST 、転送制御電位を規定する転送パルスTRG 、垂直選択パルスVSELなど)が含まれる。
The
通信・タイミング制御部20のシステム制御部20bは、タイミングジェネレータTG(読出アドレス制御装置の一例)の機能ブロックと、通信インタフェースの機能ブロックを備える。タイミングジェネレータTGの機能ブロックは、各部の動作に必要なクロックや所定タイミングのパルス信号を供給する。通信インタフェースの機能ブロックは、端子5a(外部の主制御部)から供給されるマスタークロックCLK0を受け取り、端子5b(外部の主制御部)から供給される動作モードなどを指令するデータを受け取る。通信インタフェースの機能ブロックは、さらに固体撮像装置1の情報を含むデータを外部の主制御部に出力する。
The
通信・タイミング制御部20は、たとえば、水平アドレス信号を水平走査部12へ、また垂直アドレス信号を垂直走査部14へ出力し、各走査部12,14は、それを受けて対応する行もしくは列を選択する。この際、単位画素3を2次元マトリクス状に配置してあるので、単位画素3により生成され垂直信号線19を介して列方向に出力されるアナログの画素信号(電流信号)を行単位で(列並列で)アクセスし取り込む(垂直)スキャン読みを行なうのがよい。さらに、この後に、垂直列の並び方向である行方向にアクセスし画素信号(本例ではデジタル化された画素データ)を出力側へ読み出す(水平)スキャン読みを行なうようにすることで、画素信号や画素データの読出しの高速化を図るのがよい。
The communication /
もちろん、スキャン読みに限らず、読み出したい単位画素3を直接にアドレス指定することで、必要な単位画素3の情報のみを読み出すランダムアクセス(特にフルランダムアクセスと称する)も可能である。また、行位置のみを必要なものに設定し、その同一ラインの全画素について一度に信号を読み出すランダムアクセス(特にセミランダムアクセスと称する)にすることも考えられる。本実施形態の場合、カラム読出しを行なうので、フルランダムアクセスよりもセミランダムアクセスを適用するのが好適である。
Of course, not only scan reading but also random access (particularly referred to as full random access) for reading out only the information of the
本実施形態では、RTSノイズの低減を目的とする平均化処理時には、RTSノイズの大きな単位画素3(特に特定画素3aと称する)を対象として、蓄積されている信号を複数回読み出して平均加算することで、特定画素3aのノイズを選択的に抑圧する手法を採る。また、特定画素3aの選択処理時や平均化処理時には、同一画素の信号を複数回読み出すので、信号を読み出した後にも信号電荷が単位画素3に蓄積され続けている形態の構造(いわゆる非破壊読出しが可能な構造)を持つことが必要となる。CMD画素は、このような要求に応え得る典型的なものである。
In the present embodiment, during the averaging process for the purpose of reducing the RTS noise, the accumulated signal is read a plurality of times and averaged for the unit pixel 3 (particularly referred to as the specific pixel 3a) having a large RTS noise. Thus, a technique of selectively suppressing noise of the specific pixel 3a is adopted. Further, during the selection process or the averaging process of the specific pixel 3a, the signal of the same pixel is read out a plurality of times, so that a structure in which signal charges are continuously accumulated in the
さら、本実施形態では、RTSノイズの低減を目的とする平均化処理時には、ランダムアクセスを適用して特定画素3aの位置にアクセスする手法を採る。ただし、ランダムアクセスを適用することは必須ではなく、順番に画素位置を走査していき、特定画素3aの存在する位置に達したときに、特定画素3aについて複数回の信号の読取りと平均化を行なうようにしてもよい。ただしこの場合、ランダムアクセスを適用する場合よりも処理時間が掛る難点がある。 Furthermore, in the present embodiment, at the time of averaging processing aiming to reduce RTS noise, a method of accessing the position of the specific pixel 3a by applying random access is adopted. However, it is not essential to apply random access. When the pixel position is scanned in order and the position where the specific pixel 3a exists, the signal is read and averaged multiple times for the specific pixel 3a. You may make it perform. However, in this case, there is a problem that it takes more processing time than when random access is applied.
また、通信・タイミング制御部20では、端子5aを介して入力される入力クロックCLK0(マスタークロック)に同期したクロックをデバイス内の各部、たとえば水平走査部12、垂直走査部14、カラムAD変換部26などに供給する。
Further, in the communication /
カラムAD変換部26の各AD変換部250には、カウントクロックCKcnt1が共通に供給されており、対応する列の単位画素3のアナログの画素信号電圧Vxを受けて、その画素信号電圧Vxを処理する。たとえば、各AD変換部250は、画素信号電圧Vxを、カウントクロックCKcnt1を用いて、デジタルデータに変換するADC(Analog Digital Converter)回路を持つ。
The AD clocks CKcnt1 are commonly supplied to the AD converters 250 of the
カラムAD変換部26におけるAD変換処理としては、行単位で並列に保持されたアナログ信号(画素信号電圧Vx)を、列ごとに設けられたAD変換部250を使用して、行ごとに並列にAD変換する方法を採る。この際には、参照信号比較型AD変換の手法を使用する。この手法は、簡単な構成でAD変換器が実現できるため、並列に設けても回路規模が大きくならないという特徴を有している。
As an AD conversion process in the column
[カラムAD回路と参照信号生成部の詳細]
参照信号比較型のAD変換に当たっては、変換開始(比較処理の開始)から変換終了(比較処理の終了)までの時間に基づいてカウント動作有効期間(その期間を示す信号をカウントイネーブル信号ENと称する)を決定し、カウントイネーブル信号ENに基づきアナログの処理対象信号をデジタルデータに変換する。
[Details of column AD circuit and reference signal generator]
In the reference signal comparison type AD conversion, the count operation valid period (a signal indicating the period is referred to as a count enable signal EN) based on the time from the conversion start (comparison process start) to the conversion end (comparison process end). ) And the analog processing target signal is converted into digital data based on the count enable signal EN.
カウント動作有効期間としては、AD変換部250にて第1相の変換結果と第2相の変換結果の差分処理を行なう場合には、種々の方法を採り得る。たとえば一般的には、各相の処理時に何れも、カウント開始を参照信号SLP_ADC の変化開始時点としカウント終了を参照信号SLP_ADC と処理対象信号電圧とが一致する時点(事実上は交差する時点:以下同様)とする第1処理例を採り得る。この場合、1画素の信号成分Vsig のデジタルデータDsig を取得するための第1相・第2相のカウント処理において、カウンタを、ダウンカウント動作とアップカウント動作を切り替えて動作させる。 As the count operation effective period, when the AD conversion unit 250 performs the difference process between the first phase conversion result and the second phase conversion result, various methods can be employed. For example, generally, at the time of processing of each phase, the count start is the change start time of the reference signal SLP_ADC, and the count end is the time when the reference signal SLP_ADC and the signal voltage to be processed coincide (effectively crossing time: The same example can be taken. In this case, in the first-phase / second-phase count processing for acquiring the digital data Dsig of the signal component Vsig of one pixel, the counter is operated by switching between the down-count operation and the up-count operation.
または、AD変換部250にて第1相成分と第2相成分との間の差分処理を行なう場合に、次の第2処理例を採ることもできる。各相の処理の何れか一方は、カウント開始を参照信号SLP_ADC の変化開始時点としカウント終了を参照信号SLP_ADC と処理対象信号電圧とが一致する時点とする。他方はカウント開始を参照信号SLP_ADC と処理対象信号電圧とが一致する時点としカウント終了をその回の所望のカウント数に到達する時点(典型的には最大AD変換期間が到達した時点)とする。この場合、カウンタは、第1相・第2相のカウント処理において、ダウンカウント動作とアップカウント動作の何れか一方のみで動作すればよい。 Alternatively, when the AD converter 250 performs difference processing between the first phase component and the second phase component, the following second processing example may be employed. In one of the processes of each phase, the count start is set as the change start time of the reference signal SLP_ADC, and the count end is set as the time when the reference signal SLP_ADC matches the processing target signal voltage. On the other hand, the count start is the time when the reference signal SLP_ADC coincides with the signal voltage to be processed, and the count end is the time when the desired count is reached (typically, when the maximum AD conversion period is reached). In this case, the counter only needs to operate in one of the down-count operation and the up-count operation in the first-phase / second-phase count processing.
考え方としては、AD変換部250の後段(たとえばデジタル演算部29)にて第1相成分と第2相成分との間の差分処理を行なうことも考えられる。この場合には、次の第3処理例を採ることもできる。各相の処理時に何れも、カウント開始を参照信号SLP_ADC の変化開始時点とする。カウント終了を参照信号SLP_ADC と処理対象信号電圧とが一致する時点、もしくはカウント開始を参照信号SLP_ADC と処理対象信号電圧とが一致する時点としカウント終了をその回の所望のカウント数に到達する時点(典型的には最大AD変換期間が到達した時点)とする。この場合、カウンタは、第1相・第2相のカウント処理において、ダウンカウント動作とアップカウント動作の何れか一方のみで動作すればよい。 As a way of thinking, it is also conceivable to perform difference processing between the first phase component and the second phase component in the subsequent stage of the AD conversion unit 250 (for example, the digital calculation unit 29). In this case, the following third processing example can be taken. In each phase processing, the count start is set as the change start time of the reference signal SLP_ADC. When the count ends when the reference signal SLP_ADC and the processing target signal voltage match, or when the count starts when the reference signal SLP_ADC and the processing target signal voltage match, and when the count end reaches the desired count of that time ( Typically, when the maximum AD conversion period is reached. In this case, the counter only needs to operate in one of the down-count operation and the up-count operation in the first-phase / second-phase count processing.
AD変換部250にて差分処理を完結させておくときには、この第3処理例は採らない。ただし、第1相データと第2相データを個別に出力部28側に転送し、AD変換部250の後段にて(たとえばデジタル演算部29で)差分処理を行なうようにしてもよい。 The third processing example is not taken when the AD converter 250 completes the difference process. However, the first phase data and the second phase data may be individually transferred to the output unit 28 side, and the difference process may be performed at the subsequent stage of the AD conversion unit 250 (for example, in the digital calculation unit 29).
なお、ここでは、3つの処理例を説明したが、その他にも、AD変換部250にてAD変換と差分処理(たとえばCDS処理)を行なう参照信号比較型のAD変換方式が種々知られており、それらも基本的には後述する実施形態で採用し得るものである。 Although three processing examples have been described here, various reference signal comparison type AD conversion methods in which the AD conversion unit 250 performs AD conversion and difference processing (for example, CDS processing) are also known. Basically, they can also be adopted in the embodiments described later.
何れの処理例においても、原理的には、コンパレータ(電圧比較器)にランプ状の参照信号SLP_ADC を供給するとともに、垂直信号線19aを介して入力されたアナログの画素信号電圧Vxを参照信号SLP_ADC と比較する。この過程で、カウント動作有効期間に入るとクロック信号でのカウント(計数)を開始することによって、指定されているカウント動作有効期間におけるクロック数をカウントすることでAD変換を行なう。
In any processing example, in principle, a ramp-like reference signal SLP_ADC is supplied to a comparator (voltage comparator), and an analog pixel signal voltage Vx input via the
AD変換部250は、比較部252(COMP:コンパレータ)とカウンタ部254を備えて構成されている。比較部252は、参照信号生成部27で生成される参照信号SLP_ADC と行制御線15ごとに単位画素3から垂直信号線19(H1,H2,…,Hh)を経由し得られるアナログの画素信号を比較する。カウンタ部254は、比較部252が比較処理を完了するまでの時間と一定の関係を持つカウントイネーブル信号ENのアクティブ期間をカウントクロックCKcnt1でカウントし、カウント結果を保持する。
The AD conversion unit 250 includes a comparison unit 252 (COMP: comparator) and a
参照信号生成部27は、DA変換部270(DAC;Digital Analog Converter)を有して構成されている。参照信号生成部27は、通信・タイミング制御部20からの制御データCN4で示される初期値からカウントクロックCKdac1に同期して、階段状の鋸歯状波(ランプ波形;以下参照信号SLP_ADC とも称する)をDA変換部270により生成する。参照信号生成部27は、カラムAD変換部26の個々のAD変換部250に、生成した階段状の鋸歯状波の参照信号SLP_ADC をAD変換用の参照電圧(ADC基準信号)として供給するようになっている。図示を割愛しているが、ノイズ防止用のフィルタを設けるとよい。カウントクロックCKdac1はカウンタ部254用のカウントクロックCKcnt1と同一にしてもよい。
The reference
通信・タイミング制御部20から参照信号生成部27のDA変換部270に供給する制御データCN4は、比較処理ごとの参照信号SLP_ADC が基本的には同じ傾き(変化率)となるように、時間に対するデジタルデータの変化率を同じにする情報も含んでいる。具体的には、電流を出力型のDA変換回路を使用して、カウントクロックCKdac1に同期して、単位時間ごとに1ずつカウント値を変化せ、カウント値に応じた電流を出力するようにする。そして、電流信号を電流電圧変換用の抵抗素子で電圧信号に変換するようにする。
The control data CN4 supplied from the communication /
カラムAD変換処理においては、列ごとに配された比較部252にDA変換部270から参照信号SLP_ADC が共通に供給され、各比較部252が処理を担当する画素信号電圧Vxについて、共通の参照信号SLP_ADC を使用して比較処理を行なう。カウンタ部254は、カウントイネーブル信号ENのアクティブ期間(Hレベルのとき)にカウントクロックCKcnt1を元にカウント処理を行ない、カウント処理終了時のカウント結果を保持する。
In the column AD conversion processing, the reference signal SLP_ADC is commonly supplied from the
通信・タイミング制御部20から各AD変換部250のカウンタ部254には、種々の制御情報を指示する制御信号CN5が入力されている。制御信号CN5はたとえば、カウンタ部254が第1相・第2相のカウント処理をダウンカウントモードで動作するのかアップカウントモードで動作するのかや、第1相のカウント処理における初期値Dini の設定やリセット処理などを指示するものである。
A control signal CN5 for instructing various control information is input from the communication /
比較部252は、一方の入力端子(+)は、他の比較部252の入力端子(+)と共通に、参照信号生成部27で生成される参照信号SLP_ADC が入力される。比較部252は、他方の入力端子(−)には、それぞれ対応する垂直列の垂直信号線19aが接続され、電流電圧変換部24により電流電圧変換がなされた画素信号電圧Vxが個々に入力される。
One input terminal (+) of the
カウンタ部254のクロック端子CKには、他のカウンタ部254のクロック端子CKと共通に、通信・タイミング制御部20からカウントクロックCKcnt1が入力されている。カウンタ部254は、その構成については図示を割愛するが、ラッチで構成されたデータ記憶部の配線形態を同期カウンタ形式やリップルカウンタ形式に変更することで実現でき、1本のカウントクロックCKcnt1の入力で内部カウントを行なうようになっている。
The count clock CKcnt1 from the communication /
カウンタ部254は、1画素の信号成分Vsig のデジタルデータDsig を取得するための第1相・第2相のカウント処理において、ダウンカウント動作とアップカウント動作を切り替えて動作させる第1処理例をとり得る。この場合には、好ましくは、ダウンカウント動作とアップカウント動作を切替可能なアップダウンカウンタを用いるのがよい。
The
一方、第1相・第2相のカウント処理において、ダウンカウント動作とアップカウント動作の何れか一方のみで動作すればよい第2処理例や第3処理例の場合には、その動作に対応するアップカウンタもしくはダウンカウンタの何れかであれば十分である。ただし、原理的には、利用形態として、ダウンカウント動作とアップカウント動作を切替可能なアップダウンカウンタを用いて、ダウンカウント動作とアップカウント動作の何れか一方で動作させるようにしても差し支えない。しかしながら通常は、アップダウンカウンタは、そのモード切替用の回路構成が必要であり、アップカウンタやダウンカウンタと言った単一のカウントモードのみに対応した構成に比べると回路規模が大きくなる。このため、何れか一方のみで動作すればよい場合にはアップダウンカウンタを採用しないのがよい。 On the other hand, in the case of the second processing example and the third processing example in which only one of the down-counting operation and the up-counting operation needs to be performed in the first-phase / second-phase counting processing, this corresponds to the operation. Either an up counter or a down counter is sufficient. However, in principle, as an application form, an up / down counter capable of switching between a down count operation and an up count operation may be used to operate either the down count operation or the up count operation. However, normally, an up / down counter requires a circuit configuration for mode switching, and the circuit scale is larger than a configuration corresponding to only a single count mode such as an up counter or a down counter. For this reason, it is better not to employ an up / down counter when only one of them needs to be operated.
カウンタ部254には、水平走査部12から制御線12cを介して制御パルスが入力される。カウンタ部254は、カウント結果を保持するラッチ機能を有しており、制御線12cを介しての制御パルスによる指示があるまでは、カウンタ出力値を保持する。
A control pulse is input to the
個々のAD変換部250の出力側はたとえば、カウンタ部254の出力を水平信号線18に接続することができる。または、図示のように、カウンタ部254の後段に、カウンタ部254の保持したカウント結果を保持するラッチを具備したデータ記憶部256(メモリ装置)と、カウンタ部254とデータ記憶部256との間に配されたスイッチ部258を備える構成でもよい。スイッチ部258は、垂直列ごとにスイッチSWを有する。
For example, the output side of each AD conversion unit 250 can connect the output of the
データ記憶部256を備える構成の場合、スイッチSWには、他の垂直列のスイッチSWと共通に、通信・タイミング制御部20から、所定のタイミングで、制御パルスとしてのメモリ転送指示パルスCN8が供給される。スイッチ部258のスイッチSWは、メモリ転送指示パルスCN8が供給されると、対応するカウンタ部254のカウント値をデータ記憶部256に転送する。データ記憶部256は、転送されたカウント値を保持・記憶する。
In the case of the configuration including the data storage unit 256, the memory transfer
カウンタ部254のカウント値を所定のタイミングでデータ記憶部256に保持させる仕組みは、両者間にスイッチ部258を配する構成に限らない。たとえば、カウンタ部254とデータ記憶部256を直接に接続しつつ、カウンタ部254の出力イネーブルをメモリ転送指示パルスCN8で制御することで実現することもできる。データ記憶部256のデータ取込タイミングを決めるラッチクロックとしてメモリ転送指示パルスCN8を用いることでも実現できる。
The mechanism for holding the count value of the
データ記憶部256には、水平走査部12から制御線12cを介して制御パルスが入力される。データ記憶部256は、制御線12cを介しての制御パルスによる指示があるまでは、カウンタ部254から取り込んだカウント値を保持する。
A control pulse is input to the data storage unit 256 from the
水平走査部12は、カラムAD変換部26の各比較部252とカウンタ部254とが、それぞれが担当する処理を行なうのと並行して、各データ記憶部256が保持していたカウント値を読み出す読出走査部の機能を持つ。
The
データ記憶部256の出力は、水平信号線18に接続されている。水平信号線18は、AD変換部250のビット幅分もしくはその2倍幅分(たとえば相補出力とするとき)の信号線を有し、それぞれの出力線に対応したセンスアンプ28aを有する出力部28に接続される。
The output of the data storage unit 256 is connected to the horizontal signal line 18. The horizontal signal line 18 has a signal line corresponding to the bit width of the AD conversion unit 250 or a double width thereof (for example, complementary output), and an output unit 28 having a
データ記憶部256を備えた構成とすれば、カウンタ部254が保持したカウント結果を、データ記憶部256に転送することができる。このため、カウンタ部254のカウント動作すなわちAD変換処理と、カウント結果の水平信号線18への読出動作を独立して制御可能であり、AD変換処理と外部への信号の読出動作を並行して行なうパイプライン動作が実現できる。
If the data storage unit 256 is provided, the count result held by the
このような構成において、AD変換部250は、所定の画素信号読出期間において、カウント動作を行ない、所定のタイミングでカウント結果を出力する。すなわち、先ず、比較部252では、参照信号生成部27からの参照信号SLP_ADC と、垂直信号線19aを介して入力される画素信号電圧Vxを比較する。双方の電圧が同じになると、比較部252の比較出力Co(コンパレート出力)が反転する。たとえば、比較部252は、電源電位などのHレベルをインアクティブ状態として、画素信号電圧Vxと参照信号SLP_ADC とが一致したときに、Lレベル(アクティブ状態)へ遷移する。
In such a configuration, the AD conversion unit 250 performs a count operation in a predetermined pixel signal readout period and outputs a count result at a predetermined timing. That is, first, the
カウンタ部254は、比較部252からの比較出力Coをカウントイネーブル信号ENとして使用する。カウンタ部254は、カウントイネーブル信号ENがアクティブの期間(比較部252の比較出力CoがHの期間)のカウントクロックCKcnt1の数を画素データとしてラッチ(保持・記憶)することでAD変換を完了する。
The
通信・タイミング制御部20は、通常のAD変換処理時にはnビットでAD変換を行ない、多重加算AD変換処理時にはnビットでW回のAD変換を行ないデジタル積分処理を実行するように、参照信号生成部27やカウンタ部254を制御する。これに対応するように、本実施形態では、カウンタ部254、データ記憶部256、スイッチ部258、および水平信号線18はそれぞれ、“n+M”ビットに対応した構成を採っている。
The communication /
ここで、参照信号比較型のAD変換処理を複数回繰り返すときの回数Wと、カウンタ部254に対するnビットからの増分のビット数Mとは、“2^(M−1)<W≦2^M”を満たすようにする。たとえば、繰返し回数Wが2のときは1ビット分増やし、繰返し回数Wが3または4のときは2ビット分増やし、繰返し回数Wが5〜8の何れかのときは3ビット分増やすことになる。これは、参照信号比較型のAD変換処理をW回繰り返すと、信号のデジタルデータがW倍となり、これを問題なく処理するために必要なビット数の関係から規定されるものである。
Here, the number of times W when the reference signal comparison type AD conversion processing is repeated a plurality of times and the number of bits M incremented from n bits for the
[参照信号生成部]
図2は、固体撮像装置1において使用される参照信号生成部27のDA変換部270の構成例を示す図である。DA変換部270は、定電流源の組合せで構成されている電流源部302と、カウンタ部312と、オフセット生成部314と、電流源制御部316と、基準電流値I_0を設定する基準電流源部330を備え、電流出力型のDA変換回路となっている。電流源部302の電流出力端には、電流電圧変換用の素子として、抵抗値R_340の抵抗素子340が接続されている。
[Reference signal generator]
FIG. 2 is a diagram illustrating a configuration example of the
電流源部302は、所定の規定電流値を出力する定電流源304を有する。電流源部302の各定電流源304の電流値を如何様に設定するかや、どのように配列して制御するかは様々である。ここでは、理解を容易にするため、一例として、定電流源304は、ビット分の定電流源304を有し、各定電流源304は基準電流源部330により設定された基準電流値I_0に対してビットの重みを持つ電流を出力するものとする。
The
たとえば13ビット対応とする場合、0ビット目の定電流源304_0は2^0×I_0、1ビット目の定電流源304_1は2^1×I_0、…、11ビット目の定電流源304_11 は2^11×I_0、12ビット目の定電流源304_12 は2^12×I_0を出力する。“^”はべき乗を示す。定電流源304の各電流出力端は共通に接続され、さらに抵抗素子340を介して、参照信号SLP_ADC の初期電位SLP_ini に相当する基準電源Vref に接続されている。基準電源Vref は制御データCN4に含まれている比較処理ごとの参照信号SLP_ADC の初期値を指示する情報に基づき設定されるが、この基準電源Vref を設定するための回路構成はどのようなものであってもよい。
For example, in the case of 13-bit correspondence, the 0-bit constant current source 304_0 is 2 ^ 0 × I_0, the 1-bit constant current source 304_1 is 2 ^ 1 × I_0,..., The 11-bit constant current source 304_11 is 2 ^ 11 × I_0, 12th bit constant current source 304_12
基準電流源部330は、定電流源332と、定電流源332の負荷となるPch型のトランジスタ334と、ゲイン変更部336と、ゲイン変更部336から出力された電流を電流源部302の各定電流源304に与えるNch型のトランジスタ338を有する。定電流源332は、一端が負電源あるいは接地に接続された初期電流Iiniを発生する。トランジスタ334は、ソースが正電源に接続され、ドレイン・ゲートが共通に定電流源332の出力端に接続され、かつゲイン変更部336の図示しないトランジスタとカレントミラー接続されている。
The reference
ゲイン変更部336は、その詳細は図示を割愛するが、トランジスタ334からのミラー電流を所定倍にした基準電流値I_0をトランジスタ338に供給する。トランジスタ338は、ソースが負電源もしくは接地に接続され、ドレイン・ゲートが共通にゲイン変更部336の出力端に接続され、かつ電流源部302の各定電流源304とカレントミラー接続されている。
The
ゲイン変更部336は、制御データCN4に含まれている比較処理ごとの参照信号SLP_ADC の傾きを指示する情報に基づき、1クロック当たりの電圧変化分ΔSLPdac(=I_0×R_340)を設定し、カウントクロックCKdac ごとに1ずつカウント値を変化させる。実際には、カウントクロックCKdac の最大カウント数(たとえば10ビットで1024など)に対しての最大電圧幅を設定するだけでよい。基準電流源部330の定電流源332の初期電流量Iiniに対するゲインを変えることで、クロック当たりのΔSLPdacが調整され、結果的に参照信号SLP_ADC の傾き(変化率)が調整される。
The
カウンタ部312は、通信・タイミング制御部20からのカウントクロックCKdac1に基づきカウント動作をし、カウント結果を電流源制御部316に供給する。オフセット生成部314は、カウンタ部312のカウント値に基づく変化とは別に参照信号SLP_ADC に一定電位を与えるものであり、その情報を電流源制御部316に供給する。一定電位は「オフセット」である。電流源制御部316は、カウンタ部312のカウント値と電流源制御部316からのオフセット量の情報に基づき、何れの定電流源304をオン/オフさせるかを判断し、その判断結果に基づき定電流源304をオン/オフする。
The
理解を容易にするため、以下では、特段の断りのない限りオフセット量はゼロであるものとする。よって、DA変換部270は、カウンタ部312のカウント値が進むごとに、制御データCN4に含まれている初期値を示す電圧から、1つのカウントクロックCKdac1ごとにΔSLPdacずつ電圧を変化させる。アップカウント動作にすればΔSLPdacずつ電圧が低下するので負の傾きになるし、ダウンカウント動作にすればΔSLPdacずつ電圧が上昇するので正の傾きになる。
In order to facilitate understanding, hereinafter, the offset amount is assumed to be zero unless otherwise specified. Therefore, each time the count value of the
なお、ここで示した参照信号生成部27の構成は一例に過ぎず、参照信号SLP_ADC の傾き調整手法はこのような手法に限定されない。たとえば、制御データCN4にα(初期値)と傾き(変化率)βを含め、y=α−β*xなる関数を満たす参照信号SLP_ADC を生成できればよく、カウンタ部312を使用せずに参照信号生成部27を構成してもよい。ただし、カウンタ部312を使用する構成は、参照信号SLP_ADC の生成が容易で、かつカウンタ部254との動作の対応を採り易い利点がある。
The configuration of the reference
たとえば、参照信号生成部27に与えるカウントクロックCKdac の周期を一定にしつつ、カウンタ出力値をxとし、y=α−β*xによって算出される電位を出力する構成が考えられる。このとき、傾きβを指示する情報に基づく1つのカウントクロックCKdac ごとの電圧変化分ΔSLPdac(つまり参照信号SLP_ADC の傾きβ)の調整は、たとえばクロック数を変えることで実現される。それ以外にも、電流電圧変換用の抵抗値を変えることや単位電流源の電流量を変えることによって、クロック当たりのΔSLPdacを調整することができる。
For example, a configuration is possible in which the counter output value is x and the potential calculated by y = α−β * x is output while the period of the count clock CKdac given to the
<固体撮像装置の基本動作>
図3〜図3Bは、固体撮像装置1の基本動作を説明する図である。ここで、図3はAD変換処理と差分処理に着目した固体撮像装置1の簡易的な回路構成図である。図3Aは多重加算AD変換の動作を説明するイメージ図である。図3Bは、固体撮像装置1における多重加算AD変換とデジタル差分処理を説明するタイミングチャートである。ここでは、差分処理を併用する場合で説明するが、差分処理を併用することは必須でない。
<Basic operation of solid-state imaging device>
3 to 3B are diagrams for explaining the basic operation of the solid-
図3に示すように、画素アレイ部10は、単位画素3としてのCMD3_1,1〜CMD3_h,vをマトリックス状に配列し、その各ドレイン端子には共通にビデオ電圧Vd (>0)が印加されている。水平方向に配列された各行のCMD群のゲート端子は行制御線15_1〜15_vにそれぞれ接続され、垂直方向に配列された各列のCMD群のソース端子は垂直信号線19_1〜19_hにそれぞれ接続されている。
As shown in FIG. 3, the
垂直信号線19_1〜19_hは、それぞれリセット用、明時用、および暗時用の各P型のスイッチトランジスタ33(PMOS:詳細にはリセットトランジスタ34、明時トランジスタ36、暗時トランジスタ38)に接続されている。リセットトランジスタ34の垂直信号線19の反対側はリセット線57と接続され、明時トランジスタ36および暗時トランジスタ38の垂直信号線19と反対側は電流電圧変換部24と接続されている。
The vertical signal lines 19_1 to 19_h are connected to the P-type switch transistors 33 (PMOS: in detail, the
各スイッチトランジスタ33は、ゲートが垂直走査部14あるいは通信・タイミング制御部20のシステム制御部20bと接続され、それぞれ対応する制御信号φrst ,φlight ,φdarkが供給されるようになっている。
Each
詳細説明は割愛するが、水平帰線期間の読出し期間に入ると、明時トランジスタ36あるいは暗時トランジスタ38がオンすることで、CMD3_i,jのソース端子と電流電圧変換部24が接続され、選択された行iの各CMD3_i,jのソース電流が電流電圧変換部24(の電流電圧変換回路24a(I→V))に一斉に入力され画素信号電圧Vxに変換される。
Although detailed description is omitted, when the readout period of the horizontal blanking period starts, the light transistor 36 or the
この例では、明時トランジスタ36と暗時トランジスタ38を設けており、電流電圧変換時に電流モードで差分処理を行なうことで、固定パターン雑音が除去された画素信号電圧Vxを取得するように対処することも可能である。電流モードでの差分処理が不要であれば、明時トランジスタ36と暗時トランジスタ38の何れか一方があれば十分である。
In this example, a light transistor 36 and a
[通常のAD変換処理]
AD変換部250では、先ず、電流電圧変換部24から出力されたアナログの画素信号電圧Vxを、垂直信号線19aごとに配置されたAD変換部250の比較部252で参照信号SLP_ADC と比較する。このとき、比較部252と同様に列ごとに配置されたカウンタ部254をカウントイネーブル信号ENに基づき動作させておく。そして、参照信号SLP_ADC のある電位とカウンタ部254を1対1の対応をとりながら変化させることで、垂直信号線19aの画素信号電圧Vxをデジタルデータに変換する。
[Normal AD conversion processing]
In the AD conversion unit 250, first, the analog pixel signal voltage Vx output from the current-
ここで、従来の仕組みでは、先ず、第1相の信号の処理時、つまり第1相レベルS_1stについてのAD変換期間である第1相の処理期間においては、カウンタ部254の各フリップフロップのカウント値を初期値“0”にリセットさせる。そして、カウンタ部254をダウンカウントモードに設定して、比較部252による参照信号SLP_ADC と画素信号電圧Vxの第1相レベルとの比較処理とカウンタ部254によるカウント処理を並行して動作させることで、第1相レベルのAD変換を行なう。これにより、カウンタ部254には、第1相レベルS_1stの大きさに対応したデジタル値(第1相データ)D_1stを示す(符号を加味すれば−D_1stを示す)カウント値が保持される。
Here, in the conventional mechanism, first, during the processing of the first phase signal, that is, in the first phase processing period that is the AD conversion period for the first phase level S_1st, the count of each flip-flop of the
続いての第2の信号の処理時、つまり第2相レベルS_2ndについてのAD変換期間である第2相の処理期間には、第1相レベルS_1stに加えて、単位画素3ごとの入射光量に応じた信号成分Vsig を読み出し、第1相の読出しと同様の動作を行なう。先ず、カウンタ部254を第1相処理時とは逆のアップカウントモードに設定して、比較部252による参照信号SLP_ADC と画素信号電圧Vxの第2相レベルとの比較処理とカウンタ部254によるカウント処理を並行して動作させる。これにより第2相レベルのAD変換を行なう。
During the subsequent processing of the second signal, that is, the second phase processing period, which is the AD conversion period for the second phase level S_2nd, the incident light amount for each
このとき、第1相の読出しおよびAD変換時に取得された画素信号電圧Vxの第1相レベルS_1stのデジタル値(第1相データ)D_1stをスタート点として、第1相とは逆にアップカウントする。第2相レベルS_2ndは、第1相レベルS_1stに信号成分Vsig を加えたレベルであるので、第2相レベルS_2ndのAD変換結果のカウント値は、基本的には“D_1st+D_2nd”である。しかし、アップカウントの開始点を、第1相レベルS_1stのAD変換結果である“−D_1st”としているので、実際にカウンタ部254に保持されるカウント値は、“−D_1st+(D_2nd+D_1st)=D_2nd”となる。
At this time, the digital value (first phase data) D_1st of the first phase level S_1st of the pixel signal voltage Vx acquired at the time of reading and AD conversion of the first phase is used as the start point, and up-counting is performed in reverse to the first phase. . Since the second phase level S_2nd is a level obtained by adding the signal component Vsig to the first phase level S_1st, the count value of the AD conversion result of the second phase level S_2nd is basically “D_1st + D_2nd”. However, since the start point of the upcount is “−D_1st” that is the AD conversion result of the first phase level S_1st, the count value actually held in the
つまり、カウンタ部254におけるカウント動作を、第1相の処理時にはダウンカウント、第2相の処理時にはアップカウントと、それぞれのカウントモードを異なるものとしているので、カウンタ部254内で、差分処理(減算処理)が自動的に行なわれる。第1相レベルS_1stのAD変換結果であるカウント数“−D_1st”と第2相レベルS_2ndのAD変換結果であるカウント数“D_1st+D_2nd”との間での差分処理が行なわれ、この差分処理結果に応じたカウント数D_2ndがカウンタ部254に保持される。この差分処理結果に応じたカウンタ部254に保持されるカウント数D_2ndは信号成分Vsig に応じた信号データを表すものとなる。
That is, the counting operation in the
このようにして、第1相の処理時におけるダウンカウントと第2相の処理時におけるアップカウントといった、2回の読出しとカウント処理によるカウンタ部254内での差分処理によって、単位画素3ごとのばらつきを含んだ第1相レベルS_1stを除去できる。単位画素3ごとの入射光量に応じた信号成分Vsig のみのAD変換結果を簡易な構成で取得することができる。よって、AD変換部250は、アナログの画素信号をデジタルの画素データに変換するデジタル変換部としてだけでなく、CDS(相関2重サンプリング)処理などの差分処理の機能部としても動作することとなる。
In this manner, the
[多重加算AD変換処理]
一方、本実施形態では、図3Aに示すように、1水平走査期間内における第1相と第2相のカウントモード関係については従前と同じにする。さらに、第1相および第2相の各AD変換処理時に、それぞれ同一信号について、参照信号比較型のAD変換処理を複数回(W回とする)連続して行なうようにする。Wは2以上の正の整数であり、図3A(1)ではW=2の場合を示し、図3A(2)ではW=3の場合を示している。
[Multiple addition AD conversion processing]
On the other hand, in this embodiment, as shown in FIG. 3A, the relationship between the count modes of the first phase and the second phase within one horizontal scanning period is made the same as before. Further, the reference signal comparison type AD conversion processing is continuously performed a plurality of times (W times) for the same signal during each AD conversion processing of the first phase and the second phase. W is a positive integer greater than or equal to 2, and FIG. 3A (1) shows the case of W = 2, and FIG. 3A (2) shows the case of W = 3.
なお、好ましくは、2回目以降の処理時には、AD変換用の参照信号SLP_ADC の変化のさせ方は1回目と同じにし、それ以前のAD変換結果をスタート点として、同一のカウントモードでカウント処理する。 Preferably, in the second and subsequent processing, the method of changing the reference signal SLP_ADC for AD conversion is the same as that in the first time, and the previous AD conversion result is used as the start point and count processing is performed in the same count mode. .
こうすることで、第1相および第2相の各処理においては、同一信号のAD変換結果をW倍したデータ(加算データ)が得られる。第1相と第2相でカウントモードを逆にすることとの組合せにより、“−W・D_1st+W・(D_2nd+D_1st)=W・D_2nd”なる演算結果が得られることになる。カウンタ部254がデジタル積分器の機能をなしていることが理解される。信号はW倍となるがノイズは√W倍となると考えられるのでノイズ特性の向上が図られる。アナログ加算のようなダイナミックレンジの問題を伴わずにランダムノイズを低減することができる。
By doing so, in each process of the first phase and the second phase, data (addition data) obtained by multiplying the AD conversion result of the same signal by W is obtained. A combination of reversing the count mode in the first phase and the second phase results in an operation result of “−W · D — 1st + W · (D — 2nd + D — 1st) = W · D — 2nd”. It can be understood that the
W・D_2ndをそのまま使用するアプリケーションとすれば、出力データとしてダイナミックレンジ拡大を図ることができる。第1相と第2相のそれぞれについて複数回の参照信号比較型のAD変換処理を実行して加算のみを行なうことで、同じ画像を複数回加算した画像を得ることができると言うことであり、同じゲイン設定でも、レンジが2倍のデータを取得することができる。たとえば、第1相および第2相の各参照信号比較型のAD変換処理に関して、通常の明るさの撮影時には従前と同じように1回の処理を行なうが、低照度下の撮影時には同一信号についてW回の処理を行なうことで、低照度側の撮影可能範囲を拡大できる。元のレベルと同じ大きさのデータが必要なアプリケーションのときには、W倍した加算データW・D_2ndを平均化すればよい、つまり加算平均をとればよい。 If W · D_2nd is used as it is, the dynamic range can be expanded as output data. This means that an image obtained by adding the same image a plurality of times can be obtained by executing only the addition by executing the reference signal comparison type AD conversion processing a plurality of times for each of the first phase and the second phase. Even with the same gain setting, data with a double range can be acquired. For example, regarding the reference signal comparison type AD conversion processing of the first phase and the second phase, processing is performed once as usual when shooting at normal brightness, but the same signal is used when shooting under low illumination. By performing the W times of processing, it is possible to expand the imageable range on the low illuminance side. For an application that requires data of the same size as the original level, it is only necessary to average the added data W · D_2nd multiplied by W, that is, to perform an addition average.
このことから分かるように、AD変換部250では、本実施形態を適用しないときのビット幅nに対してW倍した加算データW・D_2ndが得られることになる。繰返し回数Wが“2^(M−1)<W≦2^M”を満たすものとしたとき、カウンタ部254、データ記憶部256、スイッチ部258、および水平信号線18はそれぞれ、“n+M”(Mは1以上の正の整数)ビットに対応した構成が必要となる(図1を参照)。たとえば、n=12,M=1でW=2としたときには、カウンタ部254、データ記憶部256、スイッチ部258、および水平信号線18はそれぞれ、13ビットに対応した構成が必要となる。
As can be seen from this, the AD conversion unit 250 obtains the added data W · D_2nd that is W times the bit width n when the present embodiment is not applied. When the number of repetitions W satisfies “2 ^ (M−1) <W ≦ 2 ^ M”, the
たとえば、図3Bでは、W=2としたときについて、カウンタ出力も示している。先ず、第1相処理時には、カウンタ部254の各フリップフロップのカウント値を初期値“0”にリセットさせる。そして、カウンタ部254をダウンカウントモードに設定して、比較部252による参照信号SLP_ADC と第1相レベルS_1stとの比較処理とカウンタ部254によるカウント処理を並行して動作させることで、第1相レベルのAD変換を行なう。これにより、1回目の処理が終わったカウンタ部254には、第1相レベルS_1stの大きさに対応したデジタル値D_1stを示す(符号を加味すれば−D_1stを示す)カウント値が保持される。
For example, FIG. 3B also shows the counter output when W = 2. First, at the time of the first phase processing, the count value of each flip-flop of the
続いての第1相の2回目の処理時には、1回目の第1相レベルS_1stのデジタル値D_1st(ここでは負の値となっている)をスタート点とする。そして、1回目と同じダウンカウントモードで、比較部252による参照信号SLP_ADC と第1相レベルS_1stとの比較処理とカウンタ部254によるカウント処理を並行して動作させることで、2回目の第1相レベルのAD変換を行なう。これにより、2回目の処理が終わったカウンタ部254には、第1相レベルS_1stの大きさの2倍に対応したデジタル値2・D_1stを示す(符号を加味すれば−2・D_1stを示す)カウント値が保持される。つまり、第1相について、2回連続した参照信号比較型のAD変換処理をして、カウンタ部254にマイナスカウントとして保持しておく。
In the subsequent second processing of the first phase, the digital value D_1st (here, a negative value) of the first phase level S_1st for the first time is used as a start point. Then, in the same down-count mode as the first time, the comparison process between the reference signal SLP_ADC and the first phase level S_1st by the
続いての第2相の1回目の処理時には、第1相の読出しおよびAD変換時に取得された画素信号電圧Vxの第1相レベルS_1stに対応するデジタル値2・D_1st(ここでは負の値となっている)をスタート点とする。そして、第1相とは逆のアップカウントモードで、比較部252による参照信号SLP_ADC と第2相レベルS_2ndとの比較処理とカウンタ部254によるカウント処理を並行して動作させることで、1回目の第2相レベルのAD変換を行なう。これにより、第2相の1回目の処理が終わったカウンタ部254には、“−2・D_1st+(D_2nd+D_1st)=−D_1st+D_2nd”を示すカウント値が保持される。
In the subsequent second phase processing, the
続いての第2相の2回目の処理時には、1回目のカウント結果(−D_1st+D_2nd)をスタート点とする。そして、1回目と同じアップカウントモードで、比較部252による参照信号SLP_ADC と第2相レベルS_2ndとの比較処理とカウンタ部254によるカウント処理を並行して動作させることで、2回目の第2相レベルのAD変換を行なう。これにより、2回目の処理が終わったカウンタ部254には、“−D_1st+D_2nd+(D_2nd+D_1st)=2・D_2nd”を示すカウント値が保持される。
In the second process of the second phase, the first count result (-D_1st + D_2nd) is used as a start point. Then, in the same up-count mode as the first time, the comparison process between the reference signal SLP_ADC and the second phase level S_2nd by the
このように、本実施形態では、第1相についてW回連続したダウンカウントモードでの参照信号比較型のAD変換処理をし、引き続き、第2相についてW回連続したアップカウントモードでの参照信号比較型のAD変換処理をする。こうすることで、第1相についてのW回分のデータ(符号を加味すると負の値)と第2相についてのW回分のデータとの加算演算処理がなされる。同じ第1相レベルS_1stおよび第2相レベルS_2ndの差分処理を行ない、かつ加算する動作を行なうことができる。このような、W回サンプリングによるAD変換と差分処理を、多重加算AD変換処理やデジタル積分処理やW回加算AD変換処理やW回積分AD変換処理などと称する。 As described above, in the present embodiment, the reference signal comparison type AD conversion processing in the down-count mode continued W times for the first phase is performed, and then the reference signal in the up-count mode continued W times for the second phase. A comparative AD conversion process is performed. By doing so, the addition operation processing of the data for W times for the first phase (a negative value when the sign is added) and the data for W times for the second phase is performed. The same first phase level S_1st and second phase level S_2nd can be differentially processed and added. Such AD conversion and difference processing by sampling W times are referred to as multiple addition AD conversion processing, digital integration processing, W addition AD conversion processing, W integration AD conversion processing, and the like.
この多重加算AD変換処理によって得られた加算データW・D_2ndは水平転送によって出力部28に送られる。出力部28では、デジタル演算部29において、デジタル信号処理によりWで割り算をすることで、加算平均されたデータD_2ndを取得する。信号成分はW倍となるがランダムノイズは√Wになるためノイズ特性(S/N)を改善できる。このような多重加算AD変換処理では、アナログ加算のようなダイナミックレンジを気にすることなく、量子化ノイズやランダムノイズが低減できる。さらに、前述のように、加算平均をとらずにW・D_2ndのまま利用するデジタル化した信号で加算するアプリケーションとすれば、ゲインアップやダイナミックレンジの拡大が可能になる。
The addition data W · D_2nd obtained by the multiple addition AD conversion processing is sent to the output unit 28 by horizontal transfer. In the output unit 28, the digital
<RTSノイズ抑制処理:第1実施形態>
図4〜図4Bは、本実施形態の画像取得方法における最大の特徴であるRTSノイズ抑制処理の第1実施形態を説明する図である。ここで、図4は、RTSノイズを説明する図である。図4A(1)は、本実施形態のRTSノイズ抑制処理の基本原理を説明するフローチャートであり、図4A(2)は、その垂直走査レートでのタイミングチャートである。図4Bは、本実施形態のRTSノイズ抑制処理を適用した一事例を説明する図である。
<RTS Noise Suppression Processing: First Embodiment>
4 to 4B are diagrams illustrating the first embodiment of the RTS noise suppression process that is the greatest feature in the image acquisition method of the present embodiment. Here, FIG. 4 is a diagram for explaining the RTS noise. FIG. 4A (1) is a flowchart for explaining the basic principle of the RTS noise suppression processing of this embodiment, and FIG. 4A (2) is a timing chart at the vertical scanning rate. FIG. 4B is a diagram illustrating an example in which the RTS noise suppression process of the present embodiment is applied.
イメージセンサにおいて、画素縮小化に伴い、RTSノイズが顕在化してくることが指摘されている。RTSノイズは、MOSトランジスタのゲート酸化膜の界面準位による電子のランダムな捕獲と放出が原因であり、従来の1/fノイズは、種々の時定数を持ったRTSノイズが重ね合わされて観測されたものであると考えられている。つまり、各単位画素3にソースホロアとして駆動する素子としてMOSトランジスタを有しているが、このゲート直下であるシリコンSi内のチャネル部に何らかのエネルギー準位が存在し、ソースからドレーンへ電子が流れるときに、このエネルギー準位の影響で信号値にノイズとして現れる現象であると考えられている。このエネルギー準位が、複数存在している場合には1/fノイズとして検知され、1つのエネルギー準位の影響で比較的大きなノイズが発生するのがRTSノイズであり、たとえば、動画撮影画像で多数の白い粒ノイズがランダムに発生する現象として現れる。RTSノイズの影響で、画像内にノイズが目立ち、また、官能的には不快なノイズとなる。
In image sensors, it has been pointed out that RTS noise becomes apparent as pixels are reduced. RTS noise is caused by random capture and emission of electrons due to the interface state of the gate oxide film of the MOS transistor. Conventional 1 / f noise is observed by superimposing RTS noise with various time constants. It is thought that That is, each
図4にはRTSノイズの状態が模式的示されている。図中の横軸は時間であり、縦軸はRTSノイズの大きさである。図示のように、信号値に対して、RTSノイズの大きさは、プラス,マイナスの両方に振れる。この振れに応じてノイズが画像として現れ、またノイズレベルが大きいために目立ってしまう。 FIG. 4 schematically shows the state of the RTS noise. In the figure, the horizontal axis represents time, and the vertical axis represents the magnitude of RTS noise. As shown in the figure, the magnitude of the RTS noise varies both positively and negatively with respect to the signal value. Noise appears as an image in response to this shake, and is noticeable because the noise level is high.
RTSノイズを抑制する手法としては、従来は、専らデバイス構造の改善を図ることに主眼がおかれており、何れも、チャネル部にエネルギー準位を1つでも発生させないようなプロセス技術であるといえる。たとえば、1/fノイズ対策と同様に、ゲート面積拡大、ゲート酸化膜薄膜化、PMOS化、ゲート酸化膜自体を改良してノイズ低減させる手法、画素ソースフォロワの埋込みチャネル化(界面状態の影響を受け難くするための手法)、などが考えられている。しかしながら、現実には、未だ完全にはRTSノイズを抑制できていない。 Conventionally, as a technique for suppressing RTS noise, the main focus has been on improving the device structure, and any of them is a process technology that does not generate even one energy level in the channel portion. I can say that. For example, as with 1 / f noise countermeasures, gate area expansion, gate oxide film thinning, PMOS conversion, gate oxide film itself improved noise reduction technique, pixel source follower embedded channelization (effect of interface state The method to make it difficult to receive) is considered. However, in reality, RTS noise has not been completely suppressed yet.
そこで、本実施形態では、デバイス構造の側面ではなく、信号処理の側面からRTSノイズを抑制する手法を提案する。 Therefore, this embodiment proposes a technique for suppressing RTS noise from the aspect of signal processing, not from the aspect of device structure.
[基本原理]
本実施形態のRTSノイズ抑制処理は、「非同時性」、「解像度低下」、「信号処理負荷大」を同時に解決する手法を採る。ここで、第1実施形態は、処理対象画素特定処理とランダムノイズ抑制処理の一連の工程を露光ごとに行なう点に特徴がある。図4A(1)に示すフローチャートおよび図4A(2)に示すタイミングチャートを参照して、その手順を説明する。
[Basic principle]
The RTS noise suppression process of the present embodiment employs a technique for simultaneously solving “asynchrony”, “resolution reduction”, and “large signal processing load”. Here, the first embodiment is characterized in that a series of processes including a process target pixel specifying process and a random noise suppressing process are performed for each exposure. The procedure will be described with reference to the flowchart shown in FIG. 4A (1) and the timing chart shown in FIG. 4A (2).
先ず、画像取込みの対象となるデバイス(画素アレイ部10)として、非破壊、ランダム読出しができるものを使用する(S100)。本実施形態では、このような要件を満たすものとしてCMD素子を具備する画素アレイ部10を固体撮像装置1が有している。
First, a device capable of nondestructive and random reading is used as a device (pixel array unit 10) to be imaged (S100). In the present embodiment, the solid-
そして、1回の露光で蓄積された信号を複数(m)回読み出し(S114)、各回のAD変換結果をデジタル演算部29に転送する。デジタル演算部29は、m個のAD変換結果のばらつきを計算し(S116)、ばらつきが大きい単位画素3を特定画素3aとして選択する(S118)。ステップS114からステップS118までの処理を処理対象画素特定処理S11と称する。
Then, the signal accumulated in one exposure is read out a plurality of (m) times (S114), and the AD conversion result of each time is transferred to the
各回の信号読出し時には、前述の多重加算AD変換処理を適用することで、AD変換に伴うノイズを抑制しておくのがよい。もちろん、この多重加算AD変換処理を併用することは、本実施形態のRTSノイズ抑制処理には必須ではない。 At the time of signal reading each time, it is preferable to suppress noise accompanying AD conversion by applying the above-described multiple addition AD conversion processing. Of course, the combined use of the multiple addition AD conversion processing is not essential for the RTS noise suppression processing of the present embodiment.
ここで、複数回の読出しごとの信号値が全て同じであればランダムノイズがないということになるが、信号値にばらつきがある場合、ノイズ量が大きい部分はRTSノイズであると考え、ばらつき量をRTSノイズのレベルとする。そして、予め定められた基準値(閾値Th_1)との比較処理をし、RTSノイズのレベルが閾値Th_1を超えていたら(以上でもよい)、その単位画素3を特定画素3aとして扱い、その画素位置の情報(アドレスデータ)を予め決められた記憶装置(メモリ)に記憶しておく。この場合の記憶装置は不揮発性のもの(電源を切ってもデータが保持されるもの)である必要はない。
Here, there is no random noise if the signal values are the same for each of a plurality of readings. However, if there is a variation in the signal value, the portion where the noise amount is large is considered to be RTS noise, and the variation amount. Is the RTS noise level. Then, a comparison process with a predetermined reference value (threshold value Th_1) is performed, and if the level of the RTS noise exceeds the threshold value Th_1 (or more), the
たとえば、固体撮像装置1の外部の主制御部にて特定画素3aの位置情報を管理する第1の手法が考えられる。あるいは、固体撮像装置1内に記憶部を設け、システム制御部20bにて管理する第2の手法も考えられる。一連の工程を露光ごとに行なう第1実施形態の場合には、処理が開始した後には固体撮像装置1側で対処できる第2の手法の方が好ましいと考えられる。
For example, the 1st method of managing the positional information on the specific pixel 3a in the main control part outside the solid-
その後、特定画素3aを対象として、蓄積されている信号を複数(M)回読み出して(S126)、各回のAD変換結果をデジタル演算部29に転送する。Mはmよりも大きな値とすることが好ましい。デジタル演算部29は、M個のAD変換結果の平均値(単純加算平均でよい)を取り、特定画素3aの画素信号とする(S128)。ステップS126からステップS128までの処理を纏めてランダムノイズ抑制処理S12と称する。
Thereafter, the accumulated signal is read a plurality of (M) times for the specific pixel 3a (S126), and the AD conversion result of each time is transferred to the
ランダムノイズ抑制処理S12によって、同一画素についてのM回の読出し信号を平均化することにより、特定画素3aにてランダムに発生しているノイズレベルの大きなRTSノイズを圧縮でき、画質S/Nを改善することができる。つまり、RTSノイズが大きな特定画素3aのノイズを選択的に抑圧することができる。 By averaging the read signals M times for the same pixel by the random noise suppression process S12, RTS noise with a large noise level that is randomly generated in the specific pixel 3a can be compressed, and the image quality S / N is improved. can do. That is, the noise of the specific pixel 3a having a large RTS noise can be selectively suppressed.
このとき、本実施形態ではカラム読出し方式を採っているので、同一ラインにある複数の特定画素3aについて同時に処理できる。また、同一ラインにある複数の特定画素3aについてだけでなく、特定画素3aと同一ラインに存在する元々RTSノイズの少ない単位画素3についても、RTSノイズ抑制処理を適用することもできる。
At this time, since the column readout method is adopted in this embodiment, a plurality of specific pixels 3a on the same line can be processed simultaneously. In addition, the RTS noise suppression process can be applied not only to a plurality of specific pixels 3a on the same line, but also to
1回の露光で蓄積された信号を、非破壊により何度も(M回)読み出しているため、「同時性」が確保されている。また、1画素ごとに独立して処理を行なっているいるため、「解像度」を低下することがない。さらに、RTSノイズの大きな特定画素3aのみを選択して、あるいはRTSノイズの大きな特定画素3aの存在するライン(行)のみを選択して、平均化処理を行なうため、「信号処理負荷」を低減することが可能である。 Since the signal accumulated in one exposure is read many times (M times) in a non-destructive manner, “simultaneity” is ensured. In addition, since the processing is performed independently for each pixel, the “resolution” is not reduced. Further, since only the specific pixel 3a having a large RTS noise is selected or only the line (row) in which the specific pixel 3a having a large RTS noise exists is selected, the “signal processing load” is reduced. Is possible.
なお、特定画素3aとして選択されなかった単位画素3については、ステップS114にて読み込んでおいたm回の各情報の何れかを使用する第1の手法、あるいは、m回の加算平均を使用する第2の手法の何れでもよい。第2の手法は、m回についての加算平均により画像全体のノイズが抑制される一方、その加算平均のための処理時間や回路規模が増える。逆に、第1の手法は、画像全体のノイズを抑制するという機能が働かないが、そのm回についての加算平均のための処理時間や回路規模が増える難点はない。
For the
なお、本実施形態のRTSノイズ抑制処理を行なわない通常の撮像手法と比べた場合、全体の処理サイクルは、m回の処理対象画素特定処理S11を行なう分と、ランダムノイズ抑制処理S12の分が追加されることになる。 In addition, when compared with the normal imaging method that does not perform the RTS noise suppression process of the present embodiment, the entire processing cycle is performed by performing m processing target pixel specifying processes S11 and random noise suppressing processes S12. Will be added.
たとえば、図4A(2−1)に示すように、通常時の画像取得処理S102を単純にm回繰り返すことで処理対象画素特定処理S11とし、その後にランダムノイズ抑制処理S12を行なう場合の全処理時間は、通常の処理と比べると各段に長くなってしまう。静止画撮像であれば許容されるかも知れないが、次回の静止画撮像までの待ち時間が掛るので、何らかの改善が望まれる所である。 For example, as shown in FIG. 4A (2-1), the entire process in the case where the normal image acquisition process S102 is simply repeated m times to obtain the process target pixel specifying process S11 and then the random noise suppression process S12 is performed. The time is longer in each stage than in normal processing. Although still image capturing may be permitted, a waiting time until the next still image capturing is required, and some improvement is desired.
この対策としてはたとえば、図4A(2−2)に示すように、通常時の画像取得処理S102と同じ期間で信号の読出しをm回繰り返すことで処理対象画素特定処理S11とすることが考えられる。ただしこの場合、m回の信号の読出しを通常時よりも高速に(好ましくはm倍で)行なわなければならない。 As a countermeasure for this, for example, as shown in FIG. 4A (2-2), it is conceivable to set the processing target pixel specifying process S11 by repeating signal reading m times in the same period as the normal image acquisition process S102. . In this case, however, m times of signal readout must be performed at a higher speed (preferably m times) than usual.
また、処理対象画素特定処理S11(=通常時の画像取得処理S102)の分に、ランダムノイズ抑制処理S12の分が追加されるのは図4A(2−1)に示す場合と同様である。このとき、ランダムノイズ抑制処理S12の分が通常の垂直ブランキング期間内に収まらない場合には(図4A(2−2b))、たとえば垂直ブランキング期間を長くすることが必要になり、全体の処理時間は通常時よりも長く掛ってしまうことになる。 Also, the random noise suppression processing S12 is added to the processing target pixel identification processing S11 (= normal image acquisition processing S102) in the same manner as shown in FIG. 4A (2-1). At this time, if the amount of random noise suppression processing S12 does not fall within the normal vertical blanking period (FIG. 4A (2-2b)), for example, it is necessary to lengthen the vertical blanking period. Processing time will be longer than usual.
たとえば、M回の信号の読出しを通常時よりも高速に(好ましくはM倍で)行なったとしても、RTSノイズの大きな特定画素3aの数が多くなると、ランダムノイズ抑制処理S12の分が通常の垂直ブランキング期間内に収まらなくなることが起こり得る。この場合、ランダムノイズ抑制処理S12の期間を通常の垂直ブランキング期間よりも長い垂直ブランキング期間BLK1として設定することになる。 For example, even when M signals are read out at a higher speed than normal (preferably M times), if the number of specific pixels 3a having a large RTS noise increases, the amount of random noise suppression processing S12 becomes normal. It may happen that it does not fit within the vertical blanking period. In this case, the period of the random noise suppression process S12 is set as the vertical blanking period BLK1 longer than the normal vertical blanking period.
この対策としてはたとえば、図4A(2−3)に示すように、ステップS118において、通常の垂直ブランキング期間内に収まらせるための個数に関する閾値Th_2の範囲で特定画素3aを選択することが考えられる。特定画素3aの個数を閾値Th_2と一致させれば、ランダムノイズ抑制処理S12の期間が通常の垂直ブランキング期間と一致する。 As a countermeasure for this, for example, as shown in FIG. 4A (2-3), in step S118, the specific pixel 3a may be selected within the range of the threshold Th_2 regarding the number to be accommodated within the normal vertical blanking period. It is done. If the number of the specific pixels 3a is made to coincide with the threshold Th_2, the period of the random noise suppression process S12 coincides with the normal vertical blanking period.
この場合、選択された特定画素3aの中にはノイズレベルに関する閾値Th_1を下回るものがあってもよい。選択される特定画素3aの個数を多くするには、閾値Th_2を大きくする必要があり、実質的には、ランダムノイズ抑制処理S22におけるM回の信号の読出しを通常時よりも高速に行なうことが必要となる。 In this case, some of the selected specific pixels 3a may be below the threshold value Th_1 regarding the noise level. In order to increase the number of selected specific pixels 3a, it is necessary to increase the threshold value Th_2. In practice, M times of signal reading in the random noise suppression process S22 should be performed at a speed higher than normal. Necessary.
図4A(2−3)に示す手法であれば、処理対象画素特定処理S11におけるm回の信号の読出し(好ましくはランダムノイズ抑制処理S12におけるM回の信号の読出しも)を通常時よりも高速に行なう必要があるが、動画撮像にも対処できると考えられる。RTSノイズは静止画よりも動画の方が問題になるが、図4A(2−3)に示す手法を適用することで、その問題を解決できる。 With the method shown in FIG. 4A (2-3), m signals are read out in the processing target pixel specifying process S11 (preferably, M signals are read out in the random noise suppression process S12) faster than usual. However, it is thought that it can cope with moving image capturing. RTS noise is more problematic for moving images than for still images, but the problem can be solved by applying the method shown in FIG. 4A (2-3).
[事例]
図4Bには、本実施形態のRTSノイズ抑制処理(ノイズ圧縮法)の基本原理の適用事例が示されている。
[Case]
FIG. 4B shows an application example of the basic principle of the RTS noise suppression process (noise compression method) of the present embodiment.
図の横軸はリニアで画素のランダムノイズレベルを示し、縦軸は対数でそのノイズを有する画素が1チップ内に存在する個数を示している。なお、ノイズレベルは、指定された取り込み枚数から求めたばらつき量である。 The horizontal axis of the figure is linear and indicates the random noise level of the pixel, and the vertical axis is the logarithm and indicates the number of pixels having the noise in one chip. The noise level is a variation amount obtained from the designated number of captured images.
取り込み枚数が少ない場合に顕著となる分布のテール部(ノイズレベル大の裾引き)は主にRTSノイズによるものである。因みに、peak部は1/fノイズと考えられる。 The tail portion of the distribution (tailing with a large noise level) that becomes noticeable when the number of captured images is small is mainly due to RTS noise. Incidentally, the peak part is considered to be 1 / f noise.
先ず、非破壊かつランダム読出しが可能なCMD素子を持つ画素アレイ部10に1回の露光で各単位画素3に信号を蓄積する。その信号を、m回読み出し、そのばらつきを計算する(S114〜S116)。一例として、2回取込みをbで示す矢指の線で示しているが、ランダムノイズレベルが大きな画素が存在している。
First, a signal is accumulated in each
ランダムノイズレベルに閾値Th_1を設けて閾値Th_1以上の単位画素3を選択する(S118)。図では閾値Th_1を4と設定し、4を超える単位画素3として、図中にBで示す矢指の線で囲んで示しているが、ランダムノイズレベルが大きな単位画素3が存在している。このBで示す矢指の線で囲まれた単位画素3を特定画素3aとして選択する。
A threshold Th_1 is provided for the random noise level, and the
選択された特定画素3aの数は、この場合では1000以下(〜1000)であり、1チップの全画素数からみて僅かである。 In this case, the number of selected specific pixels 3a is 1000 or less (up to 1000), which is very small in view of the total number of pixels of one chip.
次に選択した特定画素3aだけ、M回信号を読み出して平均化することでノイズを圧縮する(S126〜S128)。一例として、16回取込みをcで示す矢指の線で示している。このとき、閾値Th_1=4以上として選択された特定画素3aのノイズレベルは平均化処理により、図中にCで示す矢指の線で囲んで示している状態に圧縮される。図の例では4〜8.5と大きかったノイズレベルが、2.5〜4.5にほぼ半減されている。 Next, the noise is compressed by reading out and averaging the signal M times only for the selected specific pixel 3a (S126 to S128). As an example, 16 times of capture is indicated by a line of arrows indicated by c. At this time, the noise level of the specific pixel 3a selected as the threshold Th_1 = 4 or more is compressed by the averaging process into a state surrounded by an arrow line indicated by C in the drawing. In the example shown in the figure, the noise level which is as large as 4 to 8.5 is almost halved to 2.5 to 4.5.
つまり、2回読み出した信号のばらつきが閾値Th_1以上の矢指Bの線で囲んで示している特定画素3aを選択し、その特定画素3aについての信号を16回読み出し平均化すると、矢指Cで示す線で囲んで示している状態のようにRTSノイズの抑圧ができる。 In other words, when the specific pixel 3a indicated by the arrow B line whose variation of the signal read twice is greater than or equal to the threshold Th_1 is selected and the signal for the specific pixel 3a is read out 16 times and averaged, the arrow C indicates RTS noise can be suppressed as in the state surrounded by a line.
また、このときの平均化処理は、チップ内の画素のうち特にランダムノイズレベルが大きい特定画素3aに対して選択的に行なっているため、信号処理の負荷、具体的にはメモリや帯域が少なく、高速かつ安価な処理が可能である。 In addition, since the averaging process at this time is selectively performed on the specific pixel 3a having a particularly high random noise level among the pixels in the chip, the signal processing load, specifically, the memory and the bandwidth are small. High-speed and inexpensive processing is possible.
このような処理により、従前のランダムノイズ圧縮法の課題である、「非同時性」、「解像度低下」、「信号処理負荷大」が解決された。取込み画像におけるノイズ、特に読み出しの際に発生するランダムノイズを、同時性を確保し、解像度を維持したまま圧縮することができ、画質を向上することができる。また、そのための後段信号処理を軽い負荷で可能とするため、低コスト、低消費電力化が実現できる。 By such processing, the problems of the conventional random noise compression method, “non-simultaneousness”, “resolution reduction”, and “high signal processing load” have been solved. Noise in captured images, particularly random noise generated during reading, can be compressed while maintaining the resolution and maintaining the resolution, and the image quality can be improved. In addition, since subsequent signal processing can be performed with a light load, low cost and low power consumption can be realized.
RTSノイズ抑制処理と多重加算AD変換処理を併用することで、画素信号の読出し時に発生するランダムノイズの低減を図るとともに、AD変換に伴って発生する量子化ノイズやランダムノイズ低減も図ることができ、全体のノイズを大幅に抑制できる。 By using RTS noise suppression processing and multiple addition AD conversion processing together, it is possible to reduce random noise generated when reading out pixel signals, and to reduce quantization noise and random noise generated along with AD conversion. The overall noise can be greatly suppressed.
<RTSノイズ抑制処理:第2実施形態>
図5は、本実施形態のRTSノイズ抑制処理の第2実施形態を説明する図である。ここで、図5(1)は、本実施形態のRTSノイズ抑制処理の基本原理を説明するフローチャートであり、図5(2)は、その垂直走査レートでのタイミングチャートである。ステップ番号を200番台で示し、第1実施形態と同様の処理ステップには、第1実施形態の10番台および1番台と同じ番号を付して示す。
<RTS Noise Suppression Processing: Second Embodiment>
FIG. 5 is a diagram for explaining a second embodiment of the RTS noise suppression process of the present embodiment. Here, FIG. 5 (1) is a flowchart for explaining the basic principle of the RTS noise suppression processing of the present embodiment, and FIG. 5 (2) is a timing chart at the vertical scanning rate. Step numbers are shown in the 200s, and the same processing steps as those in the first embodiment are denoted by the same numbers as the 10s and 1s in the first embodiment.
第2実施形態は、任意の露光のタイミングで処理対象画素特定処理を行ない、特定画素3aの位置情報を予め定められた記憶装置に保存しておき、露光ごとに特定画素3aの位置情報を記憶装置から読み出して使用する点に特徴がある。以下、第1実施形態との相違に着目して説明する。 In the second embodiment, the processing target pixel specifying process is performed at an arbitrary exposure timing, the position information of the specific pixel 3a is stored in a predetermined storage device, and the position information of the specific pixel 3a is stored for each exposure. It is characterized in that it is read from the apparatus and used. Hereinafter, description will be made focusing on differences from the first embodiment.
先ず、画像取込みの対象となるデバイス(画素アレイ部10)として、非破壊、ランダム読出しができるものを使用する(S200)。そして、ある露光のタイミングで蓄積された信号を複数(m)回読み出し(S214)、そのばらつきを計算し(S216)、ばらつきが大きい単位画素3を特定画素3aとして選択し(S218)、その位置情報を記憶する(S219)。
First, a device capable of nondestructive and random reading is used as a device (pixel array unit 10) to be imaged (S200). Then, the signal accumulated at a certain exposure timing is read out a plurality of times (m) (S214), the variation is calculated (S216), the
ランダムノイズレベルが大きな特定画素3aを選択する測定を予め行なっておき、そのアドレスデータを記憶装置に保存しておくのである。この場合、固体撮像装置1の外部の主制御部で特定画素3aの位置情報を管理する第1の手法の方が好ましいと考えられる。
Measurement for selecting a specific pixel 3a having a large random noise level is performed in advance, and the address data is stored in a storage device. In this case, it is considered that the first method of managing the position information of the specific pixel 3a by the main control unit outside the solid-
なお、次回の撮像までに電源がオフされることがあるので、特定した特定画素3aの位置情報は、不揮発性の記憶装置(電源を切ってもデータが保持されるもの)に保存することが好ましい(S219)。ステップS214からステップS219までの処理を事前処理対象画素特定処理S21と称する。この事前処理対象画素特定処理S21は、撮像ごとに行なう必要はなく、任意の撮像時に行なえばよい。 Since the power may be turned off until the next imaging, the specified position information of the specific pixel 3a may be stored in a non-volatile storage device (data that is retained even when the power is turned off). Preferred (S219). The process from step S214 to step S219 is referred to as a pre-processing target pixel specifying process S21. This pre-processing target pixel specifying process S21 does not have to be performed for each imaging, and may be performed at any imaging.
因みに、「任意撮像時」を「電源投入後の最初の撮像時」とする場合には、特定した特定画素3aの位置情報の保持を「揮発性」の記憶装置に保存しても差し支えない。すなわち、特定画素3aの検出を電源投入ごとに行なう場合には、特定した特定画素3aの位置情報を揮発メモリで保持してもよい。 Incidentally, when “at the time of arbitrary imaging” is set to “at the time of first imaging after power-on”, the position information of the specified specific pixel 3a may be stored in a “volatile” storage device. That is, when detecting the specific pixel 3a every time the power is turned on, the position information of the specified specific pixel 3a may be held in a volatile memory.
その後の各回の撮像においては、先ず、通常時の画像取得処理S102と同様の画像取得処理S222(1回の信号読出し)を行なう。その後に、記憶装置から特定画素3aの位置情報を読み出し(S224)、第1実施形態と同様にして、特定画素3aを対象として、蓄積されている信号を複数(M)回読み出して(S226)、その平均値(単純加算平均でよい)を取る(S228)。ステップS224からステップS228までの処理を纏めてランダムノイズ抑制処理S22と称する。 In each subsequent imaging, first, image acquisition processing S222 (single signal readout) similar to the normal image acquisition processing S102 is performed. Thereafter, the position information of the specific pixel 3a is read from the storage device (S224), and the accumulated signal is read a plurality of (M) times for the specific pixel 3a as in the first embodiment (S226). The average value (which may be a simple addition average) is taken (S228). The processing from step S224 to step S228 is collectively referred to as random noise suppression processing S22.
第2実施形態では、第1実施形態の効果を同様に享受できるとともに、処理対象画素特定処理S11と同様の事前処理対象画素特定処理S21を撮像ごとに行なう必要がないので、各回の撮像においては、信号処理の負荷を一層軽減できる。 In the second embodiment, the effects of the first embodiment can be enjoyed in the same manner, and it is not necessary to perform the pre-processing target pixel specifying process S21 similar to the processing target pixel specifying process S11 for each image pickup. The load of signal processing can be further reduced.
ただし、ランダムノイズ抑制処理S12と同様のランダムノイズ抑制処理S22に関する事項は、第1実施形態と相違がない。たとえば、図5(2−1)に示すように、通常時と同様に画像取得処理S222の期間で信号の読出しを行なうが、その後に、ランダムノイズ抑制処理S22の分が追加されるのは図4A(2−1)に示す場合と同様である。このとき、ランダムノイズ抑制処理S22を垂直ブランキング期間で行なうようにしたとしても、ランダムノイズ抑制処理S22の分が垂直ブランキング期間内に収まらない場合には(図5(2−2b))、全体の処理時間は通常時よりも長く掛ってしまうことになる。 However, the matter regarding the random noise suppression process S22 similar to the random noise suppression process S12 is not different from the first embodiment. For example, as shown in FIG. 5 (2-1), the signal is read during the period of the image acquisition process S222 as in the normal case, but after that, the random noise suppression process S22 is added. This is similar to the case shown in 4A (2-1). At this time, even if the random noise suppression process S22 is performed in the vertical blanking period, if the amount of the random noise suppression process S22 does not fall within the vertical blanking period (FIG. 5 (2-2b)), The entire processing time will take longer than usual.
M回の信号の読出しを通常時よりも高速に(好ましくはM倍で)行なったとしても、RTSノイズの大きな特定画素3aの数が多くなると、ランダムノイズ抑制処理S22の分が垂直ブランキング期間内に収まらなくなることが起こり得る。この場合、ランダムノイズ抑制処理S22の期間を通常の垂直ブランキング期間よりも長い垂直ブランキング期間BLK1として設定することになる。 Even when M signals are read out at a higher speed than normal (preferably M times), if the number of specific pixels 3a having a large RTS noise increases, the amount of random noise suppression processing S22 corresponds to the vertical blanking period. It can happen that it does n’t fit inside. In this case, the period of the random noise suppression process S22 is set as the vertical blanking period BLK1 longer than the normal vertical blanking period.
この対策としてはたとえば、図5(2−3)に示すように、ステップS218において、垂直ブランキング期間内に収まらせるための個数に関する閾値Th_2の範囲で特定画素3aを選択することが考えられる。特定画素3aの個数を閾値Th_2と一致させれば、ランダムノイズ抑制処理S22の期間が通常の垂直ブランキング期間と一致する。 As a countermeasure for this, for example, as shown in FIG. 5 (2-3), it is conceivable to select the specific pixel 3a in the range of the threshold value Th_2 regarding the number to be accommodated within the vertical blanking period in step S218. If the number of the specific pixels 3a is made to coincide with the threshold Th_2, the period of the random noise suppression process S22 coincides with the normal vertical blanking period.
図5(2−3)に示す手法であれば、ランダムノイズ抑制処理S22におけるM回の信号の読出しを通常時よりも高速に行なうことが好ましいが、動画撮像にも対処できると考えられる。前述のように、RTSノイズは静止画よりも動画の方が問題になるが、図5(2−3)に示す手法を適用することでも、その問題を解決できる。 With the technique shown in FIG. 5 (2-3), it is preferable to read out M times of signals in the random noise suppression process S22 at a higher speed than normal, but it is considered that moving image capturing can also be handled. As described above, RTS noise is more problematic for moving images than for still images, but the problem can also be solved by applying the method shown in FIG. 5 (2-3).
なお、第2実施形態の場合、処理対象画素特定処理S21を撮像ごとには行なわないので、特定画素3aとして選択されなかった単位画素3についてm回の加算平均により画像全体のノイズを抑制するという第1実施形態における第2の手法を採ることはできない。
In the case of the second embodiment, the processing target pixel specifying process S21 is not performed for each imaging, and therefore, the noise of the entire image is suppressed by m-time averaging for the
<RTSノイズ抑制処理:第3実施形態>
図6は、本実施形態のRTSノイズ抑制処理の第3実施形態を説明する図である。ここで、図6(1)は、本実施形態のRTSノイズ抑制処理の基本原理を説明するフローチャートであり、図6(2)は、その垂直走査レートでのタイミングチャートおよび垂直走査の概要を説明する図である。ステップ番号を300番台で示し、第2実施形態と同様の処理ステップには、第2実施形態の10番台および1番台と同じ番号を付して示す。
<RTS Noise Suppression Processing: Third Embodiment>
FIG. 6 is a diagram for explaining a third embodiment of the RTS noise suppression process of the present embodiment. Here, FIG. 6A is a flowchart for explaining the basic principle of the RTS noise suppression processing of the present embodiment, and FIG. 6B is a timing chart at the vertical scanning rate and an outline of the vertical scanning. It is a figure to do. Step numbers are shown in the 300s, and processing steps similar to those in the second embodiment are denoted by the same numbers as the 10s and 1s in the second embodiment.
第3実施形態は、第2実施形態と同様に任意の露光のタイミングで処理対象画素特定処理を行ない、特定画素3aの位置情報を予め定められた記憶装置に保存しておき、露光ごとに特定画素3aの位置情報を記憶装置から読み出して使用する点に特徴がある。第2実施形態との相違は、ランダムノイズ抑制処理を通常の信号の読取り過程で行なう点にある。以下、第2実施形態との相違に着目して説明する。 As in the second embodiment, the third embodiment performs the processing target pixel specifying process at an arbitrary exposure timing, stores the position information of the specific pixel 3a in a predetermined storage device, and specifies each exposure. It is characterized in that the position information of the pixel 3a is read from the storage device and used. The difference from the second embodiment is that random noise suppression processing is performed in a normal signal reading process. Hereinafter, description will be made focusing on differences from the second embodiment.
事前処理対象画素特定処理S31が完了するまでは第2実施形態と同様である。その後の各回の撮像においては、先ず、記憶装置から特定画素3aの位置情報を読み出す(S321)。そして、通常時の画像取得処理S102と同様の画像取得処理(1回の信号読出し)を行なう過程で、垂直走査位置がRTSノイズの大きな特定画素3aの存在しないライン(行)では(S323−NO)、蓄積されている信号を1回読み出す(S325)。一方、垂直走査位置がRTSノイズの大きな特定画素3aの存在するライン(行)では(S323−YES)、蓄積されている信号を複数(M)回読み出して(S326)、その平均値(単純加算平均でよい)を取る(S328)。ステップS323からステップS328までの処理を纏めてランダムノイズ抑制処理S32と称する。 The process is the same as in the second embodiment until the pre-processing target pixel specifying process S31 is completed. In each subsequent imaging, the position information of the specific pixel 3a is first read from the storage device (S321). Then, in the process of performing the same image acquisition process (single signal readout) as the normal image acquisition process S102, in the line (row) where the vertical scanning position does not include the specific pixel 3a having a large RTS noise (S323-NO) ), The accumulated signal is read once (S325). On the other hand, in the line (row) where the specific pixel 3a having a large RTS noise exists in the vertical scanning position (S323-YES), the accumulated signal is read out a plurality of (M) times (S326), and the average value (simple addition) The average may be used) (S328). The processing from step S323 to step S328 is collectively referred to as random noise suppression processing S32.
第3実施形態では、第1実施形態の効果を同様に享受できるとともに、第2実施形態と同様に事前処理対象画素特定処理S31を撮像ごとに行なう必要がないので、各回の撮像においては、信号処理の負荷を第1実施形態よりも一層軽減できる。 In the third embodiment, the effects of the first embodiment can be enjoyed in the same manner, and it is not necessary to perform the pre-processing target pixel specifying process S31 for each imaging as in the second embodiment. The processing load can be further reduced than in the first embodiment.
ただし、通常時と同様の画像取得処理S325を行なう過程にランダムノイズ抑制処理S32が組み込まれた状態となるため、特定画素3aの存在するラインと存在しないラインとで処理サイクル(垂直走査の進行速度)が変化する。このため、露光時間の相違がライン間で発生する、特定画素3aの存在するライン数に応じて垂直走査期間(フレームレート)が変動するなどの現象が起こる。 However, since the random noise suppression process S32 is incorporated in the process of performing the image acquisition process S325 similar to the normal time, the processing cycle (vertical scanning progress speed) is performed between the line where the specific pixel 3a exists and the line where the specific pixel 3a does not exist. ) Will change. For this reason, a phenomenon occurs such that a difference in exposure time occurs between the lines, or the vertical scanning period (frame rate) varies according to the number of lines in which the specific pixel 3a exists.
たとえば、図6(2−1)に示すように、ランダムノイズ抑制処理S32は、垂直ブランキング期間ではなく、通常時と同様の画像取得処理S325(1回の信号読出し)を行なう過程に行なわれる。M回の信号の読出しを通常時と同様の処理速度ですると、画面上の垂直走査の進行が特定画素3aの存在しないラインと存在するラインとで異なってしまう。その影響が露光時間の相違(「M−1」ライン分の時間差)として現われる。また、垂直走査期間が、「M−1」ライン分だけ長くなる。 For example, as shown in FIG. 6 (2-1), the random noise suppression process S32 is performed not in the vertical blanking period but in the process of performing the image acquisition process S325 (single signal readout) similar to the normal time. . If M signals are read out at the same processing speed as in normal times, the progress of vertical scanning on the screen differs between a line where the specific pixel 3a does not exist and a line where it exists. The effect appears as a difference in exposure time (time difference corresponding to the “M−1” line). Further, the vertical scanning period becomes longer by “M−1” lines.
この対策としてはたとえば、図6(2−2)に示すように、ステップS326におけるM回の信号の読出しを通常時よりも高速に行なうことが考えられる。たとえばM回の信号の読出しを通常時のM倍で行なえば、画面上の垂直走査の進行速度は、特定画素3aの存在しないラインも存在するラインも同じになる(垂直走査の進行速度は変化しない)。 As a countermeasure, for example, as shown in FIG. 6 (2-2), it is conceivable to read out M times of signals in step S326 at a higher speed than normal. For example, if M times of signal reading are performed at M times the normal time, the vertical scanning speed on the screen is the same for both the lines where the specific pixel 3a does not exist and the lines where the specific pixel 3a does not exist (the vertical scanning speed changes). do not do).
図6(2−2)に示す手法であれば、ランダムノイズ抑制処理S32におけるM回の信号の読出しを通常時よりも高速に行なうことが必要となるが、特定画素3aの存在するライン数に応じた垂直走査期間の変動もなく、動画撮像にも対処できると考えられる。前述のように、RTSノイズは静止画よりも動画の方が問題になるが、図6(2−2)に示す手法を適用することでも、その問題を解決できる。 With the method shown in FIG. 6 (2-2), it is necessary to read out the M number of signals in the random noise suppression process S32 at a higher speed than usual, but the number of lines in which the specific pixel 3a exists is reduced. It is considered that there is no fluctuation in the corresponding vertical scanning period and it can cope with moving image capturing. As described above, RTS noise is more problematic for moving images than for still images, but the problem can also be solved by applying the method shown in FIG.
<撮像装置>
図7は、他の実施形態を説明する図である。この実施形態は、前述の固体撮像装置1の実施形態に採用していたRTSノイズ抑制処理や多重加算AD変換処理の仕組みを、物理情報取得装置の一例である撮像装置に適用したものである。図7は、その撮像装置8の概略構成図である。
<Imaging device>
FIG. 7 is a diagram for explaining another embodiment. In this embodiment, the mechanism of RTS noise suppression processing and multiple addition AD conversion processing employed in the above-described embodiment of the solid-
撮像装置としても、RTSノイズ抑制処理や少なくとも1画素分の画素信号電圧Vxについては多重加算AD変換処理やを行なうことで、画素信号読出し時のRTSノイズの低減やAD変換に伴う量子化ノイズの低減やダイナミックレンジの拡大ができる仕組みを実現できるようになる。 The imaging apparatus also performs RTS noise suppression processing and multiple addition AD conversion processing on the pixel signal voltage Vx for at least one pixel, thereby reducing RTS noise at the time of pixel signal reading and quantization noise associated with AD conversion. A mechanism that can reduce or expand the dynamic range can be realized.
この際、たとえば少なくとも、処理対象画素特定処理における繰返し回数mの設定およびランダムノイズ抑制処理における繰返し回数Mの設定などのRTSノイズ抑制処理に関わる制御は、外部の主制御部において、制御用の指示情報を通信・タイミング制御部20に対するデータ設定で任意に指定できるようにする。
At this time, for example, at least the control related to the RTS noise suppression process such as the setting of the number of repetitions m in the processing target pixel specifying process and the setting of the number of repetitions M in the random noise suppression process is performed by an external main control unit. Information can be arbitrarily designated by data setting for the communication /
また、多重加算AD変換処理における繰返し加算Wの設定、カウントクロックCKcnt ,CKdac の周波数設定、参照信号SLP_ADC の傾き設定などの多重加算AD変換処理に関わる制御は、外部の主制御部において、制御用の指示情報を通信・タイミング制御部20に対するデータ設定で任意に指定できるようにする。
In addition, control related to the multiple addition AD conversion processing such as setting of the repeated addition W in the multiple addition AD conversion processing, the frequency setting of the count clocks CKcnt and CKdac, and the slope setting of the reference signal SLP_ADC is performed by an external main control unit. The instruction information can be arbitrarily designated by data setting for the communication /
RTSノイズ抑制処理や多重加算AD変換処理を行なわない通常の参照信号比較型のAD変換処理の制御も外部の主制御部側の指令に基づいてできるようにするのがよい。 It is preferable that control of a normal reference signal comparison type AD conversion process in which the RTS noise suppression process and the multiple addition AD conversion process are not performed can be performed based on an instruction from the external main control unit.
具体的には、撮像装置8は、撮影レンズ802、光学ローパスフィルタ804、色フィルタ群812、画素アレイ部10、駆動制御部7、カラムAD変換部26、参照信号生成部27、カメラ信号処理部810を備えている。図中に点線で示すように、光学ローパスフィルタ804と合わせて、赤外光成分を低減させる赤外光カットフィルタ805を設けることもできる。
Specifically, the
撮影レンズ802は、蛍光灯や太陽光などの照明下にある被写体Zの像を担持する光Lを撮像装置側に導光して結像させる。色フィルタ群812は、たとえばR,G,Bの色フィルタがベイヤー配列とされている。駆動制御部7は、画素アレイ部10を駆動する。読出電流制御部24は、画素アレイ部10から出力される画素信号の動作電流を制御する。カラムAD変換部26は、画素アレイ部10から出力された画素信号に対してCDS処理やAD変換処理などを施す。参照信号生成部27は、カラムAD変換部26に参照信号SLP_ADC を供給する。カメラ信号処理部810は、カラムAD変換部26から出力された撮像信号を処理する。
The photographing
カラムAD変換部26の後段に設けられたカメラ信号処理部810は、撮像信号処理部820と、撮像装置8の全体を制御する主制御部として機能するカメラ制御部900を有する。撮像信号処理部820は、信号分離部822と、色信号処理部830と、輝度信号処理部840と、エンコーダ部860を有する。
The camera signal processing unit 810 provided at the subsequent stage of the column
信号分離部822は、色フィルタとして原色フィルタ以外のものが使用されているときにカラムAD変換部26のAD変換機能部から供給されるデジタル撮像信号をR(赤),G(緑),B(青)の原色信号に分離する原色分離機能を具備する。色信号処理部830は、信号分離部822によって分離された原色信号R,G,Bに基づいて色信号Cに関しての信号処理を行なう。輝度信号処理部840は、信号分離部822によって分離された原色信号R,G,Bに基づいて輝度信号Yに関しての信号処理を行なう。エンコーダ部860は、輝度信号Y/色信号Cに基づいて映像信号VDを生成する。
The
色信号処理部830は、図示を割愛するが、たとえば、ホワイトバランスアンプ、ガンマ補正部、色差マトリクス部などを有する。輝度信号処理部840は、図示しなが、たとえば、高周波輝度信号生成部と、低周波輝度信号生成部と、輝度信号生成部を有する。高周波輝度信号生成部は、信号分離部822の原色分離機能部から供給される原色信号に基づいて比較的周波数が高い成分までをも含む輝度信号YHを生成する。低周波輝度信号生成部は、ホワイトバランスアンプから供給されるホワイトバランスが調整された原色信号に基づいて比較的周波数が低い成分のみを含む輝度信号YLを生成する。輝度信号生成部は、2種類の輝度信号YH,YLに基づいて輝度信号Yを生成しエンコーダ部860に供給する。
Although not shown, the color
エンコーダ部860は、色信号副搬送波に対応するデジタル信号で色差信号R−Y,B−Yをデジタル変調した後、輝度信号処理部840にて生成された輝度信号Yと合成して、デジタル映像信号VD(=Y+S+C;Sは同期信号、Cはクロマ信号)に変換する。エンコーダ部860から出力されたデジタル映像信号VDは、さらに後段の図示を割愛したカメラ信号出力部に供給され、モニター出力や記録メディアへのデータ記録などに供される。この際、必要に応じて、DA変換によってデジタル映像信号VDがアナログ映像信号Vに変換される。
The
本実施形態のカメラ制御部900は、マイクロプロセッサ(microprocessor)902、読出専用の記憶部であるROM904、RAM906、図示を割愛したその他の周辺部材を有している。マイクロプロセッサ902は、コンピュータが行なう演算と制御の機能を超小型の集積回路に集約させたCPU(Central Processing Unit )を代表例とする電子計算機の中枢をなすものと同様のものである。906は、随時書込みおよび読出しが可能であるとともに揮発性の記憶部の一例である。マイクロプロセッサ902、ROM904、およびRAM906を纏めて、マイクロコンピュータ(microcomputer )とも称する。
The camera control unit 900 of this embodiment includes a
カメラ制御部900は、システム全体を制御するものであり、RTSノイズ抑制処理との関係においては画素信号読出しの繰返し回数m,Mを調整する機能を有しており、また、多重加算AD変換処理との関係においては、加算回数や、カウントクロックCKcnt ,CKdac の周波数や、参照信号SLP_ADC の傾きなどを調整する機能を有している。ROM904にはカメラ制御部900の制御プログラムなどが格納されているが、特に本例では、カメラ制御部900によって通常の参照信号比較型のAD変換処理やRTSノイズ抑制処理や多重加算AD変換処理を制御するためのプログラムが格納されている。マイクロプロセッサ902は、ROM904のプログラムに基づいて、固体撮像装置1と同様の機能部を持つモジュール側と連携して、RTSノイズ抑制処理や多重加算AD変換処理を制御する。RAM906にはカメラ制御部900が各種処理を行なうためのデータなどが格納されている。
The camera control unit 900 controls the entire system, and has a function of adjusting the number of repetitions m and M of pixel signal readout in relation to the RTS noise suppression process, and also a multiple addition AD conversion process , The frequency of addition, the frequency of the count clocks CKcnt and CKdac, and the function of adjusting the slope of the reference signal SLP_ADC. The
なお、RTSノイズ抑制処理との関係においては、カメラ制御部900は、事前処理対象画素特定処理S21や事前処理対象画素特定処理S31にて特定した特定画素3aの画素位置の情報を電源オフ時にも消失しないように保存しておく。このため、RAM906としては、随時書込みおよび読出しが可能であるとともに不揮発性の記憶媒体の一例である不揮発性(Non-Volatility)の記憶部の一例であるNVRAMを使用する。
In relation to the RTS noise suppression process, the camera control unit 900 also displays information on the pixel position of the specific pixel 3a specified in the pre-processing target pixel specifying process S21 or the pre-processing target pixel specifying process S31 even when the power is turned off. Save it so that it does not disappear. Therefore, as the
モジュール側の駆動制御部7(図示していない通信・タイミング制御部20)は、事前処理対象画素特定処理S21や事前処理対象画素特定処理S31にて取得された特定画素3aの位置情報をカメラ制御部900に通知する。カメラ制御部900は、特定画素3aの位置情報をNVRAMに保持しておく。カメラ制御部900は、撮像の都度、NVRAMに保持した特定画素3aの位置情報を読み出してモジュール側の駆動制御部7(通信・タイミング制御部20)に通知する通知部として機能する。 The module-side drive control unit 7 (not shown communication / timing control unit 20) controls the position information of the specific pixel 3a acquired in the pre-processing target pixel specifying process S21 and the pre-processing target pixel specifying process S31. Section 900 is notified. The camera control unit 900 holds the position information of the specific pixel 3a in the NVRAM. The camera control unit 900 functions as a notification unit that reads the position information of the specific pixel 3a held in the NVRAM and notifies the drive control unit 7 (communication / timing control unit 20) on the module side every time imaging is performed.
また、カメラ制御部900は、メモリカードなどの記録媒体924を挿脱可能に構成し、またインターネットなどの通信網との接続が可能に構成している。たとえば、カメラ制御部900は、マイクロプロセッサ902、ROM904、およびRAM906の他に、メモリ読出部907および通信I/F(インタフェース)908を備える。
The camera control unit 900 is configured so that a
記録媒体924は、たとえば、マイクロプロセッサ902にソフトウェア処理をさせるためのプログラムデータや、輝度信号処理部840からの輝度系信号に基づく測光データDLの収束範囲や露光制御処理(電子シャッタ制御を含む)、多重加算AD変換処理のための各種の制御情報の設定値などの様々なデータを登録するなどのために利用される。
The
メモリ読出部907は、記録媒体924から読み出したデータをRAM906に格納(インストール)する。通信I/F908は、インターネットなどの通信網との間の通信データの受け渡しを仲介する。
The
なお、このような撮像装置8は、駆動制御部7およびカラムAD変換部26を、画素アレイ部10と別体にしてモジュール状のもので示しているが、固体撮像装置1について述べたように、これらが画素アレイ部10と同一の半導体基板上に一体的に形成されたワンチップものの固体撮像装置1を利用してもよいのは言うまでもない。また、図では、画素アレイ部10や駆動制御部7やカラムAD変換部26や参照信号生成部27やカメラ信号処理部810の他に、撮影レンズ802、光学ローパスフィルタ804、あるいは赤外光カットフィルタ805などの光学系をも含む状態で、撮像装置8を示しており、この態様は、これらを纏めてパッケージングされた撮像機能を有するモジュール状の形態とする場合に好適である。
In the
ここで、前述の固体撮像装置1におけるモジュールとの関係においては、図示のように、画素アレイ部10(撮像部)と、AD変換機能や差分(CDS)処理機能を具備したカラムAD変換部26などの画素アレイ部10側と密接に関連した信号処理部(カラムAD変換部26の後段のカメラ信号処理部は除く)が纏めてパッケージングされた状態で撮像機能を有するモジュール状の形態で固体撮像装置1を提供するようにし、そのモジュール状の形態で提供された固体撮像装置1の後段に、残りの信号処理部であるカメラ信号処理部810を設けて撮像装置8の全体を構成するようにしてもよい。
Here, in relation to the module in the solid-
または、図示を割愛するが、画素アレイ部10と撮影レンズ802などの光学系とが纏めてパッケージングされた状態で撮像機能を有するモジュール状の形態で固体撮像装置1を提供するようにし、そのモジュール状の形態で提供された固体撮像装置1に加えて、カメラ信号処理部810をもモジュール内に設けて、撮像装置8の全体を構成するようにしてもよい。また、固体撮像装置1におけるモジュールの形態として、カメラ信号処理部810を含めてもよく、この場合には、事実上、固体撮像装置1と撮像装置8とが同一のものと見なすこともできる。このような撮像装置8は、「撮像」を行なうための、たとえば、カメラや撮像機能を有する携帯機器として提供される。なお、「撮像」は、通常のカメラ撮影時の像の撮り込みだけではなく、広義の意味として、指紋検出なども含む。
Alternatively, although not shown, the solid-
このような構成の撮像装置8においては、前述の固体撮像装置1の全ての機能を包含して構成されており、前述の固体撮像装置1の基本的な構成および動作と同様とすることができ、通常の参照信号比較型のAD変換処理だけでなく、RTSノイズ抑制処理や多重加算AD変換処理を行なう仕組みを実現できるようになる。
The
<電子機器:画素欠陥診断への適用例>
図8は、他の実施形態を説明する図である。この実施形態は、前述の固体撮像装置1や撮像装置8の実施形態に採用していたRTSノイズ抑制処理や多重加算AD変換処理の仕組みを電子機器に適用したものである。つまり、この実施形態は、固体撮像装置以外の電子機器に本実施形態のRTSノイズ抑制処理方法や多重加算AD変換処理方法や多重加算AD変換処理装置を適用する事例を示したものである。図8は、その電子機器の概略構成図である。
<Electronic equipment: Application to pixel defect diagnosis>
FIG. 8 is a diagram for explaining another embodiment. In this embodiment, the mechanism of the RTS noise suppression processing and the multiple addition AD conversion processing employed in the above-described embodiments of the solid-
前述の実施形態では、画素アレイ部10からの画素信号の読出しおける特定画素3aに対するRTSノイズ抑制処理や、参照信号比較型のAD変換処理を同一信号についてW回繰り返す多重加算AD変換処理を固体撮像装置1や撮像装置8に適用した例で説明したが、その適用範囲は、固体撮像装置や撮像装置に限らない。
In the above-described embodiment, solid-state imaging is performed by performing RTS noise suppression processing for the specific pixel 3a in which the pixel signal is read from the
素子からの信号の読出しおける特定の素子に対するRTSノイズ抑制処理は、たとえばSRAMやDRAMなどのメモリ装置を必要とするあらゆる電子機器に適用できる。このような電子機器としても、記憶データを読み出すときのランダムノイズの問題を改善する仕組みとして、本実施形態のRTSノイズ抑制処理を適用することで、RTSノイズ低減ができる。 The RTS noise suppression processing for a specific element that can read a signal from the element can be applied to any electronic device that requires a memory device such as SRAM or DRAM. Even in such an electronic device, RTS noise can be reduced by applying the RTS noise suppression processing of the present embodiment as a mechanism for improving the problem of random noise when reading stored data.
図示した電子機器700は、固体撮像装置1の欠陥画素を診断したり、動体検出処理をしたりするなど、積和演算結果に基づく様々な処理機能を持つ。具体的には、電子機器700は先ず、アナログの処理対象信号を生成する信号生成部701を備える。信号生成部701は、固体撮像装置1の画素アレイ部10から出力される画素信号電圧Vxを処理対象信号をして利用する構成となっている。つまり、本実施形態でも、処理対象信号としては、固体撮像装置1の実施形態と同様に、固体撮像装置1の画素アレイ部10から出力される画素信号電流に基づく画素信号(画素信号電圧Vx)であるものとする。ただしこれは一例に過ぎず、積和演算に耐え得るように、物理的な性質が同一である信号である限り、画素信号に限らず任意の信号であってよい。
The illustrated electronic apparatus 700 has various processing functions based on the product-sum operation result, such as diagnosing a defective pixel of the solid-
電子機器700はまた、図中の中央部分に示す分割線の左側に配された、電子機器700の全体の動作を制御するパーソナルコンピュータなどを利用した制御装置702と、分割線の右側に配された、AD変換装置705を備える。AD変換装置705には、信号生成部701から画素信号電圧Vxが供給される。なお、分割線で制御装置702とAD変換装置705とを分けるのではなく、その両者を含んで、複数の信号間での積和演算結果のデジタルデータを得るデータ処理装置の機能を持つ1つのAD変換部706(AD変換装置)として構成してもよい。
The electronic device 700 is also arranged on the left side of the dividing line, and a control device 702 using a personal computer or the like that controls the overall operation of the electronic device 700, which is arranged on the left side of the dividing line shown in the center portion in the figure. In addition, an AD conversion device 705 is provided. A pixel signal voltage Vx is supplied from the
AD変換部706(AD変換装置705)は、比較部752およびカウンタ部754を有する。比較部752は、信号生成部701(固体撮像装置1)から取り込んだアナログの画素信号をデジタルデータに変換する。比較部752は比較部252に、カウンタ部754はカウンタ部254にそれぞれ対応するものであり、それらの基本的な動作は、固体撮像装置1の比較部252やカウンタ部254と同様である。
The AD conversion unit 706 (AD conversion device 705) includes a
制御装置702は、AD変換装置705を制御する機能要素として、比較部752にAD変換用の参照電圧を供給する参照信号生成部727と、参照信号生成部727やカウンタ部754を制御するタイミング制御部720を備えている。タイミング制御部720は通信・タイミング制御部20に、参照信号生成部727は参照信号生成部27にそれぞれ対応するものであり、それらの基本的な動作は、固体撮像装置1の通信・タイミング制御部20や参照信号生成部27と同様である。
The control device 702 includes, as functional elements that control the AD conversion device 705, a reference
制御装置702は、積和演算処理対象の一方のデータを保持するデータ記憶部728と、カウンタ部754で得られた積和演算結果のデータD8に基づき固体撮像装置1を診断したりその他の判定処理をしたりするなどの機能を持つ判定・診断部730を備える。
The control device 702 diagnoses the solid-
このような電子機器700の構成において、固体撮像装置1の欠陥画素を診断する機能を実現するには、先ず比較対象となる正常な(画素欠陥のない)固体撮像装置1の画素データ(正常データという)を取得し、この後、診断対象の固体撮像装置1から画素信号を読み出して、正常データとの間で差分処理を行ない、その結果に基づいて欠陥の有無を診断する。画素欠陥としては、たとえば暗時欠陥と明時欠陥とを診断するのがよく、暗時欠陥の診断のためには、固体撮像装置1を非露光状態にして正常データの取得や診断を行ない、また、明時欠陥の診断のためには、たとえば全白撮影状態として固体撮像装置1の正常データの取得や診断を行なう。
In such a configuration of the electronic apparatus 700, in order to realize a function of diagnosing a defective pixel of the solid-
正常データを取得する場合、AD変換装置705(AD変換部706)は、比較対象となる正常な固体撮像装置1から画素信号電圧Vxを取得し、固体撮像装置1について説明したと同様にして、参照信号生成部727から供給される参照信号SLP_ADC と画素信号電圧Vxを比較部752で比較する。
When acquiring normal data, the AD conversion device 705 (AD conversion unit 706) acquires the pixel signal voltage Vx from the normal solid-
なお、本実施形態では、正常データを取得する際には、1回の露光で得られた蓄積情報をm回繰り返すことでRTSノイズの大きな特定画素を選択する処理対象画素特定処理を行ない、また、特定画素についてはM回繰り返して読み出して平均化するランダムノイズ抑制処理を行なうように指示する。 In the present embodiment, when acquiring normal data, a process target pixel specifying process for selecting a specific pixel having a large RTS noise is performed by repeating accumulated information obtained by one exposure m times. For a specific pixel, an instruction is given to perform random noise suppression processing that is repeated M times and read and averaged.
また、好ましくは、タイミング制御部720は、カウンタ部754や参照信号生成部727に対して、W回の多重加算AD変換処理を行ない、かつその結果に対してW回に対応した平均化を行なうように指示する。これは、画素信号電圧VxについてW回繰り返してAD変換することで、高ゲインでデジタルデータに変換し、かつ高ゲインでデジタルデータを通常のレベルに戻すことを意味する。
Preferably, the timing control unit 720 performs W multiple addition AD conversion processing on the
カウンタ部754は、参照信号生成部727による参照信号SLP_ADC の生成と同時にタイミング制御部720にて指示されたカウントモードにてカウントクロックCK0(通常時はCKcnt1、多重加算時はCKcntWなど)に基づきカウント処理を開始する。ここでは、タイミング制御部720は、カウンタ部754のカウントモードを、リセットレベルの処理時にはダウンカウントモードに設定し、信号レベルについてはアップカウントモードに設定することとする。これは、信号成分Vsig に対応する画素データとして正のデータを取得することを意味する。
The
カウンタ部754は、比較部752の比較処理で用いる参照信号SLP_ADC の生成時点から画素信号電圧Vxと参照信号SLP_ADC とが一致する時点までのカウントクロックCK0を計数し、係数結果を自前の登録データD9aとして画素位置を対応付けてデータ記憶部728に登録する。AD変換装置705は、このような処理を、撮像信号の全画素について繰り返す。
The
なお、正常データの取得は、必ずしもAD変換装置705を利用して取得するものでなくてもよく、たとえば、外部の機器にて正常データを取得し、この外部の機器から入力される登録データD9bを画素位置と対応付けてデータ記憶部728に登録するようにしてもよい。あるいは、正常時のデータは、画素位置に関わらず一定である(ムラはない)とすることもでき、この場合には、正常データの取得は不要である。
The acquisition of normal data does not necessarily have to be acquired using the AD conversion device 705. For example, normal data is acquired by an external device, and registered data D9b input from the external device. May be registered in the
暗時欠陥や明時欠陥の診断時には、固体撮像装置1を、各診断に応じた所定の露光状態とする。タイミング制御部720は、好ましくは、正常データを取得する際と同様にランダムノイズ抑制処理を行なうように指示する。
When diagnosing a dark defect or a light defect, the solid-
タイミング制御部720は、さらに好ましくは、正常データを取得する際と同様にW回の多重加算AD変換処理を行なうように指示する。暗時欠陥の診断時には加算平均化処理を行なわずゲインアップしたデータを取得し、明時欠陥の診断時には加算平均化処理を行なうことで通常レベルのデータを取得するようにする。 More preferably, the timing control unit 720 instructs to perform W multiple addition AD conversion processing in the same manner as when acquiring normal data. When dark defects are diagnosed, the gain-up data is obtained without performing the averaging process, and when the light defects are diagnosed, normal level data is obtained by performing the averaging process.
タイミング制御部720は、カウンタ部754に対して初期値制御信号CN7を発し、処理対象の画素位置と同じ画素位置の正常時の画素データをデータ記憶部728から読み出してカウント処理の初期値とするように指示する。AD変換装置705は、診断対象の固体撮像装置1からアナログの画素信号電圧Vxを取得し、先ず比較部752において、参照信号生成部727から供給される所定の傾きで変化する参照信号SLP_ADC と画素信号電圧Vxとを比較する。カウンタ部754ではその比較結果に基づきカウントクロックCK0を計数する。
The timing control unit 720 issues an initial value control signal CN7 to the
判定・診断部730は、カウンタ部754にて得られるカウント値が示す、正常時と実働時の差を表わす積和演算データD8を欠陥判定データとして用いて、画素欠陥の有無を判定する。ここで、カウント結果としては、正常時の画素データから実働時の画素データを差し引いた値が得られる。画素欠陥がなければ、得られるカウント値は、誤差成分やノイズ成分だけとなり、十分に小さいと考えてよい。これに対して、画素欠陥がある場合には、正常時と実働時の画素データに大きな差が現われる。よって、判定・診断部730は、画素欠陥の判定に際しては、誤差成分やノイズ成分などによる誤判定を防止するべく、カウンタ部754にて得られる積和演算データD8が一定以上である場合に、画素欠陥があるものと判定するのがよい。
The determination /
このように、電子機器700を画素欠陥診断に用いる場合、比較部752とカウンタ部754の組合せからなるAD変換部706を用いて、正常デバイスと診断対象デバイスとの間で画素データの差分処理を行なうようにした。これにより、正常状態に対する実働状態の差を示すデジタルデータを、実働状態の画素信号についてAD変換をする際に、固体撮像装置1の実施形態で説明したと同様に、直接にカウンタ部754の出力として得ることができる。
As described above, when the electronic apparatus 700 is used for pixel defect diagnosis, pixel data difference processing is performed between the normal device and the diagnosis target device using the
画素欠陥診断ではノイズが判定性能に影響を与えるが、前述したRTSノイズ抑制処理を適用しておくことで、画素信号読出し時のランダムノイズ(特にRTSノイズ)の影響を受けず、本実施形態を適用しない場合よりも精度のよい判定ができる。 In the pixel defect diagnosis, noise affects the determination performance. However, by applying the RTS noise suppression processing described above, the present embodiment is not affected by random noise (particularly RTS noise) when reading a pixel signal. It is possible to make a more accurate determination than when not applied.
さらに、多重加算AD変換処理も併用することで、S/Nの良好な診断データを用いて画素欠陥診断ができる。暗時欠陥の診断時には多重加算AD変換処理によるゲインアップ機能を利用することで、診断に十分なレベルのデータが得られる。 Furthermore, by using the multiple addition AD conversion process together, pixel defect diagnosis can be performed using diagnostic data with good S / N. When a dark defect is diagnosed, a sufficient level of data for diagnosis can be obtained by using a gain-up function by multiple addition AD conversion processing.
なお、ここでは画素欠陥診断への適用例で説明したが、RTSノイズ抑制処理や多重加算AD変換処理の適用例はこれに限らない。たとえば、動体検出機能を実現する際には、現フレームの画素信号電圧Vxを固体撮像装置1から読み出して、前フレームの画素信号電圧Vxとの間で差分処理を行ない、その結果に基づいて動体を検出する。このとき、RTSノイズ抑制処理や多重加算AD変換処理を適用することで、S/Nの良好な動体検出データを取得できる。
Here, the application example to the pixel defect diagnosis has been described, but application examples of the RTS noise suppression process and the multiple addition AD conversion process are not limited thereto. For example, when the moving object detection function is realized, the pixel signal voltage Vx of the current frame is read from the solid-
<その他の電子機器への適用例>
図9は、RTSノイズ抑制処理や多重加算AD変換処理が適用されるその他の電子機器の一例を説明する図である。
<Application examples to other electronic devices>
FIG. 9 is a diagram illustrating an example of another electronic device to which the RTS noise suppression process or the multiple addition AD conversion process is applied.
本実施形態のRTSノイズ抑制処理や多重加算AD変換処理は、ゲーム機、電子ブック、電子辞書、携帯電話機などの各種の電子機器において、素子からの信号読出し時やAD変換に伴うノイズの抑制が要求される場合に適用することが考えられる。 The RTS noise suppression process and the multiple addition AD conversion process of the present embodiment can suppress noise associated with AD conversion and signal reading from elements in various electronic devices such as game machines, electronic books, electronic dictionaries, and mobile phones. It can be applied when required.
たとえば、図9(1)は、電子機器600が、画像表示装置の一例である表示モジュール604(液晶表示装置や有機EL表示装置)を利用したテレビジョン受像機602の場合の外観例を示す図である。テレビジョン受像機602は、台座606に支持されたフロントパネル603の正面に表示モジュール604を配置した構造となっており、表示面にはフィルターガラス605が設けられている。このテレビジョン受像機602には、図示しないSDRAM(DDR2仕様やDDR3仕様)が使用されており、そのSDRAMからのデータ読出しに前述した実施形態のRTSノイズ抑制処理の仕組みが適用される。加えて、テレビジョン受像機602は、録画機能用として、シリコンディスクユニット608を着脱可能に構成されており、シリコンディスクユニット608からのデータの読出しに前述した実施形態のRTSノイズ抑制処理の仕組みが適用される。
For example, FIG. 9A is a diagram illustrating an external appearance example when the
図9(2)は、電子機器600がデジタルカメラ612の場合の外観例を示す図である。デジタルカメラ612は、表示モジュール614、コントロールスイッチ616、シャッターボタン617、その他を含んでいる。デジタルカメラ612には図示しない固体撮像装置が搭載されており、前述した固体撮像装置1や撮像装置8のRTSノイズ抑制処理や多重加算AD変換処理の仕組みをそのまま適用される。加えて、デジタルカメラ612にはメモリカード618を着脱可能に構成されており、メモリカード618からのデータの読出しに前述した実施形態のRTSノイズ抑制処理の仕組みが適用される。
FIG. 9B is a diagram illustrating an appearance example when the
図9(3)は、電子機器600がビデオカメラ622の場合の外観例を示す図である。ビデオカメラ622は、本体623の前方に被写体を撮像する撮像レンズ625が設けられ、さらに、表示モジュール624や撮影のスタート/ストップスイッチ626などが配置されている。ビデオカメラ622には図示しない固体撮像装置が搭載されており、前述した固体撮像装置1や撮像装置8のRTSノイズ抑制処理や多重加算AD変換処理の仕組みをそのまま適用される。加えて、ビデオカメラ622にはシリコンディスクユニット628を着脱可能に構成されており、シリコンディスクユニット628からのデータの読出しに前述した実施形態のRTSノイズ抑制処理の仕組みが適用される。
FIG. 9 (3) is a diagram illustrating an appearance example when the
図9(4)は、電子機器600が携帯電話機632の場合の外観例を示す図である。携帯電話機632は、折り畳み式であり、上側筐体633a、下側筐体633b、表示モジュール634a、サブディスプレイ634b、カメラ635、連結部636(この例ではヒンジ部)、ピクチャーライト637などを含んでいる。そして、携帯電話機632のカメラ635に関して、前述した固体撮像装置1や撮像装置8のRTSノイズ抑制処理や多重加算AD変換処理の仕組みをそのまま適用される。加えて、携帯電話機632にはメモリカード638を着脱可能に構成されており、メモリカード638からのデータの読出しに前述した実施形態のRTSノイズ抑制処理の仕組みが適用される。
FIG. 9 (4) is a diagram illustrating an external appearance example when the
図9(5)は、電子機器600がコンピュータ642の場合の外観例を示す図である。コンピュータ642は、下型筐体643a、上側筐体643b、表示モジュール644、Webカメラ645、キーボード646などを含んでいる。そして、コンピュータ642のWebカメラ645に関して、前述した固体撮像装置1や撮像装置8のRTSノイズ抑制処理や多重加算AD変換処理の仕組みをそのまま適用される。加えて、コンピュータ642は、バスがPCI Express仕様であり、また、図示しないSDRAM(DDR2仕様やDDR3仕様)やシリコンディスクユニットが使用されており、SDRAMやシリコンディスクユニットからのデータの読出しに前述した実施形態のRTSノイズ抑制処理の仕組みが適用される。また、コンピュータ642には各種仕様の可搬型の記憶媒体648(たとえばUSBメモリ)を着脱可能に構成されており、記憶媒体648からのデータの読出しに前述した実施形態のRTSノイズ抑制処理の仕組みが適用される。
FIG. 9 (5) is a diagram illustrating an external appearance example when the
[半導体記憶装置への適用例]
図9Aは、RTSノイズ抑制処理の半導体記憶装置(不揮発性半導体記憶装置、不揮発性メモリ装置)への適用例の詳細を説明する図である。
[Example of application to semiconductor memory devices]
FIG. 9A is a diagram for explaining details of an application example of the RTS noise suppression process to a semiconductor memory device (nonvolatile semiconductor memory device, nonvolatile memory device).
半導体記憶装置2を利用する電子機器600としては、メモリカード、コンピュータ機器(携帯型を含む)、デジタルスチルカメラやビデオカメラやオーディオプレーヤなどのAV(音声・映像)機器、エアコン・冷蔵庫・テレビ・洗濯機などの家電機器、車載機器などが該当する(図9を参照)。
図9A(1)に示すように、半導体記憶装置2は、メモリセルアレイ部663、書込み/読出し部664、列制御部667、行制御部668(ワード線選択部)を備えている。書込み/読出し部664、列制御部667、行制御部668で、ワード線、ソース線、ビット線(何れも図示せず)の電位を、データの書込み、消去、読出しの各動作に応じて制御する駆動制御部666が構成されている。メモリセルアレイ部663の周囲に、メモリセルアレイ部663の書込み、消去、および読出しを制御する周辺回路が設けられる構成である。列制御部667と行制御部668は、ランダムアクセスに対応したものとする。
As shown in FIG. 9A (1), the
メモリセルアレイ部663には、メモリセル662(不揮発性メモリ素子、データ保持部)が2次元マトリクス状に配列されている。メモリセルアレイ部663の各メモリセル662を選択(走査)する回路として、列制御部667が各列のビット線と接続され、行制御部668が各行のワード線と接続される。各列のビット線はまた、図示を割愛しているが、列制御部667に接続されるだけでなく書込み/読出し部664とも接続される。書込み/読出し部664が各列のソース線と接続される。
In the memory cell array portion 663, memory cells 662 (nonvolatile memory elements, data holding portions) are arranged in a two-dimensional matrix. As a circuit for selecting (scanning) each
書込み/読出し部664は、メモリセルアレイ部663の各メモリセル662にデータを書き込みあるいはメモリセル662からデータを読み込む。そして、メモリセルアレイ部663のメモリセル662に保持された情報を読み出すときに、前述した実施形態のRTSノイズ抑制処理の仕組みが適用される。
The write /
書込み/読出し部664は、複数の素子(メモリセル662)の内のノイズが予め定められた基準値よりも大きな特定素子を処理対象として、特定素子が保持している同一の情報に基づく信号をM回(Mは2以上の整数)に亘って読み出す信号読出部の機能を持つ。
The write /
書込み/読出し部664は、たとえばバイト単位など、図示しないアドレスデコーダによるデコード処理でソース線の選択が決定される。書込み/読出し部664は、図示しないが、ビット線にデータを供給してその情報をメモリセル662に保持させる書込みバッファ(Write Buffer)や、ビット線の電位を増幅するセンスアンプ(Sense AMP )を有する。書込みバッファは、書込み回路やライトアンプなどとも称される。
The writing /
図示しないが、書込み/読出し部664とビット線との間には、処理対象のメモリセル662を列単位で選択する機能部(列スイッチ)が設けられる。列スイッチは、処理対象のメモリセル662を列単位で選択する機能の他に、ビット線に動作電圧や待機電圧を供給する機能、すなわち、任意の電流をビット線に供給する機能も持つ。
Although not shown, a functional unit (column switch) for selecting the
図9A(1)に示すように、電子機器600をメモリカードとして構成する場合、半導体記憶装置2の他に、半導体記憶装置2と周辺機能部(機器内部に限らず機器外部でもよい)とのインタフェース制御を行なうメモリコントローラ672を有する。
As shown in FIG. 9A (1), when the
メモリコントローラ672は、書込み/読出し部664が読み出したM回の各信号の平均値をとることでノイズが抑制された信号を取得する平均化処理部(ノイズ抑制部)の機能を持つ。また、メモリコントローラ672は、メモリセル662が保持している同一の情報をm回(mは2以上の整数)に亘って読み出し、各回の信号のばらつきを求め、m回の各信号のばらつきが予め定められた基準値よりも大きいメモリセル662を特定素子として選定する特定素子選定部の機能を持つ。メモリカードは電源が非拒給状態とることがあり得るので、ノイズの大きな特定素子(特定画素3aと対応するもの)の位置情報を、不揮発性の記憶装置に保存する仕組みをメモリコントローラ672に設ける。
The
図9A(2)に示すように、機器内部に周辺機能部を設ける構成では、データ取得部676や出力データ処理部678を備える。データ取得部676は、半導体記憶装置2の各メモリセル662に書き込まれるデータを取得する。出力データ処理部678は、データ取得部676や各メモリセル662から読み出されたデータを処理する。電子機器600をコンピュータ機器、AV機器、家電機器、車載機器などとして構成する場合、CPUやバスコントラーラがメモリコントローラ672を担当し、その他の電気回路部がデータ取得部676や出力データ処理部678を担当する。
As shown in FIG. 9A (2), in the configuration in which the peripheral function unit is provided inside the device, a data acquisition unit 676 and an output data processing unit 678 are provided. The data acquisition unit 676 acquires data to be written in each
また、図9A(2)に示すように、デジタルスチルカメラの場合、CCDなどの固体撮像装置で取得した画像をデジタルデータにして書き込む記録系機能部がデータ取得部676に該当し、読み出したデータに基づき表示パネルに画像を表示させる再生系機能部が出力データ処理部678に該当する。CPUは、ワークメモリとしてのRAMに中間データなどを記憶・読出しながら、半導体記憶装置2aが適用されるEEPROMに記憶されているプログラムに基づきカメラの各部を制御する。さらに、デジタルスチルカメラの場合、メモリカードとしての半導体記憶装置2bが着脱可能に構成されている。
Further, as shown in FIG. 9A (2), in the case of a digital still camera, a recording function unit that writes an image acquired by a solid-state imaging device such as a CCD as digital data corresponds to the data acquisition unit 676, and the read data The reproduction system function unit that displays an image on the display panel corresponds to the output data processing unit 678. The CPU controls each part of the camera based on a program stored in the EEPROM to which the
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は前記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で前記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. Various changes or improvements can be added to the above-described embodiment without departing from the gist of the invention, and embodiments to which such changes or improvements are added are also included in the technical scope of the present invention.
また、前記の実施形態は、クレーム(請求項)に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。 Further, the above embodiments do not limit the invention according to the claims (claims), and all combinations of features described in the embodiments are not necessarily essential to the solution means of the invention. Absent. The embodiments described above include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. Even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, as long as an effect is obtained, a configuration from which these some constituent requirements are deleted can be extracted as an invention.
たとえば、前記実施形態における固体撮像装置1では、光や放射線などの外部から入力される電磁波に対して感応性をするCMD型の固体撮像装置について例示したが、これには限定されず、物理量の変化を検知するあらゆるものに、前記実施形態で説明した仕組みを適用できる。光などに限らず、たとえば、指紋に関する情報を圧力に基づく電気的特性の変化や光学的特性の変化に基づき指紋の像を検知する指紋認証装置(特開2002−7984や特開2001−125734などを参照)など、その他の物理的な変化を検知するものにも適用できる。
For example, in the solid-
また、CMD型に限らず、CMOS構造の単位画素3を備えたいわゆるCMOSセンサにもRTSノイズ抑制処理や多重加算AD変換処理を適用できる。この場合、一般的なCMOS構造の単位画素3は、非破壊読出しに対応していないが、CMOS構造でもたとえば画素アレイ部10に内部メモリを備えるなどして非破壊読出しに対応できる。
The RTS noise suppression process and the multiple addition AD conversion process can be applied not only to the CMD type but also to a so-called CMOS sensor including the
さらに、CMOSセンサにRTSノイズ抑制処理を適用する場合、水平走査部12や垂直走査部14をランダムアクセスが可能なものとすることが好ましいが、前述のように、ランダムアクセスを適用することは必須でない。
Furthermore, when the RTS noise suppression process is applied to the CMOS sensor, it is preferable that the
さらに、前記実施形態の記載を踏まえれば、特許請求の範囲に記載した請求項に係る発明の他に、たとえば、以下の構成を発明として提案することができる。以下列記する。
<付記1>信号処理装置、半導体装置、固体撮像装置、撮像装置、電子機器、ノイズ抑制方法において、
信号読出部は、特定素子が保持している同一の情報に基づくM回に亘る信号の読み出しを、特定素子でない通常の素子から1回で信号を読み出す通常処理よりも高速に行なう。
<付記2>付記1において、信号読出部は、前記M回に亘る信号の読み出しを、前記通常処理よりもM倍の速度で行なう。
<付記3>信号処理装置、半導体装置、固体撮像装置、撮像装置、電子機器、ノイズ抑制方法において、
特定素子選定部は、素子が保持している同一の情報に基づくm回に亘る信号の読み出しを、特定素子でない通常の素子から1回で信号を読み出す通常処理よりも高速に行なう。
<付記4>付記3において、特定素子選定部は、前記m回に亘る信号の読み出しを、前記通常処理よりもm倍の速度で行なう。
<付記5>信号処理装置、半導体装置、固体撮像装置、撮像装置、電子機器、ノイズ抑制方法において、
ノイズ抑制部は、特定素子でない通常の素子について、特定素子選定部がm回に亘って取得した信号の平均値をとることでノイズが抑制された信号を取得する。
<付記6>信号処理装置、半導体装置、固体撮像装置、撮像装置、電子機器、ノイズ抑制方法において、
カラム読出しが可能な場合、信号読出部は、同一ライン上の全ての特定素子について同時に、各特定素子が保持している同一の情報に基づく信号をM回に亘って読み出す。
Furthermore, based on the description of the embodiment, in addition to the invention according to the claims described in the claims, for example, the following configurations can be proposed as the invention. The following is listed.
<
The signal reading unit reads the signal M times based on the same information held by the specific element at a higher speed than the normal process of reading the signal from a normal element that is not the specific element at a time.
<
<
The specific element selection unit reads the signal m times based on the same information held by the element at a higher speed than the normal process of reading the signal from a normal element that is not the specific element at a time.
<
<
The noise suppression unit acquires a signal in which noise is suppressed by taking an average value of the signals acquired by the specific element selection unit m times for a normal element that is not a specific element.
<
When column reading is possible, the signal reading unit reads a signal based on the same information held by each specific element for all the specific elements on the same line for M times.
1…固体撮像装置、10…画素アレイ部、12…水平走査部、14…垂直走査部、20…通信・タイミング制御部、20b…システム制御部、20a…クロック変換部、24…電流電圧変換部、250…AD変換部、252…比較部、254…カウンタ部、256…データ記憶部、26…カラムAD変換部、27…参照信号生成部、270…DA変換部、28…出力部、29…デジタル演算部、3…単位画素、3a…特定画素、7…駆動制御部、8…撮像装置、600,700…電子機器
DESCRIPTION OF
Claims (20)
前記信号読出部が読み出したM個の信号に基づいてノイズが抑制された信号を取得するノイズ抑制部と、
を備えた信号処理装置。 Signals based on the same information held by the specific elements are processed M times (M is an integer equal to or greater than 2) with a specific element having a noise larger than a predetermined reference value as a processing target. A signal readout unit for reading over
A noise suppression unit that acquires a signal in which noise is suppressed based on the M signals read by the signal reading unit;
A signal processing apparatus comprising:
前記信号読出部は、前記記憶部に保持されている前記特定素子の位置情報を参照して前記M回の信号の読出しを行なう
請求項1に記載の信号処理装置。 A storage unit for holding position information of the specific element;
The signal processing apparatus according to claim 1, wherein the signal reading unit reads the M times of signals with reference to position information of the specific element held in the storage unit.
を備えた請求項1または請求項2に記載の信号処理装置。 The same information held by the element is read m times (m is an integer equal to or greater than 2), the variation of each signal is obtained, and the variation of each m times is more than a predetermined reference value. The signal processing apparatus according to claim 1, further comprising: a specific element selection unit that selects a large element as the specific element.
前記処理対象信号について、nビットのAD変換処理をW回(Wは繰返し回数であり、2以上の正の整数)繰り返して行なうデジタル積分処理を実行するように前記参照信号生成部および前記AD変換部を制御する制御部と、
を備えた請求項1、請求項2、請求項3の何れか1項に記載の信号処理装置。 A comparison unit for comparing a reference signal supplied from a reference signal generation unit that generates a reference signal whose level gradually changes and an analog processing target signal acquired based on information held by the element, and for AD conversion An AD converter that receives the count clock and performs a count operation based on the comparison result of the comparator, and obtains digital data of the processing target signal based on output data of the counter;
For the signal to be processed, the reference signal generation unit and the AD conversion are performed so as to execute digital integration processing in which n-bit AD conversion processing is repeated W times (W is the number of repetitions and is a positive integer of 2 or more). A control unit for controlling the unit,
The signal processing device according to claim 1, further comprising:
前記複数の素子の内のノイズが予め定められた基準値よりも大きな特定素子の前記素子部における位置情報を取得する位置情報取得部と、
前記位置情報取得部が取得した前記特定素子の位置情報を参照して、前記特定素子が保持している同一の情報に基づく信号をM回(Mは2以上の整数)に亘って読み出す信号読出部と、
前記信号読出部が読み出したM個の信号に基づいてノイズが抑制された信号を取得するノイズ抑制部と、
前記素子部の前記素子の読出し位置を制御するとともに、前記位置情報取得部、前記信号読出部、および前記ノイズ抑制部を制御するシステム制御部と、
を備えた半導体装置。 An element portion in which a plurality of elements are arranged;
A position information acquisition unit that acquires position information in the element unit of a specific element in which noise among the plurality of elements is larger than a predetermined reference value;
Signal readout that reads out a signal based on the same information held by the specific element M times (M is an integer of 2 or more) with reference to the position information of the specific element acquired by the position information acquisition unit And
A noise suppression unit that acquires a signal in which noise is suppressed based on the M signals read by the signal reading unit;
A system control unit that controls the reading position of the element of the element unit, and controls the position information acquisition unit, the signal reading unit, and the noise suppression unit;
A semiconductor device comprising:
前記記憶部に保持されている前記特定素子の位置情報を読み出して前記信号読出部に通知する通知部と、
を備え、
前記信号読出部は、前記通知部から通知された前記特定素子の位置情報を参照して前記M回の信号の読出しを行なう
請求項5に記載の半導体装置。 A storage unit that holds position information of the specific element;
A notification unit that reads position information of the specific element held in the storage unit and notifies the signal reading unit;
With
The semiconductor device according to claim 5, wherein the signal reading unit reads the M times of signals with reference to position information of the specific element notified from the notification unit.
を備えた請求項5または請求項6に記載の半導体装置。 The same information held by the element is read m times (m is an integer equal to or greater than 2), the variation of each signal is obtained, and the variation of each m times is more than a predetermined reference value. The semiconductor device according to claim 5, further comprising: a specific element selection unit that selects a large element as the specific element.
前記処理対象信号について、nビットのAD変換処理をW回(Wは繰返し回数であり、2以上の正の整数)繰り返して行なうデジタル積分処理を実行するように前記参照信号生成部および前記AD変換部を制御する制御部と、
を備えた請求項5、請求項6、請求項7の何れか1項に記載の半導体装置。 A comparison unit for comparing a reference signal supplied from a reference signal generation unit that generates a reference signal whose level gradually changes and an analog processing target signal acquired based on information held by the element, and for AD conversion An AD converter that receives the count clock and performs a count operation based on the comparison result of the comparator, and obtains digital data of the processing target signal based on output data of the counter;
For the signal to be processed, the reference signal generation unit and the AD conversion are performed so as to execute digital integration processing in which n-bit AD conversion processing is repeated W times (W is the number of repetitions and is a positive integer of 2 or more). A control unit for controlling the unit,
The semiconductor device according to claim 5, further comprising:
を備えた請求項5、請求項6、請求項7、請求項8の何れか1項に記載の半導体装置。 The semiconductor device according to claim 5, further comprising a scanning unit that randomly accesses a position of the specific element in the element unit.
前記複数の単位画素の内のノイズが予め定められた基準値よりも大きな特定画素の前記画素部における位置情報を取得する位置情報取得部と、
前記位置情報取得部が取得した前記特定画素の位置情報を参照して、前記特定画素が保持している同一の情報に基づく画素信号をM回(Mは2以上の整数)に亘って読み出す信号読出部と、
前記信号読出部が読み出したM個の画素信号に基づいてノイズが抑制された画素信号を取得するノイズ抑制部と、
前記画素部の前記単位画素の読出し位置を制御するとともに、前記位置情報取得部、前記信号読出部、および前記ノイズ抑制部を制御するシステム制御部と、
を備えた固体撮像装置。 A pixel portion in which a plurality of unit pixels capable of nondestructive reading are arranged;
A position information acquisition unit that acquires position information in the pixel unit of a specific pixel in which noise among the plurality of unit pixels is larger than a predetermined reference value;
A signal that reads the pixel signal based on the same information held by the specific pixel M times (M is an integer of 2 or more) with reference to the position information of the specific pixel acquired by the position information acquisition unit A reading unit;
A noise suppression unit that acquires a pixel signal in which noise is suppressed based on the M pixel signals read by the signal reading unit;
A system control unit that controls the reading position of the unit pixel of the pixel unit and controls the position information acquisition unit, the signal reading unit, and the noise suppression unit;
A solid-state imaging device.
前記記憶部に保持されている前記特定画素の位置情報を読み出して前記信号読出部に通知する通知部と、
を備え、
前記信号読出部は、前記通知部から通知された前記特定画素の位置情報を参照して前記M回の信号の読出しを行なう
請求項10に記載の固体撮像装置。 A storage unit for holding position information of the specific pixel;
A notification unit that reads position information of the specific pixel held in the storage unit and notifies the signal reading unit;
With
The solid-state imaging device according to claim 10, wherein the signal reading unit reads the M times of signals with reference to position information of the specific pixel notified from the notification unit.
を備えた請求項10または請求項11に記載の固体撮像装置。 The same information held by the unit pixel is read m times (m is an integer of 2 or more), the variation of the pixel signal of each time is obtained, and the standard of the variation of the pixel signal of m times is determined in advance. The solid-state imaging device according to claim 10, further comprising: a specific pixel selection unit that selects a unit pixel larger than the value as the specific pixel.
前記処理対象信号について、nビットのAD変換処理をW回(Wは繰返し回数であり、2以上の正の整数)繰り返して行なうデジタル積分処理を実行するように前記参照信号生成部および前記AD変換部を制御する駆動制御部と、
を備えた請求項10、請求項11、請求項12の何れか1項に記載の固体撮像装置。 Comparison unit and AD conversion for comparing the reference signal supplied from a reference signal generation unit that generates a reference signal whose level gradually changes and an analog processing target signal acquired based on information held by the unit pixel An A / D conversion unit that receives a count clock and performs a count operation based on a comparison result of the comparison unit, and acquires digital data of the processing target signal based on output data of the counter unit;
For the signal to be processed, the reference signal generation unit and the AD conversion are performed so as to execute digital integration processing in which n-bit AD conversion processing is repeated W times (W is the number of repetitions and is a positive integer of 2 or more). A drive control unit for controlling the unit;
The solid-state imaging device according to any one of claims 10, 11, and 12.
を備えた請求項10、請求項11、請求項12、請求項13の何れか1項に記載の固体撮像装置。 The solid-state imaging device according to claim 10, further comprising a scanning unit that randomly accesses a position of the specific pixel in the pixel unit.
前記複数の単位画素の内のノイズが予め定められた基準値よりも大きな特定画素の前記画素部における位置情報を取得する位置情報取得部と、
前記位置情報取得部が取得した前記特定画素の位置情報を参照して、前記特定画素が保持している同一の情報に基づく画素信号をM回(Mは2以上の整数)に亘って読み出す信号読出部と、
前記信号読出部が読み出したM個の画素信号に基づいてノイズが抑制された画素信号を取得するノイズ抑制部と、
前記画素部の前記単位画素の読出し位置を制御するとともに、前記位置情報取得部、前記信号読出部、および前記ノイズ抑制部を制御するシステム制御部と、
前記システム制御部を制御する主制御部と、
を備えた撮像装置。 A pixel portion in which a plurality of unit pixels capable of nondestructive reading are arranged;
A position information acquisition unit that acquires position information in the pixel unit of a specific pixel in which noise among the plurality of unit pixels is larger than a predetermined reference value;
A signal that reads the pixel signal based on the same information held by the specific pixel M times (M is an integer of 2 or more) with reference to the position information of the specific pixel acquired by the position information acquisition unit A reading unit;
A noise suppression unit that acquires a pixel signal in which noise is suppressed based on the M pixel signals read by the signal reading unit;
A system control unit that controls the reading position of the unit pixel of the pixel unit and controls the position information acquisition unit, the signal reading unit, and the noise suppression unit;
A main controller that controls the system controller;
An imaging apparatus comprising:
前記位置情報取得部が取得した前記特定素子の位置情報を参照して、前記特定素子が保持している同一の情報に基づく信号をM回(Mは2以上の整数)に亘って読み出す信号読出部と、
前記信号読出部が読み出したM個の信号に基づいてノイズが抑制された信号を取得するノイズ抑制部と、
前記素子部の前記素子の読出し位置を制御するとともに、前記位置情報取得部、前記信号読出部、および前記ノイズ抑制部を制御するシステム制御部と、
前記システム制御部を制御する主制御部と、
を備えた電子機器。 A position information acquisition unit for acquiring position information in the element unit of a specific element in which noise in a plurality of elements is larger than a predetermined reference value;
Signal readout that reads out a signal based on the same information held by the specific element M times (M is an integer of 2 or more) with reference to the position information of the specific element acquired by the position information acquisition unit And
A noise suppression unit that acquires a signal in which noise is suppressed based on the M signals read by the signal reading unit;
A system control unit that controls the reading position of the element of the element unit, and controls the position information acquisition unit, the signal reading unit, and the noise suppression unit;
A main controller that controls the system controller;
With electronic equipment.
読み出されたM個の信号に基づいてノイズが抑制された信号を取得する工程と、
を備えたノイズ抑制方法。 Signals based on the same information held by the specific elements are processed M times (M is an integer equal to or greater than 2) with a specific element having a noise larger than a predetermined reference value as a processing target. A process of reading over,
Obtaining a noise-suppressed signal based on the read M signals;
Noise suppression method with
前記記憶部に保持されている前記特定素子の位置情報を読み出す工程と、
を備え、
前記記憶部から読み出された前記特定素子の位置情報を参照して前記M回の信号の読出しを行なう
請求項17に記載のノイズ抑制方法。 Holding the position information of the specific element in the storage unit;
Reading the position information of the specific element held in the storage unit;
With
The noise suppression method according to claim 17, wherein the M signals are read with reference to position information of the specific element read from the storage unit.
前記ばらつきが予め定められた基準値よりも大きい素子を特定素子として選定する工程と、
を備えた請求項17または請求項18に記載のノイズ抑制方法。 A step of reading the same information held by the element m times (m is an integer of 2 or more), a step of calculating a variation of each signal m times,
Selecting an element having the variation larger than a predetermined reference value as a specific element;
The noise suppression method of Claim 17 or Claim 18 provided with these.
請求項17、請求項18、請求項19の何れか1項に記載のノイズ抑制方法。 A comparison unit compares an analog processing target signal acquired based on information held by the element and a reference signal whose level gradually changes, and receives a count clock for AD conversion, and results of the comparison When the digital data of the signal to be processed is obtained based on the output data of the counter unit, the n-bit AD conversion process is performed W times (W is 2 or more). The noise suppression method according to claim 17, wherein the noise suppression method is performed repeatedly.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010033055A JP2011171950A (en) | 2010-02-18 | 2010-02-18 | Signal processing apparatus, semiconductor device, solid-state imaging device, imaging apparatus, electronic device, and method of suppressing noise |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010033055A JP2011171950A (en) | 2010-02-18 | 2010-02-18 | Signal processing apparatus, semiconductor device, solid-state imaging device, imaging apparatus, electronic device, and method of suppressing noise |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011171950A true JP2011171950A (en) | 2011-09-01 |
Family
ID=44685618
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010033055A Pending JP2011171950A (en) | 2010-02-18 | 2010-02-18 | Signal processing apparatus, semiconductor device, solid-state imaging device, imaging apparatus, electronic device, and method of suppressing noise |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011171950A (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013136598A1 (en) * | 2012-03-16 | 2013-09-19 | 富士フイルム株式会社 | Image photography device, radiography system, image photography method, and image photography program |
JP2014030147A (en) * | 2012-07-31 | 2014-02-13 | Canon Inc | Photographing device and method for controlling the same |
JP2014232926A (en) * | 2013-05-28 | 2014-12-11 | キヤノン株式会社 | Driving method for imaging apparatus, imaging apparatus, imaging system |
KR101548794B1 (en) * | 2012-02-01 | 2015-08-31 | 캐논 가부시끼가이샤 | Imaging apparatus -ray detector and imaging method |
JP2018033173A (en) * | 2017-10-30 | 2018-03-01 | キヤノン株式会社 | Method for driving imaging apparatus, imaging apparatus, and imaging system |
WO2018124057A1 (en) * | 2016-12-27 | 2018-07-05 | パナソニックIpマネジメント株式会社 | Imaging device and control method therefor |
JP2018198471A (en) * | 2018-09-25 | 2018-12-13 | キヤノン株式会社 | Solid-state imaging device, driving method of the same, and camera |
JP2020077971A (en) * | 2018-11-07 | 2020-05-21 | キヤノン株式会社 | Imaging apparatus, control method of the same, program, and storage medium |
JP2020078024A (en) * | 2018-11-09 | 2020-05-21 | キヤノン株式会社 | Solid-state imaging element and control method of the same, imaging apparatus, and program |
CN113301277A (en) * | 2021-05-27 | 2021-08-24 | 锐芯微电子股份有限公司 | RTS noise suppression device and image sensor |
US11363252B2 (en) | 2020-02-26 | 2022-06-14 | Samsung Electronics Co., Ltd. | Image sensing device and operating the same |
-
2010
- 2010-02-18 JP JP2010033055A patent/JP2011171950A/en active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101548794B1 (en) * | 2012-02-01 | 2015-08-31 | 캐논 가부시끼가이샤 | Imaging apparatus -ray detector and imaging method |
US9354184B2 (en) | 2012-02-01 | 2016-05-31 | Canon Kabushiki Kaisha | Imaging apparatus, X-ray detector, and imaging method |
WO2013136598A1 (en) * | 2012-03-16 | 2013-09-19 | 富士フイルム株式会社 | Image photography device, radiography system, image photography method, and image photography program |
JP2014030147A (en) * | 2012-07-31 | 2014-02-13 | Canon Inc | Photographing device and method for controlling the same |
JP2014232926A (en) * | 2013-05-28 | 2014-12-11 | キヤノン株式会社 | Driving method for imaging apparatus, imaging apparatus, imaging system |
WO2018124057A1 (en) * | 2016-12-27 | 2018-07-05 | パナソニックIpマネジメント株式会社 | Imaging device and control method therefor |
JP2018033173A (en) * | 2017-10-30 | 2018-03-01 | キヤノン株式会社 | Method for driving imaging apparatus, imaging apparatus, and imaging system |
JP2018198471A (en) * | 2018-09-25 | 2018-12-13 | キヤノン株式会社 | Solid-state imaging device, driving method of the same, and camera |
JP2020077971A (en) * | 2018-11-07 | 2020-05-21 | キヤノン株式会社 | Imaging apparatus, control method of the same, program, and storage medium |
JP7213661B2 (en) | 2018-11-07 | 2023-01-27 | キヤノン株式会社 | IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM |
JP2020078024A (en) * | 2018-11-09 | 2020-05-21 | キヤノン株式会社 | Solid-state imaging element and control method of the same, imaging apparatus, and program |
JP7330684B2 (en) | 2018-11-09 | 2023-08-22 | キヤノン株式会社 | Solid-state imaging device, control method thereof, imaging device, and program |
US11363252B2 (en) | 2020-02-26 | 2022-06-14 | Samsung Electronics Co., Ltd. | Image sensing device and operating the same |
US12108026B2 (en) | 2020-02-26 | 2024-10-01 | Samsung Electronics Co., Ltd. | Image sensing device and operating the same |
CN113301277A (en) * | 2021-05-27 | 2021-08-24 | 锐芯微电子股份有限公司 | RTS noise suppression device and image sensor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011171950A (en) | Signal processing apparatus, semiconductor device, solid-state imaging device, imaging apparatus, electronic device, and method of suppressing noise | |
JP6969539B2 (en) | Solid-state image sensor, solid-state image sensor drive method, and electronic equipment | |
US8089530B2 (en) | Solid-state image pickup apparatus, drive method for the solid-state image pickup apparatus, and image pickup apparatus | |
US8031241B2 (en) | Solid-state imaging device and imaging apparatus | |
US10136090B2 (en) | Threshold-monitoring, conditional-reset image sensor | |
US7897909B2 (en) | Solid-state image pickup device, a method of driving the same, a signal processing method for the same, and image pickup apparatus | |
US7586523B2 (en) | Amplification-type CMOS image sensor of wide dynamic range | |
US7978240B2 (en) | Enhancing image quality imaging unit and image sensor | |
US9185313B2 (en) | Solid-state imaging device, method of driving the same, signal processing method for the same, and imaging apparatus | |
WO2016072289A1 (en) | Image pickup element, drive method, and electronic apparatus | |
JP5212022B2 (en) | Solid-state imaging device, imaging device, pixel driving voltage optimization device, and pixel driving voltage optimization method | |
US20110205415A1 (en) | Image sensor, electronic apparatus, and driving method of electronic apparatus | |
US20080259178A1 (en) | Solid-state imaging device, signal processing method for the same, and imaging apparatus | |
KR101939402B1 (en) | Solid-state imaging device and driving method thereof, and electronic apparatus using the same | |
JP2006197393A (en) | Solid-state imaging device, driving method thereof and camera | |
JP2005175517A (en) | Control method and signal processing method of semiconductor device, and semiconductor device and electronic apparatus | |
JP2009118311A (en) | Solid-state imaging element, imaging system and method for driving solid-state imaging element | |
JP2010520707A (en) | Method and apparatus for improving and controlling the dynamic range of an image sensor | |
JP5115602B2 (en) | Semiconductor device and control method thereof | |
JP5115601B2 (en) | Semiconductor device and control method thereof | |
JP2018093301A (en) | Image pick-up device and control method of the same | |
US11284017B2 (en) | Image pickup device and storage medium | |
WO2023002643A1 (en) | Imaging element and imaging device | |
JP4618329B2 (en) | Semiconductor device control method |