CN108605105B - 固体摄像装置以及摄像装置 - Google Patents

固体摄像装置以及摄像装置 Download PDF

Info

Publication number
CN108605105B
CN108605105B CN201780010924.1A CN201780010924A CN108605105B CN 108605105 B CN108605105 B CN 108605105B CN 201780010924 A CN201780010924 A CN 201780010924A CN 108605105 B CN108605105 B CN 108605105B
Authority
CN
China
Prior art keywords
pixel
exposure
time
imaging device
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780010924.1A
Other languages
English (en)
Other versions
CN108605105A (zh
Inventor
生熊诚
室岛孝广
鬼头崇泰
纲川裕之
阿部哲也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Panasonic Semiconductor Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Semiconductor Solutions Co Ltd filed Critical Panasonic Semiconductor Solutions Co Ltd
Publication of CN108605105A publication Critical patent/CN108605105A/zh
Application granted granted Critical
Publication of CN108605105B publication Critical patent/CN108605105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种固体摄像装置，具有像素，上述像素具有生成电荷的光电变换部和使上述电荷向电压变换的电荷蓄积部，上述固体摄像装置还具备控制部和信号处理部，上述控制部，使上述像素，以第一曝光模式曝光并以第一增益使电荷向电压变换从而输出第一像素信号，以第二曝光模式曝光并以第二增益使电荷向电压变换从而输出第二像素信号，上述第二曝光模式的曝光时间比上述第一曝光模式短，上述第二增益比上述第一增益小，上述信号处理部对上述第一像素信号和放大后的上述第二像素信号进行合成。

Description

固体摄像装置以及摄像装置
技术领域
本公开涉及固体摄像装置以及摄像装置。
背景技术
以往，关于搭载列并列型AD变换器的CMOS(Complementary Metal OxideSemiconductor)固体摄像装置，为了扩大动态范围，提出了例如专利文献1所示的方法。专利文献1的方法通过将曝光时间长的信号和曝光时间短的信号合成来扩大动态范围。
现有技术文献
专利文献
专利文献1：日本特开2007－124400号公报
发明概要
发明要解决的问题
但是，根据该专利文献1，虽然能够扩大动态范围，但没有公开用于实现黑暗时的高画质化的技术方式。因此，具有不能兼顾黑暗时的高画质化和动态范围的扩大这样的问题。
发明内容
针对该问题，本公开提供兼顾黑暗时的高画质化和动态范围的扩大的固体摄像装置以及摄像装置。
用于解决问题的手段
为了解决上述课题，本公开中的固体摄像装置，具有以矩阵状配置的多个像素，其特征在于，上述多个像素分别具有：光电变换部，对入射光进行光电变换；以及电荷蓄积部，对通过光电变换而生成的电荷进行蓄积，以规定的增益使蓄积后的电荷向电压变换；上述固体摄像装置还具备：控制部，使上述多个像素的每一个，以第一曝光模式曝光并以第一增益使电荷向电压变换从而输出第一像素信号，以第二曝光模式曝光并以第二增益使电荷向电压变换从而输出第二像素信号，上述第二曝光模式的曝光时间比上述第一曝光模式短，上述第二增益比上述第一增益小；存储部，将上述第一像素信号以及上述第二像素信号中的一方的像素信号按上述多个像素的每行建立对应地存储；以及信号处理部，将上述第一像素信号以及上述第二像素信号中的另一方的像素信号、与在上述存储部中存储的上述一方的像素信号按每行建立对应来使用，对上述第二像素信号进行放大以使对于上述入射光的光量的放大后的倾斜度与上述第一像素信号成为线性，并对上述第一像素信号和放大后的上述第二像素信号进行合成。
发明效果
根据本公开的固体摄像装置以及摄像装置，能够兼顾黑暗时的高画质化和动态范围的扩大。
附图说明
图1A是表示实施方式的固体摄像装置的构成例的框图。
图1B是表示实施方式的固体摄像装置的其他构成例的框图。
图2A是表示像素的构成的电路图。
图2B是表示像素的动作的时序图。
图3是表示固体摄像装置的多个帧期间的动作例的时序图。
图4是表示固体摄像装置的1/2水平扫描期间的动作例的时序图。
图5是表示固体摄像装置的电子快门动作以及读出动作的时序图。
图6是示意地表示宽动态范围的合成方法的图。
图7是示意地表示将长时间曝光的图像和短时间曝光的图像合成而得到1个图像的处理的图。
图8A是表示实施方式1的变形例1的像素的构成的电路图。
图8B是表示像素的动作的时序图。
图9是表示实施方式1的变形例2的固体摄像装置的电子快门动作以及读出动作的时序图。
图10A是表示实施方式2的固体摄像装置的构成例的框图。
图10B是表示实施方式2的固体摄像装置的其他构成例的框图。
图11是表示像素阵列部的一部分的排列的图。
图12是表示实施方式2的固体摄像装置的电子快门动作以及读出动作的时序图。
图13是示意地表示将长时间曝光的图像和短时间曝光的图像合成而得到1个图像的处理的图。
图14是表示像素阵列部的变形例的一部分的排列的图。
图15是表示具备实施方式1的固体摄像装置的相机的构成的一例的框图。
具体实施方式
(得到本公开的经过)
本发明者们注意到，作为扩大动态范围的方法，除了以往的固体摄像装置所公开的方法以外，还有在像素内切换FD变换增益(即，FD(Floating Diffusion，浮置扩散)的电荷电压变换增益)的技术。
根据这种方法，例如在明亮时，将FD变换增益设定得较低，从而使得即使在光电二极管的电荷达到了饱和电平的状态下、FD部的电压也不饱和。即，对于明亮的被摄体，通过使FD变换增益较低，从而能够将与被摄体相应的灰度正确地再现而实现没有高光超白(日语：白飛び)的图像的输出(动态范围的扩大)。
另一方面，例如在黑暗时，将FD变换增益设定得较高，从而对于像素放大晶体管或模拟电路中产生的噪声，与受光量相应的电压(像素信号)变大。即，对于暗的被摄体，通过使FD变换增益较高，能够实现SN(Signal to Noise ratio，信噪比)较高的高画质的图像的输出。
因此，本发明者们想到如下固体摄像装置等，即：对于将曝光时间长的信号和曝光时间短的信号合成而扩大动态范围的方法，组合将FD变换增益切换的方法，从而兼顾黑暗时的高画质化和动态范围的扩大。
以下，参照附图来说明用于实施本公开的形态的固体摄像装置。
但是，有时省略超过必要的详细说明。
例如，有时省略已清楚获知的事项的详细说明或对于实质上相同的构成的重复说明。这是为了避免以下的说明不必要地冗长，使本领域技术人员容易理解。另外，附图及以下的说明是为了使本领域技术人员充分地理解本公开，并不是意图由此限定权利要求中记载的主题。即，以下的实施方式都表示本发明的一具体例，数值、形状、构成要素、构成要素的配置位置以及连接方式、处理的顺序等是一个例子，并不限定本发明。
(实施方式1)
首先，对本实施方式的固体摄像装置的概要进行说明。
关于本实施方式的固体摄像装置，对如下固体摄像装置进行说明，即：该固体摄像装置具备在像素内切换FD变换增益的技术，在宽动态动作中的长时间曝光时将FD变换增益提高来使噪声良好，在短时间曝光时将FD变换增益降低来扩大动态范围。由此，固体摄像装置兼顾黑暗时的高画质化和动态范围的扩大。
[1.固体摄像装置的构成]
图1A是表示本实施方式的固体摄像装置1的构成例的框图。如该图所示，固体摄像装置1具备像素阵列部10、水平扫描电路12、垂直扫描电路14、多个垂直信号线19、控制部20、列处理部26、参照信号生成部27、输出电路28、多个负载电流源30、WDR合成电路70以及第2存储器(作为一例是行存储器)80。此外，固体摄像装置1中设有从外部接收主时钟信号的输入的MCLK端子、用于在与外部之间收发指令或数据的DATA端子、用于向外部发送影像数据的D1端子等、以及除了这些以外的供给电源电压、接地电压的端子类。
像素阵列部10具有以矩阵状配置的多个像素3(也称为单位单元)。多个像素3在图1A中配置为n行m列(n及m为自然数)。关于像素3的细节在后面叙述，但像素3具有切换像素增益(FD变换增益)的功能，基于控制部20的控制，对应于曝光时间来切换FD变换增益。
水平扫描电路12依次扫描构成列处理部26的多个列AD电路25内的存储器256(第1存储器)，从而将AD变换后的像素信号经由水平信号线18向WDR(宽动态范围)合成电路70或第2存储器80输出。
垂直扫描电路14以行为单位扫描按像素阵列部10内的像素3的每行设置的水平扫描线组15(也称为行控制线组)。由此，垂直扫描电路14以行为单位选择像素3，使像素信号从属于所选择的行的像素3向m根垂直信号线19同时输出。水平扫描线组15与像素3的行相同数量地设置。图1A中，设有n个水平扫描线组15(图1A中为V1，V2，···，Vn)。水平扫描线组15各自包含：施加复位控制信号φRS的复位控制线、施加读出控制信号φTR的读出控制线、施加选择控制信号φSEL的选择控制线、以及施加FD变换增益控制信号φGC的FD变换增益控制线。
垂直信号线19按像素阵列部10内的像素3的每一列而设置，将来自属于所选择的像素行的像素3的像素信号向列处理部26传递。像素阵列部10配置有H0～Hm的m根垂直信号线19。另外，将垂直信号线19中的下游侧的部分、即与构成列处理部26的列AD电路25的负输入端子相连接的部分称为ADC输入线40。即，在像素阵列部10和列处理部26之间配置有ADIN0～ADINm的m根ADC输入线40。
控制部20通过生成各种控制信号组来控制固体摄像装置1的整体。各种控制信号组中包含控制信号CN1、CN2、CN5、CN8、CN10以及计数时钟CK0。例如，控制部20经由端子5a从固体摄像装置1的外部的DSP(Digital Signal Processor，数字信号处理器)45接收主时钟MCLK，生成各种内部时钟并控制水平扫描电路12、垂直扫描电路14等。并且，例如，控制部20经由端子5b而与DSP45接收各种数据，基于该数据，生成各种控制信号组。另外，DSP45也可以内置于固体摄像装置1。
列处理部26具备按每列设置的列AD电路25。各个列AD电路25将来自垂直信号线19的像素信号进行AD变换。
列AD电路25具备电压比较器252、计数器部254以及存储器256。
电压比较器252比较从垂直信号线19传递的模拟的像素信号和由参照信号生成部27生成的包含三角波的参照信号RAMP，例如，在前者变得比后者大时将表示比较结果的输出信号反转。
计数器部254对从参照信号RAMP中的三角波的变化开始起到电压比较器252的输出信号反转为止的时间进行计数。由于到反转为止的时间根据模拟像素信号的值来确定，因此计数值成为被数字化后的像素信号的值。
存储器256对计数器部254的计数值即数字的像素信号进行保持。
参照信号生成部27生成包含三角波的参照信号RAMP，并将参照信号RAMP向各个列AD电路25内的电压比较器252的正输入端子输出。
WDR合成电路70取得曝光时间相互不同的数字的像素信号，即，经由水平信号线18输入的数字的像素信号和保存在第2存储器80中的数字的像素信号。并且，将所取得的2个像素信号合成，将合成后的像素信号经由输出信号线17向输出电路28输出。另外，关于WDR合成电路70的详细情况，在后面进行叙述。
第2存储器80是将经由水平信号线18输入的数字的像素信号按像素阵列部10的每行建立对应地存储的存储部。
输出电路28将从WDR合成电路70输出的像素信号变换为适于固体摄像装置1的外部输出的信号，并向影像数据端子D1输出。
负载电流源30是按每个垂直信号线19而设置的、向垂直信号线19供给负载电流的负载电路。即，负载电流源30经由垂直信号线19向所选择的像素3内的放大晶体管供给负载电流，与该放大晶体管一同形成源跟随电路。
这样的固体摄像装置1例如形成于1个半导体芯片。另外，固体摄像装置1也可以形成于多个半导体芯片(例如2个半导体芯片)。图1B是表示这样的固体摄像装置1的构成例的框图。如图1B所示，本实施方式的固体摄像装置1可以是，至少多个像素3形成于第一半导体芯片101，至少第2存储器80和WDR合成电路70形成于作为与第一半导体芯片101独立的半导体芯片的第二半导体芯片102。
[2.像素的构成以及动作概要]
接着，关于具有FD增益切换功能的像素3的构成、以及动作的概要，使用图2A及图2B来进行说明。
图2A是表示像素3的构成的电路图。图2B是表示像素3的动作的时序图。
如图2A所示，各像素3具有作为受光元件(光电变换部)的光电二极管PD、读出晶体管T10、浮置扩散层FD、复位晶体管T11、放大晶体管T12、选择晶体管T13、增益控制开关元件SW10和附加电容Cfd2。
光电二极管PD是对入射光进行光电变换的光电变换部，生成与受光量(入射光)相应的电荷。
读出晶体管T10是由经由读出控制线施加的读出控制信号φTR控制、将由光电二极管PD生成的信号读出(即传送)的开关元件。
浮置扩散层FD是对通过光电变换生成的电荷进行蓄积、并使蓄积的电荷以规定的增益变换为电压的电荷蓄积部。具体来说，浮置扩散层FD将由读出晶体管T10读出的电荷暂时地保持。
复位晶体管T11是将浮置扩散层FD的电压复位为电源电压的复位开关元件，其一端连接于浮置扩散层FD，另一端连接于电源布线51。复位晶体管T11由经由复位控制线施加的复位控制信号φRS控制。
放大晶体管T12是对与浮置扩散层FD所保持的电荷相对应的电压进行放大、并将该放大了的信号作为像素信号经由选择晶体管T13向垂直信号线19输出的晶体管。
选择晶体管T13是由经由选择控制线施加的选择控制信号φSEL控制、选择是否将放大晶体管T12的像素信号向垂直信号线19输出的晶体管。
增益控制开关元件SW10是连接于浮置扩散层FD、根据经由FD变换增益控制线施加的FD变换增益控制信号φGC而切换导通状态(on状态)和非导通状态(off状态)的例如晶体管。本实施方式中，增益控制开关元件SW10在FD变换增益控制信号φGC为High时成为导通状态，在Low时成为非导通状态。
附加电容Cfd2是经由增益控制开关元件SW10而与浮置扩散层FD连接的电容。
在这样构成的像素3中，通过图2B所示的动作，将像素信号向垂直信号线19输出。另外，关于图2B所示的动作的详细情况，与图4的说明一起在后面叙述，因此这里主要对在像素3内切换FD变换增益的动作进行说明。
像素3中的从电荷向电压的变换增益(像素增益)，与浮置扩散层FD的电容的倒数成比例，被称为FD变换增益。即，通过根据FD变换增益控制信号φGC的极性来切换增益控制开关元件SW10的导通状态和非导通状态，从而FD变换增益得到切换。具体来说，如图2B所示，当在读出时(图中的时刻t16)φGC＝Low时，增益控制开关元件SW10成为非导通状态从而浮置扩散层FD的电容成为Cfd。由此，此时，FD变换增益变高。另一方面，当在读出时φGC＝High时，增益控制开关元件SW10成为导通状态从而浮置扩散层FD的电容成为Cfd+Cfd2。由此，此时，FD变换增益变低。
换言之，控制部20通过使增益控制开关元件SW10成为非导通状态，从而以第一增益(GH)使电荷变换为电压，通过使增益控制开关元件SW10成为导通状态，从而以第二增益(GL，其中GL＜GH)使电荷变换为电压。具体来说，通过控制部20而对像素阵列部10进行扫描的垂直扫描电路14在FD变换增益低的情况下，在使选择控制信号φSEL为高(high)电平的期间，使FD变换增益控制信号φGC为高电平。另一方面，垂直扫描电路14在FD变换增益高的情况下，在上述的期间使FD变换增益控制信号φGC为低(low)电平。
[3.固体摄像装置的动作]
关于以上那样构成的实施方式1中的固体摄像装置1，以下说明其动作。
图3是表示固体摄像装置1的多个帧期间的动作例的时序图。该图中，示意地表示了从第k帧到第k+2帧的参照信号RAMP的波形。1帧由具有n行m列的像素3的像素阵列部10的第1行到第n行所对应的n个水平扫描期间(该图中的1/2H的期间)构成。
图4是表示固体摄像装置1的1/2水平扫描期间的动作例的时序图。
在各个1/2水平扫描期间中，参照信号RAMP如图3及图4所示那样在下降计数(downcount)期间及上升计数(up count)期间中分别成为三角波。但是，优选的是，在长时间曝光时使参照信号RAMP的倾斜度平缓而提高模拟增益，使噪声变好，在短时间曝光时使参照信号RAMP的倾斜度陡峭而降低模拟增益，充分地确保动态范围。
下降计数期间是用于对表示从放大晶体管T12输出的复位成分Vrst的电平的复位用像素信号进行AD变换的期间。由计数器部254对从下降计数期间的开始(三角波的变化开始)到电压比较器252的输出反转为止的时间进行下降计数。该计数值是模拟的复位成分Vrst的AD变换结果本身。
上升计数期间是用于对表示从放大晶体管T12输出的数据成分(信号成分Vsig+复位成分Vrst)的电平的数据用像素信号进行AD变换的期间。由计数器部254对从上升计数期间的开始(三角波的变化开始)到电压比较器252的输出反转为止的时间进行上升计数。该上升计数将模拟的数据成分(Vsig+Vrst)变换为数字值。该上升计数将表示复位成分Vrst的下降计数值作为初始值，因此上升计数期间的结束时的计数值表示从数据成分(Vsig+Vrst)减去复位成分Vrst的CDS(Correlated Double Sampling：相关双采样)的结果。即，上升计数期间的结束时的计数值成为信号成分Vsig本身。这样，列AD电路25将成为误差的各列的时钟漂移(clock skew)、计数器延迟等的偏差排除，仅取出真正的信号成分Vsig，即，进行数字CDS。
之后，在1/2水平扫描期间进行将曝光时间不同的像素的信号以同样的序列读出的动作，得到1水平扫描期间的图像。
通过将这样的1/2水平扫描期间的动作、进而1水平扫描期间的动作对n行依次执行，得到1帧的图像。
另外，例如，若将曝光时间不同的图像的枚数设为n枚，则通过按每1/n水平扫描期间进行将曝光时间不同的像素的信号以同样的序列读出的动作，并将该动作进行n次，从而得到1水平扫描期间的图像。
这里，参照图4对固体摄像装置1的CDS的动作进行说明。
首先，为了第1次的读出，控制部20使计数器部254的计数值复位到所设定的初始值，并且将计数器部254设定为下降计数模式。这里，计数值的初始值可以是“0”，也可以是任意的值。
接着，在时刻t4，垂直扫描电路14使向选择控制线施加的φSEL为高电平，使像素3的选择晶体管T13为导通状态。由此，所选择的像素行Vx被选择。
此外，在时刻t4，垂直扫描电路14在使向读出控制线施加的φTR为低电平而使读出晶体管T10为截止的状态下，使向复位控制线施加的φRS为高电平而使复位晶体管T11为导通状态。由此，各像素3的浮置扩散层FD的电压被复位到电源电压。
接着，经过一定时间后，在浮置扩散层FD的电压被复位了的时刻t5，垂直扫描电路14使复位控制信号φRS为低电平而使复位晶体管T11为截止状态。
此时，各像素3的浮置扩散层FD的电压被放大晶体管T12放大，复位成分Vrst经由垂直信号线19而被读出。该复位成分Vrst中重叠有来自电源电压的电源变动成分。在复位成分Vrst的下降计数时，控制部20对参照信号生成部27供给用于生成参照信号RAMP的控制信号CN4。参照信号生成部27接收该控制信号CN4，作为向电压比较器252的一方的输入端子(+)的比较电压，输出具有呈斜坡状地发生了时间变化的三角波的参照信号RAMP。
电压比较器252在时刻t10～时刻t14，将参照信号RAMP的电压、和表示由各列的ADC输入线40(ADINx)传递的复位成分(Vrst)的电压进行比较。
此外，与向电压比较器252的输入端子(+)输入的参照信号RAMP的三角波的变化开始(时刻t10)同时地，作为第1次的计数动作，从所设定的初始值起开始下降计数。具体来说，为了通过按每列配置的计数器部254对电压比较器252的比较时间进行计测，与从参照信号生成部27发出的斜坡波形电压同步地(时刻t10)，从控制部20向计数器部254的时钟端子输入计数时钟CK0，作为第1次的计数动作，从所设定的初始值起开始下降计数。
此外，电压比较器252，在时刻t10～时刻t14，比较来自参照信号生成部27的参照信号RAMP和由ADC输入线40传递的Vx行的复位成分的电压(Vrst)，在双方的电压变得相同时，使电压比较器252的输出从H电平向L电平反转(时刻t12)。即，将与复位成分Vrst相应的电压和参照信号RAMP进行比较，以计数时钟CK0对与复位成分Vrst的大小对应的时间轴方向的大小进行计数，从而得到与复位成分Vrst的大小对应的计数值。换言之，计数器部254将参照信号RAMP中的三角波形的变化的开始时刻作为计数器部254的下降计数开始时刻，进行下降计数，直到电压比较器252的输出反转为止，由此，得到与复位成分Vrst的大小对应的计数值。
此外，当经过规定的下降计数期间(时刻t14)，则控制部20停止向电压比较器252的控制数据的供给和向计数器部254的计数时钟CK0的供给。由此，电压比较器252停止参照信号RAMP的三角波生成。
在该第1次的读出时，由电压比较器252检测所选择的Vx行的像素信号电压中的复位成分Vrst来进行计数动作，因此读出了像素3的复位成分Vrst。
这样，列AD电路25通过CDS读取垂直信号线19的输出信号(时刻t14)。
另外，可以将参照信号的偏移值(时刻t10)设定为，即使电源变动成分是负的也能够检测出复位成分Vrst。
接着，当像素信号的复位成分的AD变换结束，则接着开始第2次的像素信号的读出动作。此外，在第2次的读出时，除了复位成分Vrst以外，还进行将与每个像素3的入射光量相应的信号成分Vsig读出的动作。与第1次的读出不同的点在于，将计数器部254设定为上升计数模式。
具体来说，在时刻t16，垂直扫描电路14使读出控制信号φTR为高电平而使读出晶体管T10为导通状态。由此，蓄积在光电二极管PD中的全部的光电荷被向浮置扩散层FD传递。之后，垂直扫描电路14使读出控制信号φTR为低电平而使读出晶体管T10为截止状态。
于是，放大晶体管T12的数据成分(Vrst+Vsig)经由垂直信号线19被读出。
此时也与上述第1次的读出时同样地，电源电压的电源变动成分被重叠于垂直信号线19。在该状态下，计数器部254进行上升计数。
在该上升计数时，通过参照信号生成部27而以成为斜坡状的方式阶梯状地时间变化的参照信号RAMP经由各列的ADC输入线40被向电压比较器252的一方的输入端子(+)输入，由电压比较器252进行与所选择的像素行Vx的像素信号成分的电压之间的比较。
此时，为了与向电压比较器252的一方的输入端子(+)的参照信号RAMP的输入同时地、利用计数器部254计测电压比较器252的比较时间，与从参照信号生成部27发出的斜坡波形电压同步地(时刻t20)，计数器部254从下降计数停止了的计数值起开始上升计数，作为第2次的计数动作。
此外，电压比较器252在上述双方的电压变得相同时，使比较器输出从H电平向L电平反转(时刻t23)。
这样，列AD电路25通过CDS读取垂直信号线19的输出信号(时刻t24)。
即，在时刻t20～时刻t24，对与数据成分(Vrst+Vsig)相应的电压信号和参照信号RAMP进行比较，以计数时钟CK0对与信号成分Vsig的大小对应的时间轴方向的大小进行计数，从而能够得到与信号成分Vsig的大小对应的计数值。换言之，计数器部254将参照信号RAMP中的三角波的变化的开始时刻作为计数器部254的上升计数开始时刻，进行上升计数，直到电压比较器252的输出反转为止，从而得到与数据成分(Vrst+Vsig)的大小对应的计数值。
这样，通过数字CDS，例如在读出复位成分(Vrst)时使计数器部254的设定为下降计数，在读出数据成分(Vrst+Vsig)时使计数器部254的设定为上升计数。由此，能够在计数器部254内自动地进行减法运算，得到相当于信号成分Vsig的计数值。
AD变换后的数据(信号成分Vsig)被保存在存储器256中。即，在计数器部254的动作前(时刻t3)，基于来自控制部20的作为存储器传送指示脉冲的控制信号CN8，将之前行的Vx－1的计数结果向存储器256传送。
根据以上，列AD电路25针对所有的像素行Vx的像素读出时执行数字CDS。
即，根据本实施方式的固体摄像装置1，如图4所示那样进行各像素行Vx的像素3的读出的1/2水平扫描期间由进行AD变换的下降计数期间和上升计数期间构成。
[4.电子快门和读出扫描]
接着，使用图5，对实施方式1中的电子快门和读出扫描进行说明。图5是表示实施方式1的固体摄像装置1的电子快门动作及读出动作的时序图。
另外，该图中，示出了黑暗时的电子快门动作。具体来说，固体摄像装置1，在黑暗时，以像素3在长时间曝光下不饱和的范围将曝光时间最大限度地延长。图5中，简易地将像素阵列部10的行数表示为0行～9行的合计10行，将长时间曝光的曝光时间设为6H，将短时间曝光的曝光时间设为2H。
关于长时间曝光的快门动作，对第0行在期间t4实施，对第1行在期间t5实施，像这样按行依次进行，对第9行在期间t3实施。即，长时间曝光的快门动作，在长时间曝光的读出动作的规定期间前的定时下实施，以使曝光时间成为该规定期间(这里是6H)。
长时间曝光的读出动作在设为φGC＝Low、将FD变换增益设为GH的状态下实施。具体来说，在将长时间曝光的曝光时间设为6H的情况下，以在期间t0对第0行实施、在期间t1对第1行实施这样的方式按行依次进行，在期间t9对第9行实施。
关于短时间曝光的快门动作，以在期间t8对第0行实施、在期间t9对第1行实施这样的方式按行依次进行，在期间t7对第9行实施。即，短时间曝光的快门动作，在短时间曝光的读出动作的规定期间前的定时下实施，以使曝光时间成为该规定期间(这里是2H)。
短时间曝光的读出动作在设为φGC＝High、将FD变换增益设为GL的状态下实施。具体来说，在将短时间曝光的曝光时间设为2H的情况下，以在期间t3对第0行实施、在期间t4对第1行实施这样的方式按行依次进行，在期间t2对第9行实施。
这些长时间曝光的读出动作和短时间曝光的读出动作如以下那样在1水平扫描期间中被实施。具体来说，本实施方式中，在1水平扫描期间的前半部分，实施长时间曝光的读出动作，在1水平扫描期间的后半部分，实施短时间曝光的读出动作。
例如，在期间t0，在将FD变换增益设为GH的状态下将长时间曝光的第0行的数据在1/2水平扫描期间读出，接着，在将FD变换增益设为GL的状态下将短时间曝光的第7行的数据在1/2水平扫描期间读出。期间t1以后，将这样的长时间曝光的读出动作和短时间曝光的读出动作按行依次进行。最后，在期间t9，在将FD变换增益设为GH的状态下将长时间曝光的第9行的数据在1/2水平扫描期间读出，接着，在将FD变换增益设为GL的状态下将短时间曝光的第6行的数据在1/2水平扫描期间读出。
由此，1垂直扫描期间的动作完成。即，在1垂直扫描期间中，各像素3的长时间曝光的数据(第一像素信号)以及短时间曝光的数据(第二像素信号)分别被读出。
这样的电子快门的动作以及读出扫描是由垂直扫描电路14基于控制部20的控制对像素阵列部10进行扫描而实现的。即，对于像素3，控制部20在长时间曝光时使FD变换增益提高，在短时间曝光时使FD变换增益降低。具体来说，控制部20使多个像素3的每一个，进行长时间曝光(以第一曝光模式曝光)而以GH(第一增益)将电荷向电压变换，从而使其输出长时间曝光的数据(第一像素信号)。此外，控制部20使多个像素3的每一个，进行短时间曝光(以曝光时间比第一曝光模式短的第二曝光模式曝光)而以GL(第二增益，其中GL＜GH)将电荷向电压变换，从而使其输出短时间曝光的数据(第二像素信号)。
这样输出的长时间曝光的数据及短时间曝光的数据被WDR合成电路70合成(所谓的宽动态范围合成)。因此，以下关于与WDR合成电路70有关的事项详细地说明。
[5.宽动态范围的合成方法]
图6是示意地表示图5的期间t3的宽动态范围的合成方法的图。在该期间t3，如图5所示，在第0行进行短时间曝光的数据的读出动作，在第2行进行短时间曝光的快门动作。此外，在第3行进行长时间曝光的数据的读出动作，在第9行进行长时间曝光的快门动作。
此外，第2存储器80中，在该期间t3，储存有在期间t0～t3的期间读出的第0行～第3行的长时间曝光的数据。
WDR合成电路70如图6所示，具有增益调整电路71和合成电路72，如以下那样进行动作。首先，在增益调整电路71中，短时间曝光的数据和长时间曝光的数据线性相连地进行放大。并且，在合成电路72中，进行将长时间曝光的数据和短时间曝光的数据合成的处理。之后，WDR合成电路70进行白平衡的处理。
由此，WDR合成电路70是利用长时间曝光的数据(第一像素信号)以及短时间曝光的数据(第二像素信号)进行信号处理的信号处理部。具体来说，WDR合成电路70将长时间曝光的数据及短时间曝光的数据中的短时间曝光的数据(另一方的像素信号)、和存储在第2存储器80(存储部)中的长时间曝光的数据(一方的像素信号)按每行建立对应来使用。并且，WDR合成电路70对短时间曝光的数据进行放大以使对于入射光的光量的放大后的倾斜度与长时间曝光的数据成为线性，并对长时间曝光的数据和放大后的短时间曝光的数据进行合成。
具体来说，WDR合成电路70，以GH(第一增益，即长时间曝光时的FD变换增益)相对于GL(第二增益，即短时间曝光时的FD变换增益)的增益比GH/GL、以及长时间曝光相对于短时间曝光的曝光时间比(第一曝光模式相对于第二曝光模式的曝光时间比)所对应的放大率，对短时间曝光的数据进行放大。
这样构成的本实施方式的固体摄像装置1，与不切换FD变换增益地将曝光时间不同的多个图像合成的以往的固体摄像装置相比，能够兼顾黑暗时的高画质化和动态范围的扩大。为了使这容易理解，利用图7，一边与以往的固体摄像装置(图中的比较例)进行比较一边说明。
图7是示意地表示将长时间曝光的图像和短时间曝光的图像合成而得到一个图像的处理的图。
这里，将长时间曝光的曝光时间设为EL，将短时间曝光的曝光时间设为ES，将高的FD变换增益(长时间曝光时的FD变换增益)设为GH(第一增益)，将低的FD变换增益(短时间曝光时的FD变换增益)设为GL(第二增益)。
此外，从黑暗时到明亮时，长时间曝光和短时间曝光的曝光时间的比率设为相同。即，在黑暗时，在维持比率的状态下，在像素3不饱和的范围内将长时间曝光的曝光时间最大限度地延长。另一方面，在明亮时，在维持比率的状态下，在像素3不饱和的范围内将短时间曝光的曝光时间最大限度地延长而设定。
以往的固体摄像装置中，为了扩大动态范围，使短时间曝光的输出电平放大与长时间曝光相对于短时间曝光的曝光时间比相应的量(Gain1＝EL/ES)。并且，以放大后的短时间曝光的输出电平对长时间曝光下像素饱和的光量L1以上进行线性校正，从而对短时间曝光的图像和长时间曝光的图像进行合成。
相对于此，本实施方式的固体摄像装置1中，在长时间曝光的读出时，使FD变换增益较高。具体来说，长时间曝光的读出时与短时间曝光的读出时相比，放大了FD变换增益(Gain2＝GH/GL)。因此，为了扩大动态范围，使短时间曝光的输出电平放大与长时间曝光相对于短时间曝光的曝光时间比以及此时的FD增益比相应的量(Gain1×Gain2)。并且，以放大后的短时间曝光的输出电平对长时间曝光下像素饱和的光量L2以上进行线性校正，从而对短时间曝光的图像和长时间曝光的图像进行合成。
由此，根据本实施方式的固体摄像装置1，与以往的固体摄像装置同样地，在光电二极管PD的受光量多的情况下，即对应于明亮的被摄体的情况下，也能够使用没有饱和的短时间曝光的数据来生成图像。即，由于使用未达到饱和电平的数据来生成图像，因此能够得到正确的灰度表现。由此，能够扩大动态范围。
另一方面，根据本实施方式的固体摄像装置1，与以往的固体摄像装置相比，在光电二极管PD的受光量少的情况下，即对应于暗的被摄体的情况下，通过提高FD变换增益，能够生成SN高的高画质的图像。由此，能够实现高画质化。此外，该情况下，通过提高FD变换增益，能够提高对于受光量的分辨率。即，能够得到精细度高的灰度表现。
因而，根据本实施方式的固体摄像装置1，在拍摄了明亮的部分和暗的部分混合存在的被摄体的情况下，作为对应于各像素3的输出信号，使用如下那样的信号，生成1个图像。即，关于多个像素3中的与明亮的部分对应的像素3，使用放大后的短时间曝光的图像数据。另一方面，关于多个像素3中的与暗的部分对应的像素3，使用长时间曝光的图像数据。由此，即使拍摄明亮的部分和暗的部分混合存在的被摄体，也能够得到抑制明亮的部分的高光超白的产生并且暗的部分的画质良好的图像。
即，根据本实施方式的固体摄像装置1，对于多个像素3的每一个，使得长时间曝光而以第一增益(GH)使电荷向电压变换从而使得输出长时间曝光的数据，使得短时间曝光而以第二增益(GL，其中GL＜GH)使电荷向电压变换从而使得输出短时间曝光的数据。此外，WDR合成电路70对短时间曝光的数据进行放大以使对于入射光的光量的放大后的倾斜度与长时间曝光的数据成为线性，并对长时间曝光的数据和放大后的短时间曝光的数据进行合成。
由此，能够兼顾黑暗时的高画质化和动态范围的扩大。
(实施方式1的变形例1)
另外，具有FD增益切换功能的像素不限定于实施方式1中说明过的构成。
图8A是表示实施方式1的变形例1的像素3A的构成的电路图。图8B是表示像素3A的动作的时序图。
这些图中示出的像素3A的构成及动作与图2A所示的像素3相比，与增益控制开关元件SW10及附加电容Cfd2有关的事项不同。
具体来说，增益控制开关元件SW10经由复位晶体管T11而与浮置扩散层FD连接。
附加电容Cfd2连接于复位晶体管T11和增益控制开关元件SW10之间的节点。
即使是这样构成的像素3A，也与实施方式1的像素3同样地，能够切换FD变换增益。
即，通过根据复位控制信号φRS的极性而切换复位晶体管T11的导通状态和截止状态，从而FD变换增益得以切换。具体来说，如图8B所示，在读出时(图中的时刻t16)当φRS＝Low时，复位晶体管T11截止，从而浮置扩散层FD的电容成为Cfd，因此FD变换增益变高。相反，在读出时当φRS＝High时，复位晶体管T11成为导通状态，从而浮置扩散层FD的电容成为Cfd+Cfd2，因此FD变换增益变低。
换言之，控制部20通过使复位晶体管T11为截止状态，从而使浮置扩散层FD以第一增益(GH)将电荷变换为电压。另一方面，控制部20通过使复位晶体管T11为导通状态并且使增益控制开关元件SW10为非导通状态，从而以第二增益(GL，其中GL＜GH)使电荷向电压变换。
(实施方式1的变形例2)
另外，长时间曝光的曝光时间以及短时间曝光的曝光时间不限定于实施方式1中说明过的时间。例如，在明亮时的情况下，也可以比实施方式1中说明过的时间短。
以下，使用图9来说明实施方式1的变形例2中的电子快门和读出扫描。图9是表示实施方式1的变形例2的固体摄像装置的电子快门动作以及读出动作的时序图。
另外，该图中，示出了明亮时的电子快门动作。具体来说，固体摄像装置，在明亮时，在短时间曝光下像素3不饱和的范围内将曝光时间最大限度地延长，长时间曝光的曝光时间以与实施方式1中说明过的黑暗时的长时间曝光和短时间曝光的比率同样的方式决定。即，控制部20维持长时间曝光(第一曝光模式)相对于短时间曝光(第二曝光模式)的曝光时间的比率、并且照度越低越延长曝光时间。图9中，设长时间曝光的曝光时间为3H，设短时间曝光的曝光时间为1H。
长时间曝光的快门动作以在期间t7对第0行实施、在期间t8对第1行实施这样的方式按行依次进行，在期间t6对第9行实施。
关于长时间曝光的读出动作，在设为φGC＝Low而使FD变换增益为GH的状态下实施。具体来说，在设长时间曝光的曝光时间为3H的情况下，以在期间t0对第0行实施、在期间t1对第1行实施这样的方式按行依次进行，在期间t9对第9行实施。
短时间曝光的快门动作以在期间t2对第0行实施、在期间t3对第1行实施这样的方式按行依次进行，在期间t1对第9行实施。
关于短时间曝光的读出动作，在设为φGC＝High而使FD变换增益为GL的状态下实施。具体来说，在设短时间曝光的曝光时间为2H的情况下，以在期间t3对第0行实施、在期间t4对第1行实施这样的方式按行依次进行，在期间t2对第9行实施。
接着，这些长时间曝光的读出动作和短时间曝光的读出动作，与上述实施方式1同样地，在1水平扫描期间的前半部分实施长时间曝光的读出动作，在1水平扫描期间的后半部分实施短时间曝光的读出动作。
即使是这样动作的固体摄像装置，也与实施方式1的固体摄像装置1同样地，能够通过在长时间曝光时提高FD变换增益而实现高画质化，在短时间曝光时降低FD变换增益来扩大动态范围。由此，上述变形例1及2的固体摄像装置能够兼顾黑暗时的高画质化和动态范围的扩大。
(实施方式2)
实施方式1的变形例2中，在明亮时，短时间曝光在像素不饱和的范围内将曝光时间最大限度地延长而设定，长时间曝光以成为与图5的黑暗时的长时间曝光和短时间曝光的比率同样的方式决定(参照图9)。
在实施方式2中，进一步特征在于，与实施方式1及其变形例2相比，对于灵敏度低的像素，为了使散粒噪声(shot noise)良好，短时间曝光及长时间曝光都在像素不饱和的范围内将曝光时间最大限度地延长而设定。
图10A是表示本实施方式的固体摄像装置2的构成例的框图。该图所示的固体摄像装置2与实施方式1的固体摄像装置1相比，具有拜耳阵列的像素阵列部210。
另外，DSP45也可以内置于固体摄像装置2。
此外，固体摄像装置2可以形成于多个半导体芯片(例如2个半导体芯片)。图10B是表示这样的固体摄像装置2的构成例的框图。如图10B所示，本实施方式的固体摄像装置2可以是，至少多个像素3形成于第一半导体芯片101，至少第2存储器80和WDR合成电路70形成于与第一半导体芯片101不同的半导体芯片即第二半导体芯片102。
图11是表示像素阵列部210的一部分的排列的图。如该图所示，像素阵列部210中，高灵敏度的Gb像素及Gr像素(以下称为像素A)和低灵敏度的R像素及B像素(以下称为像素B)在水平方向上交替地配置。即，构成像素阵列部210的多个像素在同一行相邻地配置，包含第一灵敏度的像素A(第一像素)和灵敏度比第一灵敏度低的第二灵敏度的像素B(第二像素)。
本实施方式中，灵敏度不同的像素A和像素B在水平方向上邻接地配置，能够分别独立地进行快门和读出扫描。即，水平扫描线组15对于像素A及像素B独立地设置。此外，此时，如图10A所示那样，能够同时对像素A和像素B的信号进行AD变换。
[电子快门和读出扫描]
接着，使用图12，对实施方式2中的电子快门和读出扫描进行说明。
图12是表示实施方式2的固体摄像装置2的电子快门动作及读出动作的时序图。
另外，该图中示出了明亮时的电子快门动作。具体来说，固体摄像装置2在明亮时对于灵敏度不同的像素A及像素B分别独立，对于短时间曝光而言，在像素不饱和的范围内将曝光时间最大限度地延长而设定。并且，长时间曝光的曝光时间决定为，与黑暗时的长时间曝光及短时间曝光的比率同样。
例如，不同灵敏度的像素A及像素B的灵敏度比设为Gain3＝SA/SB＝2倍，该像素B及像素A的曝光时间比相等地设定为Gain3＝2倍。这里，使像素A的长时间曝光的曝光时间为3H，使短时间曝光的曝光时间为1H。使像素B的长时间曝光的曝光时间为6H，使短时间曝光的曝光时间为2H。
长时间曝光的快门动作中，关于A像素，以在期间t7对第0行实施、在期间t8对第1行实施这样的方式按行依次进行，在期间t6对第9行实施。此外，关于B像素，以在期间t4对第0行实施、在期间t5对第1行实施这样的方式按行依次进行，在期间t3对第9行实施。
长时间曝光的读出动作在设为φGC＝Low而使FD变换增益为GH的状态下实施。具体来说，关于A像素，在使长时间曝光的曝光时间为3H的情况下，以在期间t0对第0行实施、在期间t1对第1行实施这样的方式按行依次进行，在期间t9对第9行实施。此外，关于B像素，在使长时间曝光的曝光时间为6H的情况下，以在期间t0对第0行实施、在期间t1对第1行实施这样的方式按行依次进行，在期间t9对第9行实施。
短时间曝光的快门动作中，关于A像素，以在期间t2对第0行实施、在期间t3对第1行实施这样的方式按行依次进行，在期间t1对第9行实施。此外，关于B像素，以在期间t1对第0行实施、在期间t2对第1行实施这样的方式按行依次进行，在期间t0对第9行实施。
短时间曝光的读出动作在设为φGC＝High而使FD变换增益为GL的状态下实施。具体来说，关于A像素，在使短时间曝光的曝光时间为2H的情况下，以在期间t3对第0行实施、在期间t4对第1行实施这样的方式按行依次进行，在期间t2对第9行实施。此外，关于B像素，在使短时间曝光的曝光时间为1H的情况下，以在期间t3对第0行实施、在期间t4对第1行实施这样的方式按行依次进行，在期间t2对第9行实施。
这些长时间曝光的读出动作和短时间曝光的读出动作与实施方式1同样地，在1水平扫描期间的前半部分实施长时间曝光的读出动作，在1水平扫描期间的后半部分实施短时间曝光的读出动作。这样，1垂直扫描期间的动作完成。
这样的电子快门的动作及读出扫描是由垂直扫描电路14基于控制部20的控制对像素阵列部210进行扫描而实现的。即，与实施方式1同样，控制部20使像素3在长时间曝光时使FD变换增益提高、在短时间曝光时使FD变换增益降低。
此外，控制部20在长时间曝光(第一曝光模式)以及短时间曝光(第二曝光模式)的每一个中，与像素A(第一像素)相比将像素B(第二像素)长时间曝光。
具体来说，控制部20在长时间曝光以及短时间曝光的每一个中，以像素A的曝光时间乘以像素A相对于像素B的灵敏度的比率即灵敏度比Gain3(本实施方式中Gain3＝2)而得到的时间，使像素B曝光。例如，控制部20在长时间曝光中以对像素A的曝光时间3H乘以Gain3而得到的6H的曝光时间使像素B曝光。此外，在短时间曝光中，以对像素A的曝光时间1H乘以Gain3而得到的2H的曝光时间使像素B曝光。
这样输出的长时间曝光的数据及短时间曝光的数据与实施方式1同样地，被WDR合成电路70合成(所谓的宽动态范围合成)。因此，以下关于与WDR合成电路70有关的事项，详细说明。
[宽动态范围的合成方法]
图13是示意地表示在实施方式2中将长时间曝光的图像和短时间曝光的图像合成而得到1个图像的处理的图。在该图中，还示出了实施方式2的比较例。
在比较例的固体摄像装置中，为了校正因灵敏度的不同而造成的画质不均匀，对于长时间曝光数据及短时间曝光数据的每一个，乘以像素A和像素B的灵敏度比Gain3。
相对于此，在本实施方式的固体摄像装置1中，在长时间曝光的读出时，提高了FD变换增益。进而，将像素B的曝光时间放大到(Gain3＝SA/SB)倍，以使灵敏度低的像素B的信号电平变得与灵敏度高的像素A的信号电平同等。因此，为了扩大动态范围，与实施方式1的情况相比，使短时间曝光的输出电平进一步放大与灵敏度比相应的量(Gain1×Gain2×Gain3)。并且，以放大后的短时间曝光的输出电平对长时间曝光下像素饱和的光量L2以上进行线性校正，从而对短时间曝光的图像和长时间曝光的图像进行合成。
由此，根据本实施方式的固体摄像装置2，即使是灵敏度不同的像素A和像素B相邻配置的结构，也能够实现与实施方式1同样的效果。即，能够兼顾黑暗时的高画质化和动态范围的扩大。
此外，如上述那样，根据本实施方式的固体摄像装置2，为了使散粒噪声良好，对于灵敏度低的像素B，短时间曝光及长时间曝光都在像素B不饱和的范围内将曝光时间最大限度地延长而设定。即，控制部20以长时间曝光(第一曝光模式)及短时间曝光(第二曝光模式)的曝光时间的合计值成为1垂直扫描期间以下、并且在长时间曝光(第一曝光模式)及短时间曝光(第二曝光模式)的各自中不饱和那样的最长时间，使像素B(第二像素)曝光。
另外，在从明亮时向黑暗时转移的过程中，灵敏度低且曝光时间长的像素B以长时间曝光和短时间曝光的合计的曝光时间不超过1垂直同步信号期间(1V)(即，1垂直扫描期间)的方式被控制为曝光时间最大且固定。另一方面，灵敏度高且曝光时间短的像素A被控制为，维持长时间曝光和短时间曝光的比率并且变长、同样地合计的曝光时间不超过1垂直同步信号期间(1V)。并且，在黑暗时，灵敏度高的像素A和灵敏度低的像素B都被设定为，长时间曝光和短时间曝光的合计的曝光时间相同且不超过1垂直同步信号期间(1V)。
即，控制部20，以使长时间曝光(第一曝光模式)及短时间曝光(第二曝光模式)中的曝光时间的合计值为1垂直扫描期间以下的方式，使像素A(第一像素)曝光。此外，在该合计值与灵敏度的比率(Gain3)相乘而得到的时间为1垂直扫描期间以下的情况下，使像素B(第二像素)以该时间曝光，在该时间超过1垂直扫描期间的情况下，使像素B以1垂直扫描期间以下的规定的时间曝光。
此外，作为宽动态范围的长时间曝光和短时间曝光的比率的设定方法，关于在边界部的相连部分上的照度(图13中为L2)，以进行了合成时起因于散粒噪声的SN没有问题的方式决定了条件。此外，为了将合成方法简易化，该长时间曝光和短时间曝光的比率在本实施方式中设为固定的而进行了说明，但也可以是可变的。
此外，像素阵列部不限定于上述的例子，也可以是例如图14所示那样的构成。图14是表示像素阵列部210A的变形例的一部分的排列的图。该图所示的像素阵列部210A与图11所示的像素阵列部210相比，Gr像素成为了IR(红外)像素。
这里，G像素和B像素的灵敏度为G像素＞B像素，R像素和IR像素的灵敏度为R像素＞IR像素。即，像素阵列部210A中，也与像素阵列部210同样，高灵敏度的像素A(这里是G像素及R像素)和低灵敏度的像素B(这里是B像素及IR像素)在水平方向上交替地配置。
即使是具备这样的像素阵列部210A的固体摄像装置，也能够发挥与上述实施方式2同样的效果。即，能够兼顾黑暗时的高画质化和动态范围的扩大。
(其他实施方式)
另外，上述的各实施方式以及其变形例的固体摄像装置被用于相机(摄像装置)。
图15是表示具备实施方式1的固体摄像装置1的相机(摄像装置)的构成的一例的框图。该图的相机(摄像装置)具备固体摄像装置1、透镜61、信号处理电路63和系统控制器64。
根据上述构成，能够提供可兼顾黑暗时的高画质化和动态范围的扩大的相机(摄像装置)。
此外，在上述说明过的固体摄像装置中，像素3形成在半导体基板的表面、即与形成有晶体管的栅极端子及布线的面相同的一面侧，但也可以采用像素3形成在半导体基板的背面即形成有晶体管的栅极端子及布线的面的背面侧的、所谓的背面照射型图像传感器(背面照射型固体摄像装置)的结构。
此外，在上述说明中，像素3以长时间曝光和短时间曝光这两种曝光模式进行了动作，但也可以以曝光时间不同的3种以上的曝光模式进行动作。此外，此时，可以设为，曝光时间越长则FD变换增益越变大。
此外，上述实施方式中的控制部20等可以典型地实现为作为集成电路的LSI。控制部20等各处理部可以分别被单芯片化，也可以包含一部分或全部地被单芯片化。
此外，在固体摄像装置1中，作为像素3内的受光元件而使用了光电二极管(耗尽型p－n结光电二极管)PD，但不限定于此，也可以是其他受光元件(作为一例，是光栅(photogate)下的电场感应出的耗尽区域)。
此外，集成电路化不限于LSI，也可以以专用电路或通用处理器实现。也可以利用LSI制造后可编程的FPGA(Field Programmable Gate Array，现场可编程门阵列)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
以上，说明了例示的各实施方式，但本申请的权利要求不限定于这些实施方式。可以不脱离随附的权利要求所记载的主题的新的启示及优点地实施上述各实施方式中各种变形、并且可以将上述各实施方式的构成要素任意地组合来得到其他实施方式，是本领域技术人员容易理解的。从而，上述那样的变形例及其他实施方式也包含在本公开中。
产业上的可利用性
本公开能够兼顾黑暗时的高画质化和动态范围的扩大，能够应用于例如CMOS固体摄像装置、数字静态相机、电影摄像机、带相机的便携式电话、监视相机、车载相机以及医疗用相机等各种相机系统。
标号说明
1，2 固体摄像装置
3，3A 像素
5a，5b 端子
10，210，210A 像素阵列部
12 水平扫描电路
14 垂直扫描电路
15 水平扫描线组
17 输出信号线
18 水平信号线
19 垂直信号线
20 控制部
25 列AD电路
26 列处理部
27 参照信号生成部
28 输出电路
30 负载电流源
40 ADC输入线
51 电源布线
61 透镜
63 信号处理电路
64 系统控制器
70 WDR合成电路
71 增益调整电路
72 合成电路
80 第2存储器
101 第一半导体芯片
102 第二半导体芯片
252 电压比较器
254 计数器部
256 存储器

Claims (11)

1.一种固体摄像装置，具有像素，其特征在于，
上述像素具有：
光电变换部，生成电荷；以及
电荷蓄积部，使上述电荷向电压变换，
上述固体摄像装置还具备：
控制部，使上述像素，以第一曝光模式曝光并以第一增益使电荷向电压变换从而输出第一像素信号，以第二曝光模式曝光并以第二增益使电荷向电压变换从而输出第二像素信号，上述第二曝光模式的曝光时间比上述第一曝光模式短，上述第二增益比上述第一增益小；
信号处理部，对上述第一像素信号和放大后的上述第二像素信号进行合成；以及
存储部，将上述第一像素信号以及上述第二像素信号中的一方的像素信号按多个上述像素沿行方向排列的每个像素行建立对应地存储；
上述信号处理部，对应于上述像素行，将上述第一像素信号以及上述第二像素信号中的另一方的像素信号、与在上述存储部中存储的上述一方的像素信号同上述像素行建立对应，对上述第二像素信号进行放大，以使对于向上述光电变换部入射的入射光的光量的、放大后的上述第二像素信号的倾斜度与上述第一像素信号成为线性。
2.如权利要求1所述的固体摄像装置，其特征在于，
上述信号处理部，以与上述第一增益相对于上述第二增益的增益比以及上述第一曝光模式相对于第二曝光模式的曝光时间比相对应的放大率，对上述第二像素信号进行放大。
3.如权利要求1所述的固体摄像装置，其特征在于，
多个上述像素包含第一灵敏度的第一像素、和与该第一像素在同一行上相邻地配置并且灵敏度比上述第一灵敏度低的第二灵敏度的第二像素，
上述控制部，在上述第一曝光模式以及上述第二曝光模式的各个曝光模式下，与上述第一像素相比，对上述第二像素进行长时间曝光。
4.如权利要求3所述的固体摄像装置，其特征在于，
上述控制部，在上述第一曝光模式以及上述第二曝光模式的各个曝光模式下，以将上述第一像素的曝光时间与上述第一像素相对于上述第二像素的灵敏度的比率相乘而得到的时间，使上述第二像素曝光。
5.如权利要求4所述的固体摄像装置，其特征在于，
上述控制部，以上述第一曝光模式以及上述第二曝光模式中的曝光时间的合计值成为1垂直扫描期间以下的方式使上述第一像素曝光，
上述控制部，在将上述合计值和上述灵敏度的比率相乘而得到的时间为1垂直扫描期间以下的情况下，使上述第二像素以该时间曝光，在该时间超过1垂直扫描期间的情况下，使上述第二像素以1垂直扫描期间以下的规定的时间曝光。
6.如权利要求3所述的固体摄像装置，其特征在于，
上述控制部，以上述第一曝光模式以及上述第二曝光模式中的曝光时间的合计值为1垂直扫描期间以下、且在上述第一曝光模式以及上述第二曝光模式下分别不饱和那样的最长时间，使上述第二像素曝光。
7.如权利要求1所述的固体摄像装置，其特征在于，
上述控制部，维持上述第一曝光模式相对于第二曝光模式的曝光时间的比率，并且照度越低越延长曝光时间。
8.如权利要求1所述的固体摄像装置，其特征在于，
上述像素具备：
增益控制开关元件，连接于上述电荷蓄积部；以及
电容，经由上述增益控制开关元件而连接于上述电荷蓄积部，
上述控制部，通过使上述增益控制开关元件为非导通状态而以上述第一增益使电荷向电压变换，通过使上述增益控制开关元件为导通状态而以上述第二增益使电荷向电压变换。
9.如权利要求1所述的固体摄像装置，其特征在于，
上述像素具备：
复位开关元件，将上述电荷蓄积部的电压复位为电源电压；
增益控制开关元件，经由上述复位开关元件而连接于上述电荷蓄积部；以及
电容，连接到上述复位开关元件与上述增益控制开关元件之间的节点，
上述控制部，通过使上述复位开关元件为非导通状态而使上述电荷蓄积部以上述第一增益向电压变换，通过使上述复位开关元件为导通状态且使上述增益控制开关元件为非导通状态而以上述第二增益使电荷向电压变换。
10.如权利要求1所述的固体摄像装置，其特征在于，
至少上述像素形成于第一半导体芯片，
至少上述存储部和上述信号处理部形成于第二半导体芯片。
11.一种摄像装置，其特征在于，
具备权利要求1所述的固体摄像装置。
CN201780010924.1A 2016-02-15 2017-02-13 固体摄像装置以及摄像装置 Active CN108605105B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016026398 2016-02-15
JP2016-026398 2016-02-15
PCT/JP2017/005057 WO2017141847A1 (ja) 2016-02-15 2017-02-13 固体撮像装置および撮像装置

Publications (2)

Publication Number Publication Date
CN108605105A CN108605105A (zh) 2018-09-28
CN108605105B true CN108605105B (zh) 2021-01-12

Family

ID=59625808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780010924.1A Active CN108605105B (zh) 2016-02-15 2017-02-13 固体摄像装置以及摄像装置

Country Status (4)

Country Link
US (1) US10785430B2 (zh)
JP (1) JP6937736B2 (zh)
CN (1) CN108605105B (zh)
WO (1) WO2017141847A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6797568B2 (ja) * 2016-06-10 2020-12-09 キヤノン株式会社 撮像装置、撮像システム
CN115483236A (zh) 2017-10-27 2022-12-16 索尼半导体解决方案公司 摄像装置
US11363221B2 (en) * 2018-06-08 2022-06-14 Facebook Technologies, Llc Image sensor post processing
US10721412B2 (en) * 2018-12-24 2020-07-21 Gopro, Inc. Generating long exposure images for high dynamic range processing
JP2021010075A (ja) 2019-06-28 2021-01-28 キヤノン株式会社 光電変換装置、光電変換システム、および移動体
US11956557B1 (en) 2022-10-17 2024-04-09 BAE Systems Imaging Solutions Inc. Pixel architecture with high dynamic range

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1956506A (zh) * 2005-10-28 2007-05-02 株式会社东芝 固体摄像装置
CN101588446A (zh) * 2008-05-19 2009-11-25 索尼株式会社 图像合成设备、图像拾取设备、图像合成方法和程序
CN101816171A (zh) * 2007-10-03 2010-08-25 诺基亚公司 用于增强图像动态范围的多重曝光模式
JP2013009105A (ja) * 2011-06-23 2013-01-10 Jvc Kenwood Corp 画像処理装置及び画像処理方法
US8766157B2 (en) * 2010-09-02 2014-07-01 Sri International High dynamic range CMOS pixel and method of operating same
JP2015180005A (ja) * 2014-03-19 2015-10-08 キヤノン株式会社 固体撮像素子およびその駆動方法、並びに撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070035649A1 (en) * 2005-08-10 2007-02-15 Micron Technology, Inc. Image pixel reset through dual conversion gain gate
JP4289377B2 (ja) * 2006-08-21 2009-07-01 ソニー株式会社 物理量検出装置及び撮像装置
US9402039B2 (en) * 2014-01-10 2016-07-26 Omnivision Technologies, Inc. Dual conversion gain high dynamic range sensor
US9491442B2 (en) * 2014-04-28 2016-11-08 Samsung Electronics Co., Ltd. Image processing device and mobile computing device having the same
JP6393083B2 (ja) * 2014-05-27 2018-09-19 キヤノン株式会社 撮像素子及びその制御方法、及び撮像装置
US9467633B2 (en) * 2015-02-27 2016-10-11 Semiconductor Components Industries, Llc High dynamic range imaging systems having differential photodiode exposures
US10257448B1 (en) * 2015-08-18 2019-04-09 Sri International Extended dynamic range imaging sensor and operating mode of the same
JP2017055248A (ja) * 2015-09-09 2017-03-16 ルネサスエレクトロニクス株式会社 撮像素子

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1956506A (zh) * 2005-10-28 2007-05-02 株式会社东芝 固体摄像装置
CN101816171A (zh) * 2007-10-03 2010-08-25 诺基亚公司 用于增强图像动态范围的多重曝光模式
CN101588446A (zh) * 2008-05-19 2009-11-25 索尼株式会社 图像合成设备、图像拾取设备、图像合成方法和程序
US8766157B2 (en) * 2010-09-02 2014-07-01 Sri International High dynamic range CMOS pixel and method of operating same
JP2013009105A (ja) * 2011-06-23 2013-01-10 Jvc Kenwood Corp 画像処理装置及び画像処理方法
JP2015180005A (ja) * 2014-03-19 2015-10-08 キヤノン株式会社 固体撮像素子およびその駆動方法、並びに撮像装置

Also Published As

Publication number Publication date
CN108605105A (zh) 2018-09-28
US20180376083A1 (en) 2018-12-27
WO2017141847A1 (ja) 2017-08-24
JPWO2017141847A1 (ja) 2018-12-06
US10785430B2 (en) 2020-09-22
JP6937736B2 (ja) 2021-09-22

Similar Documents

Publication Publication Date Title
CN108605105B (zh) 固体摄像装置以及摄像装置
US7244921B2 (en) Solid-state imaging device, driving method therefor, and imaging apparatus
US8237808B2 (en) Solid state imaging device and imaging apparatus adjusting the spatial positions of pixels after addition by controlling the ratio of weight values during addition
US8031241B2 (en) Solid-state imaging device and imaging apparatus
US7969484B2 (en) Solid-state image sensing device
US9191596B2 (en) Solid-state imaging device, control method and electronic apparatus to obtain frame difference output values
US10038868B2 (en) Solid-state image sensing device and electronic device
JP4289244B2 (ja) 画像処理方法並びに物理量分布検知の半導体装置および電子機器
US20080001802A1 (en) Image processing circuit, imaging circuit, and electronic device
WO2011145254A1 (ja) 固体撮像装置、画像処理装置、カメラシステム
JP2009177749A (ja) 固体撮像装置
JP2009049870A (ja) 固体撮像装置、撮像装置
KR20060053841A (ko) 데이터 처리 방법, 물리량 분포의 검지를 위한 반도체 장치및 전자 기기
US20220367557A1 (en) Solid-state imaging apparatus and imaging apparatus including the same
US8149308B2 (en) Solid-state image pickup device
JP2015023391A (ja) 固体撮像装置
JP2018011141A (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
JP5906596B2 (ja) 撮像装置
KR20140107212A (ko) 고체 촬상 소자 및 그 구동 방법, 카메라 시스템
KR20120122165A (ko) 광역 동적범위를 가지는 이미지 센서, 그 화소 회로 및 구동 방법
US8120688B2 (en) Solid state imaging device
JP2010178197A (ja) 固体撮像装置の駆動方法、固体撮像装置およびカメラ
JP6213596B2 (ja) 撮像装置
JP2011142434A (ja) 固体撮像装置
JP2013051497A (ja) 固体撮像装置、撮像装置および撮像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200601

Address after: Kyoto Japan

Applicant after: Panasonic semiconductor solutions Co.,Ltd.

Address before: Osaka Japan

Applicant before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Kyoto Japan

Patentee after: Nuvoton Technology Corporation Japan

Address before: Kyoto Japan

Patentee before: Panasonic semiconductor solutions Co.,Ltd.