CN108833811A - 摄像单元、摄像装置以及控制程序 - Google Patents

摄像单元、摄像装置以及控制程序 Download PDF

Info

Publication number
CN108833811A
CN108833811A CN201810889918.4A CN201810889918A CN108833811A CN 108833811 A CN108833811 A CN 108833811A CN 201810889918 A CN201810889918 A CN 201810889918A CN 108833811 A CN108833811 A CN 108833811A
Authority
CN
China
Prior art keywords
current potential
signal
magnifying power
resetting
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810889918.4A
Other languages
English (en)
Other versions
CN108833811B (zh
Inventor
船水航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN108833811A publication Critical patent/CN108833811A/zh
Application granted granted Critical
Publication of CN108833811B publication Critical patent/CN108833811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/65—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Abstract

本发明提供摄像单元、摄像装置以及控制程序。存在使摄像单元的动态范围扩大的要求。因此，提供一种摄像单元，其具备：像素部，该像素部输出与重置后的重置电位和电荷积累后的信号电位对应的像素信号；放大器部，该放大器部将像素信号以第一放大率或与第一放大率不同的第二放大率放大；以及控制部，该控制部使放大器部在将与从重置电位向信号电位的变动对应的像素信号以第一放大率放大后，将与从信号电位向重置电位的变动对应的像素信号以第二放大率放大。

Description

摄像单元、摄像装置以及控制程序
本申请是中国专利申请号为201380021039.5、进入国家阶段日期为2014年10月21日、国际申请日为2013年2月25日、PCT国际申请号为PCT/JP2013/001055、发明名称为“摄像单元、摄像装置以及控制程序”的发明专利申请的分案申请。
技术领域
本发明涉及摄像单元、摄像装置以及控制程序。
背景技术
已知有将根据入射光而由像素部生成的像素信号由按每条垂直信号线设置的放大电路放大并读出的CMOS型的摄像单元。(例如，参照专利文献1)。
专利文献1：日本特开2004－15701号公报
发明内容
与入射光相应的电荷在积累于浮置扩散单元(floating diffusion)后向垂直信号线输出，并读出由放大电路放大后的信号。因为在读出来自浮置扩散单元的电荷后浮置扩散单元被重置，所以相对于一次光入射，放大电路的放大率被限制为一种。若与入射光较强从而积累于浮置扩散单元的电荷多的情况相配合地降低放大率，则从入射光较弱的区域读出的信号变弱。相反地，若配合入射光较弱的区域而提高放大率，则从入射光较强的区域读出的信号会饱和。因此，摄像单元的动态范围受限，期望更广的动态范围。
在本发明的第一方案中提供一种摄像单元，其具备：像素部，该像素部输出与重置后的重置电位和电荷积累后的信号电位对应的像素信号；放大器部，该放大器部将像素信号以第一放大率或与第一放大率不同的第二放大率放大；以及控制部，该控制部使放大器部在将与从重置电位向信号电位的变动对应的像素信号以第一放大率放大后，将与从信号电位向重置电位的变动对应的像素信号以第二放大率放大。
在本发明的第二方案中，提供一种控制程序，该控制程序用于摄像单元，该摄像单元具备：光电转换部；传输门，该传输门将由光电转换部产生的电荷向浮置扩散单元传输；像素重置开关，该像素重置开关将积累于所述浮置扩散单元的所述电荷排除，从而将所述浮置扩散单元的电位从所述信号电位重置为所述重置电位；以及放大器部，该放大器部将基于所述浮置扩散单元的电位而输出的像素信号放大，所述控制程序使计算机执行如下步骤：通过使传输门断开并使重置开关接通而使浮置扩散单元的电位成为重置电位的步骤；通过使重置开关断开并使传输门在接通一定期间后断开而使所述浮置扩散单元的电位成为信号电位，并输出与从重置电位向信号电位的变动对应的像素信号即第一像素信号的步骤；使放大器部将第一像素信号通过第一放大率放大的步骤；通过再次使重置开关接通而使浮置扩散单元的电位成为重置电位，并输出与从信号电位向重置电位的变动对应的像素信号即第二像素信号的步骤；以及使放大器部将第二像素信号通过第二放大率放大的步骤。
此外，上述发明的概要并没有列举本发明的全部的必要特征。另外，这些特征组的子组合(sub-combination)也能够成为发明。
附图说明
图1是说明本发明的实施方式的摄像装置的构成的图。
图2是说明本发明的实施方式的摄像单元的构成的图。
图3是将摄像单元的构成的一部分放大进行说明的图。
图4是表示摄像单元的1水平期间的动作定时的时序图。
图5是说明摄像装置的图像处理的图。
图6是说明摄像单元的构成的另外一例的图。
图7是说明由摄像装置进行的图像处理的流程图。
附图标记说明
100单位像素，101光电转换部，102传输门，103浮置扩散单元，104像素重置开关，105像素放大器，106选择开关，110像素部，200垂直信号线，201负载电流源，202控制线，220判定部，300列增幅放大器部，301输入电容器，302列增幅放大器重置开关，303第一反馈电容器，304第一反馈电容器选择开关，305第二反馈电容器，306第二反馈电容器选择开关，308放大器，400电位保持部，402重置电位输入开关，403信号电位输入开关，404重置电位保持电容器，405信号电位保持电容器，406重置电位输出开关，407信号电位输出开关，500读出电路，600垂直扫描部，700控制部，710AFE，720ADC，900摄像装置，910摄像单元，912图像处理部，914受理部，916AE传感器，918工作存储器，920显示部，922摄像存储器，924摄像系统控制部，926总线
具体实施方式
以下，通过发明的实施方式来说明本发明，但以下的实施方式并不限定权利要求书涉及的发明。另外，实施方式中说明的特征组合对于发明的解决方法不一定全部是必须的。
图1是说明本发明的实施方式的摄像装置900的构成的图。摄像装置900具备摄像单元910、图像处理部912、工作存储器918、显示部920、摄像存储器922、总线926、摄像系统控制部924、AE传感器916以及受理部914。摄像单元910、图像处理部912、显示部920、工作存储器918、摄像存储器922以及摄像系统控制部924与总线926连接，并经由总线926相互地发送接收信号。
摄像单元910具备二维地排列有多个光电转换元件的CMOS传感器等图像传感器。摄像单元910具备控制部700。摄像单元910被摄像系统控制部924控制，输出将从被摄物体像得到的像素信号放大后的放大信号。摄像系统控制部924以及控制部700可以共同作为摄像单元910的控制部发挥功能。
图像处理部912将工作存储器918作为工作区而实施各种图像处理，生成图像数据。生成的图像数据通过图像处理部912而被转换为显示信号，能够显示在显示部920中。另外，图像数据能够记录于摄像存储器922。
AE传感器916是针对被摄物体空间设定有多个测光区域的测光传感器，在各个测光点检测被摄物体像的亮度。一系列摄影过程通过受理部914受理使用者的操作并向摄像系统控制部924输出操作信号而开始。另外，受理部914受理由使用者进行的ISO感光度的选择，并将其向摄像系统控制部924发送。摄像系统控制部924将与受理部914所受理的ISO感光度对应的放大率向控制部700发送。
摄影过程所附带的AF、AE等各种动作由摄像系统控制部924控制并执行。例如，摄像系统控制部924解析AE传感器916的检测信号，将与最佳的ISO感光度对应的像素信号的放大率向控制部700发送。
图2是说明本发明的实施方式的摄像单元910的构成的图。摄像单元910具备像素部110、负载电流源201、列增幅放大器部300、电位保持部400、读出电路500、垂直扫描部600、控制部700、AFE710以及ADC720。
摄像单元910在像素部110具备多个单位像素100。多个单位像素100矩阵状地配置。各个单位像素100与垂直信号线200以及控制线202连接。控制线202也可以由多根信号线构成来提高信号的传输效率。配置于同一行的单位像素100与共用的控制线202连接。控制线202与垂直扫描部600连接。配置于同一列的单位像素100与共用的垂直信号线200连接。像素信号从单位像素100向垂直信号线200的读出，经由控制线202而由垂直扫描部600控制。
垂直信号线200经由列增幅放大器部300以及电位保持部400而与读出电路500连接。负载电流源201向垂直信号线200供给电流。列增幅放大器部300将从单位像素100读出的像素信号放大，并将被放大后的像素信号即放大信号发送至电位保持部400。电位保持部400保持放大信号，并在控制部700所控制的定时，将放大信号发送至读出电路500。读出电路500将放大信号发送至AFE710。
AFE710使放大信号的电平一致，并将其发送至ADC720。ADC720将从AFE710接收的信号转换为数字信号并输出。AFE710以及ADC720可以与摄像单元910的其他构成要素设置在同一基板上，但并不限于此，也可以将AFE710以及ADC720设置在另外的基板上，并通过布线或凸块(bump)与设置有摄像单元910的其他构成要素的基板电连接。垂直扫描部600、列增幅放大器部300、电位保持部400以及读出电路500与控制部700电连接，并被控制部700控制。
图3是将摄像单元910的构成的一部分放大进行说明的图。单位像素100具备光电转换部101、传输门102、浮置扩散单元103、像素重置开关104、像素放大器105以及选择开关106。
光电转换部101将接受的光转换为电荷并积累。光电转换部101的一个例子为光电二极管。控制部700使传输门102将由光电转换部101产生的电荷向浮置扩散单元103传输。控制部700使浮置扩散单元103将经由传输门102传输来的电荷积累。控制部700使与浮置扩散单元103连接的像素重置开关104将浮置扩散单元所积累的电荷排除，从而使浮置扩散单元103的电位从信号电位重置为重置电位。
像素放大器105与浮置扩散单元103连接，将浮置扩散单元103的电位放大并输出。选择开关106与像素放大器105以及垂直信号线200连接。负载电流源201与垂直信号线200连接。
列增幅放大器部300具备输入电容器301、列增幅放大器重置开关302、第一反馈电容器选择开关304、第一反馈电容器303、第二反馈电容器选择开关306、第二反馈电容器305以及放大器308。输入电容器301与垂直信号线200连接。输入电容器301与放大器308的输入端子的一方连接。在放大器308的另一方的输入端子上连接有VREF，处于基准电位。放大器308的反馈回路并联地具备：列增幅放大器重置开关302；第一反馈电容器选择开关304及第一反馈电容器303；以及第二反馈电容器选择开关306和第二反馈电容器305。第一反馈电容器选择开关304与第一反馈电容器303串联地连接。第二反馈电容器选择开关306与第二反馈电容器305串联地连接。
电位保持部400具备重置电位输入开关402、重置电位保持电容器404、信号电位输入开关403、信号电位保持电容器405、重置电位输出开关406以及信号电位输出开关407。重置电位输入开关402以及信号电位输入开关403并联地与列增幅放大器部300的输出连接。重置电位保持电容器404与重置电位输入开关402连接。重置电位输出开关406与重置电位保持电容器404连接。重置电位输出开关406与读出电路500连接。信号电位保持电容器405与信号电位输入开关403连接。信号电位输出开关407与信号电位保持电容器405连接。信号电位输出开关407与读出电路500连接。
图4是表示摄像单元910的1水平期间的动作定时的时序图。图4所示的摄像单元910的动作由控制部700控制。第一期间(t1)内，像素重置开关104以及传输门102接通规定的时间。即、以及成为接通状态的电位。由此，光电转换部101以及浮置扩散单元103的电位被重置。此时，摄像单元910的全部的光电转换部101以及浮置扩散单元103的电位可以同时被重置。
在第二期间(t2)内，光电转换部101将接受的光转换为电荷并积累。光电转换部101的电荷积累由摄像系统控制部924对摄像单元910设定的曝光时间决定。
在第三期间(t3)内，选择开关106接通。另外，像素重置开关104接通规定的时间。即、成为接通状态的电位，在规定的时间内成为接通状态的电位。由此，浮置扩散单元103成为重置后的重置电位。
在列增幅放大器部300中，在第三期间(t3)内，列增幅放大器重置开关302以及第二反馈电容器选择开关306接通规定的时间。即、以及成为接通状态的电位。另外，成为接通状态的电位，第一反馈电容器选择开关304接通。由此，放大器308的输入端子被重置。
接下来，在规定的时间后，以及成为断开状态的电位，列增幅放大器重置开关302以及第二反馈电容器选择开关306断开。此时，在第二反馈电容器选择开关306断开后，列增幅放大器重置开关302断开。保持接通状态的电位，第一反馈电容器选择开关304保持接通状态。由此，列增幅放大器部300的放大率被设定为第一放大率，该第一放大率由输入电容器301的容量与第一反馈电容器303的容量之比决定。
在第四期间(t4)内，在规定的时间内使成为接通状态的电压，从而将重置电位输入开关402接通。由此，浮置扩散单元103的电位被重置后的状态下的、与重置电位对应的电位被积累于重置电位保持电容器404。
在第五期间(t5)内，在规定的时间内成为接通状态的电位，传输门102接通规定的时间。由此在第二期间(t2)内由光电转换部101产生的电子被传输至浮置扩散单元103，浮置扩散单元103的电位从重置电位变为电荷积累后的信号电位。浮置扩散单元103的电位的变动经由像素放大器105以及选择开关106传递至垂直信号线200。由此，与重置电位和信号电位对应的像素信号从单位像素100输出至垂直信号线200。从垂直信号线200向列增幅放大器部300输入与从重置电位向信号电位的变动对应的像素信号。输入至列增幅放大器部300的像素信号以由输入电容器301的容量与第一反馈电容器303的容量之比所决定的第一放大率被放大。以第一放大率被放大后的第一放大信号从列增幅放大器部300向电位保持部400输出。
从列增幅放大器部300输出的第一放大信号的电位，在下式所示的Vout比列增幅放大器部300的电源电压小时，由Vout表示。另外，在Vout为列增幅放大器部300的电源电压以上时，从列增幅放大器部300输出的第一放大信号的电位与列增幅放大器部300的电源电压相等。
Vout＝VREF+(浮置扩散单元103的重置电位－浮置扩散单元103的信号电位)×像素放大器105的增益×(－输入电容器301的容量/第一反馈电容器303的容量)。
作为一个例子，设，输入电容器301的容量为1pF、第一反馈电容器303的容量为0.1pF、浮置扩散单元103的重置电位为4V、像素放大器105的增益为0.8倍、VREF为2.0V、列增幅放大器部300的电源电压为5V。而且，浮置扩散单元103的电位从重置电位4V开始，在传输门102接通规定时间后，变为信号电位3V。此时，Vout＝2.0V+(4V－3V)×0.8×(－1pF/0.1pF)＝10.0V，比列增幅放大器部300的电源电压5V大。因此，这时，从列增幅放大器部300输出的第一放大信号的电位为5V。即、该情况下的第一放大信号成为饱和信号。
在传输门102断开后，信号电位输入开关403接通规定时间。由此，在信号电位保持电容器405中保持根据入射光而从列增幅放大器部300输出的第一放大信号。
在第六期间(t6)内，成为接通状态的电位，重置电位输出开关406以及信号电位输出开关407接通规定的时间。由此，与在第四期间(t4)内保持于重置电位保持电容器404的重置电位对应的信号以及与在第五期间(t5)内保持于信号电位保持电容器405的信号电位对应的第一放大信号向读出电路500发送。
在第七期间(t7)内，以及成为接通状态的电压，列增幅放大器重置开关302、第一反馈电容器选择开关304以及第二反馈电容器选择开关306接通。由此，放大器308的输入端子被重置。即、浮置扩散单元103以信号电位的状态为基准，列增幅放大器部300被重置。此外，本例中第一反馈电容器选择开关304从第三期间(t3)开始保持接通。
接下来，在第一反馈电容器选择开关304断开后，列增幅放大器重置开关302断开。即、在成为断开状态的电位后，成为断开状态的电位。保持接通状态的电位，第二反馈电容器选择开关306保持接通状态。由此，列增幅放大器部300的放大率设定为第二放大率，该第二放大率由输入电容器301的容量与第二反馈电容器305的容量之比决定。在本例中，因为第一反馈电容器选择开关304的容量和第二反馈电容器305的容量不同，所以第七期间(t7)中设定的列增幅放大器部300的第二放大率，与第五期间(t5)中设定的列增幅放大器部300的第一放大率不同。
接下来，在规定的时间内成为接通状态的电位，重置电位输入开关402接通规定的时间。由此，在重置电位保持电容器404中保持与信号电位对应的信号。
在第八期间(t8)内，在规定的时间内成为接通状态的电位，像素重置开关104接通规定的期间。由此，浮置扩散单元103的电位被重置。浮置扩散单元103的电位从信号电位变为重置电位。浮置扩散单元103的电位的变动经由像素放大器105以及选择开关106传递至垂直信号线200。由此，与浮置扩散单元103的从信号电位向重置电位的变动对应的像素信号被输入至列增幅放大器部300。输入至列增幅放大器部300的像素信号以第二放大率被放大，该第二放大率由输入电容器301的容量与第二反馈电容器305的容量之比决定，从列增幅放大器部300输出第二放大信号。
从列增幅放大器部300输出的第二放大信号的电位，在下式所示的Vout比列增幅放大器部300的电源电压小时，由Vout表示。另外，在Vout为列增幅放大器部300的电源电压以上时，从列增幅放大器部300输出的第二放大信号的电位与列增幅放大器部300的电源电压相等。
Vout＝VREF+(使传输门102接通规定时间后的浮置扩散单元103的电位－浮置扩散单元103的重置电位)×0.8×(－输入电容器301的容量/第二反馈电容器305的容量)。
作为一个例子，设，输入电容器301的容量为1pF、第二反馈电容器305的容量为1pF、浮置扩散单元103的重置电位为4V、像素放大器105的增益为0.8倍、VREF为2.0V、列增幅放大器部300的电源电压为5V。而且，浮置扩散单元103的电位从信号电位3V变为重置电位3V。此时，Vout＝2.0V+(3V－4V)×0.8×(－1pF/1pF)＝1.2V，比列增幅放大器部300的电源电压5V小。因此，这时，从列增幅放大器部300输出的第二放大信号的电位为1.2V。
接下来，在规定的时间内成为接通状态的电位，信号电位输入开关403接通规定的时间。由此，在信号电位保持电容器405中保持与重置电位对应的第二放大信号。
在第九期间(t9)内，成为接通状态的电位，重置电位输出开关406以及信号电位输出开关407接通规定的时间。由此，与在第七期间(t7)内保持于重置电位保持电容器404的信号电位对应的信号以及与在第八期间(t8)内保持于信号电位保持电容器405的重置电位对应的第二放大信号被向读出电路500发送。控制部700重复从第三期间(t3)至第九期间(t9)的过程，从像素部110读出像素信号。
如上所述，通过第二期间(t2)中光入射至光电转换部101而产生的电荷，第一放大信号以及第二放大信号被向读出电路500读出。即、从第三期间(t3)到第六期间(t6)读出电路500读出第一放大信号。然后从第七期间(t7)到第九期间(t9)读出电路500读出第二放大信号。第一放大信号以及第二放大信号与分别与重置电位以及信号电位对应的信号一同被读出。因此，能够消除列增幅放大器部300的偏差。例如，使用第一放大信号及第二放大信号、与重置电位及信号电位的差量。
在本例中，因为第一反馈电容器303的容量和第二反馈电容器305的容量不同，所以第一放大率与第二放大率不同。即、摄像单元910通过一次曝光，将与第一放大信号对应的信号和与第二放大信号对应的信号从摄像单元910向图像处理部912发送。图像处理部912将放大率不同的、与第一放大信号对应的信号以及与第二放大信号对应的信号合成，生成动态范围扩大了的图像。
更具体来说，第一放大率比第二放大率大。在本例中，即使第一放大信号以列增幅放大器部300的电源电位而饱和，第二放大信号也因为放大率比第一放大信号小而不饱和。另外，因为第一次通过比第二放大率大的第一放大率进行读出、第二次通过比第一放大率小的第二放大率进行读出，所以能够减小噪声的影响。即、由于在将电位重置时从晶体管注入载流子而可能产生噪声。因此，通过第七期间(t7)的重置动作，能够防止强度较低的信号受到噪声的影响。
图5是说明摄像装置900的图像处理的图。在对摄像单元910进行曝光而从以比第二放大率大的第一放大率被放大后的第一放大信号得到的图像982中，在被摄物体的明亮部分产生泛白(白とび)。另一方面，在从以比第一放大率小的第二放大率被放大后的第二放大信号得到的图像980中，在被摄物体的较暗的部分产生曝光不足。例如，图像980的人物部分曝光不足，人物部分的一部分产生发黑(黒つぶれ)。
图像处理部912能够将图像982以及图像980中最优的部分合成，而得到没有泛白以及发黑、并且不存在曝光不足的部分的图像984。例如，图像处理部912可以在第一放大信号未饱和时仅使用第一放大信号生成图像。在仅使用第一放大信号生成图像的情况下，图像处理部912可以不使用第二放大信号，或者控制部700也可以使列增幅放大器部300不生成第二放大信号。在第一放大信号饱和时，可以通过使用第二放大信号来合成图像984。另外，也可以在第二放大信号的强度比规定的电平弱的区域使用第一放大信号。由此，得到动态范围扩大了的图像。
作为其他的例子，也可以是，图像处理部912分别根据与由第一放大率放大后的第一放大信号对应的信号、和与由第二放大率放大后的第二放大信号对应的信号各生成一个图像。即、图像处理部912也可以生成与图像982以及图像980这两个图像对应的图像数据并将其保存于摄像存储器922。由此，通过一次的曝光能得到放大率不同的两个图像。
图6是说明摄像单元910的构成的另外一个例子的图。图6所示的摄像单元910与图2所示的摄像单元910的不同点在于具有判定部220。摄像单元910具备像素部110、负载电流源201、列增幅放大器部300、判定部220、电位保持部400、读出电路500、垂直扫描部600、控制部700、AFE710以及ADC720。
判定部220被控制部700控制，将列增幅放大器部300输出的放大信号与规定电平的信号进行比较。判定部220构成为包含例如比较器。判定部220将比较的结果与列增幅放大器部300输出的放大信号建立关联。
本例中判定部220判定由列增幅放大器部300输出的放大信号是否处于饱和状态。例如，在第一放大率比第二放大率大的情况下，判定部220判定以第一放大率被放大后的第一放大信号是否处于饱和状态，并将判定的结果与第一放大信号以及第二放大信号中至少一方建立关联。作为一个例子，第一放大信号以及第二放大信号，除与各自的放大信号对应的单位像素100的地址以及与入射光的强度对应的信号之外，还具有表示第一放大信号是否处于饱和状态的状态标志。表示第一放大信号是否处于饱和状态的状态标志例如是1比特的信号。
在状态标志表示以比第二放大率大的第一放大率被放大后的第一放大信号未处于饱和状态的情况下，控制部700可以不执行第二放大信号的读出。由此，读出变得高速。
图7是说明由摄像装置900进行的图像处理的流程图。图7的流程图是与图6所示的摄像单元910对应的流程的一个例子。流程例如在摄像单元910被曝光之前，从重置的阶段开始。在步骤S950中，控制部700使传输门102断开，使像素重置开关104接通。由此，浮置扩散单元103的电位被重置，成为重置电位。其后，摄像单元910被曝光，根据入射至光电转换部101的光而产生电荷。
在步骤S952中，控制部700使像素重置开关104断开，使传输门102接通。由此使浮置扩散单元103的电位成为电荷积累后的信号电位。而且，控制部700使与从重置电位向信号电位的变动对应的像素信号即第一像素信号向垂直信号线200输出。
在步骤S954中，控制部700使列增幅放大器部300以第一放大率放大第一像素信号，其中第一放大率由输入电容器301与第一反馈电容器303的容量之比决定。然后，控制部700使列增幅放大器部300输出以第一放大率被放大后的第一像素信号即第一放大信号。
在步骤S956中，控制部700使判定部220判定第一放大信号是否处于饱和状态。判定部220在状态标志表示第一放大信号为饱和状态的情况下，进入步骤S956。判定部220在状态标志表示第一放大信号未处于饱和状态的情况下，进入步骤S962。判定部220也可以如上所述地，将判定的结果与第一放大信号以及第二放大信号中至少一方建立关联。
在步骤S958中，控制部700使传输门102断开，并再次使像素重置开关104接通。由此，控制部700使浮置扩散单元103的电位成为重置电位，并使其输出与从信号电位向重置电位的变动对应的像素信号即第二像素信号。
在步骤S960中，控制部700使列增幅放大器部300以第二放大率放大第二像素信号，其中第二放大率由输入电容器301与第二反馈电容器305的容量之比决定。另外，控制部700使列增幅放大器部300输出第二放大信号。作为一个例子，第二放大信号置换步骤S954中输出的第一放大信号，而从摄像单元910输出。
在步骤S962中，图像处理部912根据摄像单元910经由总线926而输出的第一放大信号以及第二放大信号的一方或双方来生成图像。例如，图像处理部912对于与输出有未处于饱和状态的第一放大信号的区域对应的图像数据的生成仅使用第一图像信号。另外，图像处理部912对于与输出有第二放大信号的单位像素100对应的区域的图像数据的生成，例如仅使用第二放大信号。但是，在存在与使用第一放大信号生成图像数据的区域相邻且使用第二放大信号生成图像数据的区域的情况下，可以在该两区域的边界附近由图像处理部912对图像数据进行处理，以使得不会因放大率不同而在该边界附近区域形成不自然的图像。例如，图像处理部912将距该边界规定范围内的使用第二放大信号的区域的图像数据修正得较亮。图像处理部912可以在上述处理中使用判定部220所建立关联的判定结果。
摄像系统控制部924以及控制部700结束一系列处理。以上的一系列处理，能够由摄像存储器922所保存的程序使摄像系统控制部924以及控制部700执行。
在上述中，虽然对由步骤S960中控制部700使列增幅放大器部300输出的第二放大信号置换步骤S954中输出的第一放大信号的例子进行了说明，但并不限于此，也可以是步骤S954中输出的第一放大信号以及步骤S960中输出的第二放大信号的双方从摄像单元910输出。在这种情况下，图像处理部912可以使用第一放大信号以及第二放大信号双方生成一个图像。
在以上的例子中，虽然说明了一个光电转换部101分别具有浮置扩散单元103、像素重置开关104、像素放大器105以及选择开关106各一个的构造(称为4Tr像素)，但并不限于4Tr像素，具有由多个光电转换部101共用浮置扩散单元103、像素重置开关104、像素放大器105、选择开关106的构造的摄像单元910也能够进行与上述相同的动作。另外，电位保持部400也可以具备另一组电位保持部。由此，能够缩短信号的读出所需的时间。
另外，在上述例子中，虽然对在列增幅放大器部300上连接有电位保持部400的例子进行了说明，但并不限于此，例如在列增幅放大器部300的后级具备ADC720的摄像单元910也能够相同地动作。在这种情况下，与列增幅放大器部300连接的ADC720将从列增幅放大器部300接收的信号转换为数字信号，并向电位保持部400输出。电位保持部400在控制部700所控制的定时将数字信号向读出电路500发送。摄像单元910具备DFE(digital front-end：数字前端)，读出电路500向DFE发送信号。DFE使接收的信号的电平一致，并向总线926输出。
另外，虽然在以上的例子中，对第一放大率以及第二放大率为被预先设定的放大率的例子进行了说明，但并不限于此，也可以从多个放大率中选择并设定第一放大率以及第二放大率。例如，也可以在由输入电容器301与第一反馈电容器303之比决定的放大率、由输入电容器301与第二反馈电容器305之比决定的放大率、以及由输入电容器301与并联地连接的第一反馈电容器303以及第二反馈电容器305之比决定的放大率中，选择第一放大率以及第二放大率。
另外，例如也可以在列增幅放大器部300的反馈回路中并联地具备三组以上的反馈电容器选择开关以及反馈电容器。三组以上的反馈电容器选择开关以及反馈电容器可以单独或组合地分别对应不同的放大率。该不同的放大率可以分别对应不同的ISO感光度。
控制部700也可以将与受理部914所受理的使用者指定的ISO感光度对应的放大率设定为第一放大率或第二放大率中某一方的放大率。另外，控制部700可以根据AE传感器916的检测结果，将第一放大率或第二放大率的另一方设定为与摄像系统控制部924演算出的ISO感光度对应的放大率。此时，与ISO感光度对应的放大率可以由摄像系统控制部924演算并向控制部700发送。控制部700可以与从摄像系统控制部924发送的放大率对应地，从列增幅放大器部300具备的多个反馈电容器的中单独任选一个或选择多个，来设定第一放大率或第二放大率。
作为其他的例子，也可以是，受理部914受理两个基于使用者进行的ISO感光度的选择，将与受理部914所受理的两个ISO感光度对应的放大率分别向控制部700发送。在这种情况下，控制部700也可以设定第一放大率以及第二放大率。
以上，虽然使用实施方式对本发明进行了说明，但是本发明的技术范围并不限定于上述实施方式所述的范围。例如，摄像装置900也可以将摄像单元910的输出作为反馈来用作检测亮度的检测部。另外，基于摄像单元摄像装置900进行的图像处理并不限于图7的例子，也可以是，图2或图6所示的摄像单元910分别输出基于第一放大信号以及第二放大信号双方的信号，图像处理部912生成一个或两个图像。在图6所示的摄像单元910分别输出基于第一放大信号以及第二放大信号双方的信号的情况下，图像处理部912也可以使用判定部与第一放大信号以及第二放大信号的至少一方建立关联的判定结果来生成一个图像。
另外，虽然在以上的例子中对摄像单元910具备CMOS传感器的情况进行了说明，但并不限于此，本发明也能够适用于具备CCD传感器的摄像单元910。在具备CCD传感器的摄像单元910的情况下，例如，能够使用如下的构成：使用浮置扩散放大器将通过CCD的移位寄存器而传输的信号电荷转换为电压。本领域技术人员可以明确，能够对上述实施方式追加多种变更或改良。从权利要求书的记载可以明确，这种追加变更或改良的方式也包含在本发明的技术范围内。
应当注意的是，关于权利要求书、说明书以及附图中表示的装置、系统、程序以及方法中的动作、次序、步骤及阶段等各处理的执行顺序，只要并未特别地明示为“之前”、“在…之前”等、另外并未将前面处理的输出用于后面的处理，则能够以任意的顺序实现。关于权利要求书、说明书以及附图中的动作流程，即使为了便利而使用“首先，”、“接下来，”等进行了说明，也并不意味着必须以该顺序实施。

Claims (14)

1.一种摄像单元，其特征在于，具备：
像素部，该像素部输出与重置后的重置电位和电荷积累后的信号电位对应的像素信号；
放大器部，该放大器部将所述像素信号以第一放大率或与第一放大率不同的第二放大率放大；以及
控制部，该控制部使所述放大器部在将与从所述重置电位向所述信号电位的变动对应的所述像素信号以所述第一放大率放大后，将与从所述信号电位向所述重置电位的变动对应的所述像素信号以所述第二放大率放大。
2.根据权利要求1所述的摄像单元，其特征在于，
所述像素部具有：
光电转换部；
传输门，该传输门将由所述光电转换部产生的电荷向浮置扩散单元传输；以及
像素重置开关，该像素重置开关将积累于所述浮置扩散单元的所述电荷排除，从而将所述浮置扩散单元的电位从所述信号电位重置为所述重置电位。
3.根据权利要求1或2所述的摄像单元，其特征在于，
所述第一放大率比所述第二放大率大。
4.根据权利要求3所述的摄像单元，其特征在于，
所述控制部在通过所述放大器部以所述第一放大率被放大后的所述像素信号未饱和的情况下，不执行基于所述第二放大率进行的所述像素信号的放大。
5.根据权利要求1至4中任一项所述的摄像单元，其特征在于，
具备判定部，该判定部判定通过所述放大器部而被放大后的所述像素信号是否处于饱和状态，
所述控制部使基于所述判定部的判定结果与以所述第一放大率被放大后的所述像素信号以及以所述第二放大率被放大后的所述像素信号的至少一方建立关联。
6.根据权利要求1至5中任一项所述的摄像单元，其特征在于，
所述放大器部具有：
用于规定所述第一放大率的第一电路；
与所述第一电路并联地设置并用于规定所述第二放大率的第二电路；以及
与所述第一电路以及所述第二电路并联地设置并包含用于将所述放大器部重置的重置开关的重置电路，
所述控制部在使所述重置开关接通的状态下选择所述第一电路或所述第二电路后，使所述重置开关断开。
7.根据权利要求2所述的摄像单元，其特征在于，
所述控制部进行如下处理：在通过使所述传输门断开并使所述像素重置开关接通而使所述浮置扩散单元的电位成为所述重置电位后，通过使所述像素重置开关断开并将所述传输门在接通一定期间后断开而使所述浮置扩散单元的电位成为所述信号电位，并使所述像素部输出与从所述重置电位向所述信号电位的变动对应的所述像素信号，另外，通过再次使所述像素重置开关接通而使所述浮置扩散单元的电位成为所述重置电位，并使所述像素部输出与从所述信号电位向所述重置电位的变动对应的所述像素信号。
8.一种摄像装置，其特征在于，具备：
权利要求1至7中任一项所述的摄像单元；以及
取得通过所述放大器部而被放大后的多个所述像素信号并生成图像数据的图像处理部。
9.根据权利要求8所述的摄像装置，其特征在于，
具备受理由使用者进行的ISO感光度的选择的受理部，
所述控制部将与所述受理部所受理的所述ISO感光度对应的放大率设定为所述第一放大率以及所述第二放大率中某一方的放大率。
10.根据权利要求9所述的摄像装置，其特征在于，
具备检测被摄物体的亮度的检测部，
所述控制部将基于所述检测部的检测结果而设定的放大率设定为与所述一方的放大率不同的另一方的放大率。
11.根据权利要求8所述的摄像装置，其特征在于，
具备受理两个由使用者进行的ISO感光度的选择的受理部，
所述控制部将与所述受理部所受理的两个所述ISO感光度对应的放大率分别设定为所述第一放大率以及所述第二放大率的放大率。
12.根据权利要求8至11中任一项所述的摄像装置，其特征在于，
所述图像处理部在以所述第一放大率被放大后的所述像素信号饱和的情况下，由以所述第二放大率被放大后的所述像素信号进行置换，并生成与一个图像对应的图像数据。
13.根据权利要求8至11中任一项所述的摄像装置，其特征在于，
所述图像处理部生成将以所述第一放大率被放大后的所述像素信号和以所述第二放大率被放大后的所述像素信号分别各形成一个图像的图像数据。
14.一种控制程序，该控制程序用于摄像单元，该摄像单元具备：光电转换部；传输门，该传输门将由所述光电转换部产生的电荷向浮置扩散单元传输；像素重置开关，该像素重置开关将积累于所述浮置扩散单元的所述电荷排除，从而将所述浮置扩散单元的电位从信号电位重置为重置电位；以及放大器部，该放大器部将基于所述浮置扩散单元的电位而输出的像素信号放大，所述控制程序的特征在于，
使计算机执行如下步骤：
通过使所述传输门断开并使所述重置开关接通而使所述浮置扩散单元的电位成为所述重置电位的步骤；
通过使所述重置开关断开并使所述传输门在接通一定期间后断开而使所述浮置扩散单元的电位成为所述信号电位，并输出与从所述重置电位向所述信号电位的变动对应的所述像素信号即第一像素信号的步骤；
使所述放大器部将所述第一像素信号通过第一放大率放大的步骤；
通过再次使所述重置开关接通而使所述浮置扩散单元的电位成为所述重置电位，并输出与从所述信号电位向所述重置电位的变动对应的所述像素信号即第二像素信号的步骤；以及
使所述放大器部将所述第二像素信号通过第二放大率放大的步骤。
CN201810889918.4A 2012-02-24 2013-02-25 摄像单元和摄像装置 Active CN108833811B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012038756 2012-02-24
JP2012-038756 2012-02-24
CN201380021039.5A CN104247402B (zh) 2012-02-24 2013-02-25 摄像单元、摄像装置以及控制程序

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380021039.5A Division CN104247402B (zh) 2012-02-24 2013-02-25 摄像单元、摄像装置以及控制程序

Publications (2)

Publication Number Publication Date
CN108833811A true CN108833811A (zh) 2018-11-16
CN108833811B CN108833811B (zh) 2020-12-01

Family

ID=49005443

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810889918.4A Active CN108833811B (zh) 2012-02-24 2013-02-25 摄像单元和摄像装置
CN201380021039.5A Active CN104247402B (zh) 2012-02-24 2013-02-25 摄像单元、摄像装置以及控制程序

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380021039.5A Active CN104247402B (zh) 2012-02-24 2013-02-25 摄像单元、摄像装置以及控制程序

Country Status (6)

Country Link
US (2) US10469765B2 (zh)
EP (1) EP2819399B1 (zh)
JP (1) JP6028791B2 (zh)
CN (2) CN108833811B (zh)
IN (1) IN2014DN07739A (zh)
WO (1) WO2013125249A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013125249A1 (ja) * 2012-02-24 2013-08-29 株式会社ニコン 撮像ユニット、撮像装置および制御プログラム
JP6520035B2 (ja) * 2014-09-30 2019-05-29 株式会社ニコン 電子機器
JP6613554B2 (ja) * 2014-09-30 2019-12-04 株式会社ニコン 画像処理装置およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1477860A (zh) * 2002-06-11 2004-02-25 ���ṫ˾ 固态图像获取设备及其控制方法
CN101110913A (zh) * 2006-07-19 2008-01-23 奥林巴斯株式会社 固态摄像装置
US20080231736A1 (en) * 2007-03-13 2008-09-25 Micron Technology, Inc. Method, apparatus and system providing an image sensor having pixels with multiple exposures, diodes and gain readouts
CN101521755A (zh) * 2008-12-15 2009-09-02 昆山锐芯微电子有限公司 Cmos图像传感器读出电路及读出方法
US20090244329A1 (en) * 2006-08-11 2009-10-01 Nikkon Corporation Digital camera and image processing computer program product
CN102098456A (zh) * 2009-12-15 2011-06-15 株式会社东芝 可扩大动态范围的固体摄像装置
CN102281402A (zh) * 2010-06-10 2011-12-14 株式会社东芝 固体摄像装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592106B2 (ja) * 1998-11-27 2004-11-24 キヤノン株式会社 固体撮像装置およびカメラ
JP2005192139A (ja) * 2003-12-26 2005-07-14 Konica Minolta Photo Imaging Inc 撮像装置及び撮影システム
US7321111B2 (en) * 2004-04-12 2008-01-22 Canesta, Inc. Method and system to enhance differential dynamic range and signal/noise in CMOS range finding systems using differential sensors
JP4861015B2 (ja) * 2006-01-13 2012-01-25 キヤノン株式会社 撮像素子及び撮像装置
JP4775230B2 (ja) * 2006-11-06 2011-09-21 株式会社ニコン 画像処理装置、撮像装置、及び画像処理プログラム
JP2008263546A (ja) * 2007-04-13 2008-10-30 Konica Minolta Holdings Inc 固体撮像装置、固体撮像装置の駆動方法、及びこれを用いた撮像システム
JP5116397B2 (ja) * 2007-08-06 2013-01-09 キヤノン株式会社 撮像装置、およびその制御方法
JP5187550B2 (ja) 2007-08-21 2013-04-24 ソニー株式会社 撮像装置
JP2010002876A (ja) 2008-05-19 2010-01-07 Sony Ericsson Mobilecommunications Japan Inc 表示装置、表示制御方法および表示制御プログラム
JP5129035B2 (ja) * 2008-06-17 2013-01-23 オリンパス株式会社 固体撮像装置
US8717474B2 (en) * 2009-12-04 2014-05-06 Canon Kabushiki Kaisha Imaging apparatus and method for driving the same
JP5419661B2 (ja) * 2009-12-04 2014-02-19 キヤノン株式会社 撮像装置及びその駆動方法
US20110186714A1 (en) * 2010-01-29 2011-08-04 Chip Goal Electronics Corporation, R.O.C. Adaptive De-Flicker Device and Method For Adaptive De-Flicker
JP5552858B2 (ja) * 2010-03-26 2014-07-16 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
WO2013125249A1 (ja) * 2012-02-24 2013-08-29 株式会社ニコン 撮像ユニット、撮像装置および制御プログラム
JP6463002B2 (ja) * 2014-05-08 2019-01-30 キヤノン株式会社 撮像装置の駆動方法、撮像システムの駆動方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1477860A (zh) * 2002-06-11 2004-02-25 ���ṫ˾ 固态图像获取设备及其控制方法
CN101110913A (zh) * 2006-07-19 2008-01-23 奥林巴斯株式会社 固态摄像装置
US20090244329A1 (en) * 2006-08-11 2009-10-01 Nikkon Corporation Digital camera and image processing computer program product
US20080231736A1 (en) * 2007-03-13 2008-09-25 Micron Technology, Inc. Method, apparatus and system providing an image sensor having pixels with multiple exposures, diodes and gain readouts
CN101521755A (zh) * 2008-12-15 2009-09-02 昆山锐芯微电子有限公司 Cmos图像传感器读出电路及读出方法
CN102098456A (zh) * 2009-12-15 2011-06-15 株式会社东芝 可扩大动态范围的固体摄像装置
CN102281402A (zh) * 2010-06-10 2011-12-14 株式会社东芝 固体摄像装置

Also Published As

Publication number Publication date
JP6028791B2 (ja) 2016-11-16
EP2819399A4 (en) 2015-11-04
IN2014DN07739A (zh) 2015-05-15
US10469765B2 (en) 2019-11-05
CN104247402A (zh) 2014-12-24
EP2819399A1 (en) 2014-12-31
CN104247402B (zh) 2018-09-07
WO2013125249A1 (ja) 2013-08-29
EP2819399B1 (en) 2020-09-02
US20190373181A1 (en) 2019-12-05
US10708518B2 (en) 2020-07-07
US20150049228A1 (en) 2015-02-19
JPWO2013125249A1 (ja) 2015-07-30
CN108833811B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
US10110827B2 (en) Imaging apparatus, signal processing method, and program
CN205566484U (zh) 图像传感器像素和成像系统
CN106254727B (zh) 摄像装置以及信号处理电路
US8233067B2 (en) Solid-state imaging device, signal processing method of solid-state imaging device, and image capturing apparatus
CN106358026A (zh) 包括自动对焦像素的图像传感器和包括其的图像处理系统
JP5578993B2 (ja) 光電変換装置、焦点検出装置、および撮像システム
CN102801918A (zh) 摄像设备和用于控制该摄像设备的方法
US11509841B2 (en) Image sensor and image-capturing device with first and second amplifiers connectable to each other's current sources
US11438530B2 (en) Pixel unit with a design for half row reading, an imaging apparatus including the same, and an imaging method thereof
JP2008124527A (ja) 固体撮像装置及び撮像装置
US20190089937A1 (en) Solid state imaging device and imaging apparatus having a plurality of addition read modes
CN103297701A (zh) 成像方法及成像装置
CN108989712A (zh) 摄像装置
CN110463190A (zh) 摄像元件、焦点调节装置及摄像装置
US10708518B2 (en) Imaging unit, imaging apparatus, and computer-readable medium having stored thereon a control program for selectively using first and second amplified signals
CN202535464U (zh) 成像装置
JP2022097684A (ja) 撮像素子および撮像装置
CN111953908A (zh) 用于生成高动态范围图像的成像系统
US10455175B2 (en) Solid state imaging device and imaging apparatus including clipping sections clipping the voltage of vertical signal line to a predetermined value
US10551591B2 (en) Imaging apparatus, control method of imaging apparatus, and storage medium storing control program of imaging apparatus for performing focus detection and display
CN106165400B (zh) 成像元件、控制方法、程序和电子设备
CN110495165A (zh) 摄像元件及摄像装置
CN110393007A (zh) 摄像元件以及摄像装置
CN110536081A (zh) 摄像装置
JP2013232979A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant