CN108432238B - 固体摄像装置、固体摄像装置的驱动方法以及电子设备 - Google Patents

固体摄像装置、固体摄像装置的驱动方法以及电子设备 Download PDF

Info

Publication number
CN108432238B
CN108432238B CN201680074824.0A CN201680074824A CN108432238B CN 108432238 B CN108432238 B CN 108432238B CN 201680074824 A CN201680074824 A CN 201680074824A CN 108432238 B CN108432238 B CN 108432238B
Authority
CN
China
Prior art keywords
signal
threshold value
gain
low
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680074824.0A
Other languages
English (en)
Other versions
CN108432238A (zh
Inventor
高根靖雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Prunicus Singapore Pte. Ltd.
Original Assignee
Brillnics Japan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brillnics Japan Inc filed Critical Brillnics Japan Inc
Publication of CN108432238A publication Critical patent/CN108432238A/zh
Application granted granted Critical
Publication of CN108432238B publication Critical patent/CN108432238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

固体摄像装置(10)能将多个读出信号合成来扩大动态范围，具有信号处理部(710)，其在进行多个读出信号的合成时，根据多个读出信号当中至少一个读出信号(高增益信号HCG、低增益信号LCG)与阈值(Joint Thresh)的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号，信号处理部能动态地变更阈值。根据该结构，能与个体偏差等无关地进行要组合的多个信号的平滑的切换，能在抑制图像劣化的同时实现高动态范围化，进而能实现高画质化。

Description

固体摄像装置、固体摄像装置的驱动方法以及电子设备
技术领域
本发明涉及固体摄像装置、固体摄像装置的驱动方法以及电子设备。
背景技术
作为利用了检测到光而产生电荷的光电变换元件的固体摄像装置(图像传感器)，有CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传感器以供实用。
CMOS图像传感器作为数字摄像机、视频摄像机、监视摄像机、医疗用内窥镜、个人计算机(PC)、便携电话等便携终端装置(移动设备)等各种电子设备的一部分而被广泛应用。
CMOS图像传感器的主流是列并列输出型，其中，使每个像素具备具有光电二极管(光电变换元件)以及浮动扩散层(FD：Floating Diffusion，浮动扩散)的FD放大器，其读出方式是，选择像素阵列当中的某一行，并将它们同时向列(column)方向读出。
但是，为了特性提升，提出有各种实现具有高动态范围(HDR：High DynamicRange)的高画质的固体摄像装置(CMOS图像传感器)的方法。
过去，在固体摄像装置中，作为提高(扩大)动态范围的方法，例如已知如下等方法：从图像传感器的同一像素读出积蓄时间不同的两个种类的信号，将这两个种类的信号组合来使动态范围扩大；以及将高灵敏度的像素中动态范围小的信号和在低灵敏度下扩大了动态范围的信号组合来扩大动态范围。
例如在专利文献1中，公开了分割成短的曝光时间下与高照度侧对应的摄像和长的曝光时间下与低照度对应的摄像这样不同的两次以上的曝光时间的高动态范围化技术。
另外，在专利文献1中，公开了使浮动扩散的电容可变的高动态范围化技术。
另外，在专利文献2中公开了如下技术：在光电二极管PD连接高灵敏度低照度侧的小电容C1的浮动扩散和低灵敏度高照度侧的大电容C2的浮动扩散，并分别输出低照度侧的输出OUT1和高照度侧输出OUT2，由此进行高动态范围化。
这些信号的合成方法若在时间上看，存在跨多个帧的方式和在1帧内输出多个种类的动态范围不同的信号的方式等。
现有技术文献
专利文献
专利文献1：JP专利第3984814号公报
专利文献2：JP专利第3592106号公报
发明内容
发明要解决的课题
然而，不管在哪种方法中，对于要组合的(要合成的)多个信号来说，在进行组合(信号的切换)的信号值的附近，相对于入射光量(照度)的输出电压的直线性都需要分别大致保持成同等。
由于各个信号为了扩大动态范围(D范围)而被设计成使相对于光量(照度)的增益不同，因此主要在由模拟数字转换器(ADC)进行了数字变换后的数字信号处理电路中对增益进行补正，从而保持相同的直线性(或倾斜度)。
但是，由于存在固体摄像装置的个体单位中的偏差、或一个个体当中的像素间的偏差等，因此即使用以偏差的中心值的参数为基础进行了补正的数值来切换各个信号，有时也不一定能保证该电平的附近的直线性(linearity)。
在这样补正精度低(有偏差)的情况下，存在如下不利：不能进行平滑的切换，该不连续点会成为噪声，从而成为所谓的色调跳变等图像劣化的主要原因。
本发明提供固体摄像装置、固体摄像装置的驱动方法以及电子设备，能与个体偏差等无关地进行要组合的多个信号的平滑的切换，能在抑制图像劣化的同时实现高动态范围化，进而能实现高画质化。
用于解决课题的手段
本发明的第1观点是能将多个读出信号合成来扩大动态范围的固体摄像装置，具有信号处理部，其在进行所述多个读出信号的合成时，根据所述多个读出信号当中至少一个读出信号与阈值的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号，所述信号处理部能动态地变更所述阈值。
本发明的第2观点是能将多个读出信号合成来扩大动态范围的固体摄像装置的驱动方法，具有：比较步骤，在进行所述多个读出信号的合成时，对所述多个读出信号当中至少一个读出信号和阈值进行比较；选择步骤，根据比较结果选择至少一个合成所需的信号；和生成步骤，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号，动态地变更所述阈值来进行所述比较步骤、所述选择步骤、以及所述生成步骤的处理。
本发明的第3观点的电子设备具有：能将多个读出信号合成来扩大动态范围的固体摄像装置；和在所述固体摄像装置成像被摄体像的光学系统，所述固体摄像装置包含信号处理部，其在进行所述多个读出信号的合成时，根据所述多个读出信号当中至少一个读出信号与阈值的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号，所述信号处理部能动态地变更所述阈值。
发明效果
根据本发明，能与个体偏差等无关地进行要组合的多个信号的平滑的切换，能在抑制图像劣化的同时实现高动态范围化，进而能实现高画质化。
附图说明
图1是表示本发明的第1实施方式所涉及的固体摄像装置的信号处理系统的整体的结构例的框图。
图2是表示本第1实施方式所涉及的像素阵列部中的能生成低增益信号和高增益信号的像素(pixel)的结构例的图。
图3是表示本发明的第1实施方式所涉及的信号处理部的结构例的图。
图4是用于具体说明将高增益信号和低增益信号合成来做出高动态范围信号的合成方法的图。
图5是示意地表示将低增益信号和高增益信号以4步分阶段地平滑地合成的情况下的信号电平、中心阈值、各结合位置(点)、被动态地设定的阈值的关系的图。
图6是用于说明本第1实施方式所涉及的信号处理部中的合成处理的一例的流程图。
图7是表示本发明的第2实施方式所涉及的信号处理部的结构例的图。
图8是表示图7的随机数产生部的具体的结构例的图。
图9是用于说明将高增益信号、中增益信号、和低增益信号这三个信号以倾斜度相等的方式进行合成的处理的图。
图10是表示分割成短的曝光时间下与高照度侧对应的摄像和长的曝光时间下与低照度对应的摄像这样不同的两次以上的曝光时间的高动态范围化技术的一例的图。
图11是用于说明以帧为单位提高动态范围的示例的图。
图12是表示应用本发明的实施方式所涉及的固体摄像装置的电子设备的构成的一例的图。
附图标记的说明
10 固体摄像装置
20 寄存器控制器
30 定时控制器
40 像素(pixel)阵列部
50 模拟增益部
60 模拟数字转换器(ADC)
70 数字信号处理器(DSP)
710、710A 信号处理部
711、712 乘法运算器
713、713A 合成处理部
714 随机数产生部
80 可扩展低电压信号传输(SLVS)接口部
90 时钟发生器
100 电子设备
110 CMOS图像传感器
120 光学系统
130 信号处理电路(PRC)
具体实施方式
以下与附图建立关联来说明本发明的实施方式。
(第1实施方式)
图1是表示本发明的第1实施方式所涉及的固体摄像装置的信号处理系统的整体的结构例的框图。
在本实施方式中，固体摄像装置10构成为能将从像素(pixel)读出的多个(两个或三个以上)的读出信号合成来扩大动态范围，例如由CMOS图像传感器构成。
图1的固体摄像装置10具有以下各部分作为主构成要素：寄存器控制器(RegisterController)20、定时控制器(Timing Controller)30、像素(pixel)阵列(Pixel Array)部40、模拟增益(Analog Gain)部50、模拟数字转换器(ADC：Analog Digital Converter)部60、包含作为信号处理部的功能的数字信号处理器(DSP：Digital Signal Processor)部70、可扩展低电压信号传输(SLVS：Scalable Low Voltage Signaling)接口部80、以及时钟发生器(Clock Generator)90。
在固体摄像装置10中，寄存器控制器20、定时控制器30、模拟增益部50、ADC部60、DSP部70、以及SLVS接口部80通过用于进行信号的授受的总线BS连接。
另外，由时钟发生器90生成的系统时钟CLK被提供给寄存器控制器20、定时控制器30、模拟增益部50、ADC部60、DSP部70以及SLVS接口部80。
寄存器控制器20与未图示的CPU、DSP等外部控制装置通信，作为将动作模式的设定、各种控制参数写入的存储部发挥功能。
定时控制器30配合各种动作模式生成读出像素(pixel)数据的控制脉冲S30，进行像素阵列部40的读出控制。
像素阵列部40将包含光电二极管(光电变换元件)和像素内放大器的多个像素排列成N行×M列的二维的矩阵状(matrix状)。
按照基于定时控制器30的控制脉冲S30从包含像素阵列部40的光电变换元件的像素群读出的读出信号被模拟增益部50以给定的增益放大，由ADC部60变换成数字信号后输入到如之后详述那样的作为信号处理部发挥功能的DSP部70。
另外，在ADC部60的输出级例如配置列存储器(Column Memory)。
在DSP部70中，在对所输入的数字信号实施相关双采样(CDS：Correlated DoubleSampling)、黑补正、数字增益等图像信号处理后，在SLVS接口部80以适合输出型式(图1中是SLVS)的方式输出。
在本实施方式中，从包含像素阵列部40的光电变换元件的像素群读出的读出信号如图1所示那样是读出光电变换增益不同的多个种类(本例中是两个种类)的高增益信号(HCG：High conversion gain)和低增益信号(LCG：Low conversion gain)这两个系统的信号。
并且，在DSP部70的信号处理部710将两个信号合成来生成扩大了动态范围的高动态范围信号。
另外，读出信号虽然存在两个系统，但是如之后说明的那样，能将与信号的读出相关的部分(例如信号线)作为一个系统以时分方式进行处理。
高增益信号HCG是来自光电变换元件部的高增益输出信号，与该程度的低增益信号LCG相比以较少的入射光量饱和。低增益信号LCG由于是低增益输出信号，因此达到饱和的入射光量有富余，与高增益信号HCG相比较大。
因此，在DSP部70的信号处理部710中，使低增益信号LCG和高增益信号HCG的倾斜度相等，并且在高增益信号HCG快要饱和之前即在保持了直线性的区域(非饱和区域)，将这两个种类的信号合成，由此取得提高了动态范围的信号即合成信号。
进行该高增益信号HCG与低增益信号LCG的合成处理的DSP部70的信号处理部710基本具有以下所示的特征性的结构、功能。关于具体的合成处理，之后详述。
本实施方式的信号处理部710构成为能将多个读出信号(在该示例中是高增益信号HCG和低增益信号LCG)合成来扩大动态范围。
信号处理部710使应合成的多个读出信号例如高增益信号HCG和低增益信号LCG的倾斜度相等。
信号处理部710在进行多个读出信号的合成时，根据多个读出信号当中至少一个读出信号(高增益信号HCG、低增益信号LCG)与阈值(Joint Thresh)的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号。
并且，本实施方式的信号处理部710构成为能动态变更阈值。
作为阈值，信号处理部710将预先设定的基准阈值(中心阈值)Joint Thresh(以下称作J_Thresh)、和通过对基准阈值J_Thresh和给定的步值stepα(α是自然数)进行比较运算(例如加法运算、减法运算)而决定的新的阈值(J_Thresh±stepα)应用在合成处理中。
另外，预先设定的基准阈值(中心阈值)J_Thresh例如以能改写的方式被写入到作为存储部的寄存器(REG)。
信号处理部710例如具有加权处理部，其根据多个读出信号当中设为基准的读出信号(例如高增益信号HCG)和对应的阈值(J_Thresh、J_Thresh±stepα)的比较结果对合成对象的多个读出信号(高增益信号HCG以及低增益信号LCG)进行加权处理。
加权处理部在被阈值相夹的区域的信号电平中，按照分配给该区域的加权值来算出加权平均值，将加权平均值作为该区域的合成信号来输出。
另外，信号处理部710的加权处理部包含对多个读出信号进行相加取平均的相加取平均处理功能。
相加取平均处理功能使处于被阈值相夹的区域的信号电平的各个信号具有相加取平均后得到的值而成为一个输出。
以下在说明能生成低增益信号LCG和高增益信号HCG的像素PXL的结构例后，说明DSP部70的信号处理部710中的结构例以及低增益信号LCG和高增益信号HCG的具体的合成处理。
(像素阵列部40中的像素PXL的结构例)
图2是表示本第1实施方式所涉及的像素阵列部40中的能生成低增益信号LCG和高增益信号HCG的像素PXL的结构例的图。
图2的像素PXL具有光电二极管PD、与光电二极管PD的阴极侧连接的由寄生电容或附加电容形成的电容C11、和将光电二极管PD以及电容C11～C13重置的重置晶体管RST-Tr。
光电二极管PD产生、积蓄与入射光量相应的量的信号电荷(在此为电子)。
以下说明信号电荷是电子且各晶体管是n型晶体管的情况，但也可以信号电荷是空穴，各晶体管是p型晶体管。
像素PXL具有与电容C11连接的作为传送开关的传送晶体管TG11-Tr、积蓄从光电二极管PD以及电容C11传送的电荷的电容C12、作为选择开关的选择晶体管SEL11-Tr、以及栅极与电容C12连接的源极跟随器晶体管SF11-Tr。
另外，像素PXL具有与电容C11连接的作为传送开关的传送晶体管TG12-Tr、积蓄从光电二极管PD以及电容C11传送的电荷的电容C13、作为选择开关的选择晶体管SEL12-Tr、以及栅极与电容C13连接的源极跟随器晶体管SF12-Tr。
另外，对像素PXL的重置晶体管RST-Tr、传送晶体管TG11-Tr、TG12-Tr、选择晶体管SEL11-Tr、SEL12-Tr的栅极分别提供由定时控制器30生成的控制脉冲S30，来进行接通、断开控制。
如此，图2的像素PXL构成为积蓄在光电二极管PD以及电容C11的电荷经由两个系统的输出系统out1、out2输出。
在图2的示例中，对输出系统out1输出低增益信号LCG，对输出系统out2输出高增益信号HCG。
并且，在图2的结构中，例如输出系统out1和输出系统out2被线或(wired-OR)，在各列(column)中，两个系统的高增益信号HCG和低增益信号LCG以时分方式输出到公共的信号线(垂直信号线)LSGN。
接下来说明图2的像素PXL的动作。
光电二极管PD、由寄生电容或附加电容形成的电容C11的电位被重置晶体管RST-Tr重置成重置电位Vr(图2的示例中为VDD)。
若在积蓄期间光入射到光电二极管PD，则产生的光电荷积蓄在光电二极管PD以及电容C11。
在该状态下，通过将作为传送开关的传送晶体管TG11-Tr或作为传送开关的传送晶体管TG12-Tr接通，从而电容C12或电容C13的电位对应于产生的光电荷而变化。
在此，电容C12以及电容C13分别是源极跟随器晶体管SF11-Tr、SF12-Tr的栅极电极的寄生电容处于支配地位。
选择晶体管SEL11-Tr、SEL12-Tr是行选择开关，是用于选择二维阵列状排列的像素PXL的某行的开关。选择晶体管SEL11-Tr、SEL12-Tr与电源VDD连接。
输出系统out1和输出系统out2经由信号线LSGN与未图示的恒电流源连接，同源极跟随器晶体管SF11-Tr、SF12-Tr一起形成源极跟随器放大器。
选择晶体管SEL11-Tr、SEL12-Tr也与源极跟随器晶体管SF11-Tr、SF12-Tr同样地和恒电流源形成源极跟随器放大器，能通过选择晶体管TG11-Tr和晶体管SEL11-Tr、或选择晶体管TG12-Tr和晶体管SEL12-Tr来选择任意的源极跟随器放大器。
由此，两个系统的高增益信号HCG和低增益信号LCG以时分方式输出到公共的信号线(垂直信号线)LSGN。
根据场合选择读出的电容C12、C13的优点在于，能根据摄影条件选择动态范围(DR：D-range)。
(DSP部70中的低增益信号LCG与高增益信号HCG的具体的合成处理)
接下来，说明DSP部70的信号处理部710中的结构例以及低增益信号LCG与高增益信号HCG的具体的合成处理。
在以下的说明中，从包含光电变换元件的像素PXL读出的多个读出信号包含至少一组的低增益信号LCG、和与低增益信号LCG相比以较少入射光量饱和的高增益信号HCG。
图3是表示本发明的第1实施方式所涉及的信号处理部的结构例的图。
图3的信号处理部710具有乘法运算器711、712、以及具有作为加权处理部的功能的合成处理部713。
乘法运算器711为了使在饱和之前有直线性的低增益信号LCG的倾斜度与同样在饱和之前有直线性的高增益信号HCG的倾斜度相等，将所输入的低增益信号LCG与增益比K(＝HCG/LCG)相乘，将其结果提供给合成处理部713。
乘法运算器712为了对高增益信号HCG的倾斜度进行微调整而将所输入的高增益信号HCG与增益比1.0相乘，将其结果提供给合成处理部713。
另外，乘法运算器712为了微调整而配置，不一定是必需的，可以没有。
合成处理部713接收为了使倾斜度相等而进行了调整的低增益信号LCG和高增益信号HCG，在高增益信号HCG快要饱和之前的保持了直线性的非饱和区域ANSAT，通过合成处理将低增益信号LCG和高增益信号HCG合成。
合成处理部713作为加权处理部发挥功能，例如根据多个低增益信号LCG和高增益信号HCG当中设为基准的高增益信号HCG与对应的阈值(J_Thresh、J_Thresh±stepα)的比较结果来对合成对象的高增益信号HCG以及低增益信号LCG进行加权处理。
合成处理部713作为加权处理部具有如下功能：在被阈值相夹的区域的信号电平中，按照分配给该区域的加权值来算出加权平均值，将加权平均值作为该区域的合成信号来输出。
另外，合成处理部713作为加权处理部，包含对低增益信号LCG和高增益信号HCG进行相加取平均的相加取平均处理功能。
相加取平均处理功能使处于被阈值相夹的区域的信号电平的各个信号具有相加取平均后得到的值而成为一个输出。
具有以上的结构的信号处理部710与像素阵列部40的矩阵排列的各列(column)对应地配置多个。
以上说明了本实施方式所涉及的信号处理部710的基本的方块构成。
接下来，更具体地图解说明由本实施方式所涉及的信号处理部710将两个特性不同的高增益信号HCG和低增益信号LCG合成来做出高动态范围信号的合成方法。
图4的(A)～(C)是用于具体说明将高增益信号HCG和低增益信号LCG合成来做出高动态范围信号的合成方法的图。
图4的(A)示出将高增益信号HCG和低增益信号LCG的倾斜度调整成相同的处理概要。
图4的(B)示出在高增益信号HCG快要饱和之前的保持了直线性的非饱和区域ANSAT通过合成处理将高增益信号HCG和低增益信号LCG以4步分阶段地平滑地进行合成。
图4的(C)示意地图解示出将高增益信号HCG和低增益信号LCG以4步分阶段地平滑地进行合成的情况下的中心阈值J_Thresh、各结合位置(点)jp0～jp3、被动态设定的阈值(J_Thresh-step2)、(J_Thresh-step1)、(J_Thresh+step1)、(J_Thresh+step2)、加权值的关系。
图5示意地示出将高增益信号HCG和低增益信号LCG以4步分阶段地平滑地进行合成的情况下的信号电平、中心阈值J_Thresh、各结合位置(点)jp0～jp3、被动态设定的阈值(J_Thresh-step2)、(J_Thresh-step1)、(J_Thresh+step1)、(J_Thresh+step2)、阈值间的区域的关系。
在图4中，高增益信号HCG和低增益信号LCG相当于前述的两个系统的信号。在此，如图2所示那样，高增益信号HCG和低增益信号LCG都是数字信号。
如前述那样，高增益信号HCG是来自光电变换元件部的高增益输出信号，与该程度的低增益信号LCG相比以较少的入射光量饱和。低增益信号LCG由于是低增益输出信号，因此在达到饱和的入射光量中有富余，与高增益信号HCG相比较大。
因此，在DSP部70的信号处理部710中，使低增益信号LCG和高增益信号HCG的倾斜度相等，并且在高增益信号HCG快要饱和之前即在保持了直线性的非饱和区域ANSAT，将这两个种类的信号合成，由此得到提高了动态范围(DR)的信号。
信号处理部710的合成处理部713例如能以高增益信号HCG为基准进行合成处理。
合成处理部713例如如图4的(C)以及图5所示那样，在非饱和区域ANSAT的中心部位置JC(Joint Center)设定基准阈值来作为中心阈值J_Thresh。
合成处理部713例如如图4的(C)以及图5所示那样，从设定中心阈值J_Thresh的中心部位置JC起，在应将合成信号与高增益信号HCG结合的高增益信号最端部侧结合位置jp(joint point)0之间，设定包含高增益信号最端部侧结合位置jp0在内的两个高增益侧结合位置jp0、jp1，并且设定从中心部位置JC向高增益信号最端部逐渐变大的、与所设定出的高增益侧结合位置jp1、jp0对应的高增益侧步值(-)step1、(-)step2(step2＞step1)。
合成处理部713例如如图4的(C)以及图5所示那样，从设定中心阈值J_Thresh的中心部位置JC起，在应将合成信号与低增益信号LCG结合的低增益信号最端部侧结合位置jp3之间，设定包含低增益信号最端部侧结合位置jp3在内的两个低增益侧结合位置jp3、jp2，并且设定从中心部位置JC向低增益信号最端部逐渐变大的、与所设定出的低增益侧结合位置jp2、jp3对应的低增益侧步值step1、step2(step2＞step1)。
并且，合成处理部713例如如图4的(C)以及图5所示那样，从中心阈值J_Thresh中减去所设定出的高增益侧步值step2、step1来设定为对应的高增益侧结合位置jp0、jp1的新的阈值(J_Thresh-step2)、(J_Thresh-step1)。合成处理部713应用新的阈值并根据高增益侧结合位置jp0、jp1处的阈值(J_Thresh-step2)、(J_Thresh-step1)与高增益信号HCG的比较结果来进行合成处理。
同样地，合成处理部713例如如图4的(C)以及图5所示那样，在中心阈值J_Thresh上加上所设定出的低增益侧步值step1、step2来设定为对应的低增益侧结合位置jp2、jp3的新的阈值(J_Thresh+step1)、(J_Thresh+step2)。合成处理部713应用新的阈值并根据低增益侧结合位置jp2、jp3处的阈值(J_Thresh+step1)、(J_Thresh+step2)与高增益信号HCG的比较结果来进行合成处理。
合成处理部713在合成处理所涉及的比较处理中，在被通过将高增益侧结合位置jp0、jp1的阈值(J_Thresh-step2)、(J_Thresh-step1)或低增益侧结合位置jp2、jp3的阈值(J_Thresh+step1)、(J_Thresh+step2)与高增益信号HCG的比较而选择出的值相夹的区域A01、A12、A23的信号电平中，按照分配给区域A01、A12、A23的加权值WV01、WV12、WV23来算出加权平均值AVW01、AVW12、AVW23，将加权平均值AVW01、AVW12、AVW23作为该区域的合成信号(合成数据)data_dhdr输出。
例如在被高增益侧结合位置jp0的阈值(J_Thresh-step2)和相邻的高增益侧结合位置jp1的阈值(J_Thresh-step1)相夹的区域A01中，分配对于低增益信号LCG是“1”且对于高增益信号HCG是“3”的加权值(LCG∶HCG＝1∶3)WV01。
在被高增益侧结合位置jp1的阈值(J_Thresh-step1)和相邻的低增益侧结合位置jp2的阈值(J_Thresh+step1)相夹的区域A12中，分配对于低增益信号LCG是“1”且对于高增益信号HCG是“1”的加权值(LCG∶HCG＝1∶1)WV12。
在被低增益侧结合位置jp2的阈值(J_Thresh+step1)和相邻的低增益侧结合位置jp3的阈值(J_Thresh+step2)相夹的区域A23中，分配对于低增益信号LCG是“3”且对于高增益信号HCG是“1”的加权值(LCG∶HCG＝3∶1)WV23。
在高增益信号最端部侧结合位置jp0的阈值(J_Thresh-step2)与高增益信号HCG(data_hcg)的比较的结果是高增益信号HCG的电平小于阈值(J_Thresh-step2)的情况下，合成处理部713将高增益信号HCG(data_hcg)作为合成信号(合成数据)data_dhdr来应用。
在低增益信号最端部侧结合位置jp3的阈值(J_Thresh+step2)与高增益信号HCG(data_hcg)的比较的结果是高增益信号HCG的电平大于阈值(J_Thresh+step2)的情况下，合成处理部713将低增益信号LCG(data_lcg)作为合成信号(合成数据)data_dhdr来应用。
以上说明了信号处理部710中的合成处理部713的结构以及功能。
在此说明合成处理部713中的高增益信号HCG与低增益信号LCG的具体的合成处理的一例。
图6是用于说明本实施方式所涉及的信号处理部710中的合成处理的一例的流程图。
现在若考虑以高增益信号HCG为基准进行合成的情况，则能如下述那样表现。
(数学式1)
data_hcg＝data_hcg_in+hcg_offset
低增益信号LCG为了与高增益信号HCG倾斜度相同而乘以数字增益进行变换的情况能如下那样表现。
(数学式2)
data_lcg＝(data_lcg_in+lcg_offset)×K
在此K表示HCG/LCG的增益比。
每当合成这两个信号时就按照如下的条件设定来进行运算。
(数学式3)
if(data_hcg＜(j_thresh-step2))
data_dhdr＝data_hcg；
if(data_hcg＜(j_thresh-step1))
data_dhdr＝(data_hcg×3+data_lcg)/4；
if(data_hcg＜(j_thresh+step1))
data_dhdr＝(data_hcg+data_lcg)/2；
if(data_hcg＜(j_thresh+step2))
data_dhdr＝(data_hcg+data_lcg×3)/4；
if(data_hcg＞(j_thresh+step2))
data_dhdr＝data_lcg；
对该合成处理部713的合成所涉及的运算处理与图6建立关联来进行说明。
合成处理部713例如首先对高增益信号最端部侧结合位置jp0的阈值(J_Thresh-step2)和高增益信号HCG(data_hcg)进行比较(步骤PR1)，判定高增益信号HCG的电平是否小于阈值(J_Thresh-step2)(步骤PR2)。
合成处理部713若在步骤PR2中判定为高增益信号HCG(data_hcg)的电平小于阈值(J_Thresh-step2)，就将高增益信号HCG(data_hcg)作为合成信号(合成数据)data_dhdr来应用(步骤PR3)。
合成处理部713若在步骤PR2中判定为高增益信号HCG(data_hcg)的电平大于阈值(J_Thresh-step2)，就对高增益侧结合位置jp1的阈值(J_Thresh-step1)和高增益信号HCG(data_hcg)进行比较(步骤PR4)，判定高增益信号HCG(data_hcg)的电平是否小于阈值(J_Thresh-step1)(步骤PR5)。
合成处理部713若在步骤PR5中判定为高增益信号HCG(data_hcg)的电平小于阈值(J_Thresh-step1)，就进行如下的处理(步骤PR6、PR7)。
合成处理部713按照分配给被高增益侧结合位置jp0的阈值(J_Thresh-step2)和相邻的高增益侧结合位置jp1的阈值(J_Thresh-step1)相夹的区域A01的加权值(LCG∶HCG＝1∶3)WV01通过下式来算出高增益信号HCG与低增益信号LCG的加权平均值AVW01(步骤PR6)，将加权平均值AVW01作为该区域的合成信号(合成数据)data_dhdr来应用(步骤PR7)。
(数学式4)
AVW01＝(data_hcg×3+data_Icg)/4
合成处理部713若在步骤PR5中判定为高增益信号HCG(data_hcg)的电平大于阈值(J_Thresh-step1)，就对低增益侧结合位置jp2的阈值(J_Thresh+step1)和高增益信号HCG(data_hcg)进行比较(步骤PR8)，判定高增益信号HCG(data_hcg)的电平是否小于阈值(J_Thresh+step1)(步骤PR9)。
合成处理部713若在步骤PR9中判定为高增益信号HCG(data_hcg)的电平小于阈值(J_Thresh+step1)，就进行如下的处理(步骤PR10、PR11)。
合成处理部713按照分配给被高增益侧结合位置jp1的阈值(J_Thresh-step1)和相邻的低增益侧结合位置jp2的阈值(J_Thresh+step1)相夹的区域A12的加权值(LCG∶HCG＝1∶1)WV12通过下式来算出高增益信号HCG与低增益信号LCG的加权平均值AVW12(步骤PR10)，将加权平均值AVW12作为该区域的合成信号(合成数据)data_dhdr来应用(步骤PR11)。
(数学式5)
AVW12＝(data_hcg+data_lcg)/2
合成处理部713若在步骤PR9中判定为高增益信号HCG(data_hcg)的电平大于阈值(J_Thresh+step1)，就对低增益信号最端部侧结合位置jp3的阈值(J_Thresh+step2)和高增益信号HCG(data_hcg)进行比较(步骤PR12)，判定高增益信号HCG(data_hcg)的电平是否小于阈值(J_Thresh+step2)(步骤PR13)。
合成处理部713若在步骤PR13中判定为高增益信号HCG(data_hcg)的电平小于阈值(J_Thresh+step2)，就进行如下的处理(步骤PR14、PR15)。
合成处理部713按照分配给被低增益侧结合位置jp2的阈值(J_Thresh+step1)和相邻的低增益侧结合位置jp3的阈值(J_Thresh+step2)相夹的区域A23的加权值(LCG∶HCG＝3∶1)WV23通过下式来算出高增益信号HCG与低增益信号LCG的加权平均值AVW23(步骤PR14)，将加权平均值AVW23作为该区域的合成信号(合成数据)data_dhdr来应用(步骤PR15)。
(数学式6)
AVW23＝(data_hcg+data_lcg×3)/4
合成处理部713若在步骤PR13中判定为高增益信号HCG(data_hcg)的电平不是小于而是大于阈值(J_Thresh+step2)(步骤PR16)，就将低增益信号LCG(data_lcg)作为合成信号(合成数据)data_dhdr来应用(步骤PR17)。
如以上说明的那样，本第1实施方式的固体摄像装置10的信号处理部710构成为能将多个读出信号例如高增益信号HCG和低增益信号LCG合成来扩大动态范围。
信号处理部710使应合成的多个读出信号例如低增益信号LCG和高增益信号HCG的倾斜度相等。
信号处理部710在进行多个读出信号的合成时，根据多个读出信号当中至少一个读出信号(高增益信号HCG、低增益信号LCG)与阈值(Joint Thresh)的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号。
并且，本第1实施方式的信号处理部710构成为能动态地变更阈值，作为阈值，将预先设定的基准阈值(中心阈值)J_Thresh、和通过对基准阈值J_Thresh和给定的步值stepα(α是自然数)进行比较运算(例如加法运算、减法运算)而决定的新的阈值(J_Thresh±stepα)应用到合成处理中。
因此，根据本第1实施方式，在存在固体摄像装置的个体单位中的偏差、或一个个体中的像素(pixel)间的偏差等的情况下，也能进行要组合的(要合成的)多个信号的平滑的切换，能削减不连续点，进而能削减噪声，从而能生成噪声少的高品质且高动态的图像信号。
另外，由于能吸收个体偏差，因此能提升产品的成品率。
即，根据本第1实施方式，能与个体偏差等无关地进行要组合的多个信号的平滑的切换，能在抑制图像劣化的同时实现高动态范围化，进而能实现高画质化。
另外，本第1实施方式的信号处理部710例如具有包含作为加权处理部的功能的合成处理部713，根据多个读出信号当中设为基准的读出信号(例如高增益信号HCG)与对应的阈值(J_Thresh、J_Thresh±stepα)的比较结果，对合成对象的多个读出信号(高增益信号HCG以及低增益信号LCG)进行加权处理。
包含加权处理部的合成处理部713在被阈值相夹的区域的信号电平中，按照分配给该区域的加权值来算出加权平均值，并将加权平均值作为该区域的合成信号来输出。
另外，加权处理部包含对多个读出信号进行相加取平均的相加取平均处理功能。
相加取平均处理功能使处于被阈值相夹的区域的信号电平的各个信号具有相加取平均后得到的值而成为一个输出。
因此，根据本第1实施方式，能进行要组合的(要合成的)多个信号的更平滑的切换，能确实地削减不连续点，进而能削减噪声，进一步地能生成噪声少的高品质且高动态的图像信号。
(第2实施方式)
图7是表示本发明的第2实施方式所涉及的信号处理部的结构例的图。
图8是表示图7的随机数产生部的具体的结构例的图。
本第2实施方式所涉及的图7的信号处理部710A与第1实施方式所涉及的图3的信号处理部710的不同点在于，设有随机数产生部714，合成处理部713A将随机数rnd(clk)与阈值J_Thresh相加或相减来设定阈值。
在此，clk是与像素(pixel)数据的传送时钟相同的频率，随机数以像素(pixel)为单位进行变化。
合成处理部713A例如能将多个阈值的平均值设置为与基准阈值J_Thresh相当的中心阈值，中心阈值将在初始的中心阈值J_Thresh上加上由随机数产生部714产生的随机数rnd(clk)而新算出的值作为第2中心阈值(J_Thresh+rnd(clk))，以第2中心阈值(J_Thresh+rnd(clk))为基础来进行合成所需的信号的选择处理。
随机数产生部714例如如图8所示那样由包含异或栅极EXOR1～EXOR3的线性反馈移位寄存器LFSR形成。图8示出16比特的情况的一例。
每当由第2实施方式的合成处理部713A对与第1实施方式的数学式3对应的两个信号进行合成时，就按照以下的条件设定进行运算。
(数学式7)
if(data_hcg＜(j_thresh+rnd(clk)-step2))
data_dhdr＝data_hcg；
if(data_hcg＜(j_thresh+rnd(clk)-step1))
data_dhdr＝(data_hcg×3+data_lcg)/4；
if(data_hcg＜(j_thresh+rnd(clk)+step1))
data_dhdr＝(data_hcg+data_lcg)/2；
if(data_hcg＜(j_thresh+rnd(clk)+step2))
data_dhdr＝(data_hcg+data_lcg×3)/4；
if(data_hcg＞(j_thresh+rnd(clk)+step2))
data_dhdr＝data_lcg；
即，该运算处理除了将在初始的中心阈值J_Thresh上加上由随机数产生部714产生的随机数rnd(clk)而新算出的值作为第2中心阈值(J_Thresh+rnd(clk))来应用以外，进行与上述数学式3以及图6的处理同样的处理。
因此，这里省略详细的说明。
根据本第2实施方式，能得到与上述的第1实施方式同样的效果。
即，根据本第2实施方式，在存在固体摄像装置的个体单位中的偏差、或者一个个体中的像素间的偏差等的情况下，也能进行要组合的(要合成的)多个信号的平滑的切换，能削减不连续点，进而能削减噪声，从而能生成噪声少的高品质且高动态的图像信号。
另外，由于能吸收个体偏差，因此能提升产品的成品率。
(应用例)
在上述的实施方式中，作为多个读出信号的示例，说明了将两个高增益信号HCG和低增益信号LCG合成来扩大动态范围的情况，但本发明也可以应用在将三个或四个以上的特性不同的信号以倾斜度相等的方式进行合成的情况中。
图9是用于说明将高增益信号HCG、中增益信号MCG、和低增益信号LCG这三个信号以倾斜度相等的方式进行合成的处理的图。
图9的示例在合成对象中追加了高增益与低增益的中间的中增益信号MCG。
在该情况下，在高增益信号HCG快要饱和之前的保持了直线性的非饱和区域ANSAT1，通过与前述的实施方式的合成处理同样的处理将中增益信号MCG和高增益信号HCG分阶段地平滑地合成。用于调整这时的倾斜度的增益比是HCG/MCG。
在非饱和区域ANSAT1中的合成处理中，中增益信号MCG被作为与前述的实施方式的合成处理的低增益信号同样的信号来对待。
同样地，在中增益信号MCG快要饱和之前的保持了直线性的非饱和区域ANSAT2，通过与前述的实施方式的合成处理同样的处理将中增益信号MCG和低增益信号LCG分阶段地平滑地合成。用于调整这时的倾斜度的增益比是MCG/LCG。
在非饱和区域ANSAT2中的合成处理中，中增益信号MCG被作为与前述的实施方式的合成处理的高增益信号同样地信号来对待。
在该情况下也能得到与上述的第1以及第2实施方式同样的效果。
(变形例)
图10是表示分割成短的曝光时间下与高照度侧对应的摄像和长的曝光时间下与低照度对应的摄像这样不同的两次以上的曝光时间的高动态范围化技术的一例的图。
在上述的实施方式中，在像素PXL的结构本身设置两个系统的选择晶体管SEL-Tr以及源极跟随器晶体管SF-Tr，生成多个读出信号即两个高增益信号HCG和低增益信号LCG，说明了如此构成的情况的示例，但本发明并不限定于这样的结构。
例如在像素PXL的结构本身仅设置一个系统的选择晶体管SEL-Tr以及源极跟随器晶体管SF-Tr，如图10所示那样，采用分割成短的曝光时间下与高照度侧对应的摄像和长的曝光时间下与低照度对应的摄像这样不同的两次以上的曝光时间的高动态范围化技术。
在像素(pixel)的读出动作中，在定时控制器等的控制下，如图10所示那样进行快门扫描SSCN，之后进行读出扫描RSCN，图10的示例是，进行快门扫描SSCN，之后设置两个到进行读出扫描RSCN为止的曝光期间Tint0、Tint1，使得在时间上具有差。
在该情况下也能得到与上述的第1以及第2实施方式同样的效果。
图11是用于说明以帧为单位提高动态范围的示例的图。
另外，在上述的实施方式中说明了以像素为单位提高动态范围的示例，但本发明还能如图11所示那样应用到以帧为单位提高动态范围的情况中。
在该情况下也能得到与上述的第1以及第2实施方式同样的效果。
以上说明的固体摄像装置10能作为摄像器件应用于数字摄像机、视频摄像机、便携终端或者监视用摄像机、医疗用内窥镜用摄像机等电子设备中。
图12是表示搭载了应用本发明的实施方式所涉及的固体摄像装置的摄像机系统的电子设备的构成的一例的图。
本电子设备100如图12所示那样具有本实施方式所涉及的固体摄像装置10能应用的CMOS图像传感器110。
进而，电子设备100具有将入射光引导到该CMOS图像传感器110的像素区域(成像被摄体像)的光学系统(镜头等)120。
电子设备100具有对CMOS图像传感器110的输出信号进行处理的信号处理电路(PRC)130。
信号处理电路130对CMOS图像传感器110的输出信号实施给定的信号处理。
由信号处理电路130处理过的图像信号作为动态图像在由液晶显示器等构成的监视器上映出，或者还能输出到打印机，另外还能直接记录于存储卡等记录介质等，能实现如这样的各种方式。
如上述那样，通过作为CMOS图像传感器110而搭载前述的固体摄像装置10，能提供高性能、小型、低成本的摄像机系统。
并且，能实现在摄像机的设置要件中存在安装尺寸、能连接线缆根数、线缆长度、设置高度等制约的用途中使用的例如监视用摄像机、医疗用内窥镜用摄像机等电子设备。

Claims (15)

1.一种固体摄像装置，能将多个读出信号合成来扩大动态范围，所述固体摄像装置的特征在于，具有：
信号处理部，其在进行所述多个读出信号的合成时，根据所述多个读出信号当中至少一个读出信号与能动态地变更的阈值的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号，
所述多个读出信号包含以不同的入射光量饱和的第1信号和第2信号，
所述信号处理部在所述第1信号快要饱和之前的保持了直线性的非饱和区域，通过所述合成处理将所述第1信号和所述第2信号合成，
在该合成时，
在所述非饱和区域的中心部位置设定预先设定的基准阈值来作为中心阈值，
设定从设定有所述中心阈值的中心部位置向第1信号最端部以及第2信号最端部的至少一方逐渐变大的、与所设定出的应结合的结合位置对应的步值，
通过对作为所述基准阈值的所述中心阈值和设定的步值进行比较运算来设定为对应的结合位置的新的阈值，将该新的阈值应用为所述结合位置的阈值，根据所述结合位置的阈值与所述第1信号或所述第2信号的比较结果来进行所述合成处理。
2.根据权利要求1所述的固体摄像装置，其中，
所述信号处理部包含对所述多个读出信号进行加权处理的加权处理部，且将所述结合位置的阈值用于所述加权处理，
所述加权处理部在被所述结合位置的阈值相夹的区域的信号电平中，按照分配给该区域的加权值来算出加权平均值，将该加权平均值作为该区域的合成信号输出。
3.根据权利要求2所述的固体摄像装置，其中，
所述固体摄像装置具有多个所述结合位置的阈值，
所述加权处理部包含对所述多个读出信号进行相加取平均的相加取平均处理功能，
所述相加取平均处理功能使处于被所述结合位置的阈值相夹的区域的信号电平的各个信号具有相加取平均后得到的值而成为一个输出。
4.根据权利要求1所述的固体摄像装置，其中，
所述信号处理部包含随机数产生部，能将多个阈值的平均值设置为初始中心阈值，
将在所述初始中心阈值上加上由所述随机数产生部产生的随机数而新算出的值作为第2中心阈值，将该第2中心阈值作为所述中心阈值来进行所述合成所需的信号的选择处理。
5.根据权利要求1所述的固体摄像装置，其中，
所述固体摄像装置包含能改写的存储部，
所述基准阈值被写入所述存储部。
6.根据权利要求1所述的固体摄像装置，其中，
所述固体摄像装置具有多个所述信号处理部。
7.根据权利要求1所述的固体摄像装置，其中，
从包含光电变换元件的像素读出的所述多个读出信号包含至少一组低增益信号、和与该低增益信号相比以较少的入射光量饱和的高增益信号，
所述信号处理部使所述低增益信号和所述高增益信号的倾斜度相等，并且在所述高增益信号快要饱和之前的保持了直线性的非饱和区域，通过所述合成处理将所述低增益信号和所述高增益信号合成。
8.根据权利要求7所述的固体摄像装置，其中，
所述信号处理部以所述低增益信号和所述高增益信号中的至少一方为基准来进行所述合成处理。
9.根据权利要求7所述的固体摄像装置，其中，
所述信号处理部，
以所述高增益信号为基准进行所述合成处理，
作为所述阈值，能将预先设定的基准阈值、和通过对所述基准阈值和给定的步值进行比较运算而决定的至少一个新的阈值应用在所述合成处理中，
在所述非饱和区域的中心部位置设定所述基准阈值来作为中心阈值，
从所述中心阈值的设定位置起，在应将合成信号与所述高增益信号结合的高增益信号最端部侧结合位置之间，设定包含该高增益信号最端部侧结合位置在内的至少两个高增益侧结合位置，并且设定从中心部位置向高增益信号最端部逐渐变大的、与所设定出的所述高增益侧结合位置对应的高增益侧步值，
从所述中心阈值中减去所设定出的所述高增益侧步值来设定为对应的所述高增益侧结合位置的新的阈值，将该新的阈值应用为所述高增益侧结合位置的阈值，根据所述高增益侧结合位置的阈值与所述高增益信号的比较结果来进行所述合成处理。
10.根据权利要求7所述的固体摄像装置，其中，
所述信号处理部，
以所述高增益信号为基准进行所述合成处理，
作为所述阈值，能将预先设定的基准阈值、和通过对所述基准阈值和给定的步值进行比较运算而决定的至少一个新的阈值应用到所述合成处理中，
在所述非饱和区域的中心部位置设定所述基准阈值来作为中心阈值，
从所述中心阈值的设定位置起，在应将合成信号与所述低增益信号结合的低增益信号最端部侧结合位置之间，设定包含该低增益信号最端部侧结合位置在内的至少两个低增益侧结合位置，并且设定从中心部位置向低增益信号最端部逐渐变大的、与所设定出的所述低增益侧结合位置对应的低增益侧步值，
在所述中心阈值上加上所设定出的所述低增益侧步值来设定为对应的所述低增益侧结合位置的新的阈值，将该新的阈值应用为所述低增益侧结合位置的阈值，根据所述低增益侧结合位置的阈值与所述高增益信号的比较结果来进行所述合成处理。
11.根据权利要求7所述的固体摄像装置，其中，
所述信号处理部，
以所述高增益信号为基准来进行所述合成处理，
作为所述阈值，能将预先设定的基准阈值、和通过对所述基准阈值和给定的步值进行比较运算而决定的至少一个新的阈值应用到所述合成处理中，
在所述非饱和区域的中心部位置设定所述基准阈值来作为中心阈值，
从所述中心阈值的设定位置起，在应将合成信号与所述高增益信号结合的高增益信号最端部侧结合位置之间，设定包含该高增益信号最端部侧结合位置在内的至少两个高增益侧结合位置，并且设定从中心部位置向高增益信号最端部逐渐变大的、与所设定出的所述高增益侧结合位置对应的高增益侧步值，
从所述中心阈值的设定位置起，在应将合成信号与所述低增益信号结合的低增益信号最端部侧结合位置之间，设定包含该低增益信号最端部侧结合位置在内的至少两个低增益侧结合位置，并且设定从中心部位置向低增益信号最端部逐渐变大的、与所设定出的所述低增益侧结合位置对应的低增益侧步值，
从所述中心阈值中减去所设定出的所述高增益侧步值来设定为对应的所述高增益侧结合位置的新的阈值，将该新的阈值应用为所述高增益侧结合位置的阈值，根据所述高增益侧结合位置的阈值与所述高增益信号的比较结果来进行所述合成处理，
在所述中心阈值上加上所设定出的所述低增益侧步值来设定为对应的所述低增益侧结合位置的新的阈值，将该新的阈值应用为所述低增益侧结合位置的阈值，根据所述低增益侧结合位置的阈值与所述高增益信号的比较结果来进行所述合成处理。
12.根据权利要求11所述的固体摄像装置，其中，
所述信号处理部在被通过所述高增益侧结合位置的阈值或所述低增益侧结合位置的阈值与所述高增益信号的比较而选择出的所述高增益侧结合位置的阈值或所述低增益侧结合位置的阈值相夹的区域的信号电平中，按照分配给该区域的加权值来算出加权平均值，将该加权平均值作为该区域的合成信号输出。
13.根据权利要求11所述的固体摄像装置，其中，
所述信号处理部，
在所述高增益信号最端部侧结合位置的阈值与所述高增益信号的比较的结果是阈值较大的情况下，将所述高增益信号作为合成信号来应用，
在所述低增益信号最端部侧结合位置的阈值与所述高增益信号的比较的结果是阈值较小的情况下，将所述低增益信号作为合成信号来应用。
14.一种固体摄像装置的驱动方法，是能将多个读出信号合成来扩大动态范围的固体摄像装置的驱动方法，具有：
比较步骤，在进行所述多个读出信号的合成时，对所述多个读出信号当中至少一个读出信号和阈值进行比较；
选择步骤，根据比较结果选择至少一个合成所需的信号；和
生成步骤，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号，
动态地变更所述阈值来进行所述比较步骤、所述选择步骤、以及所述生成步骤的处理，
所述固体摄像装置的驱动方法的特征在于，
所述多个读出信号包含以不同的入射光量饱和的第1信号和第2信号，
在所述比较步骤、所述选择步骤、以及所述生成步骤的处理中，
在所述第1信号快要饱和之前的保持了直线性的非饱和区域，通过所述合成处理将所述第1信号和所述第2信号合成，
在该合成时，
在所述非饱和区域的中心部位置设定预先设定的基准阈值来作为中心阈值，
设定从设定有所述中心阈值的中心部位置向第1信号最端部以及第2信号最端部的至少一方逐渐变大的、与所设定出的应结合的结合位置对应的步值，
通过对作为所述基准阈值的所述中心阈值和设定的步值进行比较运算来设定为对应的结合位置的新的阈值，将该新的阈值应用为所述结合位置的阈值，根据所述结合位置的阈值与所述第1信号或所述第2信号的比较结果来进行所述合成处理。
15.一种电子设备，具有：
能将多个读出信号合成来扩大动态范围的固体摄像装置；和
在所述固体摄像装置成像被摄体像的光学系统，
所述固体摄像装置包含：
信号处理部，其在进行所述多个读出信号的合成时，根据所述多个读出信号当中至少一个读出信号与能动态地变更的阈值的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号，
所述多个读出信号包含以不同的入射光量饱和的第1信号和第2信号，
所述信号处理部在所述第1信号快要饱和之前的保持了直线性的非饱和区域，通过所述合成处理将所述第1信号和所述第2信号合成，
在该合成时，
在所述非饱和区域的中心部位置设定预先设定的基准阈值来作为中心阈值，
设定从设定有所述中心阈值的中心部位置向第1信号最端部以及第2信号最端部的至少一方逐渐变大的、与所设定出的应结合的结合位置对应的步值，
通过对作为所述基准阈值的所述中心阈值和设定的步值进行比较运算来设定为对应的结合位置的新的阈值，将该新的阈值应用为所述结合位置的阈值，根据所述结合位置的阈值与所述第1信号或所述第2信号的比较结果来进行所述合成处理。
CN201680074824.0A 2015-12-25 2016-12-26 固体摄像装置、固体摄像装置的驱动方法以及电子设备 Active CN108432238B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-253286 2015-12-25
JP2015253286A JP6731725B2 (ja) 2015-12-25 2015-12-25 固体撮像装置およびその駆動方法、電子機器
PCT/JP2016/088654 WO2017111154A1 (ja) 2015-12-25 2016-12-26 固体撮像装置、固体撮像装置の駆動方法、および電子機器

Publications (2)

Publication Number Publication Date
CN108432238A CN108432238A (zh) 2018-08-21
CN108432238B true CN108432238B (zh) 2020-11-24

Family

ID=59090577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680074824.0A Active CN108432238B (zh) 2015-12-25 2016-12-26 固体摄像装置、固体摄像装置的驱动方法以及电子设备

Country Status (4)

Country Link
US (1) US10735676B2 (zh)
JP (1) JP6731725B2 (zh)
CN (1) CN108432238B (zh)
WO (1) WO2017111154A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10432879B2 (en) * 2018-01-16 2019-10-01 Omnivision Technologies, Inc. Dual conversion gain high dynamic range image sensor readout circuit memory storage structure
KR20210109769A (ko) * 2020-02-28 2021-09-07 삼성전자주식회사 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 구동 방법
KR20220033298A (ko) 2020-09-09 2022-03-16 삼성전자주식회사 이미지 센서
US11889219B2 (en) 2021-11-15 2024-01-30 Samsung Electronics Co., Ltd. Analog-to-digital converting circuit for optimizing power consumption of dual conversion gain operation, operation method thereof, and image sensor including the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1700745A (zh) * 2004-05-20 2005-11-23 佳能株式会社 固体摄像装置和相机
US20120327270A1 (en) * 2011-06-23 2012-12-27 JVC Kenwood Corporation Image processing apparatus and image processing method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592106B2 (ja) 1998-11-27 2004-11-24 キヤノン株式会社 固体撮像装置およびカメラ
JP3984814B2 (ja) 2001-10-29 2007-10-03 キヤノン株式会社 撮像素子、その撮像素子を用いた放射線撮像装置及びそれを用いた放射線撮像システム
JP4127411B1 (ja) * 2007-04-13 2008-07-30 キヤノン株式会社 画像処理装置及び方法
JP4893569B2 (ja) * 2007-09-28 2012-03-07 ソニー株式会社 撮像装置、撮像制御方法及び撮像制御プログラム
JP5609788B2 (ja) * 2011-06-23 2014-10-22 株式会社Ｊｖｃケンウッド 画像処理装置及び画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1700745A (zh) * 2004-05-20 2005-11-23 佳能株式会社 固体摄像装置和相机
US20120327270A1 (en) * 2011-06-23 2012-12-27 JVC Kenwood Corporation Image processing apparatus and image processing method

Also Published As

Publication number Publication date
US10735676B2 (en) 2020-08-04
WO2017111154A1 (ja) 2017-06-29
US20190020832A1 (en) 2019-01-17
CN108432238A (zh) 2018-08-21
JP2019054302A (ja) 2019-04-04
JP6731725B2 (ja) 2020-07-29

Similar Documents

Publication Publication Date Title
US10110827B2 (en) Imaging apparatus, signal processing method, and program
JP5106052B2 (ja) 固体撮像素子、撮像システム、及び固体撮像素子の駆動方法
US8792033B2 (en) Image pickup apparatus capable of changing operation condition of image sensing device and control method therefor
US7244921B2 (en) Solid-state imaging device, driving method therefor, and imaging apparatus
US9036052B2 (en) Image pickup apparatus that uses pixels different in sensitivity, method of controlling the same, and storage medium
CN108432238B (zh) 固体摄像装置、固体摄像装置的驱动方法以及电子设备
US9253427B2 (en) Solid-state image pickup apparatus capable of realizing image pickup with wide dynamic range and at high frame rate, control method therefor, and storage medium
US20140204253A1 (en) Solid-state imaging device
US8149308B2 (en) Solid-state image pickup device
JP5487845B2 (ja) 撮像素子、駆動制御方法、並びにプログラム
JP2013048383A (ja) 撮像素子及び撮像装置
JP5921092B2 (ja) 撮像装置、その制御方法、および制御プログラム
CN108432239B (zh) 固体摄像装置、固体摄像装置的驱动方法以及电子设备
KR20140107212A (ko) 고체 촬상 소자 및 그 구동 방법, 카메라 시스템
JP2010273385A (ja) 半導体装置の制御方法
JP2017103603A (ja) 撮像素子、撮像装置、及び撮像方法
US10623642B2 (en) Image capturing apparatus and control method thereof with change, in exposure period for generating frame, of conversion efficiency
JP2010098616A (ja) 画像処理回路
WO2017119331A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、および電子機器
JP7247975B2 (ja) 撮像素子及び撮像装置
JP2018093301A (ja) 撮像素子及び撮像素子の制御方法
JP2022184314A (ja) 撮像素子、及び、撮像装置
JP2015180005A (ja) 固体撮像素子およびその駆動方法、並びに撮像装置
JP2011045121A (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210205

Address after: Grand Cayman Islands

Patentee after: Brillnics Inc.

Address before: Tokyo, Japan

Patentee before: Brillnics Japan Inc.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210519

Address after: 79 Anshun Road, Singapore

Patentee after: Prunicus Singapore Pte. Ltd.

Address before: Grand Cayman Islands

Patentee before: Brillnics Inc.

TR01 Transfer of patent right