CN111801935A - 摄像装置和电子设备 - Google Patents

摄像装置和电子设备 Download PDF

Info

Publication number
CN111801935A
CN111801935A CN201980016191.1A CN201980016191A CN111801935A CN 111801935 A CN111801935 A CN 111801935A CN 201980016191 A CN201980016191 A CN 201980016191A CN 111801935 A CN111801935 A CN 111801935A
Authority
CN
China
Prior art keywords
unit
gain
digital
signal
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980016191.1A
Other languages
English (en)
Other versions
CN111801935B (zh
Inventor
冈田千丈
朝仓伦丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN111801935A publication Critical patent/CN111801935A/zh
Application granted granted Critical
Publication of CN111801935B publication Critical patent/CN111801935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Abstract

本技术涉及能减小暗电流的影响的摄像装置和电子设备。所述摄像装置设置有:采样和保持单元,用于像素信号的采样和保持;AD转换单元,用于对包含小数点后的数位的所述像素信号进行AD转换;数字增益处理单元,将预定增益施加至来自所述AD转换单元的数字信号;和增益设定单元,用于设定列部的模拟增益,所述列部包括所述采样和保持单元以及所述AD转换单元。所述增益设定单元根据测量的暗电流量设定所述模拟增益。本技术例如能够应用于CMOS图像传感器。

Description

摄像装置和电子设备
技术领域
本发明涉及摄像装置和电子设备,并且更具体地,涉及能够抑制噪声的摄像装置和电子设备。
背景技术
例如,在诸如包括图像拍摄功能的数字照相机或数字摄像机等的电子设备中,传统地使用诸如电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器等摄像装置。
摄像装置包括通过组合进行光电转换的光电二极管和多个晶体管而形成的像素。基于从以平面方式排列的多个像素输出的像素信号形成图像。此外,输出自像素的像素信号在例如针对各列像素布置的多个模数(AD)转换器并行地AD转换之后被输出。
专利文献1提出通过检测作为数字值的暗电流量并将检测值反馈至数模转换器(DAC)来钳制暗电流。此外,专利文献2提出通过提高AD转换的准确性来钳制暗电流。
引用列表
专利文献
专利文献1:日本专利申请特开第2008-219293号公报
专利文献2:日本专利申请特开第2008-109264号公报
发明内容
本发明要解决的技术问题
期望在不使电路规模因用于减少暗电流产生的影响的结构而大型化以及不使电路结构复杂化的情况下,更精确地减少暗电流产生的影响。
本技术是针对上述情况设计的,并且能够减少暗电流产生的影响。
技术问题的解决方案
根据本技术的一个方面的摄像装置包括:采样和保持单元,所述采样和保持单元被配置用于执行像素信号的采样和保持;模数(AD)转换单元,所述模数(AD)转换单元被配置用于执行包含小数点后数位的所述像素信号的AD转换;数字增益处理单元,所述数字增益处理单元被配置用于在来自所述模数(AD)转换单元的数字信号中应用预定增益;和增益设定单元,所述增益设定单元被配置用来设置包括所述采样和保持单元以及所述AD转换单元的列单元的模拟增益。
根据本技术的一个方面的电子设备包括摄像装置和信号处理单元,所述信号处理单元被配置用于处理输出自所述摄像装置的信号;其中,所述摄像装置包括:采样和保持单元,所述采样和保持单元被配置用于执行像素信号的采样和保持;模数(AD)转换单元,所述模数(AD)转换单元被配置用于执行包含小数点后数位的所述像素信号的AD转换;数字增益处理单元,所述数字增益处理单元被配置用于在来自所述模数(AD)转换单元的数字信号中应用预定增益;和增益设定单元,所述增益设定单元被配置用来设置包括所述采样和保持单元以及所述模数(AD)转换单元的列单元的模拟增益。
根据本技术的一个方面的摄像装置,执行了像素信号的采用和保持,执行了包括小数点后数位的像素的AD转换,在数字信号中应用了预定增益到并且设置了列单元的模拟增益。
在根据本技术的一个方面的电子设备中,包括所述摄像装置。
注意,摄像装置可以是独立的装置,或者可以是构成一个设备的内部模块。
本发明的有益效果
根据本技术的一个方面,能够减少暗电流产生的影响。
注意,在这方面,此处描述的效果未必是限定性的,并且可以是本说明书中描述的任何效果。
附图说明
图1是示出了成像装置的配置示例的图。
图2是示出了摄像装置的配置示例的图。
图3是示出了像素的电路图。
图4是示出了读取单元的配置示例的图。
图5是示出了读取单元的配置示例的图。
图6是用于说明像素阵列单元的像素阵列的示意图。
图7是用于说明读取单元的操作的流程图。
图8是示出了读取单元的配置示例的示意图。
图9是示出了读取单元的配置示例的示意图。
图10是示出了层叠固态成像装置的配置示例的概况的图。
图11是示出了内窥镜手术系统的示意性配置的示例的图。
图12是示出了摄像头和CCU的功能配置的示例的框图。
图13是示出了车辆控制系统的示意性配置的示例的框图。
图14是帮助说明车外信息检测部和成像单元的安装位置的示例的示意图。
具体实施方式
下文,将说明用于实施本技术的模式(下文称为实施例)。
<成像装置的配置>
由于本技术可以应用于成像装置,现在将使用本技术应用于成像装置的示例案例给出说明。注意,现在将使用成像装置作为示例给出说明,但是本发明的应用不限于成像装置的应用。本发明可以应用于使用成像装置作为摄像单元(光电转换单元)的任何电子设备。此类电子设备的示例包括诸如数码照相机和摄像机的成像设备、包括诸如移动电话等包括摄像功能的移动终端设备、使用成像装置作为图像读取单元的复印机等。注意,在某些情况下,安装在电子设备上的模块化结构(即,相机模块)被视为成像装置。
图1是示出了作为根据本发明的电子设备的示例的成像装置的配置示例的框图。如图1所示,成像装置10包括光学系统,该光学系统包括镜头组11等、摄像装置12、用作相机信号处理单元的DSP电路13、帧存储器14、显示单元15、记录单元16、操作系统17和电源系统18等。
此外,DSP电路13、帧存储器14、显示单元15、记录单元16、操作系统17以及电源系统18通过总线19彼此连接。CPU20控制成像装置10中的各个元件。
透镜组11接收来自物体的入射光(图像光),并且在摄像装置12的成像平面上形成图像。摄像装置12将由透镜组11在成像平面上形成为图像的入射光的光量转换为各个像素的电信号,并且将该电信号作为像素信号输出。下面将说明的包括像素的摄像装置(图像传感器)可以被用作摄像装置12。
显示单元15包括诸如液晶显示单元或有机电致发光(EL)显示单元等面板显示单元,并且显示由摄像装置12拍摄的运动图像或者静止图像。记录单元16将由摄像装置12拍摄的运动图像或静止图像记录到诸如录像带或数字多功能磁盘(DVD)等的记录介质上。
按照用户执行的操作,操作系统17发出用于执行成像装置中包含的各种功能的操作命令。电源系统18向DSP电路13、帧存储器14、显示单元15、记录单元16以及操作系统17相应地提供用于操作这些组件的各种类型的电源。
<摄像装置的配置>
图2是示出了摄像装置12的配置示例的框图。互补金属氧化物半导体(CMOS)图像传感器可以被用作摄像装置12。摄像装置12包括像素阵列单元51、用作像素驱动单元的行选择单元52和读取单元53。
在像素阵列单元51中,在包含M行和N列的M×N矩阵中二维地排列有多个像素50(图3)。被连接到像素阵列单元51的控制线54包括作为一组的传输线、复位线和行选择线,并且每一组被连接到像素阵列的各行中的相应的一行。设置有M条传输线、M条复位线和M条行选择线作为控制线。这些传输线、复位线和行选择线由行选择单元52驱动。
行选择单元52控制像素阵列单元51中在任意行上排列的像素的操作。行选择单元52通过控制线54控制像素部。读取单元53经由垂直信号线55接收由行选择单元52控制读出的像素行的数据,并且将该数据传送到随后的信号处理单元。恒定电流单元和读取单元53与垂直信号线55连接。
<像素的配置>
图3是排列在像素阵列单元51(图2)中的像素50的电路图。
像素50包括光电二极管(PD)71、传输晶体管72、浮动扩散(FD)73、复位晶体管74、放大晶体管75和选择晶体管76。
PD 71用作光电转换元件,其产生和累积与接收的光量相对应的电荷(信号电荷)。PD 71的阳极端子接地,并且PD 71的阴极端子经由传输晶体管72连接至FD 73。
当传输晶体管72根据传输信号TR导通时,传输晶体管72读出由PD 71产生的电荷,并且将电荷传输至FD 73。FD 73保持从PD 71读出的电荷。当复位晶体管74根据复位信号RST导通时,复位晶体管74通过将FD 73中累积的电荷排出至漏极(恒压源Vdd)而将FD 73的电势复位。
放大晶体管75输出与FD 73的电势相对应的像素信号。换句话说,放大晶体管75与经由垂直信号线55连接的用作恒流源的负载MOS(未示出)形成源极跟随电路。指示与FD 73中累积的电荷相对应的电平的像素信号从放大晶体管75经由选择晶体管76和垂直信号线55输出到读取单元53(图2)。
当根据选择信号SEL选择了像素50时,选择晶体管76被导通并且将像素50的像素信号经由垂直信号线55输出至读取单元53。发送传输信号TR、选择信号SEL和复位信号RST的信号线对应于图2所示的控制线54。
像素50可以具有上述配置,但是像素50的配置不限于此配置,并且还可以采用其它配置。
<读取单元的配置>
图4是示出了读取单元53的配置示例的示意图。读取单元53具有包括采样和保持单元(S/H单元)111、模数转换器(ADC)112、数字处理单元113以及转换和发送单元114的配置。
为各个垂直信号线55(图3)设置有S/H单元111、ADC 112和数字处理单元113。S/H单元111包括采样像素50的光电转换量作为样本并保持光电转换量的功能。由S/H单元111保持的信号被提供给ADC 112。提供给ADC 112的信号是模拟信号,并且ADC 112将被提供的模拟信号转换为数字信号。
被ADC 112转换成数字信号的信号被提供给数字处理单元113。数字处理单元113通过进一步钳位和舍入被ADC 112转换成数字数据的数据而生成最终的数字数据,并且将最终的数字数据提供给转换和发送单元114。转换和发送单元114包括将并行数据转换为串行数据和将转换后的数据发送到后续信号处理单元(未示出)的功能。由于像素值从多个ADC 112分别提供给转换和发送单元114,所以转换和发送单元114将多个像素值转换为串行数据并且输出转换后的数据。
增益设定单元115使用来自ADC 112的数据确定暗电流量,并且设定用于抑制暗电流的增益。增益设定单元115使用所设定的增益来控制S/H单元111和数字处理单元113。
<第一实施例>
图5是示出了图4所示的读取单元53的细节的示意图。这里,将说明通过调整可变电阻的电阻值来扩展电路范围和降低噪声的读取单元53作为第一实施例。
包含S/H单元111和ADC 112的部分将被称为列单元116。列单元116包括两个S/H单元111。在这个示例中,两个S/H单元111将被称为S/H单元111P和S/H单元111D。S/H单元111P执行P相的读出中的采样和保持,并且S/H单元111D执行D相的读出中的采样和保持。另外,这里,P相的读出意味着像素复位信号的读出,而D相的读出意味着像素数据信号的读出。
由于S/H单元111P和S/H单元111D具有类似的配置,在不需要区分S/H单元111P和S/H单元111D的情况下,S/H单元111P和S/H单元111D将被简称为S/H单元111。
S/H单元111具有包括运算放大器131、开关SW1、开关PH1、开关PH2和电容器C1的配置。S/H电路包括具有一端连接至运算放大器131的反向输入端IN(图中为“-”)的电容器C1。
通过接通(断开)开关PH1,可以将电容器C1的一端的电势设置为运算放大器131的输出端子Vout的电势V。当开关SW1在开关PH1接通的状态下被接通,并且电容器C1的另一端被连接至采样电压的输入端子VIN(图中的“Vpix”)时,电容器C1被与到Vin的输入电势相对应的电荷充电。
当在采样时间ts处断开开关PH1和开关SW1时,电容器C1保持已充电的电荷,并且电容器C1另一端的电势在时间ts处保持在输入电势VH。通过接通开关PH2,电容器C1另一端的电势VH被取出作为输出Vout的输出值。
S/H单元111P的开关PH2的一端连接至信号线141和晶体管143的源极。S/H单元111P的运算放大器131的输出端连接至晶体管143的栅极。
S/H单元111D的开关PH2的一端连接至信号线141和晶体管144的源极。S/H单元111D的运算放大器131的输出端连接至晶体管144的栅极。
电流源142连接至信号线141的一端,并且具有恒定电流值的电流在信号线141中流动。信号线141的另一端连接至ADC 112,并且ADC112将经由信号线141流向ADC 112的电流转换为数字值。ADC 112是电流输入型模数转换器。
在信号线141的中间连接有可变电阻145。可变电阻145被设置在连接至S/H单元111P的输出的点与连接至S/H单元111D的输出的点之间。可变电阻145用作列单元116中的模拟增益。
与S/H单元111P保持的电压值和S/H单元111D保持的电压值之间的差值相对应的电流在信号线141中流动。S/H单元111P保持的电压值对应于复位电平的像素信号,并且S/H单元111D保持的电压值对应于信号电平的像素信号。因此,S/H单元111P保持的电压值与S/H单元111D保持的电压值之间的差值就成为当从信号电平的像素信号中减去复位电平的像素信号时能够获得的值,并且成为已从其中去除了复位噪声的像素值。
ADC 112将这样的像素值转换成数字数据,并且将转换后的数据提供给数字处理单元113和增益设定单元115。以这种方式,列单元116基于由S/H单元111P和S/H单元111D分别保持的像素信号获取已经从中去除了复位噪声的像素值,通过ADC 112将像素值转换成数字信号,并且将数字信号提供给数字处理单元113和增益设定单元115。
数字处理单元113具有包括数字钳位单元151、数字增益处理单元152和舍入处理单元153的配置。数字钳位单元151钳制来自ADC 112的数字信号,并且将数字信号提供给数字增益处理单元152。
数字增益处理单元152使用由增益设定单元115设定的增益将增益应用于数字信号,并且将所得数字信号提供给舍入处理单元153。舍入处理单元153执行舍入处理(rounding processing)。ADC 112执行包含小数点后的数字的AD转换,并且舍入处理单元153执行将值舍入为整数值的处理。来自数字处理单元113的输出被提供给转换和发送单元114,与其它类型的数据一起被转换成串行数据,并且被提供给后续处理单元(未示出)。
在来自ADC 112的输出中,在暗电流检测时的输出被提供给增益设定单元115。将增加暗电流检测的说明。如图6所示,使用像素阵列单元51的预定线的像素值进行暗电流检测。
参照图6,在像素阵列单元51的阵列中布置有像素50。在像素阵列单元51中,在一条线上布置有多个像素,并且设置各自包含以这种方式排列的多个像素的多条线。像素阵列单元51的预定线(例如图6中位于顶部的第一行),即,在读出过程中将被最初读出的一条线被遮蔽并且被配置为不接收光。使用对应于此条线的像素值来检测暗电流,并且由增益设定单元115设定对应于暗电流的增益。
注意,现在将说明使用对应于一条线的像素值执行处理的情况的示例,但是也可以使用例如对应于两条或更多条线的像素值来执行处理。
此外,现在将继续使用如图6所示的使用像素阵列单元51的顶部一行执行处理的示例来说明,但是该行的位置不限于顶部一行,并且可以使用底部一行。另外,例如,在使用两条线检测暗电流的情况下,例如,可以将被遮蔽的线用作像素阵列单元51的顶部的一条线和底部的一条线,并且可以使用这两条线执行处理。
说明将返回到图5所示的读取单元53的配置的说明。在列单元116中,向增益设定单元115提供列单元116的输出,该输出是在处理来自用于暗电流检测的像素阵列单元22的线上排列的像素50的信号时获得的。增益设定单元115检测暗电流,并且根据暗电流量在列单元116中和数字处理单元113中的数字增益处理单元152中设置增益。
在图5所示的根据第一实施例的读取单元53中,示出了列单元116中由增益设定单元115设置的增益是可变电阻145的电阻值的案例。例如,在增益设定单元115减小列单元116中的增益的情况下,增益设定单元115将增加数字增益处理单元152的增益。列单元116的增益和数字增益处理单元152的增益例如以这样的方式设定:当一个增益乘以另一个增益时获得的是恒定值。换句话说,以在减小一个增益时增加另一个增益的方式来设定增益。
通过执行这样的增益设定,可以将读取单元53中的增益设定为恒定值,并且可以使用恒定值的增益来执行处理。第一实施例对应于如下情况:调整可变电阻145的电阻值,以此调整列单元116的增益。在要减小列单元116的增益的情况下,可变电阻145的电阻值被设定为较高的值。在要增加列单元116的增益的情况下,可变电阻145的电阻值被设定为较低的值。
将参照图7所示的流程图来说明图5所示的读取单元53的步骤。
在步骤S11中,检测暗电流。如上参考图6所述,通过处理来自像素阵列单元51的遮蔽线上的像素的输出检测暗电流。由于暗电流取决于使用环境并且可能根据例如热变化而波动,所以将以预定间隔或在预定的时间(例如,每次执行图像拍摄时或当通电时)检测暗电流。
在步骤S12中,确定暗电流是否等于或者大于阈值。从遮蔽像素50读出的像素值本来为零,但是由于各种因素,像素值没有变为零。在像素值本来变为零的状态下检测到的电流被称为暗电流。
当输入从遮蔽线读取并且由ADC 112提供的像素值时,即,当输入在此情况下指示暗电流的数字信号时,增益设定单元115判断由数字信号指示的暗电流是否等于或大于阈值。
在步骤S12中判定暗电流不是等于或大于阈值的情况下,进入步骤S13处理。在步骤S13中,增益设定单元115设定列单元116的增益为“×1”。在这种情况下,通过调整可变电阻145的电阻值,将列单元116的模拟增益调整至“×1”。
当以这种方式设定列单元116的模拟增益时,在步骤S14中,设定数字增益为“×1”,作为与模拟增益相对应的数字增益。换句话说,增益设定单元115将数字增益处理单元152的增益设定为“×1”。
当以这种方式设定列单元116的增益和数字增益处理单元152的增益时,使用所设定的增益来执行图像拍摄处理。再次参考图6所示的像素阵列单元51,像素阵列单元51的除了顶部一行以外的各线被视为开口部并且用于接收光。执行从排列在该开口部中的各像素50中获取像素值的处理。
在步骤S15中,ADC 112执行从像素50获得的信号的转换处理。换句话说,ADC 112执行将作为在信号线141中流动的电流的模拟信号的电流值转换为数字信号的电流值的处理。以这种方式,ADC 112是电流输入型模数转换器。此外,ADC 112将模拟信号转换为包含小数点后的数字的数字信号。例如,模拟信号被转换成包含小数点后2位的数字信号。
来自ADC 112的输出经过由设置于ADC 112的后段的数字增益处理单元152执行的数字增益的乘法处理。为了抑制由数字增益引起的图像信息的劣化,ADC 112预先将模拟信号转换为低精度的包含小数点后的数位的数字信号,并且将转换后的信号用作随机数。
例如,在数字增益被设定为“×2”,发生进位,并且如果来自ADC 112的数字数据具有高达整数值的精度的情况下,低位的第一个数字就变成了无意义的数据。换句话说,通过乘以数字增益,图像信息可能会劣化。
然而,如果来自ADC 112的数字数据包括包含小数点后的数值的数据,则小数点后的数值将进位(carry-up),并且能够使整数部分之后的第一位数字中的数据成为有意义的数据。因此,即使数字增益成倍增加,也能够防止图像信息的劣化。
现在将使用ADC 112将模拟信号转换成包含小数点后的数位的数字信号,并且小数点后的位数为2的情况作为示例继续进行说明,但是小数点后的位数可以是除2以外的位数。
在步骤S16中,数字钳位单元151对已从ADC 112提供的包含小数点后2位的数字信号执行数字钳位处理,并且将处理后的数字信号提供给数字增益处理单元152。由于在上述处理中数字增益处理单元152的增益被设定为“×1”,所以数字增益处理单元152执行将所提供的数字信号除以增益“×1”的处理,并且将处理后的数字信号提供给舍入处理单元153。
截至目前所述的处理是使用包含小数点后2位的数据来执行的。然后,在步骤S17中,通过舍入处理单元153对包含小数点后2位的数据的四舍五入,将数据转换为整数值。
另一方面,在步骤S12中判定暗电流等于或大于阈值的情况下,在步骤S19和后续步骤的处理中,将执行用户增益的复位。用户增益是通过将列单元116的增益乘以数字处理单元113的增益而获得的增益。用户增益被设定为恒定增益。也即是,用户增益被设定为1。
在步骤S19中,增益设定单元115将列单元116的模拟增益设置为“×(1/Y)”。在这种情况下,通过调整可变电阻145的电阻值,将列单元116的模拟增益调整为“×(1/Y)”的模拟增益。增益(1/Y)能够被设定为对应于暗电流的大小的值。也即是,作为(1/Y)的值,可以设置多个值而不是预设一个值,并且可以设定对应于暗电流的大小的值。
当以这种方式设定列单元116的模拟增益时,在步骤S20中,数字增益被设定为“×Y”,作为与模拟增益相对应的数字增益。换句话说,增益设定单元115将数字增益处理单元152的增益设定为“×Y”。在这种情况下,由于模拟增益是“1/Y”而数字增益是“Y”,通过将模拟增益乘以数字增益获得的值变为1(=(1/Y)×Y)。
当以这种方式设定列单元116的模拟增益和数字增益处理单元152的数字增益时,使用设定的增益执行图像拍摄处理。由于以基本上与步骤S15和后续步骤中的处理类似的方式执行在步骤S22和后续步骤中的处理,因此这里将省略对其的描述。
以这种方式,根据暗电流的大小设定用户增益(=模拟增益×数字增益),并且能够使用设定的用户增益以被抑制的暗电流执行图像拍摄。此外,通常,如果通过降低模拟增益来改变模拟增益,例如,噪声特性可能劣化。然而,通过将这种电路噪声施加至暗电流占主导的区域,能够通过将电路噪声掩埋至由暗电流导致的噪声中来处理所述电路噪声。
此外,为了防止由数字增益引起的图像信息的劣化,ADC 112预先将模拟数据转换成低精度的包含小数点后的数位的数字数据,并且将转换后的数据用作随机数。因此,能够防止由数字增益引起的图像信息的劣化。
<第二实施例>
接下来,将说明根据第二实施例的读取单元53。图8是示出根据第二实施例的读取单元53的配置示例的示意图。在第二实施例中,将说明通过调整电容器的电容来扩展电路范围和降低噪声的读取单元53。
图8所示的读取单元53(以下将被称为读取单元53b)的配置是与根据图5所示的第一实施例的读取单元53(以下将被称为读取单元53a)的配置类似的配置,但是与读取单元53a不同之处在于由增益设定单元115控制的部分。由于其它部分相似,故将省略对相似部分的说明。
图8所示的读取单元53b的增益设定单元115b通过调整列单元116中的S/H单元111P中包括的电容器C1和列单元116中的S/H单元111D中的电容器C1的电容值来调整列单元116的模拟增益。由于调整S/H单元111P中包括的电容器C1和S/H单元111D中的电容器C1的电容值,所以电容器C1是可变电容式电容器。
在增益设定单元115b以使得用户增益成为恒定值的方式改变模拟增益的情况下,类似于第一实施例,增益设定单元115b将改变数字增益。增益设定单元115b还设定数字处理单元113的数字增益处理单元152的增益。
与第一实施例不同,由于列单元116的电阻145的电阻值没有改变,所以电阻145是具有固定电阻值的电阻。
这里,在电容器C1中可以累积的电荷量用Q表示,电容器C1的电容用C表示,并且施加在电容器C1的电压用V表示的情况下,满足Q=CV代表的关系式。在将要累积相同数量的电荷的情况下(电荷量Q被设定为恒定值),电容C改变为较大值时,电压V就变为较小值。因此,来自S/H单元111的输出电压也变为较小值。以这种方式,通过调整电容器C1的电容C,可以改变来自S/H单元111的输出电压,并且可以调整列单元116中的增益。
以这种方式,通过调整S/H单元111中的电容器C1的电容,能够扩大电路范围,并且能够减少由暗电流等引起的噪声。根据第二实施例的读取单元53b的操作基本上类似于根据第一实施例的读取单元53a的操作,并且基于图7流程图所示的流程图中的过程执行。因此,这里将省略对其的说明。
然而,模拟增益的设定被设为实现需要设定的模拟增益的电容器C1的电容值,并且在数字增益处理单元152中设定与模拟增益相对应的数字增益。
同样,在第二实施例的读取单元53b中,根据暗电流的大小来设定用户增益(=模拟增益×数字增益),并且能够使用所设定的用户增益进行具有被抑制的暗电流的图像拍摄。此外,例如,如果改变模拟增益,噪声特性可能恶化。然而,通过将这样的电路噪声施加至暗电流占主导的区域,能够通过将电路噪声掩埋至由暗电流导致的噪声中来处理所述电路噪声。
此外,为了防止由数字增益引起的图像信息的劣化,ADC 112预先将模拟数据转换成低精度的包括小数点后的数位的数字数据,并且将转换后的数据用作随机数。因此,能够防止由数字增益引起的图像信息的劣化。
<第三实施例>
接下来,将说明根据第三实施例的读取单元53。图9是示出了根据第三实施例的读取单元53的配置示例的示意图。在第三实施例中,将说明通过调整在信号线141中流动的电流来扩展电路范围和降低噪声的读取单元53。
图9所示的读取单元53(以下将称为读取单元53c)的配置与根据图5所示的第一实施例的读取单元53的配置类似,但是与读取单元53a的不同之处在于被增益设定单元115控制的部分。由于其它部分相似,故将省略对相似部分的说明。
图9所示的读取单元53c的增益设定单元115c通过调整列单元116中的电流源112所流出的电流的大小和ADC 112中的电流的大小来调整列单元116的模拟增益。由于将调整列单元116中的电流源112流出的电流的大小,所以电流源112是可变电流型电流源。
注意,在第一实施例和第二实施例中,电流源112是流动恒定电流的恒定电流源。与第一实施例不同,由于列单元116的电阻145的电阻值没有改变,所以电阻145是具有固定电阻值的电阻。
在增益设定单元115c以使用户增益成为恒定值的方式改变模拟增益的情况下,类似于第一实施例,增益设定单元115c将改变数字增益。增益设定单元115c还设定数字处理单元113的数字增益处理单元152的增益。
在由电流源142流出的电流的大小是电流值A的情况下,ADC 112在以幅值是电流值A的情况下设定的比例尺度(scale)来测量输入电流的大小。将假定ADC 112执行相同像素值(将被称为像素值B)的AD转换的情况。
在由电流源142流出的电流的大小是电流值A的情况下,ADC 112以在大小为电流值A的情况下设定的比例尺度测量输入电流的大小,并且将像素值B作为结果输出。例如,当改变电流源142的电流时,如果在不改变ADC 112的比例尺度的情况下执行AD转换,则像素值B的值可能会变成错误的值。
因此,在改变电流源142的电流值的情况下,ADC 112的比例尺度需要改变为与改变的电流值相对应的比例尺度。例如,在期望获得双倍增益的情况下,在保持电流源142的电流不变(×1)时,将ADC 112的比例尺度减半(×1/2)。此外,例如,在ADC 112的比例尺度加倍的情况下,由于施加了1/2增益,所以电流源142的电流将翻倍。以这种方式,以要获得期望增益的方式调整电流源142的电流值和ADC 112的比例尺度的大小。
在ADC 112被构造为根据输入电流值和来自数模转换器(DAC)的输出来执行AD转换的情况下,能够通过改变DAC的电流值来调整ADC 112的比例尺度。例如,在ADC 112的电流值被改变为较小值(ADC 112中的DAC的电流值被改变为较小值)的情况下,ADC结果变大。通过利用这种关系,能够调整ADC 112的比例尺度。
以此方式,通过调整电流源142的电流值和ADC 112的比例尺度,能够扩展电路范围并且能够减少由暗电流等引起的噪声。根据第三实施例的读取单元53c的操作基本上类似于根据第一实施例的读取单元53a的操作,并且基于图7流程图中所示的流程图中的处理执行。因此,这里将省略对其的说明。
然而,模拟增益的设定被设为实现所需设定的模拟增益的电流源142的电流值和ADC 112的比例尺度的组合,并且在数字增益处理单元152中设定与模拟增益相对应的数字增益。
同样,在第三实施例的读取单元53c中,根据暗电流的大小设定用户增益(=模拟增益×数字增益),并且能够使用设定的用户增益进行具有被抑制的暗电流的图像拍摄。此外,例如,如果改变模拟增益,噪声特性可能劣化。然而,通过将这样的电路噪声施加至暗电流占主导的区域,能够通过将所述电路噪声掩埋至由暗电流导致的噪声中来处理所述电路噪声。
此外,为了防止由数字增益引起的图像信息的劣化,ADC 112预先将模拟数据转换成低精度的包含小数点后的数位的数字数据,并且将转换后的数据用作随机数。因此,能够防止由数字增益引起的图像信息的劣化。
在上述实施例中,以增益设定单元115通过设定电阻值、电容值或电流值来抑制暗电流的情况作为示例给出了说明。如上所述,这些实施例可以单独地实现,或者这些实施例也可以组合地实现。例如,增益设定单元115可以设定电阻值和电容值,并且使用电阻值和电容值的组合来抑制暗电流。
<能够应用根据本发明的技术的层叠成像装置的配置示例>
图10是示出了能够应用根据本发明的技术的层叠固态成像装置的配置示例的概况的视图。
图10中的A示出了非层叠固态成像装置的示意性配置示例。如图10中的A所示,固态成像装置510具有一个裸片(半导体基底)511。在该裸片511上,安装有其中像素排列在阵列中的像素区域512、执行包括像素驱动在内的各种控制的控制电路513和用于执行信号处理的逻辑电路514。
根据上述实施例的列单元116、增益设定单元115、数字处理单元113等可以安装在安装控制电路513和逻辑电路514的区域中。
图10中的B和C示出了层叠固态成像装置的示意性配置示例。如图10的B和C所示,在固态成像装置520中,传感器裸片521和逻辑裸片524这两个裸片被层叠并且被电连接以构成为一个半导体芯片。
在图10的B中,传感器裸片521上安装有像素区域512和控制电路513,并且逻辑裸片524上安装有包括执行信号处理的信号处理电路的逻辑电路514。
在图10的C中,传感器裸片521上安装有像素区域512,并且逻辑裸片524上安装有控制电路513和逻辑电路514。
<内窥镜手术系统应用实例>
根据本发明的技术(本技术)可以应用于各种产品。例如,根据本发明的技术可以应用于内窥镜手术系统。
图11是示出了可以应用根据本发明的技术(本技术)的内窥镜手术系统的示意性配置的示例的视图。
在图11中,示出了外科大夫(医生)11131正在使用内窥镜手术系统11000为在病床11133上的患者11132执行手术的状态。如图所示,内窥镜手术系统11000包括内窥镜11100、其它手术工具11110(例如气腹管11111和能量装置11112)、支撑臂装置11120(在其上支撑内窥镜11100)和推车11200,用于内窥镜手术的各种装置装载在推车11200上。
内窥镜11100包括镜筒11101和连接至镜筒11101的近端的摄像头11102,镜筒11101具有从其远端起预定长度的用于插入患者11132的体腔的区域。在所说明的示例中,内窥镜11100被说明为包括作为具有硬型的镜筒11101的刚性内窥镜。然而,内窥镜11100也可以是包括作为具有柔性的镜筒的柔性内窥镜。
镜筒11101在其远端具有安装物镜的开口部。光源装置11203连接至内窥镜11100,使得由光源装置11203产生的光通过在镜筒11101内部延伸的光导引入到镜筒的远端,并且光源装置11203通过物镜向患者11132体腔中的观察目标照射。需要注意的是,内窥镜11100可以是前视内窥镜,或者可以是斜视内窥镜或者侧视内窥镜。
在摄像头11102的内侧设置有光学系统和摄像装置,使得来自观察目标的反射光(观察光)被光学系统汇聚在摄像装置上。摄像装置对观察光进行光电转换,以产生与观察光相对应的电信号,即与观察图像相对应的图像信号。图像信号被作为原始数据发送到相机控制单元(CCU)11201。
CCU 11201包括中央处理单元(CPU)、图形处理单元(GPU)等,并且集中地控制内窥镜11100和显示装置11202的操作。此外,CCU 11201从摄像头11102接收图像信号,并且针对图像信号执行用于基于图像信号显示图像的各种图像处理,例如显影处理(去马赛克处理)。
显示装置11202在CCU 11201的控制下显示基于已由CCU 11201执行了图像处理的图像信号的图像。
光源装置11203包括诸如例如发光二极管(LED)等光源,并且在手术区域等成像时向内窥镜11100提供照射光。
输入装置11204是用于内窥镜手术系统11000的输入接口。使用者可以通过输入装置11204执行输入到内窥镜手术系统11000的各种类型信息或指令的输入。例如,使用者将通过内窥镜11100输入指令等来改变图像拍摄条件(照射光的类型、放大率或焦距等)。
治疗工具控制装置11205控制用于烧灼或切开组织、密封血管等的能量装置11112的驱动。气腹装置11206通过气腹管11111将气体送入患者11132的体腔内以便对体腔充气,以确保内窥镜11100的视野并且确保外科大夫的工作空间。记录器11207是能够记录与手术有关的各种类型的信息的装置。打印机11208是能够以各种形式(例如文本、图像或图形)打印与手术有关的各种类型的信息的装置。
需要注意的是,将手术区域要被成像时的照射光提供至内窥镜11100的光源装置11203可以包括诸如包含LED、激光光源或者它们的组合的白光源。在白光源包括红、绿、蓝(RGB)激光光源的组合的情况下,因为可以高精度地控制各种颜色(各个波长)的输出强度和输出时机,所以可以由光源装置11203执行拍摄图像的白平衡调整。此外,在这种情况下,如果来自各个RGB激光光源的激光束分时地照射到观察目标上,并且与照射时序同步地控制摄像头11102的图像拍摄装置的驱动,则也可以分时地捕捉对应于R、G和B各者的图像。根据刚刚描述的方法,即使没有为图像拍摄装置提供滤色器,也能够获得彩色图像。
此外,可以控制光源装置11203,使得要输出的光的强度在每个预定时间改变。通过与光强度的改变的时序同步地控制摄像头11102的摄像装置的驱动从而分时地获取图像并且合成所述图像,能够创建没有曝光不足阴影和过曝高光的高动态范围的图像。
此外,光源装置11203可以被构造用于提供能够用于特殊光观察的预定波长带的光。在特殊光观察中,例如,通过利用人体组织中光吸收的波长依赖性照射与普通观察的照射光(即白光)相比更窄波段的光,进行以高对比度对预定组织(例如粘膜的表面的血管等)成像的所谓的窄带光观察。或者,在特殊光观察中,可以执行用于由通过激发光照射产生的荧光而获得图像的荧光观察。在荧光观察中,例如,可以通过将激发光照射到身体组织上来观察来自身体组织的荧光(自体荧光观察)或者通过局部注射试剂(诸如吲哚菁绿(ICG))并且将与试剂的荧光波长对应的激发光照射到人体组织上获得荧光图像。光源装置11203可以被构造为提供适于上述的特殊光观察的窄带光和/或激发光。
图12是示出了图11中说明的摄像头11102和CCU 11201的功能配置的示例的框图。
摄像头11102包括透镜单元11401、成像单元11402、驱动单元11403、通信单元11404和摄像头控制单元11405。CCU 11201包括通信单元11411、图像处理单元11412和控制单元11413。摄像头11102和CCU 11201通过传输电缆11400彼此连接以进行通信。
透镜单元11401是设置在与镜筒11101的连接位置处的光学系统。从镜筒11101的远端摄取的观察光被引导到摄像头11102并且被引入到透镜单元11401中。透镜单元11401包括包含变焦透镜和聚焦透镜的多个透镜的组合。
成像单元11402包含的摄像装置的数量可以是一个(所谓的单板型)或者是多个(所谓的多板型)。例如,在成像单元11402被配置为多板型的成像单元的情况下,通过摄像装置生成与R、G和B的各者相对应的图像信号,并且可以合成图像信号以获得彩色图像。成像单元11402还可以被构造为具有用于分别获取用于右眼的图像信号和用于左眼的图像信号的一对摄像装置,从而用于三维(3D)显示。如果执行3D显示,则外科大夫11131能够更准确地理解手术区域中活体组织的深度。应当注意的是,在成像单元11402被配置为多板型的成像单元的情况下,设置有与各个摄像装置相对应的透镜单元11401的多个系统。
此外,成像单元11402不一定被设置在摄像头11102上。例如,可以在镜筒11101内部的紧接着物镜后面设置成像单元11402。
驱动单元11403包含马达,并且在摄像头控制单元11405的控制下,将透镜单元11401的变焦透镜和聚焦透镜沿光轴移动预定距离。因此,能够适当地调整由成像单元11402拍摄的图像的放大率和焦点。
通信单元11404包括用于发送各种类型的信息到CCU 11201和接收来自CCU 11201的各种类型信息的通信装置。通信单元11404通过传输电缆11400将从成像单元11402获取的图像信号作为原始数据发送到CCU 11201。
另外,通信单元11404从CCU 11201接收用于控制摄像头11102的驱动的控制信号,并将该控制信号提供给摄像头控制单元11405。控制信息包括诸如与成像条件相关的信息,例如用于指定拍摄图像的帧率的信息、用于指定拍摄图像时的曝光值的信息和/或用于指定拍摄图像的放大倍数和焦点的信息。
应当注意的是,诸如帧率、曝光值、放大倍数或焦点等的图像拍摄条件可以由用户适当地指定或者可以由CCU 11201的控制单元11413基于获得的图像信号自动设定。在后一种情况下,内窥镜11100包含自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。
摄像头控制单元11405基于来自CCU 11201的通过通信单元11404接收到的控制信号控制摄像头11102的驱动。
通信单元11411包含用于发送各种类型的信息到摄像头11102和接收来自摄像头11102的各种类型的信息的通信装置。通过传输电缆11400,通信单元11411接收从摄像头11102向其发送的图像信号。
此外,通信单元11411发送用于控制摄像头11102的驱动的控制信号到摄像头11102。图像信号和控制信号可以通过电通信、光通信等传输。
图像处理单元11412对从摄像头11102向其发送的原始数据形式的图像信号执行各种图像处理。
控制单元11413执行与由内窥镜11100对手术区域等的图像拍摄以及通过对手术区域等的图像拍摄而获得的被摄图像的显示相关的各种类型的控制。例如,控制单元11413创建用于控制摄像头11102的驱动的控制信号。
此外,控制单元11413基于已经由图像处理单元11412进行了图像处理的图像信号控制显示装置11202,以使其显示对手术区域等成像的被摄图像。因此,控制单元11413可以使用各种图像识别技术来识别所拍摄图像中的各种对象。例如,控制单元11413可以通过检测包含在拍摄图像中的对象的边缘的形状、颜色等来识别例如镊子等手术工具、特定的活体区域、出血、当使用能量装置11112时的雾等等。当控制单元11413控制显示装置11202显示被摄图像时,控制单元11413可以利用识别的结果使各种类型的手术支持的信息以与手术区域的图像交叠的方式而被显示。当手术支持信息以交叠的方式显示并且呈现给外科大夫11131时,能够减轻外科大夫11131的负担,并且外科医生11131可以确信地进行手术。
将摄像头11102和CCU 11201彼此连接的传输电缆11400是能够用于电信号通信的电信号电缆、能够用于光通信的光纤或者能够同时用于电通信和光通信的复合电缆。
这里,虽然在所说明的示例中,通过使用传输电缆11400的有线通信来执行通信,但是也可以通过无线通信来执行摄像头11102和CCU11201之间的通信。
<移动对象的应用示例>
根据本发明的技术可以应用到各种产品。例如,根据本发明的技术还可以实现为作为安装在诸如汽车、电动车、混合动力汽车、摩托车、自行车、个人移动体、飞机、无人机、船舶或机器人等任意类型的移动对象中的装置。
图13是示出了作为可以应用根据本发明的技术的移动对象控制系统的示例的车辆控制系统的示意性配置的示例的框图。
车辆控制系统12000包含多个通过通信网络12001彼此连接的电控制单元。在图13说明的例子中,车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和集成控制单元12050。此外,示出了作为集成控制单元12050的功能配置的微型计算机12051、声音图像输出部12052和车载网络接口(I/F)12053。
驱动系统控制单元12010根据各种类型的程序控制与车辆的驱动系统相关的装置的操作。例如,驱动系统控制单元12010作为用于下述装置的控制装置:产生车辆驱动力的驱动力产生装置(例如内燃机、驱动马达等)、用于传递驱动力到车轮的驱动力传递装置、用于调整车辆转向角的转向装置、用于产生车辆制动力的制动装置等。
车身系统控制单元12020根据各种类型的程序控制设置于车身的各种类型的装置的操作。例如,车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯的控制装置。在这种情况下,作为替代按键的从移动装置发送的无线电波或各种开关的信号可以被输入到车身系统控制单元12020。车身系统控制单元12020接收这些输入的无线电波或信号,并且控制车辆的门锁装置、电动车窗装置或车灯等。
车外信息检测单元12030检测关于包含车辆控制系统12000的车辆的外部的信息。例如,车外信息检测单元12030与成像单元12031连接。车外信息检测单元12030使成像单元12031拍摄车辆外部的图像,并且接收所成像的图像。基于所接收到的图像,车外信息检测单元12030可以执行检测诸如人、车辆、障碍物、标志、路面上的字符等的对象的处理,或者检测到其距离的处理。
成像单元12031是接收光线,并且输出与接收到光的光量相对应的电信号的光学传感器。成像单元12031可以将电信号作为图像输出,或者可以将电信号作为关于测量距离的信息输出。此外,由成像单元12031接收的光可以是可见光,或者可以是诸如红外线等不可见光。
车内信息检测单元12040检测关于车辆的内部的信息。车内信息检测单元12040例如连接至检测驾驶员状态的驾驶员状态检测部12041。驾驶员状态检测部12041例如包括拍摄驾驶员的相机。基于从驾驶员状态检测部12041输入的检测信息,车内信息检测单元12040可以计算驾驶员的疲劳程度或者驾驶员的集中程度,或者可以确定驾驶员是否在打瞌睡。
微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获取的关于车辆内部或外部的信息计算驱动力产生装置、转向装置或制动装置的控制目标值,并且向驱动系统控制单元12010输出控制命令。例如,微型计算机12051可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制,所述功能包括车辆防撞或减震、基于跟车距离的跟车行驶、车速保持行驶、车辆碰撞警告、车辆偏离车道警告等。
此外,微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获取的关于车辆周围的信息,通过控制驱动力产生装置、转向装置、制动装置等执行旨在实现使车辆在不依赖驾驶员操作的情况下自动行驶的自动驾驶等的协同控制。
此外,微型计算机12051可以基于由车外信息检测单元12030获取的关于车辆外部的信息向车身系统控制单元12030输出控制命令。例如,微型计算机12051可以根据由车外信息检测单元12030检测到的前方车辆或迎面而来的车辆的位置,通过控制前照灯从远光变为近光来执行旨在防止眩光的协同控制。
声音图像输出部12052向能够从视觉上或听觉上将信息通知给车内乘客或车辆外部的输出装置发送声音或图像中的至少一种输出信号。在图13的示例中,示出了作为输出装置的音频扬声器12061、显示单元12062和仪表板12063。显示单元12062例如可以包括车载显示器或抬头显示器中的至少一种显示器。
图14是说明成像单元12031的安装位置的示例的示意图。
在图14中,包括作为成像单元12031的成像单元12101、成像单元12102、成像单元12103、成像单元12104和成像单元12105。
成像单元12101、成像单元12102、成像单元12103、成像单元12104和成像单元12105例如被设置在车辆12100的前鼻、侧视镜、后保险杠和后门上的位置以及车辆内部的挡风玻璃的上部的位置等。设置在前鼻的成像单元12101和设置在车辆内部的挡风玻璃上部的成像单元12105主要获取车辆12100的前部的图像。设置在侧视镜的成像单元12102和成像单元12103主要获取车辆12100的侧面的图像。设供在后保险杠或后盖上的成像单元12104主要获取车辆12100的后部的图像。设置在车辆内部的挡风玻璃上部的成像单元12105主要用于检测前面的车辆、行人、障碍物、信号、交通标志或车道等。
顺便说一下,图14示出了成像单元12101至成像单元12104的成像范围的示例。成像范围12111代表设置在前鼻的成像单元12101的成像范围。成像范围12112和12113分别代表设置在侧视镜的成像单元12102和成像单元12103的成像范围。成像范围12114代表设置在后保险杠或后盖上的成像单元12104的成像范围。例如,通过叠加由成像单元12101至成像单元12104成像的图像数据获得从上面俯瞰的车辆12100的鸟瞰图像。
成像单元12101至成像单元12104中的至少一个可以具有获取距离信息的功能。例如,成像单元12101至成像单元12104中的至少一个可以是由多个摄像装置组成的立体相机,或者具有用于相位差检测的像素的摄像装置。
例如,微型计算机可以基于从成像单元12101至成像单元12104获取的距离信息确定在成像范围112111到成像范围12114范围内到各个三维对象的距离和距离上的时间变化(相对于车辆12100的相对速度),并由此选取特别是在车辆12100的行驶路径上并且以预定速度(例如,等于或大于0千米/小时)沿着与车辆12100大致相同的方向行驶的最靠近的三维物体作为前行车辆。进一步,微型计算机12051可以预先设定与前方车辆要保持的跟车距离,并且进行自动制动控制(包括跟车停车控制)、自动加速控制(包括跟车起动控制)等。因此,可以执行旨在自动驾驶的协同控制,使得车辆在不依赖于驾驶员等的操作的情况下自动行驶。
例如,微型计算机12501可以基于从成像单元12101至成像单元12104获取的距离信息将关于三维物体的三维物体数据分类为两轮车辆、标准车辆、大型车辆、行人或电线杆等其它三维对象的数据,提取分类后的三维对象数据,并且利用提取的三维物体数据进行自动避障。例如,微型计算机12051将车辆12100周围的障碍物分为车辆12100的驾驶员能够视觉识别的障碍物和车辆12100的驾驶员难以视觉识别的障碍物。然后,微型计算机12051确定用于指示与各个障碍物碰撞的风险的碰撞风险。在碰撞风险等于或者高于设定值并且因此存在碰撞可能性的情况下,微型计算机12051经由音频扬声器12061或者显示单元12062向驾驶员发出警告,并且通过驱动系统控制单元12010执行强制减速或者避险转向。微型计算机12051从而可以协助驾驶以避免碰撞。
成像单元12101至成像单元12104中至少有一个成像单元可以是检测红外线的红外相机。微型计算机12051可以例如通过确定成像单元12101至成像单元12104的被摄图像中是否存在行人来识别行人。例如,这样的行人识别是通过如下步骤进行的:提取作为红外相机的成像单元12101至成像单元12104的被摄图像中的特征点;和通过对代表物体轮廓的一系列特征点进行模式匹配处理来确定是否是行人。如果微型计算机12051确定在成像单元12101至成像单元12104的被摄图像中存在行人,并因此识别出了行人,则声音图像输出部12052将控制显示单元12062,以使用于强调的方形轮廓线被显示为叠加在识别的行人上。此外,声音图像输出部12052还可以控制显示单元12062,以便在需要的位置显示代表行人的图标等。
此外,本说明书中描述的有益效果仅仅是示例性的而不是限制性的,并且可以获得额外的有益效果。
注意,本技术的实施例不限于上述实施例,并且可以在不偏离本技术精神的范围内进行各种改变。
此外,本技术可以有如下配置。
(1)
一种摄像装置,其包括:
采样和保持单元,所述采样和保持单元用于执行像素信号的采样和保持;
AD(模数)转换单元,所述AD转换单元用于执行包含小数点后的数位的所述像素信号的AD转换;
数字增益处理单元,所述数字增益处理单元用于将预定增益施加至来自所述AD转换单元的数字信号;和
增益设定单元,所述增益设定单元用于设定列单元的模拟增益,所述列单元包括所述采样和保持单元以及所述AD转换单元。
(2)
根据(1)所述的摄像装置,
其中,所述增益设定单元根据测量的暗电流量设定所述模拟增益。
(3)
根据(1)或(2)所述的摄像装置,
其中,所述增益设定单元以使通过所述模拟增益乘以所述数字增益获得的值成为恒定值的方式设定所述模拟增益和所述数字增益。
(4)
根据(1)至(3)中任一项所述的摄像装置,
其中,所述列单元包括可变电阻,并且
所述增益设定单元设定所述可变电阻的电阻值,使得在所述电阻值处获得设定的模拟增益。
(5)
根据(1)至(3)中任一项所述的摄像装置,
其中,所述可变电阻设置在第一采样和保持单元与第二采样和保持单元之间,所述第一采样和保持单元用于保持像素复位信号,所述第二采样和保持单元用于保持像素数据信号。
(6)
根据(1)至(5)中任一项所述的摄像装置,
其中,所述采样和保持单元包括电容器,并且
所述增益设定单元设定所述电容器的电容值,使得在所述电容值处获得设定的模拟增益。
(7)
根据(1)至(6)中任一项所述的摄像装置,进一步包括:
电流源,用于使预定电流流向连接至所述AD转换单元的信号线,
其中,所述增益设定单元设定所述电流源的电流值,使得在所述电流值处获得设定的模拟增益。
(8)
根据(7)所述的摄像装置,
其中,在改变所述电流源的电流值的情况下,所述增益设定单元将所述AD转换单元的电流值设定为与所述电流源的电流值相对应的值。
(9)
一种电子设备,其包括:
摄像装置;和
信号处理单元,所述信号处理单元用于处理从所述摄像装置输出的信号;
其中,所述摄像装置包括:
采样和保持单元,所述采样和保持单元用于执行像素信号的采样和保持;
AD(模数)转换单元,所述AD转换单元用于执行包含小数点后的数位的所述像素信号的AD转换;
数字增益处理单元,所述数字增益处理单元用于将预定增益施加至来自所述AD转换单元的数字信号;和
增益设定单元,所述增益设定单元用于设定列单元的模拟增益,所述列单元包括所述采样和保持单元以及所述AD转换单元。
附图标记列表
10 成像装置
11 透镜组
12 摄像装置
13 DSP电路
14 帧存储器
15 显示单元
16 记录单元
17 操作系统
18 电源系统
19 总线
20 CPU
22 像素阵列单元
50 像素
51 像素阵列单元
52 行选择单元
53 读取单元
54 控制线
55 垂直信号线
72 传输晶体管
74 复位晶体管
75 放大晶体管
76 选择晶体管
111 S/H单元
112 电流源
113 数字处理单元
114 转换和发送单元
115 增益设定单元
116 列单元
131 运算放大器
141 信号线
142 电流源
143 晶体管
144 晶体管
145 电阻
151 数字钳位单元
152 数字增益处理单元
153 处理单元

Claims (9)

1.一种摄像装置,其包括:
采样和保持单元,所述采样和保持单元用于执行像素信号的采样和保持;
AD(模数)转换单元,所述AD转换单元用于执行包含小数点后的数位的所述像素信号的AD转换;
数字增益处理单元,所述数字增益处理单元用于将预定的增益施加至来自所述AD转换单元的数字信号;和
增益设定单元,所述增益设定单元用于设定列单元的模拟增益,所述列单元包括所述采样和保持单元以及所述AD转换单元。
2.根据权利要求1所述的摄像装置,
其中,所述增益设定单元根据测量的暗电流量设定所述模拟增益。
3.根据权利要求1所述的摄像装置,
其中,所述增益设定单元以使通过所述模拟增益乘以所述数字增益获得的值成为恒定值的方式设定所述模拟增益和所述数字增益。
4.根据权利要求1所述的摄像装置,
其中,所述列单元包括可变电阻,并且
所述增益设定单元设定所述可变电阻的电阻值,使得在所述电阻值处获得设定的模拟增益。
5.根据权利要求4所述的摄像装置,
其中,所述可变电阻设置在第一采样和保持单元与第二采样和保持单元之间,所述第一采样和保持单元用于保持像素复位信号,所述第二采样和保持单元用于保持像素数据信号。
6.根据权利要求1所述的摄像装置,
其中,所述采样和保持单元包括电容器,并且
所述增益设定单元设定所述电容器的电容值,使得在所述电容值处获得设定的模拟增益。
7.根据权利要求1所述的摄像装置,进一步包括:
电流源,用于使预定电流流向连接至所述AD转换单元的信号线,
其中,所述增益设定单元设定所述电流源的电流值,使得在所述电流值处获得设定的模拟增益。
8.根据权利要求7所述的摄像装置,
其中,在改变所述电流源的电流值的情况下,所述增益设定单元将所述AD转换单元的电流值设定为与所述电流源的电流值相对应的值。
9.一种电子设备,其包括:
摄像装置;和
信号处理单元,所述信号处理单元用于处理从所述摄像装置输出的信号;
其中,所述摄像装置包括:
采样和保持单元,所述采样和保持单元用于执行像素信号的采样和保持;
AD(模数)转换单元,所述AD转换单元用于执行包含小数点后的数位的所述像素信号的AD转换;
数字增益处理单元,所述数字增益处理单元用于将预定的增益施加至来自所述AD转换单元的数字信号;和
增益设定单元,所述增益设定单元用于设定列单元的模拟增益,所述列单元包括所述采样和保持单元以及所述AD转换单元。
CN201980016191.1A 2018-03-05 2019-02-20 摄像装置和电子设备 Active CN111801935B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-038235 2018-03-05
JP2018038235A JP2019153946A (ja) 2018-03-05 2018-03-05 撮像素子、電子機器
PCT/JP2019/006222 WO2019171947A1 (ja) 2018-03-05 2019-02-20 撮像素子、電子機器

Publications (2)

Publication Number Publication Date
CN111801935A true CN111801935A (zh) 2020-10-20
CN111801935B CN111801935B (zh) 2023-10-24

Family

ID=67847238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980016191.1A Active CN111801935B (zh) 2018-03-05 2019-02-20 摄像装置和电子设备

Country Status (5)

Country Link
US (1) US11252355B2 (zh)
JP (1) JP2019153946A (zh)
KR (1) KR20200125593A (zh)
CN (1) CN111801935B (zh)
WO (1) WO2019171947A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022119469A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999060524A1 (en) * 1997-05-14 1999-11-25 Cirrus Logic, Inc. System and method for enhancing dynamic range in images
US6806901B1 (en) * 2000-10-31 2004-10-19 Texas Instruments Incorporated Controlling the range and resolution of offset correction applied to the output of a charge coupled device
US20080094489A1 (en) * 2006-10-24 2008-04-24 Sony Corporation Solid-state image pickup device and image pickup apparatus
JP2008187565A (ja) * 2007-01-31 2008-08-14 Sony Corp 固体撮像装置及び撮像装置
JP2009218682A (ja) * 2008-03-07 2009-09-24 Panasonic Corp フロントエンド信号処理方法およびフロントエンド信号処理回路と撮像装置
US20120132824A1 (en) * 2010-11-26 2012-05-31 Fujifilm Corporation Radiographic image detecting apparatus and radiographic image capturing system
US20170127002A1 (en) * 2015-10-30 2017-05-04 Sony Semiconductor Solutions Corporation Adaptive gain control using sample-and-hold circuit for analog cds

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020176009A1 (en) * 1998-05-08 2002-11-28 Johnson Sandra Marie Image processor circuits, systems, and methods
US6686957B1 (en) * 1999-03-31 2004-02-03 Cirrus Logic, Inc. Preview mode low resolution output system and method
US6974973B2 (en) * 2002-11-08 2005-12-13 Micron Technology, Inc. Apparatus for determining temperature of an active pixel imager and correcting temperature induced variations in an imager
JP4971834B2 (ja) 2007-03-01 2012-07-11 キヤノン株式会社 撮像装置及び撮像システム
TWI514876B (zh) * 2013-09-18 2015-12-21 Silicon Optronics Inc 影像感測器及其補償方法
CN112218015B (zh) * 2015-09-30 2024-02-23 株式会社尼康 摄像元件、摄像装置及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999060524A1 (en) * 1997-05-14 1999-11-25 Cirrus Logic, Inc. System and method for enhancing dynamic range in images
US6806901B1 (en) * 2000-10-31 2004-10-19 Texas Instruments Incorporated Controlling the range and resolution of offset correction applied to the output of a charge coupled device
US20080094489A1 (en) * 2006-10-24 2008-04-24 Sony Corporation Solid-state image pickup device and image pickup apparatus
JP2008187565A (ja) * 2007-01-31 2008-08-14 Sony Corp 固体撮像装置及び撮像装置
JP2009218682A (ja) * 2008-03-07 2009-09-24 Panasonic Corp フロントエンド信号処理方法およびフロントエンド信号処理回路と撮像装置
US20120132824A1 (en) * 2010-11-26 2012-05-31 Fujifilm Corporation Radiographic image detecting apparatus and radiographic image capturing system
US20170127002A1 (en) * 2015-10-30 2017-05-04 Sony Semiconductor Solutions Corporation Adaptive gain control using sample-and-hold circuit for analog cds

Also Published As

Publication number Publication date
JP2019153946A (ja) 2019-09-12
WO2019171947A1 (ja) 2019-09-12
US20210160443A1 (en) 2021-05-27
KR20200125593A (ko) 2020-11-04
US11252355B2 (en) 2022-02-15
CN111801935B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN110050459B (zh) 固态成像元件和电子设备
CN110537367B (zh) 固态成像捕捉装置和电子装置
EP3833015A1 (en) Solid-state imaging device
US11756971B2 (en) Solid-state imaging element and imaging apparatus
US20230421913A1 (en) Signal processing method and imaging apparatus
US20230224602A1 (en) Solid-state imaging device
US11778345B2 (en) Information processing device, information processing method, and information processing program
CN111801935B (zh) 摄像装置和电子设备
CN111713100B (zh) 摄像器件和电子设备
JP2022015325A (ja) 固体撮像装置および電子機器
WO2022085476A1 (ja) 固体撮像装置および信号処理方法
US20230412943A1 (en) Imaging device and imaging method
US20230412945A1 (en) Image pickup apparatus
WO2021090663A1 (ja) 撮像デバイス及び撮像デバイスにおける画素信号の補正処理方法
WO2023210354A1 (ja) 光検出装置および増幅回路
CN117083873A (zh) 固态成像装置、电子设备和移动体
JP2019022020A (ja) 固体撮像素子、固体撮像素子の駆動方法および電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant