CN115699791A - 成像装置和成像方法 - Google Patents

成像装置和成像方法 Download PDF

Info

Publication number
CN115699791A
CN115699791A CN202180037011.5A CN202180037011A CN115699791A CN 115699791 A CN115699791 A CN 115699791A CN 202180037011 A CN202180037011 A CN 202180037011A CN 115699791 A CN115699791 A CN 115699791A
Authority
CN
China
Prior art keywords
unit
threshold value
photoelectric conversion
threshold
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180037011.5A
Other languages
English (en)
Inventor
児玉和俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN115699791A publication Critical patent/CN115699791A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/65—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Air Bags (AREA)
  • Studio Devices (AREA)

Abstract

[问题]不存在引起无用事件的可能性。[解决方案]一种成像装置包括：光电转换单元，包括执行光电转换以产生电信号的多个光电转换元件；设置单元，根据多个光电转换元件的预定区域的噪声水平设置阈值；以及第一检测单元，在由多个光电转换元件产生的电信号的变化量超过阈值的情况下，检测检测信号。

Description

成像装置和成像方法
技术领域
本公开涉及成像装置和成像方法。
背景技术
作为事件驱动型成像装置之一，提出了被称为动态视觉传感器(DVS)的异步成像装置(例如参照专利文献1)。在异步成像装置中，仅当场景中发生特定事件(例如，移动)时，获取由事件引起的亮度水平已经改变的部分的数据。因此，与不必要地以固定帧速率获取图像的所有数据的普通同步成像装置相比，异步成像装置能够以高得多的速度获取图像数据。
引用列表
专利文献
专利文献1：JP 2017-535999 A
发明内容
本发明要解决的问题
由于DVS的灵敏度优异，因此DVS还对由成像装置中的光电转换元件的噪声引起的电信号的变化做出反应，并且即使在最初没有运动的场景中也可能产生事件。此外，生成最初必需的不必要事件增加了DVS的功耗。
因此，本公开提供了不引起无用事件的成像装置和成像方法。
问题的解决方案
为了解决上述问题，根据本公开，提供了一种成像装置，包括：
光电转换单元，包括执行光电转换以产生电信号的多个光电转换元件；
设置单元，根据多个光电转换元件的预定区域的噪声水平设置阈值；以及
第一检测单元，在由多个光电转换元件生成的电信号的变化量超过阈值的情况下，检测检测信号。
可以对预定区域中的光电转换元件遮光，以及
除了预定区域之外的光电转换元件各自可以光电转换入射光以产生电信号。
多个光电转换元件可布置为二维矩阵，并且遮光区域可对应于光电转换元件以行为单元的布置或光电转换元件以列为单元的布置中的至少一者。
在以行为单元的光电转换元件的布置和在以列为单元的光电转换元件的布置可以包括布置为二维矩阵的多个光电转换元件的端部。
设置单元可以基于在预定区域中由光电转换元件生成的电信号的变化量的绝对值在预定时间段中超过阈值的数量来设置阈值。
第一检测单元可以，在电信号的信号电平增加的方向上的变化量的绝对值超过第一阈值时，检测第一检测信号，并且可以在电信号的信号电平减小的方向上的变化量的绝对值超过第二阈值时，检测第二检测信号，以及
设置单元，
可基于在预定区域中由电转换元件生成的电信号的信号电平增加的方向上的变化量的绝对值在预定时间段中超过第一阈值的数量来设置第一阈值，以及
可基于在预定区域中由电转换元件生成的电信号的信号电平减小的方向上的变化量的绝对值在预定时间段中超过第二阈值的数量来设置第二阈值。
设置单元也可以基于在预定时间段中超过阈值的数量来分阶段地设置阈值。
设置单元可以随时间流逝而减小阈值的变化率。
设置单元可以以渐近地接近初始设置值的方式而减小阈值的变化率。
设置单元在将阈值设置为第一阶段的阈值后，以渐近地接近预定的设置值的方式减小变化率。
设置单元在预定时间段中超过阈值的数量少于预定值的情况下，不改变阈值。
设置单元可以根据与多个光电转换元件相对应的温度来设置阈值。
设置单元可以随着温度变化的增加而增加阈值的变化率。
第一检测单元可顺序地读取预定区域中的光电转换元件的电信号，以及
设置单元可以对在预定时间段内超过阈值的检测信号的数量进行计数。
为了解决上述问题，根据本公开，提供了一种成像方法，包括：
根据被遮光的光电转换元件的噪声水平设置阈值；以及
在由多个光电转换元件生成的电信号的变化量的绝对值超过阈值的情况下检测检测信号，多个光电转换元件中的每一个对入射光进行光电转换以生成电信号。
附图说明
图1是示出根据本公开的技术所应用的成像系统的系统配置的示例的框图。
图2是示出根据本公开的第一配置示例的成像装置的配置示例的框图。
图3是示出了像素阵列单元的配置的示例的框图。
图4是示出像素的电路配置的示例的电路图。
图5是示出地址事件检测单元的第一配置示例的框图。
图6是示出遮光像素的地址事件检测单元的第一配置示例的框图。
图7是示出了电流-电压转换单元的配置的示例的电路图。
图8是示出地址事件检测单元中的减法器和量化器的配置的示例的电路图。
图9是示出地址事件检测单元的第二配置示例的框图。
图10是示出遮光像素的地址事件检测单元的第二配置示例的框图。
图11是示出根据本公开的第二配置示例的成像装置的配置示例的框图。
图12是示意性示出成像装置的层压芯片结构的分解透视图。
图13是示出根据第一配置示例的成像装置的列处理单元的配置的示例的框图。
图14是示出噪声事件与温度之间的关系的示意图。
图15是示出阈值控制单元的处理示例的流程图。
图16是示出并行处理中的阈值控制单元的处理示例的流程图。
图17是示出图15和图16中的步骤S1000的处理示例的流程图。
图18是示意性示出在图17中示出的处理示例的示图。
图19是示出图17中所示的执行三个周期的处理的示例的示图。
图20是示出了独立地调整第一阈值和第二阈值的处理示例的流程图。
图21是示意性地示出了独立地调整第一阈值和第二阈值的处理示例的示图。
图22是示出在并行处理中独立地调整第一阈值和第二阈值的处理示例的流程图。
图23是示出阈值分阶段地改变的示例的流程图。
图24是示意性示出在图23中所示的处理示例的示图。
图25是示出第一阈值分阶段地改变的示例的流程图。
图26是示意性地示出了第一阈值分阶段地改变的示例的示图。
图27是示出分阶段地改变第二阈值的示例的流程图。
图28是示意性地示出了第二阈值分阶段地改变的示例的示图。
图29是示出设置有死区的示例的流程图。
图30是示意性地示出了设置有死区的第二阈值分阶段地改变的示例的示图。
图31是示出了阈值的变化量根据温度变化而改变的示例的流程图。
图32是示意性示出阈值的变化量根据温度变化而改变的示例的流程图。
图33是示出根据第一实施例的变形例的成像装置的配置的框图。
图34为示出作为可应用根据本公开的技术的移动体控制系统的示例的车辆控制系统的示意性配置示例的框图。
图35是表示成像单元和车辆外部信息检测单元的安装位置的示例的示图。
具体实施方式
在下文中，将参考附图描述成像装置和成像方法的实施例。虽然以下将主要描述成像装置的主要组件，但是成像装置可具有未示出或未描述的组件和功能。以下描述不排除未示出或描述的组件和功能。
(第一实施例)
图1是示出根据本公开的技术所应用的成像系统的系统配置的示例的框图。
如图1所示，应用根据本公开的技术的成像系统10包括成像透镜11、记录单元12、控制单元13以及成像装置20。成像系统10是本公开的电子装置的示例，并且电子装置的示例包括安装在工业机器人上的相机系统、车载相机系统等。
在具有以上配置的成像系统10中，成像透镜11捕获来自对象的入射光并且在成像装置20的成像表面上形成图像。成像装置20以像素为单位光电转换由成像透镜11捕获的入射光以获取成像数据。作为成像装置20，使用稍后描述的本公开的成像装置。
成像装置20对捕获的图像数据进行图像识别处理等预定的信号处理，将随后要描述的表示处理结果的数据和地址事件的检测信号(以下，有时简称为“检测信号”)输出到记录单元12。稍后将描述生成地址事件的检测信号的方法。记录单元12存储经由信号线14从成像装置20供应的数据。控制单元13包括例如微型计算机，并且控制成像装置20中的成像操作。
[根据第一配置示例的成像装置(判别方法)]
图2为示出根据第一配置示例的成像装置的配置示例的框图，该成像装置用作应用根据本公开的技术的成像系统10中的成像装置20。
如图2所示，根据本公开的作为成像装置的第一配置示例的成像装置20是称为DVS的异步成像装置，并且包括像素阵列单元21、驱动单元22、判别单元(判别器单元)23、列处理单元24、信号处理单元25和设置单元26。另外，设置单元26具有计数单元26a和阈值控制单元26b。
在具有以上配置的成像装置20中，多个像素30在像素阵列单元21中以矩阵(阵列)二维布置。稍后将描述的垂直信号线VSL相对于该矩阵状像素布置针对每个像素列布线。
多个像素30中的每一个产生对应于光电流的电压的模拟信号作为像素信号。此外，多个像素30中的每一个基于光电流的变化量是否超过预定阈值来检测地址事件的存在或不存在。然后，当地址事件发生时，像素30向判别单元23输出请求。
此外，像素阵列单元21设置有遮挡光的遮光区域21a。另一方面，除了遮光区域21a，光接收区域21b设置在像素阵列单元21中。
设置遮光区域21a例如对应于在上端部处的以行为单位的多个像素30。或者，可以以列为单位对应于多个像素30设置遮光区域21a。如上所述，遮光区域21a设置在像素阵列单元21的上端部、下端部、左端部或者右端部中的至少一者中，以覆盖多个像素30。除了光不入射之外，遮光区域21a中的像素30的配置与遮光区域21a以外的像素30的配置相同。因此，遮光区域21a中的多个像素30基于例如由于暗时噪声引起的电流的变化量是否超过预定阈值来检测地址事件的存在或不存在。此外，在本实施例中，遮光区域21a中的像素30可被称为遮光像素30。
温度传感器21c获取与像素阵列单元21中的多个像素30相对应的温度，并且将包括温度信息的信号供应至设置单元26的阈值控制单元26b。
驱动单元22驱动布置在除遮光区域21a以外的光接收区域21b中的多个像素30中的每一个，以将在每个像素30中生成的像素信号输出至列处理单元24。
判别单元23判别来自多个像素30中的每一个的请求并将基于判别结果的响应传输至像素30。已从判别单元23接收响应的像素30将指示检测结果的检测信号(地址事件的检测信号)供应至驱动单元22和信号处理单元25。可通过读取多个行来执行从像素30读取检测信号。
列处理单元24包括例如模数转换器，并且针对像素阵列单元21的每个像素列，执行将从行的像素30输出的模拟像素信号转换成数字信号的处理。然后，列处理单元24将模数转换的数字信号供应至信号处理单元25。
信号处理单元25对从列处理单元24供应的数字信号执行预定信号处理，诸如，相关双采样(CDS)处理或图像识别处理。然后，信号处理单元25经由信号线14将指示处理结果的数据和从判别单元23供应的检测信号供应至记录单元12(参见图1)。
设置单元26设置用于检测地址事件的存在或不存在的阈值。例如，设置单元26根据多个遮光像素30的噪声水平设置阈值。计数单元26a对在遮光像素30中生成的地址事件进行计数。
阈值控制单元26b根据计数单元26a计数的地址事件的数量，在随后要描述的地址事件检测单元33中设置用于检测地址事件的存在或不存在的阈值。阈值控制单元26b包括例如寄存器，并且可设置地址事件的阈值和寄存器发生的地址事件的数量的阈值。此外，阈值控制单元26b的详细内容在之后描述。
[像素阵列单元的配置示例]
图3是示出了像素阵列单元21的配置的示例的框图。
在多个像素30以矩阵二维布置的像素阵列单元21中，多个像素30中的每一个包括光接收单元31、像素信号生成单元32和地址事件检测单元33。
在具有以上配置的像素30中，在光接收区域21b中的光接收单元31光电转换入射光以产生光电流。然后，在驱动单元22的控制下，光接收单元31将通过光电转换产生的光电流供应至像素信号生成单元32或者地址事件检测单元33(参见图2)。
另一方面，遮光像素的光接收单元31输出与诸如暗电流的噪声分量对应的输出电流。然后，遮光像素的光接收单元31在驱动单元22的控制下将对应于噪声分量的电流供应至地址事件检测单元33(参见图2)。
像素信号生成单元32生成对应于从光接收区域21b中的光接收单元31供应的光电流的电压的信号作为像素信号SIG，并且经由垂直信号线VSL将所生成的像素信号SIG供应至列处理单元24(参见图2)。
地址事件检测单元33基于来自光接收区域21b中的光接收单元31的每一个的光电流的变化量是否超过预定阈值来检测地址事件的存在或不存在。地址事件(以下，有时简称为“事件”)包括例如表示光电流的变化量超过上限第一阈值的接通事件和表示该变化量低于下限第二阈值的断开事件。此外，地址事件的检测信号包括例如指示接通事件的检测结果的一位和指示断开事件的检测结果的一位。注意，地址事件检测单元33可被配置为仅检测接通事件。
另一方面，遮光像素的地址事件检测单元33基于从遮光像素的光接收单元31中的每一个输出的电流的变化量是否超过预定阈值来检测地址事件的存在或不存在。地址事件包括例如指示输出电流的变化量超过上限第一阈值的接通事件和指示变化量低于下限第二阈值的断开事件。此外，地址事件的检测信号包括例如指示接通事件的检测结果的一位和指示断开事件的检测结果的一位。注意，地址事件检测单元33可被配置为仅检测接通事件或仅检测断开事件。
当地址事件发生时，在光接收区域21b中的地址事件检测单元33将用于请求发送地址事件的检测信号的请求供应至判别单元23(参见图2)。然后，在接收到对响应于来自判别单元23的请求时，地址事件检测单元33将地址事件的检测信号供应至驱动单元22和信号处理单元25。
另一方面，当发生地址事件时，遮光像素的地址事件检测单元33将地址事件的检测信号供应至设置单元26的计数单元26a。然后，计数单元26a对接通事件和断开事件的数量进行计数，并将该计数数量供应至阈值控制单元26b。利用这种配置，遮光像素的地址事件检测单元33可以通过与光接收区域21b中的地址事件检测单元33不同的路径将包括事件信息的检测信号供应至设置单元26。
[像素的电路配置示例]
图4是示出像素30的电路配置的示例的电路图。如上所述，多个像素30中的每一个包括光接收单元31、像素信号生成单元32和地址事件检测单元33。
在具有以上配置的像素30中，光接收单元31包括光接收元件(光电转换元件)311、传输晶体管312、以及过流栅极(OFG)晶体管313。例如，使用N型金属氧化物半导体(MOS)晶体管作为传输晶体管312和OFG晶体管313。传输晶体管312和OFG晶体管313彼此串联连接。
光接收区域21b中的光接收元件311连接在传输晶体管312和OFG晶体管313的公共连接节点N1与地之间，并且光电转换入射光以产生对应于入射光的光量的电荷量的电荷。
另一方面，遮光像素的光接收元件311连接在传输晶体管312和OFG晶体管313的公共连接节点N1与地之间，并且生成对应于噪声分量的电荷量的电荷。遮光像素的光接收元件311的传输晶体管312总是处于断开状态，并且停止向像素信号生成单元32的电荷供应。因此，遮光像素30不必包括传输晶体管312和像素信号生成单元32。
传输信号TRG从图2中所示的驱动单元22供应至在光接收区21b中的传输晶体管312的栅极电极。响应于传输信号TRG，传输晶体管312将由光接收元件311光电转换的电荷供应至像素信号生成单元32。
从驱动单元22向OFG晶体管313的栅极电极供应控制信号OFG。响应于控制信号OFG，OFG晶体管313将由光接收元件311生成的电信号供应至地址事件检测单元33。供应至地址事件检测单元33的电信号是包含电荷的光电流。
像素信号生成单元32包括复位晶体管321、放大晶体管322、选择晶体管323和浮动扩散层324。例如，使用N型MOS晶体管作为复位晶体管321、放大晶体管322以及选择晶体管323。
由光接收元件311光电转换的电荷由传输晶体管312从光接收单元31供应至像素信号生成单元32。从光接收单元31供应的电荷累积在浮动扩散层324中。浮动扩散层324产生具有对应于累积电荷量的电压值的电压信号。即，浮动扩散层324将电荷转换成电压。
复位晶体管321连接在电源电压VDD的电源线与浮动扩散层324之间。从驱动单元22向复位晶体管321的栅极电极供应复位信号RST。复位晶体管321响应于复位信号RST初始化(复位)浮动扩散层324的电荷量。
放大晶体管322与选择晶体管323在电源电压VDD的电源线与垂直信号线VSL之间串联连接。放大晶体管322放大经受由浮动扩散层324进行的电荷-电压转换的电压信号。
选择信号SEL从驱动单元22供应至选择晶体管323的栅极电极。响应于选择信号SEL，选择晶体管323经由垂直信号线VSL将由放大晶体管322放大的电压信号输出至列处理单元24(参见图2)作为像素信号SIG。
在包括二维地布置有具有上述配置的像素30像素阵列单元21的成像装置20中，当图1中所示的控制单元13给出开始检测光接收区域21b的地址事件的指令时，驱动单元22将控制信号OFG供应至光接收单元31的OFG晶体管313，驱动OFG晶体管313以将光电流供应至地址事件检测单元33。
另一方面，当图1中所示的控制单元13给出开始检测遮光像素的地址事件的指令时，驱动单元22将控制信号OFG供应至遮光像素的光接收单元31的OFG晶体管313，驱动OFG晶体管313以将输出电流供应至地址事件检测单元33。
然后，当在光接收区域21b中的像素30中检测到地址事件时，驱动单元22断开像素30的OFG晶体管313并且停止向地址事件检测单元33的光电流的供应。接下来，驱动单元22通过将传输信号TRG供应至传输晶体管312来驱动传输晶体管312，并且将由光接收元件311光电转换的电荷传输至浮动扩散层324。
以这种方式，包括二维地布置有具有上述配置的像素30的像素阵列单元21的成像装置20仅将其中检测到地址事件的光接收区域21b中的像素30的像素信号输出至列处理单元24。另一方面，遮光像素30仅用于检测地址事件。因此，与输出所有像素的像素信号的情况相比，无论地址事件的存在或不存在，成像装置20的功耗和图像处理的处理量都可以减少。
注意，这里例示的像素30的配置是示例，并且不限于该配置示例。例如，像素配置不必包括像素信号生成单元32。在这种像素配置的情况下，在光接收单元31中，仅需要省略OFG晶体管313并且使传输晶体管312具有OFG晶体管313的功能。
[地址事件检测单元的第一配置示例]
图5是示出在光接收区域21b中的地址事件检测单元33的第一配置示例的框图。图6是示出遮光像素的地址事件检测单元33的第一配置示例的框图。如图5和图6所示，根据本配置示例的地址事件检测单元33包括电流-电压转换单元331、缓冲器332、减法器333、量化器334和传输单元335。
电流-电压转换单元331将来自像素30的光接收单元31的光电流转换成对数电压信号。电流-电压转换单元331将转换的电压信号供应至缓冲器332。缓冲器332缓冲从电流-电压转换单元331供应的电压信号并且将电压信号供应至减法器333。
从驱动单元22向减法器333提供行驱动信号。减法器333根据行驱动信号降低从缓冲器332供应的电压信号的电平。然后，减法器333将电平减小之后的电压信号供应至量化器334。量化器334将从减法器333供应的电压信号量化成数字信号，并将数字信号作为地址事件的检测信号输出至传输单元335。
如图5所示，光接收区域21b的传输单元335将从量化器334供应的地址事件的检测信号传输至判别单元23等。当检测到地址事件时，传输单元335向判别单元23供应用于请求发送地址事件的检测信号的请求。然后，当从判别单元23接收到对请求的响应时，传输单元335将地址事件的检测信号供应至驱动单元22和信号处理单元25。
另一方面，如图6所示，遮光像素的传输单元335将从量化器334供应的地址事件的检测信号传输至设置单元26。
接下来，将描述地址事件检测单元33中的电流-电压转换单元331、减法器333和量化器334的配置示例。
(电流-电压转换单元的配置示例)
图7是示出地址事件检测单元33中的电流-电压转换单元331的配置的示例的电路图。如图7所示，根据本实施例的电流-电压转换单元331具有包括N型晶体管3311、P型晶体管3312和N型晶体管3313的电路配置。例如，使用MOS晶体管作为这些晶体管3311至3313。
N型晶体管3311连接在电源电压VDD的电源线与信号输入线3314之间。P型晶体管3312和N型晶体管3313串联连接在电源电压VDD的电源线与地之间。然后，P型晶体管3312和N型晶体管3313的公共连接节点N2连接到图5和6中所示的N型晶体管3311的栅极电极和缓冲器332的输入端子。
预定的偏置电压Vbias被施加到P型晶体管3312的栅极电极。因此，P型晶体管3312将恒定电流供应至N型晶体管3313。光电流通过信号输入线3314从光接收单元31输入到N型晶体管3313的栅极电极。
N型晶体管3311和N型晶体管3313的漏电极连接到电源侧，并且这样的电路被称为源极跟随器。来自光接收单元31的光电流通过以环状连接的两个源极跟随器被转换成对数电压信号。
(减法器和量化器的配置示例)
图8是示出地址事件检测单元33中的减法器333和量化器334的配置的示例的电路图。
根据本示例的减法器333包括电容元件3331、反相器电路3332、电容元件3333和开关元件3334。
电容元件3331的一端连接至图5和图6所示的缓冲器332的输出端子，其另一端连接至反相器电路3332的输入端子。电容元件3333与反相器电路3332并联连接。开关元件3334连接在电容元件3333的两端之间。从驱动单元22向开关元件3334供应行驱动信号作为打开/关闭控制信号。开关元件3334根据行驱动信号打开和关闭连接电容元件3333两端的路径。反相器电路3332将经由电容元件3331输入的电压信号的极性反转。
在具有以上配置的减法器333中，当开关元件3334接通(关闭)时，电压信号Vinit被输入到缓冲器332一侧的电容元件3331的端子，并且相对侧的端子变成虚拟接地端子。为了方便起见，虚拟接地端子的电位被设置为零。此时，当电容元件3331的电容值是C1时，电容元件3331中累积的电荷Qinit由以下公式(1)表示。另一方面，由于电容元件3333的两端短路，因此累积的电荷为0。
Qinit＝C1×Vinit...(1)
接下来，考虑开关元件3334被断开(打开)并且在缓冲器332一侧的电容元件3331的端子的电压变化为Vafter的情况，电容元件3331中累积的电荷Qafter由以下公式(2)表示。
Qafter＝C1×Vafter...(2)
另一方面，当电容元件3333的电容值为C2，并且输出电压为Vout时，电容元件3333中累积的电荷Q2由以下公式(3)表示。
Q2＝-C2×Vout...(3)
此时，由于电容元件3331和电容元件3333的总电荷量不改变，因此下面的公式(4)成立。
Q init＝Qafter+Q2...(4)
当将公式(1)至公式(3)代入表达式(4)中并变形时，获得以下公式(5)。
Vout＝-(C1/C2)×(Vafter-Vinit)...(5)
公式(5)表示电压信号的减法运算，减法结果的增益为C1/C2。因为通常期望使增益最大化，所以优选地将C1设计为大并且将C2设计为小。另一方面，当C2过小时，kTC噪声增加，并且噪声特性可能劣化。因此，C2的容量降低被限制在能够容许噪声的范围内。此外，因为为每个像素30安装包括减法器333的地址事件检测单元33，所以电容元件3331和电容元件3333具有面积限制。考虑到这些，确定电容元件3331和3333的电容值C1和C2。
在图8中，量化器334包括比较器3341。比较器3341将反相器电路3332的输出信号、即减法器430的电压信号当作非反相(+)输入，将预定的阈值电压Vth当作反相(-)输入。然后，比较器3341将来自减法器430的电压信号与预定阈值电压Vth进行比较，并且将表示比较结果的信号作为地址事件检测信号输出至传输单元335。
[地址事件检测单元的第二配置示例]
图9是示出在光接收区域21b中的地址事件检测单元33的第二配置示例的框图。图10是示出遮光像素的地址事件检测单元33的第二配置示例的框图。如图9和图10所示，除了电流-电压转换单元331、缓冲器332、减法器333、量化器334和传输单元335之外，根据本配置示例的地址事件检测单元33还包括存储单元336和控制单元337。
存储单元336被设置在量化器334与传输单元335之间，并且基于从控制单元337供应的样本信号累积量化器334的输出(即，比较器3341的比较结果)。存储单元336可以是诸如开关、塑料或电容器的采样电路，或者可以是诸如锁存器或触发器的数字存储器电路。
控制单元337根据设置单元26的阈值控制单元26b的控制信号将预定阈值电压Vth供应至比较器3341的反相(-)输入端。从控制单元337供应至比较器3341的阈值电压Vth可以以时分的方式具有不同的电压值。例如，以一个比较器3341能够检测多种类型的地址事件的方式，控制单元337在不同的时序提供与表示光电流的变化量超过上限阈值的接通事件对应的阈值电压Vth1和与表示变化量低于下限阈值的断开事件对应的阈值电压Vth2。
例如，存储单元336可在将与断开事件对应的阈值电压Vth2从控制单元337供应至比较器3341的反相(-)输入端的时间段中，使用与接通事件对应的阈值电压Vth1来累积比较器3341的比较结果。注意，存储单元336可以在像素30内部或可以在像素30外部。此外，存储单元336不是地址事件检测单元33的必要组件。即，可以省略存储单元336。
[根据第二配置示例(扫描型)的成像装置]
根据上述第一配置示例的成像装置20是通过异步读取方法读取事件的异步成像装置。然而，事件读取方法不限于异步读取方法，并且可以是同步读取方法。应用同步读取方法的成像装置是与以预定帧速率执行成像的普通成像装置相同的扫描型成像装置。
图11是示出了根据第二配置示例的成像装置(即，在应用了根据本发明的技术的成像系统10中用作成像装置20的扫描型成像装置)的配置的示例的框图。
如图11所示，根据作为本公开的成像装置的第二配置示例的成像装置20包括像素阵列单元21、驱动单元22、信号处理单元25、设置单元26、读取区域选择单元27和信号生成单元28。
像素阵列单元21包括多个像素30。多个像素30响应于读取区域选择单元27的选择信号输出输出信号。例如，如图6中所示，多个像素30中的每一个可在像素中具有量化器。多个像素30输出对应于光强度的变化量的输出信号。多个像素30可以二维地布置为如图11所示的矩阵。
此外，类似于图2，像素阵列单元21设置有遮挡光的遮光区域21a和除遮光区域21a以外的光接收区域21b。遮光区域21a对应于以行为单位的多个像素30的布置或者以列为单位的多个像素30的布置中的至少一者。此外，遮光区域21a设置在像素阵列单元21的上端部、下端部、左端部或右端部中的至少一者中。如上所述，遮光区域21a被设置为覆盖像素阵列单元21的端部处的多个像素30。除了光不入射之外，遮光区域21a中的像素30的配置与除光接收区域21b之外的像素30的配置相同。因此，遮光区域21a中的多个像素30基于由噪声引起的电流的变化量是否超过预定阈值来检测地址事件的存在或不存在。
驱动单元22驱动多个像素30中的每一个以将在每个像素30中生成的像素信号输出至信号处理单元25。应注意，驱动单元22和信号处理单元25是用于获取灰度信息的电路单元。因此，在仅取得事件信息的情况下，也可以不设置驱动单元22以及信号处理单元25。
读取区域选择单元27选择包括在像素阵列单元21中的多个像素30中的一些。例如，读取区域选择单元27在包括在对应于像素阵列单元21的二维矩阵的结构中的行中选择任何一行或多行。读取区域选择单元27根据预设时间段顺序地选择一行或多行。此外，读取区域选择单元27可响应于来自像素阵列单元21的每个像素30的请求来确定选择区域。
信号生成单元28基于由读取区域选择单元27选择的像素的输出信号生成与所选择的像素中已经检测到事件的有效像素对应的事件信号。事件是光强度改变的事件。有效像素是其中对应于输出信号的光强度的变化量超过或低于预设第一阈值或第二阈值的像素。例如，信号产生单元28在电信号的信号电平增加的方向上的变化量的绝对值超过第一阈值的情况下检测第一检测信号，并且在电信号的信号电平减小的方向上的变化量的绝对值超过第二阈值的情况下检测第二检测信号。然后，其中检测到第一检测信号或第二检测信号的像素被设置为有效像素，并且生成与有效像素对应的事件信号。
信号生成单元28可包括例如判别进入信号生成单元28的信号的列选择电路。此外，信号生成单元28可以被配置为不仅输出已经检测到事件的有效像素的信息，而且还输出没有检测到事件的无效像素的信息。
通过输出线15从信号生成单元28输出其中已检测到事件的有效像素的地址信息和时间戳信息(例如，(X，Y，Ton)和(X，Y，Toff)。然而，从信号生成单元28输出的数据不仅可以是地址信息和时间戳信息，而且可以是帧格式的信息(例如，(0，0，1，0，...))。Ton表示检测到接通事件的时间，Toff表示检测到断开事件的时间。
设置单元26的计数单元26a使用有效像素的地址信息和时间戳信息(例如，(X，Y，Ton)和(X，Y，Toff)对预定时间段内的接通事件和断开事件的数量进行计数，并将其供应至阈值控制单元26b。计数单元29a可计数导通-事件和断开-事件中的一个并且将计数数量供应至阈值控制单元26b。
[芯片结构的配置示例]
作为根据上述第一配置示例或者第二配置示例的成像装置20的芯片(半导体集成电路)结构，例如，可以采用层压芯片结构。图12是示意性示出成像装置20的层压芯片结构的分解透视图。
如图12所示，层压的芯片结构，即，层压结构具有其中层压作为第一芯片的光接收芯片201和作为第二芯片的检测芯片202中的至少两个芯片的结构。然后，在图4所示的像素30的电路配置中，每个光接收元件311布置在光接收芯片201上，并且除了光接收元件311、像素30的其他电路部分的元件等之外的所有元件布置在检测芯片202上。光接收芯片201和检测芯片202经由诸如过孔(VIA)、Cu-Cu键合或凸块的连接部分电连接。
应注意，此处，已经例证了其中光接收元件311布置在光接收芯片201上并且除了光接收元件311之外的元件、像素30的其他电路部分的元件等布置在检测芯片202上的配置示例，但是本技术不限于该配置示例。
例如，在图4所示的像素30的电路配置中，光接收单元31的每个元件可布置在光接收芯片201上，并且除了光接收单元31以外的元件、像素30的其他电路部分的元件等可布置在检测芯片202上。此外，光接收单元31的每个元件以及像素信号生成单元32的复位晶体管321和浮动扩散层324可布置在光接收芯片201上，并且其他元件可布置在检测芯片202上。此外，构成地址事件检测单元33的元件的部分可以与光接收单元31等的每个元件一起布置在光接收芯片201上。
[配置示例pf列处理单元]
图13是示出根据第一配置示例的成像装置20的列处理单元24的配置示例的框图。如图13所示，根据本示例的列处理单元24包括为像素阵列单元21的每个像素列布置的多个模数转换器(ADC)241。
应注意，在此，已举例说明了模数转换器241相对于像素阵列单元21的像素列以一一对应关系布置的配置示例，但是本技术不限于该配置示例。例如，可以以多个像素列为单位布置模数转换器241，并且可以在多个像素列之间以时分方式使用模数转换器241。
模数转换器241将经由垂直信号线VSL供应的模拟像素信号SIG转换成具有比上述地址事件的检测信号更大的位深度的数字信号。例如，当地址事件的检测信号是2位时，像素信号被转换成3位或更多位(16位等)的数字信号。模数转换器241将通过模数转换生成的数字信号供应至信号处理单元25。
[噪声事件]
顺便提及，成像装置20是对于每个像素30包括检测单元(即，地址事件检测单元33)的成像装置，该检测单元对于每个像素地址实时地检测像素的光量超过预定阈值作为地址事件。
在该成像装置中，当特定事件(即，真实事件)最初在场景中发生时，获取引起真实事件的发生的数据。然而，即使在没有发生真实事件的场景中，由于诸如传感器噪声的噪声事件(错误事件)，数据可能被浪费地获取。因此，不仅读取噪声信号，而且信号输出的吞吐量降低。下面描述的本公开的成像装置20基于遮光像素中的事件数量对真实事件和错误事件执行灵敏度调整。
图14是示出噪声事件与温度之间的关系的示图。横轴表示时间，纵轴表示事件数量和温度。线L12A指示温度的时间变化，并且线L12B指示暗时(其是暗时(当遮光时)的噪声事件)的事件的数量的时间变化。即使在暗时，像素30也通过执行光电转换输出暗时电流。这被计算为黑暗时间事件。
如图14所示，黑暗时间事件的数量的时间序列变化与例如温度的时间序列变化相关。例如，降低对噪声事件的灵敏度降低了噪声事件，但也降低了对真实事件的检测灵敏度。另一方面，当真实事件的检测灵敏度增加时，对噪声事件的灵敏度也增加。
为此，阈值控制单元26b通过根据成像装置20的状态执行灵敏度调整来调整对真实事件的灵敏度和对由暗时噪声引起的错误事件的灵敏度。这将在下面更详细地描述。
图15是示出设置单元26的阈值控制单元26b的处理示例的流程图。这里，将描述在使用遮光区域21a中的遮光像素30进行灵敏度调整之后由光接收区域21b中的像素30检测事件的示例。如上所述，在根据异步第一配置示例的成像装置与根据第二配置示例的成像装置(扫描型)之间，读取事件的检测信号的方法不同，但是，设置根据异步第一配置示例的成像装置的阈值的方法和设置根据第二配置示例的成像装置(扫描型)的阈值的方法可执行等效处理。
如图15所示，首先，阈值控制单元26b根据遮光区域21a中的遮光像素30的噪声水平设置阈值(步骤S1000)。
接下来，在光接收区域21b中的像素30中生成的电信号的变化量超过在阈值控制单元26b中设置的阈值的情况下，光接收区域21b中的地址事件检测单元33检测检测信号(步骤S1100)。
接着，阈值控制单元26b判断是否结束整个处理(步骤S1200)，在不结束的情况下(步骤S1200中“否”)，重复从步骤S102起的处理。另一方面，在结束处理的情况下(步骤S1200中“是”)，结束整个处理。
如上所述，由于阈值控制单元26b根据遮光区域21a中的遮光像素30的噪声水平设置阈值，因此可以执行针对真实事件和暗时噪声事件的灵敏度调整。
图16是示出并行处理中的阈值控制单元26b的处理示例的流程图。如图16所示，并行执行对应于遮光像素30的噪声水平的阈值的设置(步骤S1000)和光接收区域21b中的地址事件检测单元33的检测处理(步骤S1100)。
如上所述，通过并行执行处理，在不停止在光接收区域21b中的地址事件检测单元33的事件检测的情况下，可执行针对真实事件和暗时噪声事件的灵敏度调整。
图17是示出图15和图16中的步骤S1000的处理示例的流程图。
图18是示意性示出在图17中示出的处理示例的示图。横轴表示时间，纵轴表示阈值。如图18所示，示意性地示出了关于参考电平(AZ电平)的接通事件的第一阈值和断开事件的第二阈值的变化量。在此，关于参考电平(AZ电平)的接通事件的第一阈值和断开事件的第二阈值的变化量的绝对值被视为相同的值。例如，在第一阈值从初始设置值上升Vh1伏特的情况下，第二阈值从初始设置值下降Vh1伏特。
如图17中所示，阈值控制单元26b将第一阈值电压Vth1和第二阈值电压Vth2供应至遮光像素30和光接收区域21b的比较器3341(参见图8和图10)的反相(-)输入端(步骤S100)。比较器3341向设置单元26的计数单元26a输出与表示电流的变化量超过第一阈值电压Vth1的上限的接通事件对应的事件检测信号、和与表示电流的变化量超过第二阈值电压Vth2的断开事件对应的事件检测信号。计数单元26a对在预定时间段内发生的事件数量进行计数，并供应至阈值控制单元26b(步骤S102)。
需注意，在图16所示的并行处理的情况下，图17所示的步骤S102中的预定时间段不必是整个成像时间段，并且可交替地设置用于对遮光像素的事件数量进行计数的预定时间段和不用于对遮光像素的事件数量进行计数的时间段。
在根据第二配置示例的成像装置(扫描型)的情况下，读取区域选择单元27选择包括在遮光区域21a中的多个像素30中的一些。例如，读取区域选择单元27在对应于包括在遮光区域21a的二维矩阵的结构中的行中选择任一行或多行。读取区域选择单元27(见图11)根据预设时间段依次选择一行或多行，依次读取遮光像素30的有效像素的地址信息和时间戳信息(例如，(X，Y，Ton)和(X，Y，Toff))，并且经由信号生成单元28将读取信息供应至计数单元26a。设置单元26的计数单元26a使用有效像素的地址信息和时间戳信息(例如，(X，Y，Ton)和(X，Y，Toff))对预定时间段内的接通事件和断开事件的数量进行计数，并且将计数数量供应至阈值控制单元26b。
接着，阈值控制单元26b判断预定时间段内的事件数量(接通事件数量+断开事件数量)是否在预定范围内(步骤S104)。在事件数在预定范围之外的情况下(步骤S104中“是”)，阈值控制单元26b进一步确定事件计数数是否等于或大于预定值(步骤S106)。在事件数量为预定值以上的情况下(步骤S106中“是”)，阈值控制单元26b降低阈值的灵敏度(步骤S108)。即，阈值控制单元26b相对于整个像素阵列单元21的像素30，将第一阈值电压Vth1升高预定值Th1a伏特，并将第二阈值电压Vth2降低预定值Th1a伏特。
另一方面，在事件数量少于预定值的情况下(步骤S106中“否”)，阈值的灵敏度增加。阈值控制单元26b相对于整个像素阵列单元21的像素30，将第一阈值电压Vth1减小预定值Th2a伏特，并将第二阈值电压Vth2增加预定值Th2a伏特(步骤S110)。
另一方面，在事件数量少于预定值的情况下(步骤S104中“否”)，保持阈值的灵敏度。即，阈值控制单元26b不改变整个像素阵列单元21的像素30的第一阈值电压Vth1和第二阈值电压Vth2(步骤S112)。
图19是示出图17中所示的处理被执行三个时间段的处理示例的示图。横轴表示时间，纵轴表示阈值。如图19所示，用于接通事件的第一阈值和用于断开事件的第二阈值可随时间变化。
如上所述，基于在预定时间段内从由遮蔽区域21a中的光电转换元件311生成的电信号的参考电平起的变化量的绝对值超过阈值(第一阈值电压Vth1或第二阈值电压Vth2)的数量，设置阈值(第一阈值电压Vth1或第二阈值电压Vth2)。因此，可以根据遮光区域21a中的遮光像素30中的暗时噪声事件的发生数量来执行阈值控制，并且可以执行针对真实事件和暗时噪声事件的灵敏度调整。
图20是示出了独立地调整针对接通事件的第一阈值和针对断开事件的第二阈值的处理示例的流程图。如图20所示，首先，阈值控制单元26b根据遮光区域21a中的遮光像素30的接通事件设置第一阈值(步骤S1000a)，并且并行地，根据遮光区域21a中的遮光像素30的断开事件的水平设置第二阈值(步骤S1000b)。
接下来，在光接收区域21b中的像素30中生成的电信号的变化量超过在阈值控制单元26b中独立设置的第一阈值和第二阈值的情况下，光接收区域21b中的地址事件检测单元33检测接通事件的检测信号和断开事件的检测信号(步骤S1100)。
图21是示意性地示出独立地调整针对接通事件的第一阈值和针对断开事件的第二阈值的处理示例的示图。横轴表示时间，纵轴表示阈值。
如上所述，阈值控制单元26b根据遮光区域21a中的遮光像素30的噪声水平独立地设置第一阈值和第二阈值。因此，对于真实事件(其中电信号的信号电平增加的方向上的变化量的绝对值超过第一阈值)和与接通事件对应的暗时噪声事件，可以执行灵敏度调整。此外，同时，可执行对于其中电信号的信号电平增加的方向上的变化量的绝对值超过第二阈值的真实事件和对应于断开事件的暗时间噪声事件的灵敏度调整。如上所述，因为可以独立地调整第一阈值和第二阈值，所以即使在对应于接通事件的暗时噪声事件和对应于断开事件的暗时噪声事件的发生分布中存在统计偏差的情况下，也可以更适当地执行灵敏度调整。
图22是示出在并行处理中独立地调整第一阈值和第二阈值的处理示例的流程图。如图21所示，阈值控制单元26b并行地执行根据遮光区域21a中的遮光像素30的接通事件的水平设置第一阈值的处理(步骤S1000a)，以及并行地执行根据遮光区域21a中的遮光像素30的断开事件的水平设置第二阈值的处理(步骤S1000b)，以及并行地检测光接收区域21b中的地址事件检测单元33的处理(步骤S1100)。
如上所述，通过并行执行处理，在不停止在光接收区域21b中的地址事件检测单元33的事件检测的情况下，可独立地调整第一阈值和第二阈值。
图23是示出阈值的设置处理的过程(步骤S1000)的分阶段改变阈值的示例的流程图。
图24是示意性示出在图23中所示的处理示例的示图。横轴表示时间，纵轴表示阈值。如图20所示，接通事件的第一阈值和断开事件的第二阈值相对于参考电平(AZ电平)的变化量以时间序列的分阶段变化。例如，阈值在几个阶段中改变，直到阈值达到收敛假定值为止。这里，在假设收敛值是AZ电平+预定值Vhf的情况下，预定值Th1被改变为AZ电平+Vhf×0.8，预定值Th2被改变为AZ电平+Thf×0.96等，其方式使得值随时间推移渐近地接近阈值的假设收敛值。
如图23所示，阈值控制单元26b判断相对于最初设置的阈值Th0在预定时间内的事件数量(接通事件数量+断开事件数量)是否为预定范围以上(步骤S104)。在事件数为预定值以上的情况下(步骤S104中“是”)，阈值控制单元26b阶段性地降低阈值的灵敏度(步骤S108a)。即，在第一时段内，阈值控制单元26b相对于整个像素阵列单元21的像素30，将第一阈值电压Vth1从参考电平增加预定值Th1伏，并且将第二阈值电压Vth2从参考电平减少预定值Th1伏。接下来，在第二时间段内，阈值控制单元26b相对于整个像素阵列单元21的像素30，将第一阈值电压Vth1从参考电平增加预定值Th2伏，并且将第二阈值电压Vth2从参考电平减少预定值Th2伏。在这种情况下，(Th2-Th1)的绝对值少于(Th1-Th0)的绝对值。
另一方面，在事件数少于预定值的情况下(步骤S104中“否”)，阈值控制单元26b不改变当前的阈值，结束整个处理。
如上所述，由于阈值分阶段地改变，因此可以将灵敏度设置为接近暗时噪声事件的目标数量。此外，由于阈值分阶段地改变，因此可以在抑制光接收区域21b中的像素30的每单位时间的事件的发生数量的改变的同时改变阈值。
图25是示出第一阈值在设置阈值的处理的过程(步骤S1000a)的分阶段改变的示例的流程图。如图25所示，对遮光像素的接通事件进行计数(步骤S102a)，并且在计数数量未落在预定范围内的情况下，分阶段地改变第一阈值(步骤S110a)。如上所述，即使在独立地调整第一阈值和第二阈值的情况下，也可以进行分阶段地改变第一阈值的处理。
图26是示意性地示出了第一阈值分阶段地改变的示例的示图。横轴表示时间，纵轴表示第一阈值。如图26所示，最初设置的第一阈值Th0a在第一阶段中改变为第一阈值Th1a，在第二阶段中改变为第一阈值Th2a。如上所述，通过粗调然后使第一阈值逐渐收敛，能够在抑制发散的同时促进收敛。要注意的是，在图26中所示的处理还适用于设置阈值的处理(步骤S1000)。
图27是示出在阈值的设置处理的过程(步骤S1000b)的分阶段改变第二阈值的示例的流程图。如图27所示，对遮光像素的断开事件进行计数(步骤S102b)，并且在计数数量未落在预定范围内的情况下，分阶段改变第二阈值(步骤S110b)。如上所述，即使在独立地调整第一阈值和第二阈值的情况下，也可以分阶段地执行改变第二阈值的处理。
图28是示意性地示出了分阶段地改变第二阈值的示例的示图。横轴表示时间，纵轴表示第一阈值。如图28所示，最初设置的第一阈值Th0b在第一阶段中改变为第一阈值Th1b，在第二阶段中改变为第一阈值Th2b。如上所述，通过粗调然后使第二阈值逐渐收敛，能够在抑制发散的同时促进收敛。要注意的是，在图28中所示的处理还适用于设置阈值的处理(步骤S1000)。
图29是示出在阈值的设置处理的过程(步骤S1000b)中设置有死区的示例的流程图。图30是示意性地示出了设置有死区的第二阈值分阶段地改变的示例的示图。横轴表示时间，纵轴表示第二阈值。
在此，死区是指设置在第二阈值Th0b、Th1b、Th2b等的上方和下方的阈值。例如，在AZ电平与第二阈值Th0b之间的差的绝对值之前和之后的10％被设置为死区。更具体地，当AZ电平是例如100并且第二阈值Th0b是50时，在AZ电平与第二阈值Th0b之间的差的绝对值是(100-50)，并且在该差的绝对值之前和之后10％是50×0.1＝±5。即，死区为45至55。例如，在改变第二阈值Th0b的阈值的情况下，在第二阈值Th1b处于死区内的情况下，不改变阈值，在第二阈值Th1b处于死区外的情况下，改变阈值。在图30中，由于第二阈值Th1b超出第二阈值Th0b的死区范围，所以从第二阈值Th0b改变第二阈值Th1b的值。另一方面，因为第二阈值Th2b在第二阈值Th1b的死区范围之外，所以第二阈值Th2b的值与第二阈值Th1b是相同的值并且不改变。
如图29所示，阈值控制单元26b在断开事件的数量处于预定范围内的情况下(步骤S104b中“否”)，判断要改变的第二阈值Th1b的值是否处于当前第二阈值Th0b的死区的范围内(步骤S112b)。阈值控制单元26b在脱离死区范围的情况下，从第二阈值Th0b改变第二阈值Th1b的值(步骤S112b中“否”)。另一方面，在处于死区范围内的情况下(步骤S112b中“是”)，将第二阈值Th1b的值维持为第二阈值Th0b的值，结束处理。
当阈值应该改变的量在死区内时，阈值不改变。要注意的是，在图30中所示的处理还适用于设置阈值的处理(步骤S1000和步骤S1000a)。
例如，在阈值改变的情况下，观察者可感受到图像的变化。因此，在增加死区的范围的情况下，不会改变阈值，能够防止观察者感到图像的偏差。另一方面，当死区的范围增加时，灵敏度调整被抑制。为此，通过调整死区的范围，可以平衡灵敏度调整和图像变化。
图31是示出了阈值的变化量根据阈值的设置处理的过程(步骤S1000b)中的温度变化而改变的示例的流程图。图32是示意性示出阈值的变化量根据温度变化而改变的示例的流程图。横轴表示时间，纵轴表示第二阈值。如图32所示，在温度的时间序列值Tma的时间变化较大的区域中的第二阈值Th1b的变化量增加。
如图31所示，在断开事件的数量在预定范围内的情况下(步骤S104b中“否”)，阈值控制单元26b使用与按时间序列记录在记录单元12中的光接收区域21b中的像素30相对应的温度信息来计算温度的时间变化量。例如，计算温度的时间差的绝对值(步骤S116b)。从温度传感器21c获取的温度以时间序列记录在记录单元12中。
随后，阈值控制单元26b基于温度的变化量算出第二阈值的变化量，改变第二阈值(步骤S118b)。如上所述，根据温度的时间变化量来调整第二阈值的变化量。如图14所示，因为温度变化与噪声变化相关，所以第二阈值的变化量可以在温度变化较大时以可更有效地调整灵敏度的方式增加。
如上所述，根据本实施例，阈值控制单元26b根据遮光区域21a中的遮光像素30的噪声水平来设置阈值。因此，因为可以调整暗时噪声事件的发生量，所以可以执行针对真实事件和暗时噪声事件的灵敏度调整。
(第一实施例的变形例)
根据第一实施例的变形例的成像系统10与根据第一实施例的成像系统10的不同之处在于用于设置阈值的运算处理单元15设置在成像装置20外部。下面将描述与根据第一实施例的成像系统10的差异。
图33是示出根据第一实施例的变形例的成像装置20的配置的框图。在图33中，未示出驱动单元22、判别单元23和列处理单元24。如图33所示，运算处理单元15被设置在成像装置20的外部。运算处理单元15是用户可以改变运算程序和处理参数的装置。因此，用户可通过任意算法设置阈值。
<根据本公开的技术的应用示例>
根据本公开的技术可以应用于各种产品。在下文中，将描述更具体的应用示例。例如，根据本公开的技术可实现为安装在任何类型的移动体(诸如汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动、飞机、无人机、船舶、机器人、工程机械以及农业机器(拖拉机))上的距离测量装置。
[移动体]
图34是示出车辆控制系统7000的示意性配置示例的框图，车辆控制系统7000是根据本公开的技术可应用于的移动体控制系统的示例。车辆控制系统7000包括经由通信网络7010连接的多个电子控制单元。在图31所示的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车辆外部信息检测单元7400、车辆内部信息检测单元7500和集成控制单元7600。连接多个控制单元的通信网络7010可以是例如符合任意标准的车载通信网络，诸如控制器局域网(CAN)、局域互联网(LIN)、局域网(LAN)或FlexRay(注册商标)。
每个控制单元包括根据各种程序执行运算处理的微型计算机、存储由微型计算机执行的程序的存储单元、用于各种计算的参数等、以及驱动要控制的各种装置的驱动电路。每个控制单元包括用于经由通信网络7010与其他控制单元通信的网络I/F，以及用于通过有线通信或无线通信与车辆内部和车辆外部的装置、传感器等通信的通信I/F。在图34中，作为集成控制单元7600的功能配置，示出了微型计算机7610、通用通信I/F7620、专用通信I/F7630、定位单元7640、信标接收单元7650、车辆内部装置I/F7660、音频图像输出单元7670、车载网络I/F7680和存储单元7690。其他控制单元类似地包括微计算机、通信I/F、存储单元等。
驱动系统控制单元7100根据各种程序来控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元7100用作诸如内燃机或驱动电动机的用于产生车辆的驱动力的驱动力产生装置、用于向车轮传递驱动力的驱动力传递机制、用于调整车辆的转向角的转向机制、用于产生车辆的制动力的制动装置等的控制装置。驱动系统控制单元7100可以具有作为诸如防抱死制动系统(ABS)或电子稳定控制(ESC)的控制装置的功能。
在驱动系统控制单元7100上连接有车辆状态检测单元7110。车辆状态检测单元7110包括例如检测车身的轴向旋转运动的角速度的陀螺仪传感器、检测车辆的加速度的加速度传感器或用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速、车轮转速等的传感器中的至少一者。驱动系统控制单元7100使用从车辆状态检测单元7110输入的信号进行运算处理，对内燃机、驱动电动机、电动动力转向装置、制动装置等进行控制。
车身系统控制单元7200根据各种程序控制安装在车身上的各种装置的操作。例如，车身系统控制单元7200用作无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如车头灯、车尾灯、刹车灯、闪光信号灯或雾灯的各种灯的控制装置。在这种情况下，从替代钥匙的便携式装置发射的无线电波或各种开关的信号可以被输入到车身系统控制单元7200。车身系统控制单元7200接收这些无线电波或信号的输入，并控制车辆的门锁装置、电动车窗装置、灯等。
电池控制单元7300根据各种程序控制作为驱动电动机的电力供应源的次要电池7310。例如，诸如电池温度、电池输出电压或电池的剩余容量的信息从包括次要电池7310的电池装置被输入到电池控制单元7300。电池控制单元7300使用这些信号执行运算运算处理，并且执行次要电池7310的温度调节控制或者包括在电池装置中的冷却装置等的控制。
车辆外部信息检测单元7400检测搭载有车辆控制系统7000的车辆外部的信息。例如，在车辆外部信息检测单元7400上连接有成像单元7410或车辆外部信息检测单元7420中的至少一者。成像单元7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机或其他相机中的至少一者。车辆外部信息检测单元7420包括例如用于检测当前天气或天气的环境传感器、或用于检测安装有车辆控制系统7000的车辆周围的其他车辆、障碍物、行人等的周围信息检测传感器中的至少一者。
环境传感器可以是例如检测雨天气的雨滴传感器、检测雾的雾传感器、检测阳光程度的阳光传感器或检测降雪的雪传感器中的至少一者。周围信息检测传感器可以是超声波传感器、雷达装置或者光检测和测距、激光成像检测和测距(LIDAR)装置中的至少一者。成像单元7410和车辆外部信息检测单元7420可以被设置为独立的传感器或装置，或者可以被设置为集成有多个传感器或装置的装置。
在此，图35示出了成像单元7410和车辆外部信息检测单元7420的安装位置的示例。成像单元7910、7912、7914、7916和7918例如设置在车辆7900的车辆内部的前鼻部、侧视镜、后保险杠、后门、或挡风玻璃的上部中的至少一者。设置于车室内的前鼻子的成像单元7910和设置于挡风玻璃的上部的成像单元7918主要取得车辆7900的前方的图像。设置在侧视镜处的成像单元7912和7914主要获取车辆7900的侧面的图像。设置在后保险杠或后门上的成像单元7916主要获取车辆7900后面的图像。设置在车辆内部的挡风玻璃的上部的成像单元7918主要用于检测前方车辆、行人、障碍物、交通灯、交通标志、车道等。
需注意，图35示出各个成像单元7910、7912、7914和7916的成像范围的示例。成像范围a指示设置在前鼻处的成像单元7910的成像范围，成像范围b和c指示分别设置在侧视镜处的成像单元7912和7914的成像范围，并且成像范围d指示设置在后保险杠或后门处的成像单元7916的成像范围。例如，通过重叠由成像单元7910、7912、7914、7916捕获到的图像数据，能够获得从上方观察到的车辆7900的俯瞰图像。
另外，在车辆7900的车辆内部的前挡风玻璃、后挡风玻璃、侧方挡风玻璃、拐角挡风玻璃的上部设置的车辆外部信息检测单元7920、7922、7924、7926、7928、7930例如也可以是超声波传感器或雷达装置。另外，在车辆7900的车辆内部的前鼻部、后保险杠、后门、挡风玻璃的上部设置的车辆外部信息检测单元7920、7926、7930例如也可以是LIDAR装置。这些车辆外部信息检测单元7920至7930主要用于对先行车、行人、障碍物等进行检测。
返回图34，将继续描述。车辆外部信息检测单元7400使成像单元7410拍摄车辆外部的图像并接收捕获图像数据。另外，车辆外部信息检测单元7400从所连接的车辆外部信息检测单元7420接收检测信息。在车辆外部信息检测单元7420是超声波传感器、雷达装置、LIDAR装置的情况下，发送超声波、电磁波等，接收所接收的反射波的信息。车辆外部信息检测单元7400可以基于接收到的信息进行人、车辆、障碍物、标志、路面上的文字等的物体检测处理、距离检测处理。车辆外部信息检测单元7400可基于接收的信息执行识别降雨、雾、路面状况等的环境识别处理。车辆外部信息检测单元7400可以基于所接收的信息来计算到车辆外部的物体的距离。
另外，车辆外部信息检测单元7400也可以基于接收到的图像数据来进行人、车辆、障碍物、标志、路面上的文字等的图像识别处理或距离检测处理。车辆外部信息检测单元7400也可以对接收到的图像数据实施畸变校正、对位等处理，并对由不同的成像单元7410捕获到的图像数据进行合成而生成俯瞰图像、全景图像等。车辆外部信息检测单元7400可以使用由不同的成像单元7410捕获到的图像数据来进行视点变换处理。
车辆内部信息检测单元7500检测车辆内部的信息。例如，检测驾驶员的状态的驾驶员状态检测单元7510连接到车辆内部信息检测单元7500。驾驶员状态检测单元7510可包括对驾驶员成像的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部中的声音的麦克风等。例如，生物传感器设置在座椅表面、方向盘等上，并且检测坐在座椅上的乘客或保持方向盘的驾驶员的生物信息。车辆内部信息检测单元7500可以基于从驾驶员状态检测单元7510输入的检测信息计算驾驶员的疲劳度或集中度，或者可以确定驾驶员是否打瞌睡。车辆内部信息检测单元7500可以对收集的声音信号执行处理，诸如噪声消除处理。
集成控制单元7600根据各种程序控制车辆控制系统7000中的整体操作。输入单元7800连接到集成控制单元7600。例如，输入单元7800通过诸如触摸面板、按钮、麦克风、开关或能够由乘客操作以进行输入的操纵杆的装置来实现。通过对由麦克风输入的语音执行语音识别而获得的数据可以被输入到集成控制单元7600。输入单元7800可以是，例如，使用红外线或其他无线电波的远程控制装置，或与车辆控制系统7000的操作相对应的外部连接装置，诸如移动电话或个人数字助理(PDA)。输入单元7800可以是例如照相机，并且在这种情况下，乘客可以通过手势输入信息。可替代地，可输入通过检测乘客穿戴的可穿戴装置的移动而获得的数据。此外，输入单元7800可以包括例如基于乘客等使用上述输入单元7800输入的信息生成输入信号并且将该输入信号输出至集成控制单元7600的输入控制电路等。通过操作输入单元7800，乘客等将各种数据输入到车辆控制系统7000或者给出关于处理操作的指令。
存储单元7690可以包括存储要由微型计算机执行的各种程序的只读存储器(ROM)以及存储各种参数、计算结果、传感器值等的随机存取存储器(RAM)。此外，存储单元7690可以通过诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等来实现。
通用通信I/F7620是对与存在于外部环境7750中的各种装置的通信进行调解的通用通信I/F。通用通信I/F7620可以实现蜂窝通信协议，例如，全球移动通信系统(GSM)(注册商标)、WiMAX、长期演进(LTE)或者LTE-高级(LTE-A)或者其他无线通信协议，例如，无线LAN(也称为Wi-Fi(注册商标))或者蓝牙(注册商标)。通用通信I/F7620可以经由例如基站或接入点连接到存在于外部网络(例如，互联网、云网络或公司特定网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信I/F7620可以使用例如对等(P2P)技术连接至存在于车辆附近的终端(例如，驾驶员、行人或商店的终端、或机器型通信(MTC)终端)。
专用通信I/F7630是支持为在车辆中使用而制定的通信协议的通信I/F。例如，专用通信I/F7630可实现诸如车辆环境中的无线接入(WAVE)(其是下层的IEEE802.11p和上层的IEEE1609的组合)、专用短程通信(DSRC)或蜂窝通信协议的标准协议。专用通信I/F7630通常执行V2X通信，V2X通信是包括车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信以及车辆到行人通信中的一种或多种的概念。
定位单元7640例如从GNSS卫星接收全球导航卫星系统(GNSS)信号(例如，来自GPS卫星的全球定位系统(GPS)信号)，执行定位，并且生成包括车辆的纬度、经度和海拔的位置信息。注意，定位单元7640可通过与无线接入点交换信号来指定当前位置，或者可从诸如移动电话、PHS或具有定位功能的智能电话的终端获取位置信息。
信标接收单元7650接收例如从安装在道路上的无线站等发送的无线电波或电磁波，并且获取诸如当前位置、交通拥堵、封闭道路、所需时间等的信息。注意，信标接收单元7650的功能可以被包括在上述专用通信I/F7630中。
车载装置I/F7660是调解微型计算机7610和车辆中存在的各种车载装置7760之间的连接的通信接口。车载装置I/F7660可以使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线USB(WUSB)的无线通信协议来建立无线连接。此外，车载装置I/F7660可以经由未示出的连接端子(以及，如果必要的话，电缆)建立诸如通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)或移动高清链路(MHL)的有线连接。车载装置7760可包括例如乘客拥有的移动装置或可穿戴装置、或者车辆中携带或附接至车辆的信息装置中的至少一者。此外，车载装置7760可以包括搜索到任意目的地的路线的导航装置。车载装置I/F7660与这些车载装置7760交换控制信号或数据信号。
车载网络I/F7680是协调微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F7680根据通信网络7010所支持的预定协议来发送和接收信号等。
集成控制单元7600的微型计算机7610基于经由通用通信I/F7620、专用通信I/F7630、定位单元7640、信标接收单元7650、车载装置I/F7660或车载网络I/F7680中的至少一者获取的信息，根据各种程序控制车辆控制系统7000。例如，微型计算机7610可以基于所获取的关于车辆内部和外部的信息计算驱动力产生装置、转向机制或制动装置的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微计算机7610可以执行协作控制以实现高级驾驶员辅助系统(ADAS)的功能，包括车辆的碰撞避免或碰撞缓解、基于车辆间距离的后续行驶、车辆速度维持行驶、车辆碰撞警报、车辆车道偏离警报等。此外，微型计算机7610可以通过基于所获取的车辆周围的信息控制驱动力生成装置、转向机制、制动装置等，来执行用于自动驾驶等的协作控制，在自动驾驶等中，车辆不依赖于驾驶员的操作而自主行驶。
微型计算机7610可以基于经由通用通信I/F7620、专用通信I/F7630、定位单元7640、信标接收单元7650、车载装置I/F7660或车载网络I/F7680中的至少一者获取的信息来生成车辆和诸如周围结构或人的对象之间的三维距离信息，并且创建包括车辆的当前位置的周围信息的局部地图信息。此外，微型计算机7610可基于所获取的信息预测危险(诸如车辆的碰撞、行人的接近等或进入封闭道路)，并产生警报信号。警报信号例如可以是用于产生警报声音或打开警报灯的信号。
音频图像输出单元7670将声音或图像中的至少一者的输出信号发送到能够视觉地或听觉地向车辆的乘客或车辆外部通知信息的输出装置。在图34的示例中，音频扬声器7710、显示单元7720和仪表板7730被示出为输出装置。显示单元7720可以包括例如板载显示器或平视显示器中的至少一者。显示单元7720可具有增强现实(AR)显示功能。输出装置可以是不同于这些装置的另一装置，诸如可佩带装置，诸如由乘客佩戴的头戴式耳机或眼镜型显示器、投影仪或灯。在输出装置是显示装置的情况下，显示装置以各种格式(诸如文本、图像、表格和图形)可视地显示通过由微型计算机7610执行的各种处理所获得的结果或从另一控制单元接收的信息。此外，在输出装置是声音输出装置的情况下，声音输出装置将包括再现的声音数据、声音数据等的音频信号转换成模拟信号，并且可听地输出该模拟信号。
注意，在图34所示的示例中，经由通信网络7010连接的至少两个控制单元可以集成为一个控制单元。可选地，每个控制单元可包括多个控制单元。此外，车辆控制系统7000可以包括另一控制单元(未示出)。此外，在以上描述中，由任何控制单元执行的功能中的一些或全部可以供应至另一控制单元。也就是说，只要经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定运算处理。类似地，连接到任意控制单元的传感器或装置可以连接到另一控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。
上面已经描述了可以应用根据本公开的技术的车辆控制系统的示例。根据本发明的技术能够应用于例如上述配置中的成像单元7910、7912、7914、7916和7918、车辆外部信息检测单元7920、7922、7924、7926、7928和7930、驾驶员状态检测单元7510等。具体而言，包括本公开的成像装置的图1中的成像系统10可应用于这些成像单元和检测单元。然后，通过应用根据本公开的技术，以可实现安全车辆行驶的方式，可减轻诸如传感器噪声的噪声事件的影响，并且能够可靠且快速地感测真实事件的发生。
应注意，本技术可具有以下配置。
(1)一种成像装置，包括：
光电转换单元，包括执行光电转换以产生电信号的多个光电转换元件；
设置单元，根据多个光电转换元件的预定区域的噪声水平设置阈值；以及
第一检测单元，在由多个光电转换元件生成的电信号的变化量超过阈值的情况下，检测检测信号。
(2)根据(1)的成像装置，其中
预定区域中的光电转换元件被遮光，以及
除预定区域之外的光电转换元件各自光电转换入射光以产生电信号。
(3)根据(2)的成像装置，其中，多个光电转换元件被布置为二维矩阵，并且遮光区域对应于光电转换元件在行单元中的布置或光电转换元件在列单元中的布置中的至少一者。
(4)根据(3)的成像装置，其中，行单元中的光电转换元件的布置和列单元中的光电转换元件的布置包括被布置为二维矩阵的多个光电转换元件的端部。
(5)根据(1)至(4)中任一项的成像装置，其中，设置单元基于在预定区域中由光电转换元件生成的电信号的变化量的绝对值在预定时间段中超过阈值的数量来设置阈值。
(6)根据(1)至(5)中任一项的成像装置，其中，
第一检测单元，在电信号的信号电平增加的方向上的变化量的绝对值超过第一阈值时，检测第一检测信号，并且在电信号的信号电平减小的方向上的变化量的绝对值超过第二阈值时，检测第二检测信号，以及
设置单元
基于在预定区域中由电转换元件生成的电信号的信号电平增加的方向上的变化量的绝对值在预定时间段中超过第一阈值的数量，设置第一阈值，以及
基于在预定区域中由电转换元件生成的电信号的信号电平减小的方向上的变化量的绝对值在预定时间段中超过第二阈值的数量，设置第二阈值。
(7)根据(1)至(5)中任一项的成像装置，其中，设置单元基于在预定时间段中超过阈值的数量分阶段地设置阈值。
(8)根据(7)的成像装置，其中，设置单元随着时间流逝而减小阈值的变化率。
(9)根据(8)的成像装置，其中，设置单元以值渐近地接近初始设置值的方式而减小阈值的变化率。
(10)根据(8)的成像装置，其中，设置单元在将阈值设置为第一阶段的阈值之后，以渐近地接近预定的设置值的方式减小变化率。
(11)根据(1)至(10)中任一项的成像装置，其中，设置单元在预定时间段中超过阈值的数量少于预定值的情况下不改变阈值。
(12)根据(1)至(10)中任一项的成像装置，其中，设置单元根据与多个光电转换元件对应的温度设置阈值。
(13)根据(12)的成像装置，其中，设置单元随着温度的变化的增加而增加阈值的变化率。
(14)根据(1)至(13)中任一项的成像装置，其中，
第一检测单元顺序地读取预定区域中的光电转换元件的电信号，以及
设置单元对超过预定时间段的检测信号的数量进行计数。
(15)一种成像方法，包括：
根据被遮光的光电转换元件的噪声水平设置阈值；以及
在由多个光电转换元件生成的电信号的变化量的绝对值超过阈值的情况下检测检测信号，多个光电转换元件中的每一个对入射光进行光电转换以生成电信号。
本公开的各方面不限于上述个别实施例，并且包括可由本领域的技术人员想到的各种修改，并且本公开的效果不限于上述内容。即，在不背离从在权利要求及其等同物中限定的内容获得的本公开的概念构思和范围的情况下，可进行各种添加、修改、以及部分删除。
附图标记列表
10成像系统20成像装置21像素阵列单元21a遮光区域21b光接收区域22驱动单元23判别单元24列处理单元25信号处理单26设置单元26a计数单元26b阈值控制单元30像素31光接收单元33地址事件检测单元。

Claims (15)

1.一种成像装置，包括：
光电转换单元，包括执行光电转换以产生电信号的多个光电转换元件；
设置单元，根据所述多个光电转换元件中的预定区域的噪声水平设置阈值；以及
第一检测单元，在由所述多个光电转换元件生成的所述电信号的变化量超过所述阈值的情况下，检测检测信号。
2.根据权利要求1所述的成像装置，其中，
所述预定区域中的所述光电转换元件被遮光，以及
除了所述预定区域之外的所述光电转换元件各自光电转换入射光以产生所述电信号。
3.根据权利要求2所述的成像装置，其中，所述多个光电转换元件被布置为二维矩阵，并且遮光区域对应于以行为单位的所述光电转换元件的布置和以列为单位的所述光电转换元件的布置中的至少一者。
4.根据权利要求3所述的成像装置，其中，所述以行为单位的所述光电转换元件的所述布置和所述以列为单位的的所述光电转换元件的所述布置包括被布置为二维矩阵的所述多个光电转换元件的端部。
5.根据权利要求1所述的成像装置，其中，所述设置单元基于由所述预定区域中的所述光电转换元件产生的电信号的所述变化量的绝对值在预定时间段中超过所述阈值的数量来设置所述阈值。
6.根据权利要求1所述的成像装置，其中，
所述第一检测单元，在所述电信号的信号电平增加的方向上的变化量的绝对值超过第一阈值时，检测第一检测信号，并且在所述电信号的所述信号电平减小的方向上的变化量的绝对值超过第二阈值时，检测第二检测信号，以及
设置单元，
基于在所述预定区域中由所述电转换元件生成的所述电信号的所述信号电平增加的所述方向上的所述变化量的绝对值在预定时间段中超过所述第一阈值的数量，设置所述第一阈值，以及
基于在所述预定区域中由所述电转换元件生成的所述电信号的所述信号电平减小的所述方向上的所述变化量的绝对值在预定时间段中超过所述第二阈值的数量，设置所述第二阈值。
7.根据权利要求5所述的成像装置，其中，所述设置单元基于在所述预定时间段中超过所述阈值的数量分阶段地设置所述阈值。
8.根据权利要求7所述的成像装置，其中，所述设置单元随着时间流逝而减小所述阈值的变化率。
9.根据权利要求8所述的成像装置，其中，所述设置单元减小所述阈值的所述变化率以渐近地接近初始设置值。
10.根据权利要求8所述的成像装置，其中，所述设置单元在将所述阈值设置为第一阶段的阈值后，减小所述变化率以渐近地接近预定的设置值。
11.根据权利要求1所述的成像装置，其中，所述设置单元在预定时间段中超过所述阈值的数量少于预定值的情况下不改变所述阈值。
12.根据权利要求1所述的成像装置，其中，所述设置单元根据与所述多个光电转换元件相对应的温度来设置所述阈值。
13.根据权利要求12所述的成像装置，其中，所述设置单元随着所述温度的变化的增加而增加所述阈值的变化率。
14.根据权利要求1所述的成像装置，其中，
所述第一检测单元顺序地读取所述预定区域中的所述光电转换元件的所述电信号，以及
所述设置单元在预定时间段内对超过所述阈值的所述检测信号的数量进行计数。
15.一种成像方法，包括：
根据被遮光的光电转换元件的噪声水平设置阈值；以及
在由多个光电转换元件生成的电信号的变化量的绝对值超过所述阈值的情况下检测检测信号，所述多个光电转换元件中的每一个对入射光进行光电转换以生成所述电信号。
CN202180037011.5A 2020-05-28 2021-04-28 成像装置和成像方法 Pending CN115699791A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-093556 2020-05-28
JP2020093556 2020-05-28
PCT/JP2021/017017 WO2021241120A1 (ja) 2020-05-28 2021-04-28 撮像装置及び撮像方法

Publications (1)

Publication Number Publication Date
CN115699791A true CN115699791A (zh) 2023-02-03

Family

ID=78744516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180037011.5A Pending CN115699791A (zh) 2020-05-28 2021-04-28 成像装置和成像方法

Country Status (5)

Country Link
US (1) US20230179879A1 (zh)
JP (1) JPWO2021241120A1 (zh)
CN (1) CN115699791A (zh)
TW (1) TWI788818B (zh)
WO (1) WO2021241120A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023006711A (ja) * 2021-06-30 2023-01-18 株式会社アイシン 物体検出システム
WO2023182049A1 (ja) * 2022-03-23 2023-09-28 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、データ構造
WO2023189279A1 (ja) * 2022-03-29 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、撮像装置および信号処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201340708A (zh) * 2012-03-19 2013-10-01 Sony Corp 固體攝像裝置及電子機器
TW202408217A (zh) * 2018-01-23 2024-02-16 日商索尼半導體解決方案公司 光檢測裝置及車輛控制系統
JP2019134271A (ja) * 2018-01-31 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
KR20210031677A (ko) * 2018-07-17 2021-03-22 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 소자, 적층형 촬상 소자 및 고체 촬상 장치
JP2020053827A (ja) * 2018-09-27 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
CN112740660B (zh) * 2018-09-28 2024-04-19 索尼半导体解决方案公司 固态成像元件、固态成像元件的控制方法以及电子设备

Also Published As

Publication number Publication date
TWI788818B (zh) 2023-01-01
WO2021241120A1 (ja) 2021-12-02
TW202147825A (zh) 2021-12-16
US20230179879A1 (en) 2023-06-08
JPWO2021241120A1 (zh) 2021-12-02

Similar Documents

Publication Publication Date Title
US11863911B2 (en) Imaging system, method of controlling imaging system, and object recognition system
US20220172488A1 (en) Imaging system, method for controlling imaging system, and object recognition system
US11895398B2 (en) Imaging device and imaging system
US11683606B2 (en) Imaging device and electronic equipment
US20230179879A1 (en) Imaging device and imaging method
US20230276141A1 (en) Imaging device and imaging method
US20220148432A1 (en) Imaging system
WO2021256095A1 (ja) 撮像装置及び撮像方法
US20230047180A1 (en) Imaging device and imaging method
US20230108884A1 (en) Imaging device and imaging method
US20230224558A1 (en) Imaging device and imaging method
EP4099683A1 (en) Imaging device, electronic apparatus, and imaging method
US20230247323A1 (en) Imaging device and imaging method
WO2022065032A1 (ja) 撮像装置及び撮像方法
WO2024106169A1 (ja) 光検出素子及び電子機器
US20240080587A1 (en) Solid-state imaging device and electronic instrument
WO2023136093A1 (ja) 撮像素子、および電子機器
WO2024154616A1 (ja) 光検出装置及び電子機器
WO2023243527A1 (en) Solid-state image-capturing device, and image-capturing apparatus
US20240171878A1 (en) Imaging element, imaging device, and method for controlling imaging element
CN118749201A (zh) 比较器、放大器和固态摄像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination