CN117546477A

CN117546477A - 成像装置、电子设备及光检测方法

Info

Publication number: CN117546477A
Application number: CN202280043147.1A
Authority: CN
Inventors: 児玉和俊
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2021-06-23
Filing date: 2022-03-09
Publication date: 2024-02-09
Also published as: KR20240024796A; DE112022003194T5; WO2022270034A1; JP2023003308A

Abstract

[问题]为了提供一种能够以高速输出与入射光的亮度变化有关的数据的成像装置。[解决方案]该成像装置具有：像素阵列，包括用于光电转换入射光的矩阵排列的像素电路；定时控制电路，基于从像素阵列逐行或逐列输出的第一信号，指定包括多个像素电路中的已检测到入射光的亮度变化的那些像素电路的检测像素行或检测像素列；以及读取电路，从像素阵列读取检测像素行或检测像素列的第一信号。

Description

成像装置、电子设备及光检测方法

技术领域

本公开涉及成像装置、电子设备和光检测方法。

背景技术

作为事件驱动成像装置，已知称为基于事件的视觉传感器(Event-based VisionSensor，EVS)的成像装置。如果在场景中发生事件(例如，移动)，则EVS输出关于亮度水平被事件改变的部分的数据。对于EVS，仲裁方法和扫描方法是已知的。仲裁方法通过仲裁从排列在像素阵列中的多个像素输出的信号，指定其中已经检测到入射光的亮度的变化的像素。扫描方法从像素阵列中顺序选择检测像素的行，并且基于从每行输出的信号确定入射光的亮度是否已改变。

现有技术文献

专利文献

专利文献1：JP 2018-148553A

专利文献2：PCT申请号2015-501936的日语翻译

专利文献3：JP 2020-68522A

发明内容

[本发明要解决的技术问题]

在EVS中，用于检测入射光的亮度变化的检测像素的数量根据成像环境而改变。然而，根据扫描方法的EVS基于选择的顺序从像素阵列读取所有行的信号，而不管检测像素的数量如何。这给改善EVS要求的高速数据输出能力留下了空间。

本公开涉及成像装置、电子设备以及光检测方法，通过该成像装置和电子设备可以高速输出关于入射光的亮度变化的数据。

[问题的解决方案]

根据本公开的实施方式的成像装置包括：像素阵列，包括以行和列布置的多个像素电路，像素电路光电转换入射光；定时控制电路，基于从所述像素阵列按每行或每列输出的第一信号，指定包括所述多个像素电路中的已检测到所述入射光的亮度变化的所述像素电路的检测像素行或检测像素列；以及读取电路，从像素阵列读取检测像素行或检测像素列的第一信号。

定时控制电路可以以预定周期发送帧同步信号，并且

读取电路可以跨多个帧同步信号读取第一信号。

读取电路可以跨多个帧同步信号空开一定间隔读取第一信号。

定时控制电路可与读取电路完成第一信号的读取同步地发送帧同步信号。

成像装置还可包括：EVS信号处理单元，处理从读取电路读取的第一信号；

其中，EVS信号处理单元可根据检测像素行的数量或检测像素列的数量将至少一个虚拟数据嵌入到第一输出数据中。

EVS信号处理单元可嵌入虚拟数据，使得多个帧具有相等数量的多个第一输出数据。

EVS信号处理单元可组合多个帧的第一输出数据。

EVS信号处理单元在多个帧中可将帧起始嵌入前导帧的第一输出数据中，并将帧结束嵌入在最终帧的第一输出数据中。

最后一帧的第一输出数据可以仅包括虚拟数据。

多个像素电路中的每一个可包括输出第一信号的第一像素电路和输出与入射光的亮度对应的第二信号的第二像素电路，并且

成像装置可进一步包括输出接口，该输出接口同时输出通过处理第一信号获得的第一输出数据和通过处理第二信号获得的第二输出数据。

可以针对第一像素电路设置多个第二像素电路。

所述输出接口可利用不同的虚拟信道输出所述第一输出数据和所述第二输出数据。

输出接口可输出多个第一输出数据和一个第二输出数据的组合。

第一输出数据和第二输出数据可以嵌入在同一数据行中。

可嵌入指示第一输出数据的区域和第二输出数据的区域的数据报头。

数据报头可以嵌入在第一输出数据的头部和第二输出数据的头部。

根据本公开的实施方式的电子设备包括成像装置，该成像装置包括：像素阵列，包括以行和列布置的多个像素电路，像素电路光电转换入射光；定时控制电路，基于从所述像素阵列按每行或每列输出的第一信号，指定包括所述多个像素电路中的已检测到入射光的亮度变化的所述像素电路的检测像素行或检测像素列；以及读取电路，从像素阵列读取检测像素行或检测像素列的第一信号。

根据本公开的实施方式的光检测方法，包括：

根据从像素阵列逐行或逐列输出的第一信号，指定包括在多个像素电路中的已检测入射光的亮度变化的像素电路的检测像素行或检测像素列，所述像素电路包括以行和列布置的多个像素电路，对所述入射光进行光电转换；以及

从所述像素阵列中读取所述检测像素行或所述检测像素列的所述第一信号

附图说明

图1是示示出安装有根据第一实施方式的成像装置的电子设备的配置示例的方框图。

图2是示出根据第一实施方式的成像装置的配置的框图。

图3是示出EVS像素电路的配置的电路图。

图4是示意性示出成像装置的芯片结构的分解透视图。

图5是示出成像装置的光检测操作的过程的流程图。

图6是成像装置的光检测操作的时序图。

图7是读取电路的读取操作的另一时序图。

图8示出根据第一实施方式的EVS数据的结构示例。

图9是根据第二实施方式的传输帧同步信号的时序的时序图。

图10是示出根据第三实施方式的EVS数据的结构示例。

图11是示出根据第四实施方式的EVS数据的结构示例。

图12是示出根据第五实施方式的成像装置的配置的框图。

图13示出根据第五实施方式的像素电路的配置。

图14示出灰度像素电路的配置示例。

图15示出EVS数据和灰度数据的输出格式的示例。

图16示出EVS数据和灰度数据的输出格式的另一示例。

图17示出EVS数据和灰度数据的输出格式的又一示例。

图18示出包括亮度数据和事件数据的数据集的结构的示例。

图19示出包括亮度数据和事件数据的数据集的结构的示例。

图20是示出车辆控制系统的示意性配置的示例的框图。

图21是示出车外信息检测部和成像单元的设置位置的示例的说明图。

具体实施方式

在下文中，将参考附图描述成像装置和光检测方法的实施方式。以下将主要描述成像装置的主要组件。成像装置中的一些组件或功能可在图解或描述中省略。以下描述不排除未示出或描述的组件或功能。

(第一实施方式)

图1为示出安装有根据第一实施方式的成像装置的电子设备的配置示例的方框图。

图1中的电子设备10包括成像透镜11、成像装置20、记录单元12和控制单元13。例如，电子设备10可应用于安装在通信装置(例如，智能电话)中的相机系统、安装在工业机器人中的相机系统以及机载相机系统。

成像透镜11捕捉来自对象的入射光并且在成像装置20的成像表面上形成图像。成像装置20按每个像素光电转换通过成像透镜11收集的入射光并且获取成像数据。

成像装置20对已成像的图像数据执行预定信号处理(诸如，图像识别)，并且将关于处理结果的数据输出至记录单元12。记录单元12存储通过信号线14从成像装置20提供的数据。例如，控制单元13配置有微型计算机并且控制成像装置20中的成像操作。

图2是示出根据第一实施方式的成像装置20的配置的框图。图2中的成像装置20是根据扫描方法的成像装置。成像装置20包括像素阵列21、访问控制电路22、定时控制电路23、读取电路24、EVS信号处理单元25、时间戳生成电路26和输出接口27。

像素阵列21包括行和列的二维阵列中的多个EVS像素电路30(第一像素电路)。每个EVS像素电路30产生从入射光光电转换的电压信号。此外，每个EVS像素电路30基于所生成的电压信号输出指示入射光的亮度是否已经改变的亮度变化信号(第一信号)。按每行(每行)输出亮度变化信号。亮度变化信号可按每列(每列)输出。

访问控制电路22例如由移位寄存器构成，在定时控制电路23的控制下，访问EVS像素电路30。该访问允许读取电路24读取每个EVS像素电路30的亮度变化信号。

定时控制电路23将帧同步信号发送至成像装置20中的各个电路。帧同步信号是在成像装置20中以一个帧的重复处理的周期传输的信号。此外，定时控制电路23基于通过访问控制电路22从像素阵列21输入的亮度变化信号来指定已经检测到事件的检测像素行。检测像素行包括至少一个有源像素电路。有源像素电路是对应于入射光的亮度的电压值超过或低于预定阈值的像素电路。如果从像素阵列21输出每一列的亮度变化信号，则定时控制电路23指定已检测到事件的检测像素列。检测像素列也包括至少一个有源像素电路。

读取电路24从像素阵列21读取由定时控制电路23指定的检测像素行的亮度变化信号。换言之，读取电路24仅读取包括有源像素的检测像素行的亮度变化信号，而不是读取像素阵列21的所有行的亮度变化信号。当从像素阵列21输出各列的亮度变化信号时，读取电路24从像素阵列21读取由定时控制电路23指定的检测像素列的亮度变化信号。换言之，读取电路24仅读取包括有源像素的检测像素列的亮度变化信号，而不是读取像素阵列21的所有列的亮度变化信号。

EVS信号处理单元25对由读取电路24读取的亮度变化信号执行预定信号处理。例如，EVS信号处理单元25针对由帧同步信号分离的每个帧创建EVS数据。EVS数据包括例如检测像素行(或检测像素列)的地址以及指示关于事件的检测的时间信息的时间戳。

时间戳生成电路26生成时间戳，该时间戳是关于像素阵列21的EVS像素电路30中的入射光的亮度变化的检测的时间信息。时间戳生成电路26将生成的时间戳输出到EVS信号处理单元25。

输出接口27将EVS数据作为EVS信号处理单元25的第一输出数据输出至记录单元12。

图3是示出了EVS像素电路30的配置的电路图。图3中的EVS像素电路30是EVS像素电路的实施例并且包括对数变换器电路310、缓冲电路320、减法电路330和量化电路340。缓冲电路320、减法电路330和量化电路340构成用于生成亮度变化信号的模拟前端(AFE)。

对数变换器电路310包括光电转换元件300、N沟道MOS晶体管311、P沟道MOS晶体管312和N沟道MOS晶体管313。光电转换元件300对入射光进行光电转换并产生与入射光量对应的电荷量。光电转换元件300配置有例如光电二极管。光电转换元件300与MOS晶体管514串联连接。MOS晶体管312与MOS晶体管313串联连接。此外，MOS晶体管311的栅极连接到MOS晶体管312的漏极和MOS晶体管313的漏极。在对数转换电路310中，光电转换元件300中光电转换的电荷被转换为对数输出的电压信号Vlog。

缓冲电路320包括P沟道MOS晶体管321和P沟道MOS晶体管322。MOS晶体管321与MOS晶体管522串联连接。缓冲电路320输出通过对输入到MOS晶体管322的栅极的电压信号Vlog进行阻抗变换而获得的源极跟随器电压信号VSF。

减法电路330包括P沟道MOS晶体管331、P沟道MOS晶体管332、N沟道MOS晶体管333、电容器334和电容器335。MOS晶体管332与MOS晶体管333串联连接。电容器334连接到MOS晶体管332的栅极。MOS晶体管331和电容器335并联连接在MOS晶体管332的栅极和漏极之间。当EVS像素电路30检测到事件时，MOS晶体管331从断开状态切换到导通状态。由此，EVS像素电路30成为无法检测事件的复位状态。在预定时间流逝之后，MOS晶体管331从断开状态切换到导通状态，使得EVS像素电路30被置于可检测事件的状态。减法电路330在复位前后输出源极跟随器电压信号VSF的差分电压信号Vdiff。

量化电路340包括P沟道MOS晶体管341、N沟道MOS晶体管342、P沟道MOS晶体管343和N沟道MOS晶体管344。MOS晶体管341与MOS晶体管342串联连接。MOS晶体管543与MOS晶体管344串联连接。

MOS晶体管341和MOS晶体管342构成将输入到MOS晶体管341的栅极的差分电压信号Vdiff与上限阈值进行比较的第一比较器电路。MOS晶体管343和MOS晶体管344构成将输入到MOS晶体管343的栅极的差分电压信号Vdiff与下限阈值相比较的第二比较器电路。第一比较器电路和第二比较器电路的输出信号对应于数字亮度变化信号。如果差分电压信号Vdiff超过上限阈值，亮度变化信号的信号值为“+1”。如果差分电压信号Vdiff下降到下限阈值以下，亮度变化信号的信号值为“-1”。如果差分电压信号Vdiff被设置在上限阈值和下限阈值之间，亮度变化信号的信号值是“0”。

如果电路可检测入射光的亮度变化，则EVS像素电路30不限于图3中的电路。例如，临时保持像素阵列21的每行的亮度变化信号的触发器电路可以被布置在量化电路340的下游。

图4是示意性示出成像装置20的芯片结构的分解透视图。如图4所示，成像装置20具有包括至少两个芯片的层压结构：光接收芯片201和感测芯片202。例如，在图3中的EVS像素电路30中，光电转换元件300设置在光接收芯片201上，而除了光电转换元件300和成像装置20的其他元件之外的所有元件设置在感测芯片202上。光接收芯片201和感应芯片202通过过孔(VIA)、Cu-Cu结、凸点等连接部相互电连接。换言之，光接收芯片201和感测芯片202根据CoC(芯片上芯片)方法、CoW(晶圆上芯片)方法和WoW(晶圆上芯片)方法中的任意一个相互接合。

芯片布局不限于图4的布局。例如，像素阵列21可以设置在光接收芯片201上，并且其他电路元件可以设置在感测芯片202上。可替换地，像素阵列21、访问控制电路22和读取电路24可以设置在光接收芯片201上，并且其他电路元件可以设置在感测芯片202上。

参照图5和图6，下面将描述由此配置的成像装置20的光检测操作。

图5是示出成像装置20的光检测操作的过程的流程图。图6是成像装置20的光检测操作的时序图。

在本实施方式中，首先，像素阵列21的每个EVS像素电路30在图6的检测复位周期T1中生成亮度变化信号(步骤S101)。换言之，EVS像素电路30检测入射光的亮度是否已改变。已检测到亮度变化的EVS像素电路30被复位。

随后，访问控制电路22从像素阵列21获取每行的亮度变化信号(步骤S102)。然后，访问控制电路22将所获取的亮度变化信号提供给定时控制电路23和时间戳生成电路26。因此，将像素阵列21中已经检测到入射光的亮度变化的所有检测像素行通知给定时控制电路23。此外，时间戳生成电路26基于亮度变化信号生成时间戳。

然后，定时控制电路23基于亮度变化信号的信号值选择像素阵列21中要由访问控制电路22访问的行(步骤S103)。在步骤S103中，定时控制电路23将包括信号值为“+1”或“-1”的亮度变化信号的行指定为检测的像素行，并且选择所有指定的行作为接入行。此外，定时控制电路23将所选择的检测像素行的数量通知给EVS信号处理单元25。

此后，当访问控制电路22访问由定时控制电路23选择的检测像素行时，读取电路24在图6中的读取周期T2中读取检测像素行的亮度变化信号(步骤S104)。在步骤S104中，如果检测像素行的数量较少，则读取电路24可以读取一帧中所有检测像素行的亮度变化信号。然而，如果检测像素行的数量很大，则难以在一个帧中读取所有检测像素行的亮度变化信号。由此，在这种情况下，读取电路24读取跨多个连续帧(帧A、帧B)的亮度变化信号。

图7是读取电路24的读取操作的另一个时序图。如图7所示，当读取电路24从多个帧读取亮度变化信号时，可以在帧之间的边界处设置间隔ΔT。间隔ΔT的长度例如可以根据检测复位期间T1的长度来设定。由此，在各帧中统一地设定读出期间T2。

读取电路24将来自像素阵列21的检测像素行的读取亮度变化信号顺序地输出至EVS信号处理单元25。在步骤S103中，EVS信号处理单元25通过将从读取电路24输入的亮度变化信号的数量与从定时控制电路23通知的检测像素行的数量进行比较来确定读取电路24的读取操作是否已经完成(步骤S105)。

在读取电路24的读取操作完成时，EVS信号处理单元25基于亮度变化信号生成EVS数据(步骤S106)。输出接口27然后输出由EVS信号处理单元25生成的EVS数据(步骤S107)。之后，重复步骤S101至S107的操作。

图8示出根据第一实施方式的EVS数据的结构示例。EVS信号处理单元25针对每个帧创建EVS数据。在EVS数据的头部处嵌入帧起始(FS)。在EVS数据的尾部处嵌入帧结束(FE)。在帧起始(FS)和帧结束(FE)之间嵌入事件数据(Event)和时间戳。事件数据与每个检测像素行的亮度变化信号相关，并且时间戳表示检测到入射光的亮度变化。如果读取电路24从帧A和帧B读取亮度变化信号，则嵌入在帧A的EVS数据中的时间戳与嵌入在帧B的EVS数据中的时间戳相同。

在事件数据的头部和尾部别嵌入分组报头(PH)和分组尾部(PF)。由此，当EVS数据被读取时，事件数据可被识别。此外，检测像素行的地址被嵌入在事件数据的头部。这可以定位像素阵列21中的检测像素行。

在EVS数据中，帧长度与事件数据的个数对应。事件数据的个数根据检测像素行的数量而改变。由此，对于每个帧，EVS数据的帧长度可能不同。例如，在图8中，在帧A中的检测像素行的数量大于在帧B中的检测像素行的数量。由此，帧A的EVS数据的帧长度比帧B的EVS数据的帧长度长。这样，在本实施方式中，EVS数据的帧长度根据检测像素行的数量是可变的。

根据本实施方式，读取电路24从像素阵列21仅读取包括已检测到事件的EVS像素电路30的检测像素行的亮度变化信号。与从像素阵列21读取所有行的亮度变化信号相比，这获得更短的读取时间。由此，能够以高速输出EVS数据。

(第二实施方式)

下面将描述第二实施方式。第二实施方式在用于传输帧同步信号的定时方面不同于第一实施方式。参照图9，下面描述在第二实施方式中传输帧同步信号的时序。在本实施方式中，成像装置20的配置与第一实施方式的配置相同。因此，通过相同的参考标号表示成像装置20的组成元件，并且省略其详细描述。

图9是示出根据第二实施方式的用于发送帧同步信号的时序的时序图。在本实施方式中，如图9所示，定时控制电路23与读出期间T2的结束的定时同步地发送帧同步信号。因此，帧同步信号的周期随着检测像素行的数量的增加而延长，而帧同步信号的周期随着检测像素行的数量的减少而缩短。这样，帧同步信号的周期可根据检测像素行的数量而变化。

此外，在本实施方式中，EVS信号处理单元25基于帧同步信号识别读取电路24的读取操作的完成。由此，EVS信号处理单元25响应于用作触发的帧同步信号而开始创建EVS数据。

根据本实施方式，与第一实施方式相同，读取电路24仅读取检测像素行的亮度变化信号，使得能够以高速输出EVS数据。在本实施方式中，定时控制电路23在读取电路24对亮度变化信号的读取完成时，发送帧同步信号。由此，EVS信号处理单元25无需从定时控制电路23通知检测像素行的数量，就能够生成EVS数据。由此，能够减轻定时控制电路23进行通知的负担。

(第三实施方式)

下面将描述第三实施方式。第三实施方式与第一实施方式的不同之处在于EVS数据的结构。参考图10，下面将描述根据第三实施方式的EVS数据的结构。而且，在本实施方式中，成像装置20的配置与第一实施方式的配置相同。因此，通过相同的参考标号表示成像装置20的组成元件，并且省略其详细描述。

图10示出了根据第三实施方式的EVS数据的结构示例。在本实施方式中，如果检测像素行的数量在帧之间变化，则EVS信号处理单元25在具有少量检测像素行的EVS数据中嵌入虚拟数据。

例如，图10中的帧A的EVS数据包括六条事件数据。帧B的EVS数据包括五条事件数据。在这种情况下，EVS信号处理单元25将一个虚拟数据嵌入到帧B的EVS数据中。结果，帧B的EVS数据的帧长度等于帧A的EVS数据的帧长度。此后，输出接口27输出每个帧的EVS数据。

根据本实施方式，与第一实施方式相同，读取电路24仅读取检测像素行的亮度变化信号，使得能够以高速输出EVS数据。此外，在本实施方式中，EVS信号处理单元25根据检测像素行的数量将至少一个虚拟数据嵌入EVS数据中。由此，每个帧中的数据的个数(即，帧长度)可以是一致的。这可固定EVS数据的帧长度，而不管检测像素行的数量。

(第四实施方式)

以下将描述第四实施方式。第四实施方式与第三实施方式的不同之处在于EVS数据的结构。参照图11，下面将描述根据第四实施方式的EVS数据的结构。而且，在本实施方式中，成像装置20的配置与第一实施方式的配置相同。因此，通过相同的参考标号表示成像装置20的组成元件，并且省略其详细描述。

图11示出根据第四实施方式的EVS数据的结构示例。在本实施方式中，与第三实施方式一样，如果检测像素行的数量在帧之间变化，则EVS信号处理单元25将虚拟数据嵌入具有少量检测像素行的EVS数据中。

此外，在本实施方式中，EVS信号处理单元25将多个帧的EVS数据组合成一个EVS数据，以便固定作为EVS数据的更新速率的帧率。

例如，在图11中，EVS信号处理单元25组合四个帧A、B、C和D的EVS数据。此时，帧起始(FS)仅嵌入在前导帧A的EVS数据中，而不嵌入在其他帧的EVS数据中。此外，帧结束(FE)仅嵌入在最终帧D的EVS数据中，而不嵌入在其他帧的EVS数据中。

如果帧率是固定的，则EVS数据不能嵌入在最终帧D中以便在多个帧上延伸。由此，最后一帧D的EVS数据不包括事件数据，而是仅包括虚拟数据。

根据本实施方式，与第一实施方式相同，读取电路24仅读取检测像素行的亮度变化信号，使得能够以高速输出EVS数据。此外，在本实施方式中，通过组合多个帧的EVS数据，不管检测像素行的数量如何，帧率可被固定。

(第五实施方式)

图12是示出根据第五实施方式的成像装置的配置的框图。在图12中，与第一实施方式的那些相同的组成元件由相同的参考标号表示，并且省略其详细描述。

除了根据第一实施方式的成像装置20的组成元件之外，本实施方式的成像装置200进一步包括AD转换器28和灰度信号处理单元29。像素阵列21中的像素电路40的配置与根据第一实施方式的EVS像素电路30的配置不同。首先，说明像素电路40的结构。

图13示出了根据第五实施方式的像素电路40的配置。除了在第一实施方式中描述的EVS像素电路30之外，图13中的像素电路40还包括三个灰度像素电路41(第二像素电路)。例如，三个灰度像素电路41分别光电转换红光(R)、绿光(G)和蓝光(B)，并且根据电荷量输出灰度亮度信号(第二信号)。灰度像素电路41的数量不受特别限制并且可以是至少一个。

图14示出了灰度像素电路41的配置示例。图14中的灰度像素电路41包括光电转换单元410和信号生成单元420。

光电转换单元410包括光电转换元件411、转移晶体管412和OFG(过流栅极)晶体管413。对于传输晶体管412和OFG晶体管413，例如，使用N沟道MOS(金属氧化物半导体)晶体管。转移晶体管412和OFG晶体管413串联连接。

光电转换元件411连接在转移晶体管412和OFG晶体管413的公共连接节点N1和地之间。光电转换元件411光电转换入射光并且产生对应于入射光量的电荷量。光电转换元件411配置有例如光电二极管。

从访问控制电路22(见图2)将传输信号TRG提供至传输晶体管412的栅电极。响应于传输信号TRG，传输晶体管412将由光电转换元件411光电转换的电荷提供至信号生成单元420。

控制信号OFG从访问控制电路22提供到OFG晶体管413的栅电极。响应于控制信号OFG，OFG晶体管413释放光电转换元件411中剩余的电荷。

信号生成单元420包括复位晶体管421、放大晶体管422、选择晶体管423和浮置扩散层424。对于复位晶体管421、放大晶体管422和选择晶体管423，例如，使用N沟道MOS晶体管。

由光电转换元件411光电转换的电荷由传输晶体管412从光电转换单元410提供给信号生成单元420。从光电转换单元410提供的电荷被存储在浮动扩散层424中。浮动扩散层424生成具有与所存储的电荷量相对应的电压值的电压信号。换言之，浮动扩散层424将电荷转换成电压。

复位晶体管421连接在电源电压VDD的电源线与浮动扩散层424之间。从访问控制电路22向复位晶体管421的栅电极提供复位信号RST。复位晶体管421响应于复位信号RST初始化(复位)浮动扩散层424的电荷量。

放大晶体管422与在电源电压VDD的电源线与垂直信号线VSL之间的选择晶体管423串联连接。放大晶体管422放大在浮动扩散层424中已经经历电荷/电压转换的电压信号。

选择信号SEL从存取控制电路22提供给选择晶体管423的栅电极。响应于选择信号SEL，选择晶体管423通过垂直信号线VSL将通过放大晶体管422放大的电压信号作为灰度亮度信号输出至AD转换器28。

灰度像素电路41的前述配置仅是示例性的，并且不限于该配置示例。例如，灰度像素电路41也可以构成为ToF(Time of Flight：飞行时间)像素电路，该ToF像素电路基于从被摄体照射光起到接收反射光为止的时间来测量与被摄体的距离。在这种情况下，例如，SPAD(单光子雪崩二极管)可以用于光电转换元件411。

返回图12，对于像素阵列21的每个像素列，AD转换器28将从每个列的灰度像素电路41输出的模拟灰度亮度信号转换成数字信号。然后，AD转换器28将数字信号输出至灰度信号处理单元29。从像素阵列21读取灰度亮度信号的方法不受特别限制，并且可以是其中以相同的定时存储所有像素的电荷的全局快门方法或者针对每个像素行偏移存储电荷的定时的卷帘快门方法。

灰度信号处理单元29对从AD转换器28获得的数字信号执行预定信号处理，诸如CDS(相关双采样)和图像识别。然后，灰度信号处理单元29将关于处理结果的灰度数据输出至输出接口27。输出接口27在由EVS信号处理单元25创建的EVS数据的同时输出灰度数据。

图15示出EVS数据和灰度数据的输出格式的示例。在由灰度信号处理单元29创建的灰度数据的头部处帧起始(FS)被嵌入在EVS数据中。在灰度数据的尾部处嵌入帧结束(FE)。在帧起始(FS)和帧结束(FE)之间嵌入与灰度亮度信号相关的亮度数据(强度)。

输出接口27通过使用不同的虚拟信道同时输出EVS数据和灰度数据。由此，每个帧的EVS数据被帧起始(FS)和帧结束(FE)分离。EVS数据和灰度数据的输出格式不限于图15的示例。

图16示出EVS数据和灰度数据的输出格式的另一示例。因为EVS数据的帧率大于灰度数据的帧率，所以在每个帧中事件数据的个数和亮度数据的个数彼此不同。因此，在图16的EVS数据中，多个帧中的多个EVS数据被组合以等同于灰度数据的超级帧。因此，帧起始(FS)仅嵌入在前导帧的EVS数据中而不嵌入在其他帧的EVS数据中。此外，帧结束(FE)仅嵌入在最后一帧的EVS数据中而不嵌入在其他帧的EVS数据中。

图17示出EVS数据和灰度数据的输出格式的又一示例。在图17的实施例中，亮度数据和事件数据连续嵌入在同一数据行中。在包括亮度数据和事件数据的数据集的头部处嵌入分组报头(PH)，并且在数据集的终止处嵌入分组尾部(PF)。如果事件数据的个数小于亮度数据的个数，则可在数据集中嵌入虚拟数据。在这种情况下，EVS数据的个数和灰度数据的个数可彼此相等。

图18示出了包括亮度数据和事件数据的数据集的结构的示例。在图18的数据集中，在亮度数据的头部处嵌入数据报头。数据报头指示亮度数据的区域和事件数据的区域。因此，在读取数据集时，亮度数据和事件数据可以彼此区分。

图19示出了包括亮度数据和事件数据的数据集的结构的示例。在图19的数据集中，数据报头被嵌入在亮度数据的头部和事件数据的头部的每一个处。嵌入在亮度数据的头部的数据报头指示亮度数据的区域。嵌入在事件数据的头部的数据报头指示事件数据的区域。同样在这种情况下，在读取数据集时，亮度数据和事件数据可彼此区分。

根据本实施方式，与第一实施方式相同，读取电路24仅读取检测像素行的亮度变化信号，使得能够以高速输出EVS数据。此外，在本实施方式中，除了指示检测事件的存在或不存在的EVS数据之外，还可获得指示要成像的对象的亮度值的灰度数据。

<应用于移动对象>

本公开的技术(本技术)可应用于各种产品。例如，根据本公开的技术可以实现为安装在任何类型的移动对象上的装置，所述移动对象诸如汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动装置、飞机、无人机、船舶和机器人。

图20是示出车辆控制系统的示意性配置示例的框图，车辆控制系统是根据本公开的技术可应用于的移动对象控制系统的示例。

车辆控制系统12000包括经由通信网络12001连接的多个电子控制单元。在图20所示的实施例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及综合控制单元12050。此外，作为综合控制单元12050的功能配置，示出了微型计算机12051、声图像输出单元12052和车载网络I/F(接口)12053。

驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元12010作为产生内燃机、驱动电动机等的车辆驱动力的驱动力产生装置、向车轮传递驱动力的驱动力传递机构、调整车辆的转向角的转向机构、产生车辆的制动力的制动装置的控制装置发挥功能。

车身系统控制单元12020根据各种程序来控制安装在车身中的各种装置的操作。例如，车身系统控制单元12020用作用于无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如前照灯、后灯、制动灯、转向信号和雾灯的各种灯的控制装置。在这种情况下，从替代按键的便携式装置发送的无线电波或各种开关的信号可以被输入到身体系统控制单元12020。车身系统控制单元12020接收无线电波或信号的输入并且控制车门锁定装置、电动车窗装置和车辆的灯。

车外信息检测单元12030检测安装有车辆控制系统12000的车辆的外部的信息。例如，成像单元12031与车外信息检测单元12030连接。车外信息检测单元12030使成像单元12031拍摄车外的图像并接收拍摄的图像。车外信息检测单元12030可以基于接收的图像对道路上的人、汽车、障碍物、标志和字母执行物体检测处理或距离检测处理。

成像单元12031是接收光并输出与接收的光量相应的电信号的光学传感器。成像单元12031也可以将电信号作为图像或测距信息输出。另外，成像单元12031接收到的光可以是可见光，也可以是红外光等不可见光。

车内信息检测单元12040检测车内的信息。例如，在车内信息检测单元12040上连接有检测驾驶员状态的驾驶员状态检测单元12041。驾驶员状态检测单元12041包括例如拍摄驾驶员的图像的相机，并且车内信息检测单元12040可以基于从驾驶员状态检测单元12041输入的检测信息计算驾驶员的疲劳度或集中度或者可以确定驾驶员是否打瞌睡。

微型计算机12051能够基于车外信息检测单元12030或车内信息检测单元12040所取得的车内外信息，计算出驱动力产生装置、转向机构或制动装置的控制目标值，向驱动系统控制单元12010输出控制指令。例如，微计算机12051可以执行协作控制，以实现基于车间距离、车速维持驾驶、车辆碰撞警告和车辆车道偏离警告在行驶之后的ADAS(高级驾驶员辅助系统)的功能，包括车辆碰撞避免、冲击减轻。

另外，微型计算机12051基于由车外信息检测单元12030或车内信息检测单元12040取得的车辆周边的信息，对驱动力产生装置、转向机构或制动装置等进行控制，由此能够进行与驾驶者的操作无关地进行自动驾驶的自动驾驶等的协调控制。

另外，微型计算机12051可以基于由车外信息检测单元12030获取的关于车外的信息，将控制命令输出到车身系统控制单元12030。例如，微型计算机12051可以通过根据由车外信息检测单元12030检测到的前方车辆或迎面车辆的位置控制前照灯，来执行用于防炫目的协调控制，例如远光向近光的切换。

声音图像输出单元12052将声音和图像中的至少一个的输出信号发送到能够向车辆的乘客或车辆的外部提供视觉或听觉信息的通知的输出装置。在图20的实施例中，音频扬声器12061、显示单元12062和仪表板12063被例示为输出装置。例如，显示单元12062可包括板载显示器和平视显示器中的至少一个。

图21是表示成像单元12031的设置位置的示例的图。

在图21中，成像单元12031包括成像单元12101、12102、12103、12104和12105。

成像单元12101、12102、12103、12104和12105例如设置在车辆12100的前挡风玻璃的前鼻、侧视镜、后保险杠、后门、内部上部的位置处。设置在前鼻处的成像单元12101和设置在前挡风玻璃的内部上部的成像单元12105主要获取车辆12100前方的图像。设置在侧视镜中的成像单元12102和12103主要获取车辆12100侧面的图像。设置在后保险杠或后尾门中的成像单元12104主要获取车辆12100后面的图像。设置在前挡风玻璃的内部上部的成像单元12105主要用于检测前方车辆、行人、障碍物、交通信号、交通标志或车道。

图21示出了成像单元12101至12104的成像范围的示例。成像范围12111指示设置在前鼻处的成像单元12101的成像范围，成像范围1211212113指示设置在侧视镜处的成像单元12102和12103的成像范围，并且成像范围12114指示设置在后保险杠或后门处的成像单元12104的成像范围。例如，通过重叠由成像单元12101至12104拍摄到的图像数据，能够获得俯视车辆12100的俯瞰图像。

成像单元12101至12104中的至少一个可具有获得距离信息的功能。例如，成像单元12101至12104中的至少一个可以是包括多个成像元件的立体相机，或者可以是具有用于相位差检测的像素的成像元件。

例如，微型计算机12051尤其可以提取位于车辆12100的行驶路径上并以预定速度(例如，0km/h或更高)通过基于从成像单元12101至12104获得的距离信息获取至拍摄范围12111至12114中的每个三维物体的距离以及该距离内的时间变化(相对于车辆12100的相对速度)，从而沿与车辆12100基本相同的方向与车辆12100前方的车辆相同。微型计算机12051还可以设定要确保距前方车辆的车间距离并且执行自动制动控制(包括跟随停止控制)和自动加速控制(包括跟随起动控制)。因此，能够不依赖于驾驶员的操作而例如为了使车辆自动行驶的自动驾驶而进行协调控制。

例如，微型计算机12051可以在基于从成像单元12101至12104获得的距离信息将与三维物体有关的三维物体数据分类为二轮车、普通车辆、大型车辆、行人和其他三维物体(诸如电极)之后，提取该三维物体数据，并且使用该三维物体数据用于自动躲避障碍物。例如，微型计算机12051将车辆12100周围的障碍物分类为车辆12100的驾驶员可视地识别的障碍物和难以可视地识别的障碍物。然后，微型计算机12051确定指示与每个障碍物碰撞的风险的程度的碰撞风险。如果在碰撞风险等于或高于设定值时可能发生碰撞，则通过音频扬声器12061或显示单元12062向驾驶员输出警报，或者通过驱动系统控制单元12010执行强制减速或躲避转向，从而提供用于碰撞躲避的驾驶员辅助。

成像单元12101至12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051可以通过确定在成像单元12101至12104的拍摄图像中是否存在行人来识别行人。例如，通过在作为红外相机的成像单元12101至12104的拍摄图像中提取特征点的过程以及通过对表示对象的轮廓的一系列特征点执行图案匹配来确定对象是否是行人的过程来识别行人。当微型计算机12051确定在成像单元12101至12104的捕获图像中存在行人并识别行人时，声音图像输出单元12052控制显示单元12062，使得在识别的行人上重叠用于强调的正方形边界线。此外，声音图像输出单元12052可控制显示单元12062，使得在期望的位置处显示指示行人的图标等。

上面描述了根据本公开的技术可应用的车辆控制系统的示例。例如，根据本公开的技术可应用于在上述配置之中的成像单元12031。具体而言，能够将第一实施方式至第五实施方式的成像装置应用于成像单元12031。通过应用根据本公开内容的技术，可以快速获得捕捉图像，并且因此可以提高图像质量。

本技术可以配置如下：

(1)一种成像装置，包括：像素阵列，包括以行和列布置的多个像素电路，像素电路光电转换入射光，

定时控制电路，基于从像素阵列逐行或逐列输出的第一信号，指定包括多个像素电路当中的已检测到入射光的亮度变化的像素电路的检测像素行或检测像素列；以及

读取电路，从像素阵列读取检测像素行或检测像素列的第一信号。

(2)根据(1)的成像装置，其中定时控制电路以预定周期发送帧同步信号，以及

读取电路跨多个帧同步信号读取第一信号。

(3)根据(2)的成像装置，其中读取电路跨多个帧同步信号空开一定间隔读取第一信号。

(4)根据(1)的成像装置，其中定时控制电路与读取电路完成对第一信号的读取同步地发送帧同步信号。

(5)根据(1)的成像装置，进一步包括处理从读取电路读取的第一信号的EVS信号处理单元，

其中，EVS信号处理单元根据检测像素行的数量或检测像素列的数量，将至少一个虚拟数据嵌入到第一输出数据中。

(6)根据(5)的成像装置，其中EVS信号处理单元嵌入虚拟数据，使得多个帧具有相等数量的第一输出数据。

(7)根据(5)或(6)的成像装置，其中EVS信号处理单元组合多个帧的第一输出数据。

(8)根据(7)的成像装置，其中EVS信号处理单元在多个帧中将帧起始嵌入前导帧的第一输出数据中并且将帧结束嵌入在最终帧的第一输出数据中。

(9)根据(8)的成像装置，其中最终帧的第一输出数据仅包括虚拟数据。

(10)根据(1)至(9)中任一项的成像装置，其中多个像素电路中的每一个包括输出第一信号的第一像素电路和输出与入射光的亮度相对应的第二信号的第二像素电路，以及

成像装置进一步包括输出接口，输出接口同时输出通过处理第一信号获得的第一输出数据和通过处理第二信号获得的第二输出数据。

(11)根据(10)的成像装置，其中针对第一像素电路设置多个第二像素电路。

(12)根据(10)或(11)的成像装置，其中输出接口通过使用不同的虚拟信道输出第一输出数据和第二输出数据。

(13)根据(10)或(11)的成像装置，其中输出接口输出多个第一输出数据和一个第二输出数据的组合。

(14)根据(10)或(11)的成像装置，其中第一输出数据和第二输出数据嵌入在同一数据行中。

(15)根据(14)的成像装置，其中嵌入指示第一输出数据的区域和第二输出数据的区域的数据报头。

(16)根据(15)的成像装置，其中数据报头被嵌入在第一输出数据的报头和第二输出数据的报头。

(17)一种包括成像装置的电子设备，成像装置包括：像素阵列，包括以行和列布置的多个像素电路，像素电路光电转换入射光；定时控制电路，基于从像素阵列按每行或每列输出的第一信号，指定包括多个像素电路中的已检测到入射光的亮度变化的像素电路的检测像素行或检测像素列；以及读取电路，从像素阵列读取检测像素行或检测像素列的第一信号。

(18)一种光检测方法，包括：基于从包括以行和列布置的多个像素电路的像素阵列逐行或逐列输出的第一信号，指定包括多个像素电路中的已检测入射光的亮度变化的像素电路的检测像素行或检测像素列，像素电路光电转换入射光；以及

从像素阵列中读取检测像素行或检测像素列的第一信号。

[参考标号列表]

21 像素阵列

23 定时控制电路

24 读取电路

25 EVS信号处理单元

27 输出接口

30 EVS像素电路

40 像素电路

41 灰度像素电路。

Claims

1.一种成像装置，包括：像素阵列，包括以行和列布置的多个像素电路，所述像素电路光电转换入射光，

定时控制电路，基于从所述像素阵列逐行或逐列输出的第一信号，指定包括所述多个像素电路当中的已检测到所述入射光的亮度变化的像素电路的检测像素行或检测像素列；以及

读取电路，从所述像素阵列读取所述检测像素行或所述检测像素列的所述第一信号。

2.根据权利要求1所述的成像装置，其中，所述定时控制电路以预定周期发送帧同步信号，并且

所述读取电路跨多个所述帧同步信号读取所述第一信号。

3.根据权利要求2所述的成像装置，其中，所述读取电路空开一定间隔跨多个所述帧同步信号读取所述第一信号。

4.根据权利要求1所述的成像装置，其中，所述定时控制电路与所述读取电路完成对所述第一信号的读取同步地发送帧同步信号。

5.根据权利要求1所述的成像装置，进一步包括EVS信号处理单元，所述EVS信号处理单元处理从所述读取电路读取的所述第一信号，

其中，所述EVS信号处理单元根据所述检测像素行的数量或所述检测像素列的数量，将至少一个虚拟数据嵌入到第一输出数据中。

6.根据权利要求5所述的成像装置，其中，所述EVS信号处理单元嵌入所述虚拟数据，使得多个帧具有相等数量的所述第一输出数据。

7.根据权利要求5所述的成像装置，其中，所述EVS信号处理单元组合多个帧的所述第一输出数据。

8.根据权利要求7所述的成像装置，其中，所述EVS信号处理单元在所述多个帧中将帧起始嵌入前导帧的所述第一输出数据中并且将帧结束嵌入在最终帧的所述第一输出数据中。

9.根据权利要求8所述的成像装置，其中，所述最终帧的所述第一输出数据仅包括所述虚拟数据。

10.根据权利要求1所述的成像装置，其中，所述多个像素电路中的每一个包括输出所述第一信号的第一像素电路和输出与所述入射光的亮度相对应的第二信号的第二像素电路，并且

所述成像装置进一步包括输出接口，所述输出接口同时输出通过处理所述第一信号而获得的第一输出数据和通过处理所述第二信号而获得的第二输出数据。

11.根据权利要求10所述的成像装置，其中，针对一个所述第一像素电路设置多个所述第二像素电路。

12.根据权利要求10所述的成像装置，其中，所述输出接口通过使用不同的虚拟信道输出所述第一输出数据和所述第二输出数据。

13.根据权利要求10所述的成像装置，其中，所述输出接口输出多个所述第一输出数据和一个第二输出数据的组合。

14.根据权利要求10所述的成像装置，其中，所述第一输出数据和所述第二输出数据嵌入在同一数据行中。

15.根据权利要求14所述的成像装置，其中，指示所述第一输出数据的区域和所述第二输出数据的区域的数据报头被嵌入。

16.根据权利要求15所述的成像装置，其中，所述数据报头被嵌入在所述第一输出数据的头部和所述第二输出数据的头部。

17.一种包括成像装置的电子设备，所述成像装置包括：像素阵列，包括以行和列布置的多个像素电路，所述像素电路光电转换入射光；定时控制电路，基于从所述像素阵列逐行或逐列输出的第一信号，指定包括所述多个像素电路当中的已检测到所述入射光的亮度变化的像素电路的检测像素行或检测像素列；以及读取电路，从所述像素阵列从所述检测像素行或所述检测像素列读取所述第一信号。

18.一种光检测方法，包括：基于从像素阵列逐行或逐列输出的第一信号，指定包括多个像素电路当中的已检测到入射光的亮度变化的像素电路的检测像素行或检测像素列，所述像素阵列包括以行和列布置的多个像素电路，所述像素电路光电转换所述入射光；并且

从所述像素阵列读取所述检测像素行或所述检测像素列的第一信号。