CN116057950A - 成像装置和成像方法 - Google Patents

Abstract

[问题]本公开解决提供一种能够更快地生成DVS图像和灰度图像的成像装置和成像方法的问题。[解决方案]一种成像装置，包括：像素阵列单元，包括输出与光强度相对应的第一亮度信号的多个DVS像素和输出与光强度相对应的第二亮度信号的多个灰度像素；检测电路，当来自相应多个DVS像素的第一亮度信号超过预定阈值时，输出指示地址事件的发生的检测信号；第一读取单元，从多个DVS像素读取第一亮度信号并将第一亮度信号转换为数字数据；第二读取单元，从多个灰度像素读取第二亮度信号并将第二亮度信号转换为数字数据；以及控制电路，控制第一读取单元和第二读取单元。

Description

成像装置和成像方法

技术领域

本公开涉及成像装置和成像方法。

背景技术

与诸如垂直同步信号的同步信号同步地捕获图像数据(帧)的同步固态成像元件在成像装置等中使用。在该普通同步固态成像元件中，图像数据可仅在同步信号的每个周期(例如，1/60秒)中获取。因此，在与交通、机器人等相关的领域中，难以应对需要更快处理的情况。因此，提出了一种异步固态成像元件，其中，针对每个像素设置检测电路，该检测电路针对每个像素地址实时地检测像素的光量超过阈值作为地址事件。如上所述，检测每个像素的地址事件的固态成像元件被称为动态视觉传感器(DVS)。可以以比同步固态成像元件高得多的速度生成和输出数据。为此，例如，在交通领域中，可以通过高速执行识别人或障碍物的图像的处理来提高安全性。

引用列表

专利文献

专利文件1：WO 2019/087471 A。

发明内容

本发明要解决的问题

另一方面，可能需要基于由DVS像素生成的检测信号来显示比DVS图像更高清晰度的图像。然而，当正在读取DVS图像时，不能读取高清晰度灰度图像，并且可能延迟生成高清晰度灰度图像。

因此，本公开提供一种能够以更高速度生成DVS图像和灰度图像的成像装置和成像方法。

问题的解决方案

为了解决上述问题，根据本公开，提供了一种成像装置，包括：

像素阵列单元，包括输出与光量相对应的第一亮度信号的多个DVS像素和输出与光量相对应的第二亮度信号的多个灰度像素；

检测电路，在多个DVS像素中的每一个的第一亮度信号超过预定阈值的情况下输出指示地址事件的发生的检测信号；

第一读取单元，从多个DVS像素读取第一亮度信号并将第一亮度信号转换为数字数据；

第二读取单元，从多个灰度像素读取第二亮度信号并将第二亮度信号转换为数字数据；以及

控制电路，控制第一读取单元和第二读取单元。

控制电路可以同时执行第一读取单元对第一亮度信号的读取以及第二读取单元对第二亮度信号的读取。

在由检测电路检测到地址事件的发生的情况下，控制电路可以执行控制以从检测到地址事件的DVS像素读取第一亮度信号。

可以进一步设置生成时间戳的时间戳生成电路，并且

控制电路可以通过时间戳使第一读取单元对第一亮度信号的读取与第二读取单元对第二亮度信号的读取同步。

可以将时间戳的信息添加到基于从第一读取单元读出的第一亮度信号的DVS图像数据。

可以将时间戳的信息添加到基于从第二读取单元读出的亮度信号的图像数据。

多个DVS像素可以以二维阵列排列，并且可以根据阵列的行的排列读出来自多个DVS像素的输出信号。

控制电路可以使第一读取单元对第一亮度信号的读取周期与第二读取单元对第二亮度信号的读取周期同步。

控制电路可以基于第一读取单元对第一亮度信号的读取同步信号，生成第二读取单元对第二亮度信号的读取同步信号。

可以进一步设置仲裁电路，其基于检测信号仲裁来自多个DVS像素的亮度信号的读取，并且

控制电路可以根据仲裁电路的仲裁，由第一读取单元读取第一亮度信号。

多个DVS像素可以以二维阵列排列，

控制电路可以使第一读取单元对第一亮度信号的读取周期与第二读取单元对第二亮度信号的读取周期同步，并且

可以根据阵列的行的排列读出多个DVS像素中的每一个的第一亮度信号。

可以与第一亮度信号的读取周期同步地从多个DVS像素中的所有DVS像素读出第一亮度信号。

像素阵列单元可以进一步包括用于灰度的多个灰度像素，并且

生成基于多个DVS像素的输出信号的DVS图像，并且

可以生成基于多个灰度像素的输出信号的灰度图像。

控制电路可以使第一读取单元对第一亮度信号的读取周期与第二读取单元对第二亮度信号的读取周期同步。

控制电路可以基于第一读取单元对第一亮度信号的读取同步信号，生成第二读取单元对第二亮度信号的读取同步信号。

可以根据地址事件的发生次数来改变基于第一亮度信号的DVS图像数据的数据格式。

多个灰度像素的区域可以被划分为多个区域，并且

第二读取单元可以针对多个区域中的每一个读取第二亮度信号。

根据本公开，提供了一种控制成像装置的方法，该成像装置包括：像素阵列单元，包括输出与光量相对应的第一亮度信号的多个DVS像素和输出与该光量相对应的第二亮度信号的多个灰度像素；以及检测电路，在多个DVS像素中的每一个的第一亮度信号超过预定阈值的情况下输出指示地址事件的发生的检测信号，该方法包括：

根据服装事件的发生同时读取第一亮度信号和第二亮度信号。

附图说明

图1是示出根据本公开的技术所应用的图像装置的配置的示例的框图。

图2是示出固态成像元件的层叠结构的示例的示图。

图3是示出固态成像元件的配置示例的框图。

图4是示意性地示出了以矩阵排列的像素块的示图。

图5是示意性示出像素块的配置的示图。

图6是示出AD转换单元的配置示例的框图。

图7是示出DVS读取电路的配置示例的框图。

图8是示出由第一信号处理单元生成的图像数据格式的示例的示图。

图9是示出由第二信号处理单元生成的第二DVS图像的图像数据格式的示例的示图。

图10是示出灰度像素的配置示例的示图。

图11是图示DVS像素的配置示例的示图。

图12是示出用于DVS的AFE的第一配置示例的框图。

图13是示出电流电压转换单元的配置的示例的电路图。

图14是示出减法器和量化器的配置的示例的电路图。

图15是示出用于DVS的AFE的第二配置示例的框图。

图16是示出定时控制电路的成像控制示例的示图。

图17是示出使用时间戳的根据第一实施例的修改1的成像控制示例的示图。

图18是示出由第二信号处理单元生成的第二DVS图像的另一图像数据格式的示例的示图。

图19是示出使用灰度帧同步信号的成像控制示例的示图。

图20是示出根据第一实施例的修改2的第二DVS图像的图像数据格式的示例的示图。

图21是示出使用DVS帧同步信号的成像控制示例的示图。

图22是示出根据第二实施例的固态成像元件200的配置示例的框图。

图23是示出根据第二实施例的虚拟DVS像素的配置示例的示图。

图24是示出使用仲裁器电路的定时控制电路的成像控制示例的示图。

图25是示出作为可以应用根据本公开的技术的移动体控制系统的示例的车辆控制系统的示意性配置示例的框图。

图26是示出成像单元和车辆外部信息检测器的安装位置的示例的示图。

具体实施方式

在下文中，将参考附图描述成像装置和成像方法的实施例。虽然以下将主要描述成像装置的主要组件，但是成像装置可具有未示出或描述的组件和功能。以下描述不排除未示出或描述的组件和功能。

(第一实施例)

[成像装置的配置示例]

图1是示出根据本技术的实施例的成像装置100的配置示例的框图。成像装置100包括成像透镜110、固态成像元件200、记录单元120和控制单元130。作为成像装置100，假设安装在可佩戴装置上的相机、车载相机等。

成像透镜110会聚入射光并且将光引导至固态成像元件200。固态成像元件200包括DVS像素和灰度像素。DVS像素可以检测亮度变化量的绝对值超过阈值作为地址事件。该地址事件例如包括指示亮度增加量超过上限阈值的接通事件和指示亮度减少量下降到小于上限阈值的下限阈值以下的断开事件。然后，固态成像元件200生成指示每个DVS像素的地址事件的检测结果的检测信号。每个检测信号包括指示存在或不存在接通事件的接通事件检测信号VCH和指示存在或不存在断开事件的断开事件检测信号VCL。注意，虽然固态成像元件200检测接通事件和断开事件两者的存在或不存在，但是也可能仅检测接通事件和断开事件中的一个。此外，除了检测信号之外，根据本实施例的DVS像素还可以输出DVS亮度信号。因此，构成基于DVS像素的检测信号的第一DVS图像和基于DVS像素的亮度信号的第二DVS图像。

同时，灰度像素输出灰度亮度信号。基于从灰度像素输出的灰度亮度信号形成灰度图像。注意，在本实施例中，将基于DVS像素的检测信号的图像称为第一DVS图像，将基于DVS像素的亮度信号的图像称为第二DVS图像，并且将基于从灰度像素输出的灰度亮度信号的图像称为灰度图像。

固态成像元件200对第一DVS图像、第二DVS图像和灰度图像执行预定信号处理(诸如图像识别处理)，并且经由信号线209将处理的数据输出到记录单元120。

记录单元120记录来自固态成像元件200的数据。控制单元130控制固态成像元件200捕获图像数据。

[固态成像元件的配置示例]

图2是示出根据本技术的实施例的固态成像元件200的层叠结构的示例的示图。固态成像元件200包括检测芯片202和层叠在检测芯片202上的光接收芯片201。这些基板经由诸如通孔的连接部分电连接。注意，除了通孔之外，还可以通过Cu-Cu接合或凸块来进行连接。

图3是示出固态成像元件200的配置示例的框图。如图3所示，根据本公开的固态成像元件200是能够并行地执行被称为DVS的异步成像和用于灰度图像的同步成像的装置。固态成像元件200包括像素阵列单元30、第一访问控制电路211a、第二访问控制电路211b、AD转换器212a、DVS读出电路212b、第一信号处理单元213、第二信号处理单元214、时间戳生成电路212c、定时控制电路212d以及输出接口217和218。

这里，将参考图4和图5描述像素阵列单元30的配置。图4是示意性地示出在像素阵列单元30中以矩阵排列的像素块30a的示图。如图4所示，在像素阵列单元30中，多个像素块30a以矩阵(阵列)二维排列。

将参考图5描述像素块30a的配置。图5是示意性示出像素块30a的配置的示图。如图5所示，像素块30a包括多个灰度像素308a、DVS像素308b和DVS AFE(模拟前端)314。在像素块30a中，多个灰度像素308a和DVS像素308b以矩阵排列。在该像素阵列中，针对灰度像素308a的每个像素列，布线稍后描述的垂直信号线VSL1。此外，针对DVS像素308b的每个像素列，布线独立于垂直信号线VSL1的垂直信号线VSL2。多个灰度像素308a中的每一个生成与光电流相对应的电压的模拟信号作为灰度亮度信号(第二亮度信号)，并将该信号输出至AD转换器212a(参见图3)。

另一方面，DVS像素308b将与光电流相对应的电压的模拟信号输出到DVS AFE314。此外，DVS像素308b生成与光电流相对应的电压的模拟信号作为DVS亮度信号(第一亮度信号)，并且在发生地址事件的情况下，将该信号输出到DVS读出电路212b(参见图3)。

DVS AFE(模拟前端)314从基于DVS像素308b的输出的电压信号生成检测信号，并且将检测信号输出到第二信号处理单元214(参见图3)。更具体地，DVS AFE 314基于DVS像素308b中的光电流的变化量是否超过预定阈值来检测地址事件的存在或不存在。然后，DVSAFE 314将检测信号输出到第二信号处理单元214。例如，DVS AFE 314将检测到的有源像素的地址信息(X，Y)、时间戳信息T和地址事件信息VCH和VCL作为例如事件信息(X，Y，T，VCH，VCL)输出到第二信号处理单元214。此外，DVS AFE 314被配置在检测芯片202中。多个灰度像素308a、DVS像素308b和DVS AFE 314可由独立的控制系统并行操作。注意，稍后将描述灰度像素308a、DVS像素308b和DVS AFE 314的详细配置。

再次返回图3，第一访问控制电路211a控制多个灰度像素308a。第一访问控制电路211a控制多个灰度像素308a中的每一个的累积电荷的复位、与光电转换电流的累积量相对应的灰度亮度信号的生成、灰度亮度信号的输出等。例如，第一访问控制电路211a使多个灰度像素308a中的每一个针对每一行依次将累积的光电转换电流作为灰度亮度信号输出至AD转换器212a。注意，稍后将描述灰度像素308a的控制操作的细节。

第二访问控制电路211b控制多个DVS像素308b和多个DVS AFE 314。根据本实施例的第二访问控制电路211b使多个DVS AFE 314针对每一行依次检测地址事件，并针对每一行依次将检测信号输出至第二信号处理单元214。

此外，在检测到地址事件的情况下，第二访问控制电路211b使得针对每一行依次将多个DVS像素308b的亮度信号输出到DVS读出电路212b。注意，根据本实施例的第二访问控制电路211b对应于控制电路。

将参考图6描述AD转换器212a的配置示例。图6是示出AD转换器212a的配置示例的框图。AD转换器212a包括针对每个像素块30a排列的每列灰度像素308a的ADC 230。ADC 230将经由垂直信号线VSL1供应的模拟灰度亮度信号SIG转换为数字信号。该数字信号被转换为位数大于灰度亮度信号SIG1的位数的数字像素信号。例如，假设灰度亮度信号SIG1是2位，则将像素信号转换为3位或3位以上(16位等)的数字信号。ADC 230将所生成的数字信号提供给第一信号处理单元213。注意，像素阵列单元30中的多个灰度像素308a的区域可被划分为多个区域，并且AD转换器212a可针对多个区域中的每一个读取灰度亮度信号SIG1。因此，可以以更高的速度读取灰度亮度信号SIG1。

将参考图7描述DVS读出电路212b的配置示例。图7是示出DVS读出电路212b的配置示例的框图。DVS读出电路212b包括针对为每个像素块307布置的DVS像素308b的每列ADC230。ADC 230将经由垂直信号线VSL2提供的模拟DVS亮度信号SIG2转换为数字信号。该数字信号被转换为位数大于DVS亮度信号SIG2的位数的数字像素信号。例如，假设DVS亮度信号SIG2是2位，则将像素信号转换为3位或3位以上(16位等)的数字信号。ADC 230将所生成的数字信号提供给第二信号处理单元214。

如图3所示，第一信号处理单元213对来自AD转换器212a的数字信号执行预定信号处理，诸如，相关双采样(CDS)处理和图像识别处理。信号处理单元212经由信号线209将指示处理结果的数据和检测信号提供给记录单元120。

时间戳生成电路212c生成时间戳信息T并且将时间戳信息T提供给固态成像元件200的每个组件。例如，时间戳生成电路212c将时间戳信息T提供给多个DVS AFE 314。

定时控制电路212d基于时间戳信息控制固态成像元件200的每个组件的定时。例如，定时控制电路212d控制第一访问控制电路211a和第二访问控制电路211b的定时。因此，由AD转换器212a读出的灰度像素308a的亮度信号与由DVS读出电路212b读出的DVS像素308b的DVS亮度信号同步。

再次如图3所示，第一信号处理单元213对来自AD转换器212a的数字信号执行预定信号处理，诸如，相关双采样(CDS)处理和图像识别处理。信号处理单元212经由信号线209将指示处理结果的数据和检测信号提供给记录单元120。另外，第一信号处理单元213根据来自AD转换器212a的数字信号生成预定数据格式的图像数据。

图8是示出由第一信号处理单元213生成的图像数据格式的示例的示图。如图8所示，图像数据78例如包括多个行图像数据80。该行图像数据80包括开始代码80a、报头80b、一行的图像数据80c、页脚80d和结束代码80e。开始代码80a指示行图像数据80的开始，并且报头80b包括各种类型的信息。此外，一行的图像数据80c包括从像素阵列单元30的一行的灰度像素308a输出的亮度信号的各数字信号。页脚80d可以包括各种类型的信息。结束代码80e指示行图像数据80的结束。80f示意性地指示多个行图像数据80依次排列。此外，一行的图像数据80c包括前虚拟区域800c、后虚拟区域802c、边缘区域804c和嵌入数据区域806c。注意，不需要设置前虚拟区域800c、后虚拟区域802c、以及边缘区域804。时间戳可以记录在报头80b或嵌入数据区域806c中。此外，在本实施例中，将基于来自AD转换器212a的数字信号的图像数据称为第一流(流1)。

第二信号处理单元214对来自多个DVS AFE 314的检测信号执行预定信号处理。第二信号处理单元214例如通过以二维格状图案排列作为像素信号的检测信号来生成第一DVS图像。

此外，第二信号处理单元214根据从DVS读出电路212b提供的数字信号生成包括时间戳信息的数据格式的图像数据。

图9是示出由第二信号处理单元214生成的第二DVS图像的图像数据格式的示例的示图。如图9所示，DVS图像数据90包括多个第一分组90a和多个第二分组90b。针对每个DVS像素308b生成分组90a和90b。例如，第一分组90a具有关于已经发生事件的DVS像素308b的信息。另一方面，第二分组90b具有关于未发生事件的DVS像素308b的信息。

第一分组90a具有标志区域92a和事件数据区域92b。在标志区域92a中记录指示接通事件或断开事件的代码，并且在事件数据区域92b中记录从DVS像素308b输出的亮度信号的值和事件发生时的时间戳。

第二分组90b具有标志区域92a。在第二分组90b的标志区域92a中记录指示未发生事件的代码。以这种方式，通过与每个DVS像素308b对应的分组来生成DVS图像数据90。然后，第二信号处理单元214对第一DVS图像和第二DVS图像进行诸如图像识别处理的图像处理。此外，在本实施例中，将基于来自DVS读出电路212b的数字信号的DVS图像数据称为第0流(流0)。

如图3所示，输出接口217将从第一信号处理单元213提供的图像数据等输出至记录单元120。类似地，输出接口218将从第二信号处理单元214提供的图像数据等输出至记录单元120。

这里，将参考图10描述灰度像素308a的详细配置示例和控制操作示例。图10是示出灰度像素308a的配置示例的示图。如图10所示，灰度像素308a包括复位晶体管321、放大晶体管322、选择晶体管323、浮置扩散层324和光接收单元330。

例如，N型金属氧化物半导体(MOS)晶体管被用作复位晶体管321、放大晶体管322、选择晶体管323和传输晶体管3310。此外，光电转换元件311设置在光接收芯片201上。除了光电转换元件311以外的所有元件布置在检测芯片202上。

光电转换元件311对入射光进行光电转换以生成电荷。

由光电转换元件311光电转换的电荷通过传输晶体管3310从光电转换元件311提供给浮置扩散层324。从光电转换元件311提供的电荷被累积在浮置扩散层324中。浮置扩散层324生成具有与累积电荷量对应的电压值的电压信号。

放大晶体管322与选择晶体管323串联连接在电源电压VDD的电源线与垂直信号线VSL1之间。放大晶体管322放大经受由浮置扩散层324进行的电荷-电压转换的电压信号。

选择信号SEL从第一访问控制电路211a被提供给选择晶体管323的栅电极。响应于选择信号SEL，选择晶体管323经由垂直信号线VSL1将由放大晶体管322放大的电压信号作为像素信号SIG输出至AD转换器212a(参见图3)。

[DVS像素的电路配置示例]

这里，将参考图11描述DVS像素308b的详细配置示例。图11是示出DVS像素308b的配置示例的示图。多个DVS像素308b中的每一个包括光接收单元31、像素信号生成单元32和DVS AFE 314。

在具有上述配置的DVS像素308b中，光接收单元31包括光接收元件(光电转换元件)311、传输晶体管312和过流栅极(OFG)晶体管313。作为传输晶体管312和OFG晶体管313，例如，使用N型金属氧化物半导体(MOS)晶体管。传输晶体管312和OFG晶体管313彼此串联连接。

光接收元件311连接在传输晶体管312和OFG晶体管313的公共连接节点N₁与地之间，并且光电转换入射光以生成与入射光的量对应的电荷量的电荷。

传输信号TRG从图2所示的第二访问控制电路211b提供给传输晶体管312的栅电极。响应于传输信号TRG，传输晶体管312将由光接收元件311光电转换的电荷提供给像素信号生成单元32。

控制信号OFG从第二访问控制电路211b提供给OFG晶体管313的栅电极。响应于控制信号OFG，OFG晶体管313将由光接收元件311生成的电信号提供给DVS AFE 314。提供给DVS AFE 314的电信号是包括电荷的光电流。

像素信号生成单元32包括复位晶体管321、放大晶体管322、选择晶体管323和浮置扩散层324。作为复位晶体管321、放大晶体管322以及选择晶体管323，例如，使用N型MOS晶体管。

由光接收元件311光电转换的电荷由传输晶体管312从光接收单元31提供给像素信号生成单元32。从光接收元件31提供的电荷累积在浮置扩散层324中。浮置扩散层324生成具有与累积电荷量对应的电压值的电压信号。即，浮置扩散层324将电荷转换为电压。

复位晶体管321连接在电源电压VDD的电源线与浮置扩散层324之间。复位信号RST从第二访问控制电路211b提供给复位晶体管321的栅电极。复位晶体管321响应于复位信号RST初始化(复位)浮置扩散层324的电荷量。

放大晶体管322与选择晶体管323串联连接在电源电压VDD的电源线与垂直信号线VSL之间。放大晶体管322放大经受由浮置扩散层324进行的电荷-电压转换的电压信号。

选择信号SEL从第二访问控制电路211b提供给选择晶体管323的栅电极。响应于选择信号SEL，选择晶体管323经由垂直信号线VSL将由放大晶体管322放大的电压信号作为像素信号SIG输出至DVS读出电路212b(参见图2)。

在包括二维地排列具有上述配置的DVS像素308b的像素阵列单元30的成像装置100中，当图1所示的控制单元13指示开始检测地址事件时，第二访问控制电路211b将控制信号OFG提供给光接收单元31的OFG晶体管313，从而驱动OFG晶体管313以将光电流提供给DVS AFE 314。

然后，当在某个DVS像素308b中检测到地址事件时，第二访问控制电路211b关断DVS像素308b的OFG晶体管313以停止向DVS AFE 314提供光电流。接下来，第二访问控制电路211b将传输信号TRG提供给传输晶体管312以驱动传输晶体管312，并且将由光接收元件311光电转换的电荷传输至浮置扩散层324。

以这种方式，包括二维地排列具有上述配置的DVS像素308b的像素阵列单元30的成像装置100仅将检测到地址事件的DVS像素308b的像素信号输出到DVS读出电路212b。因此，与输出所有像素的像素信号的情况相比，不管地址事件的存在或不存在，都可以减少成像装置100的功耗和图像处理的处理量。

注意，这里例示的DVS像素308b的配置是示例，并且不限于该配置示例。例如，像素配置不包括像素信号生成单元32。在该像素配置的情况下，在光接收单元31中可以省略OFG晶体管313，并且仅要求传输晶体管312具有OFG晶体管313的功能。

[DVS AFE的第一配置示例]

图12是示出DVS AFE 314的第一配置示例的框图。如图12所示，根据本配置示例的DVS AFE 314包括电流电压转换单元331、缓冲器332、减法器333、量化器334和传输单元335。

电流电压转换单元331将来自灰度像素308a的光接收单元31的光电流转换为对数电压信号。电流电压转换单元331将转换后的电压信号提供给缓冲器332。缓冲器332缓冲从电流电压转换单元331提供的电压信号并且将该电压信号提供给减法器333。

从第二访问控制电路211b向减法器333提供行驱动信号。减法器333根据行驱动信号降低从缓冲器332提供的电压信号的电平。然后，减法器333将电平下降之后的电压信号提供给量化器334。量化器334将从减法器333提供的电压信号量化为数字信号，并将该数字信号作为地址事件的检测信号输出至传输单元335。

传输单元335将从量化器334提供的地址事件的检测信号传输到第二信号处理单元214等。当检测到地址事件时，传输单元335将地址事件的检测信号提供给第二信号处理单元214和第二访问控制电路211b。

接下来，将描述DVS AFE 314中的电流电压转换单元331、减法器333和量化器334的配置示例。

(电流电压转换单元的配置示例)

图13是示出DVS AFE 314中的电流电压转换单元331的配置的示例的电路图。如图13所示，根据本实施例的电流电压转换单元331具有包括N型晶体管3311、P型晶体管3312和N型晶体管3313的电路配置。作为这些晶体管3311至3313，例如，使用MOS晶体管。

N型晶体管3311连接在电源电压VDD的电源线与信号输入线3314之间。P型晶体管3312和N型晶体管3313串联连接在电源电压VDD的电源线与地之间。此外，N型晶体管3311的栅电极和图11所示的缓冲器332的输入端子连接至P型晶体管3312和N型晶体管3313的公共连接节点N₂。

预定的偏压V_bias被施加至P型晶体管3312的栅电极。因此，P型晶体管3312将恒定电流提供给N型晶体管3313。光电流通过信号输入线3314从光接收单元31输入到N型晶体管3313的栅电极。

N型晶体管3311和N型晶体管3313的漏电极连接到电源侧，并且这样的电路被称为源极跟随器。来自光接收单元31的光电流通过以环形连接的两个源极跟随器被转换为对数电压信号。

(减法器和量化器的配置示例)

图14是示出了DVS AFE 314中的减法器333和量化器334的配置的示例的电路图。

根据本示例的减法器333包括电容元件3331、逆变器电路3332、电容元件3333和开关元件3334。

电容元件3331的一端连接至图14所示的缓冲器332的输出端子，其另一端连接至逆变器电路3332的输入端子。电容元件3333与逆变器电路3332并联连接。开关元件3334连接在电容元件3333的两端之间。作为打开/关闭控制信号的行驱动信号从第二访问控制电路211b提供给开关元件3334。开关元件3334响应于行驱动信号打开和关闭连接电容元件3333的两端的路径。逆变器电路3332将经由电容元件3331输入的电压信号的极性反转。

在具有以上配置的减法器333中，当开关元件3334接通(闭合)时，电压信号Vinit被输入到电容元件3331在缓冲器332侧的端子，并且相对侧的端子变为虚拟接地端子。为了方便起见，虚拟接地端子的电位被设置为零。此时，当电容元件3331的电容值为C1时，累积在电容元件3331中的电荷Qinit由以下公式(1)表示。另一方面，由于电容元件3333的两端短路，因此累积的电荷为零。

Qinit＝C1×Vinit…(1)

接下来，考虑开关元件3334关断(断开)并且电容元件3331在缓冲器332侧的端子的电压变为Vafter，累积在电容元件3331中的电荷Qafter由以下公式(2)表示。

Qafter＝C1×Vafter…(2)

另一方面，当电容元件3333的电容值为C2并且输出电压为Vout时，累积在电容元件3333中的电荷Q2由以下公式(3)表示。

Q2＝-C2×Vout…(3)

此时，由于电容元件3331和电容元件3333的总电荷量不变，因此以下公式(4)成立。

Qinit＝Qafter+Q2…(4)

当公式(1)至(3)被代入公式(4)并变形时，获得以下公式(5)。

Vout＝-(C1/C2)×(Vafter-Vinit)…(5)

公式(5)表示电压信号的减法运算，并且减法结果的增益为C1/C2。因为通常期望使增益最大化，所以优选地将C1设计的较大并且将C2设计的较小。另一方面，当C2太小时，kTC噪声增大，并且噪声特性可能劣化。因此，C2的容量降低被限制在可容忍噪声的范围内。此外，由于针对每个DVS像素308b安装包括减法器333的DVS AFE 314，因此电容元件3331和电容元件3333具有面积限制。考虑到这些，确定电容元件3331和3333的电容值C1和C2。

在图14中，量化器334包括比较器3341。比较器3341将逆变器电路3332的输出信号、即来自减法器333的电压信号作为非反相(+)输入，将预定的阈值电压V_th作为反相(-)输入。然后，比较器3341将来自减法器333的电压信号与预定的阈值电压V_th进行比较，并将指示比较结果的信号作为地址事件检测信号输出至传输单元335。

[DVS AFE的第二配置示例]

图15是示出DVS AFE 14的第二配置示例的框图。如图15所示，除了电流电压转换单元331、缓冲器332、减法器333、量化器334和传输单元335之外，根据本配置示例的DVSAFE 314还包括存储单元336和控制单元337。

存储单元336被设置在量化器334与传输单元335之间，并且基于从控制单元337提供的采样信号来累积量化器334的输出(即，比较器3341的比较结果)。存储单元336可以是诸如开关、塑料或电容器的采样电路，或者可以是诸如锁存器或触发器的数字存储器电路。

控制单元337将预定的阈值电压V_th提供给比较器3341的反相(-)输入端子。从控制单元337提供给比较器3341的阈值电压V_th可以以时分方式具有不同的电压值。例如，控制单元337在不同的定时提供与指示光电流的变化量超过上限阈值的接通事件对应的阈值电压V_th1和与指示变化量下降到下限阈值以下的断开事件对应的阈值电压V_th2，使得一个比较器3341可以检测多种类型的地址事件。

例如，存储单元336可以在将与断开事件对应的阈值电压V_th2从控制单元337提供给比较器3341的反相(-)输入端子的时间段中，使用与接通事件对应的阈值电压V_th1来累积比较器3341的比较结果。注意，存储单元336可以位于DVS像素308b内部或DVS像素308b外部。此外，存储单元336不是DVS AFE 314的基本组件。即，可以省略存储单元336。

这里，将参考图16描述固态成像元件200的成像控制示例。

图16是示出使用时间戳的定时控制电路212d的成像控制示例的示图。横轴表示时间。

DVS同步信号(a)指示开始读取DVS像素308b的定时。例如，定时控制电路212d基于时间戳以960(fps)的周期重复读取一帧的DVS像素308b。

DVS读取(b)指示DVS像素308b的读取位置和时间。纵轴与像素阵列单元30的行对应。定时控制电路212d根据960(fps)周期检测每行的DVS像素308的事件，并且经由DVS读出电路212b从已经发生事件的DVS像素308读取亮度信号。

灰度数据的读取(c)指示从灰度像素308a的读取位置和时间。纵轴与像素阵列单元30的行对应。当存在来自控制单元130(图1)的图像数据的请求1600b时，定时控制电路212d根据时间戳以与DVS同步信号(a)的读取开始定时一致的定时开始从灰度像素308a读取。即，定时控制电路212d使用DVS同步信号(a)生成用于开始从灰度像素308a读取的灰度同步信号。

此外，定时控制电路212d根据时间戳在曝光开始定时1600c开始曝光并且在曝光结束定时1600d结束曝光。在该时段期间，在定时1600e，始终继续从DVS像素308b中的任一个进行读取。因此，抑制了DVS像素308b的功耗的波动，并且抑制了从灰度像素308a读取时的噪声。

流0(d)指示DVS像素308b的读取时间。如上所述，始终继续从DVS像素308b中的任一个进行读取。因此，抑制了DVS像素308b的功耗的波动，并且抑制了从灰度像素308a读取时的噪声。

流1(e)指示从灰度像素308a的读取时间。从灰度像素308a的读取时间对应于曝光结束定时1600d。

如上所述，根据本实施例，除了从灰度像素308a读取亮度信号的AD转换器212a以外，还设置从多个DVS像素308b读取亮度信号的DVS读出电路212b。因此，可以同时进行从灰度像素308a读出亮度信号和从DVS像素308b读出亮度信号，并且可以更快地生成灰度图像数据和DVS图像数据。

(第一实施例的修改1)

根据第一实施例的修改1的成像装置100与根据第一实施例的成像装置100的不同之处在于，以已经发生地址事件的行为单位读出来自DVS像素308b的亮度信号。在下文中，将描述与根据第一实施例的成像装置100的不同之处。

图17是示出使用时间戳的根据第一实施例的修改1的成像控制示例的示图。横轴表示时间。

灰度帧同步信号(f)指示开始读取灰度像素308a的定时。当存在来自控制单元130(图1)的图像数据的请求1600b时，定时控制电路212d生成与曝光时间对应的灰度帧同步信号。

DVS帧同步信号(g)指示从DVS像素308b开始每帧读取的定时。例如，定时控制电路212d基于时间戳使用灰度帧同步信号生成960(fps)周期的DVS帧同步信号。在DVS像素308b中的任一个中发生地址事件的情况下，定时控制电路212d从发生地址事件的行的DVS像素308b按行顺序从DVS像素308b中的每一个读取亮度信号。

图18是示出由根据第一实施例的修改1的第二信号处理单元214生成的第二DVS图像的图像数据格式的示例的示图。如图18所示，DVS图像数据90包括多个第一分组94a和多个第二分组94b。针对DVS像素308b的一帧中的每一行生成分组94a和94b。例如，第一分组94a具有关于发生事件的行中的DVS像素308b的信息。另一方面，第二分组94b具有关于未发生事件的行中的DVS像素308b的信息。

第一分组94a包括标志区域96a和事件数据区域96b。在标志区域96a中记录指示接通事件或断开事件的代码，并且在事件数据区域96b中记录事件发生行、事件发生时的时间戳和一行的事件数据。注意，事件数据与亮度信号相对应。在与未发生事件的DVS像素308b相对应的区域中，不记录发生裂口时的时间戳，并且例如，输入空“0”。

第二分组94b具有标志区域96a。在第二分组94b的标志区域96a中记录指示未发生事件的代码。以这种方式，DVS图像数据90由与DVS像素308b的一个帧中的每一行相对应的分组生成。

另外，第二信号处理单元214可以取决于地址事件的发生次数来改变基于第一亮度信号的DVS图像数据的数据格式。例如，在每帧的地址事件的发生次数超过预定值的情况下，第二信号处理单元214可以将数据格式改变为稍后描述的图20所示的数据格式。这是因为当地址事件的发生次数超过预定值时，存在数据量和数据处理速度在图20所示的数据格式中变得更快的情况。

如上所述，根据第一实施例的修改1，以帧行为单位读取来自DVS像素308b的亮度信号。因此，除了第一实施例中描述的效果之外，还可以以在第二DVS图像中已经发生地址事件的行为单位来更新图像数据。

(第一实施例的修改2)

根据第一实施例的修改2的成像装置100与根据第一实施例的成像装置100的不同之处在于，以已经发生地址事件的行为单位读取来自DVS像素308b的亮度信号。在下文中，将描述与根据第一实施例的成像装置100的不同之处。

图19是示出使用灰度帧同步信号(f)的根据第一实施例的修改2的成像控制示例的示图。横轴表示时间。

灰度帧同步信号(f)指示开始读取灰度像素308a的定时。当存在来自控制单元130(图1)的图像数据的请求1600b时，定时控制电路212d生成与曝光时间对应的灰度帧同步信号。

DVS帧同步信号(g)指示从DVS像素308b开始每帧读取的定时。定时控制电路212d使用灰度帧同步信号生成960(fps)周期的DVS帧同步信号。在DVS像素308b中的任一个中发生地址事件的情况下，定时控制电路212d从发生地址事件的帧的所有DVS像素308b中按行顺序从DVS像素308b中的每一个读取亮度信号。

流0(d)指示DVS像素308b的读取时间。如流0(d)所示，当在DVS像素308b中的任一个中发生地址事件时，定时控制电路212d以帧为单位从所有DVS像素308b读取亮度信号。另一方面，在未发生地址事件的帧中不读取亮度信号。

图20是示出由根据第一实施例的修改2的第二信号处理单元214生成的第二DVS图像的图像数据格式的示例的示图。如图20所示，DVS图像数据90包括多个行事件数据90a。类似于图8所示的图像数据，行事件数据90a包括开始代码80a、报头80b、一行的事件数据90c、页脚80d和结束代码80e。开始代码80a指示行事件数据90a的开始，并且报头80b包括各种类型的信息。此外，一行的事件数据90c包括从像素阵列单元30的一行的DVS像素308b输出的亮度信号的数字信号。

页脚80d可以包括各种类型的信息。结束代码80e指示行图像数据80的结束。图80f示意性地示出多个行事件数据90a依次排列。此外，一行的事件数据90c包括前虚拟区域800c、后虚拟区域802c、边缘区域804c和嵌入数据区域806c。注意，不需要设置前虚拟区域800c、后虚拟区域802c、以及边缘区域804。时间戳可以记录在报头80b和嵌入数据区域806c中。

如上所述，根据第一实施例的修改2，以帧为单位读取来自DVS像素308b的亮度信号。因此，除了第一实施例中描述的效果之外，还可以以在第二DVS图像中已经发生地址事件的帧为单位来更新图像数据。此外，由于仅执行第二DVS图像中已经发生地址事件的帧的数据传输，因此使得传输更高效。

(第一实施例的修改3)

根据第一实施例的修改3的成像装置100与根据第一实施例的修改2的成像装置100的不同之处在于，使用DVS帧同步信号生成灰度帧同步信号。在下文中，将描述与根据第一实施例的修改2的成像装置100的不同之处。

图21是示出使用DVS帧同步信号(g)的根据第一实施例的修改3的成像控制示例的示图。横轴表示时间。

灰度帧同步信号(f)指示开始读取灰度像素308a的定时。定时控制电路212d使用DVS帧同步信号(g)生成灰度帧同步信号。定时控制电路212d使用灰度帧同步信号(f)和DVS帧同步信号(g)来进行与根据第一实施例的修改2的成像装置100的处理相同的处理。因此，除了第一实施例中描述的效果之外，还可以以在第二DVS图像中已经发生地址事件的帧为单位来更新图像数据。此外，由于仅执行第二DVS图像中已经发生地址事件的帧的数据传输，因此使得传输更高效。

(第二实施例)

根据第二实施例的成像装置100与根据第一实施例的成像装置100的不同之处在于，使用仲裁器电路250从DVS像素308b读取亮度信号。在下文中，将描述与根据第一实施例的成像装置100的不同之处。

图22是示出根据第二实施例的固态成像元件200的配置示例的框图。如图22所示，根据本公开的固态成像元件200包括仲裁器电路250。

图23是示出根据第二实施例的DVS像素308b的配置示例的示图。多个DVS像素308b中的每一个包括光接收单元31、像素信号生成单元32和DVS AFE 314。如图23所示，当发生地址事件时，根据第二实施例的DVS AFE 314向仲裁器电路250输出请求。

仲裁器电路250仲裁来自多个DVS AFE 314中的每一个的请求，并基于仲裁结果向DVS AFE 314传送响应。在从仲裁器单元23接收到响应时，DVS AFE 314将指示检测结果的检测信号提供给第二信号处理单元214。此外，第二信号处理单元214还向第二访问控制电路211b和定时控制电路212d输出包括指示发生地址事件的DVS AFE 314的位置的信息的检测信号。

图24是示出使用仲裁器电路250的定时控制电路212d的成像控制示例的示图。横轴表示时间。

DVS读取(b)指示DVS像素308b的读取位置和时间。纵轴与像素阵列单元30的行对应。定时控制电路212d经由DVS读出电路212b读取来自由仲裁器电路250仲裁指示的DVS像素308的亮度信号。

灰度数据的读取(c)指示从灰度像素308a的读取位置和时间。纵轴与像素阵列单元30的行对应。当存在来自控制单元130(图1)的图像数据的请求1600b时，定时控制电路212d根据时间戳以与DVS同步信号(a)的读取开始定时一致的定时开始从灰度像素308a读取。即，定时控制电路212d使用DVS同步信号(a)生成用于开始从灰度像素308a读取的灰度同步信号。

类似于图9所示的数据格式，第二信号处理单元214生成多个第一分组90a和多个第二分组90b作为DVS图像数据90。如图9所示，针对每个DVS像素308b生成分组90a和90b。例如，第一分组90a具有关于已经发生事件的DVS像素308b的信息。另一方面，第二分组90b具有关于未发生事件的DVS像素308b的信息。

如上所述，根据本实施例，使用仲裁器电路250从DVS像素308b读取亮度信号。因此，可以同时进行从发生地址事件的DVS像素308读取亮度信号和从灰度像素308a读取亮度信号，并且可以更快地生成灰度图像数据和DVS图像数据。

<根据本公开的技术的应用示例>

根据本公开的技术可以应用于各种产品。在下文中，将描述更具体的应用示例。例如，根据本公开的技术可实现为安装在任何类型的移动体(诸如汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动体、飞机、无人机、船舶、机器人、建筑机械和农业机械(拖拉机))上的距离测量装置。

[移动体]

图25是示出作为可以应用根据本公开的技术的移动体控制系统的示例的车辆控制系统7000的示意性配置示例的框图。车辆控制系统7000包括经由通信网络7010连接的多个电子控制单元。在图25所示的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车辆外部信息检测单元7400、车辆内部信息检测单元7500和集成控制单元7600。连接多个控制单元的通信网络7010可以例如是符合任意标准的车载通信网络，诸如控制器局域网(CAN)、局域互联网(LIN)、局域网(LAN)或FlexRay(注册商标)。

每个控制单元包括根据各种程序执行算术处理的微计算机、存储由微计算机执行的程序的存储单元、用于各种计算的参数等、以及驱动要控制的各种装置的驱动电路。每个控制单元包括用于经由通信网络7010与其他控制单元通信的网络I/F，以及用于通过有线通信或无线通信与车辆内部和外部的装置、传感器等通信的通信I/F。在图27中，作为集成控制单元7600的功能配置，示出了微计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车载装置I/F 7660、声音/图像输出单元7670、车载网络I/F 7680和存储单元7690。其他控制单元类似地包括微计算机、通信I/F、存储单元等。

驱动系统控制单元7100根据各种程序来控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元7100用作诸如内燃机或驱动马达的用于生成车辆的驱动力的驱动力生成装置、用于向车轮传递驱动力的驱动力传递机构、用于调整车辆的转向角的转向机构、用于生成车辆的制动力的制动装置等的控制装置。驱动系统控制单元7100可以具有作为诸如防抱死制动系统(ABS)或电子稳定控制(ESC)的控制装置的功能。

车辆状态检测单元7110连接到驱动系统控制单元7100。车辆状态检测单元7110例如包括检测车身的轴向旋转运动的角速度的陀螺仪传感器、检测车辆的加速度的加速度传感器或用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速、车轮转速等的传感器中的至少一个。驱动系统控制单元7100使用从车辆状态检测单元7110输入的信号进行运算处理，并且控制内燃机、驱动马达、电动动力转向装置、制动装置等。

车身系统控制单元7200根据各种程序控制安装在车身上的各种装置的操作。例如，车身系统控制单元7200用作无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如车头灯、车尾灯、刹车灯、闪光信号灯或雾灯的各种灯的控制装置。在这种情况下，从替代钥匙的便携式装置发射的无线电波或各种开关的信号可以被输入到车身系统控制单元7200。车身系统控制单元7200接收这些无线电波或信号的输入，并控制车辆的门锁装置、电动车窗装置、灯等。

电池控制单元7300根据各种程序控制作为驱动马达的电源的二次电池7310。例如，诸如电池温度、电池输出电压或电池的剩余容量的信息从包括二次电池7310的电池装置被输入到电池控制单元7300。电池控制单元7300使用这些信号执行算术运算处理，并且执行二次电池7310的温度调节控制或者包括在电池装置中的冷却装置等的控制。

车辆外部信息检测单元7400检测安装有车辆控制系统7000的车辆外部的信息。例如，成像单元7410和车辆外部信息检测器7420中的至少一个连接到车辆外部信息检测单元7400。成像单元7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机和其他相机中的至少一个。车辆外部信息检测器7420例如包括用于检测当前天气或天气的环境传感器和用于检测安装有车辆控制系统7000的车辆周围的其他车辆、障碍物、行人等的周围信息检测传感器中的至少一个。

环境传感器可以例如是检测雨天的雨滴传感器、检测雾的雾传感器、检测阳光程度的阳光传感器和检测降雪的雪传感器中的至少一个。周围信息检测传感器可以是超声波传感器、雷达装置以及光检测和测距、激光成像检测和测距(LIDAR)装置中的至少一个。成像单元7410和车辆外部信息检测器7420可以被设置为独立的传感器或装置，或者可以被设置为集成有多个传感器或装置的装置。

这里，图26示出成像单元7410和车辆外部信息检测器7420的安装位置的示例。成像单元7910、7912、7914、7916和7918例如设置在车辆7900的前鼻、侧视镜、后保险杠、后门和车辆内部中的挡风玻璃的上部中的至少一个。设置在前鼻的成像单元7910和设置在车辆中的挡风玻璃的上部的成像单元7918主要获取车辆7900的前方的图像。设置在侧视镜处的成像单元7912和7914主要获取车辆7900的侧面的图像。设置在后保险杠或后门上的成像单元7916主要获取车辆7900的后方的图像。设置在车辆内部的挡风玻璃的上部的成像单元7918主要用于检测前方车辆、行人、障碍物、交通灯、交通标志、车道等。

注意，图26示出了相应成像单元7910、7912、7914和7916的成像范围的示例。成像范围a指示设置在前鼻的成像单元7910的成像范围，成像范围b和c指示分别设置在侧视镜的成像单元7912和7914的成像范围，并且成像范围d指示设置在后保险杠或后门的成像单元7916的成像范围。例如，通过重叠由成像单元7910、7912、7914、7916捕获的图像数据，获得从上方观察到的车辆7900的俯瞰图像。

设置在车辆7900的前部、后部、侧部、拐角和车厢内的挡风玻璃的上部的车辆外部信息检测器7920、7922、7924、7926、7928、7930例如也可以是超声波传感器或雷达装置。设置在车辆7900的前鼻、后保险杠、后门、以及车辆内部中的挡风玻璃的上部的车辆外部信息检测器7920、7926、以及7930可以例如是LIDAR装置。这些车辆外部信息检测器7920至7930主要用于检测前方车辆、行人、障碍物等。

返回图25，将继续描述。车辆外部信息检测单元7400使成像单元7410捕获车辆外部的图像并接收所捕获的图像数据。另外，车辆外部信息检测单元7400从所连接的车辆外部信息检测器7420接收检测信息。在车辆外部信息检测器7420是超声波传感器、雷达装置、LIDAR装置的情况下，车辆外部信息检测单元7400发送超声波、电磁波等，并且接收所接收的反射波的信息。车辆外部信息检测单元7400可以基于所接收的信息执行人、车辆、障碍物、标志、路面上的字符等的对象检测处理或距离检测处理。车辆外部信息检测单元7400可以基于所接收的信息执行识别降雨、雾、路面状况等的环境识别处理。车辆外部信息检测单元7400可以基于所接收的信息来计算到车辆外部的对象的距离。

另外，车辆外部信息检测单元7400也可以基于所接收的图像数据执行识别人、汽车、障碍物、标志、路面上的字符等的图像识别处理或距离检测处理。车辆外部信息检测单元7400可以对所接收的图像数据执行失真校正或对准的处理，并且将由不同的成像单元7410捕获的图像数据进行组合以生成俯瞰图像或全景图像。车辆外部信息检测单元7400可以使用由不同的成像单元7410捕获的图像数据来执行视点转换处理。

车辆内部信息检测单元7500检测车辆内部的信息。例如，检测驾驶员的状态的驾驶员状态检测单元7510连接到车辆内部信息检测单元7500。驾驶员状态检测单元7510可以包括对驾驶员成像的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部中的声音的麦克风等。例如，生物传感器设置在座椅表面、方向盘等上，并且检测坐在座椅上的乘员或握持方向盘的驾驶员的生物信息。车辆内部信息检测单元7500可以基于从驾驶员状态检测单元7510输入的检测信息计算驾驶员的疲劳度或集中度，或者可以确定驾驶员是否打瞌睡。车辆内部信息检测单元7500可以对收集的声音信号执行处理，诸如噪声消除处理。

集成控制单元7600根据各种程序控制车辆控制系统7000中的整体操作。输入单元7800连接到集成控制单元7600。输入单元7800例如由诸如触摸面板、按钮、麦克风、开关或可以由乘员操作以进行输入的杆的装置实现。通过对由麦克风输入的语音执行语音识别而获得的数据可以被输入到集成控制单元7600。输入单元7800可以例如是使用红外线或其他无线电波的远程控制装置，或与车辆控制系统7000的操作相对应的外部连接装置，诸如移动电话或个人数字助理(PDA)。输入单元7800可以例如是相机，并且在这种情况下，乘客可以通过手势输入信息。可替代地，可输入通过检测乘客穿戴的可穿戴装置的移动而获得的数据。此外，输入单元7800可以例如包括基于乘员等使用输入单元7800输入的信息生成输入信号并将该输入信号输出至集成控制单元7600的输入控制电路等。通过操作输入单元7800，乘员等向车辆控制系统7000输入各种数据或指示处理操作。

存储单元7690可以包括存储要由微计算机执行的各种程序的只读存储器(ROM)以及存储各种参数、计算结果、传感器值等的随机存取存储器(RAM)。此外，存储单元7690可以通过诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等来实现。

通用通信I/F 7620是调解与存在于外部环境7750中的各种装置的通信的通用通信I/F。通用通信I/F 7620可以实现蜂窝通信协议，诸如全球移动通信系统(GSM)(注册商标)、WiMAX、长期演进(LTE)或高级LTE(LTE-A)，或另一无线通信协议，诸如无线LAN(也称为Wi-Fi(注册商标))或蓝牙(注册商标)。通用通信I/F 7620可以例如经由基站或接入点连接到存在于外部网络(例如，因特网、云网络或公司特定网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信I/F 7620可以例如使用对等(P2P)技术连接至存在于车辆附近的终端(例如，驾驶员、行人或商店的终端、或机器型通信(MTC)终端)。

专用通信I/F 7630是支持为在车辆中使用而制定的通信协议的通信I/F。例如，专用通信I/F 7630可实现诸如车辆环境中的无线接入(WAVE)(其是底层的IEEE 802.11p和上层的IEEE 1609的组合)、专用短程通信(DSRC)或蜂窝通信协议的标准协议。专用通信I/F7630通常执行V2X通信，该V2X通信是包括车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信以及车辆到行人通信中的一个或多个的概念。

定位单元7640例如接收来自全球导航卫星系统(GNSS)卫星的GNSS信号(例如，来自全球定位系统(GPS)卫星的GPS信号)，执行定位，并且生成包括车辆的纬度、经度和海拔的位置信息。注意，定位单元7640可通过与无线接入点交换信号来指定当前位置，或者可从诸如移动电话、PHS或具有定位功能的智能电话的终端获取位置信息。

信标接收单元7650例如接收从安装在道路上的无线电台等发送的无线电波或电磁波，并且获取诸如当前位置、交通拥堵、封闭道路、所需时间等的信息。注意，信标接收单元7650的功能可以包括在上述专用通信I/F 7630中。

车载装置I/F 7660是调解微计算机7610与车辆中存在的各种车载装置7760之间的连接的通信接口。装置设备I/F 7660可以使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线USB(WUSB)的无线通信协议来建立无线连接。此外，车载装置I/F 7660可以经由未示出的连接端子(并且如果必要的话，电缆)建立诸如通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)或移动高清链路(MHL)的有线连接。车载装置7760可以例如包括乘客拥有的移动装置或可穿戴装置、以及车辆中携带或附接至车辆的信息装置中的至少一个。此外，车载装置7760可以包括搜索到任意目的地的路线的导航装置。车载装置I/F 7660与这些车载装置7760交换控制信号或数据信号。

车载网络I/F 7680是调解微计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680根据通信网络7010所支持的预定协议来发送和接收信号等。

集成控制单元7600的微计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位单元7640、信标接收单元7650、车载装置I/F 7660和车载网络I/F 7680中的至少一个获取的信息，根据各种程序控制车辆控制系统7000。例如，微计算机7610可以基于所获取的关于车辆内部和外部的信息计算驱动力生成装置、转向机构或制动装置的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微计算机7610可以执行协作控制以实现高级驾驶员辅助系统(ADAS)的功能，包括车辆的碰撞避免或冲击缓解、基于车辆间距离的跟随行驶、车辆速度维持行驶、车辆碰撞警告、车辆车道偏离警告等。另外，微计算机7610也可以基于所获取的车辆周边的信息控制驱动力生成装置、转向机构、制动装置等，从而进行不依赖于驾驶员的操作而自主行驶的以自动驾驶等为目的的协调控制。

微计算机7610可以基于经由通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车载装置I/F 7660和车载网络I/F 7680中的至少一个获取的信息来生成车辆与诸如周围结构或人的对象之间的三维距离信息，并且创建包括车辆的当前位置的周围信息的本地地图信息。此外，微计算机7610可基于所获取的信息预测危险(诸如车辆的碰撞、行人的接近等)或进入封闭道路，并生成警告信号。警告信号可以例如是用于生成警告声音或打开警告灯的信号。

声音/图像输出单元7670将声音和图像中的至少一个的输出信号发送到能够视觉地或听觉地向车辆的乘员或车辆外部通知信息的输出装置。在图24的示例中，音频扬声器7710、显示单元7720和仪表面板7730被示出为输出装置。显示单元7720可以例如包括板载显示器和平视显示器中的至少一个。显示单元7720可具有增强现实(AR)显示功能。输出装置可以是不同于这些装置的另一装置，诸如可佩带装置，诸如由乘客佩戴的头戴式耳机或眼镜型显示器、投影仪或灯。在输出装置是显示装置的情况下，显示在以各种格式(诸如文本、图像、表格和图形)可视地显示通过由微计算机7610执行的各种处理所获得的结果或从另一控制单元接收的信息。此外，在输出装置是声音输出装置的情况下，声音输出装置将包括再现的声音数据、声学数据等的音频信号转换为模拟信号，并以可听方式输出该模拟信号。

注意，在图24所示的示例中，经由通信网络7010连接的至少两个控制单元可以集成为一个控制单元。可替代地，每个控制单元可包括多个控制单元。此外，车辆控制系统7000可包括另一控制单元(未示出)。此外，在以上描述中，由任何控制单元执行的功能中的一些或全部可以提供给另一控制单元。即，只要经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定算术处理。类似地，连接到任何控制单元的传感器或装置可以连接到另一控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。

上面已经描述了可以应用根据本公开的技术的车辆控制系统的示例。根据本公开的技术可以例如应用于上述配置之中的成像单元7910、7912、7914、7916和7918、车辆外部信息检测器7920、7922、7924、7926、7928和7930、驾驶员状态检测单元7510等。具体地，包括本公开的成像装置的图1的成像系统10可应用于这些成像单元和检测器。然后，通过应用根据本公开的技术，可以减轻诸如传感器噪声的噪声事件的影响，并且可以可靠且快速地感测真实事件的发生，从而可以实现安全车辆行驶。

注意，本技术还可以采用以下配置。

(1)一种成像装置，包括：

像素阵列单元，包括输出与光量相对应的第一亮度信号的多个DVS像素和输出与该光量相对应的第二亮度信号的多个灰度像素；

检测电路，在多个DVS像素中的每一个的第一亮度信号超过预定阈值的情况下输出指示地址事件的发生的检测信号；

第一读取单元，从多个DVS像素读取第一亮度信号并将该第一亮度信号转换为数字数据；

第二读取单元，从多个灰度像素读取第二亮度信号并将该第二亮度信号转换为数字数据；以及

控制电路，其控制第一读取单元和第二读取单元。

(2)根据(1)的成像装置，

其中，控制电路同时执行第一读取单元对第一亮度信号的读取和第二读取单元对第二亮度信号的读取。

(3)根据(1)或(2)的成像装置，

其中，在由检测电路检测到地址事件的发生的情况下，控制电路执行控制以从检测到地址事件的DVS像素读取第一亮度信号。

(4)根据(1)至(3)中任一项的成像装置，进一步包括：时间戳生成电路，生成时间戳，

其中，控制电路通过时间戳使第一读取单元对第一亮度信号的读取与第二读取单元对第二亮度信号的读取同步。

(5)根据(4)的成像装置，

其中，将时间戳的信息添加到基于从第一读取单元读取的第一亮度信号的DVS图像数据中。

(6)根据(5)的成像装置，

其中，将时间戳信息添加到基于从第二读取单元读取的亮度信号的图像数据。

(7)根据(1)至(6)中任一项的成像装置，

其中，多个DVS像素以二维阵列排列，并且根据阵列的行的排列读出来自多个DVS像素的输出信号。

(8)根据(3)的成像装置，

其中，控制电路使第一读取单元对第一亮度信号的读取周期与第二读取单元对第二亮度信号的读取周期同步。

(9)根据(1)的成像装置，

其中，控制电路基于第一读取单元对第一亮度信号的读取同步信号，生成第二读取单元对第二亮度信号的读取同步信号。

(10)根据(1)至(9)中任一项的成像装置，进一步包括：仲裁电路，其基于检测信号仲裁来自多个DVS像素的亮度信号的读取，

其中，控制电路根据仲裁电路的仲裁，由第一读取单元读取第一亮度信号。

(11)根据(1)的成像装置，

其中，多个DVS像素以二维阵列排列，

控制电路使第一读取单元对第一亮度信号的读取周期与第二读取单元对第二亮度信号的读取周期同步，并且

根据阵列的行的排列读出多个DVS像素的每一个的第一亮度信号。

(12)根据(11)的成像装置，

其中，与第一亮度信号的读取周期同步地从多个DVS像素中的所有DVS像素读出第一亮度信号。

(13)根据(11)的成像装置，

其中，控制电路使第一读取单元对第一亮度信号的读取周期与第二读取单元对第二亮度信号的读取周期同步。

(14)根据(11)的成像装置，

其中，控制电路基于第一读取单元对第一亮度信号的读取同步信号，生成第二读取单元对第二亮度信号的读取同步信号。

(15)根据(1)至(14)中任一项的成像装置，

其中，根据地址事件的发生次数，改变基于第一亮度信号的DVS图像数据的数据格式。

(16)根据(1)至(15)中任一项的成像装置，

其中，多个灰度像素的区域被划分为多个区域，并且

第二读取单元针对多个区域的每一个读取第二亮度信号。

(17)一种控制成像装置的方法，该成像装置包括：像素阵列单元，包括输出与光量相对应的第一亮度信号的多个DVS像素和输出与该光量相对应的第二亮度信号的多个灰度像素；以及检测电路，在多个DVS像素中的每一个的第一亮度信号超过预定阈值的情况下输出指示地址事件的发生的检测信号，该方法包括：

根据地址事件的发生同时读取第一亮度信号和第二亮度信号。

本公开的方面不限于上述实施例，而是包括可以由本领域技术人员想到的各种修改，并且本公开的效果不限于上述内容。即，在不脱离从在权利要求及其等同物中限定的内容得出的本公开的概念构思和主旨的情况下，可以进行各种添加、修改以及部分删除。

参考标记列表

30  像素阵列单元

100  成像装置

200  固态成像元件

211b  第二访问控制电路

212a  AD转换器

212b  DVS读出电路

212c  时间戳生成电路

212d  定时控制电路

213  第一信号处理单元

214  第二信号处理单元

250  仲裁器电路

308a  灰度像素

308b  DVS像素

314  DVS AFE。

Claims (17)

1.一种成像装置，包括：

像素阵列单元，包括输出与光量相对应的第一亮度信号的多个DVS像素和输出与所述光量相对应的第二亮度信号的多个灰度像素；

检测电路，在所述多个DVS像素中的每一个的第一亮度信号超过预定阈值的情况下输出指示地址事件的发生的检测信号；

第一读取单元，从所述多个DVS像素读取所述第一亮度信号并将所述第一亮度信号转换为数字数据；

第二读取单元，从所述多个灰度像素读取所述第二亮度信号并将所述第二亮度信号转换为数字数据；以及

控制电路，控制所述第一读取单元和所述第二读取单元。

2.根据权利要求1所述的成像装置，

其中，所述控制电路同时执行所述第一读取单元对所述第一亮度信号的读取以及所述第二读取单元对所述第二亮度信号的读取。

3.根据权利要求1所述的成像装置，

其中，在由所述检测电路检测到所述地址事件的发生的情况下，所述控制电路执行控制以从检测到所述地址事件的DVS像素读取所述第一亮度信号。

4.根据权利要求1所述的成像装置，进一步包括：时间戳生成电路，生成时间戳，

其中，所述控制电路通过所述时间戳使所述第一读取单元对所述第一亮度信号的读取与所述第二读取单元对所述第二亮度信号的读取同步。

5.根据权利要求4所述的成像装置，

其中，将所述时间戳的信息添加到基于从所述第一读取单元读出的所述第一亮度信号的DVS图像数据。

6.根据权利要求4所述的成像装置，

其中，将所述时间戳的信息添加到基于从所述第二读取单元读出的所述第二亮度信号的图像数据。

7.根据权利要求1所述的成像装置，

其中，所述多个DVS像素以二维阵列排列，并且根据以所述阵列排列的所述多个DVS像素的行的排列读出来自所述多个DVS像素中的每一个的输出信号。

8.根据权利要求3所述的成像装置，

其中，所述控制电路使所述第一读取单元对所述第一亮度信号的读取周期与所述第二读取单元对所述第二亮度信号的读取周期同步。

9.根据权利要求1所述的成像装置，

其中，所述控制电路基于所述第一读取单元对所述第一亮度信号的读取同步信号，生成所述第二读取单元对所述第二亮度信号的读取同步信号。

10.根据权利要求1所述的成像装置，进一步包括：仲裁电路，基于所述检测信号仲裁来自所述多个DVS像素的亮度信号的读取，

其中，所述控制电路根据所述仲裁电路的仲裁，由所述第一读取单元读取所述第一亮度信号。

11.根据权利要求1所述的成像装置，

其中，所述多个DVS像素以二维阵列排列，

所述控制电路使所述第一读取单元对所述第一亮度信号的读取周期与所述第二读取单元对所述第二亮度信号的读取周期同步，并且

根据所述阵列的行的排列读出所述多个DVS像素中的每一个的所述第一亮度信号。

12.根据权利要求11所述的成像装置，

其中，与所述第一亮度信号的读取周期同步地从所述多个DVS像素读出所述第一亮度信号。

13.根据权利要求11所述的成像装置，

其中，所述控制电路使所述第一读取单元对所述第一亮度信号的读取周期与所述第二读取单元对所述第二亮度信号的读取周期同步。

14.根据权利要求11所述的成像装置，

其中，所述控制电路基于所述第一读取单元对所述第一亮度信号的读取同步信号，生成所述第二读取单元对所述第二亮度信号的读取同步信号。

15.根据权利要求1所述的成像装置，

其中，根据所述地址事件的发生次数，改变基于所述第一亮度信号的DVS图像数据的数据格式。

16.根据权利要求1所述的成像装置，

其中，所述多个灰度像素的区域被划分为多个区域，并且

所述第二读取单元针对所述多个区域的每一个读取所述第二亮度信号。

17.一种控制成像装置的方法，所述成像装置包括：像素阵列单元，包括输出与光量相对应的第一亮度信号的多个DVS像素和输出与所述光量相对应的第二亮度信号的多个灰度像素；以及检测电路，在所述多个DVS像素中的每一个的第一亮度信号超过预定阈值的情况下输出指示地址事件的发生的检测信号，所述方法包括：

根据所述地址事件的发生同时读取所述第一亮度信号和所述第二亮度信号。

Images