CN111866398B

CN111866398B - 事件相机

Info

Publication number: CN111866398B
Application number: CN202010230010.XA
Authority: CN
Inventors: 金道敏树
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2019-04-25
Filing date: 2020-03-27
Publication date: 2021-12-14
Anticipated expiration: 2040-03-27
Also published as: JP7298277B2; EP3731514B1; EP3731514A1; JP2020182122A; US20200344451A1; US11202041B2; CN111866398A

Abstract

一种事件相机，其包括：基于事件的传感器，其被配置成检测作为事件的每个像素的光强度变化并且异步地输出事件信号，所述事件信号包括检测到所述事件的时刻和发生所述事件的像素位置；缓冲器，其被配置成存储由所述基于事件的传感器在预定时段内输出的所述事件信号，所述预定时段是从基准时刻起向过去回溯了预定时长的时刻和所述基准时刻之间的时段；存储部，其被配置成存储图像；以及更新单元，其被配置成基于所述事件信号更新存储于所述存储部中的所述图像，使得存储于所述存储部中的所述图像变为所述预定时段内包含的更新时刻的图像。

Description

事件相机

技术领域

本发明涉及事件相机。

背景技术

日本未经审查的专利申请公开第2010-510732(JP 2010-510732 A)号公开了一种生成电子形式的图像的装置。该装置包括图像传感器、数字处理单元和存储部。图像传感器具有排列成矩阵的多个图像元件。多个图像元件中的每一个对应于一个像素。图像元件包括曝光测量电路和光强度变化检测电路。光强度变化检测电路基于曝光测量电路的测量结果来检测被观测传感器的视野中的光强度变化。

图像元件通过事件控制将光强度变化及其地址异步地传送到数字处理单元。数字处理单元将光强度变化转换为数字值并将其存储于存储部中。存储部针对每个像素包含一个存储单元。存储部存储由图像传感器和数字处理单元生成的灰度图像。当光强度发生变化时，存储于存储部中的灰度图像逐个像素地进行异步匹配。换句话说，将整个被观测的场景的灰度图像以数字形式存储在存储部中，并且每次光强度变化时就生成其中仅更新了检测到传感器视野中的光强度变化的像素的新灰度图像。

发明内容

由于具有所谓的基于事件的传感器的相机(例如JP 2010-510732 A中描述的装置)使用光强度变化来更新图像，因此在具有基于事件的传感器的相机中的图像生成原理与具有传统图像传感器的相机大不相同。通过关注图像生成原理中的该不同并进行改进，配备有基于事件的传感器的事件相机可以表现出配备有传统图像传感器的相机无法实现的功能。

本发明提供了一种事件相机的新功能。

本发明的一个方案为事件相机。所述事件相机包括基于事件的传感器、缓冲器、存储部和更新单元。基于事件的传感器被配置成检测作为事件的每个像素的光强度变化，并且异步地输出包括检测到事件的时刻和发生事件的像素位置的事件信号。缓冲器被配置成存储由基于事件的传感器在预定时段内输出的事件信号，所述预定时段是从基准时刻起向过去回溯了预定时长的时刻和所述基准时刻之间的时段。存储器被配置成存储图像。更新单元被配置成基于事件信号更新存储于存储部中的图像，使得存储于存储部中的图像变为预定时段内包含的更新时刻的图像。

在根据本发明的上述方案的事件相机中，缓冲器和存储部分别存储预定时段内的事件信号和预定时段内包含的时刻的图像。因此，事件相机可以通过例如输出更新时刻的图像和预定时段内的事件信号而生成预定时段内的任何时刻的图像。因而，事件相机可以提供新的功能。

在上述方案中，事件相机可以包括：接收器，其被配置成接收预定时段内包含的指定时刻；以及生成器，其被配置成基于存储于存储部中的图像、存储于缓冲器中的事件信号、更新时刻和接收器接收到的指定时刻来生成指定时刻的图像。在这种情况下，事件相机可以生成预定时段内的指定时刻的图像。

在上述方案中，更新时刻可以是从基准时刻起向过去回溯了预定时长的时刻。在这种情况下，预定时段是更新时刻和基准时刻之间的时段，并且更新时刻是预定时段内的最早时刻。因此，只需通过简单地将根据事件信号的光强度变化添加到更新时刻的图像而生成预定时段内的任何时刻的图像。

在上述方案中，更新时刻可以是基准时刻。在这种情况下，更新时刻是预定时段内最接近当前时刻的时刻(包括当前时刻)。因此，只需通过从更新时刻的图像中减去根据事件信号的光强度变化而生成预定时段内的任何时刻的图像。

在上述方案中，接收器可被配置成从在预定测量时刻输出检测结果的另一个传感器接收测量时刻作为指定时刻。在这种情况下，事件相机可以生成与输出另一个传感器的测量结果的时刻相同的时刻的图像。

利用本发明的上述方案，提供了事件相机的新功能。

附图说明

以下将参考所附附图来描述本发明的示例性实施例的特征、优点以及技术和工业意义，其中相同的数字指代相同的元件，并且其中：

图1是描述根据第一实施例的事件相机的配置的概要的框图；

图2是存储部和缓冲器的时间图；

图3是描述生成指定时刻的图像的图示；

图4是示出事件相机的传感器单元的操作的流程图；

图5是示出事件相机的图像生成的操作的流程图；

图6是描述根据第二实施例的事件相机的配置的概要的框图；

图7是存储部和缓冲器的时间图；

图8是描述生成指定时刻的图像的图示；以及

图9是存储部和缓冲器的又一时间图。

具体实施方式

下面，将描述各种示例性实施例。在下面的描述中，相同或等同的元件将由相同的附图标记表示，而重复的描述将不会重复。

第一实施例

事件相机的配置

图1是描述根据第一实施例的事件相机的配置的概要的框图。示意性地，图1所示的事件相机1检测图像拍摄范围内的光强度变化，并且通过仅更新被存储的图像中的具有光强度变化的像素来生成图像。如图1所示，事件相机1包括传感器单元10。传感器单元10是事件相机1的主要部件，并且包括基于事件的传感器11、缓冲器12、更新单元13和存储部14。

基于事件的传感器11检测图像拍摄范围内的光强度变化，并异步地输出事件信号。基于事件的传感器11可以由例如排列成矩阵的多个图像元件组成。事件信号是与事件相关联的信号。事件是像素的光强度变化。事件信号包括例如检测到事件的时刻和发生事件的像素位置。检测到事件的时刻可以以基于事件的传感器的内部时钟(事件相机时刻)为基础而被测量出来。可根据需要重置检测到事件的时刻的基准。事件信号可以包括光强度的变化值。例如，光强度的变化值可以是变化量本身，或者是指示光强度的变化是正值还是负值的信息。基于事件的传感器11仅在光强度发生变化时才输出事件信号。“异步输出”是指逐个像素地、独立于时间的输出，不需要全部像素同步。

缓冲器12存储由基于事件的传感器输出的事件信号。缓冲器12可以由例如包括逻辑电路的记录介质构成。存储于缓冲器12中的事件信号是由基于事件的传感器在预定时段内输出的事件信号，该预定时段是从基准时刻起向过去回溯了预定时长的时刻和基准时刻之间的时段。基准时刻是预定义的，并且可以是例如当前时刻。基准时刻可以是当前时刻之前或之后的时刻。根据缓冲器12的存储容量预先设定预定时间。例如，缓冲器12按照先进后出的方法存储预定时段内的事件信号。这样，缓冲器12可以在更新事件信号的同时存储预定时段内的事件信号。

更新单元13基于事件信号更新存储于存储部14中的图像。例如，更新单元13可以是被设计用于基于事件信号更新存储于存储部14中的图像的逻辑电路。存储部14是存储图像的记录介质。例如，存储部14针对每个像素包括一个存储单元。存储部14不限于针对每个像素有一个存储单元的形式，也可以是针对每个像素逻辑地存储信息的记录介质。

更新单元13更新存储于存储部14中的图像，使得存储于存储部14中的图像变为预定时段内包含的更新时刻的图像。更新单元13基于存储于缓冲器12中的事件信号而更新存储于存储部14中的图像。因此，存储于存储部14中的图像变为从基准时刻起向过去回溯了预定时长的时刻的图像。换言之，在事件相机1中，更新时刻是从基准时刻起向过去回溯了预定时长的时刻。下面将描述针对缓冲器12和更新单元13描述的各时刻的细节。

事件相机1可以经由传感器单元10包括作为一组的，从基准时刻起向过去回溯了预定时长的时刻的图像和由基于事件的传感器在预定时段内输出的事件信号，该预定时段是从基准时刻起向过去回溯了预定时长的时刻和基准时刻之间的时段。因此，例如响应来自相机外部的图像生成装置的请求，事件相机1可以向图像生成装置提供图像和与该图像相对应的事件信号。因此，事件相机1可使相机外部的图像生成装置等生成在预定时段内的任何时刻的图像。

事件相机1还可以被配置成生成在预定时段内的任何时刻的图像。在图1的示例中，事件相机1包括接收器15和生成器16。接收器15和生成器16中的每个由例如逻辑电路组成。

接收器15接收预定时段内包含的指定时刻。预定时段是缓冲器12存储事件信号的时段。指定时刻是预先设定的，并且是与由生成器16生成的图像相对应的时刻。接收器15从例如测量传感器20(另一个传感器的示例)接收指定时刻。测量传感器20在预定的测量时刻输出检测结果。只要传感器的检测方位在事件相机1的视野内，测量传感器20的示例不特别受限，并且可以包括毫米波雷达、太赫兹雷达、具有不同特性的相机(红外相机、立体相机、与事件相机1具有不同视角的相机等)和麦克风阵列。接收器15可以接收测量传感器20的测量时刻作为指定时刻。在这种情况下，测量传感器20使用从基于事件的传感器11输入的事件相机时刻来表示测量时刻。接收器15可以从相机外部的图像生成装置接收指定时刻，或者通过用户的操作接收指定时刻。

生成器16生成指定时刻的图像。生成器16基于存储于存储部14中的图像、存储于缓冲器12中的事件信号、更新时刻和接收器15接收到的指定时刻来生成指定时刻的图像。生成的图像可以输出到事件相机1的外部。下面将描述图像生成的详细信息。

各时刻的时间图

图2是一种存储部和缓冲器的时间图。如图2所示，时间图基于基准时刻t。从基准时刻t起回溯了预定时长T的时刻t-ΔT，是存储于存储部14中的图像的更新定时(更新时刻tr)。因此，存储部14存储从基准时刻t起回溯了预定时段ΔT的时刻t-ΔT的图像。当基准时刻t是当前时刻时，存储部14总是存储从当前时刻t起回溯了预定时段ΔT的时刻t-ΔT的图像。预定时段ΔT始于更新时刻tr(＝t-ΔT)并终于基准时刻t。换句话说，预定时段ΔT包含更新时刻tr和基准时刻t。缓冲器12存储预定时段ΔT内的事件信号。指定时刻τ被包含于更新时刻tr和基准时刻t之间的时段(预定时段ΔT)内。

通过生成器生成图像的详细信息

图3是描述生成指定时刻的图像的图示。如图3所示，通过向更新时刻tr的图像G01添加根据在更新时刻tr和指定时刻τ之间的时段内观测到的事件信号S01的光强度变化而获得指定时刻τ的图像G02。图像G01存储于存储部14中。事件信号S01存储于缓冲器12中。由于指定时刻τ是被包含于预定时段ΔT中的任何时刻，所以生成器16可以生成预定时段ΔT内的任何图像。

事件相机的操作

图4是示出事件相机的传感器单元的操作的流程图。当事件相机1的基于事件的传感器11检测到图像拍摄视野中的光强度变化时，执行图4所示的流程图。

当图像拍摄视野中的光强度发生变化时，事件相机1的基于事件的传感器11将事件信号输出到缓冲器12。作为缓冲器存储处理(S10)，缓冲器12存储由基于事件的传感器11输出的事件信号之中的、从基准时刻t起向过去回溯了预定时长T的时刻t-ΔT和基准时刻t之间的预定时段ΔT内的事件信号。

随后，作为更新处理(S12)，事件相机1的更新单元13使用存储于缓冲器12中的事件信号来更新存储于存储部14中的图像。因此，存储于存储部14中的图像变为从基准时刻t起向过去回溯了预定时长T的更新时刻tr的图像。当更新处理结束时，图4所示的流程图结束。

通过执行图4所示的流程图，事件相机1可以包括作为一组的，从基准时刻t起向过去回溯了预定时长T的时刻的图像G01和由基于事件的传感器11在预定时段ΔT内输出的事件信号，该预定时段ΔT是从基准时刻t起向过去回溯了预定时长T的时刻t-ΔT和基准时刻t之间的时段。

接下来，将描述事件相机1的图像生成的操作。图5是示出事件相机的图像生成的操作的流程图。当事件相机1的图像生成功能被激活时，开始图5所示的流程图。作为具体示例，当用于事件相机1的图像生成的按钮被接通时，执行图5所示的流程图。

作为接收处理(S20)，事件相机1的接收器15判定是否已接收到预定时段ΔT内包含的指定时刻τ。当接收器15判定已经接收到预定时段ΔT内包含的指定时刻τ时，作为图像生成处理(S22)，事件相机1的生成器16生成指定时刻τ的图像。生成器16从缓冲器12获取更新时刻tr和指定时刻τ之间的时段内的事件信号S01。生成器16通过将获取的事件信号S01添加到存储于存储部14中的图像G01(更新时刻tr的图像)来生成指定时刻τ的图像G02。

当图像生成处理(S22)结束或者当接收器15判定尚未接收到预定时段ΔT内包含的指定时刻τ时，图5所示的流程图结束。当图5所示的流程图结束且开始条件被满足时，事件相机1从头开始重复图5所示的流程图。开始条件可以是，例如激活事件相机的图像拍摄功能。

第一实施例的概要

在根据第一实施例的事件相机1中，缓冲器12和存储部14存储预定时段ΔT内的事件信号和预定时段ΔT内包含的时刻的图像。因此，事件相机1可以通过例如输出更新时刻tr的图像G01和预定时段ΔT内的事件信号来生成预定时段ΔT内的任何时刻的图像。因此，例如，当物体是动态物体时，事件相机1可以从预定时段ΔT内的镜头中选择事件相机1所期望的动态物体的运动的一个镜头。因此，事件相机1可以提供一项新功能。

根据第一实施例，事件相机1可以生成预定时段ΔT内的指定时刻τ的图像G02。根据第一实施例，事件相机1只需向更新时刻tr的图像G01添加根据事件信号的光强度变化，就可以生成预定时段ΔT内的任何时刻的图像。

根据第一实施例，事件相机1可以生成与测量传感器20的测量结果被输出的时刻相同的时刻的图像。传统的事件相机不具备与另一传感器同步的功能。首先，由于传统的事件相机追求图像响应性(当传统相机被传统图像传感器相机替换时的高帧速率)，因此不存在对其有意安装会引起时延的配置的想法。然而，为了提高识别处理的准确性或可靠性等，需要结合各种传感器的检测结果进行判断。因此，需要其中具有不同响应性的多个传感器的检测结果彼此相关联的时间校准。时间校准也是自动驾驶领域中的一项重要技术。一个具体的例子是安装在以36km/h的速度行驶的两辆车辆的每辆车辆上的传感器的情况。假设两个传感器之间的测量时间差约为0.05秒，则以72km/h(2×36km/h)的速度彼此相对运动的物体之间的相对位置差为2m。当物体之间的相对位置差为2m时，使传感器的检测结果彼此同步并不容易。根据第一实施例，由于事件相机1可以通过接收测量传感器20的测量时刻作为指定时刻来生成与测量传感器20的测量结果被输出的时刻相同的时刻的图像，所以可以精确地执行时间校准。

第二实施例

根据第二实施例的事件相机1A与根据第一实施例的事件相机1部分地不同在于更新单元13A、存储部14A和生成器16A的功能，但其他功能相同。在第二实施例中，与第一实施例重复的描述将被省略，并将主要述及不同之处。

事件相机的配置

图6是描述根据第二实施例的事件相机的配置的概要的框图。如图6所示，事件相机1A包括传感器单元10A。传感器单元10A与根据第一实施例的传感器单元10的不同在于更新单元13A和存储部14A的一些功能，但其他功能相同。

更新单元13A更新存储于存储部14A中的图像，使得存储于存储部14A中的图像变为预定时段中包含的更新时刻的图像。在事件相机1A中，更新时刻是基准时刻。当基准时刻是当前时刻时，更新单元13A更新存储于存储部14A中的图像，使得该图像始终是最新的图像。因此，存储部14A被配置成存储基准时刻的图像。

与事件相机1类似，事件相机1A也可以被配置成生成在预定时段内的任何时刻的图像。在图6的示例中，事件相机1A包括接收器15和生成器16A。接收器15和生成器16A中的每一个由例如逻辑电路组成。接收器15与第一实施例的接收器15相同，并且接收预定时段中包括的指定时刻。

生成器16A生成指定时刻的图像。生成器16A基于存储于存储部14A中的图像、存储于缓冲器12中的事件信号、更新时刻和由接收器15接收到的指定时刻来生成指定时刻的图像。生成的图像可以输出到事件相机1A的外部。下面将描述图像生成的细节。

各时刻的时间图

图7是存储部和缓冲器的时间图。如图7所示，时间图是基于基准时刻t。基准时刻t是存储于存储部14A中的图像的更新定时(更新时刻tr)。因此，存储部14A存储基准时刻t的图像。当基准时刻t是当前时刻时，存储部14A始终存储当前时刻的图像。预定时段ΔT是从基准时刻t起回溯了预定时长T的时刻t-ΔT和基准时刻t之间的时段。预定时段ΔT包含更新时刻tr和时刻t-ΔT。缓冲器12存储预定时段ΔT内的事件信号。指定时刻τ是时刻t-ΔT和基准时刻t之间的时段(预定时段ΔT)中包含的时刻。

通过生成器生成图像的详细信息

图8是描述生成指定时刻的图像的图示。如图8所示，通过从更新时刻tr的图像G03中减去根据在指定时刻τ和更新时刻tr之间的时段内观测到的事件信号S02的光强度变化而获得指定时刻τ的图像G04。图像G03存储于存储部14A中。事件信号S02存储于缓冲器12中。由于指定时刻τ是预定时段ΔT中包含的任何时刻，所以生成器16A可以生成预定时段ΔT内的任何图像。

事件相机的操作

事件相机的操作与第一实施例的事件相机的操作不同之处在于图4的更新处理(S12)和图5的图像生成处理(S22)的操作，但其他操作相同。在更新处理(S12)中，两个实施例之间的唯一区别是更新时刻tr从时刻t-ΔT变为基准时刻t。在图像生成处理(S22)中，唯一区别是在第二实施例中通过减去根据事件信号的光强度变化而不是通过添加光强度变化来生成图像，如图8所示。

第二实施例的概要

与根据第一实施例的事件相机1类似，根据第二实施例的事件相机1A可以生成预定时段ΔT内的任何时刻的图像。这样，例如，当物体是动态物体时，事件相机1A可以从预定时段ΔT内的镜头中选择事件相机1A所期望的动态物体的运动的一个镜头。因此，事件相机1A可以提供一项新功能。

与根据第一实施例的事件相机1类似，根据第二实施例的事件相机1A可以生成预定时段ΔT内的指定时刻τ的图像G04。根据第二实施例，事件相机1A只需从更新时刻tr的图像G03减去根据事件信号的光强度变化，就可以生成预定时段ΔT内的任何时刻的图像。与根据第一实施例的事件相机1类似，根据第二实施例的事件相机1A可以生成与测量传感器20的测量结果被输出的时刻相同的时刻的图像。

修改示例

本发明不限于上述实施例。本发明可以在本发明的范围内进行各种修改。

例如，更新时刻tr不限于预定时段ΔT的开始时刻或结束时刻，而可以是预定时段ΔT中包含的任何时刻。图9是存储部和缓冲器的又一时间图。如图9所示，更新时刻tr可以是预定时段ΔT中包含的时刻。在这种情况下，当接收到作为早于更新时刻tr的时刻的指定时刻τ1作为指定时刻τ时，生成器16通过使用第二实施例中描述的方法(减去根据事件信号的光强度变化的方法)生成指定时刻τ1的图像。当接收到作为比更新时刻tr更接近当前时刻的时刻的指定时刻τ2作为指定时刻τ时，生成器16通过使用第一实施例中描述的方法(添加根据事件信号的光强度变化的方法)生成指定时刻τ2的图像。因此，更新时刻tr可以是任意时刻，只要该时刻被包含于预定时段ΔT中即可。

事件相机1、1A不必包括接收器15和发生器16，也不必连接到测量传感器20。

由逻辑电路组成的部件可以通过诸如CPU的算法装置执行程序来实现。

在上述实施例中，尽管事件相机的输出被描述为光强度信号，但是在根据上述实施例的事件相机中，通过添加适合于每个像素的滤色器并使事件相机起到颜色事件相机的作用，可以获得与颜色事件相机相同的效果。

Claims

1.一种事件相机，其特征在于包括：

基于事件的传感器，其被配置成检测作为事件的每个像素的光强度变化并且异步地输出事件信号，所述事件信号包括检测到所述事件的时刻和发生所述事件的像素位置；

缓冲器，其被配置成存储由所述基于事件的传感器在预定时段内输出的所述事件信号，所述预定时段是从基准时刻起向过去回溯了预定时长的时刻和所述基准时刻之间的时段；

存储部，其被配置成存储图像；以及

更新单元，其被配置成基于所述事件信号更新存储于所述存储部中的所述图像，使得存储于所述存储部中的所述图像变为所述预定时段内包含的更新时刻的图像，其中所述更新时刻是所述基准时刻。

2.根据权利要求1所述的事件相机，其特征在于进一步包括：

接收器，其被配置成接收所述预定时段内包含的指定时刻；以及

生成器，其被配置成基于存储于所述存储部中的所述图像、存储于所述缓冲器中的所述事件信号、所述更新时刻以及所述接收器接收到的所述指定时刻来生成所述指定时刻的所述图像。

3.根据权利要求2所述的事件相机，其特征在于，所述接收器被配置成从在预定测量时刻输出检测结果的另一个传感器接收所述测量时刻作为所述指定时刻。