CN114071114A - 事件相机、深度事件点图获取方法、装置、设备及介质 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，具体公开了一种事件相机、深度事件点图获取方法、装置、设备及介质，其中，所述获取方法包括以下步骤：获取事件信息和红外点云信息，所述红外点云信息基于TOF模组采集生成；获取所述事件信息的第一时间戳信息和获取所述红外点云信息的第二时间戳信息，所述第一时间戳信息和所述第二时间戳信息均基于所述TOF模组的采集帧率进行标记；根据所述第一时间戳信息和所述第二时间戳信息整合所述事件信息和所述红外点云信息，以获取所述具有深度信息的事件点图；该获取方法具有运算逻辑简单、响应速度快的特点。

Description

事件相机、深度事件点图获取方法、装置、设备及介质

技术领域

本申请涉及计算机视觉技术领域，具体而言，涉及一种事件相机、深度事件点图获取方法、装置、设备及介质。

背景技术

传统的相机由于采样时受限于帧率和光照强度，在识别高速运动物体或者暗光环境下的运动物体时存在着较大的困难，事件相机能很好地解决这些问题，其主要是通过设置光照阈值并检测各点光强变化以被动触发输出事件信息，然后通过FPGA加速事件信息输出，从而获取暗光或强光环境下近似连续的高速运动物体的位移信息。

然而，目前的事件相机只有单目输出，在进行深度信息获取时需要进行双目搭建，双目事件相机需要对双目分别获取的事件信息进行联合标定划分以计算获取深度信息，其运行逻辑复杂需要耗费大量时间，尤其是其中包含的一些循环和冗余检测的算法会导致延迟进一步增大，影响响应速度。

针对上述问题，目前尚未有有效的技术解决方案。

发明内容

本申请的目的在于提供一种事件相机、深度事件点图获取方法、装置、设备及介质，降低事件相机对于深度信息的获取复杂度并提高对应的响应速度。

第一方面，本申请提供了一种深度事件点图获取方法，用于获取具有深度信息的事件点图，所述获取方法包括以下步骤：

获取事件信息和红外点云信息，所述红外点云信息基于TOF模组采集生成；

获取所述事件信息的第一时间戳信息和获取所述红外点云信息的第二时间戳信息，所述第一时间戳信息和所述第二时间戳信息均基于所述TOF模组的采集帧率进行标记；

根据所述第一时间戳信息和所述第二时间戳信息整合所述事件信息和所述红外点云信息，以获取所述具有深度信息的事件点图。

本申请的一种深度事件点图获取方法，利用根据TOF模组的采集帧率标记的第一时间戳信息和第二时间戳信息便能保证事件信息和红外点云信息对齐关联，具有运算逻辑简单的特点；红外点云信息基于TOF模组采集，高帧率的红外点云信息能匹配事件信息进行整合，以保证最终获取的具有深度信息的事件点图在相邻事件间具有足够低的延时。

所述的一种深度事件点图获取方法，其中，所述事件信息为基于所述TOF模组的采集帧率设定的调制脉冲信号进行触发采集。

该示例的获取方法获取的事件信息均有与之对应的红外点云信息，即第一时间戳信息必有对应的第二时间戳信息，以使最终获取的事件点云在每个时刻均具有对应的深度信息,从而使得事件信息和红外点云信息的采样具有一致性。

所述的一种深度事件点图获取方法，其中，所述根据所述第一时间戳信息和所述第二时间戳信息整合所述事件信息和所述红外点云信息，以获取所述具有深度信息的事件点图的步骤包括：

在所述事件信息的所述第一时间戳信息和所述红外点云信息的所述第二时间戳信息对应时，利用预设的变换矩阵将所述红外点云信息转换为坐标信息；

根据所述第一时间戳信息和/或所述第二时间戳信息将所述坐标信息添加在所述事件信息中，以形成所述具有深度信息的事件点图。

该示例的获取方法将每一帧中关于深度点的坐标信息添加在对应事件信息中的像素点中，即能使得事件信息具有深度信息，从而形成具有深度信息的事件点图。

所述的一种深度事件点图获取方法，其中，所述获取方法还包括步骤：

剔除所述具有深度信息的事件点图中的无用深度信息，所述无用深度信息为所述事件信息中无信息输出的像素点所对应的所述红外点云信息的深度点。

该示例的获取方法使得事件点图仅表征视场内运动物体的位置变化并忽略非运动物体的位置。

所述的一种深度事件点图获取方法，其中，所述红外点云信息的采集范围大于或等于所述事件信息的采集范围。

第二方面，本申请还提供了一种深度事件点图获取装置，用于获取具有深度信息的事件点图，所述装置包括微控制器，所述微控制器包括：

第一获取模块，用于获取事件信息和红外点云信息，所述红外点云信息基于TOF模组采集生成；

第二获取模块，用于获取所述事件信息的第一时间戳信息和获取所述红外点云信息的第二时间戳信息，所述第一时间戳信息和所述第二时间戳信息均基于所述TOF模组的采集帧率进行标记；

整合模块，用于根据所述第一时间戳信息和所述第二时间戳信息整合所述事件信息和所述红外点云信息，以获取所述具有深度信息的事件点图。

本申请的一种深度事件点图获取装置，利用整合模块根据第一时间戳信息和第二时间戳信息将事件信息和红外点云信息整合获取了具有深度信息的事件点图，具有运算逻辑简单、响应速度快的特点。

第三方面，本申请还提供了一种事件相机，用于获取具有深度信息的事件点图，所述事件相机包括：

相机本体，用于采集事件信息；

TOF模组，用于采集红外点云信息；

微控制器，与所述相机本体和所述TOF模组电性连接，用于根据所述TOF模组的采集帧率标记所述事件信息的第一时间戳信息和标记所述红外点云信息的第二时间戳信息；

所述微控制器还用于根据所述第一时间戳信息和所述第二时间戳信息整合所述事件信息和所述红外点云信息，以获取所述具有深度信息的事件点图。

本申请的事件相机通过相机本体和TOF模组分别采集事件信息和红外点云信息，利用微控制器标记第一时间戳信息和第二时间戳信息再将事件信息和红外点云信息整合为具有深度信息的事件点图，简化了获取事件点图的运算复杂度，并有效提高响应效率。

所述的一种事件相机，其中，所述事件相机还包括：

同步触发器，所述同步触发器与所述微控制器、所述相机本体及所述TOF模组电性连接；

所述同步触发器根据所述TOF模组的采集帧率设定调制脉冲信号以触发所述事件相机采集所述事件信息；

所述微控制器用于根据所述同步触发器的所述调制脉冲信号标记所述第一时间戳信息和所述第二时间戳信息。

该示例的事件相机利用同步触发器设定的调制脉冲信号限定微控制器标记第一时间戳信息和第二时间戳信息的时机，即使得第一时间戳信息和第二时间戳信息的标记频率与调制脉冲信号变化频率一致，从而使得事件信息和红外点云信息的采样具有一致性。

第四方面，本申请还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。

第五方面，本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。

由上可知，本申请提供了一种事件相机、深度事件点图获取方法、装置、设备及介质，其中，该获取方法利用根据TOF模组的采集帧率标记的第一时间戳信息和第二时间戳信息便能保证事件信息和红外点云信息对齐关联，使得事件点图的整个获取过程无需对获取的事件信息进行复杂运算，具有运算逻辑简单的特点；此外，红外点云信息基于TOF模组采集，高帧率的红外点云信息能匹配事件信息进行整合，以保证最终获取的具有深度信息的事件点图在相邻事件间具有足够低的延时，使得本申请的获取方法具有响应速度快的特点。

附图说明

图1为本申请实施例提供的一种深度事件点图获取方法的流程图。

图2为本申请实施例提供的一种深度事件点图获取装置的结构示意图。

图3为本申请实施例提供的一种事件相机的结构示意图。

图4为本申请实施例提供的一种事件相机的立体结构示意图。

图5为本申请实施例提供的一种事件相机的后视结构示意图。

图6为本申请实施例提供的电子设备的结构示意图。

附图标记：201、第一获取模块；202、第二获取模块；203、整合模块；301、相机本体；302、TOF模组；303、微控制器；304、同步触发器；305、指示灯；306、同步时间I/O接口；307、数据输出接口；4、电子设备；401、处理器；402、存储器；403、通信总线。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

双目事件相机需要对双目分别获取的事件信息进行联合标定划分以计算获取深度信息，其运行逻辑复杂需要耗费大量时间，尤其是其中包含的一些循环和冗余检测的算法会导致延迟进一步增大；此外，运算复杂的流程也会导致事件相机需要配置响应的运算器件而导致事件相机体积增大、重量增加等，不利于移动设备（无人机、无人车等）进行搭载使用，简化运算事件相机获取深度信息的运算复杂度一定程度上还可以减小事件相机的体积、降低事件相机的重量，从而使得事件相机便于移动设备搭载使用。

第一方面，请参照图1，图1是本申请一些实施例中的一种深度事件点图获取方法，用于获取具有深度信息的事件点图，获取方法包括以下步骤：

S1、获取事件信息和红外点云信息，红外点云信息基于TOF模组采集生成；

具体地，事件信息为事件相机采集的事件流信息，事件相机为一种连续采样的拟生型照相机，通过对像素点光强变化进行监测，输出连续的事件信息，借此可以对视场内高速运动的物体进行追踪建模。

更具体地，本申请实施例中的事件信息为单目事件信息，即通过一般事件相机的动态视觉传感器进行获取的事件流，该事件信息本身不包含深度信息。

更具体地，TOF（Time of Flight，飞行时间）模组是一种基于光线飞行时间计算对象距离的传感器组件，其基本原理是通过红外发射器发射调制过的光脉冲，然后利用接收器接收物体反射回来的光脉冲，并根据光脉冲的往返时间计算与物体之间的距离；在本申请实施例中，TOF模组为多点TOF模组，能测取多个位置点的距离，即获取多个深度点的距离信息，这些距离信息构成了红外点云信息。

更具体地，在本申请实施例中，TOF模组为多点TOF激光雷达，具有红外激光发射器和红外激光接收器，红外激光发射器用于发出朝向上述事件相机的视场的红外光脉冲，红外激光接收器接收该视场内物体反射回来的红外光脉冲以获取红外点云信息。

S2、获取事件信息的第一时间戳信息和获取红外点云信息的第二时间戳信息，第一时间戳信息和第二时间戳信息均基于TOF模组的采集帧率进行标记；

具体地，TOF模组利用光脉冲获取红外点云信息，故TOF模组的采集帧率为光脉冲的频率，该频率远高于一般深度相机的采集频率（即深度相机设定时间戳的频率），能更为精确地生成对应于事件流的红外点云信息。

更具体地，红外点云信息的第二时间戳信息为基于TOF模组自身的采集帧率进行标记，即根据TOF模组本身的光脉冲频率对红外点云信息进行标记以使红外点云信息具有第二时间戳信息的标识。

更具体地，基于TOF模组的采集帧率对事件信息标记第一时间戳信息的过程为对连续的事件流根据TOF模组的采集帧率按照时间顺序对事件流进行标记，使得事件信息具有第一时间戳信息的标识。

更具体地，第一时间戳信息和第二时间戳信息均为时间节点标记特性，即第一时间戳信息中的一个时间戳标记了事件流中某事件数据的发生时间节点，第二时间戳信息中的一个时间戳标记了红外点云信息中某些红外点云的采集时间节点。

S3、根据第一时间戳信息和第二时间戳信息整合事件信息和红外点云信息，以获取具有深度信息的事件点图。

具体地，由于第一时间戳信息和第二时间戳信息均具有时间节点标记特性，故可通过对齐第一时间戳信息和第二时戳信息将事件信息和红外点云信息依据时间顺序进行对齐，以作为整合基础。

更具体地，根据第一时间戳信息和第二时间戳信息对齐使得事件信息和红外点云信息在时间上产生对应关联关系，将具有深度特点的红外点云信息按照视场分布特点对应整合在事件信息中，即能使事件信息具有深度特点，以获取具有深度信息的事件点图。

更具体地，由于事件相机是基于像素点光照强度变化获取事件信息的，因此事件信息主要是记录了产生变化的事件点数据，步骤S3可以是将红外点云信息中对应于事件信息中事件点的深度信息赋予给对应事件点形成对应的具有深度信息的事件点图，还可以是将红外点云信息中所有深度信息与事件信息进行整合以获取具有深度信息的事件点图，还可以是将事件信息中的事件点整合在红外点云信息中以获取具有事件信息的点云图，再在具有事件信息的点云图中提取具有深度信息的事件点图。

本申请实施例的一种深度事件点图获取方法，根据第一时间戳信息和第二时间戳信息将事件信息和红外点云信息整合获取了具有深度信息的事件点图，该事件点图能充分反映出事件信息的深度特点，该获取方法仅利用根据TOF模组的采集帧率标记的第一时间戳信息和第二时间戳信息便能保证事件信息和红外点云信息对齐关联，使得事件点图的整个获取过程无需对获取的事件信息进行复杂运算，具有运算逻辑简单的特点；此外，红外点云信息基于TOF模组采集，高帧率的红外点云信息能匹配事件信息进行整合，以保证最终获取的具有深度信息的事件点图在相邻事件间具有足够低的延时，使得本申请实施例的获取方法具有响应速度快的特点。

在一些优选的实施方式中，事件信息为基于TOF模组的采集帧率设定的调制脉冲信号进行触发采集。

具体地，事件相机的采集频率可达几千赫兹，较好的TOF模组的采集帧率一般为一千赫兹左右（更高采集帧率会导致TOF模组成本和提及增大），故TOF模组的采集帧率与事件相机采集频率未必能完全对应，直接利用TOF模组的采集帧率对事件信息标记第一时间戳信息未必是对应的时间点的事件数据，且事件信息的触发时间也未必具有对应的第二时间戳信息；因此，本申请实施例的获取方法基于TOF模组的采集帧率设定的调制脉冲信号限定事件相机获取事件信息的触发信号节点，即事件相机触发采集事件信息的瞬间时间节点为TOF模组某一采集红外点云信息的瞬间时间节点，从而确保事件相机采集的事件信息的时间节点为第一时间戳信息。

更具体地，调制脉冲信号的电平变换频率与TOF模组的采集帧率一致或与TOF模组的采集帧率的正整倍数一致，在本申请实施例中，调制脉冲信号的电平变换频率优选为与TOF模组的采集帧率一致。

更具体地，在本申请实施例中，事件相机采集事件信息的采集频率与调制脉冲信号同步，使得事件信息均有与之对应的红外点云信息，即第一时间戳信息必有对应的第二时间戳信息，以使最终获取的事件点云在每个时刻均具有对应的深度信息,从而使得事件信息和红外点云信息的采样具有一致性。

在一些优选的实施方式中，根据第一时间戳信息和第二时间戳信息整合事件信息和红外点云信息，以获取具有深度信息的事件点图的步骤包括：

S31、在事件信息的第一时间戳信息和红外点云信息的第二时间戳信息对应时，利用预设的变换矩阵将红外点云信息转换为坐标信息；

具体地，虽然第一时间戳信息和第二时间戳信息均基于TOF模组的采集帧率进行标记，但实际使用时仍可能因为电流跳变或其余外界影响因素的原因导致第一时间戳信息和第二时间戳信息不同步，因此，获取具有深度信息的事件点图的过程必须建立在第一时间戳信息和第二时间戳信息对应的情况下执行，从而保证红外点云信息中的深度信息能整合在事件信息中；换句话说，该步骤需先判断第一时间戳信息是否具有完全对应的第二时间戳信息，并在第一时间戳信息具有完全对应的第二时间戳信息的情况下，利用预设的变换矩阵将红外点云信息转换为坐标信息。

更具体地，红外点云信息包括视场内多个红外点云的距离信息，即包括了多个深度点，以数据采集端（TOF模组或事件相机）作为定位坐标（坐标原点）结合距离信息即可确定深度点的空间位置，从而获取不同深度点之间的空间关系；事件信息中不同像素点具有位置对应的深度点，深度点的空间位置经过转换后可表征对应像素点的空间位置，因此，本申请实施例的方法在整合红外点云信息和事件信息前，需先将红外点云信息转换为坐标信息。

更具体地，由于事件相机和TOF模组的安装位置具有一定偏差，使得两者采集信息的角度具有一定差异性，故在利用预设的变换矩阵将红外点云信息转换为坐标信息的过程中，需要考虑事件相机和TOF模组的位置关系，即预设的变换矩阵是基于事件相机和TOF模组的位置标定进行设定的，即包含了事件相机和TOF模组之间的内外参数、畸变参数。

更具体地，预设的变换矩阵包括距离变换矩阵，距离变换矩阵用于将深度的距离信息转换为坐标信息；预设的变换矩阵还包括含有内外参数和/或畸变参数的旋转矩阵和平移矩阵，旋转矩阵用于将红外点云信息的深度点的平面投影图像旋转至与事件信息对应的像素图尽可能重合的状态，平移矩阵用于平移红外点云信息的深度点的平面投影图像以与事件信息对应的像素图重合，从而确定深度点和像素点的配对关系。

S32、根据第一时间戳信息和/或第二时间戳信息将坐标信息添加在事件信息中，以形成具有深度信息的事件点图。

具体地，在第一时间戳信息和第二时间戳信息配对后，将每一帧中关于深度点的坐标信息添加在对应事件信息中的像素点中，即将与第一时间戳信息或第二时间戳信息或第一时间戳信息及第二时间戳信息配对的坐标信息添加在对应事件信息中，使得事件信息具有深度信息，从而形成具有深度信息的事件点图。

更具体地，该步骤中将坐标信息添加在事件信息中的过程，可以是对事件信息中的像素点赋予对应的坐标信息，使得像素点具有坐标信息而不直接作为坐标系中的点云，以使所有像素点具有坐标信息而构成具有深度信息的事件点图，还可以对事件信息中的像素点赋予对应的坐标信息，使得像素点作为事件点云标价在事前建立的相机坐标系中，使得像素点转换为相机坐标系中的点云，以使相机坐标系中所有点云构成具有深度信息的事件点图。

在一些优选的实施方式中，获取方法还包括步骤：

S4、剔除具有深度信息的事件点图中的无用深度信息，无用深度信息为事件信息中无信息输出的像素点所对应的红外点云信息的深度点。

具体地，事件相机获取的事件信息是基于视场内物体运动而产生的，即非运动的物体是不会触发事件相机记录事件，事件相机获取的事件信息也不会记录非运动物体的像素点，这些像素点属于无信息输出的像素点，对于事件相机本身属于无用数据，也不需要获取这些无信息输出的像素点的深度信息，故增加步骤S4剔除无用深度信息，减少事件点图的数据量，使得事件点图仅表征视场内运动物体的位置变化并忽略非运动物体的位置。

在一些优选的实施方式中，红外点云信息的采集范围大于或等于事件信息的采集范围。

具体地，红外点云信息的采集范围指的是所有红外点云平面凸包的覆盖范围，该范围大于或等于事件信息的采集范围，从而使得事件相机视场范围内触发采集事件信息时，事件信息中的像素点均有与之相应的红外点云，保证能顺利获取具有深度信息的事件点图。

第二方面，请参照图2，图2是本申请一些实施例中提供的一种深度事件点图获取装置，用于获取具有深度信息的事件点图，装置包括微控制器，微控制器包括：

第一获取模块201，用于获取事件信息和红外点云信息，红外点云信息基于TOF模组采集生成；

第二获取模块202，用于获取事件信息的第一时间戳信息和获取红外点云信息的第二时间戳信息，第一时间戳信息和第二时间戳信息均基于TOF模组的采集帧率进行标记；

整合模块203，用于根据第一时间戳信息和第二时间戳信息整合事件信息和红外点云信息，以获取具有深度信息的事件点图。

本申请实施例的一种深度事件点图获取装置，利用整合模块203根据第一时间戳信息和第二时间戳信息将事件信息和红外点云信息整合获取了具有深度信息的事件点图，使得事件点图的整个获取过程无需对获取的事件信息进行复杂运算，具有运算逻辑简单的特点；此外，高帧率的红外点云信息能匹配事件信息进行整合，以保证最终获取的具有深度信息的事件点图在相邻事件间具有足够低的延时，使得本申请实施例的获取装置具有响应速度快的特点。

在一些优选的实施方式中，该装置还包括：

剔除模块，用于剔除具有深度信息的事件点图中的无用深度信息，无用深度信息为事件信息中无信息输出的像素点所对应的红外点云信息的深度点。

在一些优选的实施方式中，本申请实施例的一种深度事件点图获取装置用于执行第一方面提供的一种深度事件点图获取方法。

第三方面，请参照图3-图5，图3-图5是本申请一些实施例中提供的一种事件相机，用于获取具有深度信息的事件点图，事件相机包括：

相机本体301，用于采集事件信息；

TOF模组302，用于采集红外点云信息；

微控制器303，与相机本体301和TOF模组302电性连接，用于根据TOF模组302的采集帧率标记事件信息的第一时间戳信息和标记红外点云信息的第二时间戳信息；

微控制器303还用于根据第一时间戳信息和第二时间戳信息整合事件信息和红外点云信息，以获取具有深度信息的事件点图。

本申请实施例的事件相机通过相机本体301和TOF模组302分别采集事件信息和红外点云信息，利用微控制器303标记第一时间戳信息和第二时间戳信息再将事件信息和红外点云信息整合为具有深度信息的事件点图，简化了获取事件点图的运算复杂度，并有效提高响应效率。

在一些优选的实施方式中，事件相机还包括：

同步触发器304，同步触发器304与微控制器303、相机本体301及TOF模组302电性连接；

同步触发器304根据TOF模组302的采集帧率设定调制脉冲信号以触发相机本体301采集事件信息；

微控制器303用于根据同步触发器304的调制脉冲信号标记第一时间戳信息和第二时间戳信息。

具体地，同步触发器304基于TOF模组302的采集帧率设定调制脉冲信号限定相机本体301获取事件信息的触发信号节点，即相机本体301触发采集事件信息的瞬间时间节点为TOF模组302某一采集红外点云信息的瞬间时间节点，从而确保相机本体301采集的事件信息的时间节点为第一时间戳信息。

更具体地，本申请实施例的事件相机利用同步触发器304设定的调制脉冲信号限定微控制器303标记第一时间戳信息和第二时间戳信息的时机，即使得第一时间戳信息和第二时间戳信息的标记频率与调制脉冲信号变化频率一致，从而使得事件信息和红外点云信息的采样具有一致性。

在一些优选的实施方式中，TOF模组302可以是一直采集红外点云信息，也可以在相机本体301触发后与相机本体301同步运行而采集红外点云信息；前者可以简化TOF模组302运行逻辑，或者可延长TOF模组302使用寿命。

在一些优选的实施方式中，微控制器303在整合事件信息和红外点云信息前需判断第一时间戳信息和第二时间戳信息是否一致（是否具有对应匹配的时间节点），一致时进行整合操作，不一致时需重置事件相机，以清除所有传感器信息（包含相机本体301和TOF模组302的采集数据）来初始化事件相机的配置信息。

在一些优选的实施方式中，如图4和图5所示，该事件相机还包括用于表示事件相机运行状态的指示灯305、用于连接调节相机本体301和TOF模组302同步效果的同步时间I/O接口306、以及用于输出事件点图的数据输出接口307。

第四方面，请参照图6，图6为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备4，包括：处理器401和存储器402，处理器401和存储器402通过通信总线403和/或其他形式的连接机构（未标出）互连并相互通讯，存储器402存储有处理器401可执行的计算机程序，当计算设备运行时，处理器401执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。

第五方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（ElectricallyErasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。

综上，本申请实施例提供了一种事件相机、深度事件点图获取方法、装置、设备及介质，其中，该获取方法利用根据TOF模组的采集帧率标记的第一时间戳信息和第二时间戳信息便能保证事件信息和红外点云信息对齐关联，使得事件点图的整个获取过程无需对获取的事件信息进行复杂运算，具有运算逻辑简单的特点；此外，红外点云信息基于TOF模组采集，高帧率的红外点云信息能匹配事件信息进行整合，以保证最终获取的具有深度信息的事件点图在相邻事件间具有足够低的延时，使得本申请实施例的获取方法具有响应速度快的特点。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种深度事件点图获取方法，用于获取具有深度信息的事件点图，其特征在于，所述获取方法包括以下步骤：

获取事件信息和红外点云信息，所述红外点云信息基于TOF模组采集生成；

获取所述事件信息的第一时间戳信息和获取所述红外点云信息的第二时间戳信息，所述第一时间戳信息和所述第二时间戳信息均基于所述TOF模组的采集帧率进行标记；

根据所述第一时间戳信息和所述第二时间戳信息整合所述事件信息和所述红外点云信息，以获取所述具有深度信息的事件点图。

2.根据权利要求1所述的一种深度事件点图获取方法，其特征在于，所述事件信息为基于所述TOF模组的采集帧率设定的调制脉冲信号进行触发采集。

3.根据权利要求1所述的一种深度事件点图获取方法，其特征在于，所述根据所述第一时间戳信息和所述第二时间戳信息整合所述事件信息和所述红外点云信息，以获取所述具有深度信息的事件点图的步骤包括：

在所述事件信息的所述第一时间戳信息和所述红外点云信息的所述第二时间戳信息对应时，利用预设的变换矩阵将所述红外点云信息转换为坐标信息；

根据所述第一时间戳信息和/或所述第二时间戳信息将所述坐标信息添加在所述事件信息中，以形成所述具有深度信息的事件点图。

4.根据权利要求1所述的一种深度事件点图获取方法，其特征在于，所述获取方法还包括步骤：

剔除所述具有深度信息的事件点图中的无用深度信息，所述无用深度信息为所述事件信息中无信息输出的像素点所对应的所述红外点云信息的深度点。

5.根据权利要求1所述的一种深度事件点图获取方法，其特征在于，所述红外点云信息的采集范围大于或等于所述事件信息的采集范围。

6.一种深度事件点图获取装置，用于获取具有深度信息的事件点图，其特征在于，所述装置包括微控制器，所述微控制器包括：

第一获取模块，用于获取事件信息和红外点云信息，所述红外点云信息基于TOF模组采集生成；

第二获取模块，用于获取所述事件信息的第一时间戳信息和获取所述红外点云信息的第二时间戳信息，所述第一时间戳信息和所述第二时间戳信息均基于所述TOF模组的采集帧率进行标记；

整合模块，用于根据所述第一时间戳信息和所述第二时间戳信息整合所述事件信息和所述红外点云信息，以获取所述具有深度信息的事件点图。

7.一种事件相机，用于获取具有深度信息的事件点图，其特征在于，所述事件相机包括：

相机本体，用于采集事件信息；

TOF模组，用于采集红外点云信息；

微控制器，与所述相机本体和所述TOF模组电性连接，用于根据所述TOF模组的采集帧率标记所述事件信息的第一时间戳信息和标记所述红外点云信息的第二时间戳信息；

所述微控制器还用于根据所述第一时间戳信息和所述第二时间戳信息整合所述事件信息和所述红外点云信息，以获取所述具有深度信息的事件点图。

8.根据权利要求7所述的一种事件相机，其特征在于，所述事件相机还包括：

同步触发器，所述同步触发器与所述微控制器、所述相机本体及所述TOF模组电性连接；

所述同步触发器根据所述TOF模组的采集帧率设定调制脉冲信号以触发所述事件相机采集所述事件信息；

所述微控制器用于根据所述同步触发器的所述调制脉冲信号标记所述第一时间戳信息和所述第二时间戳信息。

9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-5任一所述方法中的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-5任一所述方法中的步骤。

Images