CN108073857B - 动态视觉传感器dvs事件处理的方法及装置 - Google Patents

动态视觉传感器dvs事件处理的方法及装置 Download PDF

Info

Publication number
CN108073857B
CN108073857B CN201611001931.9A CN201611001931A CN108073857B CN 108073857 B CN108073857 B CN 108073857B CN 201611001931 A CN201611001931 A CN 201611001931A CN 108073857 B CN108073857 B CN 108073857B
Authority
CN
China
Prior art keywords
event
dvs
target
dvs event
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611001931.9A
Other languages
English (en)
Other versions
CN108073857A (zh
Inventor
石峰
邹冬青
刘伟恒
李佳
王强
徐静涛
钱德恒
李圭彬
柳贤锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN201611001931.9A priority Critical patent/CN108073857B/zh
Priority to US15/811,200 priority patent/US10445924B2/en
Priority to KR1020170151314A priority patent/KR20180054487A/ko
Publication of CN108073857A publication Critical patent/CN108073857A/zh
Application granted granted Critical
Publication of CN108073857B publication Critical patent/CN108073857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种动态视觉传感器DVS事件处理的方法及装置，该方法包括：获取DVS事件图序列，然后针对DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，其中，DVS事件特征描述子具有尺度不变特性和/或旋转不变特性，然后根据提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿，然后根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列，本发明实施例用于将DVS事件图序列，生成具备时域一致性的DVS事件图序列。

Description

动态视觉传感器DVS事件处理的方法及装置
技术领域
本发明涉及计算机视觉领域，具体而言，本发明涉及一种动态视觉传感器DVS事件处理的方法及装置。
背景技术
近年来，在计算机视觉、人工智能和机器人等领域，动态视觉传感器(英文全称：Dynamic Vision Sensor，英文缩写：DVS)相机逐渐广为人知。和传统的互补金属氧化物半导体(英文全称：Complementary Metal-Oxide-Semiconductor，英文缩写：CMOS)传感器或电荷藕合器件图像(英文全称：Charge Coupled Device，英文缩写：CCD)传感器比起来，DVS相机具有以下的三个特点，使其更适用于存在高实时性要求的应用：
1)事件异步性，不同于CMOS/CCD敏感器，DVS相机的成像过程是异步的，其每个像素均可以自主地根据场景光照变化强度大小来产生事件。因此，DVS相机对场景变化的响应速度要远快于CMOS/CCD敏感器，从而在根本上为超实时视觉算法的提出和实现提供了可能性。
2)事件稀疏性，不同于CMOS/CCD敏感器，DVS相机是一种运动敏感型敏感器，只捕获存在相对运动且光照变化达到一定阈值的物体边界或轮廓事件。因此，仅需少量事件就可以描述场景内容。相对CMOS/CCD敏感器，DVS相机需要处理的内容大大减少，因此能很大程度上节省计算开销，提高计算效率。
3)光照鲁棒性，DVS产生的事件和场景光照变化强度有关，当场景中光照变化大于给定阈值，DVS相应产生对应事件，以描述场景内容变化。因此，DVS相机是一种光照变化鲁棒型的敏感器，不会因为光照强度增加，产出场景纹理弱化或镜面效果，很大程度上减少了光照、纹理等因素的影响。
尽管DVS相机具有低延迟、低功耗和高动态范围等优点，其成像原理及生成图像的过程和传统光学相机之间存在着巨大的差异。DVS相机的事件异步性和稀疏性将不可避免地导致不同DVS事件图之间往往会具有事件分布不一致以及所包含的事件数量不一致的特点，其中，每一帧图像分别对应一个DVS事件图，每个DVS事件图包含若干个事件。由于上述事件分布不一致以及事件数量不一致的特点，对应的DVS事件图序列并不具有光学相机序列普遍具备的时间一致性，其中，时间一致性是指DVS事件图序列中相邻两帧图像对应的事件图的事件分布和事件数量均一致。
如果使用不具备时域一致性的DVS事件图序列进行后续的姿态识别处理或三维重建处理，则将导致处理结果不精确且不鲁棒，因此生成具备时域一致性的DVS事件图序列是目前亟待解决的问题。
发明内容
为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：
本发明的一个实施例提供了一种动态视觉传感器DVS事件处理的方法，包括：
获取DVS事件图序列；
针对所述DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，所述DVS事件特征描述子具有尺度不变特性和/或旋转不变特性；
根据提取的所述DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿；
根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列。
本发明的另一个实施例提供了一种动态视觉传感器DVS事件处理的装置，包括：
获取模块，用于获取DVS事件图序列；
提取模块，用于针对所述DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，所述DVS事件特征描述子具有尺度不变特性和/或旋转不变特性；
确定模块，用于根据提取的所述DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿；
生成模块，用于根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列。
本发明提供了一种动态视觉传感器DVS事件处理的方法及装置，与现有的DVS相机的成像质量相比，本发明通过获取DVS事件图序列，能够提取从任一DVS事件图中提取到具有尺度不变特性和/或旋转不变特性的DVS事件特征描述子，并能够确定当前时刻DVS事件图的三维空间位姿，并生成具备时域一致性的DVS事件图序列，即能够提取到具备尺度不变特性和/或旋转不变特性的DVS事件特征描述子，并能够对不同时刻的DVS事件图之间的对应关系进行有效估计，从而可以确保生成事件图的时域一致性，进而可以在对进行后续的姿态识别处理或三维重建处理，提高处理结果的精确度，并且使处理结果具备鲁棒性。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例的一种动态视觉传感器DVS事件处理的方法流程图；
图2为本发明实施例的另一种动态视觉传感器DVS事件处理的方法流程图；
图3为DVS事件图在8方向中各个方向上的距离图；
图4为时域一致性的DVS事件图；
图5为本发明实施例的一种动态视觉传感器DVS事件处理的装置结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
实施例1
本发明实施例提供了一种动态视觉传感器DVS事件处理的方法，如图1所示，该方法包括：
步骤101、获取DVS事件图序列。
步骤102、针对DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子。
其中，DVS事件特征描述子具有尺度不变特性和/或旋转不变特性。
对于本发明实施例，DVS事件图具有尺度不变特性和/或旋转不变特性指的是针对某物体提取的DVS事件特征描述子，当DVS相机和该物体之间的拍摄距离和/或拍摄角度发生变化时，具有能够保持不变的特性。
步骤103、根据提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿。
步骤104、根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列。
本发明实施例提供了一种动态视觉传感器DVS事件处理的方法，与现有的DVS相机的成像质量相比，本发明实施例通过获取DVS事件图序列，能够提取从任一DVS事件图中提取到具有尺度不变特性和/或旋转不变特性的DVS事件特征描述子，并能够确定当前时刻DVS事件图的三维空间位姿，并生成具备时域一致性的DVS事件图序列，即能够提取到具备尺度不变特性和/或旋转不变特性的DVS事件特征描述子，并能够对不同时刻的DVS事件图之间的对应关系进行有效估计，从而可以确保生成事件图的时域一致性，进而可以在对进行后续的姿态识别处理或三维重建处理，提高处理结果的精确度，并且使处理结果具备鲁棒性。
实施例2
其中，如图1所示的步骤为针对单目视频，生成具备时域一致性的DVS事件图序列。优选地，针对双目视频，生成具备时域一致性的DVS事件图序列，具体包括如图2所示，其中，步骤101、获取DVS事件图序列，包括如图2所示的步骤201、步骤102、针对DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，包括如图2所示的步骤202，步骤203-204所示的操作与步骤103-104所示的操作相似，在此不再赘述。
步骤201、获取双目DVS事件图序列。
其中，双目DVS事件图序列包括左目DVS事件图序列以及右目DVS事件图序列。
步骤202、针对任一目DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子。
对于本发明实施例，任一目DVS事件图可以为左目DVS事件图序列，也可以为右目DVS事件图序列。在本发明实施例中不做限定。在本发明实施例中，一个DVS事件图序列包含若干个DVS事件图，每个DVS事件图分别对应一帧图像。
实施例3
本发明实施例的另一种可能的实现方式，在实施例2所示的基础上，步骤203、根据提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿，之前还包括实施例3所示的步骤303，步骤203、根据提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿，具体包括实施例3所示的步骤304，其中，步骤201-202、204所执行的操作与步骤301-302、305所执行的操作相似，在此不再赘述。
步骤303、针对任一目DVS事件图序列中的任一DVS事件图，根据DVS事件特征描述子，确定每一事件分别对应的深度值。
步骤304、针对任一目DVS事件图序列中的任一DVS事件图，根据每一事件分别对应的深度值、提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿。
实施例4
本发明实施例的另一种可能的实现方式，在实施例3所示的基础上，步骤304、针对任一目DVS事件图序列中的任一DVS事件图，根据每一事件分别对应的深度值、提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿，包括实施例4所示的步骤404-405，其中步骤301-303、305所执行的操作与步骤401-403、406所执行的操作相似，在此不再赘述。
步骤404、针对任一目DVS事件图序列中的任一DVS事件图，根据每一事件分别对应的深度值、提取的DVS事件特征描述子，将当前时刻DVS事件图和所对应的DVS事件图序列中的关键帧进行匹配。
其中，上述步骤404中的关键帧指的是关键的DVS事件图。
步骤405、根据匹配结果确定当前时刻DVS事件图的三维空间位姿。
实施例5
本发明实施例的另一种可能的实现方式，在实施例4所示的基础上，步骤405、根据匹配结果确定当前时刻DVS事件图的三维空间位姿，之后还包括实施例5所示的步骤506，步骤406、根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列，包括实施例5所示的步骤507，其中步骤401-405所执行的操作与步骤501-505所执行的操作相似，在此不再赘述。
步骤506、调整当前时刻DVS事件图的三维空间位姿，以使得DVS事件图在匹配过程中产生的累积误差小于预置值。
步骤507、根据调整后的各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列。
实施例6
本发明实施例的另一种可能的实现方式，在实施例2所示的基础上，步骤202、针对任一目DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，包括实施例6所示的步骤602-603，其中步骤201、203-204，所执行的操作与步骤601、604-605所执行的操作相似，在此不再赘述。
步骤602、针对任一目DVS事件图序列中的任一DVS事件图，创建视觉金字塔。
其中，视觉金字塔的层数为第一预设值，视觉金字塔的任意相邻两层之间的下采样系数为第二预设值。
对于本发明实施例，可以将视觉金字塔的层数设为8，并且将金字塔中任意相邻两层之间的下采样系数设为0.5，可以获得DVS图像的最佳尺度不变性，从而可以得到DVS事件间更好地对应关系。
步骤603、根据视觉金字塔，获取尺度不变的DVS事件特征描述子。
实施例7
本发明实施例的另一种可能的实现方式，在实施例6所示的基础上，步骤603、根据视觉金字塔，获取尺度不变的DVS事件特征描述子，包括如实施例7所示的步骤703-705，其中步骤601-602、604-605所执行的操作与步骤701-702、706-707所执行的操作相似，在此不再赘述。
步骤703、分别确定视觉金字塔的任一层中每个事件在8方向中的各个方向上对应的距离图。
步骤704、根据任一层中每个事件在8方向中的各个方向上对应的距离图，确定该层中每个事件运动的主方向。
步骤705、根据任一层中每个事件在8方向中的各个方向上对应的距离图，以及该层中每个事件运动的主方向，提取DVS事件特征描述子。
实施例8
本发明实施例的另一种可能的实现方式，在实施例7所示的基础上，步骤703、分别确定视觉金字塔的任一层中每个事件在8方向中的各个方向上对应的距离图，包括实施例8所示的步骤803，步骤704、根据任一层中每个事件在8方向中的各个方向上对应的距离图，确定该层中每个事件运动的主方向，包括实施例8所示的步骤804-805，步骤705、根据任一层中每个事件在8方向中的各个方向上对应的距离图，以及该层中每个事件运动的主方向，提取DVS事件特征描述子，包括实施例8所示的步骤806-809，其中步骤701-702、706-707所执行的操作与步骤801-802、810-811所执行的操作相同，在此不再赘述。
步骤803、根据任一层中每个事件在预置方向上到最近事件的欧式距离以及该每个事件分别对应的属性，分别确定任一层中每个事件在8方向中的各个方向上对应的距离图。
其中，每个事件对应的属性包括：非事件、负极性事件以及正极性事件。
对于本发明实施例，DVS相机产生的图像具有一定的特点：事件通常出现在场景中物体的轮廓周围，反应了对象的结构信息。在本发明实施例中，通过计算每个事件到给定方向上其他事件的距离来描述当前事件的特征。
具体的，确定任一层中每个事件在8方向中的各个方向上对应的距离图，如图3所示。
对于本发明实施例，通过公式确定尺度为s的层中每个事件在8方向中各个方向上对应的距离图。
其中，为尺度s的层中事件(u，v)在r方向上到最近事件的欧氏距离，表征在非事件、负极性事件以及正极性事件处分别等于0、1、2。
步骤804、针对任一层中每个事件，确定邻域中每个DVS事件到当前事件的方向和欧式距离，以及当前事件的邻域中的DVS事件的个数。
其中，当前事件为当前正在处理的事件。
步骤805、根据确定出的方向、欧式距离和DVS事件的个数，确定当前事件运动的主方向。
对于本发明实施例，根据公式
，确定当前事件运动的主方向。
其中，Neighbor(p)为事件p的领域，|Neighbor(p)|为事件p的领域内包含事件的个数，Δu(p,q)、Δv(p,q)、Δt(p,q)分别为事件p以及q分别在u，v和t方向上的欧式距离。
对于本发明实施例，可以将领域在u，v和t方向上的大小分别设为80像素，80像素，5帧获得特征描述子的最佳旋转不变性。
步骤806、对当前DVS事件图中的每个事件在视觉金字塔任一尺度的DVS事件图层中8方向的各个方向上对应的距离图进行事件采样，并确定各个采样事件的位置。
对于本发明实施例，对当前DVS事件图中的每个事件在视觉金字塔任一尺度的DVS事件图层中8方向的各个方向上对应的距离图进行事件采样，并确定各个采样事件的位置，其中，采样事件的位置记为
其中，s表示DVS事件图层的尺度，r表示采样事件所对应的距离图的方向。
步骤807、以各个采样事件为中心，将预置像素大小的图像块进行旋转并对齐至该层尺度该方向中该采样事件DVS事件图中所有DVS事件运动的主方向上，得到各层在各个方向上的图像块。
对于本发明实施例，在每个方向对应的距离图中，将以为中心，21像素大小的图像块进行旋转并对齐到/>上。
步骤808、将预置宽度的高斯核分别对图像块进行卷积，得到在各层各个方向上的一维特征向量。
对于本发明实施例，可以宽度为21的高斯核对旋转后的图像块进行卷积操作，并对得到的图像块进行优先操作得到一维特征向量，记为
步骤809、根据一维特征向量，提取DVS事件特征描述子。
对于本发明实施例，将各层各个方向上的一维特征向量罗列起来组成事件p最终的特征描述子。
其中，事件p最终的特征描述子为
实施例9
本发明实施例的另一种可能的实现方式，实施例3所示的基础上，步骤303、针对任一目DVS事件图序列中的任一DVS事件图，根据DVS事件特征描述子，确定每一事件分别对应的深度值，包括实施例9所示的步骤903-905，其中步骤301-302、304-305所示的操作与步骤901-902、906-907所执行的操作相似，在此不再赘述。
步骤903、针对任一目DVS事件图序列中的任一DVS事件图中的每一事件，根据以当前事件为中心，预置像素大小的图像块中的任一事件的DVS事件特征描述子，确定任一事件在当前时刻的双目DVS事件图的特征匹配代价。
其中，预置像素大小的图像块可以为10像素大小的图像块。
步骤904、根据确定出的特征匹配代价，确定当前事件的视差。
对于本发明实施例，若当前事件为左目DVS事件图中的事件，则根据公式计算当前事件的特征匹配代价。
其中，W表示以左目DVS事件图中以事件p为中心，预置像素大小的图像块，FL(q)表示左目事件图中事件q＝(uq,vq)对应的尺度和/或旋转不变的DVS事件特征描述子，FR(qd)表示右目DVS事件图中事件qd＝(uq-d,vq)对应的尺度和/或旋转不变的特征描述子，或者，
若当前事件为右目DVS事件图中的事件，则根据公式计算当前事件的特征匹配代价。
其中，W表示以右目DVS事件图中以事件p为中心，预置像素大小的图像块，FR(q)表示右目事件图中事件q＝(uq,vq)对应的尺度和/或旋转不变的DVS事件特征描述子，FL(qd)表示左目DVS事件图中事件qd＝(uq-d,vq)对应的尺度和/或旋转不变的特征描述子，
对于本发明实施例，根据公式确定当前事件对应的视差值。
其中，当1≤d≤90时，的最小值作为当前事件对应的视差值，W表示左目事件图中以p为中心，预置像素大小的图像块。例如，/>可以为/>
其中，预置大小的图像块为10像素大小的图像块。
步骤905、根据当前事件的视差，确定当前事件对应的深度值。
对于本发明实施例，若当前事件为左目DVS事件图中的事件，则根据公式确定当前事件对应的深度值。
其中，Depth(p)为当前事件对应的深度值，Baseline为左右两目DVS之间的基线距离，为左目DVS在u方向的焦距，这两个值均通过事先标定得到。
对于本发明实施例，若当前事件为右目DVS事件图中的事件，则根据公式确定当前事件对应的深度值。
其中，Depth(p)为当前事件对应的深度值，Baseline为左右两目DVS之间的基线距离，为右目DVS在u方向的焦距，这两个值均通过事先标定得到。
实施例10
本发明实施例的另一种可能的实现方式，在实施例3所示的基础上，步骤304、针对任一目DVS事件图序列中的任一DVS事件图，根据每一事件分别对应的深度值、提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿，包括实施例10所示的步骤1004-1006，其中步骤301-303、305所执行的操作与步骤1001-1003、1007所执行的操作相似，在此不再赘述。
步骤1004、根据提取的DVS事件特征描述子，建立不同时刻DVS事件图之间的对应关系。
对于本发明实施例，根据提取的DVS事件特征描述子，建立左目DVS相机或者右目DVS相机在不同时刻事件图之间的对应关系。
步骤1005、根据不同时刻DVS事件图之间的对应关系，以及每一DVS事件分别对应的深度值，确定不同时刻DVS事件图之间的三维空间相对运动矩阵。
步骤1006、根据不同时刻DVS事件图之间的三维空间相对运动矩阵，以及上个时刻对应的DVS事件图的三维空间位姿，确定当前时刻DVS事件图的三维空间位姿。
其中，上个时刻对应的DVS事件图的三维空间位姿为预先获取的。
实施例11
本发明实施例的另一种可能的实现方式，在实施例5所示的基础上，步骤506、调整当前时刻DVS事件图的三维空间位姿，以使得DVS事件图在匹配过程中产生的累积误差小于预置值，包括实施例11所示的步骤1106-1111，其中步骤501-505、507所执行的操作与步骤1101-1105、1112所执行的操作相似，在此不再赘述。
步骤1106、创建关键帧图。
其中，关键帧图中每个关键帧分别表征不同时刻的DVS事件图。
对于本发明实施例，可以针对当前场景构建了一个关键帧图，该关键帧图中第i个关键帧由ξi表示，代表了某一时刻的DVS事件图。
步骤1107、确定当前时刻DVS事件图中每个事件与关键帧图的关键帧中每个事件之间的对应关系。
对于本发明实施例，该关键帧图的第一个节点被初始化为左目DVS事件序列的第一个事件图或者右目DVS事件序列的第一个事件图。在本发明实施例中，左目DVS事件图或者右目DVS事件图的三维位姿被初始化为坐标系原点，当输入新DVS事件图时，在已提取DVS事件特征描述子的基础上，首先以暴力搜索的方式建立新DVS事件图和关键帧图中最后一个关键帧之间的DVS事件对应关系。
步骤1108、从当前时刻DVS事件图中每个事件与关键帧图的关键帧中每个事件之间的对应关系中随机选取预置个数的DVS事件对。
对于本发明实施例，预置个数的DVS事件对可以为3个DVS事件对。
步骤1109、根据预置运动模型，计算DVS事件对中两个DVS事件图之间的相对运动，并确定符合相对运动的DVS事件对。
对于本发明实施例，利用随机抽样一致性算法(英文全称：Random sampleconsensus，英文缩写：RANSAC)从上述当前DVS事件图中每个事件与关键帧图之间DVS事件图中每个事件的对应关系中，选取符合6自由度相对运动模型且数量尽可能多的子样本集。
步骤1110、当符合相对运动的DVS事件对的个数大于预置阈值时，计算当前时刻DVS事件图与关键帧图之间的三维空间相对运动矩阵。
对于本发明实施例，预置阈值可以为60、70、80。在本发明实施例中不做限定。
对于本发明实施例，当符合预置运动模型的DVS事件对大于预置阈值时，对找到的事件对用最小二乘法计算出当前时刻DVS事件图与关键帧图之间的三维空间相对运动矩阵。
步骤1111、根据计算出的三维空间相对运动矩阵，调整当前时刻DVS事件图以及关键帧图中关键帧的三维空间位姿，以使得DVS事件图在匹配过程中所产生的累积误差小于预置值。
对于本发明实施例，在算出相对运动信息的基础上，通过以下两个条件来判断当前时刻DVS事件图是否应当被加入到关键帧图中。其中所述两个条件包括：
(1)该事件图中事件的数量超过500；
(2)该事件图到关键帧图中最后一个关键帧之间的距离超过10mm。
对于本发明实施例，当一个新的关键帧被加入到关键帧图中时，该关键帧图需要同时加入两条边，一条边连接最新的和倒数第二新的关键帧，另一条边连接最新的关键帧和之前随机选取的一个关键帧，通过优化以下公式来对关键帧图中所有节点的三维空间位姿进行捆绑调整，目的是保持DVS事件图三维空间位姿的全局一致性并降低DVS事件图匹配过程中产生的累积误差。
具体地，根据公式调整DVS事件图在当前时刻的三维空间位姿，以使得DVS事件图在匹配过程中产生的累积误差小于预置值。
其中，N表示关键帧图中的节点数量，E表示关键帧图中的边组成的集合，‖.‖h为胡伯范数，e(ξi,ξj)＝Ti*Tij*(Tj)-1，e(ξi,ξj)为第i，j个关键帧的三维空间位姿和他们之间相对运动的不一致所产生的误差，Ti为i时刻DVS事件图的三维空间位姿，Tj为j时刻DVS事件图的三维空间位姿，Tij为i时刻DVS事件图与j时刻DVS事件图之间的三维空间相对运动矩阵。
对于本发明实施例，上述DVS事件图在匹配过程中产生的累积误差小于预置值中的预置值可以为0.01、0.001。在本发明实施例中不做限定。
实施例12
本发明实施例的另一种可能的实现方式，在实施例11所示的基础上，步骤1112、根据调整后的各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列，包括实施例12所示的步骤1212，其中，步骤1101-1111所执行的操作与步骤1201-1211所执行的操作相似，在此不再赘述。
步骤1212、将关键帧图中，所有关键帧上的每个DVS事件投影至当前时刻DVS事件图，生成具备时域一致性的DVS事件图序列。
对于本发明实施例，通过将关键帧图中的所有关键帧上的事件投影至当前时刻的DVS事件图中，进行聚合，以生成时域一致性的DVS事件图。
实施例13
本发明实施例的另一种可能的实现方式，在实施例12所示的基础上，步骤1212、将关键帧图中，所有关键帧上的每个DVS事件投影至当前时刻DVS事件图，生成具备时域一致性的DVS事件图序列，包括实施例13所示的步骤1312，其中步骤1201-1211所执行的操作与步骤1301-1311所执行的操作相似，在此不再赘述。
步骤1312、根据关键帧中每个事件按照当前时刻DVS事件图的三维空间位姿以及关键帧的三维空间位姿、DVS敏感器在水平以及垂直方向上的焦距和光心，将所有关键帧上的每个DVS事件投影至当前时刻DVS事件图，生成具有时域一致性的DVS事件图序列。
对于本发明实施例，以关键帧图中的第i个关键帧为例，其中，若事件(u,v,d)为左目DVS事件图中的事件，事件(u,v,d)投影到当前事件图中的过程可用以下公式来表示：
ω＝((u,v,d),Ti,Tc)＝π-1(Tc*(Ti)-1*π(u,v,d))＝(uc,vc,dc)。
其中，
(uc,vc,dc)为事件(u，v，d)投影到当前时刻事件图上的二维坐标以及深度值，Tc以及Ti分别为DVS事件图在当前时刻的三维空间位姿以及第i个关键帧的三维空间位姿，和/>分别代表左目DVS敏感器在水平以及垂直方向上的焦距，/>和/>分别代表左目DVS敏感器在水平以及垂直方向上的光心，这四个值均通过预先设置。
对于本发明实施例，生成具有时域一致性的DVS事件图序列可以如图4所示。
对于本发明实施例，以关键帧图中的第i个关键帧为例，其中，若事件(u,v,d)为右目DVS事件图中的事件，事件(u,v,d)投影到当前事件图中的过程可用以下公式来表示：
ω＝((u,v,d),Ti,Tc)＝π-1(Tc*(Ti)-1*π(u,v,d))＝(uc,vc,dc)。
其中，
(uc,vc,dc)为事件(u，v，d)投影到当前时刻事件图上的二维坐标以及深度值，Tc以及Ti分别为DVS事件图在当前时刻的三维空间位姿以及第i个关键帧的三维空间位姿，和/>分别代表右目DVS敏感器在水平以及垂直方向上的焦距，/>和/>分别代表右目DVS敏感器在水平以及垂直方向上的光心，这四个值均通过预先设置。
实施例14
本发明实施例的另一种可能的实现方式，在实施例13所示的基础上，步骤1312、根据关键帧中每个事件按照当前时刻DVS事件图的三维空间位姿以及关键帧的三维空间位姿、DVS敏感器在水平以及垂直方向上的焦距和光心，将所有关键帧上的每个DVS事件投影至当前时刻DVS事件图，生成具有时域一致性的DVS事件图序列，之前还包括实施例14所示的步骤1412，其中步骤1301-1312所执行的操作与步骤1401-1411、1413所执行的操作相似，在此不再赘述。
步骤1412、预先标定DVS敏感器在水平以及垂直方向上的焦距和光心的数值。
本发明实施例提供了一种动态视觉传感器DVS事件处理的装置，如图5所示，该装置包括：获取模块1501、提取模块1502、确定模块1503、生成模块1504，其中，
获取模块1501，用于获取DVS事件图序列。
提取模块1502，用于针对DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子。
其中，DVS事件特征描述子具有尺度不变特性和/或旋转不变特性。
确定模块1503，用于根据提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿。
生成模块1504，用于根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列。
本发明实施例提供了一种动态视觉传感器DVS事件处理的装置，与现有的DVS相机的成像质量相比，本发明实施例通过获取DVS事件图序列，能够提取从任一DVS事件图中提取到具有尺度不变特性和/或旋转不变特性的DVS事件特征描述子，并能够确定当前时刻DVS事件图的三维空间位姿，并生成具备时域一致性的DVS事件图序列，即能够提取到具备尺度不变特性和/或旋转不变特性的DVS事件特征描述子，并能够对不同时刻的DVS事件图之间的对应关系进行有效估计，从而可以确保生成事件图的时域一致性，进而可以在对进行后续的姿态识别处理或三维重建处理，提高处理结果的精确度，并且使处理结果具备鲁棒性。
本发明实施例提供的动态视觉传感器DVS事件处理的装置可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。本发明实施例提供的动态视觉传感器DVS事件处理的装置及装置可以适用于将DVS事件图生成为时域一致性的DVS事件图，但不仅限于此。
本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (22)

1.一种动态视觉传感器DVS事件处理的方法，其特征在于，所述方法包括：
获取目标DVS事件图序列，其中，所述目标DVS事件图序列包括目标DVS事件图，所述目标DVS事件图序列包括第一DVS事件图序列和第二DVS事件图序列中的至少一种，所述目标DVS事件图包括第一DVS事件图和第二DVS事件图中的至少一种，所述第二DVS事件图序列由双目DVS捕捉获得；
从所述目标DVS事件图中提取目标DVS事件特征描述子，所述目标DVS事件特征描述子具有尺度不变特性和/或旋转不变特性；
根据所述目标DVS事件特征描述子，将当前时刻的目标DVS事件图和目标DVS事件图序列中的关键帧进行匹配，根据匹配结果确定当前时刻的目标DVS事件图的三维空间位姿；
调整当前时刻的目标DVS事件图的三维空间位姿，以使得目标DVS事件图在匹配过程中产生的累积误差小于预置值；
根据调整后的目标DVS事件图的三维空间位姿，生成具备时域一致性的目标DVS事件图序列，用于生成视频图像。
2.根据权利要求1所述的方法，其特征在于，还包括：
根据目标DVS事件图的目标DVS事件特征描述子，确定对应于事件的深度值；
其中，根据所述目标DVS事件特征描述子，将当前时刻的目标DVS事件图和目标DVS事件图序列中的关键帧进行匹配，根据匹配结果确定当前时刻的目标DVS事件图的三维空间位姿的步骤，包括：
根据所述对应于事件的深度值、所述目标DVS事件特征描述子，将当前时刻的目标DVS事件图和目标DVS事件图序列中的关键帧进行匹配；
根据匹配结果确定当前时刻的目标DVS事件图的三维空间位姿。
3.根据权利要求1或2所述的方法，其特征在于，从目标DVS事件图中提取目标DVS事件特征描述子，包括：
为所述目标DVS事件图创建视觉金字塔，所述视觉金字塔的层数为第一预设值，所述视觉金字塔的任意相邻两层之间的下采样系数为目标预设值；
根据所述视觉金字塔，获取尺度不变的目标DVS事件特征描述子。
4.根据权利要求3所述的方法，其特征在于，所述根据所述视觉金字塔，获取尺度不变的目标DVS事件特征描述子的步骤，包括：
分别确定所述视觉金字塔的任一层中每个事件在8方向中的各个方向上对应的距离图；
根据所述任一层中每个事件在8方向中的各个方向上对应的距离图，确定该层中每个事件运动的主方向；
根据所述任一层中每个事件在8方向中的各个方向上对应的距离图，以及该层中每个事件运动的主方向，提取目标DVS事件特征描述子。
5.根据权利要求4所述的方法，其特征在于，所述分别确定所述视觉金字塔的任一层中每个事件在8方向中的各个方向上对应的距离图的步骤，包括：
根据所述任一层中每个事件在预置方向上到最近事件的欧式距离以及该每个事件对应的属性，分别确定所述任一层中每个事件在8方向中的各个方向上对应的距离图；
其中，所述每个事件对应的属性包括：非事件、负极性事件以及正极性事件；
其中，根据所述任一层中每个事件在8方向中的各个方向上对应的距离图，确定该层中每个事件运动的主方向的步骤，包括：
针对所述任一层中每个事件，确定邻域中每个DVS事件到当前事件的方向和欧式距离，以及当前事件的邻域中的DVS事件的个数；
根据确定出的方向、欧式距离和DVS事件的个数，确定当前事件运动的主方向；
其中，根据所述任一层中每个事件在8方向中的各个方向上对应的距离图，以及该层中每个事件运动的主方向，提取目标DVS事件特征描述子的步骤，包括：
对当前DVS事件图中的每个事件在所述视觉金字塔任一层中8方向的各个方向上对应的距离图进行事件采样，确定各个采样事件的位置；
以各个采样事件为中心，将预置像素大小的图像块进行旋转并对齐至该层该方向中该采样事件的主方向上，得到各层各个方向上的图像块；
将预置宽度的高斯核分别对所述图像块进行卷积，得到在各层各个方向上的一维特征向量；
根据所述一维特征向量，提取所述目标DVS事件特征描述子。
6.根据权利要求2所述的方法，其特征在于，根据所述目标DVS事件特征描述子，确定对应于事件的深度值的步骤，包括：
针对目标DVS事件图，根据以当前事件为中心，预置像素大小的图像块中的多个事件的目标DVS事件特征描述子，确定所述当前事件在当前时刻的双目DVS事件图的特征匹配代价；
根据确定出的特征匹配代价，确定所述当前事件的视差；
根据所述当前事件的视差，确定所述当前事件对应的深度值。
7.根据权利要求1所述的方法，其特征在于，所述调整当前时刻的目标DVS事件图的三维空间位姿，以使得DVS事件图在匹配过程中产生的累积误差小于预置值的步骤，包括：
创建关键帧图，其中所述关键帧图中多个关键帧分别表征不同时刻的DVS事件图；
确定当前时刻的目标DVS事件图中的事件与所述关键帧图的多个关键帧中的目标关键帧中的关键事件之间的对应关系；
从当前时刻的目标DVS事件图中的事件与所述关键帧图的多个关键帧中的目标关键帧的关键事件之间的对应关系中随机选取预置个数的DVS事件对；
根据预置运动模型，计算所述DVS事件对中两个DVS事件图之间的相对运动，并确定符合所述相对运动的DVS事件对，以确定所述符合相对运动的DVS事件对的个数；
当符合所述相对运动的DVS事件对的个数大于预置阈值时，计算所述当前时刻的目标DVS事件图与所述关键帧图之间的三维空间相对运动矩阵；
根据计算出的所述三维空间相对运动矩阵，调整所述当前时刻的目标DVS事件图的三维空间位姿以及所述关键帧图中多个关键帧的目标关键帧的关键三维空间位姿，以使得DVS事件图在匹配过程中所产生的累积误差小于预置值。
8.根据权利要求7所述的方法，其特征在于，所述根据所述调整后的目标DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列的步骤，包括：
将所述关键帧图中，所有关键帧上的每个DVS事件投影至当前时刻的目标DVS事件图，生成具备时域一致性的目标DVS事件图序列。
9.根据权利要求8所述的方法，其特征在于，所述将所述关键帧图中，所有关键帧上的每个DVS事件投影至当前时刻的目标DVS事件图，生成具备时域一致性的DVS事件图序列的步骤，包括：
根据所述关键帧中每个事件按照当前时刻的目标DVS事件图的三维空间位姿以及所述关键帧的三维空间位姿、DVS在水平以及垂直方向上的焦距和光心，将所有关键帧上的每个DVS事件投影至当前时刻的目标DVS事件图，生成具有时域一致性的目标DVS事件图序列。
10.根据权利要求9所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述将所有关键帧上的每个DVS事件投影至当前时刻的目标DVS事件图，生成具有时域一致性的目标DVS事件图序列的步骤之前，还包括：
预先标定DVS在水平以及垂直方向上的焦距和光心的数值。
11.一种动态视觉传感器DVS事件处理的装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标DVS事件图序列，其中，所述目标DVS事件图序列包括目标DVS事件图，所述目标DVS事件图序列包括第一DVS事件图序列和第二DVS事件图序列中的至少一种，所述目标DVS事件图包括第一DVS事件图和第二DVS事件图中的至少一种，所述第二DVS事件图序列由双目DVS捕捉获得；
第一提取模块，用于从所述目标DVS事件图中提取第一DVS事件特征描述子，所述目标DVS事件特征描述子具有尺度不变特性和/或旋转不变特性；
第一确定模块，用于根据所述目标DVS事件特征描述子，将当前时刻的目标DVS事件图和目标DVS事件图序列中的关键帧进行匹配，根据匹配结果确定当前时刻的目标DVS事件图的三维空间位姿；
生成模块，用于调整当前时刻的目标DVS事件图的三维空间位姿，以使得目标DVS事件图在匹配过程中产生的累积误差小于预置值；根据调整后的目标DVS事件图的三维空间位姿，生成具备时域一致性的目标DVS事件图序列，用于生成视频图像。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：第二确定模块，其中，
所述第二确定模块，用于根据目标DVS事件特征描述子，确定对应于事件的深度值；
其中，目标确定模块在根据所述目标DVS事件特征描述子，将当前时刻的目标DVS事件图和目标DVS事件图序列中的关键帧进行匹配，根据匹配结果确定当前时刻的目标DVS事件图的三维空间位姿时，具体用于：
根据所述对应于事件的深度值、所述目标DVS事件特征描述子，将当前时刻的目标DVS事件图和目标DVS事件图序列中的关键帧进行匹配；
根据匹配结果确定当前时刻的目标DVS事件图的三维空间位姿。
13.根据权利要求11或12所述的装置，其特征在于，所述第一提取模块在从所述目标DVS事件图中提取目标DVS事件特征描述子时，具体用于：
为所述目标DVS事件图创建视觉金字塔，所述视觉金字塔的层数为第一预设值，所述视觉金字塔的任意相邻两层之间的下采样系数为目标预设值；
根据所述视觉金字塔，获取尺度不变的目标DVS事件特征描述子。
14.根据权利要求13所述的装置，其特征在于，所述第一提取模块在根据所述视觉金字塔，获取尺度不变的目标DVS事件特征描述子时，具体用于：
分别确定所述视觉金字塔的任一层中每个事件在8方向中的各个方向上对应的距离图；
根据所述任一层中每个事件在8方向中的各个方向上对应的距离图，确定该层中每个事件运动的主方向；
根据所述任一层中每个事件在8方向中的各个方向上对应的距离图，以及该层中每个事件运动的主方向，提取目标DVS事件特征描述子。
15.根据权利要求14所述的装置，其特征在于，所述第一提取模块或第二提取模块在分别确定所述视觉金字塔的任一层中每个事件在8方向中的各个方向上对应的距离图时，具体用于：
根据所述任一层中每个事件在预置方向上到最近事件的欧式距离以及该每个事件对应的属性，分别确定所述任一层中每个事件在8方向中的各个方向上对应的距离图；
其中，所述每个事件对应的属性包括：非事件、负极性事件以及正极性事件；
其中，所述第一提取模块或第二提取模块在根据所述任一层中每个事件在8方向中的各个方向上对应的距离图，确定该层中每个事件运动的主方向时，具体用于：
针对所述任一层中每个事件，确定邻域中每个DVS事件到当前事件的方向和欧式距离，以及当前事件的邻域中的DVS事件的个数；
根据确定出的方向、欧式距离和DVS事件的个数，确定当前事件运动的主方向；
其中，所述第一提取模块或第二提取模块在根据所述任一层中每个事件在8方向中的各个方向上对应的距离图，以及该层中每个事件运动的主方向，提取目标DVS事件特征描述子时，具体用于：
对当前DVS事件图中的每个事件在所述视觉金字塔任一层中8方向的各个方向上对应的距离图进行事件采样，确定各个采样事件的位置；
以各个采样事件为中心，将预置像素大小的图像块进行旋转并对齐至该层该方向中该采样事件的主方向上，得到各层各个方向上的图像块；
将预置宽度的高斯核分别对所述图像块进行卷积，得到在各层各个方向上的一维特征向量；
根据所述一维特征向量，提取所述目标DVS事件特征描述子。
16.根据权利要求12所述的装置，其特征在于，所述第二确定模块在根据所述目标DVS事件特征描述子，确定对应于事件的深度值时，具体用于：
针对目标DVS事件图，根据以当前事件为中心，预置像素大小的图像块中的多个事件的目标DVS事件特征描述子，确定所述当前事件在当前时刻的双目DVS事件图的特征匹配代价；
根据确定出的特征匹配代价，确定所述当前事件的视差；
根据所述当前事件的视差，确定所述当前事件对应的深度值。
17.根据权利要求11所述的装置，其特征在于，调整模块在调整当前时刻的目标DVS事件图的三维空间位姿，以使得DVS事件图在匹配过程中产生的累积误差小于预置值时，具体用于：
创建关键帧图，其中所述关键帧图中多个关键帧分别表征不同时刻的DVS事件图；
确定当前时刻的目标DVS事件图中的事件与所述关键帧图的多个关键帧中的目标关键帧中的关键事件之间的对应关系；
从当前时刻的目标DVS事件图中的事件与所述关键帧图的多个关键帧中的目标关键帧的关键事件之间的对应关系中随机选取预置个数的DVS事件对；
根据预置运动模型，计算所述DVS事件对中两个DVS事件图之间的相对运动，并确定符合所述相对运动的DVS事件对，以确定所述符合相对运动的DVS事件对的个数；
当符合所述相对运动的DVS事件对的个数大于预置阈值时，计算所述当前时刻的目标DVS事件图与所述关键帧图之间的三维空间相对运动矩阵；
根据计算出的所述三维空间相对运动矩阵，调整所述当前时刻的目标DVS事件图的三维空间位姿以及所述关键帧图中多个关键帧的目标关键帧的关键三维空间位姿，以使得DVS事件图在匹配过程中所产生的累积误差小于预置值。
18.根据权利要求11所述的装置，其特征在于，所述生成模块在根据所述调整后的目标DVS事件图的三维空间位姿，生成具备时域一致性的目标DVS事件图序列时，具体用于：
将所述关键帧图中，所有关键帧上的每个DVS事件投影至当前时刻的目标DVS事件图，生成具备时域一致性的目标DVS事件图序列。
19.根据权利要求18所述的装置，其特征在于，所述生成模块在将所述关键帧图中，所有关键帧上的每个DVS事件投影至当前时刻的目标DVS事件图，生成具备时域一致性的目标DVS事件图序列时，具体用于：
根据所述关键帧中每个事件按照当前时刻的目标DVS事件图的三维空间位姿以及所述关键帧的三维空间位姿、DVS在水平以及垂直方向上的焦距和光心，将所有关键帧上的每个DVS事件投影至当前时刻的目标DVS事件图，生成具有时域一致性的目标DVS事件图序列。
20.根据权利要求19所述的装置，其特征在于，所述装置还包括：标定模块，其中，
所述标定模块，用于预先标定DVS在水平以及垂直方向上的焦距和光心的数值。
21.一种电子设备，其特征在于，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1～10任一项所述的动态视觉传感器DVS事件处理的方法。
22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～10任一项所述的动态视觉传感器DVS事件处理的方法。
CN201611001931.9A 2016-11-14 2016-11-14 动态视觉传感器dvs事件处理的方法及装置 Active CN108073857B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201611001931.9A CN108073857B (zh) 2016-11-14 2016-11-14 动态视觉传感器dvs事件处理的方法及装置
US15/811,200 US10445924B2 (en) 2016-11-14 2017-11-13 Method and device for processing DVS events
KR1020170151314A KR20180054487A (ko) 2016-11-14 2017-11-14 Dvs 이벤트 처리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611001931.9A CN108073857B (zh) 2016-11-14 2016-11-14 动态视觉传感器dvs事件处理的方法及装置

Publications (2)

Publication Number Publication Date
CN108073857A CN108073857A (zh) 2018-05-25
CN108073857B true CN108073857B (zh) 2024-02-27

Family

ID=62108658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611001931.9A Active CN108073857B (zh) 2016-11-14 2016-11-14 动态视觉传感器dvs事件处理的方法及装置

Country Status (3)

Country Link
US (1) US10445924B2 (zh)
KR (1) KR20180054487A (zh)
CN (1) CN108073857B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10257456B2 (en) * 2017-09-07 2019-04-09 Samsung Electronics Co., Ltd. Hardware friendly virtual frame buffer
US10795435B2 (en) * 2018-07-19 2020-10-06 Samsung Electronics Co., Ltd. System and method for hybrid eye tracker
CN109559823B (zh) * 2018-11-29 2021-07-16 四川大学 一种利于进行精子活性分析的dvs数据处理方法
EP3693698A1 (de) * 2019-02-05 2020-08-12 Leica Geosystems AG Vermessungsgerät mit ereignisbasierter kamera
CN112084826A (zh) 2019-06-14 2020-12-15 北京三星通信技术研究有限公司 图像处理方法、图像处理设备以及监控系统
CN111462268B (zh) * 2020-03-31 2022-11-11 北京市商汤科技开发有限公司 图像重建方法及装置、电子设备和存储介质
US11871156B2 (en) 2020-04-02 2024-01-09 Samsung Electronics Co., Ltd. Dynamic vision filtering for event detection
CN112053290A (zh) * 2020-07-20 2020-12-08 清华大学 基于卷积去噪自编码器的无监督事件相机去噪方法及装置
CN112153301B (zh) * 2020-09-27 2021-07-27 维沃移动通信有限公司 拍摄方法和电子设备
CN112809679B (zh) * 2021-01-25 2023-04-07 清华大学深圳国际研究生院 可形变物体抓取的方法、装置及计算机可读存储介质
CN113159217B (zh) * 2021-05-12 2023-08-01 深圳龙岗智能视听研究院 一种基于事件相机的注意力机制目标检测的方法
KR20220164354A (ko) 2021-06-04 2022-12-13 삼성전자주식회사 비전 센서 및 비전 센서의 동작 방법
CN113903051B (zh) * 2021-07-23 2022-12-27 南方科技大学 一种基于dvs相机数据的人体姿态检测方法及终端设备
US11995226B2 (en) 2022-06-10 2024-05-28 Sony Interactive Entertainment Inc. Dynamic vision sensor tracking based on light source occlusion
US20230398434A1 (en) * 2022-06-10 2023-12-14 Sony Interactive Entertainment Inc. Deployment of dynamic vision sensor hybrid element in method for tracking a controller and simultaneous body tracking, slam or safety shutter

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813156A (zh) * 2012-11-02 2014-05-21 三星电子株式会社 运动传感器阵列装置和深度感测系统及使用其的方法
US9489735B1 (en) * 2015-09-17 2016-11-08 Qualcomm Incorporated Multiplexed temporal calibration for event-based cameras

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100696725B1 (ko) 2005-08-30 2007-03-20 경북대학교 산학협력단 객체의 대칭성과 거리 벡터를 사용한 그림자 제거방법
ATE470912T1 (de) 2006-04-28 2010-06-15 Toyota Motor Europ Nv Robuster detektor und deskriptor für einen interessenspunkt
US8781162B2 (en) 2011-01-05 2014-07-15 Ailive Inc. Method and system for head tracking and pose estimation
KR101622110B1 (ko) 2009-08-11 2016-05-18 삼성전자 주식회사 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법
US8600166B2 (en) 2009-11-06 2013-12-03 Sony Corporation Real time hand tracking, pose classification and interface control
EP2502184A4 (en) 2009-11-19 2017-03-22 Nokia Corporation Method and apparatus for tracking and recognition with rotation invariant feature descriptors
KR101064224B1 (ko) 2009-12-30 2011-09-14 성균관대학교산학협력단 인식과 추적의 결합을 통한 물체의 포즈 실시간 추정 방법
KR101234046B1 (ko) 2011-11-11 2013-02-15 재단법인대구경북과학기술원 객체 내부의 특징점을 이용한 객체 추적 방법 및 장치
KR101700276B1 (ko) 2011-11-24 2017-01-31 에스케이플래닛 주식회사 특징점 설정 장치 및 방법과 이를 이용한 객체 추적 장치 및 방법
EP2995079A4 (en) * 2013-05-10 2017-08-23 Robert Bosch GmbH System and method for object and event identification using multiple cameras
US9904852B2 (en) 2013-05-23 2018-02-27 Sri International Real-time object detection, tracking and occlusion reasoning
KR101582983B1 (ko) 2014-06-09 2016-01-06 재단법인대구경북과학기술원 크기 불변 특징 벡터를 이용한 고속 객체 검출 장치 및 방법
US9883122B2 (en) * 2014-09-16 2018-01-30 Qualcomm Incorporated Event-based down sampling
CN105989367B (zh) 2015-02-04 2019-06-28 阿里巴巴集团控股有限公司 目标获取方法及设备
US10260862B2 (en) * 2015-11-02 2019-04-16 Mitsubishi Electric Research Laboratories, Inc. Pose estimation using sensors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813156A (zh) * 2012-11-02 2014-05-21 三星电子株式会社 运动传感器阵列装置和深度感测系统及使用其的方法
US9489735B1 (en) * 2015-09-17 2016-11-08 Qualcomm Incorporated Multiplexed temporal calibration for event-based cameras

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双目立体视觉三维重建系统的研究与设计;于勇等;《计算机技术与发展》;20090610(第06期);全文 *

Also Published As

Publication number Publication date
US20180137673A1 (en) 2018-05-17
KR20180054487A (ko) 2018-05-24
CN108073857A (zh) 2018-05-25
US10445924B2 (en) 2019-10-15

Similar Documents

Publication Publication Date Title
CN108073857B (zh) 动态视觉传感器dvs事件处理的方法及装置
US10628949B2 (en) Image processing with iterative closest point (ICP) technique
WO2018068678A1 (zh) 一种立体摄像机外部参数的确定方法及装置
WO2020014909A1 (zh) 拍摄方法、装置和无人机
CN106960454B (zh) 景深避障方法、设备及无人飞行器
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
CN109961417B (zh) 图像处理方法、装置及移动装置控制方法
CN109376641B (zh) 一种基于无人机航拍视频的运动车辆检测方法
WO2015108996A1 (en) Object tracking using occluding contours
CN110243390B (zh) 位姿的确定方法、装置及里程计
CN110211169B (zh) 基于多尺度超像素和相位相关的窄基线视差的重构方法
CN104506775A (zh) 基于立体视觉匹配的图像采集抖动消除方法及装置
CN111397541A (zh) 排土场的边坡角测量方法、装置、终端及介质
CN111739071B (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
CN111553845A (zh) 一种基于优化的三维重建的快速图像拼接方法
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN114429191A (zh) 基于深度学习的电子防抖方法、系统及存储介质
KR101921608B1 (ko) 깊이 정보 생성 장치 및 방법
CN111829522B (zh) 即时定位与地图构建方法、计算机设备以及装置
KR101598399B1 (ko) 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템
WO2023098737A1 (zh) 三维重建方法、电子设备和计算机可读存储介质
CN108335329B (zh) 应用于飞行器中的位置检测方法和装置、飞行器
KR20170115757A (ko) 깊이 정보 생성 장치 및 방법
CN108062741B (zh) 双目图像处理方法、成像装置和电子设备
Bai Overview of image mosaic technology by computer vision and digital image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant