CN112131991A - 一种基于事件相机的数据关联方法 - Google Patents

一种基于事件相机的数据关联方法 Download PDF

Info

Publication number
CN112131991A
CN112131991A CN202010967054.0A CN202010967054A CN112131991A CN 112131991 A CN112131991 A CN 112131991A CN 202010967054 A CN202010967054 A CN 202010967054A CN 112131991 A CN112131991 A CN 112131991A
Authority
CN
China
Prior art keywords
model hypothesis
model
hypothesis
event
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010967054.0A
Other languages
English (en)
Other versions
CN112131991B (zh
Inventor
王菡子
陈昊升
林舒源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202010967054.0A priority Critical patent/CN112131991B/zh
Publication of CN112131991A publication Critical patent/CN112131991A/zh
Application granted granted Critical
Publication of CN112131991B publication Critical patent/CN112131991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Abstract

一种基于事件相机的数据关联方法，涉及计算机视觉。将事件相机感应环境中物体运动生成的异步时空视觉事件序列聚合成视觉事件的集合；将时空三维空间在时间维度上切片，在最早和最晚的两个切片上穷举采样，生成对应的直线模型假设集合，选出代表性模型假设集合，对每一个模型假设生成模型假设的内点集合；对代表性模型假设集合内每一个模型假设，计算内点集合在时间轴上的离差，对每个代表性模型假设赋予相应的权重；根据内点集合投影在图像平面生成的视觉事件图像的对比度进一步加权；在权重的肘点处将代表性模型假设集合选择区分为正确和错误的模型假设，正确的模型假设对应场景内的所有物体的运动轨迹。可用于目标跟踪、运动分割等。

Description

一种基于事件相机的数据关联方法
技术领域
本发明涉及计算机视觉技术，尤其是涉及一种基于事件相机的数据关联方法。
背景技术
事件相机(Event Camera)是受生物视网膜运行机制启发发明，最近三年间在学术和工业界都得到广泛关注和快速发展的新型视觉传感器。它具有：(1)异步性：每个像素点可以单独被触发，不需要像传统相机一样同步曝光获取图像帧。取而代之的是事件相机仅在运动发生的像素上产生像素值指数级别变亮(On)和变暗(Off)的两种事件用于记载相关的运动物体信息。这种机制与生物的视网膜类似，所以事件相机也被称为硅视网膜；(2)非常低的响应延迟：事件相机具有非常低的响应延迟，它可以达到微秒(10-6秒)级别的时间精度。所以对于事件相机来说，它几乎不可能产生普通相机在高速移动过程中所产生的运动模糊问题；(3)高动态响应范围(HDR)：事件相机可以达到1000lux的动态范围，能够准确反映运动在高、低光照场景下造成的像素灰度值变化，基本不会受到场景的明暗条件影响。这些独特、优秀的特性可以有效弥补基于传统RGB相机的不足。但是由于事件相机的这些属性，它只能记录一个无序的异步时空视觉事件序列，而不是传统的同步视频图像帧。所以需要有效的数据关联方法把所记录序列中的异步时空视觉事件关联起来，用于之后的高层计算机视觉任务，尤其是物体运动分析相关的任务，比如：目标跟踪、运动分割等。
基于事件相机的计算机视觉方法研究虽然得到快速发展和广泛关注，但是由于相关研究的难度，到目前为止有价值的相关研究成果为数不多。这些研究成果基本来自国外的相关研究，国内暂时没有相关的研究出现。其中，基于事件相机的数据关联方法的相关研究因为其自身的难度，其发展仍在非常初期的阶段。该方向已知的研究包括：Alex ZihaoZhu等人(Zhu,Alex Zihao,Nikolay Atanasov,and Kostas Daniilidis.2017.Event-based feature tracking with probabilistic data association.In Proceedings ofIEEE International Conference on Robotics and Automation(ICRA),4465–4470.)针对事件相机提出一种基于概率模型的数据关联方法。Guillermo Gallego等人(Gallego,Guillermo,Henri Rebecq,and Davide Scaramuzza,2018,A unifying contrastmaximization framework for event cameras,with applications to motion,depth,and optical flow estimation.In Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition(CVPR),3867-3876)针对事件相机提出一种通用的基于最大化事件对比度的数据关联方法，并对其进行了改进优化。这些先驱研究都实验验证了基于事件相机的数据关联方法在物体运动相关如：目标跟踪、运动分割等任务上的优异性，同时也对更有效的基于事件相机的数据关联方法提出了期望。
发明内容
本发明的目的在于提出针对现有技术存在的上述不足，提供具有较高精度和鲁棒性，在快速运动和高动态范围场景下能够展现出较好效果的一种基于事件相机的数据关联方法。
本发明包括以下步骤：
A.将事件相机感应环境中物体运动所生成的异步时空视觉事件序列聚合成视觉事件的集合，集合中每一个视觉事件是其所在时空三维空间中的一个三维点；
B.将步骤A中的时空三维空间在时间维度上切片，每一个切片是一个三维子时空空间，包含步骤A中生成的三维点集合在对应切片时间区间的子点集；
C.在步骤B中时间维度上最早和最晚的两个切片上穷举地采样，生成对应的直线模型假设集合；
D.对步骤C生成的直线模型假设集合进行筛选，根据集合中模型假设之间的余弦相似度，去除冗余的模型假设，选出代表性模型假设集合；
E.对步骤D中的代表性模型假设集合内每一个模型假设，根据其与步骤A中视觉事件三维点集合之间的几何残差计算，生成模型假设的内点集合；
F.对步骤D中代表性模型假设集合内每一个模型假设，计算其在步骤E生成的内点集合在时间轴上的离差，并根据计算的离差对每个代表性模型假设赋予相应的权重；
G.对步骤F中给步骤D中代表性模型假设集合所赋予的权重，根据其在步骤E生成的内点集合投影在图像平面所生成的视觉事件图像的图像对比度，进一步加权；
H.根据步骤G中给步骤D中代表性模型假设集合所赋予的权重，在权重的肘点处将代表性模型假设集合选择区分为正确的模型假设和错误的模型假设，正确的模型假设对应场景内的所有物体的运动轨迹，将这些运动轨迹用于关联场景内的视觉事件，实现基于事件相机的数据关联。
在步骤A中，所述将事件相机感应环境中物体运动所生成的异步时空视觉事件序列聚合成视觉事件的集合，集合中每一个视觉事件是其所在时空三维空间中的一个三维点的具体方法可为：
使用ATSLTD视觉事件聚合方法，将事件相机感应环境中物体运动所生成的异步时空视觉事件序列聚合成视觉事件三维点集合ε＝{ek}，k＝1…Ne，Ne为ε中包含的视觉事件的个数；视觉事件三维点集合ε中每一个视觉事件e忽略其表示像素明暗变化的极性属性，成为其所在时空三维空间中的一个三维点，如下所示：
Figure BDA0002682740220000031
其中，(u,v)表示该视觉事件在像素图像平面上的空间图像坐标，记录了视觉事件发生时刻的时间戳；
在步骤B中，所述将步骤A中的时空三维空间在时间维度上切片的具体做法可为：将步骤A中视觉事件集合所在的时空三维空间在时间维度上等分切片，共切分Ns个切片，Ns为预设的切片个数；每一个切片是一个三维子时空空间，包含步骤A中生成的视觉事件三维点集合ε在对应切片时间区间的子点集；所述切片个数Ns可设为10。
在步骤C中，所述直线模型假设集合中的每一个直线模型假设由从最早的切片所包含的子点集中采样的一个起始点和从最晚的切片所包含的子点集中采样的一个终止点构成，代表场景中的一种相机或物体运动的轨迹，具体为：直线模型假设集合
Figure BDA0002682740220000032
中的每一个直线模型假设由从最早的切片所包含的子点集中采样的一个起始点和从最晚的切片所包含的子点集中采样的一个终止点构成，所生成的直线模型假设集合
Figure BDA0002682740220000033
中，第k个直线模型假设lk由来自最早的切片的起始点
Figure BDA0002682740220000034
和来自最晚的切片的终止点
Figure BDA0002682740220000035
计算构成，如下所示：
Figure BDA0002682740220000036
其中，
Figure BDA0002682740220000037
为起始点
Figure BDA0002682740220000038
的空间图像坐标和时间戳，
Figure BDA0002682740220000039
为终止点
Figure BDA00026827402200000310
的空间图像坐标和时间戳；λ为直线模型方程的自变量参数，不需要设定；经过在最早和最晚两个切片所包含的视觉事件三维点之间采样，生成模型假设集合
Figure BDA00026827402200000311
Nl为经过穷举采样后
Figure BDA00026827402200000312
中包含的代表性模型假设的个数。
在步骤D中，所述选出代表性模型假设集合的具体方法可为：对步骤C中的模型假设集合
Figure BDA00026827402200000313
进行筛选，根据集合中模型假设之间的余弦距离，去除具有相同方向、冗余的模型假设，进一步选出具有代表性的模型假设集合
Figure BDA00026827402200000314
模型假设集合
Figure BDA00026827402200000315
第i个直线模型假设li与第j个直线模型假设lj的余弦距离cosine(li,lj)计算如下所示：
Figure BDA0002682740220000041
其中，<li,lj>为li与lj的向量内积，||li||和||lj||分别为li与lj的向量范数；代表性模型假设集合初始化为空集；当li与lj的余弦距离cosine(li,lj)为0时，li与lj在方向上平行；此时，选取li与lj中与
Figure BDA0002682740220000042
内剩余模型假设平行次数较多的一者加入到代表性模型假设集合
Figure BDA0002682740220000043
通过迭代成对地比较
Figure BDA0002682740220000044
中的模型假设，选出最终的代表性模型假设集合
Figure BDA0002682740220000045
Nm为
Figure BDA0002682740220000046
中包含的代表性模型假设的个数。
在步骤E中，所述生成模型假设的内点集合的具体方法可为：对步骤D中的代表性模型假设集合
Figure BDA0002682740220000047
内的每一个模型假设，根据其与步骤A中生成的视觉事件三维点集合ε之间的几何残差计算，生成模型假设集合
Figure BDA0002682740220000048
对应的内点集合
Figure BDA0002682740220000049
视觉事件三维点集合ε中第i个视觉事件三维点ei和代表性模型假设集合
Figure BDA00026827402200000410
中第j个直线模型假设lj的几何残差ri,j计算如下所示：
Figure BDA00026827402200000411
其中，
Figure BDA00026827402200000412
和
Figure BDA00026827402200000413
为lj的起始点和终止点，×表示对应向量的外积运算，||·||表示对应向量的范数运算；若几何残差ri,j小于预设的内点噪声尺度阈值τ，则将视觉事件三维点ei加入模型假设lj对应的内点集合
Figure BDA00026827402200000414
中，通过视觉事件三维点与代表性模型假设成对地迭代计算，生成最终的内点集合
Figure BDA00026827402200000415
所述内点噪声尺度阈值τ可设为0.01。
在步骤F中，所述对步骤D中代表性模型假设集合内每一个模型假设，计算其在步骤E生成的内点集合在时间轴上的离差，并根据计算的离差对每个代表性模型假设赋予相应的权重是对步骤D中代表性模型假设集合
Figure BDA00026827402200000416
内每一个模型假设，计算其在步骤E生成的内点集合在时间轴上的离差，并根据计算的离差对模型假设集合
Figure BDA00026827402200000417
内每个代表性模型假设赋予相应的权重
Figure BDA00026827402200000418
具体计算如下：假设为代表性模型假设集合
Figure BDA00026827402200000419
中第k个直线模型假设lk计算它的权重wk，其对应的公式计算如下所示：
Figure BDA00026827402200000420
其中,Ni为lk在
Figure BDA00026827402200000421
中对应的内点集合
Figure BDA00026827402200000422
中所包含的内点个数，ti为
Figure BDA00026827402200000423
中第i个内点的时间坐标，St为当前三维时空空间中时间轴的长度；权重计算基于模型的内点会沿当前三维时空空间中时间轴正态分布的特性而提出，经过迭代计算，代表性模型假设集合
Figure BDA00026827402200000424
内的每一个模型假设得到对应的初始权重
Figure BDA0002682740220000051
在步骤G中，所述在步骤E生成的内点集合投影在图像平面所生成的视觉事件图像的图像对比度，进一步加权的具体方法可为：对步骤F中给步骤D中代表性模型假设集合
Figure BDA0002682740220000052
所赋予的权重
Figure BDA0002682740220000053
根据其在步骤E生成的内点集合
Figure BDA0002682740220000054
投影在图像平面所生成的视觉事件图像的图像对比度进一步加权，最终
Figure BDA0002682740220000055
中代表性模型假设的权重为
Figure BDA0002682740220000056
假设为代表性模型假设集合
Figure BDA0002682740220000057
中第k个直线模型假设lk在第一次加权权重wk的基础上计算它第二次加权的权重
Figure BDA0002682740220000058
其对应的公式计算如下所示：
Figure BDA0002682740220000059
其中，P为lk在中对应的内点集合
Figure BDA00026827402200000510
投影在图像u,v平面所生成的视觉事件图像；投影后的视觉事件图像P中，任意像素坐标的像素值设置为投影到该坐标的内点的个数；
Figure BDA00026827402200000511
为归一化后的P，
Figure BDA00026827402200000512
为视觉事件图像
Figure BDA00026827402200000513
中所包含的像素个数，
Figure BDA00026827402200000514
为
Figure BDA00026827402200000515
中第i行、第j列的像素值，也就是投影到该坐标的内点的个数，
Figure BDA00026827402200000516
为
Figure BDA00026827402200000517
中所有像素的像素值的均值；第二次加权基于正确的模型假设所对应的投影后的视觉事件图像具有较高的图像对比度而提出；经过迭代计算，代表性模型假设集合
Figure BDA00026827402200000518
内的每一个模型假设得到对应的最终权重
Figure BDA00026827402200000519
Figure BDA00026827402200000520
在步骤H中，所述权重的肘点处的定义为：将权重
Figure BDA00026827402200000521
由大到小降序排序，若
Figure BDA00026827402200000522
为肘点处权重，则
Figure BDA00026827402200000523
相较于与它相邻的比它大的两个权重值
Figure BDA00026827402200000524
和
Figure BDA00026827402200000525
和与它相邻的比它小的两个权重值
Figure BDA00026827402200000526
和
Figure BDA00026827402200000527
Figure BDA00026827402200000528
处具有最大的权重下降率；选取
Figure BDA00026827402200000529
中小于等于肘点权重的模型假设作为正确的模型假设。
本发明可以将事件相机感应环境中物体运动所生成的异步时空视觉事件序列在时间维度上进行有效的数据关联。所提出的方法在视觉事件构建的时空空间内拟合物体的运动轨迹用于数据关联，主要包含异步视觉事件聚合、代表性模型假设生成、模型假设权重计算、模型假设选择等步骤。本发明所提出的数据关联方法是通用的，关联后的视觉事件数据代表物体的运动轨迹，可以用于基于事件相机的目标跟踪、运动分割等计算机视觉领域的重要任务。将本发明基于事件相机的数据关联方法用于目标跟踪、运动分割等计算机视觉任务，具有较高的精度和鲁棒性，尤其在快速运动和高动态范围场景下能够展现出较好的效果。
具体实施方式
以下结合实施例对本发明的方法作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了实施方式和具体操作过程，但本发明的保护范围不限于下述的实施例。
本发明实施例包括以下步骤：
A.事件相机(Event Camera)是一种新型仿生学视觉传感器，具有较低的响应时延和较高的动态范围等优秀特性。事件相机的每一个像素单元可以在功能上模仿生物视网膜，高速、异步地记录场景中由物体运动触发的视觉事件。本发明使用ATSLTD视觉事件聚合方法，将事件相机感应环境中物体运动所生成的异步时空视觉事件序列聚合成视觉事件的集合ε＝{ek}，k＝1…Ne，Ne为ε中包含的视觉事件的个数；视觉事件三维点集合ε中每一个视觉事件e忽略其表示像素明暗变化的极性属性，成为其所在时空三维空间中的一个三维点，如下所示：
Figure BDA0002682740220000061
其中，(u,v)表示该视觉事件在像素图像平面上的空间图像坐标，记录了视觉事件发生时刻的时间戳。
B.将步骤A中视觉事件集合所在的时空三维空间在时间维度上等分切片，共切分Ns个切片，Ns为预设的切片个数；每一个切片是一个三维子时空空间，包含步骤A中生成的视觉事件三维点集合ε在对应切片时间区间的子点集；经过切片处理，视觉事件三维点集合ε在时间维度上进行了切分，减少了单次需要处理的视觉事件的个数，提升了处理效率；切片个数Ns设置为10。
C.在步骤B中时间维度上最早和最晚的两个切片上穷举地采样，生成对应的直线模型假设集合
Figure BDA0002682740220000062
每个直线模型假设代表场景中一个相机或物体实例的运动轨迹；直线模型假设集合
Figure BDA0002682740220000063
中的每一个直线模型假设由从最早的切片所包含的子点集中采样的一个起始点和从最晚的切片所包含的子点集中采样的一个终止点构成，所生成的直线模型假设集合
Figure BDA0002682740220000064
中，第k个直线模型假设lk由来自最早的切片的起始点
Figure BDA0002682740220000065
和来自最晚的切片的终止点
Figure BDA0002682740220000066
计算构成，如下所示：
Figure BDA0002682740220000067
其中，
Figure BDA0002682740220000068
为起始点
Figure BDA0002682740220000069
的空间图像坐标和时间戳，
Figure BDA00026827402200000610
为终止点
Figure BDA00026827402200000611
的空间图像坐标和时间戳；λ为直线模型方程的自变量参数，不需要设定。经过在最早和最晚两个切片所包含的视觉事件三维点之间采样，生成模型假设集合
Figure BDA00026827402200000612
Nl为经过穷举采样后
Figure BDA00026827402200000613
中包含的代表性模型假设的个数；
D.对步骤C中的模型假设集合
Figure BDA0002682740220000071
进行筛选，根据集合中模型假设之间的余弦距离，去除具有相同方向、冗余的模型假设，进一步选出具有代表性的模型假设集合
Figure BDA0002682740220000072
模型假设集合
Figure BDA0002682740220000073
中第i个直线模型假设li与第j个直线模型假设lj的余弦距离cosine(li,lj)计算如下所示：
Figure BDA0002682740220000074
其中，<li,lj>为li与lj的向量内积，||li||和||lj||分别为li与lj的向量范数。代表性模型假设集合初始化为空集。当li与lj的余弦距离cosine(li,lj)为0时，li与lj在方向上平行。此时，选取li与lj中与
Figure BDA0002682740220000075
内剩余模型假设平行次数较多的一者加入到代表性模型假设集合
Figure BDA0002682740220000076
通过迭代成对地比较
Figure BDA0002682740220000077
中的模型假设，选出最终的代表性模型假设集合
Figure BDA0002682740220000078
Nm为
Figure BDA0002682740220000079
中包含的代表性模型假设的个数；
E.对步骤D中的代表性模型假设集合
Figure BDA00026827402200000710
内的每一个模型假设，根据其与步骤A中生成的视觉事件三维点集合ε之间的几何残差计算，生成模型假设集合
Figure BDA00026827402200000711
对应的内点集合
Figure BDA00026827402200000712
视觉事件三维点集合ε中第i个视觉事件三维点ei和代表性模型假设集合
Figure BDA00026827402200000713
中第j个直线模型假设lj的几何残差ri,j计算如下所示：
Figure BDA00026827402200000714
其中，
Figure BDA00026827402200000715
和
Figure BDA00026827402200000716
为lj的起始点和终止点，×表示对应向量的外积运算，||·||表示对应向量的范数运算。如果几何残差ri,j小于预设的内点噪声尺度阈值τ，则将视觉事件三维点ei加入模型假设lj对应的内点集合
Figure BDA00026827402200000717
中，通过视觉事件三维点与代表性模型假设成对地迭代计算，生成最终的内点集合
Figure BDA00026827402200000718
内点噪声尺度阈值τ设置为0.01。
F.对步骤D中代表性模型假设集合
Figure BDA00026827402200000719
内每一个模型假设，计算其在步骤E生成的内点集合在时间轴上的离差，并根据计算的离差对模型假设集合
Figure BDA00026827402200000720
内每个代表性模型假设赋予相应的权重
Figure BDA00026827402200000721
具体计算如下：假设为代表性模型假设集合
Figure BDA00026827402200000722
中第k个直线模型假设lk计算它的权重wk，其对应的公式计算如下所示：
Figure BDA00026827402200000723
其中,Ni为lk在
Figure BDA00026827402200000724
中对应的内点集合
Figure BDA00026827402200000725
中所包含的内点个数，ti为
Figure BDA00026827402200000726
中第i个内点的时间坐标，St为当前三维时空空间中时间轴的长度；此步权重计算基于模型的内点会沿当前三维时空空间中时间轴正态分布的特性而提出，经过迭代计算，代表性模型假设集合
Figure BDA0002682740220000081
内的每一个模型假设得到对应的初始权重
Figure BDA0002682740220000082
G.对步骤F中给步骤D中代表性模型假设集合
Figure BDA0002682740220000083
所赋予的权重
Figure BDA0002682740220000084
根据其在步骤E生成的内点集合
Figure BDA0002682740220000085
投影在图像平面所生成的视觉事件图像的图像对比度进一步加权，最终
Figure BDA0002682740220000086
中代表性模型假设的权重为
Figure BDA0002682740220000087
具体计算如下：假设为代表性模型假设集合
Figure BDA0002682740220000088
中第k个直线模型假设lk在第一次加权权重wk的基础上计算它第二次加权的权重
Figure BDA0002682740220000089
其对应的公式计算如下所示：
Figure BDA00026827402200000810
其中，P为lk在
Figure BDA00026827402200000811
中对应的内点集合
Figure BDA00026827402200000812
投影在图像u,v平面所生成的视觉事件图像。投影后的视觉事件图像P中，任意像素坐标的像素值设置为投影到该坐标的内点的个数。
Figure BDA00026827402200000813
为归一化后的P，
Figure BDA00026827402200000814
为视觉事件图像
Figure BDA00026827402200000815
中所包含的像素个数，
Figure BDA00026827402200000816
为
Figure BDA00026827402200000817
中第i行、第j列的像素值，也就是投影到该坐标的内点的个数，
Figure BDA00026827402200000818
为
Figure BDA00026827402200000819
中所有像素的像素值的均值。第二次加权基于正确的模型假设所对应的投影后的视觉事件图像具有较高的图像对比度而提出。经过迭代计算，代表性模型假设集合
Figure BDA00026827402200000820
内的每一个模型假设得到对应的最终权重
Figure BDA00026827402200000821
Figure BDA00026827402200000822
H.根据步骤G中给步骤D中代表性模型假设集合
Figure BDA00026827402200000823
所赋予的权重
Figure BDA00026827402200000824
在权重的肘点处将代表性模型假设集合
Figure BDA00026827402200000825
选择区分为正确的模型假设和错误的模型假设。权重的肘点处的定义为：将权重
Figure BDA00026827402200000826
由大到小降序排序，若
Figure BDA00026827402200000827
为肘点处权重，则
Figure BDA00026827402200000828
相较于与它相邻的比它大的两个权重值
Figure BDA00026827402200000829
和
Figure BDA00026827402200000830
和与它相邻的比它小的两个权重值
Figure BDA00026827402200000831
和
Figure BDA00026827402200000832
Figure BDA00026827402200000833
处具有最大的权重下降率。因为初始权重
Figure BDA00026827402200000834
越大，对应内点的分布越散乱，最终权重
Figure BDA00026827402200000835
越大，相应投影的视觉事件图像对比度越低。所以较小的权重对应的模型假设要优于较大权重对应的模型假设。因此，最后选取
Figure BDA00026827402200000836
中小于等于肘点权重的模型假设作为正确的模型假设。这些正确的模型假设对应场景内的所有物体的运动轨迹。这些运动轨迹将会用于关联场景内的视觉事件，实现基于事件相机的数据关联。
本发明提供的数据关联方法是通用的，关联后的视觉事件数据代表物体的运动轨迹，可以用于目标跟踪、运动分割等计算机视觉领域的重要任务。将本发明数据关联方法用于目标跟踪、运动分割等基础计算机视觉任务，具有较高的精度和鲁棒性，尤其在快速运动和高动态范围场景下能够展现出较好的效果。

Claims (10)

1.一种基于事件相机的数据关联方法，其特征在于包括以下步骤：
A.将事件相机感应环境中物体运动所生成的异步时空视觉事件序列聚合成视觉事件的集合，集合中每一个视觉事件是其所在时空三维空间中的一个三维点；
B.将步骤A中的时空三维空间在时间维度上切片，每一个切片是一个三维子时空空间，包含步骤A中生成的三维点集合在对应切片时间区间的子点集；
C.在步骤B中时间维度上最早和最晚的两个切片上穷举地采样，生成对应的直线模型假设集合；
D.对步骤C生成的直线模型假设集合进行筛选，根据集合中模型假设之间的余弦相似度，去除冗余的模型假设，选出代表性模型假设集合；
E.对步骤D中的代表性模型假设集合内每一个模型假设，根据其与步骤A中视觉事件三维点集合之间的几何残差计算，生成模型假设的内点集合；
F.对步骤D中代表性模型假设集合内每一个模型假设，计算其在步骤E生成的内点集合在时间轴上的离差，并根据计算的离差对每个代表性模型假设赋予相应的权重；
G.对步骤F中给步骤D中代表性模型假设集合所赋予的权重，根据其在步骤E生成的内点集合投影在图像平面所生成的视觉事件图像的图像对比度，进一步加权；
H.根据步骤G中给步骤D中代表性模型假设集合所赋予的权重，在权重的肘点处将代表性模型假设集合选择区分为正确的模型假设和错误的模型假设，正确的模型假设对应场景内的所有物体的运动轨迹，将这些运动轨迹用于关联场景内的视觉事件，实现基于事件相机的数据关联。
2.如权利要求1所述一种基于事件相机的数据关联方法，其特征在于，在步骤A中，所述将事件相机感应环境中物体运动所生成的异步时空视觉事件序列聚合成视觉事件的集合，集合中每一个视觉事件是其所在时空三维空间中的一个三维点的具体方法为：使用ATSLTD视觉事件聚合方法，将事件相机感应环境中物体运动所生成的异步时空视觉事件序列聚合成视觉事件三维点集合ε＝{ek}，k＝1…Ne，Ne为ε中包含的视觉事件的个数；视觉事件三维点集合ε中每一个视觉事件e忽略其表示像素明暗变化的极性属性，成为其所在时空三维空间中的一个三维点，如下所示：
Figure FDA0002682740210000011
其中，(u,v)表示该视觉事件在像素图像平面上的空间图像坐标，记录了视觉事件发生时刻的时间戳。
3.如权利要求1所述一种基于事件相机的数据关联方法，其特征在于，在步骤B中，所述将步骤A中的时空三维空间在时间维度上切片的具体做法为：将步骤A中视觉事件集合所在的时空三维空间在时间维度上等分切片，共切分Ns个切片，Ns为预设的切片个数；每一个切片是一个三维子时空空间，包含步骤A中生成的视觉事件三维点集合ε在对应切片时间区间的子点集。
4.如权利要求3所述一种基于事件相机的数据关联方法，其特征在于，所述切片个数Ns设为10。
5.如权利要求1所述一种基于事件相机的数据关联方法，其特征在于，在步骤C中，所述直线模型假设集合中的每一个直线模型假设由从最早的切片所包含的子点集中采样的一个起始点和从最晚的切片所包含的子点集中采样的一个终止点构成，代表场景中的一种相机或物体运动的轨迹，具体为：直线模型假设集合
Figure FDA0002682740210000029
中的每一个直线模型假设由从最早的切片所包含的子点集中采样的一个起始点和从最晚的切片所包含的子点集中采样的一个终止点构成，所生成的直线模型假设集合
Figure FDA00026827402100000211
中，第k个直线模型假设lk由来自最早的切片的起始点
Figure FDA0002682740210000021
和来自最晚的切片的终止点
Figure FDA0002682740210000022
计算构成，如下所示：
Figure FDA0002682740210000023
其中，
Figure FDA0002682740210000024
为起始点
Figure FDA0002682740210000025
的空间图像坐标和时间戳，
Figure FDA0002682740210000026
为终止点
Figure FDA0002682740210000027
的空间图像坐标和时间戳；λ为直线模型方程的自变量参数，不需要设定；经过在最早和最晚两个切片所包含的视觉事件三维点之间采样，生成模型假设集合
Figure FDA00026827402100000216
Nl为经过穷举采样后
Figure FDA00026827402100000212
中包含的代表性模型假设的个数。
6.如权利要求1所述一种基于事件相机的数据关联方法，其特征在于，在步骤D中，所述选出代表性模型假设集合的具体方法为：对步骤C中的模型假设集合
Figure FDA00026827402100000213
进行筛选，根据集合中模型假设之间的余弦距离，去除具有相同方向、冗余的模型假设，选出具有代表性的模型假设集合
Figure FDA00026827402100000215
模型假设集合
Figure FDA00026827402100000217
第i个直线模型假设li与第j个直线模型假设lj的余弦距离cosine(li,lj)计算如下所示：
Figure FDA0002682740210000028
其中，<li,lj>为li与lj的向量内积，||li||和||lj||分别为li与lj的向量范数；代表性模型假设集合初始化为空集；当li与lj的余弦距离cosine(li,lj)为0时，li与lj在方向上平行；此时，选取li与lj中与
Figure FDA0002682740210000037
内剩余模型假设平行次数较多的一者加入到代表性模型假设集合
Figure FDA0002682740210000035
通过迭代成对地比较
Figure FDA0002682740210000036
中的模型假设，选出最终的代表性模型假设集合
Figure FDA0002682740210000038
Nm为
Figure FDA0002682740210000039
中包含的代表性模型假设的个数。
7.如权利要求1所述一种基于事件相机的数据关联方法，其特征在于，在步骤E中，所述生成模型假设的内点集合的具体方法为：
对步骤D中的代表性模型假设集合
Figure FDA00026827402100000310
内的每一个模型假设，根据其与步骤A中生成的视觉事件三维点集合ε之间的几何残差计算，生成模型假设集合
Figure FDA00026827402100000311
对应的内点集合
Figure FDA00026827402100000312
视觉事件三维点集合ε中第i个视觉事件三维点ei和代表性模型假设集合
Figure FDA00026827402100000313
中第j个直线模型假设lj的几何残差ri,j计算如下所示：
Figure FDA0002682740210000031
其中，
Figure FDA0002682740210000032
和
Figure FDA0002682740210000033
为lj的起始点和终止点，×表示对应向量的外积运算，||·||表示对应向量的范数运算；若几何残差ri,j小于预设的内点噪声尺度阈值τ，则将视觉事件三维点ei加入模型假设lj对应的内点集合
Figure FDA00026827402100000314
中，通过视觉事件三维点与代表性模型假设成对地迭代计算，生成最终的内点集合
Figure FDA00026827402100000315
所述内点噪声尺度阈值τ可设为0.01。
8.如权利要求1所述一种基于事件相机的数据关联方法，其特征在于，在步骤F中，所述对步骤D中代表性模型假设集合内每一个模型假设，计算其在步骤E生成的内点集合在时间轴上的离差，并根据计算的离差对每个代表性模型假设赋予相应的权重是对步骤D中代表性模型假设集合
Figure FDA00026827402100000316
内每一个模型假设，计算其在步骤E生成的内点集合在时间轴上的离差，并根据计算的离差对模型假设集合
Figure FDA00026827402100000317
内每个代表性模型假设赋予相应的权重
Figure FDA00026827402100000319
Figure FDA00026827402100000320
具体计算如下：假设为代表性模型假设集合
Figure FDA00026827402100000318
中第k个直线模型假设lk计算它的权重wk，其对应的公式计算如下所示：
Figure FDA0002682740210000034
其中,Ni为lk在
Figure FDA00026827402100000321
中对应的内点集合
Figure FDA00026827402100000322
中所包含的内点个数，ti为
Figure FDA00026827402100000323
中第i个内点的时间坐标，St为当前三维时空空间中时间轴的长度；权重计算基于模型的内点会沿当前三维时空空间中时间轴正态分布的特性而提出，经过迭代计算，代表性模型假设集合
Figure FDA00026827402100000324
内的每一个模型假设得到对应的初始权重
Figure FDA0002682740210000043
9.如权利要求1所述一种基于事件相机的数据关联方法，其特征在于，在步骤G中，所述在步骤E生成的内点集合投影在图像平面所生成的视觉事件图像的图像对比度，进一步加权的具体方法为：对步骤F中给步骤D中代表性模型假设集合
Figure FDA0002682740210000044
所赋予的权重
Figure FDA00026827402100000429
根据其在步骤E生成的内点集合
Figure FDA0002682740210000045
投影在图像平面所生成的视觉事件图像的图像对比度进一步加权，最终
Figure FDA0002682740210000046
中代表性模型假设的权重为
Figure FDA0002682740210000047
假设为代表性模型假设集合
Figure FDA0002682740210000048
中第k个直线模型假设lk在第一次加权权重wk的基础上计算它第二次加权的权重
Figure FDA0002682740210000041
其对应的公式计算如下所示：
Figure FDA0002682740210000042
其中，P为lk在中对应的内点集合
Figure FDA0002682740210000049
投影在图像u,v平面所生成的视觉事件图像；投影后的视觉事件图像P中，任意像素坐标的像素值设置为投影到该坐标的内点的个数；
Figure FDA00026827402100000410
为归一化后的P，
Figure FDA00026827402100000411
为视觉事件图像
Figure FDA00026827402100000412
中所包含的像素个数，
Figure FDA00026827402100000413
为
Figure FDA00026827402100000414
中第i行、第j列的像素值，也就是投影到该坐标的内点的个数，
Figure FDA00026827402100000416
为
Figure FDA00026827402100000415
中所有像素的像素值的均值；第二次加权基于正确的模型假设所对应的投影后的视觉事件图像具有较高的图像对比度而提出；经过迭代计算，代表性模型假设集合
Figure FDA00026827402100000417
内的每一个模型假设得到对应的最终权重
Figure FDA00026827402100000418
Figure FDA00026827402100000419
10.如权利要求1所述一种基于事件相机的数据关联方法，其特征在于，在步骤H中，所述权重的肘点处的定义为：将权重
Figure FDA00026827402100000420
由大到小降序排序，若
Figure FDA00026827402100000421
为肘点处权重，则
Figure FDA00026827402100000422
相较于与它相邻的比它大的两个权重值
Figure FDA00026827402100000425
和
Figure FDA00026827402100000426
和与它相邻的比它小的两个权重值
Figure FDA00026827402100000423
和
Figure FDA00026827402100000424
Figure FDA00026827402100000428
处具有最大的权重下降率；选取
Figure FDA00026827402100000427
中小于等于肘点权重的模型假设作为正确的模型假设。
CN202010967054.0A 2020-09-15 2020-09-15 一种基于事件相机的数据关联方法 Active CN112131991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010967054.0A CN112131991B (zh) 2020-09-15 2020-09-15 一种基于事件相机的数据关联方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010967054.0A CN112131991B (zh) 2020-09-15 2020-09-15 一种基于事件相机的数据关联方法

Publications (2)

Publication Number Publication Date
CN112131991A true CN112131991A (zh) 2020-12-25
CN112131991B CN112131991B (zh) 2024-01-23

Family

ID=73845825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010967054.0A Active CN112131991B (zh) 2020-09-15 2020-09-15 一种基于事件相机的数据关联方法

Country Status (1)

Country Link
CN (1) CN112131991B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112987571A (zh) * 2021-02-25 2021-06-18 中国人民解放军国防科技大学 高动态视觉控制系统及其视觉量测性能衰减容错控制方法
CN114494085A (zh) * 2022-04-14 2022-05-13 季华实验室 一种视频流复原方法、系统、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030081813A1 (en) * 1999-05-26 2003-05-01 Brian Astle Motion tracking using image-texture templates
US20160239752A1 (en) * 2015-02-17 2016-08-18 Mengjiao Wang Incident reconstructions using temporal and geographic analysis
CN109697726A (zh) * 2019-01-09 2019-04-30 厦门大学 一种基于事件相机的端对端目标运动估计方法
US20190197715A1 (en) * 2016-08-24 2019-06-27 Universitat Zurich Simultaneous localization and mapping with an event camera
CN110148159A (zh) * 2019-05-20 2019-08-20 厦门大学 一种基于事件相机的异步目标跟踪方法
CN111052183A (zh) * 2017-09-04 2020-04-21 苏黎世大学 利用事件相机的视觉惯性里程计
JP2020086836A (ja) * 2018-11-22 2020-06-04 株式会社デンソーアイティーラボラトリ 情報処理装置、情報処理方法およびプログラム
US20200226377A1 (en) * 2020-03-25 2020-07-16 Intel Corporation Robust object detection and classification using static-based cameras and events-based cameras.
US20200223434A1 (en) * 2020-03-27 2020-07-16 Intel Corporation Methods and devices for detecting objects and calculating a time to contact in autonomous driving systems
CN111445414A (zh) * 2020-03-27 2020-07-24 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US20200260022A1 (en) * 2017-09-28 2020-08-13 Zermatt Technologies Llc System and method for event camera data processing
US20200273180A1 (en) * 2017-11-14 2020-08-27 Apple Inc. Deformable object tracking

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030081813A1 (en) * 1999-05-26 2003-05-01 Brian Astle Motion tracking using image-texture templates
US20160239752A1 (en) * 2015-02-17 2016-08-18 Mengjiao Wang Incident reconstructions using temporal and geographic analysis
US20190197715A1 (en) * 2016-08-24 2019-06-27 Universitat Zurich Simultaneous localization and mapping with an event camera
CN111052183A (zh) * 2017-09-04 2020-04-21 苏黎世大学 利用事件相机的视觉惯性里程计
US20200260022A1 (en) * 2017-09-28 2020-08-13 Zermatt Technologies Llc System and method for event camera data processing
US20200273180A1 (en) * 2017-11-14 2020-08-27 Apple Inc. Deformable object tracking
JP2020086836A (ja) * 2018-11-22 2020-06-04 株式会社デンソーアイティーラボラトリ 情報処理装置、情報処理方法およびプログラム
CN109697726A (zh) * 2019-01-09 2019-04-30 厦门大学 一种基于事件相机的端对端目标运动估计方法
CN110148159A (zh) * 2019-05-20 2019-08-20 厦门大学 一种基于事件相机的异步目标跟踪方法
US20200226377A1 (en) * 2020-03-25 2020-07-16 Intel Corporation Robust object detection and classification using static-based cameras and events-based cameras.
US20200223434A1 (en) * 2020-03-27 2020-07-16 Intel Corporation Methods and devices for detecting objects and calculating a time to contact in autonomous driving systems
CN111445414A (zh) * 2020-03-27 2020-07-24 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XINYE ZONG等: "An Event Camera Tracking Based on MLS Surface Fitting Algorithm", 《2018 CHINESE CONTROL AND DECISION CONFERENCE (CCDC)》 *
张浩宇;韩一娜;赵伟康;杨益新;刘清宇;: "多基地声呐融合探测关键技术研究", 水下无人系统学报, no. 05 *
李鑫;姜忠鼎;: "一种面向VR多投影环幕设备的可视化结果显示方法", 计算机应用与软件, no. 02 *
祝朝政;何明;杨晟;吴春晓;刘斌;: "单目视觉里程计研究综述", 计算机工程与应用, no. 07 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112987571A (zh) * 2021-02-25 2021-06-18 中国人民解放军国防科技大学 高动态视觉控制系统及其视觉量测性能衰减容错控制方法
CN112987571B (zh) * 2021-02-25 2022-08-09 中国人民解放军国防科技大学 高动态视觉控制系统及其视觉量测性能衰减容错控制方法
CN114494085A (zh) * 2022-04-14 2022-05-13 季华实验室 一种视频流复原方法、系统、电子设备及存储介质
CN114494085B (zh) * 2022-04-14 2022-07-15 季华实验室 一种视频流复原方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN112131991B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
US10769480B2 (en) Object detection method and system
Stoffregen et al. Event cameras, contrast maximization and reward functions: An analysis
Felsberg et al. The thermal infrared visual object tracking VOT-TIR2015 challenge results
Benedek et al. Bayesian foreground and shadow detection in uncertain frame rate surveillance videos
CN110148159B (zh) 一种基于事件相机的异步目标跟踪方法
US11443454B2 (en) Method for estimating the pose of a camera in the frame of reference of a three-dimensional scene, device, augmented reality system and computer program therefor
CN107452015B (zh) 一种具有重检测机制的目标跟踪系统
CN111814654A (zh) 基于马尔可夫随机场的远程塔台视频目标挂标牌方法
Chen et al. Asynchronous tracking-by-detection on adaptive time surfaces for event-based object tracking
CN111127519A (zh) 一种双模型融合的目标跟踪控制系统及其方法
KR102201297B1 (ko) 다중 플로우 기반 프레임 보간 장치 및 방법
CN110827321B (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
CN110555868A (zh) 一种复杂地面背景下运动小目标检测方法
CN112131991A (zh) 一种基于事件相机的数据关联方法
CN111598928A (zh) 一种基于具有语义评估和区域建议的突变运动目标跟踪方法
Nunes et al. Robust event-based vision model estimation by dispersion minimisation
CN112085765A (zh) 结合粒子滤波及度量学习的视频目标跟踪方法
CN113688741A (zh) 一种基于事件相机和视觉相机协同的运动训练评估系统及方法
Rozumnyi et al. Sub-frame appearance and 6d pose estimation of fast moving objects
CN115565130A (zh) 一种无人值守系统及其基于光流的监控方法
CN111462184A (zh) 基于孪生神经网络线性表示模型的在线稀疏原型跟踪方法
CN113888607A (zh) 基于事件相机的目标检测与跟踪方法、系统和存储介质
CN109064497B (zh) 一种基于颜色聚类补充学习的视频跟踪方法
CN116883897A (zh) 一种低分辨率目标识别方法
CN116188555A (zh) 一种基于深度网络与运动信息的单目室内深度估计算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant