CN115273064B

CN115273064B - 复杂运动背景下稀疏事件点小目标分割方法

Info

Publication number: CN115273064B
Application number: CN202210822992.0A
Authority: CN
Inventors: 李淼; 安玮; 盛卫东; 林再平; 曾瑶源; 邓新蒲; 安成锦; 孙哲政; 王龙光
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2022-07-14
Filing date: 2022-07-14
Publication date: 2023-05-09
Anticipated expiration: 2042-07-14
Also published as: CN115273064A

Abstract

本发明公开了一种复杂运动背景下稀疏事件点小目标分割方法，将稀疏事件点数据切分为多个子事件点云，并在水平方向对子事件点云进行投影，生成投影图像；对配准后的事件点云进行最近邻聚类，筛选目标备选点，得到目标备选点集；对目标备选点集中的任意一个事件点，选取与该事件点距离最近的目标备选点集中的部分事件点，并按时间排列选取的事件点，计算时间顺序最早和最晚的两个事件点邻域的质心坐标；计算两个质心的距离，即得到偏移量；根据偏移量与运动分割阈值的关系，确定目标分割结果。本发明解决了因背景运动导致的稀疏事件点云数据中背景杂波较多，目标事件点占比少且特征不明显的复杂背景条件下，运动小目标难以检出的问题。

Description

复杂运动背景下稀疏事件点小目标分割方法

技术领域

本发明涉及运动平台下产生的稀疏事件点小目标分割技术，特别是一种复杂运动背景下稀疏事件点小目标分割方法。

背景技术

运动平台下产生的稀疏事件点云中一般存在由背景运动产生的杂波干扰点、由相机热噪声产生的噪声点以及由目标运动产生的事件点，小目标往往因为在事件点云中占比小、缺乏灰度信息，因此难以检测。

现有技术通过卷积神经网络分割一些背景点较少的室内场景。当背景数据点数量增大，基于卷积神经网络等机器学习方法需要较大的计算资源。另有方法通过能量最小化、多模型级联等分割方法实现目标分割，但这些方法不能有效提取小目标的特征，在目标缺乏形体特征时效果较差，即最终应用于小目标分割时表现性能不佳。

此外，还有一些方法将事件点云进行投影并配准，但最终的检测是在投影图像上进行的，丢失了点云的时空信息，无法在三维时空域上得到检测结果。

本发明用到的名称解释如下：

事件相机，又称为神经形态视觉传感器、仿生硅基视觉传感器，是一种具有新成像体制的设备，每个像元独立工作，在亮度发生变化时输出异步的时空脉冲信号，事件相机的原始数据形式如下：

Z_i＝(x,y,t,p)；

其中，Z_i为第i个像元传感器的输出，(x,y)为成像像元i的二维位置坐标，t为成像时刻(各像元传感器之间不同)，p为事件极性(光强增加或减少对应正极性和负极性)。

与传统相机相比，事件相机具有微秒级的时间分辨率，擅长捕捉高速运动的目标，能够克服传统相机拍摄高速运动目标时的运动模糊。此外，事件相机具有极高的动态范围，使得其在具有挑战的光照条件下依然可以正常工作。

事件点云：由事件相机拍摄的原始数据去除极性获得，具有二维空间和时间维度信息，与传统激光雷达点云相比，缺乏深度信息。传统点云是由同一时刻下(x,y,z)三个方向的点组成，而事件点云是由二维空间(x,y)的光强变化随着时间t的增长而形成。

稀疏点云：在逆向工程中通过测量仪器得到的产品外观表面的点数据集合也称之为点云，稀疏点云是指使用三维坐标测量机所得到的点数量比较少，点与点的间距也比较大，事件相机采集的事件流数据是一种时空异步的稀疏点云。

小目标通常指在图像分辨率中小于32*32像素或像素占比小于整幅图像2％的目标。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种复杂运动背景下稀疏事件点小目标分割方法，在背景噪声严重的条件下分割出运动的小目标，保留点云的时空信息，确保在三维时空域上得到检测结果。

为解决上述技术问题，本发明所采用的技术方案是：一种复杂运动背景下稀疏事件点小目标分割方法，包括以下步骤：

S1、将稀疏事件点数据切分为多个子事件点云，并在水平方向对子事件点云进行投影，生成投影图像；S2、计算各个投影图像与模板图像之间的偏移量，利用所述偏移量校正对应的子事件点云；

S3、对所有校正后的子事件点云进行最近邻聚类，筛选目标备选点，得到目标备选点集；

S4、对所述目标备选点集中的任意一个事件点，选取与该事件点距离最近的目标备选点集中的部分事件点，并按时间排列选取的事件点，计算时间顺序最早和最晚的两个事件点邻域的质心坐标；

S5、计算两个质心的距离，即得到偏移量；

S6、根据所述偏移量与运动分割阈值的关系，确定目标分割结果。

本发明可以针对运动平台，即相机在拍摄中始终保持运动，因此产生的背景噪声中绝大部分为固定不动的背景，其偏移量与相机的运动速度相关，仅在水平及垂直方向上有偏移。将水平及垂直方向的位移配准后的事件点云，背景噪声事件点将会固定在很小的区域，而目标由于自身也有运动速度，因此在事件点云中依然具有明显的运动特征。在本发明中，S3步骤进行最近邻聚类，通过计算密度，首先抑制了随机噪声点，确保了目标备选点集中只存在时空密度较高的背景噪声事件点和目标事件点。步骤S4～S6通过计算每一个事件点邻域中首尾两点的偏移量，可以判断出该事件点的运动属性，如果偏移量较大，说明该点在短时间内产生了较大位移，为运动目标事件点的概率较高。本发明可以在背景噪声严重的条件下分割出运动的小目标，可以在不损失点云的时空信息条件下，得到三维时空域上的检测结果。

步骤S2的具体实现过程包括：

计算所有投影图像的频谱；

对于任一投影图像，利用该投影图像的频谱，计算该投影图像与模板图像的互功率谱；

对所述互功率谱进行反变换，得到狄拉克函数；

获取所述狄拉克函数的峰值，该峰值的坐标即投影图像与模板图像在x、y方向上的偏移量；

将所述投影图像对应的子事件点云中每个点的坐标对应减去在x、y方向上的偏移量，得到配准后的子事件点云。

真实世界中，相机采集的数据中存在大量的背景杂波，而感兴趣的小目标在数据中占比较低，事件相机采集的稀疏事件点数据中运动小目标在整体数据中比例为1％至2％。在真实世界中，稀疏事件点中包含三类事件点，即由背景移动触发的事件点、相机热噪声触发的事件点以及运动小目标触发的事件点，这三类事件点中背景事件点占比极高，因此对稀疏事件点进行背景事件点对齐，有助于抑制背景的时空特征。本发明的图像配准过程可以抑制背景的时空特征，进一步提高目标分割准确度。

考虑到在复杂背景下，由于大部分杂波干扰点及部分背景的时空域密度较小，邻域聚类方法可以有效抑制此类噪声，因此本发明步骤S3中，选取最近邻聚类结果中时空密集的点集作为目标备选点；所述时空密集的点集为平均欧氏距离小于设定阈值的点集。

本发明中，所述设定阈值为4。实验表明，取设定阈值为4可保证在目标没有漏检的情况下，滤除大量噪声，进一步提高了目标分割精度和准确性。

步骤S3之后，S4之前，还包括：

压缩所述目标备选点集；

则S4替换为：

对压缩后的目标备选点集中的任意一个事件点，选取与该事件点距离最近的目标备选点集中的部分事件点，并按时间排列选取的事件点，计算时间顺序最早和最晚的两个事件点邻域的质心坐标。

本发明中，压缩操作可以让事件点在时域上表现出稠密特性，配准后的背景噪声点由于没有明显的运动特征，在时空点云中沿时间方向会表现出水平不动的特性，而运动的目标会在时间方向上有明显的水平坐标变化。因此，压缩操作可以确保目标分割更加容易实现，分割精度更高。

本发明中，压缩所述目标备选点集的具体实现过程包括：将所述目标备选点集时间维度T除以设定值，得到压缩后的目标备选点集。

步骤S6的具体实现过程包括：当所述偏移量大于运动分割阈值时，则该偏移量对应的事件点为目标事件点。

首尾两端的质心坐标水平方向的偏移量代表了选取的事件点的运动倾向，对于背景产生的事件点，偏移量会非常小，而运动的目标触发的事件点会产生比较明显的水平偏移。本发明根据目标的运动状态设定合适的运动分割阈值，当偏移量大于分割阈值时，可认为这一个事件点运动倾向符合目标的运动特性。根据设定的运动分割阈值，对备选点集进行分割，即得到了分割结果。

上述目标事件点即分割结果点集中的点。

本发明中偏移量对应的事件点是指步骤S4中的“目标备选点集中的任意一个事件点”。

对目标备选点集中的其余事件点，均进行S4～S6的操作，即可得到完整的分割结果。

本发明中，所述运动分割阈值设定为5。根据统计的目标特性，设定运动分割阈值k＝5时，可以得到最好的分割结果，即当偏移量i＞5时，将选取的事件点判定为目标事件点。

作为一个发明构思，本发明还提供了一种终端设备，包括存储器、处理器及存储在存储器上的计算机程序；所述处理器执行所述计算机程序，以实现本发明上述方法的步骤。

作为一个发明构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序/指令；所述计算机程序/指令被处理器执行时实现本发明上述方法的步骤。

与现有技术相比，本发明所具有的有益效果为：

1)本发明解决了因背景运动导致的稀疏事件点云数据中背景杂波较多，目标事件点占比少且特征不明显的复杂背景条件下，运动小目标难以检出的问题。

2)本发明基于投影图像进行点云配准，此方法针对运动平台下产生的复杂背景进行配准，增大了目标与背景间的差异，有利于运动分割时区分目标事件点与背景事件点，提高了目标分割精度。

3)针对目标与背景的差异，本发明通过偏移量来判断目标运动特性，可以在背景噪声严重的条件下分割出运动的小目标，可以在不损失点云的时空信息条件下，得到三维时空域上的检测结果。

附图说明

图1为本发明实施例方法原理图；

图2为本发明实施例事件点云配准流程图；

图3为本发明实施例目标运动分割整体流程图。

具体实施方式

如图1所示，本发明实施例方法包括以下步骤：

步骤1，对输入数据进行投影，主要任务是，对稀疏事件点数据按照固定时间间隔进行切分，生成多个子事件点云，并向水平方向投影生成二值图像(即投影图像)。

步骤2，投影图像配准，操作为通过图像间互功率谱的能量特性找出图像间的背景重叠区域，两幅图像互功率谱相位的反变换，总是含有一个相关峰值代表两幅图像的配准点，两幅图像互功率谱相位的反变换还有一些非相关峰值，相关峰值直接反映两幅图像间的一致程度。相关峰的坐标即两幅图像的在(x,y)方向上的偏移量(dx,dy)。

步骤3，将计算得到的背景点偏移量带回对应的子事件点云，校正点云中所有事件点。本发明实施例中，将计算得到的背景点偏移量带回对应的子事件点云的具体实现过程包括：生成子事件点云时，一个子事件点云进行投影操作生成一张图像，这一张图像与模板图像通过步骤2的操作，可以计算得到该图像与模板图像之间的(x,y)方向偏移量，将用于生成这幅图像的子事件点云中所有点的x,y坐标相应的减去偏移量，即得到校正后的事件点。

步骤4，对校正后的事件点云进行最近邻聚类，筛选时空密集的目标备选点，在复杂背景下，由于大部分杂波干扰点及部分背景的时空域密度较小，邻域聚类方法可以有效抑制此类噪声。

该步骤是配准的最后一步，目的是将配准后数据的长度恢复成输入时的长度，确保没有信息丢失。例如，假如事件点云中有10000个点，配准时切成了10个子事件点云，经过配准后，这10个子事件点云的x,y坐标变了，但是一共还是10000个点，把这10000个点再合并成一个事件点云。

本发明实施例的时空密集指的是点云中点的密度，本发明实施例中使用的标准是，最近邻聚类中，平均欧氏距离小于4则认定为时空密集。

步骤5，将备选点集(即目标备选点集)的时域进行压缩，压缩操作可以让事件点在时域上表现出稠密特性，配准后的背景噪声点由于没有明显的运动特征，在时空点云中沿时间方向会表现出水平不动的特性，而运动的目标会在时间方向上有明显的水平坐标变化。

步骤6，根据目标的运动速度不同，水平坐标的变化范围也不同，对压缩后的备选点集中任一事件点，选取距离最近的部分事件点，将这些事件点按时间排序，计算这一点集首尾两端点邻域的质心坐标。

步骤7，首尾两端的质心坐标水平方向的偏移量代表了该事件点的运动倾向，对于背景产生的事件点，偏移量会非常小，而运动的目标触发的事件点会产生比较明显的水平偏移。根据目标的运动状态设定合适的运动分割阈值，当偏移量大于分割阈值时，可认为这一个事件点运动倾向符合目标的运动特性。根据设定的运动分割阈值，对备选点集进行分割得到分割结果。

在本发明实施例一种实现方式中，事件点云配准的步骤包括；

数据切片，将间隔Δt＝30ms的稀疏事件点数据切分形成一个事件点云，对于每个子事件点云中所有事件点的水平坐标(x,y)进行提取，所有存在事件点的水平坐标记为1，否则为0，生成二值图像f(x,y)，遍历所有子事件点云，生成投影图像序列。

在本发明实施例一种实现方式中，点云配准模块执行包括以下步骤的操作：

将生成的二值图像中选取第一张f₁(x,y)作为模板图像，其余图像f(x,y)与模板图像存在大小为(dx,dy)的刚性偏移量：

f(x,y)＝f₁(x-dx,y-dy)

对所有图像进行傅里叶变换得到其频谱F(u,v),计算除模板外的每一张投影图像与模板图像的互功率谱：

对互功率谱进行反变换即可得到狄拉克函数：

IFFT(H(u,v))＝δ(u-dx,v-dy)

狄拉克函数的相关峰值直接反映了两幅图像间的相似程度，相关峰的能量即为对应重叠区域所占百分比，因此，峰值坐标max(δ)即为背景点偏移量(dx,dy)。

将计算的偏移量带回到对应的事件点云中，将所有事件点均在水平方向上校正，遍历所有事件点云，即可得到配准结果。

在本发明实施例一种实现方式中，事件点云配准流程图如图2所示。

在本发明实施例一种实现方式中，目标备选点检测模块执行包括如下步骤的操作：

最近邻聚类，此方法可以有效的将时空域中密集的点分割出来，根据事件点数据中背景的复杂程度，选取每个距离每个事件点最近的20至50个事件点为最近邻域，复杂程度越高，选取事件点越多。根据目标触发事件点的稠密特征，离目标事件点的欧式距离超过10以上的事件点可判定为噪声点，取聚类阈值为4可保证在目标没有漏检的情况下滤除大量噪声。

在本发明实施例一种实现方式中，小目标运动分割模块执行包括如下步骤的操作：

时域压缩，将目标备选点检测得到的备选点集时间维度T整体除以1000，生成一个时域稠密的事件点云。

对点云中任一事件点，仍然选取其最近20至50个事件点(即备选点集中的部分事件点)邻域，但这一邻域因为时间维度的压缩，与最近邻聚类中选取的事件点邻域不同，这一邻域在时间上的特征被削弱，因此在水平方向上的特征更加明显。

偏移量计算，根据邻域内事件点的触发时间t进行排序，选取首尾两端各n个事件点(例如n＝5，n的取值可以根据实际使用需要设定)，计算这n个事件点的在二维平面上的质心(x,y)，得到首尾两端的质心后，计算这两个质心点的距离i，即为偏移量。偏移量反映了这一事件点在水平方向的运动特征，当偏移量较小时，说明该事件点在二维平面上无明显位移。

根据统计的目标特性，设定运动分割阈值k＝5时，可以得到最好的分割结果，即当偏移量i＞5时，将步骤6中的“备选点集中任一事件点”(即偏移量对应的事件点)判定为目标事件点。

在本发明实施例一种实现方式中，目标运动分割整体流程如图3所示。

运动分割模块输出即为最终的运动小目标分割结果。

如图2，本发明实施例的事件点云配准流程包括：

输入事件数据(事件点云)。

稀疏事件点投影，对事件点云进行时域切分，按照固定时间间隔投影生成二值图像。

投影图像配准，通过计算图像频谱及互功率谱，找出背景噪声的刚性偏移量。

事件点云配准，通过图像的刚性偏移量对事件点云进行偏移校正，以实现事件点云配准。真实世界中，相机采集的数据中存在大量的背景杂波，而感兴趣的小目标在数据中占比较低，事件相机采集的稀疏事件点数据中运动小目标在整体数据中比例为1％至2％。在真实世界中，稀疏事件点中包含三类事件点，即由背景移动触发的事件点、相机热噪声触发的事件点以及运动小目标触发的事件点，这三类事件点中背景事件点占比极高，因此对稀疏事件点进行背景事件点对齐，有助于抑制背景的时空特征。

本发明实施例一种实现方式中，通过背景噪声抑制模块实现最近邻聚类，即根据目标运动速度设定阈值，对事件点云进行最近邻聚类，剔除明显异常于目标特征的背景点。

如图3，本发明实施例的运动小目标分割模块主要包括：

时域压缩，将事件点云进行时域压缩，但不进行下采样，突出时间特征的同时保留完整数据；时域压缩时采用的事件点云为备选事件点；

事件点水平偏移量计算，选任一事件点并计算首尾两端邻域事件点集的质心，进而得到水平方向的偏移量；

事件点云分割，根据目标的运动速度设定分割阈值，剔除备选事件点集中运动异常点，得到最终的分割结果。

Claims

1.一种复杂运动背景下稀疏事件点小目标分割方法，其特征在于，包括以下步骤：

S1、将稀疏事件点数据切分为多个子事件点云，并在水平方向对子事件点云进行投影，生成投影图像；

S2、计算各个投影图像与模板图像之间的偏移量，利用所述偏移量校正对应的子事件点云；

S5、计算两个质心的距离，即得到偏移量；

2.根据权利要求1所述的复杂运动背景下稀疏事件点小目标分割方法，其特征在于，步骤S2的具体实现过程包括：

计算所有投影图像的频谱；

对所述互功率谱进行反变换，得到狄拉克函数；

3.根据权利要求1所述的复杂运动背景下稀疏事件点小目标分割方法，其特征在于，步骤S3中，选取最近邻聚类结果中时空密集的点集作为目标备选点；所述时空密集的点集为平均欧氏距离小于设定阈值的点集。

4.根据权利要求3所述的复杂运动背景下稀疏事件点小目标分割方法，其特征在于，所述设定阈值为4。

5.根据权利要求1所述的复杂运动背景下稀疏事件点小目标分割方法，其特征在于，步骤S3之后，S4之前，还包括：

压缩所述目标备选点集；

则S4替换为：

6.根据权利要求5所述的复杂运动背景下稀疏事件点小目标分割方法，其特征在于，压缩所述目标备选点集的具体实现过程包括：将所述目标备选点集时间维度T除以设定值，得到压缩后的目标备选点集。

7.根据权利要求1所述的复杂运动背景下稀疏事件点小目标分割方法，其特征在于，步骤S6的具体实现过程包括：

当所述偏移量大于运动分割阈值时，则该偏移量对应的事件点为目标事件点。

8.根据权利要求7所述的复杂运动背景下稀疏事件点小目标分割方法，其特征在于，所述运动分割阈值设定为5。

9.一种终端设备，包括存储器、处理器及存储在存储器上的计算机程序；其特征在于，所述处理器执行所述计算机程序，以实现权利要求1～8之一所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序/指令；其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1～8之一所述方法的步骤。