CN117152199A - 一种动态目标运动矢量估计方法、系统、设备及存储介质 - Google Patents
一种动态目标运动矢量估计方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN117152199A CN117152199A CN202311116077.0A CN202311116077A CN117152199A CN 117152199 A CN117152199 A CN 117152199A CN 202311116077 A CN202311116077 A CN 202311116077A CN 117152199 A CN117152199 A CN 117152199A
- Authority
- CN
- China
- Prior art keywords
- motion
- foreground
- point cloud
- motion vector
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000011218 segmentation Effects 0.000 claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 230000008030 elimination Effects 0.000 claims description 7
- 238000003379 elimination reaction Methods 0.000 claims description 7
- 230000008447 perception Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种动态目标运动矢量估计方法、系统、设备及存储介质，涉及无人驾驶环境感知技术领域。所述方法包括：获取目标区域的连续帧点云图；将连续帧点云图投影到距离图像中，得到投影图像；提取投影图像中的前景点和背景点，并通过背景点消除自运动，得到消除自运动后的前景点云的距离图像；对相邻帧距离图像作差，并在时间上的特征信息进行融合，得到融合特征；对融合特征进行运动分割，得到运动目标；对分割后的运动目标进行实例聚类，并在时间上进行关联，得到实例间的时间关联信息；根据时间关联信息计算实例间的核心点偏移量，并根据ICP配准方法和核心点偏移量进行运动矢量估计，得到动态目标的运动矢量。本发明能够通过对运动目标进行矢量估计，实现精确跟踪。
Description
技术领域
本发明涉及无人驾驶环境感知技术领域，特别是涉及一种动态目标运动矢量估计方法、系统、设备及存储介质。
背景技术
无人驾驶车辆作为智能机器人中重要的一类，已经成为世界各国高科技领域研究的战略性目标，在民用领域和军用领域都引起了广泛的研究，支撑车辆安全行驶的一大关键就是环境感知。环境感知相当于智能车的眼和耳，通过环境感知辨别自身周围的环境信息，是保证智能车安全性最重要的因素之一。而激光雷达已成为无人驾驶环境感知中不可替代的关键主流传感器，可以实时对周围场景进行地图三维重建，为规划及控制模块提供必要的目标场景信息。
通过对现实道路环境的观察和公开点云数据集的分析可知，通常情况下，道路环境中行人、自行车、汽车等交通参与者在激光雷达可探测范围内只占据极少的空间区域，大部分区域为建筑、道路、植被等交通场景要素。而对交通参与者比对交通场景要素的语义分割和运动状态估计具有同等甚至更高的需求，因此，确保能准确对交通参与者的运动矢量进行估计是非常重要的。
由于现有的场景流的估计方法大多是对两帧点云直接进行估计，网络结构复杂，且运算量非常庞大，但是在激光雷达的扫描场景中，通常情况下，运动的目标，例如环境中行人、自行车、汽车等会提供场景流信息，但是这些点在激光雷达可探测范围内只占据极少的空间区域，大部分的点被建筑、道路、植被等静态区域覆盖，无法实现精准感知。
发明内容
本发明的目的是提供一种动态目标运动矢量估计方法、系统、设备及存储介质，能够通过对运动目标进行矢量估计，实现对运动目标的精确跟踪。
为实现上述目的，本发明提供了如下方案：
一种动态目标运动矢量估计方法，包括：
获取目标区域的连续帧点云图；
将所述连续帧点云图投影到距离图像中，得到投影图像；
提取所述投影图像中的前景点和背景点，并利用所述背景点对所述前景点进行自运动补偿，得到消除自运动后的前景点点云；
对每相邻两帧的所述前景点点云的距离图像作差，并将作差后的点云在时间上的特征信息进行融合，得到融合特征；
利用分割卷积网络对所述融合特征进行运动分割，得到运动目标；
利用时空聚类算法，对所述运动目标进行实例聚类，并在时间上进行关联，得到实例间的时间关联信息；
根据所述时间关联信息计算实例间的核心点偏移量，并根据ICP配准方法和所述核心点偏移量进行运动矢量估计，得到动态目标的运动矢量。
可选地，在将所述连续帧点云图投影到距离图像中，得到投影图像之前，还包括：
利用设定剔除条件，对所述连续帧点云图中的无用点云进行剔除；所述设定剔除条件为：判断待测点云的三轴方向点是否为Nan；若是，则确定待测点云为无用点云，进行剔除。
可选地，将所述连续帧点云图投影到距离图像中，得到投影图像，具体包括：
将所述连续帧点云图中的点云坐标，由激光雷达坐标系下的坐标转换为球面坐标系下的坐标，并根据距离图像的高度和宽度得到所述点云坐标投影到距离图像中的坐标，确定投影图像。
可选地，提取所述投影图像中的前景点和背景点，并利用所述背景点对所述前景点进行自运动补偿，得到消除自运动后的前景点点云，具体包括：
利用基于U-net网络结构的前景分割模块，对所述投影图像进行提取，得到前景点分数；所述前景分割模块包括依次连接的编码层、第一卷积层、下采样层、第二卷积层、解码层、上采样拼接层和第三卷积层；
将所述前景点分数与设定阈值进行对比，确定前景点和背景点；
对所述背景点进行随机采样，根据相邻两帧采样点云确定自运动矩阵，并利用所述自运动矩阵对所述前景点进行自运动补偿，得到消除自运动后的前景点点云。
可选地，利用时空聚类算法，对所述运动目标进行实例聚类，并在时间上进行关联，得到实例间的时间关联信息，具体包括：
将所述运动目标作为算法的输入数据，并将第一帧作为源帧，下一帧作为目标帧，对源帧进行聚类后，在时间维度上融合到目标帧中，得到实例间的时间关联信息，根据得到的实例间时间关联信息。
本发明还提供了一种动态目标运动矢量估计系统，包括：
点云采集单元，用于获取目标区域的连续帧点云图；
投影单元，用于将所述连续帧点云图投影到距离图像中，得到投影图像；
前景分割单元，用于提取所述投影图像中的前景点和背景点，利用所述背景点对所述前景点进行自运动补偿，得到消除自运动后的前景点点云；
特征融合单元，用于对每相邻两帧的所述前景点点云的距离图像作差，并将作差后的点云在时间上的特征信息进行融合，得到融合特征；
运动分割单元，用于利用分割卷积网络对所述融合特征进行运动分割，得到运动目标；
实例聚类单元，用于利用时空聚类算法，对所述运动目标进行实例聚类，并在时间上进行关联，得到实例间的时间关联信息；
运动矢量估计单元，用于根据所述时间关联信息计算实例间的核心点偏移量，并根据ICP配准方法和所述核心点偏移量进行运动矢量估计，得到动态目标的运动矢量。
本发明还提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据上述的动态目标运动矢量估计方法。
本发明还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的动态目标运动矢量估计方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种动态目标运动矢量估计方法、系统、设备及存储介质，所述方法包括获取目标区域的连续帧点云图；将连续帧点云图投影到距离图像中，得到投影图像；提取投影图像中的前景点和背景点，并通过背景点进行前景点的消除自运动，得到前景点点云；对前景点点云的距离图像作差，并在时间上的特征信息进行融合，得到融合特征；对融合特征进行运动分割，得到运动目标；对运动目标进行实例聚类，并在时间上进行关联，得到实例间的时间关联信息；根据时间关联信息计算实例间的核心点偏移量，并根据ICP配准方法和核心点偏移量进行运动矢量估计，得到动态目标的运动矢量。本发明能够通过对运动目标进行矢量估计，实现精确跟踪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明动态目标运动矢量估计方法的流程示意图；
图2为本实施例中采集的点云图；
图3为本实施例中点云投影到距离图像的示意图；
图4为本实施例中实例在时间上的关联示意图；
图5为本实施例中运动矢量估计结果示意图；
图6为本实施例中运动矢量的整体技术效果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种动态目标运动矢量估计方法、系统、设备及存储介质，能够通过对运动目标进行矢量估计，实现对运动目标的精确跟踪。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供了一种动态目标运动矢量估计方法，包括：
步骤100：获取目标区域的连续帧点云图。
步骤200：将所述连续帧点云图投影到距离图像中，得到投影图像；具体包括：
将所述连续帧点云图中的点云坐标，由激光雷达坐标系下的坐标转换为球面坐标系下的坐标，并根据距离图像的高度和宽度得到所述点云坐标投影到距离图像中的坐标，确定投影图像。
步骤300：提取所述投影图像中的前景点和背景点，并利用所述背景点对所述前景点进行自运动补偿，得到消除自运动后的前景点点云；具体包括：
利用基于U-net网络结构的前景分割模块，对所述投影图像进行提取，得到前景点分数；所述前景分割模块包括依次连接的编码层、第一卷积层、下采样层、第二卷积层、解码层、上采样拼接层和第三卷积层；将所述前景点分数与设定阈值进行对比，确定前景点和背景点；对所述背景点进行随机采样，根据相邻两帧采样点云确定自运动矩阵，并利用所述自运动矩阵对所述前景点进行自运动补偿，得到消除自运动后的前景点点云。
步骤400：对每相邻两帧的所述前景点点云的距离图像作差，并将作差后的点云在时间上的特征信息进行融合，得到融合特征；
步骤500：利用分割卷积网络对融合特征进行运动分割，得到运动目标；
步骤600：利用时空聚类算法，对所述运动目标进行实例聚类，并在时间上进行关联，得到实例间的时间关联信息；具体包括：
将所述运动目标作为算法的输入数据，并将第一帧作为源帧，下一帧作为目标帧，对源帧进行聚类后，在时间维度上融合到目标帧中，得到实例间的时间关联信息，根据得到的实例间时间关联信息。
步骤700：根据所述时间关联信息计算实例间的核心点偏移量，并根据ICP配准方法和所述核心点偏移量进行运动矢量估计，利用实例的核心点偏移量和点云配准，得到动态目标的运动矢量。
在步骤200之前，还包括：
利用设定剔除条件，对所述连续帧点云图中的无用点云进行剔除；所述设定剔除条件为：判断待测点云的三轴方向点是否为Nan；若是，则确定待测点云为无用点云，进行剔除。
基于上述技术方案的目的是为了能够计算出环境中的动态目标运动矢量，用于支持无人驾驶车辆完成避障、规划、控制等任务。动态目标，也就是环境中的交通参与者，例如道路场景中行人、车辆等在激光雷达可探测范围内只占据极少的空间区域，但是道路参与者(动态目标)的对于智能汽车车体的相对位置变化会使碰撞概率变得更大，将周围环境中的动态目标分割出来并进行预测和估计，可以更加有效地支持避免碰撞和规划的任务。
现有的点云场景流大多是参考都是基于点的特征网络并在其上进行的改进，预测的是整个场景中的场景流，也就是每个点云的三维运动场，在实际场景中，场景流信息在去除自身运动后，环境中的运动矢量通常由场景中的运动目标所提供的，静态点包含自身运动的信息，然而，动态目标的点云数据量只占到点云扫描场景中的极少一部分，大多数点云数据被非动态目标所占据，例如地面、植被等等，往往动态目标对于车辆碰撞的概率会更大，也更加难以预测，非动态目标数据也会对动态目标的计算造成影响，加上大多数场景中只需要知道动态目标的运动矢量，运动矢量的信息大多是由运动目标所提供的。
为了解决上面提出的问题，本实施例提出了一种基于三维点云的动态目标运动矢量估计方法，可以快速的在线计算出环境中点云动态目标的运动矢量。该方法通过输入相邻帧点云数据，并将他们投影到距离图像，将两帧距离图像作差后融合时间序列信息，然后对两帧点云进行特征提取，通过深度网络得到前景点，把前景点目标进行实例化并在时间上进行关联，最后估计每个实例的运动矢量，并对各步骤进行分别说明。
S1、输入连续帧点云，并初始化。
S2、将连续帧点云分别投影到距离图像中。
S3、加入一个前景分割模块，提取前景和背景点信息。
S4、对背景点信息进行采样，用背景点进行自运动估计的消除。
S5、消除自运动后，对前景点的两帧前景点点云的距离图像作差，提取时间信息。
S6、融入作差后的点云在时间上的特征信息。
S7、将融合后的特征通过距离投影的分割卷积网络。
S8、将得到的运动分割结果作为运动矢量估计的输入，将输入的运动目标进行时空聚类，聚类成每个实例并在实例上进行关联。
S9、对点云中的目标实例化并在时空上进行关联后，对核心点的偏移以及ICP配准方法对每个实例目标进行运动矢量估计。
进一步S1中的点云输入进来，因为一些点云光束可能在雷达光速射程范围内没有碰到障碍物。会返回得到无穷远的点。此时根据判断三轴方向点是否为Nan判断是否需要剔除。
进一步S2中的将激光雷达的64线按照垂直视场角分为上下两个部分，up＝+2°、down＝-24.8°，垂直视场角为26.8°，垂直角分辨率为0.4°，水平视场角为360°，水平角分辨率为0.08°-0.35°，所以投影到距离图像的高度H＝64，按照最大的角分辨率0.35°计算，距离图像的宽度W＝360/0.35＝1028，一般会对输入特征图做多次2倍下采样，所以取1024，距离图像的尺寸为1024*64。那么球面坐标系主要根据以下公式进行计算：
θ＝arctan(y/x)
其中，x、y和z分别为点云点在激光雷达坐标系下的点云点的坐标。为了适应变化，将其进行规范化。
yaw＝(θ+π)/2π
继续通过下面公式得到得到点云点投到图像上的坐标。
col＝yaw*W
raw＝pitch*H
即可将点云3d点投到一张range图像中，图像像素值即为点云点的距离：
进一步的S3是采用U-net提取距离图像的特征信息，将S2中的到的距离图像作为输入，先将图像像素值进行归一化得到：
Nnormolize＝Normalize (Xinput)
其中，Xinput为输入点云的像素值。
然后对像素进行编码，第一次卷积：
C1＝Relu(Conv2D(Xnormolize))
下采样：
S1＝MaxPooling(C1)
第二次卷积：
C2＝Relu(Conv2D(S1))
然后进行解码，上采样、拼接后在做卷积：
U1＝Upstanding(C2)
M1＝cat(U1，C2)
C3＝Relu(Conv2D(M1))
最后进行输出得到前景点的分数Sf：
Cout＝Conv2D(C3)
上述步骤中，Normalize表示归一化操作，Conv2D表示二维卷积操作表示MaxPooling最大池化操作，Upstanding表示上采样操作，cat表示拼接操作，Relu表示激活函数。
进一步的S4是通过S3得到的前景点分数，做一个阈值0.5，将低于阈值的点当做背景点，高于阈值的点当做前景点，我们在所有的背景点中进行采样，得到N个点，对于相邻两帧P1、P2，我们使用配准算法得到其自运动矩阵：
进一步的S5是将两帧点云作差，我们对前后两帧点云C1和C2的距离图像R1和R2进行作差，并归一化。
其中，代表在第l帧的第u，v上的像素值。
进一步的S6是将点云投影后的特征{x,y,z,i,r}中加入时间维度扩充到{x,y,z,r,i,d}，其中d是上一步得到的深度距离的归一化值。
进一步的S7，依然是通过融入时间信息后的特征通过类似于Rangenet的稳定性能的编码器解码器结构，编码器的输出为运动目标的分数。
进一步的S8，将运动目标作为输入，将第一帧作为源帧，最后一帧作为目标帧。能够把实例在时间上进行关联，我们在三维点云的维度上在融合与序列相关的时间维度，此时，我们只保留三维点的四个通道数为{x，y，z，t}，其中x，y，z三个维度为点云在三维空间中的坐标，t为与时间相关的函数，我们可以观察到DBSCAN作为密度聚类时可以很好的分离一帧中的实例部分，但是随着时间变化，实例在进行移动，密度的核心点也会发生偏移，我们无法通过相同的密度核心点去聚类到不同时间帧上的实例点云，为了解决这一问题，我们采用了一种融合时间偏移量的方法。首先，我们在聚类时，对源帧时间维度上的坐标进行聚类，同时利用t通道保存的时间信息关联连续帧中的实例，由于在连续的不同时间帧上密度会发生偏移，但是偏移矢量我们是不知道的，这里为了捕捉到密度偏移后的位置，我们将源帧融入到下一帧中去，再下一帧进行DBSCAN密度聚类以弥补时间维度上带来的密度偏移，并在时间上累计处理，我们通过上述方法即可得到各个实例类，并在聚类操作后把实例在时间帧上进行关联，多帧中的每个实例的点云簇为：
其中，Pcenter为DBSACAN算法的核心点，ε为设置的超参数。
进一步的S9，我们在S8中得到每个实例簇并将他们在时间上进行关联下面，下面我们在时间帧上对每个簇类进行核心点的选取，核心点的偏移一定程度上表示了该刚体实物的运动信息，由于核心点不能代表实例的中心位置，我们在关键帧上同时使用匹配算法算出连续帧之间的位姿矩阵并修正核心点偏移的不确定性，最后矩阵的相关理论方法推断该实例的运动矢量。那么核心点的运动偏移量为：
其中，D()表示在x，y，z上从k→l连续作差，t为相邻连续帧之间的时间差函数。
在核心点偏移的基础上，在关键帧上做数据匹配，将得到的匹配结果在核心点偏移量上的结果做修正，该匹配算法采用ICP(Iterative Closest Point，最近点迭代法)算法进行配准修正，对于源帧PS(第一帧)和目标帧PT(最后一帧)，方法如下：
A.首先设置一个匹配变换矩阵。
B.对于每个迭代步骤：
a.对每个源帧中的每个源点si∈PS，找到在目标点集PT中最近的点tj。
b.构建优化目标函数E：
c.通过对目标函数求导，并令导数为零，解出最优的刚性变换矩阵Tm：
最后得到修正的运动矢量为：
Vm＝Tmt
在核心点偏移的基础上，在关键帧上做数据匹配，将得到的匹配结果在核心点偏移量上的结果做修正，最后得到实例的运动矢量为：
V＝wsVs+wmVm
其中，ws和wm分别为两种结果的权值。
本实施例具有如下有益效果：
依次经由通过激光雷达连续采集得到点云图并将其初始化(如图2所示)、将采集到的点云球面投影到距离图像(如图3所示)、将前景点和背景点区分开，背景点用来自运动估计，并用来完成前景点的自运动补偿任务、通过运动分割后的目标通过本发明中的时空聚类算法进行实例聚类并在时间上进行关联(如图4所示，不同帧的同一实例是相互关联的)、通过匹配和核心点的偏移量进行运动矢量的估计(如图5所示)的步骤，能够很好在点云场景中的估计运动目标的运动矢量，通过场景中的前景点和背景点分开，背景点提供自运动信息，前景点提供实例运动信息，加入了自运动补偿模块，让实例的运动矢量从车体坐标系转换到世界坐标系，最后通过时空聚类方法估计各个实例的运动矢量，技术效果如图6所示，上方为速度矢量，下方为源帧加上运动矢量在时间上的位移矢量在源帧上的比较。
此外，本发明还提供了一种动态目标运动矢量估计系统，包括：
点云采集单元，用于获取目标区域的连续帧点云图；
投影单元，用于将所述连续帧点云图投影到距离图像中，得到投影图像；
前景分割单元，用于提取所述投影图像中的前景点和背景点，利用所述背景点对所述前景点进行自运动补偿，得到消除自运动后的前景点点云；
特征融合单元，用于对每相邻两帧的所述前景点点云的距离图像作差，并将作差后的点云在时间上的特征信息进行融合，得到融合特征；
运动分割单元，用于利用分割卷积网络对所述融合特征进行运动分割，得到运动目标；
实例聚类单元，用于利用时空聚类算法，对所述运动目标进行实例聚类，并在时间上进行关联，得到实例间的时间关联信息；
运动矢量估计单元，用于根据所述时间关联信息计算实例间的核心点偏移量，并根据ICP配准方法和所述核心点偏移量进行运动矢量估计，得到实例的运动矢量。
本发明还提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据上述的动态目标运动矢量估计方法。
本发明还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的动态目标运动矢量估计方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种动态目标运动矢量估计方法，其特征在于，包括：
获取目标区域的连续帧点云图；
将所述连续帧点云图投影到距离图像中，得到投影图像；
提取所述投影图像中的前景点和背景点，并利用所述背景点对所述前景点进行自运动补偿，得到消除自运动后的前景点点云；
对每相邻两帧的所述前景点点云的距离图像作差，并将作差后的点云在时间上的特征信息进行融合，得到融合特征；
利用分割卷积网络对所述融合特征进行运动分割，得到运动目标；
利用时空聚类算法，对所述运动目标进行实例聚类，并在时间上进行关联，得到实例间的时间关联信息；
根据所述时间关联信息计算实例间的核心点偏移量，并根据ICP配准方法和所述核心点偏移量进行运动矢量估计，得到动态目标的运动矢量。
2.根据权利要求1所述的动态目标运动矢量估计方法，其特征在于，在将所述连续帧点云图投影到距离图像中，得到投影图像之前，还包括：
利用设定剔除条件，对所述连续帧点云图中的无用点云进行剔除；所述设定剔除条件为：判断待测点云的三轴方向点是否为Nan；若是，则确定待测点云为无用点云，进行剔除。
3.根据权利要求1所述的动态目标运动矢量估计方法，其特征在于，将所述连续帧点云图投影到距离图像中，得到投影图像，具体包括：
将所述连续帧点云图中的点云坐标，由激光雷达坐标系下的坐标转换为球面坐标系下的坐标，并根据距离图像的高度和宽度得到所述点云坐标投影到距离图像中的坐标，确定投影图像。
4.根据权利要求1所述的动态目标运动矢量估计方法，其特征在于，提取所述投影图像中的前景点和背景点，并利用所述背景点对所述前景点进行自运动补偿，得到消除自运动后的前景点点云，具体包括：
利用基于U-net网络结构的前景分割模块，对所述投影图像进行提取，得到前景点分数；所述前景分割模块包括依次连接的编码层、第一卷积层、下采样层、第二卷积层、解码层、上采样拼接层和第三卷积层；
将所述前景点分数与设定阈值进行对比，确定前景点和背景点；
对所述背景点进行随机采样，根据相邻两帧采样点云确定自运动矩阵，并利用所述自运动矩阵对所述前景点进行自运动补偿，得到消除自运动后的前景点点云。
5.根据权利要求1所述的动态目标运动矢量估计方法，其特征在于，利用时空聚类算法，对所述运动目标进行实例聚类，并在时间上进行关联，得到实例间的时间关联信息，具体包括：
将所述运动目标作为算法的输入数据，并将第一帧作为源帧，下一帧作为目标帧，对源帧进行聚类后，在时间维度上融合到目标帧中，得到实例间的时间关联信息，根据得到的实例间时间关联信息。
6.一种动态目标运动矢量估计系统，其特征在于，包括：
点云采集单元，用于获取目标区域的连续帧点云图；
投影单元，用于将所述连续帧点云图投影到距离图像中，得到投影图像；
前景分割单元，用于提取所述投影图像中的前景点和背景点，利用所述背景点对所述前景点进行自运动补偿，得到消除自运动后的前景点点云；
特征融合单元，用于对每相邻两帧的所述前景点点云的距离图像作差，并将作差后的点云在时间上的特征信息进行融合，得到融合特征；
运动分割单元，用于利用分割卷积网络对所述融合特征进行运动分割，得到运动目标；
实例聚类单元，用于利用时空聚类算法，对所述运动目标进行实例聚类，并在时间上进行关联，得到实例间的时间关联信息；
运动矢量估计单元，用于根据所述时间关联信息计算实例间的核心点偏移量，并根据ICP配准方法和所述核心点偏移量进行运动矢量估计，得到动态目标的运动矢量。
7.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1-5中所述的动态目标运动矢量估计方法。
8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5中所述的动态目标运动矢量估计方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311116077.0A CN117152199B (zh) | 2023-08-30 | 2023-08-30 | 一种动态目标运动矢量估计方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311116077.0A CN117152199B (zh) | 2023-08-30 | 2023-08-30 | 一种动态目标运动矢量估计方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117152199A true CN117152199A (zh) | 2023-12-01 |
| CN117152199B CN117152199B (zh) | 2024-05-31 |
Family
ID=88911324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311116077.0A Active CN117152199B (zh) | 2023-08-30 | 2023-08-30 | 一种动态目标运动矢量估计方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117152199B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060083440A1 (en) * | 2004-10-20 | 2006-04-20 | Hewlett-Packard Development Company, L.P. | System and method |
| CN102156995A (zh) * | 2011-04-21 | 2011-08-17 | 北京理工大学 | 一种运动相机下的视频运动前景分割方法 |
| CN105096338A (zh) * | 2014-12-30 | 2015-11-25 | 天津航天中为数据系统科技有限公司 | 运动目标提取方法及装置 |
| WO2017171658A1 (en) * | 2016-03-31 | 2017-10-05 | Agency For Science, Technology And Research | Object motion detection |
| CN108154520A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于光流与帧间匹配的运动目标检测方法 |
| CN108460779A (zh) * | 2018-02-12 | 2018-08-28 | 浙江大学 | 一种动态环境下的移动机器人图像视觉定位方法 |
| CN111781608A (zh) * | 2020-07-03 | 2020-10-16 | 浙江光珀智能科技有限公司 | 一种基于fmcw激光雷达的运动目标检测方法及系统 |
| CN112233148A (zh) * | 2020-09-14 | 2021-01-15 | 浙江大华技术股份有限公司 | 目标运动的估计方法、设备及计算机存储介质 |
| CN114972423A (zh) * | 2022-05-17 | 2022-08-30 | 中国电子科技集团公司第十研究所 | 一种航拍视频运动目标检测方法及系统 |
| US20220277557A1 (en) * | 2020-05-08 | 2022-09-01 | Quanzhou equipment manufacturing research institute | Target detection method based on fusion of vision, lidar, and millimeter wave radar |
| CN115937520A (zh) * | 2022-12-14 | 2023-04-07 | 南京理工大学 | 基于语义信息引导的点云运动目标分割方法 |
| CN116363171A (zh) * | 2023-02-27 | 2023-06-30 | 长春理工大学 | 一种融合点云与图像信息的三维多目标跟踪方法 |
| WO2023155580A1 (zh) * | 2022-02-17 | 2023-08-24 | 京东鲲鹏(江苏)科技有限公司 | 一种对象识别方法和装置 |
-
2023
- 2023-08-30 CN CN202311116077.0A patent/CN117152199B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060083440A1 (en) * | 2004-10-20 | 2006-04-20 | Hewlett-Packard Development Company, L.P. | System and method |
| CN102156995A (zh) * | 2011-04-21 | 2011-08-17 | 北京理工大学 | 一种运动相机下的视频运动前景分割方法 |
| CN105096338A (zh) * | 2014-12-30 | 2015-11-25 | 天津航天中为数据系统科技有限公司 | 运动目标提取方法及装置 |
| WO2017171658A1 (en) * | 2016-03-31 | 2017-10-05 | Agency For Science, Technology And Research | Object motion detection |
| CN108154520A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于光流与帧间匹配的运动目标检测方法 |
| CN108460779A (zh) * | 2018-02-12 | 2018-08-28 | 浙江大学 | 一种动态环境下的移动机器人图像视觉定位方法 |
| US20220277557A1 (en) * | 2020-05-08 | 2022-09-01 | Quanzhou equipment manufacturing research institute | Target detection method based on fusion of vision, lidar, and millimeter wave radar |
| CN111781608A (zh) * | 2020-07-03 | 2020-10-16 | 浙江光珀智能科技有限公司 | 一种基于fmcw激光雷达的运动目标检测方法及系统 |
| CN112233148A (zh) * | 2020-09-14 | 2021-01-15 | 浙江大华技术股份有限公司 | 目标运动的估计方法、设备及计算机存储介质 |
| WO2023155580A1 (zh) * | 2022-02-17 | 2023-08-24 | 京东鲲鹏(江苏)科技有限公司 | 一种对象识别方法和装置 |
| CN114972423A (zh) * | 2022-05-17 | 2022-08-30 | 中国电子科技集团公司第十研究所 | 一种航拍视频运动目标检测方法及系统 |
| CN115937520A (zh) * | 2022-12-14 | 2023-04-07 | 南京理工大学 | 基于语义信息引导的点云运动目标分割方法 |
| CN116363171A (zh) * | 2023-02-27 | 2023-06-30 | 长春理工大学 | 一种融合点云与图像信息的三维多目标跟踪方法 |
Non-Patent Citations (6)
| Title |
|---|
| KIM, Y等: "Multi-body ICP: Motion Segmentation of Rigid Objects on Dense Point Clouds", 《2015 12TH INTERNATIONAL CONFERENCE ON UBIQUITOUS ROBOTS AND AMBIENT INTELLIGENCE (URAI)》, 3 August 2016 (2016-08-03) * |
| YUAN, JIANYING等: "Independent Moving Object Detection Based on a Vehicle Mounted Binocular Camera", 《IEEE SENSORS JOURNAL》, 23 May 2021 (2021-05-23) * |
| 张杰;周军;: "一种改进ICP算法的移动机器人激光与视觉建图方法研究", 机电工程, no. 12, 18 December 2017 (2017-12-18) * |
| 杨慧;张宝辉;沙涛;王东京;王润宇;: "地空背景下红外弱小运动目标检测", 红外技术, no. 05, 20 May 2018 (2018-05-20) * |
| 潘小鹍: "基于语义概率预测的动态场景单目视觉SLAM", 《中国图象图形学报》, 16 July 2023 (2023-07-16) * |
| 詹煜欣;董文永;: "基于对极几何约束的动态背景下运动目标检测", 计算机应用研究, no. 11, 12 December 2017 (2017-12-12) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117152199B (zh) | 2024-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111862672B (zh) | 基于顶视图的停车场车辆自定位及地图构建方法 | |
| Song et al. | Real-time obstacles detection and status classification for collision warning in a vehicle active safety system | |
| CN108647646B (zh) | 基于低线束雷达的低矮障碍物的优化检测方法及装置 | |
| CN111862673B (zh) | 基于顶视图的停车场车辆自定位及地图构建方法 | |
| CN110569704A (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| CN111563415A (zh) | 一种基于双目视觉的三维目标检测系统及方法 | |
| JP6574611B2 (ja) | 立体画像に基づいて距離情報を求めるためのセンサシステム | |
| CN113781562B (zh) | 一种基于道路模型的车道线虚实配准和自车定位方法 | |
| CN114120075B (zh) | 一种融合单目相机和激光雷达的三维目标检测方法 | |
| CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
| CN112257668A (zh) | 主辅路判断方法、装置、电子设备及存储介质 | |
| CN115936029A (zh) | 一种基于二维码的slam定位方法及装置 | |
| Geiger et al. | Object flow: A descriptor for classifying traffic motion | |
| CN116403191A (zh) | 一种基于单目视觉的三维车辆跟踪方法、装置和电子设备 | |
| Zhang et al. | Front vehicle detection based on multi-sensor fusion for autonomous vehicle | |
| CN107944350A (zh) | 一种基于外观和几何信息融合的单目视觉道路识别算法 | |
| CN117115690A (zh) | 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统 | |
| Chun-Zhao et al. | Drivable road boundary detection for intelligent vehicles based on stereovision with plane-induced homography | |
| CN114648639B (zh) | 一种目标车辆的检测方法、系统及装置 | |
| CN117152199B (zh) | 一种动态目标运动矢量估计方法、系统、设备及存储介质 | |
| Xiong et al. | A 3d estimation of structural road surface based on lane-line information | |
| CN115457132A (zh) | 基于双目立体相机定位栅格地图的方法 | |
| CN112989978A (zh) | 基于高精度地图的驾驶辅助识别方法 | |
| Akın et al. | Challenges in determining the depth in 2-d images | |
| Amendola et al. | Edge-distributed fusion of camera-LiDAR for robust moving object localization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |