CN117557599B - 一种3d运动物体追踪方法及系统、存储介质 - Google Patents
一种3d运动物体追踪方法及系统、存储介质 Download PDFInfo
- Publication number
- CN117557599B CN117557599B CN202410048656.4A CN202410048656A CN117557599B CN 117557599 B CN117557599 B CN 117557599B CN 202410048656 A CN202410048656 A CN 202410048656A CN 117557599 B CN117557599 B CN 117557599B
- Authority
- CN
- China
- Prior art keywords
- feature
- point
- scene
- descriptors
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000013507 mapping Methods 0.000 claims abstract description 29
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 238000012216 screening Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 19
- 230000033001 locomotion Effects 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
本发明提出了一种3D运动物体追踪方法及系统、存储介质，以结合纹理图像信息的物体特征表达能力和点云的3D位置感知能力的优势，来整体提升3D运动物体的追踪能力。其中该方法步骤包括：建立数据帧中场景图像的像素点，与场景点云的三维点的时空映射关系；提取场景图像中的特征点及其特征描述子；将场景图像中的各个特征点与其特征描述子进行编码，获得基于位置信息的新特征描述子；对场景点云做聚类分割，获取聚类集合；根据时空映射关系筛选出聚类集合中对应的目标特征点；匹配相邻数据帧之间，新特征描述子相似的目标特征点，以归于相同目标。
Description
技术领域
本发明涉及计算机视觉技术，尤其涉及结合图像纹理信息及点云技术来追踪3D运动物体的方法及系统、存储介质。
背景技术
现有3D运动物体追踪技术，主要基于视觉传感器，对时间序列的单个或多个运动物体，在三维空间中的位置和姿态，进行实时识别与跟踪。在无人驾驶汽车等自动化领域中，3D运动物体追踪技术，可以检测和跟踪周围车辆和行人的运动状态。该信息在后续无人汽车的路径规划中，为预测运动物体在未来一段时间的运动状态，提供了依据，以供引导无人汽车实现更为智能的运动轨迹及避障方式。
目前借助于利用纹理图像的特征表达能力，当前主流的追踪研究方法都是基于彩色图像信息来实现，例如根据技术方向来分，主要有光流法，即通过计算视频序列中相邻帧之间的像素变化来估计物体运动，因此光流法的思路简单有效，但也有一些局限性，如不适用于对快速运动的物体和复杂背景的处理。而特征提取和匹配法，该方法首先从图像中提取出具有代表性的特征，进而根据这些特征追踪物体的运动。其中传统的特征匹配方法包括SIFT（Scale-Invariant Feature Transform）、SURF（Speeded Up Robust Features）和ORB（Oriented FAST and Rotated BRIEF）等特征检测器和描述符。然而特征匹配方法的缺陷在于其，往往只能关注单个特征点的匹配与跟踪，容易出现相邻帧特征匹配失败导致的跟踪丢失问题。
此外，在深度学习的感知技术方面，YOLO（You Only Look Once），Faster R-CNN（Region Convolutional Neural Networks）等神经网络模型，为图像识别和目标追踪提供了新的解决方案。基于深度学习的追踪方法建立在物体准确识别基础上，因此对训练样本以外物体的追踪效果不佳。同时基于图像的追踪方法无法得到运动物体的真实位置和运动方法，往往无法为无人汽车的轨迹规划提供依据。
另一方面，由于三维点云是当前高效获取空间三维信息的基础，但是受限于点云数据中只有物体的空间位置信息，特征表达能力弱。因此直接从点云信息中实现目标物体的识别与追踪相对比较困难。同时由于点云数据量比较大，想要满足运动物体追踪的时序性要求，会对计算性能有着极大的考验。
鉴于上述现有技术存在的种种不足，发明人认为如果能同时利用纹理图像信息的物体特征表达能力和点云的3D位置感知能力，就能整体提升3D运动物体的追踪能力。
发明内容
为此，本发明的主要目的在于提供一种3D运动物体追踪方法及系统、存储介质，以结合纹理图像信息的物体特征表达能力和点云的3D位置感知能力的优势，来解决背景技术中现有技术的缺陷。
为了实现上述目的，根据本发明的第一个方面，提供了一种3D运动物体追踪方法，步骤包括：
建立数据帧中场景图像的像素点，与场景点云的三维点的时空映射关系；
提取场景图像中的特征点及其特征描述子；将场景图像中的各个特征点跟其他相似特征点的位置关系与其特征描述子进行编码，获得基于位置信息的新特征描述子，步骤包括：将场景图像帧中每个特征点的位置坐标和特征点分数通过多层感知器进行处理，以对特征点坐标进行维度扩充后，与对应的特征描述子相加以得到新特征描述子；
对场景点云做聚类分割，获取聚类集合；根据时空映射关系筛选出聚类集合中对应的目标特征点；
匹配相邻数据帧之间，新特征描述子相似的目标特征点，以归于相同目标。
在可能的优选实施方式中，所述3D运动物体追踪方法的步骤还包括：通过计算各
新特征描述子的相似度，来整合当前场景图像中每个特征点与其他特征点的位置信息，以
更新各特征点的新特征描述子，步骤包括：通过感知器处理新特征描述子，以获取查
询特征、关键点特征和用途特征，以用于查找相似的特征点；根据每个新特征描述子
的查询特征，计算其与其他特征点的关键点特征的相似度得分：
，后根据得分对用途特征加权，对加权后的用途特征整合到查询特征
上，作为第i个特征描述子的优化量以对应更新各新特征描述子。
在可能的优选实施方式中，所述3D运动物体追踪方法的步骤还包括：通过计算相
邻数据帧场景图像之间新特征描述子的相似度，来整合相邻数据帧场景图像之间各特征点
的位置信息，以更新各相邻数据帧场景图像中各特征点的新特征描述子，步骤包括：根据每
个新特征描述子的查询特征，计算其与相邻数据帧场景图像中，每个特征点新特征描述
子的关键点特征的相似度得分：
以对用途特征加权，对加权后的用途特征整合到查询特征上作为第i个特征
描述子的优化量以对应更新各新特征描述子。
在可能的优选实施方式中，其中对场景点云做聚类分割，获取聚类集合的步骤包括：
将场景点云帧网格化分割，计算各网格内点云的法向方向；
将相邻且法向方向基本一致的网格聚类；将聚类网格内的点云记为聚类集合。
在可能的优选实施方式中，其中根据时空映射关系筛选出聚类集合中对应的目标特征点的步骤包括：
根据时空映射关系，获取聚类集合在场景图像上的映射点，以建立凸包；
将处于凸包内的各特征点记为目标特征点。
为了实现上述目的，根据本发明的第二个方面，还提供了一种3D运动物体追踪方法，步骤包括：
建立数据帧中场景图像的像素点，与场景点云的三维点的时空映射关系；
提取场景图像中的特征点及其特征描述子；将场景图像中的各个特征点跟其他相似特征点的位置关系与其特征描述子进行编码，获得基于位置信息的新特征描述子；
对场景点云做聚类分割，获取聚类集合；根据时空映射关系筛选出聚类集合中对应的目标特征点；
匹配相邻数据帧之间，新特征描述子相似的目标特征点，以归于相同目标；
为聚类集合建立包围盒，取得包围盒参数信息；根据相邻数据帧的时间差及包围盒参数信息，计算相邻数据帧中相同目标包围盒的运动方向和速度。
在可能的优选实施方式中，所述3D运动物体追踪方法的步骤还包括：通过计算各
新特征描述子的相似度，来整合当前场景图像中每个特征点与其他特征点的位置信息，以
更新各特征点的新特征描述子，步骤包括：通过感知器处理新特征描述子，以获取查
询特征、关键点特征和用途特征，以用于查找相似的特征点；根据每个新特征描述子
的查询特征，计算其与其他特征点的关键点特征的相似度得分：
，后根据得分对用途特征加权，对加权后的用途特征整合到查询特征
上，作为第i个特征描述子的优化量以对应更新各新特征描述子。
在可能的优选实施方式中，所述3D运动物体追踪方法的步骤还包括：通过计算相
邻数据帧场景图像之间新特征描述子的相似度，来整合相邻数据帧场景图像之间各特征点
的位置信息，以更新各相邻数据帧场景图像中各特征点的新特征描述子，步骤包括：根据每
个新特征描述子的查询特征，计算其与相邻数据帧场景图像中，每个特征点新特征描述
子的关键点特征的相似度得分：
以对用途特征加权，对加权后的用途特征整合到查询特征上作为第i个特征
描述子的优化量以对应更新各新特征描述子。
在可能的优选实施方式中，其中对场景点云做聚类分割，获取聚类集合的步骤包括：
将场景点云帧网格化分割，计算各网格内点云的法向方向；
将相邻且法向方向基本一致的网格聚类；将聚类网格内的点云记为聚类集合。
在可能的优选实施方式中，其中根据时空映射关系筛选出聚类集合中对应的目标特征点的步骤包括：
根据时空映射关系，获取聚类集合在场景图像上的映射点，以建立凸包；
将处于凸包内的各特征点记为目标特征点。
为了实现上述目的，对应上述方法，根据本发明的第三个方面，还提供了一种3D运动物体追踪系统，其包括：
存储单元，用于存储包括如上任一所述3D运动物体追踪方法步骤的程序，以供数据采集单元、处理单元适时调取执行；
数据采集单元，用于采集场景图像及场景点云数据；
处理单元，用于计算场景图像的像素点与场景点云的三维点的时空映射关系； 提取场景图像中的特征点及其特征描述子；将场景图像中的各个特征点跟其他相似特征点的位置关系与其特征描述子进行编码，获得基于位置信息的新特征描述子；对场景点云做聚类分割，获取聚类集合；根据时空映射关系筛选出聚类集合中对应的目标特征点；匹配相邻数据帧之间，新特征描述子相似的目标特征点，以归于相同目标。
在可能的优选实施方式中，处理单元还用于，计算聚类集合的包围盒，获取包围盒参数信息；根据相邻数据帧的时间差及包围盒参数信息，计算相邻数据帧中相同目标包围盒的运动方向和速度。
为了实现上述目的，对应上述方法，根据本发明的第四个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时，实现如上中任一所述3D运动物体追踪方法的步骤。
通过本发明提供的该3D运动物体追踪方法及系统、存储介质，巧妙的在传统特征描述子表征特征点周围像素形态的基础上，提出了各特征点与其他相似特征点位置关系判断的设计构思，从而可通过判断周围相似像素的位置差异关系，能够有效避免相似纹理和镜像纹理导致的特征误匹配的问题，并适于处理复杂背景场景，从而有效提升匹配准确率及场景适应性。而在此基础上，通过本发明提出的时空映射关系，弥补了点云对于目标物体识别与追踪能力不足的问题，以在无需识别具体目标物体的基础上，通过匹配新特征描述子的方式，识别出相同目标物体以进行追踪。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的3D运动物体追踪方法实施例一的步骤流程示意图；
图2为本发明的3D运动物体追踪方法中，建立二维离散点的凸包来筛选目标特征点的概念示意图；
图3为本发明的3D运动物体追踪方法中，相邻数据帧的场景图像特征点匹配示意图；
图4为本发明的3D运动物体追踪方法中，相似纹理特征点的位置关系示意图；
图5为本发明的3D运动物体追踪方法实施例二的步骤流程示意图；
图6为本发明的3D运动物体追踪方法实施例二中计算相邻数据帧中相同目标移动速度与运动方向的概念示意图；
图7为本发明的3D运动物体追踪系统基本结构示意图。
具体实施方式
为了使本领域的技术人员能够更好的理解本发明的技术方案，下面将结合实施例来对本发明的具体技术方案进行清楚、完整地描述，以助于本领域的技术人员进一步理解本发明。显然，本案所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思及相互不冲突的前提下，本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，在本领域普通技术人员没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的揭露及保护范围。
此外本发明的说明书和权利要求书及附图中的术语“第一”、“第二”、“S100”、“S200”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的特征在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里描述的那些以外的顺序实施。同时各个步骤记载的阶段并非强制在同一步骤中实施，应当理解每个步骤阶段中的内容在不违反发明构思的前提下其实施顺序可以调整及互换，以便这里描述的本发明的步骤实施例能够以除了在这里描述的那些以外的顺序实施。另外本发明中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。除非另有明确的规定和限定，术语“设置”、“布设”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况，结合现有技术来理解上述术语在本案中的具体含义。
为了结合纹理图像信息的物体特征表达能力和点云的3D位置感知能力的优势，来解决背景技术中现有技术的缺陷。如图1至图4所示，本发明实施例一提供了一种3D运动物体追踪方法，其步骤包括：
步骤S100建立数据帧中场景图像的像素点，与场景点云的三维点的时空映射关系。
具体的，在本实施例中优选示例采用深度相机，按照时间序列，采集包含彩色场景
图像、及场景点云的数据帧，并通过相机内参和对应帧图像的时间戳，
来建立场景图像中每个像素，与场景点云中各三维点的，时空映射关系。
例如：场景图像与相机内参和场景点云之间的转化关系为：
其中， 。 因此当前时间戳T下的场景图像图的像素，即为
场景点云的三维点在该场景图像上的映射点，由此建立两者之间的时空映射关系。
同时后续确保采集的每一帧数据中场景点云P、场景图像M和时间戳T同时输出，使得点云数据和图像数据的时间保持同步。
步骤S200提取场景图像中的特征点及其特征描述子。
具体的，本实施例中示例采用基于深度学习的SuperPoint特征点提取算法。通过
该算法，提取输出的每个特征点包含三个信息，其中(x,y)为特征点在场景图像
上的像素坐标值、score为特征点的分数，分数越大表示该点为特征点的置信度越高，优选
取值区间为[0,1]。
同时示例优选每个特征点对应的特征描述子)是一个256维的特
征向量，每个维度的数值区间范围为[0,1]。
步骤S300将场景图像中的各个特征点与其特征描述子进行编码，获得基于位置信息的新特征描述子。
由于传统的特征描述子，只描述了每个特征点周围像素的特征，因此在面对相似纹理或者镜像的问题时，由于周围像素都是相似的，因此无法进行准确识别和匹配。而为了解决该问题，如图4所示，本发明构思在特征描述子中，进一步加入特征点跟其他相似特征点的位置关系，据此即便遇到相似纹理或者镜像的问题，通过判断周围相似像素的位置差异关系，仍然可以可有效提升匹配准确率。
具体的，首先将第一帧场景图像A中每个特征点的位置坐标和特征点分数，通过多层感知器（MLP,Multi-Layer Perceptron）进行处理，如本示例中以
5层感知器为例，将三维的特征点坐标扩充到256维，然后与对应的特征描述子相加得到新特征描述子。5层感知器的实现公式如下：
其中，示例1,5]。示例5层多层感知器的权重系数分别为：
、、、、。其中需要说明的是，上述示例的相关数值，如感知器层数，权重系
数，维度等可以根据具体实施情况进行调整，以更好的实现发明目的，因此本发明并未限制
该些数值的取值范围，因此任何在不超脱本发明构思的前提下，所作出的其他同等替换实
施方式，皆在本发明的揭露范围内。
另一方面，在可选实施方式中，为了进一步优化每个新特征描述子，以提高目标匹配时的精确度。本示例优选通过计算各新特征描述子的相似度，来整合当前场景图像中每个特征点与其他特征点的位置信息，以更新各特征点的新特征描述子。
其中该示例步骤包括：
步骤S310对步骤S300得到的新特征描述子，用三个不同的1层感知器处理，以
分别得到256维的查询特征、关键点特征和用途特征，以用于查找相似的特征点。
其中三个1层感知器的权重分别示例为：、、。具体公式如下：
其中，（i，j）∈[1,N]，N表示第一帧场景图像A中特征点的个数。
步骤S320根据第一帧场景图像A中的每个新特征描述子的查询特征，计算其与
其他第一帧场景图像A中特征点的关键点特征的相似度得分，然后根据得分
对用途特征加权，对加权后的用途特征整合到查询特征上，作为第i个特征描述的优化
量。最后根据优化量对每个新特征描述子进行更新。具体公式如下：
其中，（i，j）∈[1,N]，N表示图像A中特征点个数；、、为中
间变量。为第i个特征点第一次更新后的新特征描述子。（可据上同理获得）
其中，为对两个向量做连接，将两个256 维的特征描述子连接为一个512维的
特征描述。使用的感知器维度分别示例为：、、。
另一方面，在可选实施方式中，为了进一步优化每个新特征描述子，以针对性提高相邻帧目标匹配时的精确度。本示例优选通过计算相邻数据帧场景图像之间新特征描述子的相似度，来整合相邻数据帧场景图像之间各特征点的位置信息，以更新各相邻数据帧场景图像中各特征点的新特征描述子。
其中该示例步骤包括：
步骤S330根据第一帧场景图像A中的每个新特征描述子的查询特征，计算其与
相邻的第二帧场景图像B中，每个特征点新特征描述子的关键点特征的相似度得分，然后根据得分对用途特征加权，对加权后的用途特征整合到查询特征
上作为第i个特征描述的优化量。最后根据优化量对每个新特征描述子进行更新。
具体公式如下：
其中，i∈[1,N]，k∈[1,M]，N表示图像A中特征点个数，M表示图像B中特征点个数；、、为中间变量。为第i个特征点第二次更新后的新特征描
述子。（可据上同理获得）
其中，为对两个向量做连接，将两个256 维的特征描述子连接为一个512维的
特征描述。使用的感知器维度分别示例为、
、。
通过上述示例的两次更新后的新特征描述子，在步骤S600中可以有效提高相邻帧的目标特征点匹配精度。此外需要说明的是，根据上述示例的说明，本领域技术人员可以理解的是，上述示例的两次更新示例可以选择性实施，也可相互组合实施，因此在不脱本发明构思的前提下，上述步骤S300至步骤S330的方案可以各种方式组合、调整、互换实施，因此任何在不超脱本发明构思的前提下，所作出的其他同等替换实施方式，皆在本发明的揭露范围内。
另一方面，在可选实施方式中，为了进一步优化每个新特征描述子，以提高目标匹
配时的精确度。本示例优选对每张相邻场景图像，重复执行步骤S310至S330操作更新数次，
以最终输出相邻的第一、第二帧场景图像A、B优化后的特征描述子、。
其中该示例步骤包括：
步骤S340根据上述示例同理对依据步骤S300获取的各相邻帧场景图像的每个特
征点的新特征描述子，重复上述步骤S310-S330操作，可选重复多次步骤S310-S330更新操
作，例如9次，以多次优化更新新特征描述子方式，提高目标匹配时的精确度，最终输出相邻
帧两张场景图像A、B图优化后的新特征描述子、。
此外，在其他可选实施方式中，可以构造损失函数，并根据已知的
特征匹配对步骤S300-S330中的权重系数做训练，以建立最终的深度学习匹配模型，以借助
人工智能方式进行实施。其中，该特征匹配对的训练样本，可通过人工标注得到。
步骤S400对场景点云做聚类分割，获取聚类集合。
具体的，用于点云聚类分割的算法有多种，如：k-means、DBSCA等，而本实施例中优
选示例采用网格分割方式，对点云做聚类分割，假设每一帧场景点云的长为，宽为。按照网格大小为的大小，对点云进行网格分割，每帧点云对应的网格大小
为：
然后计算每个网格内的点云均值：
；
和协方差矩阵：
；
其中，。
然后根据每个网格点云的协方差矩阵计算点云的法向：
。
即对每个网格内点云的协方差矩阵做奇异值分解，并按照特征值大小对特征向
量做排序，将最小特征值对应的特征向量做为点云法向。具体公式如下：
；
其中，第三列向量即为点云法向。
然后对每个网格计算与其直接相邻的八个网格的法向夹角，并判断与其相邻且
法向夹角小于一定阈值的两个网格内的点云，是属于相同物体上的点云，对其进行合并。本
示例中优选设定法向夹角阈值为45°，从而得出不同目标的点云聚类集合。其
中法向夹角的计算公式如下：
。
步骤S500根据时空映射关系筛选出聚类集合中对应的目标特征点。
具体的，在本实施例中，示例首先计算每个聚类集合在场景图像上的映射点，
然后对场景图像的映射点采用Grahan-Sam算法，获取如图2所示的二维离散点的凸包。
之后如图3所示，从步骤S200得到的特征点中筛选出位于凸包内的特征点，认为其属于该聚类集合目标的特征点。
步骤S600匹配相邻数据帧之间，新特征描述子相似的目标特征点，以归于相同目标。
具体的，在本示例中，可依据前后相邻帧每个特征点的新特征描述子，计算特征点
的相似度，其中需要注意的是，上述示例步骤S300至S340中所计算获取的新特征描
述子，皆可分别示例用于本步骤的相似度计算，进而实现匹配过程，而本示例下，以步骤
S340获取的新特征描述子、为例，进行示例性说明。
其中相似度的计算方式如下：
；
由于上述示例输出的新特征描述子，是归一化后的结果，因此两两新特征描述子之间的相似度在[0,1]区间范围内，从而可提取相似的大于0.6的认为是匹配的目标特征点。而对应的前后相邻帧场景图像中，各个聚类集合中匹配的目标特征点个数大于阈值（例如3个）的，则认为其是前后相邻帧中的相同目标。
另一方面，为了能在目标追踪的同时，能够进一步计算出目标的运动方向和速度，如图5至图6所示，本发明第二实施例还提出了一种3D运动物体追踪方法，其中在第一实施例步骤的基础上，步骤还包括：
步骤S700为聚类集合建立包围盒，取得包围盒参数信息；根据相邻数据帧的时间差及包围盒参数信息，计算相邻数据帧中相同目标包围盒的运动方向和速度。
具体的，在上述示例步骤S400中对场景点云做聚类分割，获取到聚类集合后，可以此为基础，进一步为聚类集合建立包围盒，以取得包围盒参数信息。
其中该示例步骤包括：
步骤S710计算每个聚类集合的包围盒中心点坐标，以及该包围盒的
矩形框长宽高。具体公式如下：
。
步骤S720根据步骤S600匹配出的相邻帧中相同目标的聚类集合的包围盒和时间差，计算追踪目标的运动方向和速度，具体如下：
；
；
其中该时间差为相邻帧之间的时间戳的差值。
后续采集到的点云和图像信息重复以上示例步骤，逐帧向前匹配，便可不断输出目标的运行方向和速度，实现对3D运动物体的动态追踪。
籍此，通过上述示例方案，本发明结合了图像的特征表达和三维点云的空间位置感知能力，以实现了3D目标的运动速度和方向的追踪。此外由于本发明采用了图像特征点作为前后时间序列目标关联依据，因此无需识别具体目标ID，解决了相似目标对物体追踪的干扰。同时本发明创新提出的目标匹配与跟踪方法，通过融合每个特征点的位置和描述信息生成一组新的特征描述子，能够有效提高特征匹配精度。从而有效解决了运动物体在三维场景下的追踪问题，并能够为自动驾驶汽车的导航规划提供场景感知依据。
另一方面，对应上述方法示例，如图7所示，本发明还提供了一种3D运动物体追踪系统，其包括：
存储单元，用于存储包括如上中任一所述3D运动物体追踪方法步骤示例的程序，以供数据采集单元、处理单元适时调取执行；
数据采集单元（例如深度相机），用于采集场景图像及场景点云数据。
处理单元（例如PC、服务器等能够执行计算机程序进行计算的设备），用于计算场景图像的像素点与场景点云的三维点的时空映射关系； 提取场景图像中的特征点及其特征描述子；将场景图像中的各个特征点与其特征描述子进行编码，获得基于位置信息的新特征描述子；对场景点云做聚类分割，获取聚类集合；根据时空映射关系筛选出聚类集合中对应的目标特征点；匹配相邻数据帧之间，新特征描述子相似的目标特征点，以归于相同目标。
此外在可选实施方式中，所示处理单元还用于，计算聚类集合的包围盒，获取包围盒参数信息；根据相邻数据帧的时间差及包围盒参数信息，计算相邻数据帧中相同目标包围盒的运动方向和速度。
此外在可选实施方式中，还该系统还包括：数据传输单元，用于将处理单元计算出的追踪目标、运动方向、速度数据发送至其他所需该些数据的单元，例如导航单元、避障单元等。
另一方面，对应上述方法示例，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时，实现如上示例中任一所述3D运动物体追踪方法的步骤。
综上所述，通过本发明提供的该3D运动物体追踪方法及系统、存储介质，巧妙的在传统特征描述子表征特征点周围像素形态的基础上，提出了各特征点与其他相似特征点位置关系判断的设计构思，从而可通过判断周围相似像素的位置差异关系，能够有效避免相似纹理和镜像纹理导致的特征误匹配的问题，并适于处理复杂背景场景，从而有效提升匹配准确率及场景适应性。而在此基础上，通过本发明提出的时空映射关系，弥补了点云对于目标物体识别与追踪能力不足的问题，以在无需识别具体目标物体的基础上，通过匹配新特征描述子的方式，识别出相同目标物体以进行追踪。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本领域技术人员可以理解，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置、单元及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置、单元及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
此外实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。
Claims (9)
1.一种3D运动物体追踪方法，步骤包括：
建立数据帧中场景图像的像素点，与场景点云的三维点的时空映射关系；
提取场景图像中的特征点及其特征描述子；将场景图像中的各个特征点跟其他相似特征点的位置关系与其特征描述子进行编码，获得基于位置信息的新特征描述子，步骤包括：将场景图像帧中每个特征点的位置坐标和特征点分数通过多层感知器进行处理，以对特征点坐标进行维度扩充后，与对应的特征描述子相加以得到新特征描述子；
对场景点云做聚类分割，获取聚类集合；根据时空映射关系筛选出聚类集合中对应的目标特征点；
匹配相邻数据帧之间，新特征描述子相似的目标特征点，以归于相同目标。
2.根据权利要求1所述的3D运动物体追踪方法，其中步骤还包括：通过计算各新特征描述子的相似度，来整合当前场景图像中每个特征点与其他特征点的位置信息，以更新各特征点的新特征描述子，步骤包括：通过感知器处理新特征描述子，以获取查询特征/>、关键点特征/>和用途特征/>，以用于查找相似的特征点；根据每个新特征描述子的查询特征/>，计算其与其他特征点的关键点特征/>的相似度得分/>：
，后根据得分/>对用途特征/>加权，对加权后的用途特征整合到查询特征/>上，作为第i个特征描述的优化量/>以对应更新新特征描述子。
3.根据权利要求1或2任一所述的3D运动物体追踪方法，其中步骤还包括：通过计算相邻数据帧场景图像之间新特征描述子的相似度，来整合相邻数据帧场景图像之间各特征点的位置信息，以更新各相邻数据帧场景图像中各特征点的新特征描述子，步骤包括：根据每个新特征描述子的查询特征，计算其与相邻数据帧场景图像中，每个特征点新特征描述子的关键点特征/>的相似度得分/>：
，以对用途特征/>加权，对加权后的用途特征整合到查询特征/>上作为第i个特征描述子的优化量/>以对应更新各新特征描述子。
4.根据权利要求1所述的3D运动物体追踪方法，其中对场景点云做聚类分割，获取聚类集合的步骤包括：
将场景点云帧网格化分割，计算各网格内点云的法向方向；
将相邻且法向方向基本一致的网格聚类；将聚类网格内的点云记为聚类集合。
5.根据权利要求1所述的3D运动物体追踪方法，其中根据时空映射关系筛选出聚类集合中对应的目标特征点的步骤包括：
根据时空映射关系，获取聚类集合在场景图像上的映射点，以建立凸包；
将处于凸包内的各特征点记为目标特征点。
6.根据权利要求1或2任一所述的3D运动物体追踪方法，其中步骤还包括：
为聚类集合建立包围盒，取得包围盒参数信息；根据相邻数据帧的时间差及包围盒参数信息，计算相邻数据帧中相同目标包围盒的运动方向和速度。
7.根据权利要求6所述的3D运动物体追踪方法，其中步骤还包括：通过计算相邻数据帧场景图像之间新特征描述子的相似度，来整合相邻数据帧场景图像之间各特征点的位置信息，以更新各相邻数据帧场景图像中各特征点的新特征描述子，步骤包括：根据每个新特征描述子的查询特征，计算其与相邻数据帧场景图像中，每个特征点新特征描述子的关键点特征/>的相似度得分/>：
，以对用途特征/>加权，对加权后的用途特征整合到查询特征/>上作为第i个特征描述子的优化量/>以对应更新各新特征描述子。
8.一种3D运动物体追踪系统，其包括：
存储单元，用于存储包括如权利要求1至7中任一所述3D运动物体追踪方法步骤的程序，以供数据采集单元、处理单元适时调取执行；
数据采集单元，用于采集场景图像及场景点云数据；
处理单元，用于执行存储单元中的程序。
9.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时，实现如权利要求1至7中任一所述3D运动物体追踪方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410048656.4A CN117557599B (zh) | 2024-01-12 | 2024-01-12 | 一种3d运动物体追踪方法及系统、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410048656.4A CN117557599B (zh) | 2024-01-12 | 2024-01-12 | 一种3d运动物体追踪方法及系统、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117557599A CN117557599A (zh) | 2024-02-13 |
| CN117557599B true CN117557599B (zh) | 2024-04-09 |
Family
ID=89823782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410048656.4A Active CN117557599B (zh) | 2024-01-12 | 2024-01-12 | 一种3d运动物体追踪方法及系统、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117557599B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020259360A1 (zh) * | 2019-06-28 | 2020-12-30 | Oppo广东移动通信有限公司 | 定位方法及装置、终端、存储介质 |
| CN112561966A (zh) * | 2020-12-22 | 2021-03-26 | 清华大学 | 一种融合时空信息的稀疏点云多目标跟踪方法 |
| CN113985445A (zh) * | 2021-08-24 | 2022-01-28 | 中国北方车辆研究所 | 一种基于相机与激光雷达数据融合的3d目标检测算法 |
| KR20220074782A (ko) * | 2020-11-27 | 2022-06-03 | 삼성전자주식회사 | 동시적 위치추정 및 지도작성(slam) 방법 및 장치 |
| CN115511911A (zh) * | 2022-09-07 | 2022-12-23 | 上海赫千电子科技有限公司 | 一种用于智能汽车的3d目标追踪方法 |
| CN115713547A (zh) * | 2022-11-15 | 2023-02-24 | 深圳市越疆科技有限公司 | 运动轨迹的生成方法、装置及处理设备 |
| WO2023050678A1 (zh) * | 2021-09-30 | 2023-04-06 | 上海商汤智能科技有限公司 | 多目标跟踪方法、装置、电子设备、存储介质和程序 |
| CN116452644A (zh) * | 2023-04-21 | 2023-07-18 | 北京石油化工学院 | 基于特征描述子的三维点云配准方法、装置及存储介质 |
| CN116523970A (zh) * | 2023-07-05 | 2023-08-01 | 之江实验室 | 基于二次隐式匹配的动态三维目标跟踪方法及装置 |
| CN117351234A (zh) * | 2023-09-25 | 2024-01-05 | 清华大学 | 基于时空域和包围盒信息的三维运动目标追踪方法和装置 |
-
2024
- 2024-01-12 CN CN202410048656.4A patent/CN117557599B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020259360A1 (zh) * | 2019-06-28 | 2020-12-30 | Oppo广东移动通信有限公司 | 定位方法及装置、终端、存储介质 |
| KR20220074782A (ko) * | 2020-11-27 | 2022-06-03 | 삼성전자주식회사 | 동시적 위치추정 및 지도작성(slam) 방법 및 장치 |
| CN112561966A (zh) * | 2020-12-22 | 2021-03-26 | 清华大学 | 一种融合时空信息的稀疏点云多目标跟踪方法 |
| CN113985445A (zh) * | 2021-08-24 | 2022-01-28 | 中国北方车辆研究所 | 一种基于相机与激光雷达数据融合的3d目标检测算法 |
| WO2023050678A1 (zh) * | 2021-09-30 | 2023-04-06 | 上海商汤智能科技有限公司 | 多目标跟踪方法、装置、电子设备、存储介质和程序 |
| CN115511911A (zh) * | 2022-09-07 | 2022-12-23 | 上海赫千电子科技有限公司 | 一种用于智能汽车的3d目标追踪方法 |
| CN115713547A (zh) * | 2022-11-15 | 2023-02-24 | 深圳市越疆科技有限公司 | 运动轨迹的生成方法、装置及处理设备 |
| CN116452644A (zh) * | 2023-04-21 | 2023-07-18 | 北京石油化工学院 | 基于特征描述子的三维点云配准方法、装置及存储介质 |
| CN116523970A (zh) * | 2023-07-05 | 2023-08-01 | 之江实验室 | 基于二次隐式匹配的动态三维目标跟踪方法及装置 |
| CN117351234A (zh) * | 2023-09-25 | 2024-01-05 | 清华大学 | 基于时空域和包围盒信息的三维运动目标追踪方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| Zhipeng Luo,et al..Modeling Continuous Motion for 3D Point Cloud Object Tracking.《arXiv:2303.07605v1》.2023,全文. * |
| 基于生物视觉感知的场景特征提取方法;陈硕;吴成东;陈东岳;楚好;;《东北大学学报(自然科学版)》;20110915(第9期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117557599A (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gurghian et al. | Deeplanes: End-to-end lane position estimation using deep neural networksa | |
| Naseer et al. | Deep regression for monocular camera-based 6-dof global localization in outdoor environments | |
| CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
| CN111797716A (zh) | 一种基于Siamese网络的单目标跟踪方法 | |
| CN110969648B (zh) | 一种基于点云序列数据的3d目标跟踪方法及系统 | |
| CN113283525B (zh) | 一种基于深度学习的图像匹配方法 | |
| CN105160649A (zh) | 基于核函数非监督聚类的多目标跟踪方法及系统 | |
| CN111368733B (zh) | 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端 | |
| Garg et al. | Look no deeper: Recognizing places from opposing viewpoints under varying scene appearance using single-view depth estimation | |
| CN113592894A (zh) | 一种基于边界框和同现特征预测的图像分割方法 | |
| Lu et al. | Pic-net: Point cloud and image collaboration network for large-scale place recognition | |
| Zhu et al. | A review of 6d object pose estimation | |
| CN112509051A (zh) | 一种基于仿生学的自主移动平台环境感知与建图方法 | |
| CN104463962B (zh) | 基于gps信息视频的三维场景重建方法 | |
| CN115880333A (zh) | 一种基于多模态信息融合的三维单目标跟踪方法 | |
| Hoque et al. | Deep learning for 6D pose estimation of objects—A case study for autonomous driving | |
| CN114689038A (zh) | 基于机器视觉的果实检测定位与果园地图构建方法 | |
| CN112950786A (zh) | 一种基于神经网络的车辆三维重建方法 | |
| CN117218343A (zh) | 一种基于深度学习的语义部件姿态估计方法 | |
| Duan | Deep learning-based multitarget motion shadow rejection and accurate tracking for sports video | |
| CN117557599B (zh) | 一种3d运动物体追踪方法及系统、存储介质 | |
| CN116664851A (zh) | 一种基于人工智能的自动驾驶数据提取方法 | |
| Yu et al. | Visual Perception and Control of Underwater Robots | |
| CN115249269A (zh) | 目标检测方法、计算机程序产品、存储介质及电子设备 | |
| CN115729250A (zh) | 一种无人机的飞行控制方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |