CN115272392A - 目标跟踪方法、装置、设备及存储介质 - Google Patents

目标跟踪方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115272392A
CN115272392A CN202210889605.5A CN202210889605A CN115272392A CN 115272392 A CN115272392 A CN 115272392A CN 202210889605 A CN202210889605 A CN 202210889605A CN 115272392 A CN115272392 A CN 115272392A
Authority
CN
China
Prior art keywords
point cloud
template
target
point
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210889605.5A
Other languages
English (en)
Inventor
李镇
郑超达
高建焘
颜旭
赵伟兵
廖颖泓
崔曙光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese University Of Hong Kong Shenzhen Future Intelligent Network Research Institute
Original Assignee
Chinese University Of Hong Kong Shenzhen Future Intelligent Network Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese University Of Hong Kong Shenzhen Future Intelligent Network Research Institute filed Critical Chinese University Of Hong Kong Shenzhen Future Intelligent Network Research Institute
Priority to CN202210889605.5A priority Critical patent/CN115272392A/zh
Publication of CN115272392A publication Critical patent/CN115272392A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标跟踪方法、装置、设备及存储介质，用于解决对于稀疏激光雷达场景中模板信息不足时，无法识别跟踪目标的问题。通过雷达采集目标场景中的点云数据序列，并提取点云数据序列中的第一帧点云，根据跟踪目标，利用预设的3D目标跟踪算法确定第一帧点云中的目标的边界框，并提取边界框中的所有目标点云，生成第一模板点云，利用预设的自适应模板生成算法基于边界框进行模板扩张处理，得到第二模板点云，提取点云数据序列中其他帧点云数据中的搜索区域中的点云特征，并将点云特征与第二模板点云和跟踪目标对应的参考模板点云进行比较，得到比较结果，基于比较结果生成点云数据序列中跟踪目标的跟踪结果，并进行显示。

Description

目标跟踪方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种目标跟踪方法、装置、设备及存储介质。
背景技术
单目标跟踪(SOT)是多个应用领域中的关键问题，例如视觉监控和视频分析。SOT已成为计算机视觉界的研究热点。给定第一帧中目标的边界框，SOT的目标是在所有其他帧中定位出相同的目标。近年来，基于二维图像的SOT通过利用孪生网络取得了长足的进步。然而，与具有规则和组织良好的像素的2D图像相比，3D数据大多以点云的形式出现，它们不规则、无序且通常是稀疏的。因此，现有的孪生网络不能直接应用。尤其是在以激光雷达为主要传感器的自动驾驶或机器人感知场景中，利用2D处理这种3D的场景数据，在实现上带来了极大的挑战性。对此，开发了SC3D，为了使孪生网络适应3D SOT任务，SC3D应用了卡尔曼滤波从搜索区域生成冗余的目标候选框。随后，通过测量候选框特征和模板特征之间的余弦相似度，可以从3D孪生网络中获得相似度分数。然后将具有最高分数的候选框视为最终边界框。
尽管上述的方法可以在在一定程度上实现了高性能，但它们在目标物体的外观快速变化的情况下容易失败。对此设置了利用辅助的形状补全网络或者简单地把第一帧和之前帧中的目标点云进行融合，以增强对目标外观的锁定进行跟踪，但是这对于稀疏场景下时，由于特征信息的有限，即使是增加了特征增强，也仍存在无法识别跟踪目标的问题。
发明内容
本发明的主要目的在于提供了一种目标跟踪方法、装置、设备及存储介质，以解决现有技术中，对于稀疏激光雷达场景中模板信息不足时，无法识别跟踪目标的问题。
本发明第一方面提供了一种目标跟踪方法，所述目标跟踪方法包括：
通过雷达采集目标场景中的点云数据序列，并提取所述点云数据序列中的第一帧点云，其中，所述点云数据序列包括至少两帧点云数据；
根据跟踪目标，利用预设的3D目标跟踪算法确定所述第一帧点云中的目标的边界框，并提取所述边界框中的所有目标点云，生成第一模板点云；
基于所述第一模板点云，利用预设的自适应模板生成算法基于所述边界框进行模板扩张处理，得到第二模板点云；
提取所述点云数据序列中其他帧点云数据中的搜索区域中的点云特征，并将所述点云特征与所述第二模板点云和所述跟踪目标对应的参考模板点云进行比较，得到比较结果；
基于所述比较结果生成所述点云数据序列中所述跟踪目标的跟踪结果，并进行显示。
可选的，所述基于所述第一模板点云，利用预设的自适应模板生成算法基于所述边界框进行模板扩张处理，得到第二模板点云，包括：
判断所述第一模板点云中的点云密集度是否满足预设阈值，得到第一判断结果；
基于所述第一判断结果，利用预设的自适应模板生成算法，以所述边界框的中心点为原点，从所述原点的周边点云中选取若干个满足预设约束条件的点云，生成第二模板点云。
可选的，所述自适应模板生成算法包括区域固定裁剪生成策略和点固定裁剪生成策略；所述基于所述第一判断结果，利用预设的自适应模板生成算法，以所述边界框的中心点为原点，从所述原点周边点云中选取若干个满足预设约束条件的点云，生成第二模板点云，包括：
若所述第一判断结果为满足预设阈值，则利用所述区域固定裁剪生成策略，以所述边界框的中心点为原点，选取所述原点周边相距所述原点的距离在第一预设值内的点云，生成第二模板点云；
若所述第一判断结果为不满足预设阈值，则利用所述点固定裁剪生成策略，以所述边界框的中心点为原点，向外选取预设数量的点云，生成第二模板点云，其中，所述预设数量的点云与所述原点之间的欧几里得距离均满足第二预设值。
可选的，所述基于所述判断结果，利用预设的自适应模板生成算法，以所述边界框的中心点为原点，从所述原点周边点云中选取若干个满足预设约束条件的点云，生成第二模板点云，还包括：
基于选取的点云构建点云矩阵；
判断所述点云矩阵中的各点云是否位于所述边界框内，得到第二判断结果；
基于所述第二判断结果将所述点云矩阵转换为目标掩码；
基于所述目标掩码和所述第二模板点云进行融合处理，得到第一增强模板点云。
可选的，在所述基于所述第一模板点云，利用预设的自适应模板生成算法基于所述边界框进行模板扩张处理，得到第二模板点云之后，还包括：
获取所述跟踪目标的历史模板点云，并基于所述历史模板点云和对应的历史参考帧进行聚合，得到所述跟踪目标的历史模板特征；
根据所述历史模板特征和所述第二模板点云进行融合处理，得到第二增强模板点云。
可选的，所述提取所述点云数据序列中其他帧点云数据中的搜索区域中的点云特征，并将所述点云特征与所述第二模板点云和所述跟踪目标对应的参考模板点云进行比较，得到比较结果，包括：
提取所述点云数据序列中其他帧点云数据中的搜索区域中的点云特征；
将所述第一增强模板点云、所述第二增强模板点云和所述跟踪目标对应的参考模板点云输入至预设的特征提取器中进行特征提取，并对提取到的模板特征进行融合，得到增强模板特征；
将所述点云特征与所述增强模板特征输入至预设的区域提议网络中进行投票和提议处理，得到比较结果。
可选的，所述基于所述历史模板点云和对应的历史参考帧进行聚合，得到所述跟踪目标的历史模板特征，包括：
利用预设的特征提取器，分别对所述历史模板点云和对应的历史参考帧进行特征提取，得到多个历史模板点云的历史特征和历史参考模板特征；
利用距离计算公式，计算各历史特征与历史参考模板特征的成对距离；
利用K最近邻算法，基于成对距离从历史参考帧中择出与每个模板特征前K个最相似的参考特征，构建K对相似模板特征；
利用多层次结构的神经网络，将K对相似模板特征进行融合，得到所述跟踪目标的历史模板特征；
其中，所述距离计算公式为：
Figure BDA0003767030270000041
M1代表参考和模板中的特征数量，FDist表示一个M1×M1大小的距离图，FDisti，j表示
Figure BDA0003767030270000042
和
Figure BDA0003767030270000043
之间的距离。
本发明第二方面提供了目标跟踪装置，包括：
采集模块，用于通过雷达采集目标场景中的点云数据序列，并提取所述点云数据序列中的第一帧点云，其中，所述点云数据序列包括至少两帧点云数据；
提取模块，用于根据跟踪目标，利用预设的3D目标跟踪算法确定所述第一帧点云中的目标的边界框，并提取所述边界框中的所有目标点云，生成第一模板点云；
扩张模块，用于基于所述第一模板点云，利用预设的自适应模板生成算法基于所述边界框进行模板扩张处理，得到第二模板点云；
跟踪模块，提取所述点云数据序列中其他帧点云数据中的搜索区域中的点云特征，并将所述点云特征与所述第二模板点云和所述跟踪目标对应的参考模板点云进行比较，得到比较结果；
生成模块，用于基于所述比较结果生成所述点云数据序列中所述跟踪目标的跟踪结果，并进行显示。
可选的，所述扩张模块包括：
第一判断单元，用于判断所述第一模板点云中的点云密集度是否满足预设阈值，得到第一判断结果；
扩张单元，用于基于所述第一判断结果，利用预设的自适应模板生成算法，以所述边界框的中心点为原点，从所述原点的周边点云中选取若干个满足预设约束条件的点云，生成第二模板点云。
可选的，所述自适应模板生成算法包括区域固定裁剪生成策略和点固定裁剪生成策略；所述扩展单元具体用于：
若所述第一判断结果为满足预设阈值，则利用所述区域固定裁剪生成策略，以所述边界框的中心点为原点，选取所述原点周边相距所述原点的距离在第一预设值内的点云，生成第二模板点云；
若所述第一判断结果为不满足预设阈值，则利用所述点固定裁剪生成策略，以所述边界框的中心点为原点，向外选取预设数量的点云，生成第二模板点云，其中，所述预设数量的点云与所述原点之间的欧几里得距离均满足第二预设值。
可选的，所述扩展模块还包括第一增强单元，其具体用于：
基于选取的点云构建点云矩阵；
判断所述点云矩阵中的各点云是否位于所述边界框内，得到第二判断结果；
基于所述第二判断结果将所述点云矩阵转换为目标掩码；
基于所述目标掩码和所述第二模板点云进行融合处理，得到第一增强模板点云。
可选的，所述目标跟踪装置还包括跨帧融合模块，其具体用于：
获取所述跟踪目标的历史模板点云，并基于所述历史模板点云和对应的历史参考帧进行聚合，得到所述跟踪目标的历史模板特征；
根据所述历史模板特征和所述第二模板点云进行融合处理，得到第二增强模板点云。
可选的，所述跟踪模块包括：
搜索单元，用于提取所述点云数据序列中其他帧点云数据中的搜索区域中的点云特征；
第二增强单元，用于将所述第一增强模板点云、所述第二增强模板点云和所述跟踪目标对应的参考模板点云输入至预设的特征提取器中进行特征提取，并对提取到的模板特征进行融合，得到增强模板特征；
跟踪处理单元，用于将所述点云特征与所述增强模板特征输入至预设的区域提议网络中进行投票和提议处理，得到比较结果。
可选的，所述跨帧融合模块具体用于：
利用预设的特征提取器，分别对所述历史模板点云和对应的历史参考帧进行特征提取，得到多个历史模板点云的历史特征和历史参考模板特征；
利用距离计算公式，计算各历史特征与历史参考模板特征的成对距离；
利用K最近邻算法，基于成对距离从历史参考帧中择出与每个模板特征前K个最相似的参考特征，构建K对相似模板特征；
利用多层次结构的神经网络，将K对相似模板特征进行融合，得到所述跟踪目标的历史模板特征；
其中，所述距离计算公式为：
Figure BDA0003767030270000061
M1代表参考和模板中的特征数量，FDist表示一个M1×M1大小的距离图，FDisti，j表示
Figure BDA0003767030270000062
和
Figure BDA0003767030270000063
之间的距离。
本发明第三方面提供了一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述第一方面提供的目标跟踪方法中的各个步骤。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面提供的目标跟踪方法中的各个步骤。
有益效果：
本发明的技术方案中，通过雷达采集目标场景中的点云数据序列，并提取点云数据序列中的第一帧点云，根据跟踪目标，利用预设的3D目标跟踪算法确定第一帧点云中的目标的边界框，并提取边界框中的所有目标点云，生成第一模板点云，基于第一模板点云，利用预设的自适应模板生成算法基于边界框进行模板扩张处理，得到第二模板点云，提取点云数据序列中其他帧点云数据中的搜索区域中的点云特征，并将点云特征与第二模板点云和跟踪目标对应的参考模板点云进行比较，得到比较结果，基于比较结果生成点云数据序列中跟踪目标的跟踪结果，并进行显示。基于自适应模板生成算法对模板进行扩展，从而利用跟踪场景中的上下文信息辅助跟踪目标的识别，实现了即使在目标非常稀疏的场景也能消除不同环境下的噪声，快速精准的定位跟踪目标进行跟踪识别。
附图说明
图1为本发明提供的目标跟踪方法的原理图；
图2为本发明提供的目标跟踪方法的第一个实施例示意图；
图3为本发明提供的目标跟踪方法的第二个实施例示意图；
图4为本发明提供的跨帧聚合增强模板点云的原理图；
图5为本发明提供的对跟踪目标的特征增强的原理图；
图6为本发明提供的目标跟踪装置的一个实施例示意图；
图7为本发明提供的目标跟踪装置的另一个实施例示意图；
图8为本发明提供的电子设备的一个实施例示意图。
具体实施方式
为了实现即使在目标特征稀疏的场景下也能快速实现识别到跟踪目标，本申请提出了一种基于上下文感知的跟踪(CAT)方案，该方案利用了LiDAR序列的空间和时间上下文信息，以便更好地学习具有辨识性的特征表示。具体来说，通过自适应模板生成算法(ATG)利用目标对象周围的信息，同时还提供了跨帧聚合(CFA)模块来融合历史信息，实现了CAT在参考帧中选择模板并通过跨帧特征融合模块来聚合最相似的特征。因此，CAT可以从LiDAR序列中探索有用的信息，并消除不同环境下的噪声，从而实现快速定位识别跟踪目标。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1和2所示，本发明实施例中目标跟踪方法的第一个实施例，该方法包括以下步骤：
101、通过雷达采集目标场景中的点云数据序列，并提取点云数据序列中的第一帧点云，其中，该点云数据序列包括至少两帧点云数据；
本实施例中，这里的点云数据序列可以理解为是按照时间顺序排序的点云视频帧集合，通过设置在设备上的激光雷达采集得到。
在提取第一帧点云时，具体是基于雷达的开始采集时间点，基于采集时间点从点云数据序列中提取该开始采集时间点对应的点云数据帧，并将提取到的点云数据帧作为第一帧点云。
在实际应用中，该步骤采集到的点云数据序列可以是由当前时间点的点云数据帧和至少一帧历史点云数据帧组成，将当前时间点的点云数据帧作为第一帧点云，历史点云数据帧作为参考帧，并且从参考帧中提取跟踪目标的参考模板以及参考模板的参考模板特征。
102、根据跟踪目标，利用预设的3D目标跟踪算法确定第一帧点云中的目标的边界框，并提取边界框中的所有目标点云，生成第一模板点云；
该步骤中，该跟踪目标可以是预先指定的，也可以是从历史点云数据中识别得到，该跟踪目标包括至少一个。
在本实施例中，通过设置利用预设的3D目标跟踪算法从历史点云数据中识别标注框以确定跟踪目标，其中该标注框可以是三维、二维等不同维度的标注信息，将识别到的跟踪目标作为第一帧点云中的跟踪目标。
进一步的，根据提取到的标注框提取跟踪目标的关键特征，基于关键特征利用3D目标跟踪算法从第一帧点云中识别到对应的关键特征，并标注目标的边界框，基于边界框提取其中的目标点云，将提取到的所有点云生成第一模板点云。
在实际应用中，该第一模板点云还可以是包含目标场景中的标识点云，该标识点云可以理解为是场景的基本标的物的点云特征，以第一模板点云作为后续目标跟踪的基准，并基于该基准对后续的点云数据帧进行跟踪目标的识别和跟踪。
103、基于第一模板点云，利用预设的自适应模板生成算法基于边界框进行模板扩张处理，得到第二模板点云；
该步骤中，检测所述第一模板点云对应的点云数据帧中的点云是否达到预设的密集程度，若不达到，则利用预设的自适应模板生成算法对第一模板点云中的目标的模板特征进行扩张处理，将第一帧点云中与跟踪目标相关的点云特征融合至模板特征中，以实现对跟踪目标的模板特征的增强，提高跟踪目标的识别度。
在本实施例中，在检测第一模板点云对应的点云数据帧中的点云没有达到预设的密集程度后，判断所述第一模板点云中的目标点云密集度是否满足预设阈值，得到第一判断结果；基于所述第一判断结果，利用预设的自适应模板生成算法，以所述边界框的中心点为原点，从所述原点的周边点云中选取若干个满足预设约束条件的点云，生成第二模板点云。
在实际应用中，通过统计第一模板点云中的目标点云的数量和边界框中面积计算出目标点云的密集度，基于该密集度与预设的目标点云的密集阈值进行比较，若比较结果为小于时，则采用自适应模板生成算法提取边界框中的非目标点云的特征或者是边界框之外的点云的特征与第一模板点云进行融合，生成第二模板点云。
104、提取点云数据序列中其他帧点云数据中的搜索区域中的点云特征，并将点云特征与第二模板点云和跟踪目标对应的参考模板点云进行比较，得到比较结果；
该步骤同时设置一个特征提取器来实现，获取第一帧点云的下一时间帧的点云数据，即是从点云数据序列中获取其他的帧点云数据，并利用点云特征的提取算法对后续的每帧点云数据帧中提取出点云特征，然后将点云特征与第二模板点云中的点云特征进行比对。
在本实施例中，在提取其他帧点云数据中的点云特征过程中，首先是在每帧点云数据帧中确定搜索区域，然后再从搜索区域中提取点云特征，进一步的，将点云特征、第二模板点云和跟踪目标对应的参考模板点云输入至特征提取器中进行特征的提取，最后将提取到的特征进行对比，以选择最相似的特征，并基于选择的特征生成对比结果。
105、基于比较结果生成点云数据序列中跟踪目标的跟踪结果，并进行显示。
本实施例中，这里的比较结果可以理解为是提取到其他帧点云数据中与第一模板点云中的模板特征相似的点云，同时基于提取到的相似点云计算出其在点云数据帧中的位置，然后构建目标跟踪框，将目标跟踪框显示在对应的点云数据帧中，以实现跟踪基于自适应模板生成算法对模板进行扩展，从而利用跟踪场景中的上下文信息辅助跟踪目标的识别，实现了即使在目标非常稀疏的场景也能消除不同环境下的噪声，快速精准的定位跟踪目标进行跟踪识别。
请参阅图1和3，本发明实施例中目标跟踪方法的第二个实施例，该实施例中通过使用自适应的模板生成算法(ATG)来根据密度自适应地生成模板和参考。然后通过共享权重的PointNet++提取模板和参考的特征，并将上述两种特征输入到跨帧融合模块(Cross-frame Aggregation Module，CFA)进行特征聚合。之后，融合的特征将与被搜索的特征一起被输入到一个特定于模板的特征增强中。除了使用融合特征和特征相似性外，还把目标掩码作为额外的特征输入到跨帧聚合(CFA)模块中。最后，增强的特征将被用在RPN中做框回归。具体的通过设计一个上下文感知追踪器(CAT)，以探索目标的时间和空间信息，公式如下：
Figure BDA0003767030270000111
Figure BDA0003767030270000112
在本实施例中，从参考帧中的额外点云
Figure BDA0003767030270000113
来利用时间信息。把从第一帧和参考帧中生成的模板分别记作Pt和Pw。此外，模板是通过自适应模板生成ATG获得的，而不是直接在BBox中裁剪出点。该方法包括以下步骤：
201、通过雷达采集目标场景中的点云数据序列，并提取点云数据序列中的第一帧点云，并基于第一帧点云构建第一模板点云；
本实施例中，以无人驾驶汽车为例，无人驾驶的车辆通过搭载的激光雷达扫描仪，对周围的路面情况进行实时扫描，以点云的形式采集并传送回车辆，车辆通过图像处理软件提取出其中的第一帧点云，以第一帧点云作为后续的跟踪目标的模板点云/模板特征的构建，以实现实时的对周围车辆的追踪，从而做出下一步决策，避免发生事故。
具体的，在构建第一模板点云时，根据跟踪目标，利用预设的3D目标跟踪算法确定所述第一帧点云中的目标的边界框，并提取所述边界框中的所有目标点云，生成第一模板点云。
202、判断第一模板点云中的点云密集度是否满足预设阈值，得到第一判断结果；
该步骤中，具体是通过确定第一模板点云中的目标点云的密集程度来判断，例如通过统计第一模板点云中的目标点云的数量和边界框中面积计算出目标点云的密集度，基于该密集度与预设的目标点云的密集阈值进行比较，若比较结果为小于时，则采用自适应模板生成算法提取边界框中的非目标点云的特征或者是边界框之外的点云的特征与第一模板点云进行融合，生成第二模板点云。
203、基于第一判断结果，利用预设的自适应模板生成算法，以边界框的中心点为原点，从原点的周边点云中选取若干个满足预设约束条件的点云，生成第二模板点云；
在本实施例中，所述自适应模板生成算法包括区域固定裁剪生成策略和点固定裁剪生成策略；所述基于所述第一判断结果，利用预设的自适应模板生成算法，以所述边界框的中心点为原点，从所述原点周边点云中选取若干个满足预设约束条件的点云，生成第二模板点云，包括：
若所述第一判断结果为满足预设阈值，则利用所述区域固定裁剪生成策略，以所述边界框的中心点为原点，选取所述原点周边相距所述原点的距离在第一预设值内的点云，生成第二模板点云；
若所述第一判断结果为不满足预设阈值，则利用所述点固定裁剪生成策略，以所述边界框的中心点为原点，向外选取预设数量的点云，生成第二模板点云，其中，所述预设数量的点云与所述原点之间的欧几里得距离均满足第二预设值。
在本实施例中，为了进一步提高第二模板点云中的特征准确度，还提供所述基于所述判断结果，利用预设的自适应模板生成算法，以所述边界框的中心点为原点，从所述原点周边点云中选取若干个满足预设约束条件的点云，生成第二模板点云，还包括：
基于选取的点云构建点云矩阵；
判断所述点云矩阵中的各点云是否位于所述边界框内，得到第二判断结果；
基于所述第二判断结果将所述点云矩阵转换为目标掩码；
基于所述目标掩码和所述第二模板点云进行融合处理，得到第一增强模板点云。
204、获取跟踪目标的历史模板点云，并基于历史模板点云和对应的历史参考帧进行聚合，得到跟踪目标的历史模板特征；
该步骤中，利用预设的特征提取器，分别对所述历史模板点云和对应的历史参考帧进行特征提取，得到多个历史模板点云的历史特征和历史参考模板特征；
利用距离计算公式，计算各历史特征与历史参考模板特征的成对距离；
利用K最近邻算法，基于成对距离从历史参考帧中择出与每个模板特征前K个最相似的参考特征，构建K对相似模板特征；
利用多层次结构的神经网络，将K对相似模板特征进行融合，得到所述跟踪目标的历史模板特征；
其中，所述距离计算公式为：
Figure BDA0003767030270000131
M1代表参考和模板中的特征数量，FDist表示一个M1×M1大小的距离图，其中FDisti，j表示
Figure BDA0003767030270000132
和
Figure BDA0003767030270000133
之间的距离。
205、根据历史模板特征和第二模板点云进行融合处理，得到第二增强模板点云；
本实施例中，尽管自适应模板生成(ATG)为的模型提供了来自物体周围的更多线索，但模型也更容易受到不断变化的环境的影响。跨帧聚合(CFA)模块旨在消除这种负面影响并利用LiDAR序列中的时间信息。如4所示，CFA模块使用来自历史轨迹列表的参考帧，在CFA中，参考特征将被聚合到模板特征中，为网络提供时间信息，例如速度和场景的变化。
206、提取点云数据序列中其他帧点云数据中的搜索区域中的点云特征；
207、将第一增强模板点云、第二增强模板点云和跟踪目标对应的参考模板点云输入至预设的特征提取器中进行特征提取，并对提取到的模板特征进行融合，得到增强模板特征；
208、将点云特征与增强模板特征输入至预设的区域提议网络中进行投票和提议处理，得到比较结果；
该步骤中，主要是针对目标的特征增强将把增强后的模板特征融合进搜索区域中。整个过程如图5所示。首先，使用上述公式计算搜索区域特征和模板特征(即Fs和Ft)之间的相似特征距离，得到一个形状为(M1，M2)的距离图。之后，将模板特征重复M2次，形成(M1，M2，D)的尺寸。然后按照通道的维度把距离图、复制后的模板特征和来自ATG的目标掩码进行合并。最后，通过在最大池化操作后使用MLP，可以获得一个增强的搜索区域特征
Figure BDA0003767030270000141
这种增强的特征包括模板和参考信息，并将被输入到后续的RPN中以获得最终的边界框。
209、基于比较结果生成点云数据序列中跟踪目标的跟踪结果，并进行显示。
在本实施例中，上述的各个步骤的功能，具体可以通过设计一个感知追踪器(CAT)来实现，该感知追踪器(CAT)包括自适应模板生成(Adaptive Template Generation，ATG)和跨帧融合模块(Cross-frameAggregation Module，CFA)，其中，
自适应模板生成算法(ATG)旨在根据对象的稠密程度自适应地裁剪出目标。更准确地说，利用了两种特定的模板生成策略：区域固定裁剪策略和点固定裁剪策略。前者是现有技术中通常使用的模板生成策略，如2D SOT和3D SOT。它裁剪出固定区域中的点，即目标的边界框BBox中的点。后者使用k-Nearest Neighbor(k-NN，K最近邻)算法裁剪出固定点数的模板，该模板上的每个点与BBox中心的欧几里得距离可以被计算为：
Figure BDA0003767030270000142
其中Center(·)和
Figure BDA0003767030270000143
分别代表BBox的中心和给定帧中的点，Pairwise(·)是两个输入点云之间的l2距离。然后，可以用argsort来选取距离最近的N1个点，从而获得模板
Figure BDA0003767030270000151
在实验中，设置了一个阈值σ来判断目标点云是否足够密集。如果BBox中的点数大于阈值，将使用区域固定的裁剪策略。否则，将使用固定点数的裁剪策略。
此外，为了消除扩大范围的模板中的背景噪声点，进一步设计了目标掩码(mask)。在扩大的模板点云中，如果该点在BBox内，将把mask中该点位置设为1，否则设为0。得到mask之后，将把mask送进特征融合生成更多有判别性的特征。通过这种方式，不仅可以在稀疏的情况下自适应地扩大模板的大小，还可以通过掩模给出目标的标识符，增强追踪过程。
对于跨帧融合模块(Cross-frame Aggregation Module)，尽管自适应模板生成(ATG)为的模型提供了来自物体周围的更多线索，但模型也更容易受到不断变化的环境的影响。跨帧聚合(CFA)模块旨在消除这种负面影响并利用LiDAR序列中的时间信息。如图表4所示，CFA模块使用来自历史轨迹列表的参考帧，在CFA中，参考特征将被聚合到模板特征中，为网络提供时间信息，例如速度和场景的变化。具体来说，模板Pt和参考Pr将由第一帧和参考帧通过ATG生成，其中模板和参考的维度应该等于
Figure BDA0003767030270000152
之后，它们将被输入到同一个特征提取器(即PointNet++)中，得到特征Ft，
Figure BDA0003767030270000153
Fr中的每个特征与Ft中的特征的成对l2距离可以由如下计算：
Figure BDA0003767030270000154
其中M1代表参考和模板中的特征数量，FDist表示一个M1×M1大小的距离图，其中FDisti，j表示
Figure BDA0003767030270000161
和
Figure BDA0003767030270000162
之间的距离。然后用了k-NN算法如图5所示。首先选择出与每个模板特征前k个最相似的参考特征，这会产生一个索引矩阵。其中第i列是与第i个模板特征在l2距离上的k个最近邻居的索引。此外，对于第i个参考特征
Figure BDA0003767030270000163
使用上述索引矩阵中的第i列来选择其最近的k个模板点。之后，用一个PointNet[3]来聚合这k对特征，
Figure BDA0003767030270000164
其中，
Figure BDA0003767030270000165
表示拼接操作。CFA模块有助于丢弃错误的匹配并避免受到背景中的噪声干扰，从而产生更具辨别力和时间感知的模板特征
Figure BDA0003767030270000166
并促进后续的特征聚合。
进一步的，在得到特征增强后，针对目标的特征增强将把增强后的模板特征融合进搜索区域中。整个过程如图5所示。首先，使用上述公式计算搜索区域特征和模板特征(即Fs和Ft)之间的相似特征距离，得到一个形状为(M1，M2)的距离图。之后，将模板特征重复M2次，形成(M1，M2，D)的尺寸。然后按照通道的维度把距离图、复制后的模板特征和来自ATG的目标掩码进行合并。最后，通过在最大池化操作后使用MLP，可以获得一个增强的搜索区域特征
Figure BDA0003767030270000171
这种增强的特征包括模板和参考信息，并将被输入到后续的RPN中以获得最终的边界框。
本实施例提供的CAT的架构是通过把ATG、CFA模块和高级特征增强合并到P2B中得到的。如图1和4所示，CAT首先使用ATG生成模板和参考。然后使用共享权重的PointNet++提取模板和参考的特征，并在CFA模块中把参考信息融合到模板中以生成融合的模板特征。然后将这些特征与搜索区域的特征一起输入到针对模板的特征增强中，从而产生用于最终预测的增强特征。最后，增强的特征被用于区域提议网络(RPN)，其组件取自于VoteNet(即投票和提议模块)。为了公平比较，CAT中RPN的结构与P2B的结构相同。
通过点到框的关系(BoxCloud)来利用尺寸感知和部位感知信息，从而来增强的网络，BoxCloud是Pt到9个预定义的关键点(边界框的8个角点和一个中心点)的距离图
Figure BDA0003767030270000172
这个改进对网络架构几乎没有修改(除了输入通道和特征增强中的特征)，但显著地提高了整体性能。
综上，通过对上述提供的方法的实施，与已经得到很好研究的基于2D图像的SOT相比，3D点云上的SOT是一个相对新兴的研究领域。为了解决3D点云上的单目标追踪(SOT)任务，本文研究了一种新方法，被称作上下文感知追踪(CAT)，以通过从LiDAR序列中进行空间和时间上下文学习来实现卓越的3D SOT。
进一步的，利用自适应模板生成算法(ATG)来解决稀疏激光雷达场景中模板信息不足的问题。与之前的3D SOT方法仅利用目标边界框中的点云作为模板相比，CAT自适应地把目标框外的环境包含进模板来利用周围环境线索。这种模板生成策略比以前的区域固定的策略更有效、更合理，尤其是在目标物体只有少量点的情况下。
此外，还使用跨帧聚合(CFA)模块，通过聚合历史参考帧的特征来增强模板的特征表示。即使在点云极其稀疏的情况下，利用这种方案也可以使CAT实现稳健的性能。
上面对本发明实施例中目标跟踪方法进行了描述，下面对本发明实施例中目标跟踪装置进行描述，请参阅图6，本发明实施例中目标跟踪装置一个实施例包括：
采集模块601，用于通过雷达采集目标场景中的点云数据序列，并提取所述点云数据序列中的第一帧点云，其中，所述点云数据序列包括至少两帧点云数据；
提取模块602，用于根据跟踪目标，利用预设的3D目标跟踪算法确定所述第一帧点云中的目标的边界框，并提取所述边界框中的所有目标点云，生成第一模板点云；
扩张模块603，用于基于所述第一模板点云，利用预设的自适应模板生成算法基于所述边界框进行模板扩张处理，得到第二模板点云；
跟踪模块604，提取所述点云数据序列中其他帧点云数据中的搜索区域中的点云特征，并将所述点云特征与所述第二模板点云和所述跟踪目标对应的参考模板点云进行比较，得到比较结果；
生成模块605，用于基于所述比较结果生成所述点云数据序列中所述跟踪目标的跟踪结果，并进行显示。
本实施例提供的装置，通过雷达采集目标场景中的点云数据序列，并提取点云数据序列中的第一帧点云，根据跟踪目标，利用预设的3D目标跟踪算法确定第一帧点云中的目标的边界框，并提取边界框中的所有目标点云，生成第一模板点云，基于第一模板点云，利用预设的自适应模板生成算法基于边界框进行模板扩张处理，得到第二模板点云，提取点云数据序列中其他帧点云数据中的搜索区域中的点云特征，并将点云特征与第二模板点云和跟踪目标对应的参考模板点云进行比较，得到比较结果，基于比较结果生成点云数据序列中跟踪目标的跟踪结果，并进行显示。基于自适应模板生成算法对模板进行扩展，从而利用跟踪场景中的上下文信息辅助跟踪目标的识别，实现了即使在目标非常稀疏的场景也能消除不同环境下的噪声，快速精准的定位跟踪目标进行跟踪识别。
进一步地，请参阅图7，图7为目标跟踪装置各个模块的细化示意图。
在本实施例另一实施例中，所述扩张模块603包括：
第一判断单元6031，用于判断所述第一模板点云中的点云密集度是否满足预设阈值，得到第一判断结果；
扩张单元6032，用于基于所述第一判断结果，利用预设的自适应模板生成算法，以所述边界框的中心点为原点，从所述原点的周边点云中选取若干个满足预设约束条件的点云，生成第二模板点云。
在本实施例另一实施例中，所述自适应模板生成算法包括区域固定裁剪生成策略和点固定裁剪生成策略；所述扩展单元6032具体用于：
若所述第一判断结果为满足预设阈值，则利用所述区域固定裁剪生成策略，以所述边界框的中心点为原点，选取所述原点周边相距所述原点的距离在第一预设值内的点云，生成第二模板点云；
若所述第一判断结果为不满足预设阈值，则利用所述点固定裁剪生成策略，以所述边界框的中心点为原点，向外选取预设数量的点云，生成第二模板点云，其中，所述预设数量的点云与所述原点之间的欧几里得距离均满足第二预设值。
在本实施例另一实施例中，所述扩展模块603还包括第一增强单元6033，其具体用于：
基于选取的点云构建点云矩阵；
判断所述点云矩阵中的各点云是否位于所述边界框内，得到第二判断结果；
基于所述第二判断结果将所述点云矩阵转换为目标掩码；
基于所述目标掩码和所述第二模板点云进行融合处理，得到第一增强模板点云。
在本实施例另一实施例中，所述目标跟踪装置还包括跨帧融合模块606，其具体用于：
获取所述跟踪目标的历史模板点云，并基于所述历史模板点云和对应的历史参考帧进行聚合，得到所述跟踪目标的历史模板特征；
根据所述历史模板特征和所述第二模板点云进行融合处理，得到第二增强模板点云。
在本实施例另一实施例中，所述跟踪模块604包括：
搜索单元6041，用于提取所述点云数据序列中其他帧点云数据中的搜索区域中的点云特征；
第二增强单元6042，用于将所述第一增强模板点云、所述第二增强模板点云和所述跟踪目标对应的参考模板点云输入至预设的特征提取器中进行特征提取，并对提取到的模板特征进行融合，得到增强模板特征；
跟踪处理单元6043，用于将所述点云特征与所述增强模板特征输入至预设的区域提议网络中进行投票和提议处理，得到比较结果。
在本实施例另一实施例中，所述跨帧融合模块606具体用于：
利用预设的特征提取器，分别对所述历史模板点云和对应的历史参考帧进行特征提取，得到多个历史模板点云的历史特征和历史参考模板特征；
利用距离计算公式，计算各历史特征与历史参考模板特征的成对距离；
利用K最近邻算法，基于成对距离从历史参考帧中择出与每个模板特征前K个最相似的参考特征，构建K对相似模板特征；
利用多层次结构的神经网络，将K对相似模板特征进行融合，得到所述跟踪目标的历史模板特征；
其中，所述距离计算公式为：
Figure BDA0003767030270000201
M1代表参考和模板中的特征数量，FDist表示一个M1×M1大小的距离图，FDisti，j表示
Figure BDA0003767030270000202
和
Figure BDA0003767030270000203
之间的距离。
通过上述装置的实施，基于自适应模板生成算法对模板进行扩展，从而利用跟踪场景中的上下文信息辅助跟踪目标的识别，实现了即使在目标非常稀疏的场景也能消除不同环境下的噪声，快速精准的定位跟踪目标进行跟踪识别。
上面图6和图7从模块化功能实体的角度对本发明实施例中的目标跟踪装置进行详细描述，下面从硬件处理的角度对本发明实施例中电子设备进行详细描述。
图8是本发明实施例提供了一种电子设备的结构示意图，该电子设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessingunits，CPU)810(例如，一个或一个以上处理器)和存储器820，一个或一个以上存储应用程序833或数据832的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器820和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对电子设备800中的一系列指令操作。更进一步地，处理器810可以设置为与存储介质830通信，在电子设备800上执行存储介质830中的一系列指令操作。
电子设备800还可以包括一个或一个以上电源840，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口860，和/或，一个或一个以上操作系统831，例如：WindowsServe，MacOSX，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图8示出的电子设备结构还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明实施例还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例提供的目标跟踪方法中的各个步骤。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令或计算机程序，当所述指令或计算机程序被运行时，使得计算机执行上述实施例提供的目标跟踪方法的各个步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-onlymemory，ROM)、随机存取存储器(randomaccessmemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种目标跟踪方法，其特征在于，所述目标跟踪方法包括：
通过雷达采集目标场景中的点云数据序列，并提取所述点云数据序列中的第一帧点云，其中，所述点云数据序列包括至少两帧点云数据；
根据跟踪目标，利用预设的3D目标跟踪算法确定所述第一帧点云中的目标的边界框，并提取所述边界框中的所有目标点云，生成第一模板点云；
基于所述第一模板点云，利用预设的自适应模板生成算法基于所述边界框进行模板扩张处理，得到第二模板点云；
提取所述点云数据序列中其他帧点云数据中的搜索区域中的点云特征，并将所述点云特征与所述第二模板点云和所述跟踪目标对应的参考模板点云进行比较，得到比较结果；
基于所述比较结果生成所述点云数据序列中所述跟踪目标的跟踪结果，并进行显示。
2.根据权利要求1所述的目标跟踪方法，其特征在于，所述基于所述第一模板点云，利用预设的自适应模板生成算法基于所述边界框进行模板扩张处理，得到第二模板点云，包括：
判断所述第一模板点云中的点云密集度是否满足预设阈值，得到第一判断结果；
基于所述第一判断结果，利用预设的自适应模板生成算法，以所述边界框的中心点为原点，从所述原点的周边点云中选取若干个满足预设约束条件的点云，生成第二模板点云。
3.根据权利要求2所述的目标跟踪方法，其特征在于，所述自适应模板生成算法包括区域固定裁剪生成策略和点固定裁剪生成策略；所述基于所述第一判断结果，利用预设的自适应模板生成算法，以所述边界框的中心点为原点，从所述原点周边点云中选取若干个满足预设约束条件的点云，生成第二模板点云，包括：
若所述第一判断结果为满足预设阈值，则利用所述区域固定裁剪生成策略，以所述边界框的中心点为原点，选取所述原点周边相距所述原点的距离在第一预设值内的点云，生成第二模板点云；
若所述第一判断结果为不满足预设阈值，则利用所述点固定裁剪生成策略，以所述边界框的中心点为原点，向外选取预设数量的点云，生成第二模板点云，其中，所述预设数量的点云与所述原点之间的欧几里得距离均满足第二预设值。
4.根据权利要求3所述的目标跟踪方法，其特征在于，所述基于所述判断结果，利用预设的自适应模板生成算法，以所述边界框的中心点为原点，从所述原点周边点云中选取若干个满足预设约束条件的点云，生成第二模板点云，还包括：
基于选取的点云构建点云矩阵；
判断所述点云矩阵中的各点云是否位于所述边界框内，得到第二判断结果；
基于所述第二判断结果将所述点云矩阵转换为目标掩码；
基于所述目标掩码和所述第二模板点云进行融合处理，得到第一增强模板点云。
5.根据权利要求4所述的目标跟踪方法，其特征在于，在所述基于所述第一模板点云，利用预设的自适应模板生成算法基于所述边界框进行模板扩张处理，得到第二模板点云之后，还包括：
获取所述跟踪目标的历史模板点云，并基于所述历史模板点云和对应的历史参考帧进行聚合，得到所述跟踪目标的历史模板特征；
根据所述历史模板特征和所述第二模板点云进行融合处理，得到第二增强模板点云。
6.根据权利要求5所述的目标跟踪方法，其特征在于，所述提取所述点云数据序列中其他帧点云数据中的搜索区域中的点云特征，并将所述点云特征与所述第二模板点云和所述跟踪目标对应的参考模板点云进行比较，得到比较结果，包括：
提取所述点云数据序列中其他帧点云数据中的搜索区域中的点云特征；
将所述第一增强模板点云、所述第二增强模板点云和所述跟踪目标对应的参考模板点云输入至预设的特征提取器中进行特征提取，并对提取到的模板特征进行融合，得到增强模板特征；
将所述点云特征与所述增强模板特征输入至预设的区域提议网络中进行投票和提议处理，得到比较结果。
7.根据权利要求5所述的目标跟踪方法，其特征在于，所述基于所述历史模板点云和对应的历史参考帧进行聚合，得到所述跟踪目标的历史模板特征，包括：
利用预设的特征提取器，分别对所述历史模板点云和对应的历史参考帧进行特征提取，得到多个历史模板点云的历史特征和历史参考模板特征；
利用距离计算公式，计算各历史特征与历史参考模板特征的成对距离；
利用K最近邻算法，基于成对距离从历史参考帧中择出与每个模板特征前K个最相似的参考特征，构建K对相似模板特征；
利用多层次结构的神经网络，将K对相似模板特征进行融合，得到所述跟踪目标的历史模板特征；
其中，所述距离计算公式为：
Figure FDA0003767030260000031
M1代表参考和模板中的特征数量，FDist表示一个M1×M1大小的距离图，其中FDisti，j表示fi t∈Ft和fi r∈Fr之间的距离。
8.一种目标跟踪装置，其特征在于，所述目标跟踪装置包括：
采集模块，用于通过雷达采集目标场景中的点云数据序列，并提取所述点云数据序列中的第一帧点云，其中，所述点云数据序列包括至少两帧点云数据；
提取模块，用于根据跟踪目标，利用预设的3D目标跟踪算法确定所述第一帧点云中的目标的边界框，并提取所述边界框中的所有目标点云，生成第一模板点云；
扩张模块，用于基于所述第一模板点云，利用预设的自适应模板生成算法基于所述边界框进行模板扩张处理，得到第二模板点云；
跟踪模块，提取所述点云数据序列中其他帧点云数据中的搜索区域中的点云特征，并将所述点云特征与所述第二模板点云和所述跟踪目标对应的参考模板点云进行比较，得到比较结果；
生成模块，用于基于所述比较结果生成所述点云数据序列中所述跟踪目标的跟踪结果，并进行显示。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的目标跟踪方法中的各个步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的目标跟踪方法中的各个步骤。
CN202210889605.5A 2022-07-27 2022-07-27 目标跟踪方法、装置、设备及存储介质 Pending CN115272392A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210889605.5A CN115272392A (zh) 2022-07-27 2022-07-27 目标跟踪方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210889605.5A CN115272392A (zh) 2022-07-27 2022-07-27 目标跟踪方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115272392A true CN115272392A (zh) 2022-11-01

Family

ID=83768760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210889605.5A Pending CN115272392A (zh) 2022-07-27 2022-07-27 目标跟踪方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115272392A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116430338A (zh) * 2023-03-20 2023-07-14 北京中科创益科技有限公司 一种移动目标的追踪方法、系统及设备
CN117334080A (zh) * 2023-12-01 2024-01-02 江苏镭神激光智能系统有限公司 基于激光雷达和相机识别的车辆追踪方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116430338A (zh) * 2023-03-20 2023-07-14 北京中科创益科技有限公司 一种移动目标的追踪方法、系统及设备
CN116430338B (zh) * 2023-03-20 2024-05-10 北京中科创益科技有限公司 一种移动目标的追踪方法、系统及设备
CN117334080A (zh) * 2023-12-01 2024-01-02 江苏镭神激光智能系统有限公司 基于激光雷达和相机识别的车辆追踪方法及系统
CN117334080B (zh) * 2023-12-01 2024-02-02 江苏镭神激光智能系统有限公司 基于激光雷达和相机识别的车辆追踪方法及系统

Similar Documents

Publication Publication Date Title
JP7167397B2 (ja) 点群データを処理するための方法及び装置
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
Zhou et al. Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain
CN115272392A (zh) 目标跟踪方法、装置、设备及存储介质
CN110427797B (zh) 一种基于几何条件限制的三维车辆检测方法
CN113936198A (zh) 低线束激光雷达与相机融合方法、存储介质及装置
CN110992424B (zh) 基于双目视觉的定位方法和系统
CN115203352B (zh) 车道级定位方法、装置、计算机设备和存储介质
Gu et al. Embedded and real-time vehicle detection system for challenging on-road scenes
CN114088099A (zh) 基于已知地图的语义重定位方法、装置、电子设备及介质
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
CN114898314A (zh) 驾驶场景的目标检测方法、装置、设备及存储介质
CN113189610B (zh) 地图增强的自动驾驶多目标追踪方法和相关设备
CN108932275B (zh) 用于地理空间对象/特性检测的贝叶斯方法
Matsumoto et al. Extraction of guardrails from mms data using convolutional neural network
Tsintotas et al. Visual place recognition for simultaneous localization and mapping
CN116912763A (zh) 一种融合步态人脸模态的多行人重识别方法
Bruno et al. A comparison of traffic signs detection methods in 2d and 3d images for the benefit of the navigation of autonomous vehicles
Bui et al. A texture-based local soft voting method for vanishing point detection from a single road image
WO2024020824A1 (zh) 目标跟踪方法、装置、设备及存储介质
Abadleh et al. Deep Neural Network-based Approach to Identifying Road Lanes
She et al. Multi-obstacle detection based on monocular vision for UAV
Salah et al. Summarizing large scale 3D mesh for urban navigation
Li et al. Image multi-human behavior analysis based on low rank texture direction
Sathya et al. An Analytical Study of Various Pothole Detection and Prevention Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination