CN114882458A - 一种目标跟踪方法、系统、介质及设备 - Google Patents
一种目标跟踪方法、系统、介质及设备 Download PDFInfo
- Publication number
- CN114882458A CN114882458A CN202210390851.6A CN202210390851A CN114882458A CN 114882458 A CN114882458 A CN 114882458A CN 202210390851 A CN202210390851 A CN 202210390851A CN 114882458 A CN114882458 A CN 114882458A
- Authority
- CN
- China
- Prior art keywords
- target
- point cloud
- cloud data
- tracking
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请公开了一种目标跟踪方法、系统、介质及设备,属于自动驾驶技术领域,该方法包括:获取车辆周围的原始点云数据,并转换到同一坐标系下,得到预处理点云数据;对预处理点云数据进行目标检测,确定候选目标的位置,然后提取目标点云数据;并对目标点云数据进行多视角深度图像投影,得到深度伪图像;对深度伪图像进行分类,得到对应的候选目标的目标类别、置信度以及特征向量;对候选目标进行目标跟踪。本申请通过对激光雷达获取的点云数据进行处理,提取目标区域的点云数据并进行投影,得到对应的深度伪图像,通过检测器对深度伪图像进行检测,加快对点云数据的处理能力及处理效率。
Description
技术领域
本申请涉及自动驾驶技术领域,尤其涉及一种目标跟踪方法、系统、介质及设备。
背景技术
自动驾驶技术在近年来飞速发展,尤其是在限定条件下的自动驾驶,如高速公路、港口等场景,对自动驾驶技术的可靠性带来诸多挑战。为了保证自动驾驶系统感知能力的冗余度与鲁棒性,一般都会涉及多种传感器,主要包括摄像头、激光雷达、毫米波雷达、超声波雷达等。多目标跟踪是自动驾驶算法中的核心算法,稳定且准确的检测其他车辆在三维空间中的实际位置十分重要。激光雷达由于其自身特性,具有提供准确空间位置信息的能力,因此十分适合用来做多目标跟踪。
在线多目标跟踪算法主要可以分为传统方法和结合深度学习方法两大类。传统方法主要包含了单帧的检测与多帧跟踪两个步骤。结合深度学习部分的主要分为两类范式,一类是Tracking by Detection,即将传统方法中的单帧检测模块算法替换为深度学习检测方法,一类是Joint Detection&Tracking,即将历史帧信息也编码到下一帧的检测中。其中,传统方法缺乏语义理解能力,在复杂场景中无法有效给出候选框;结合深度学习的跟踪方法中,大多数检测器都是以视觉检测为的背景下开发,直接应用到对激光雷达采集点云数据的处理上,导致效果不佳,对雷达点云的处理效率低的问题。
发明内容
本申请实施例提出一种目标跟踪方法、系统、介质及设备,用以解决在对目标识别跟踪时,点云处理效果不佳,处理效率不高的问题,。
在本申请的一个技术方案中,提供一种目标跟踪方法,包括:通过多个激光雷达获取车辆周围的原始点云数据,并转换到同一坐标系下,得到预处理点云数据;对预处理点云数据进行目标检测,确定预处理点云数据中候选目标的位置;根据候选目标的位置,从预处理点云数据中,提取候选目标对应的目标点云数据;对目标点云数据进行多视角深度图像投影,得到深度伪图像;对深度伪图像进行分类,得到对应的候选目标的目标类别、置信度以及特征向量;根据候选目标的目标类别、置信度以及特征向量更新跟踪目标轨迹或新建跟踪轨迹,进行目标跟踪。
可选的,获取车辆周围的原始点云数据,并转换到同一坐标系下,得到预处理点云数据,包括:对获取的原始点云数据进行外参转换,将获取的原始点云数据转换到同一坐标系下;并对同一坐标系中,原始点云数据进行拼接,得到预处理点云数据。
可选的,对预处理点云数据进行目标检测,确定预处理点云数据中候选目标的位置,包括:对预处理点云数据按照点云点与自动驾驶车辆的距离进行分类,得到近程点云数据和远程点云数据;对近程点云数据进行目标检测,得到第一候选目标及其对应的位置;对远程点云数据进行目标聚类,得到第二候选目标及其对应的位置。
可选的,对预处理点云数据按照点云点与自动驾驶车辆的距离进行分类,得到近程点云数据和远程点云数据,包括:将距离小于第一预设距离阈值的预处理点云数据,确定为近程点云数据;将距离大于第二预设距离阈值的预处理点云数据,确定为远程点云数据,其中第二预设距离阈值小于第一预设距离阈值。
可选的,对近程点云数据进行目标检测,得到第一候选目标及其对应的位置,包括:对近程点云数据进行投影,得到伪图像;通对伪图像进行检测,得到第一候选目标及其对应的位置。
可选的,对候选目标的目标类别、置信度以及特征向量更新跟踪目标轨迹或新建跟踪轨迹,进行目标跟踪之前,该方法还包括:对位置重叠部分的第一候选目标和第二候选目标进行融合,得到融合目标;通过跟踪器对位置未重叠部分的第一候选目标、第二候选目标以及融合目标进行更新跟踪目标轨迹或新建跟踪轨迹,进行目标跟踪。
可选的,对位置重叠部分的第一候选目标和第二候选目标进行融合,得到融合目标,包括:计算位置重叠部分的第一候选目标和第二候选目标分别对应的深度伪图像的交并比;若交并比大于预设交并比阈值,则以第一候选目标和第二候选中置信度较高者为真实目标,进行目标融合,得到融合目标。
在本申请的一个技术方案中,提供一种目标跟踪系统,包括:点云获取及预处理模块,其获取车辆周围的原始点云数据,并转换到同一坐标系下,得到预处理点云数据;目标检测模块,其对预处理点云数据进行目标检测,确定预处理点云数据中候选目标的位置,并根据候选目标的位置,从预处理点云数据中,提取候选目标对应的目标点云数据;图像投影模块,其对目标点云数据进行多视角深度图像投影,得到深度伪图像;目标分类模块,其对深度伪图像进行分类,得到对应的候选目标的目标类别、置信度以及特征向量;跟踪器,其根据候选目标的目标类别、置信度以及特征向量更新跟踪目标轨迹或新建跟踪轨迹,进行目标跟踪。
在本申请的一个技术方案中,提供一种计算机可读存储介质,其存储有计算机指令,其中计算机指令被操作以执行方案一中的目标跟踪方法。
在本申请的一个技术方案中,提供一种计算机设备,其包括处理器和存储器,存储器存储有计算机指令,其中:处理器操作计算机指令以执行方案一中的目标跟踪方法。
本申请的有益效果是:本申请通过将多个感知设备获取的点云数据进行转换到同一坐标系下进行处理,提高对点云数据的处理效果,提取目标区域的点云数据并进行投影,得到对应的深度伪图像,通过将点云数据图像化,再对深度伪图像进行检测,提高对点云数据的检测效果,提高检测的准确性,从而加快对点云数据的处理能力、处理效率,使得目标跟踪过程既具有点云数据的准确性特点又具有图像检测的高效率的特点。
附图说明
图1是本申请目标跟踪方法的一个实施方式的示意图;
图2是本申请目标跟踪系统的一个实施方式的示意图;
图3是本申请目标跟踪系统的一个实例的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的产品或设备不必限于清楚地列出的哪些单元,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它单元。
自动驾驶技术在近年来的飞速发展,尤其是在限定条件下的自动驾驶,如高速公路、港口等场景,对自动驾驶系统的可靠性带来诸多挑战。为了保证自动驾驶系统感知能力的冗余度与鲁棒性,一般都会涉及多种传感器,主要包括摄像头、激光雷达、毫米波雷达、超声波雷达等。多目标跟踪是自动驾驶算法中的核心算法,稳定且准确的检测其他车辆在三维空间中的实际位置十分重要。激光雷达由于其自身特性,具有提供准确空间位置信息的能力,因此十分适合用来做多目标跟踪。
在线多目标跟踪算法主要可以分为传统方法和结合深度学习方法两大类。传统方法主要包含了单帧的检测与多帧跟踪两个步骤,以SORT方法作为代表。其中,单帧检测的主要算法是分割或者聚类算法,多帧跟踪主要包括从单帧检测生成轨迹、使用运动模型对已有的轨迹进行更新(如卡尔曼滤波算法)、使用已有的轨迹与单帧检测结果匹配(如匈牙利算法)三个主要部分。结合深度学习部分的主要分为两类范式,一类是Tracking byDetection,即将传统方法中的单帧检测模块算法替换为深度学习检测方法,一类是JointDetection&Tracking,即将历史帧信息也编码到下一帧的检测中。传统方法缺乏语义理解能力,在复杂场景中无法有效给出候选框;Joint Detection&Tracking对历史帧信息处理需要额外算力,因此在算力有限的在线系统中难以应用;Tracking by Detection范式相对成熟,但是大多数检测器都是以视觉为主的背景下开发的,直接应用激光雷达上存在效果不佳或者效率不高的问题。
针对上述问题,本申请提出一种目标跟踪方法、系统、介质及设备。该方法包括:通过多个获取车辆周围的原始点云数据,并转换到同一坐标系下,得到预处理点云数据;对预处理点云数据进行目标检测,确定预处理点云数据中候选目标的位置;根据候选目标的位置,从预处理点云数据中,提取候选目标对应的目标点云数据;对目标点云数据进行多视角深度图像投影,得到深度伪图像;对深度伪图像进行分类,得到对应的候选目标的目标类别、置信度以及特征向量;对候选目标的目标类别、置信度以及特征向量更新跟踪目标轨迹或新建跟踪轨迹,进行目标跟踪。
本申请通过将多个感知设备获取的点云数据进行转换到同一坐标系下进行处理,提高对点云数据的处理效果,提取目标区域的点云数据并进行投影,得到对应的深度伪图像,通过将点云数据图像化,再对深度伪图像进行检测,提高对点云数据的检测效果,提高检测的准确性,从而加快对点云数据的处理能力、处理效率,使得目标跟踪过程既保持有点云数据的准确性特点又保有图像检测的高效率的特点。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图1示出了本申请目标跟踪方法的一个实施方式。
在图1所示的实施方式中,本申请目标跟踪方法包括过程S101,通获取车辆周围的原始点云数据,并转换到同一坐标系下,得到预处理点云数据。
在该实施方式中,在根据点云数据进行目标跟踪时,首先通过车辆上搭载的多个采集设备,例如多个激光雷达获取车辆周围的原始点云数据,然后对获取的当前帧原始点云数据进行预处理。由于不同的激光雷达获取的点云数据均以相应的激光雷达为坐标中心,因此需要进行坐标转换,转换到同一坐标系下,最终得到预处理点云数据,进行后续的处理。
可选的,获取车辆周围的原始点云数据,并转换到同一坐标系下,得到预处理点云数据,包括:对获取的原始点云数据进行外参转换,将获取的原始点云数据转换到同一坐标系下;并对同一坐标系中,原始点云数据进行拼接,得到预处理点云数据
在该可选实施例中,不同的采集设备自身有着自身对应的设备参数,例如不同的激光雷达对应着不同的外部参数,例如安装高度、朝向角等。对于不同激光雷达获取的原始点云数据,通过对激光雷达点云对应的外参进行转换,将多个激光雷达获取点云数据转换到同意坐标系下。在同一坐标系中,对个激光雷达获取的点云数据会有重复,因此对同一坐标系下的点云数据进行拼接,同样还会包括点云噪点的过滤去除等相关操作,最终得到预处理点云数据。
在图1所示的实施方式中,本申请目标跟踪方法包括过程S102,对预处理点云数据进行目标检测,确定预处理点云数据中候选目标的位置。
在该实施方式中,对同一坐标系下的预处理点云数据进行目标检测,通过点云数据的密度等特性,在预处理点云数据中确定出候选目标的位置。
可选的,对预处理点云数据进行目标检测,确定预处理点云数据中候选目标的位置,包括:对预处理点云数据按照点云与自动驾驶车辆的距离进行分类,得到近程点云数据和远程点云数据;对近程点云数据进行目标检测,得到第一候选目标及其对应的位置;对远程点云数据进行目标聚类,得到第二候选目标及其对应的位置。
在该可选实施例中,由于激光雷达自身的属性,近处的物体对应的点云点较多,而远处的物体对应的点云点较少,因此近处存在大量密集的点云点,而远处则为较为稀疏的点云点。为了增强目标的检测效果,同时降低目标检测所耗费的时间,对预处理点云数据按照与自动驾驶车辆的距离进行划分,得到距离自车较近的近程点云数据和距离自车较远的远程点云数据。然后利用目标检测方法,例如通过BEV检测器,利用BEV(Bird’s Eye View)检测方法对近程点云数据进行目标检测,得到对应的第一候选目标及其对应的位置;利用目标聚类方法,例如对远程点云数据通过目标聚类算法进行目标聚类,确定第二候选目标及其对应的位置。
可选的,对预处理点云数据按照点云点与自动驾驶车辆的距离进行分类,得到近程点云数据和远程点云数据,包括:将距离小于第一预设距离阈值的预处理点云数据,确定为近程点云数据;将距离大于第二预设距离阈值的预处理点云数据,确定为远程点云数据,其中第二预设距离阈值小于第一预设距离阈值。
在该可选实施例中,按照第一预设距离阈值和第二预设距离阈值对预处理点云数据进行分类,其中将距离小于第一预设距离阈值的预处理点云数据确定为近程点云数据;将距离大于第二预设距离阈值的预处理点云数据,确定为远程点云数据。为了避免进行近程点云数据和远程点云数据划分时,出现划分遗漏,划分不完全的情况,第一预设距离阈值大于第二预设距离阈值。
具体的,第一预设距离阈值可取值100米,第二预设距离阈值可取值80米。需要说明的是,第一预设距离阈值和第二预设距离阈值可根激光雷达的型号,点云数据处理的要求等进行合理设置,以上作为较优的实例,不对本申请的保护范围进行限制。
可选的,对近程点云数据进行目标检测,得到第一候选目标及其对应的位置,包括:对近程点云数据进行投影,得到伪图像;对伪图像进行检测,得到第一候选目标及其对应的位置。
在该可选实施例中,例如,在通过BEV检测器对近程点云进行目标检测时,首先通过BEV目标检测方法对近程点云数据进行投影,得到伪图像。然后通过BEV检测器对得到的伪图像进行检测,得到近程点云中的第一候选目标和其对应的位置。
在图1所示的实施方式中,本申请目标跟踪方法包括过程S103,根据候选目标的位置,从预处理点云数据中,提取候选目标对应的目标点云数据。
在该实施方式中,在确定了候选目标的位置后,从预处理点云数据中将候选目标对应的目标点云数据提取出来,用以进行后续的处理。通过提取目标点云数据,后续对该目标点云数据进行处理,降低点云数据的处理量,加快处理的速度。
在图1所示的实施方式中,本申请目标跟踪方法包括过程S104,对目标点云数据进行多视角深度图像投影,得到深度伪图像。
在该实施方式中,对分割出来的目标点云数据进行多视角RangeImage投影,将3D的点云数据转换为像素值的图像,得到各个候选目标对应的深度伪图像。其中,进行多视角RangeImage投影的过程为常见的处理过程,本申请在此不进行赘述。
在图1所示的实施方式中,本申请目标跟踪方法包括过程S105,对深度伪图像进行分类,得到对应的候选目标的目标类别、置信度以及特征向量。
在该实施方式中,将各个候选目标对应的深度伪图像输入到多任务分类网络中,对各个深度伪图像对应目标的种类和置信度等进行预测,并输出相应的结果。
具体的,目标类别可设置为七种,分别为小汽车、卡车、巴士、带挂车、摩托车、行人以及背景噪点等。多任务分类神经网络通过对各个深度伪图像进行处理,输出7+64=71维度的向量。其中,前七维分别对应神经网络对七种类别预测的置信度,其中每个预测值的范围是0~1,并且满足这七个值的和为1。将这七个数值中,置信度最高的类别作为当前深度伪图像对应的实际种类。神经网络输出的剩余64维向量表示目标的特征向量。这个特征向量表达了神经网络对车辆位置和形状信息的编码。同一个车辆在不同时刻运行,会产生类似的特征向量;而不同的车辆会产生差距很大的特征向量。因此可通过这64维的特性向量的相似程度进行是否为同一目标的判断,进而进行目标的跟踪。具体计算特征向量相似程度的方法可以选择计算两个64维特征的均方差,当均方差小于第一预设阈值a时,两个物体被标记为是同一个物体;当均方差大于第二预设阈值b时,两个物体被标记为时不同物体;当均方差在第一预设阈值a,第二预设阈值b之间时,两个物体被标记为无法判断。优选的,第一预设阈值a可取值0.2,第二预设阈值b可取值0.9。当两个物体被标记为无法判断时,不使用相似性信息,仅使用当前帧的物体与历史轨迹预测位置进行对比,进行匈牙利匹配;即退化为经典的跟踪算法。需要说明的是,上述第一预设阈值a和第二预设阈值b可根据判断经验进行合理的取值,可根据实际的判断要求进行合理的调整,上述的数值仅为较优的选择,不对本申请的保护范围进行具体限制。
在图1所示的实施方式中,本申请目标跟踪方法包括过程S106,根据候选目标的目标类别、置信度以及特征向量更新跟踪目标轨迹或新建跟踪轨迹,进行目标跟踪。
在该实施方式中,可通过跟踪器对上述经过分类网络处理后得到的深度伪图像的目标类别、置信度以及特征向量进行处理,根据当前帧对应的特征向量和上一帧对应特征向量的相似程度判断两者是否属于同一目标,若是,则更新跟踪目标轨迹;若不是,则新建跟踪轨迹,完成目标跟踪。
具体的,在判断两个目标是否为同一目标时,对当前帧目标的64维特征向量和上一帧目标的64维特征向量,计算两个64维向量的均方差,若均方差小于第一预设阈值,则两者为同一目标;若均方差大于第二预设阈值,则两者为不同目标。
可选的,对候选目标的目标类别、置信度以及特征向量更新跟踪目标轨迹或新建跟踪轨迹,进行目标跟踪之前还包括:对位置重叠部分的第一候选目标和第二候选目标进行融合,得到融合目标;通过跟踪器对位置未重叠部分的第一候选目标、第二候选目标以及融合目标进行更新跟踪目标轨迹或新建跟踪轨迹,进行目标跟踪。
在该可选实施例中,在上述过程中,提到对预处理点云进行分类,得到近程点云数据和远程点云数据,经过后续的目标检测及分类网络的处理得到近程点云数据中的目标和远程点云数据中的目标。由于近程点云数据和远程点云数据中有重合部分,因此需要对重合部分的目标进行融合,在进行后续的目标跟踪过程。
可选的,对位置重叠部分的第一候选目标和第二候选目标进行融合,得到融合目标,包括:计算位置重叠部分的第一候选目标和第二候选目标分别对应的深度伪图像的交并比;若交并比大于预设交并比阈值,则以第一候选目标和第二候选中置信度较高者为真实目标,进行目标融合,得到融合目标。
在该可选实施例中,首先判断两个目标是否可以融合,首先计算第一候选目标和第二候选目标的交并比,若交并比大于预设的交并比阈值,则认为两者为同一目标,进行后续的目标融合。在目标融合时,比较两个目标各自的置信度,并将置信度较高的一者的目标类别作为融合后的目标类别,然后进行融合,得到融合目标。
具体的,用字母A表示第一候选目标,用字母B表示第二候选目标,第一候选目标的妙计表示为S_A,第二候选目标表示为S_B,则两者的交并比IoU(AB)=S_AB/(S_A+S_B)。交并比阈值可设置为0.3,即当IoU(AB)大于0.3时,目标A和目标B为同一目标,此时比较目标A和目标B的置信度,选择置信度高的目标类别作为融合后的目标类别。若当IoU(AB)不大于0.3,则目标A和目标B为不同的物体,不进行融合过程。需要说明的是交并比阈值可根据实际的判断要求进行合理的设置,以上仅为较优的实例,不对本申请的保护范围进行限制。
本申请的目标跟踪方法通过将多个感知设备获取的点云数据进行转换到同一坐标系下进行处理,提高对点云数据的处理效果,提取目标区域的点云数据并进行投影,得到对应的深度伪图像,通过将点云数据图像化,再对深度伪图像进行检测,提高对点云数据的检测效果,提高检测的准确性,从而加快对点云数据的处理能力、处理效率,使得目标跟踪过程既保持有点云数据的准确性特点又保有图像检测的高效率的特点。
图2示出了本申请目标跟踪系统的一个实施方式。
在图2所示的实施方式中,本申请的目标跟踪系统包括:点云获取及预处理模块201,其获取车辆周围的原始点云数据,并转换到同一坐标系下,得到预处理点云数据;目标检测模块202,其对预处理点云数据进行目标检测,确定预处理点云数据中候选目标的位置,并根据候选目标的位置,从预处理点云数据中,提取候选目标对应的目标点云数据;图像投影模块203,其对目标点云数据进行多视角深度图像投影,得到深度伪图像;目标分类模块204,其对深度伪图像进行分类,得到对应的候选目标的目标类别、置信度以及特征向量;跟踪器205,其根据候选目标的目标类别、置信度以及特征向量更新跟踪目标轨迹或新建跟踪轨迹,进行目标跟踪。
可选的,在点云获取及预处理模块201中,对获取的原始点云数据进行外参转换,将获取的原始点云数据转换到同一坐标系下;并对同一坐标系中,获取的原始点云数据进行拼接,得到预处理点云数据。
可选的,目标检测模块202中,对预处理点云数据按照点云点与自动驾驶车辆的距离进行分类,得到近程点云数据和远程点云数据;对近程点云数据进行目标检测,得到第一候选目标及其对应的位置;对远程点云数据进行目标聚类,得到第二候选目标及其对应的位置。
可选的,目标检测模块202中,将距离小于第一预设距离阈值的预处理点云数据,确定为近程点云数据;将距离大于第二预设距离阈值的预处理点云数据,确定为远程点云数据,其中第二预设距离阈值小于第一预设距离阈值。
可选的,目标检测模块202中,对近程点云数据进行投影,得到伪图像;对伪图像进行检测,得到第一候选目标及其对应的位置。
可选的,还包括目标融合模块,其对位置重叠部分的第一候选目标和第二候选目标进行融合,得到融合目标;对位置未重叠部分的第一候选目标、第二候选目标以及融合目标进行更新跟踪目标轨迹或新建跟踪轨迹,进行目标跟踪。
可选的,在目标融合模块中,在计算位置重叠部分的第一候选目标和第二候选目标分别对应的深度伪图像的交并比;若交并比大于预设交并比阈值,则以第一候选目标和第二候选中置信度较高者为真实目标,进行目标融合,得到融合目标。
本申请的目标跟踪系统通过将多个感知设备获取的点云数据进行转换到同一坐标系下进行处理,提高对点云数据的处理效果,提取目标区域的点云数据并进行投影,得到对应的深度伪图像,通过将点云数据图像化,再对深度伪图像进行检测,提高对点云数据的检测效果,提高检测的准确性,从而加快对点云数据的处理能力、处理效率,使得目标跟踪过程既保持有点云数据的准确性特点又保有图像检测的高效率的特点。
图3示出了本申请目标跟踪系统的一个实例的示意图。
在图3所示的实例中,本申请的目标跟踪系统包括存储器和处理器,在处理器中分别包括:点云获取及预处理模块,目标检测模块,图像投影模块,目标分类模块,跟踪器。通过处理器中的各个模块对获取的点云数据进行处理,并将处理过程中的中间数据和最终的数据存储到存储器中,共同协作完成整个处理过程。其中,关于处理器中的各个处理模块的具体的工作原理与上述目标跟踪系统和目标跟踪方法中的处理原理相同,此处不再赘述。
在本申请的一个具体实施方式中,一种计算机可读存储介质,其存储有计算机指令,其中计算机指令被操作以执行任一实施例描述的目标跟踪方法。其中,该存储介质可直接在硬件中、在由处理器执行的软件模块中或在两者的组合中。
软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸盘、CD-ROM或此项技术中已知的任何其它形式的存储介质中。示范性存储介质耦合到处理器,使得处理器可从存储介质读取信息和向存储介质写入信息。
处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application Specific Integrated Circuit,简称:ASIC)、现场可编程门阵列(英文:Field Programmable Gate Array,简称:FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合等。通用处理器可以是微处理器,但在替代方案中,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。在替代方案中,存储介质可与处理器成一体式。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中,处理器和存储介质可作为离散组件驻留在用户终端中。
在本申请的一个具体实施方式中,一种计算机设备,其包括处理器和存储器,存储器存储有计算机指令,其中:处理器操作计算机指令以执行任一实施例描述的目标跟踪方法。
在本申请所提供的实施方式中,应该理解到,所揭露的装置,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种目标跟踪方法,其特征在于,包括:
获取车辆周围的原始点云数据,并转换到同一坐标系下,得到预处理点云数据;
对所述预处理点云数据进行目标检测,确定所述预处理点云数据中候选目标的位置;
根据所述候选目标的位置,从所述预处理点云数据中,提取所述候选目标对应的目标点云数据;
对所述目标点云数据进行多视角深度图像投影,得到深度伪图像;
对所述深度伪图像进行分类,得到对应的所述候选目标的目标类别、置信度以及特征向量;
根据所述候选目标的目标类别、置信度以及特征向量更新跟踪目标轨迹或新建跟踪轨迹,进行目标跟踪。
2.根据权利要求1所述的目标跟踪方法,其特征在于,所述获取车辆周围的原始点云数据,并转换到同一坐标系下,得到预处理点云数据,包括:
对获取的所述原始点云数据进行外参转换,将获取的所述原始点云数据转换到同一坐标系下;
并对同一坐标系中,对原始点云数据进行拼接,得到所述预处理点云数据。
3.根据权利要求1或2所述的目标跟踪方法,其特征在于,所述对所述预处理点云数据进行目标检测,确定所述预处理点云数据中候选目标的位置,包括:
对所述预处理点云数据按照点云与所述车辆的距离进行分类,得到近程点云数据和远程点云数据;
对所述近程点云数据进行目标检测,得到第一候选目标及其对应的位置;
对所述远程点云数据进行目标聚类,得到第二候选目标及其对应的位置。
4.根据权利要求3所述的目标跟踪方法,其特征在于,所述对所述预处理点云数据按照点云与所述车辆的距离进行分类,得到近程点云数据和远程点云数据,包括:
将所述距离小于第一预设距离阈值的所述预处理点云数据,确定为所述近程点云数据;
将所述距离大于第二预设距离阈值的所述预处理点云数据,确定为所述远程点云数据,其中所述第二预设距离阈值小于所述第一预设距离阈值。
5.根据权利要求3所述的目标跟踪方法,其特征在于,所述对所述近程点云数据进行目标检测,得到第一候选目标及其对应的位置,包括:
对所述近程点云数据进行投影,得到伪图像;
对所述伪图像进行检测,得到所述第一候选目标及其对应的位置。
6.根据权利要求3所述的目标跟踪方法,其特征在于,所述对所述候选目标的目标类别、置信度以及特征向量更新跟踪目标轨迹或新建跟踪轨迹,进行目标跟踪之前,所述方法还包括:
对位置重叠部分的所述第一候选目标和所述第二候选目标进行融合,得到融合目标;
对位置未重叠部分的所述第一候选目标、所述第二候选目标以及所述融合目标进行更新跟踪目标轨迹或新建跟踪轨迹,进行目标跟踪。
7.根据权利要求6所述的目标跟踪方法,其特征在于,所述对位置重叠部分的所述第一候选目标和所述第二候选目标进行融合,得到融合目标,包括:
计算位置重叠部分的所述第一候选目标和所述第二候选目标分别对应的所述深度伪图像的交并比;
若所述交并比大于预设交并比阈值,则以所述第一候选目标和所述第二候选中置信度较高者为真实目标,进行目标融合,得到所述融合目标。
8.一种目标跟踪系统,其特征在于,包括:
点云获取及预处理模块,其获取车辆周围的原始点云数据,并转换到同一坐标系下,得到预处理点云数据;
目标检测模块,其对所述预处理点云数据进行目标检测,确定所述预处理点云数据中候选目标的位置,并根据所述候选目标的位置,从所述预处理点云数据中,提取所述候选目标对应的目标点云数据;
图像投影模块,其对所述目标点云数据进行多视角深度图像投影,得到深度伪图像;
目标分类模块,其对所述深度伪图像进行分类,得到对应的所述候选目标的目标类别、置信度以及特征向量;
跟踪器,其根据所述候选目标的目标类别、置信度以及特征向量更新跟踪目标轨迹或新建跟踪轨迹,进行目标跟踪。
9.一种计算机可读存储介质,其存储有计算机指令,其中计算机指令被操作以执行权利要求1-7中任一项所述的目标跟踪方法。
10.一种计算机设备,其包括处理器和存储器,存储器存储有计算机指令,其中:所述处理器操作所述计算机指令以执行权利要求1-7中任一项所述的目标跟踪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210390851.6A CN114882458A (zh) | 2022-04-14 | 2022-04-14 | 一种目标跟踪方法、系统、介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210390851.6A CN114882458A (zh) | 2022-04-14 | 2022-04-14 | 一种目标跟踪方法、系统、介质及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114882458A true CN114882458A (zh) | 2022-08-09 |
Family
ID=82668935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210390851.6A Pending CN114882458A (zh) | 2022-04-14 | 2022-04-14 | 一种目标跟踪方法、系统、介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114882458A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116071400A (zh) * | 2023-04-06 | 2023-05-05 | 浙江光珀智能科技有限公司 | 一种基于激光雷达设备的目标轨迹跟踪方法 |
-
2022
- 2022-04-14 CN CN202210390851.6A patent/CN114882458A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116071400A (zh) * | 2023-04-06 | 2023-05-05 | 浙江光珀智能科技有限公司 | 一种基于激光雷达设备的目标轨迹跟踪方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Beltrán et al. | Birdnet: a 3d object detection framework from lidar information | |
Nguyen et al. | Stereo-camera-based urban environment perception using occupancy grid and object tracking | |
EP3293669A1 (en) | Enhanced camera object detection for automated vehicles | |
WO2021072696A1 (zh) | 目标检测与跟踪方法、系统、可移动平台、相机及介质 | |
CN111192295B (zh) | 目标检测与跟踪方法、设备和计算机可读存储介质 | |
Dreher et al. | Radar-based 2D car detection using deep neural networks | |
CN116229408A (zh) | 一种图像信息与激光雷达点云信息融合的目标识别方法 | |
CN114821507A (zh) | 一种用于自动驾驶的多传感器融合车路协同感知方法 | |
Bruno et al. | Analysis and fusion of 2d and 3d images applied for detection and recognition of traffic signs using a new method of features extraction in conjunction with deep learning | |
CN115147333A (zh) | 一种目标检测方法及装置 | |
CN114495045A (zh) | 感知方法、感知装置、感知系统及相关设备 | |
CN117576652A (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
CN114882458A (zh) | 一种目标跟踪方法、系统、介质及设备 | |
CN114241448A (zh) | 障碍物航向角的获取方法、装置、电子设备及车辆 | |
WO2023131203A1 (zh) | 语义地图更新方法、路径规划方法以及相关装置 | |
CN113611008B (zh) | 一种车辆行驶场景采集方法、装置、设备及介质 | |
CN116863325A (zh) | 一种用于多个目标检测的方法和相关产品 | |
EP4260084A1 (en) | Radar perception | |
Bhatlawande et al. | LIDAR based Detection of Small Vehicles | |
KR20230036243A (ko) | 영상과 라이다를 이용한 실시간 3차원 물체 인식 및 추적 시스템 | |
CN114384486A (zh) | 一种数据处理方法及装置 | |
CN112766100A (zh) | 一种基于关键点的3d目标检测方法 | |
Monica et al. | Vision only 3-d shape estimation for autonomous driving | |
CN115236672A (zh) | 障碍物信息生成方法、装置、设备及计算机可读存储介质 | |
Vatavu et al. | Environment perception using dynamic polylines and particle based occupancy grids |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |