CN117252899A - 目标跟踪方法和装置 - Google Patents

目标跟踪方法和装置 Download PDF

Info

Publication number
CN117252899A
CN117252899A CN202311253574.5A CN202311253574A CN117252899A CN 117252899 A CN117252899 A CN 117252899A CN 202311253574 A CN202311253574 A CN 202311253574A CN 117252899 A CN117252899 A CN 117252899A
Authority
CN
China
Prior art keywords
target
detection
result
tracking
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311253574.5A
Other languages
English (en)
Other versions
CN117252899B (zh
Inventor
刘昊
单佳炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tanwei Technology Suzhou Co ltd
Original Assignee
Tanwei Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tanwei Technology Suzhou Co ltd filed Critical Tanwei Technology Suzhou Co ltd
Priority to CN202311253574.5A priority Critical patent/CN117252899B/zh
Priority claimed from CN202311253574.5A external-priority patent/CN117252899B/zh
Publication of CN117252899A publication Critical patent/CN117252899A/zh
Application granted granted Critical
Publication of CN117252899B publication Critical patent/CN117252899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本公开涉及目标跟踪方法和装置，该目标跟踪方法包括：获取待处理点云；利用3D目标检测模型对所述待处理点云进行检测，得到第一检测结果；以及利用一般障碍物算法对所述待处理点云进行检测，得到第二检测结果；基于所述第一检测结果和所述第二检测结果进行检测结果融合，得到至少一个融合结果；基于至少一个所述融合结果，确定对应的至少一个目标，并对至少一个所述目标进行跟踪处理。由此，在不增加感知设备的情况下利用一般障碍物检测算法和3D目标检测模型对点云进行处理以及对目标进行跟踪，能够提升感知结果和目标跟踪的精准性。

Description

目标跟踪方法和装置
技术领域
本公开涉及数据处理技术领域，尤其涉及一种目标跟踪方法和装置。
背景技术
智能移动主体，例如智能驾驶车辆是提升交通效率的一个重要研究方向。智能移动主体将多种现代电子信息技术集成于一体，整体可分为环境感知、路径决策以及车辆控制三个部分。其中，环境感知是实现智能移动(例如自动驾驶)的第一步；具体地，必须让智能移动主体像人类一样实时感知到周围的环境情况，才能为后续的路径决策和车辆控制提供可能，所以环境感知任务中的目标检测在自动驾驶复杂场景下的关重要。针对环境感知的感知算法要考虑传感器的功能特性、适配其采集到的数据，才能开发出更好的算法。较高等级的智能驾驶车辆面临的挑战之一是复杂场景中的精确目标检测，当前的视觉目标检测算法因为在实践中面临非常复杂的情况，几乎已经达到了性能上限。
而多模态融合是提升感知精度的有效方式之一。其中，多模态融合是指综合来自两个或多个类型的传感器的信息以进行感知预测的过程。目前，最常见的融合方案为激光雷达的点云与车载相机的图片的融合方案。其中，针对点云，3D目标检测点云感知方案的基础任务，通过大量标注数据训练的检测模型来识别点云中感兴趣的目标，其检测结果会受到模型结构、损失函数、训练集的质量和训练过程设计等多个因素的影响。其中，由于点云的无序性和稀疏性，会导致检测模型对存在较少点云目标发生漏检和误识别，又由于缺少语义信息，在目标刚出现时对车头的朝向识别不稳定；即单独的检测模型存在漏检、误报和朝向不稳定等问题，基于此进行目标感知和跟踪的精准性较差。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种目标跟踪方法和装置。
本公开提供了一种目标跟踪方法，包括：
获取待处理点云；
利用3D目标检测模型对所述待处理点云进行检测，得到第一检测结果；以及利用一般障碍物算法对所述待处理点云进行检测，得到第二检测结果；
基于所述第一检测结果和所述第二检测结果进行检测结果融合，得到至少一个融合结果；
基于至少一个所述融合结果，确定对应的至少一个目标，并对至少一个所述目标进行跟踪处理。
可选地，基于至少一个所述融合结果，确定对应的至少一个目标，并对至少一个所述目标进行跟踪处理，包括：
对所述融合结果进行坐标转化，得到世界坐标系下的融合结果；
基于所述世界坐标系下的融合结果，对至少一个目标进行跟踪，并修正目标朝向。
可选地，所述3D目标检测模型包括3D点云深度模型；所述利用3D目标检测模型对所述待处理点云进行检测之前，还包括：
将所述待处理点云在鸟瞰视角下进行投影，转化得到柱素；
所述利用3D目标检测模型对所述待处理点云进行检测，得到第一检测结果，包括：
将所述柱素分散回原始位置，形成伪图像；
将所述伪图像输入至所述3D点云深度模型，通过解码和非极大值抑制得到所述第一检测结果。
可选地，所述将所述待处理点云在鸟瞰视角下进行投影，转化得到柱素，包括：
将所述待处理点云中的所有点离散化到参考平面上均匀分布的网格中；
将每个网格内的点云进行坐标归一化和扩充，利用全连接网络和最大池化得到每个网格的特征，所述网格的特征即为所述柱素。
可选地，所述利用一般障碍物算法对所述待处理点云进行检测，得到第二检测结果，包括：
对前景点进行聚类操作，并获取对应的前景点聚类结果；
将所述待处理点云进行球投影，并根据所述前景点聚类结果，得到多边形包围框；
其中，所述多边形包围框即为所述第二检测结果。
可选地，所述第一检测结果为3D矩形框，所述第二检测结果为多边形包围框；
基于所述第一检测结果和所述第二检测结果进行检测结果融合，得到至少一个融合结果，包括：
将所述3D矩形框转化为关联多边形；
基于所述关联多边形和所述多边形包围框，确定相交多边形；
计算所述相交多边形的面积、所述关联多边形的面积和所述多边形包围框的面积，并得到交并比；
基于所述交并比非0的结果，判断当前目标是否为所述多边形包围框关联的目标；
若是，则删除所述当前目标；否则，保留所述当前目标，并将保留的所述当前目标，确定为输出的所述融合结果。
可选地，所述第一检测结果为3D矩形框，所述第二检测结果为多边形包围框；
基于所述第一检测结果和所述第二检测结果进行检测结果融合，得到至少一个融合结果，包括：
将所述3D矩形框转化为关联多边形；
基于所述关联多边形和所述多边形包围框，确定相交多边形；
基于所述交并比为0的结果，判断当前目标是否为所述多边形包围框关联的目标；
若是，则保留所述当前目标，并将保留的所述当前目标，确定为输出的所述融合结果；否则，删除所述当前目标。
可选地，所述基于所述关联多边形和所述多边形包围框，确定相交多边形，包括：
确定空间上存在交叠的所述关联多边形和所述多边形包围框的各边的交点；
基于所述交点和所述多边形包围框，确定多边形包围框内部的点；
基于所述多边形包围框内部的点和所述交点，确定所述相交多边形的顶点，得到所述相交多边形。
可选地，所述第一检测结果包括检测目标，所述第二检测结果包括一般障碍物，所述融合结果包括跟踪目标和未融合的一般障碍物；
所述基于至少一个所述融合结果，确定对应的至少一个目标，并对至少一个所述目标进行跟踪处理，包括：
对上一帧产生的所述目标进行卡尔兹曼滤波预测，得到所述目标在当前帧的状态；
将所述目标在当前帧的状态与所述融合结果对应的检测目标进行空间匹配；
基于所述空间匹配为否的结果，判断所述目标是否为跟踪目标；
若是，则删除当前所述目标；否则，对当前所述目标进行跟踪初始化。
可选地，所述第一检测结果包括检测目标，所述第二检测结果包括一般障碍物，所述融合结果包括跟踪目标和未融合的一般障碍物；
所述基于至少一个所述融合结果，确定对应的至少一个目标，并对至少一个所述目标进行跟踪处理，包括：
对上一帧产生的所述目标进行卡尔兹曼滤波预测，得到所述目标在当前帧的状态；
将所述目标在当前帧的状态与所述融合结果对应的检测目标进行空间匹配；
基于所述空间匹配为是的结果，判断所述目标是否为一般障碍物；
若是，则只更新位置信息；否则，更新类别，并且至少位置信息、尺寸和偏航角一并更新，以对所述目标进行跟踪处理。
可选地，更新偏航角，包括：
在第一帧将所述目标的偏航角约束在参考角度范围内；
从第二帧开始，基于当前帧的偏航角与第一帧的偏航角的偏差值，判断所述偏差值是否大于阈值；
若是，则修正偏航角；否则，保持当前帧原有的偏航角。
可选地，所述修正偏航角，包括：
将当前帧的偏航角减去角度周期；所述角度周期为参考角度范围对应的一个角度周期。
可选地，所述待处理点云基于随移动主体同步运动的激光雷达采集得到；
所述对所述融合结果进行坐标转化之前，还包括：
获取所述移动主体的经纬度信息，并转化为世界坐标系；其中，将所述移动主体在参考时刻的位置作为世界坐标系的原点；
获取用于位姿转化的位姿矩阵；
所述对所述融合结果进行坐标转化，得到世界坐标系下的融合结果，包括：
利用所述位姿矩阵，将所述融合结果映射到所述世界坐标系下，得到所述世界坐标系下的融合结果。
可选地，所述获取用于位姿转化的位姿矩阵，包括：
获取所述移动主体的坐标信息，得到平移矩阵；
获取所述移动主体的欧拉角，得到旋转矩阵；
将所述平移矩阵与所述旋转矩阵相乘，得到所述位姿矩阵。
本公开还提供了一种目标跟踪装置，包括：
获取模块，用于获取待处理点云；
检测模块，用于利用3D目标检测模型对所述待处理点云进行检测，得到第一检测结果；以及利用一般障碍物算法对所述待处理点云进行检测，得到第二检测结果；
融合模块，用于基于所述第一检测结果和所述第二检测结果进行检测结果融合，得到至少一个融合结果；
跟踪模块，用于基于至少一个所述融合结果，确定对应的至少一个目标，并对至少一个所述目标进行跟踪处理。
本公开提供的技术方案与现有技术相比具有如下优点：
本公开提供的目标跟踪方法包括获取待处理点云；利用3D目标检测模型对所述待处理点云进行检测，得到第一检测结果；以及利用一般障碍物算法对所述待处理点云进行检测，得到第二检测结果；基于所述第一检测结果和所述第二检测结果进行检测结果融合，得到至少一个融合结果；基于至少一个所述融合结果，确定对应的至少一个目标，并对至少一个所述目标进行跟踪处理。由此，在不增加感知设备的情况下利用一般障碍物检测算法和3D目标检测模型对点云进行处理以及对目标进行跟踪，能够提升感知结果和目标跟踪的精准性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为相关技术中图片与点云融合的流程示意图；
图2为相关技术中进行目标跟踪和融合的流程示意图；
图3为本公开实施例提供的一种目标跟踪方法的流程示意图；
图4为本公开实施例提供的另一种目标跟踪方法的流程示意图；
图5为本公开实施例提供的又一种目标跟踪方法的流程示意图；
图6为本公开实施例提供的目标跟踪方法得到的第一检测结果和第二检测结果的示意图；
图7为本公开实施例提供的目标跟踪方法中，检测结果融合步骤的一种细化流程示意图；
图8为本公开实施例提供的目标跟踪方法中，检测结果融合步骤的另一种细化流程示意图；
图9为本公开实施例提供的一种3D矩形框转化为关联多边形的示意图；
图10为本公开实施例提供的一种确定交点的原理示意图；
图11为本公开实施例提供的一种确定内部的点的原理示意图；
图12为本公开实施例提供的一种确定相交多边形的顶点的原理示意图；
图13为本公开实施例提供的一种确定相交多边形的面积的原理示意图；
图14为本公开实施例提供的一种目标跟踪和朝向修正步骤的细化流程示意图；
图15为本公开实施例提供的一种目标跟踪装置的结构示意图；
图16为本公开实施例提供的另一种目标跟踪装置的结构示意图；
图17为本公开实施例提供的一种电子设备的结构示意图；
图18为本公开实施例提供的一种回波信号接收系统的结构示意图；
图19为本公开实施例提供的一种激光雷达的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
如背景技术中提到的，目前常见的多模态融合方案通常是不同类型的传感器之间的融合，例如激光雷达与车载相机之间的融合，具体融合流程可如图1所示，包括如下步骤：
S011、车载相机。
S012、2D图片。
S013、图像预处理。
S014、2D目标检测。
S021、激光雷达。
S022、3D点云。
S023、点云滤波。
S024、3D目标检测。
S031、时空同步。
S032、目标关联。
S033、输出融合目标。
进一步地，目标跟踪也是环境感知非常重要的内容，是基于目标检测结果而实现的，具体实现持续地估计目标的位置和方向。跟踪的结果不仅可以得到视频中出现目标的轨迹，还可以充分利用时间和空间维度上的信息来提升检测的召回率，以及目标朝向的稳定性。相关技术中，可将融合后的检测目标进行目标跟踪，然后利用跟踪得到的轨迹进行目标融合，但是很少有利用跟踪信息来提升检测精度的方案。一般的，利用跟踪进行融合的步骤如图2所示，包括如下步骤：
S011、车载相机。
S021、激光雷达。
S041、时间、空间对准。
S042、雷达跟踪。
S043、相机跟踪。
S044、轨迹匹配。
S045、轨迹融合。
上述目标融合以及目标的跟踪方法存在如下缺点：
一、针对点云，单独的目标检测模型存在漏检、误报和朝向不稳定等问题。即便融合图像(即图片)的方案中，也无法解决漏检和误报的问题，因为图像的深度学习模型方案也需要训练数据训练模型，而模型的效果会受到数据集的影响，对于相似的目标产生误报，漏检掉未见过的目标；而图像的传统算法识别一个目标需要根据其纹理和轮廓设计算子，不适合一般障碍物的检测。而点云数据更容易做一般障碍物检测，因为存在点云即存在物体，直接进行聚类即可。对于朝向不稳定问题图像方案由于有更丰富的语义信息，可以稳定识别出目标的朝向，而这需要激光雷达和摄像头的人工标定，确定点云与像素的转换关系，处理过程相对复杂。
二、带有目标跟踪的融合方案中，只利用跟踪的轨迹作为融合纽带，却没有利用跟踪带来的前后帧信息来修正检测结果，使得检测结果的召回率较低、无标率较高且朝向稳定性差。
三、不同传感器会有输出频率以及物理空间上的位置差异，基于多传感器的融合方案需要考虑到时间对齐和空间坐标对齐，如果不能正确对齐，得到的融合结果就是时空错位的，会导致分析结果中误检率较高，不能进行进一步的数据分析。
四、不同传感器之间存在分辨率冲突，例如，LiDAR的空间密度明显低于图像的空间密度。激光雷达的空域密度明显低于图像的空域密度。无论采用何种投影方法，由于无法找到对应关系，一些信息被消除。这可能导致模型被一个特定模态的数据所主导。例如，前融合和特征融合会使得模型学习到的特征被单个模态的数据主导，而后融合不存在有效率低的情况。
针对上述缺点中的至少一个，本公开实施例提供了一种目标跟踪方法，以实现基于同类型传感器的不同算法的目标融合，并进一步实现目标的跟踪和朝向修正，在不增加感知设备的情况下发挥多个算法的优势来提升感知结果的精度和稳定性。具体如下：
第一，利用一般障碍物算法弥补3D目标检测模型的不足，具体将一般障碍物检测输出的多边形包围框与目标检测输出的矩形包围框进行检测结果的融合统一，保证同一个目标只存在一种表示。若同一个空间位置同时存在目标检测结果和一般障碍物检测结果，说明该位置的检测结果是正常的，若同一个空间位置只有目标检测的结果，而没有一般障碍物检测的结果，说明该位置有极少点云，存在目标的可能性很小，所以该目标检测的结果大概率是误检，应该去除。若同一个空间位置只有一般障碍物的检测结果，结合跟踪信息可判断该目标是否被目标检测漏检。利用里程计信息，在世界坐标系下进行目标跟踪，可以得到稳定的目标运动绝对速度，修正检测结果的朝向。
第二，对一般障碍物和非一般障碍物等多个类别进行轨迹跟踪，一般障碍物可以转化为其它类别，但其它类别不能转化成一般障碍物。通过跟踪前后帧的状态更新，一般障碍物在下一帧中若匹配到了非一般障碍物结果，说明该目标在当前帧被目标检测漏检掉了，所以与跟踪时应去更新该跟踪目标的类别。若一个非一般障碍物在下一帧中匹配到了一般障碍物，说明该目标在下一帧中被目标检测漏检了，应该继续保留该跟踪目标的类别。
第三，利用同一模态的数据源进行不同类型感知结果的融合，从根本上避免了多模态数据的时空对齐问题。
第四，利用后融合方案结合目标跟踪，使得融合结果有效利用两种不同感知结果。一般障碍物检测算法可输出准确的位置信息，表现为较高的召回率，而目标检测算法可获得目标类别信息，通用跟踪可得到一个真实物体在感知结果上的变化，所以可利用目标检测修正其类别，用一般障碍物修正其位置，而不会出现被某种算法主导的问题；并且，能够有效提升检测结果的召回率，降低无标率，并稳定目标的朝向。
下面结合附图，对本公开实施例提供的技术方案进行示例性说明。
示例性地，图3为本公开实施例提供的一种目标跟踪方法的流程示意图，可应用于环境感知的过程中，可由目标跟踪装置执行，该目标跟踪装置可为智能移动主体所具有的任意处理器，在此不限定。参照图3，该目标跟踪方法(后文中可简称为“方法”)包括如下步骤：
S110、获取待处理点云。
其中，待处理点云为需要被处理的基础点云数据。本文中，待处理点云还可称为点云数据或点云，在此不限定。示例性地，该待处理点云可由激光雷达的接收端获取，并传输至目标跟踪装置；对应的，目标跟踪装置获取该待处理点云。能够理解的是，该步骤中的待处理点云可为一帧点云。
S120、利用3D目标检测模型对待处理点云进行检测，得到第一检测结果；以及利用一般障碍物算法对待处理点云进行检测，得到第二检测结果。
本公开实施例中，3D目标检测模型能够识别一帧待处理点云中感兴趣的目标，输出目标的类别和位置信息，得到第一检测结果。示例性地，感兴趣的目标可包括行人、汽车、大车、路标、路测静态物体等等，可通过标注数据来训练模型实现多种不同感兴趣的目标的识别。
在一些实施方式中，3D目标检测模型包括3D点云深度模型。在利用3D目标检测模型对待处理点云进行检测之前，该方法还可包括：
将待处理点云在鸟瞰(bev)视角下进行投影，转化得到柱素，为3D目标检测做数据准备，且计算量较低，有利于节省计算时间。
在一些实施方式中，将待处理点云在鸟瞰视角下进行投影，转化得到柱素，具体可包括：
将待处理点云中的所有点离散化到参考平面上均匀分布的网格中；示例性地，参考平面可为xy平面；
将每个网格内的点云进行坐标归一化和扩充，利用全连接网络和最大池化得到每个网格的特征，网格的特征即为柱素。
具体地，在进行3D目标检测之前，将待处理点云在鸟瞰视角下进行投影，转化成柱素。其中，待处理点云中的所有点都被离散化到xy平面上均匀分布的网格中，且不考虑z坐标的大小，将每个网格内点云进行坐标归一化和扩充，利用全连接网络和最大池化得到每个网格的特征，即为柱素。
其中，每个柱素的点坐标都进行如下归一化和扩充处理，以便3D点云深度模型捕捉到每个柱素的空间信息，提升检测精准性：
xnorm＝(x-xmin)/xmiddle-1 (1)
xc＝x-xcluster (2)
xp＝x-xcenter (3)
在公式(1)、(2)及(3)中，xnorm代表归一化特征，xmin代表最小值，xmiddle代表中值，xcluster代表算数平均的中心点，下标center代表几何中心点；xc和xp分别代表距离算数中心点和几何中心点的扩充特征，xc和xp即为扩充特征。上式(1)、(2)及(3)示出了x轴的数据处理方式，y轴和z轴也进行同样的处理，在此不赘述。
基于此，该步骤中，利用3D目标检测模型对待处理点云进行检测，得到第一检测结果，具体可包括：
将柱素分散回原始位置，形成伪图像；
将伪图像输入至3D点云深度模型，通过解码和非极大值抑制得到第一检测结果。
其中，原始位置为鸟瞰视角投影时对应的位置。该步骤中，将前述步骤中得到的这些柱素分散回原始位置，形成伪图像；然后将伪图像输入至3D点云深度模型，并通过解码和非极大值抑制(Non-Maximum suppression，NMS)得到最终的目标检测结果，即第一检测结果，该第一检测结果可为3D矩形框。
本公开实施例中，一般障碍物算法用于实现一般障碍物检测。具体地，在待处理点云中提取出潜在的障碍物体，得到它们的方位、尺寸、形状等信息，可通过方形框来添加或多边形来描述，即得到第二检测结果。一般障碍物检测是点云感知的一种算法，其目的是识别除地面以外的所有目标，但只能识别出目标的位置信息，得不到目标的类别和朝向等信息。
在一些实施方式中，利用一般障碍物算法对待处理点云进行检测，得到第二检测结果，包括：
对前景点进行聚类操作，并获取对应的前景点聚类结果；
将待处理点云进行球投影，并根据前景点聚类结果，得到多边形包围框；其中，多边形包围框即为第二检测结果。
具体地，可基于角度的变化进行一般障碍物检测。其中，将待处理点云进行球投影，并根据前景点聚类结果，前景点聚类结果也即对地面上的点云进行聚类，通过聚类算法得到一般障碍物的多边形包围框，即得到第二检测结果。
在其他实施方式中，还可采用本领域技术人员可知的其他方式进行3D目标检测和一般障碍物检测，在此不限定。
S130、基于第一检测结果和第二检测结果进行检测结果融合，得到至少一个融合结果。
具体地，将第二检测结果和第一检测结果进行融合，利用一般障碍物检测的优势弥补3D目标检测的不足，以在不增加感知设备的情况下，提升感知结果的精准性。
S140、基于至少一个融合结果，确定对应的至少一个目标，并对至少一个目标进行跟踪处理。
在前述步骤的基础上，还可进一步对目标进行跟踪，例如更新目标类别和朝向修正。
示例性地，图4为本公开实施例提供的另一种目标跟踪方法的流程示意图，示出了目标跟踪步骤的细化流程。在图3的基础上，参照图4，S140具体可包括：
S141、对融合结果进行坐标转化，得到世界坐标系下的融合结果。
具体地，前述步骤中得到的融合结果为传感器坐标下下的融合结果。示例性地，该传感器为雷达，上述融合结果即为雷达坐标下下的融合结果，该步骤中，将融合结果由雷达坐标下转化至世界坐标系，得到世界坐标系下的融合结果。
S142、基于世界坐标系下的融合结果，对至少一个目标进行跟踪，并修正目标朝向。
其中，目标跟踪是指检测到连续视频帧中的目标，并为每一个目标分配一个ID，每个目标的ID在视频序列中具有唯一性，即同一个目标在视频中只会对应一个ID，该ID也可称为身份标识号码。
示例性地，该步骤中可在世界坐标系下对融合结果进行跟踪，并利用同一个目标的前后帧信息解决露肩问题，以及通过世界坐标系下的跟踪卡尔曼滤波结果修正目标朝向问题，后文中详述。
本公开实施例提供的目标跟踪方法，充分利用3D目标检测和一般障碍物检测的优势，提出一种基于一般障碍物检测和3D目标检测融合的3D目标跟踪方法，精准性得以提升。
在一些实施例中，图5为本公开实施例提供的又一种目标跟踪方法的流程示意图。参照图5，该方法可包括：
S200、3D点云。
具体为：获取待处理点云。
S211、bev投影。
具体为：将待处理点云进行鸟瞰视角下的投影，转化得到柱素。
S212、3d目标检测。
具体为：将得到的柱素分散回原始位置，得到伪图像，并输入至3D点云深度模型，进行3D目标检测，得到第一检测结果。
S221、球投影。
具体为：将待处理点云进行球投影。
S222、一般障碍物检测。
具体为：基于球投影，根据前景点聚类结果，得到多边形包围框即得到第二检测结果。
示例性地，图6为本公开实施例提供的目标跟踪方法得到的第一检测结果和第二检测结果的示意图。其中，矩形框代表3D点云深度模型输出的第一检测结果，多边形代表一般障碍物算法输出的第二检测结果。
S230、感知结果融合。
具体为：将第一检测结果与第二检测结果进行检测结果融合，得到融合结果。
S240、目标跟踪。
具体为：基于融合结果，对至少一个目标进行跟踪。示例性地，可将融合结果转化至世界坐标系下，并在世界坐标系下对融合结果进行跟踪。
S250、感知结果修正。
具体为：修正目标朝向。示例性地，可通过世界坐标系下的跟踪卡尔曼滤波结果修正目标朝向。
本公开实施例提供的目标跟踪方法，充分利用3D目标检测和一般障碍物检测的优势，提出一种基于一般障碍物检测和3D目标检测融合的3D目标跟踪方法，精准性得以提升。
下面，对感知结果融合的具体步骤进行示例性说明。
在一些实施方式中，第一检测结果为3D矩形框，第二检测结果为多边形包围框，参考图6。
在此基础上，示例性地，图7为本公开实施例提供的目标跟踪方法中，检测结果融合步骤的一种细化流程示意图。在图3的基础上，参照图7，S130具体可包括：
S131、将3D矩形框转化为关联多边形。
具体地，将3D目标检测得到的3D矩形框转化为关联多边形，以便于一般障碍物检测得到的多边形包围框进行匹配。
S132、基于关联多边形和多边形包围框，确定相交多边形。
具体地，针对同一目标，3D目标检测和一般障碍物检测的检测结果会存在关联，即对应的平面图形会相交。该步骤中，可基于关联多边形和多边形包围框的位置和尺寸，确定相交多边形。
S133、计算相交多边形的面积、关联多边形的面积和多边形包围框的面积，并得到交并比。
具体地，关联多边形与多边形包围框相交，得到相交多边形；该步骤中，计算相交多边形的面积、关联多边形的面积以及多边形包围框的面积，并进一步计算交并比，具体计算方式可采用本领域技术人员可知的任一种方式，在此不赘述。
然后判断交并比是否为0，并根据判断结果分别执行对应的操作。示例性地，若交并比非0，则执行S1341和S1351；若交并比为0，则执行S1342和S1352。
S1341、基于交并比非0的结果，判断当前目标是否为多边形包围框关联的目标。
具体地，交并比非0表明多边形包围框与关联多边形相交；此时进一步判断当前目标否为多边形包围框关联的目标，即是否为一般障碍物。
S1351、若是，则删除当前目标；否则，保留当前目标，并将保留的当前目标，确定为输出的融合结果。
具体地，若当前目标为一般障碍物，则删除当前目标；否则，即当前目标为3D检测目标，则保留并将当前目标确定为输出的融合结果，以及可作为初始化的跟踪目标。
S1342、基于交并比为0的结果，判断当前目标是否为多边形包围框关联的目标。
具体地，交并比为0表明多边形包围框与关联多边形不相交；此时仍需进一步判断当前目标否为多边形包围框关联的目标，即是否为一般障碍物。
S1352、若是，则保留当前目标，并将保留的当前目标，确定为输出的融合结果；否则，删除当前目标。
具体地，若当前目标不是一般障碍物，则删除当前目标；否则，即当前目标是一般障碍物，则保留并将当前目标确定为输出的融合结果。由此，对于没有任何相交的多边形包围框，即在3D目标检测中并未检测到对应的目标，此时保留该多边形包围框；对于有相交的多边形包围框，即在3D目标检测中存在对应的目标，此时删除该多边形包围框，利用3D目标检测的结果代表该目标作为融合结果输出即可。
示例性地，一般障碍物检测的结果包括3个多边形包围框，分别以1、2和3标识；3D障碍物检测的结果包括3个目标，分别以A、B和C标识，若仅1和B相交，则融合结果包括2、3、A、B和C。
由此，将一般障碍物检测输出的多边形包围框与目标检测输出的矩形包围框进行检测结果的融合统一，利用一般障碍物检测弥补3D目标检测的不足，且保证同一个目标只存在一种表示，提升精准性。
在一些实施方式中，图8为本公开实施例提供的目标跟踪方法中，检测结果融合步骤的另一种细化流程示意图。在图3的基础上，参照图8，S130具体可包括：
S301、目标检测结果。
具体地，目标检测结果即第一检测结果，为3D目标检测的检测结果，可利用3D矩形框标识。
S302、一般障碍物。
具体地，一般障碍物即第二检测结果，为一般障碍物检测的检测结果，可利用多边形包围框标识。
S311、多边形转化。
具体为，对目标检测结果进行多边形转化，将3D矩形框转化为关联多边形。
示例性地，图9为本公开实施例提供的一种3D矩形框转化为关联多边形的示意图。参照图9，3D矩形框的表示为：(x_center,y_center,z_center,l,w,h,θ)，实线代表转化前的3D矩形框，虚线代表转化后的关联多边形，yaw代表偏航角，即θ；基于3D矩形框的上述表示，经过公式(4)和(5)，可将3D矩形框转化为对应的关联多边形。
xnew＝(x-x-center)*cos(θ)+(y-y-center)*sin(-θ)+x-center (4)
ynew＝(x-x-center)*sin(θ)+(y-y-center)*cos(θ)+y-center (5)
其中，x_center和y_center由检测模型的输出结果，代表检测目标的中心点坐标；x,y,z表示矩形框的中心点坐标，l，w，h表示长宽高，(x,y)表示3D矩形框转换前的角点位置，(x_new,y_new)代表通过偏航角转化后的角点位置，θ即为目标的偏航角。
如此，实现3D矩形框转化为关联多边形。
S312、查找边的交点。
具体为：对于空间上存在交叠的关联多边形和多边形包围框，确定各边的交点。即找到一般障碍物算法输出的多边形包围框的所有边与关联多边形的所有边的交点，且多边形包围框和关联多边形指的是空间上有重叠部分的多边形包围框和关联多边形。
示例性地，图10为本公开实施例提供的一种确定交点的原理示意图。其中示出了空间中存在的任意两条线段，一条线段的顶点分别是p0和p1，另一条线段的顶点分别是q0和q1，以这两条线段为例，对确定前文中的交点的原理进行示例性说明。则这两个线段的交点坐标如下：
s1＝det(q0-p0，p1-p0) (6)
s2＝det(p1-p0，q1-p0) (7)
s3＝det(p0-q0，q1-p0) (8)
s4＝det(q0-q0，p1-q0) (9)
s5＝det(q1-p0，p1-q0) (10)
xinter＝(s5*q0x-s1*q1x)/(s5-s1) (11)
yinter＝(s5*q0y-s1*q1y)/(s5-s1) (12)
公式(6)-(10)代表三个顶点围成三角形的面积。由于面积是通过行列式计算得到，根据右手定则，其计算结果会有正负，若s1×s2大于0且s3×s4大于0，那么两个线段存在交点，公式(11)和(12)通过面积之比得到相交点的坐标。
如图10所示，s1、s2、s3和s4分别代表三角形q0p0p1、p1p0q1、p0q0q1和q1q0p1的面积，箭头的逆顺方向表示面积的正负。在<1>和<2>中满足s1×s2大于0且s3×s4大于0的条件，所以两线段相交，在<3>和<4>中s3×s4小于0，所以不满足相交的条件。
由此可确认线段是否相交，以及相交线段的交点。
S313、确认内部的点。
具体为：基于交点和多边形包围框，确定多边形包围框内部的点。
示例性地，图11为本公开实施例提供的一种确定内部的点的原理示意图。参照图11，可通过射线法找到所有多边形包围框内部的点。图11中，判断四个点a、b、c和d是否在右侧的多边形内，则分别用这4个点为原点，向任意方向做一条射线，如果这个点在多边形区域内，那么一定会与这个多边形相交奇数次，否则在多边形外。示例性地，c和d在多边形内，其均与多边形相交一次；a和b在多边形外，其均与多边形相交两次。
在其他实施方式中，还可采用本领域技术人员可知的其他方式确定边的交点以及内部的点，在此不限定。
在一些实施方式中，对照图8和图7，S132具体可包括：
确定空间上存在交叠的关联多边形和多边形包围框的各边的交点；
基于交点和多边形包围框，确定多边形包围框内部的点；
基于多边形包围框内部的点和交点，确定相交多边形的顶点，得到相交多边形。
具体地，针对在空间上存在交叠的关联多边形和多边形包围框，可确定各边的角点以及多边形包围框内部的点，并将各边的交点和内部的点分别作为该相交多边形的顶点从而得到相交多边形。
示例性地，图12为本公开实施例提供的一种确定相交多边形的顶点的原理示意图。如图12所示，在各边的交点和内部的点中可选择任意点为原点，将以上点按照与原点连线的弧度进行排序。示例性地，a1、a2、a3和a4构成了两个多边形公共的区域，以此为例，若以a1为原点，那么a2、a3和a4的弧度计算公式可采用如下式(13)：
raians＝atan2(y-y0，x-x0) (13)
其中，x0和y0代表原点a1的坐标，x和y代表要计算弧度的那个点的坐标，如图12中点a3的坐标；那么点a3对应的弧度就是actan2(y-y0,x-x0)。
进一步地，a2、a3和a4对应的弧度大小关系为a2<a3<a4。如此确定了相交多边形的顶点顺序，从而确定了相交多边形。
S314、计算相交IOU。
具体为：计算关联多边形与多边形包围框的交并比(IOU)，交并比即相交面积与相并面积的比值。
示例性地，通过前述步骤得到了相交多边形的顶点，针对相邻两点与原点构成的三角形可通过行列式计算局部面积，如公式(14)所示，并最终得到相交面积S。通过公式(15)得到交并比。
S＝∑1＜i＜ndet(qi-q1，qi+1-q1) (14)
IOU＝Sinter/(S1+S2-Sinter) (15)
示例性地，图13为本公开实施例提供的一种确定相交多边形的面积的原理示意图。如图13所示，q1、q2、q3、q4和q5五个点构成了两个多边形的相交区域，而计算这个相交区域的面积需要将该区域拆成多个三角形，分别计算每个三角形的面积，再得到总的面积。其中，每个三角形的面积由行列式的几何含义得到，即任意两个点减去其中一个点的坐标得到两个向量，这两个向量构成的行列式即为该三角形的面积。
在其他实施方式中，还可采用本领域技术人员可知的其他方式计算相交多边形的面积以及交并比，在此不限定。
S315、IOU是否等于0？
若判断结果为是，则执行S321-S323；若判断结果为否，则执行S331-S333。
S321、是否为一般障碍物。
若判断结果为是，则执行S322；若判断结果为否，则执行S323。
S322、保留该目标。
S323、删除该目标。
具体地，在一些实施方式中，得到交并比之后，该方法还包括：
基于交并比为0的结果，判断当前目标是否为多边形包围框关联的目标；若是，则保留当前目标；否则，删除当前目标。
S331、是否为一般障碍物。
若判断结果为是，则执行S332；若判断结果为否，则执行S333。
S332、删除该目标。
S333、保留该目标。
具体地，在得到交并比之后，该方法还可包括：
基于交并比非0的结果，判断当前目标是否为多边形包围框关联的目标；若是，则删除当前目标；否则，保留当前目标。
本公开实施例中，可保留没有任何相交的多边形，删除有相交的一般障碍物的多边形。具体地，保留没有任何相交的多边形是为了提升目标检测的召回率，删除由相交的一般障碍物的多边形即同一目标只有一种表示，避免增加误报。
在一些实施方式中，待处理点云由激光雷达的接收端采集，激光雷达随移动主体同步运动；即待处理点云基于随移动主体同步运动的激光雷达采集得到，如此便于实现由雷达坐标系向世界坐标系的转化。
基于此，在对融合结果进行坐标转化之前，该方法还包括：
获取移动主体的经纬度信息，并转化为世界坐标系；其中，将移动主体在参考时刻的位置作为世界坐标系的原点；示例性地，参考时刻可为移动主体开始运动的第一时刻；
获取用于位姿转化的位姿矩阵。
在一些实施方式中，获取用于位姿转化的位姿矩阵，包括：
获取移动主体的坐标信息，得到平移矩阵；
获取移动主体的欧拉角，得到旋转矩阵；
将平移矩阵与旋转矩阵相乘，得到位姿矩阵。
具体地，可利用全球定位系统(Global Positioning System，GPS)或本领域技术人员可知的其他定位系统获得移动主体(例如自车)的经纬度信息，并将该经纬度坐标转化为地心地固(Earth-Centered,Earth-Fixed，ecef)直角坐标系，然后再转化为世界坐标系(例如东北天坐标)，并将移动主体在第一时刻的位置作为世界坐标系的原点。需要说明的是，该世界坐标系还可为本领域技术人员可知的其他世界坐标系，需满足原点可以改变，坐标轴方向不变的条件。
可通过GPS获得自车坐标信息，并得到平移矩阵；以及通过惯性测量单元(Inertial measurement unit，简称IMU)获得自车的欧拉角，并得到旋转矩阵，平移矩阵和旋转矩阵相乘，即可得到用于坐标转化的位姿矩阵。
基于此，图4中的S140具体可包括：
利用位姿矩阵，将融合结果映射到世界坐标系下，得到世界坐标系下的融合结果。
具体地，利用位姿矩阵将雷达坐标系下的目标映射到世界坐标系下，位姿矩阵的逆矩阵做坐标的逆映射。
公式(16)中，R为3*3的旋转矩阵，t为3*1的平移矢量，如此实现雷达坐标系下的融合结果向世界坐标系下的融合结果的转化。
在一些实施方式中，第一检测结果包括检测目标，第二检测结果包括一般障碍物，融合结果包括检测目标和未融合的一般障碍物。示例性地，一般障碍物可为3个，分别以1、2和3标识；检测目标可为3个，分别以A、B和C标识，且仅1和B相交，则融合结果包括2、3、A、B和C。
基于此，图3中S150中的所述基于至少一个融合结果，确定对应的至少一个目标，并对至少一个目标进行跟踪处理，具体可包括：
对上一帧产生的目标进行卡尔兹曼滤波预测，得到目标在当前帧的状态；
将目标在当前帧的状态与融合结果对应的检测目标进行空间匹配；
基于空间匹配为否的结果，判断目标是否为跟踪目标；
若是，则删除当前目标；否则，对当前目标进行跟踪初始化。
以及，基于空间匹配为是的结果，判断目标是否为一般障碍物；
若是，则只更新位置信息；否则，更新类别，并且至少位置信息、尺寸和偏航角一并更新，以对目标进行跟踪处理。
具体地，在世界坐标下，将第一帧出现的检测目标和一般障碍物都初始化为跟踪目标，并利用卡尔曼滤波对跟踪目标的位置、尺寸、偏航角和速度建模；
针对第一帧以后的每一帧，对上一帧产生的跟踪目标进行卡尔曼滤波预测，得到跟踪目标在当前帧的状态信息；
将预测得到的跟踪目标在当前帧的状态信息与当前帧的世界坐标系下的融合结果关联的检测目标进行空间位置匹配；
基于匹配成功的检测目标，对跟踪目标的状态进行更新，以跟踪。
具体地，可从俯视视角计算出一般障碍物算法得到的多边形包围框的最小外包矩形，提取出矩形的中心点和尺寸，偏航角默认为0。
将第一帧出现的检测目标和一般障碍物都初始化为跟踪目标，利用卡尔曼滤波对目标的位置、尺寸、偏航角和速度建模，如公式(17)所示；并对上一帧产生的跟踪目标进行卡尔曼滤波预测，得到跟踪目标在当前帧的状态，如公式(18)所示；然后将预测结果与当前帧的融合结果进行空间位置匹配；并利用匹配成功的检测目标更新跟踪目标的状态，由此实现对目标的跟踪。
state＝[x，y，z，l，w，h，yaw，vx，vy，vz] (17)
statepredict＝[x+vx，y+vy，z+vz，l，w，h，yaw] (18)
式(17)和式(18)中，x、y、z代表在空间中的位置，l、w、h代表在空间中的尺寸，即长宽高，yaw代表偏航角，vx、vy、vz代表在空间中的速度；vx、vy、vz代表在空间中的位置变化量。
在一些实施方式中，进行空间位置匹配，包括：基于位置信息得到距离矩阵，并通过贪婪算法进行分配。
具体地，利用基于前一帧预测的跟踪目标的位置信息和当前帧融合结果中的位置信息得到距离矩阵，并通过贪婪算法进行分配。此时会出现匹配成功和未匹配的目标。
在一些实施方式中，基于匹配成功的检测目标，更新跟踪目标的状态，包括：
若基于上一帧预测的一般障碍物和当前帧的检测目标匹配成功，则利用检测目标更新一般障碍物，并且至少位置、尺寸和偏航角一并更新；
若基于上一帧预测的检测目标与当前帧的一般障碍物匹配成功，则只更新位置信息。
具体地，若上一帧的一般障碍物和当前帧目标检测的目标成功匹配，那么一般障碍物的类别会转化为目标检测类别，位置尺寸信息也会随之更新。若上一帧目标检测目标与一般障碍物目标匹配，则类别信息不变，只更新位置信息，如此实现对跟踪目标的更新。
在一些实施方式中，修正目标朝向，即更新偏航角，包括：
在第一帧将偏航角约束在参考角度范围内；
从第二帧开始，基于当前帧的偏航角与第一帧的偏航角的偏差值，判断偏差值是否大于阈值；
若是，则修正偏航角；否则，保持当前帧原有的偏航角。
具体地，修正偏航角，可包括：将当前帧的偏航角减去角度周期；角度周期为参考角度范围对应的一个角度周期。
示例性地，可在第一帧建模前将偏航角yaw约束到[-π/2，π/2]范围内。记录跟踪目标更新的次数，没匹配成功一次，更新一次，记录一次更新次数，并从第二帧开始优化偏航角。由于偏航角yaw在建模时对范围进行了限制，利用当前帧的偏航角actan2(vy，vx)去修正偏航角yaw的朝向问题。若actan2(vy，vx)与偏航角yaw相差小于π/2，则偏航角yaw保持不变，否则偏航角yaw需要减去π。
在一些实施例中，图14为本公开实施例提供的一种目标跟踪和朝向修正步骤的细化流程示意图。在图4的基础上，参照图14，S150具体可包括：
S400、跟踪目标。
S401、坐标转化。
具体为：将第一帧出现的检测目标和一般障碍物都初始化为跟踪目标并转化到世界坐标系下。
S402、融合后的检测目标。
S403、坐标转化。
具体为：获取当前帧的融合后的检测目标并转化到世界坐标系下。
S410、卡尔兹曼状态估计。
具体为：根据第一帧的跟踪目标，利用卡尔曼滤波对跟踪目标的位置、尺寸、偏航角和速度建模；且针对第一帧以后的每一帧，对上一帧产生的跟踪目标进行卡尔曼滤波预测，得到跟踪目标在当前帧的状态信息。
S411、空间位置匹配。
具体为：将S403中世界坐标系下的检测目标与S410中预测的世界坐标系下的跟踪目标进行匹配。
S412、是否匹配。
具体为：判断预测得到的跟踪目标与检测目标是否空间位置匹配。
若判断结果为是，则执行S431-S436；若判断结果为否，则执行S421-S423。
S421、是否为跟踪目标。
若判断结果为是，则执行S422；若判断结果为否，则执行S423。
S422、删除该目标。
S423、跟踪初始化。
具体为：若检测目标为跟踪目标，则表明出现了新的目标，将其保留在将要被跟踪的目标中；否则出现了误检，删除该目标。
S431、是否匹配到一般障碍物。
若判断结果为是，则执行S432；若判断结果为否，则执行S433。
S432、只更新位置信息。
S433、更新类别和位置信息。
具体为：若上一帧的一般障碍物和当前帧目标检测的目标成功匹配，那么一般障碍物的类别会转化为目标检测类别，位置尺寸信息也会随之更新。若上一帧目标检测目标与一般障碍物目标匹配，则类别信息不变，只更新位置信息，如此实现对跟踪目标的更新。
S434、朝向偏差是否大于阈值。
若判断结果为是，则执行S436；若判断结果为否，则执行S435。
S435、保持原有偏航角。
S436、修正偏航角。
具体为：在第一帧将偏航角约束在参考角度范围内的前提下，从第二帧开始，基于当前帧的偏航角与第一帧的偏航角的偏差值，判断偏差值是否大于阈值；若是，则修正偏航角；否则，保持当前帧原有的偏航角，由此实现朝向的纠偏，提升朝向稳定性。
本公开实施例提供的基于一般障碍物检测和3D目标检测融合的目标跟踪方法，具体可包括：利用3D点云深度检测模型和一般障碍物算法分别对待处理点云进行检测，对应得到规则的3D矩形框的目标检测结果和凹多边形包围的一般障碍物检测结果；在俯视视角下，利用位置和尺寸信息将两种检测结果进行融合，并过滤掉冗余检测结果，得到融合结果；对融合结果进行坐标转化，从雷达坐标映射到世界坐标，得到世界坐标系下的融合结果；在世界坐标系下对融合结果进行跟踪，并利用同一个目标的前后帧信息解决检测漏检问题(即利用前后帧的类别变化修正类别)，以及通过世界坐标系下的跟踪卡尔曼滤波结果修正目标朝向问题(即利用前后帧的位置变化修正朝向)。
由此，通过将一般障碍物检测输出的多边形包围框与3D目标检测输出的3D矩形框进行检测结果的融合统一，保证同一个目标只存在一种表示。其次，对一般障碍物和非一般障碍物等多个类别进行跟踪，通过跟踪前后帧的状态更新，一般障碍物可以转化为其它类别，但其它类别不能转化成一般障碍物，避免了漏检和误检的问题。最后，结合里程计信息(对应前述通过全球定位系统和惯性测量单元获得位姿矩阵的步骤，得到的位姿矩阵用于坐标转化)，在世界坐标系下对所有目标进行跟踪，区分目标的运动状态，并利用跟踪获得的速度信息来修正感知目标的偏航角朝向，提升了朝向稳定性。
基于同一发明构思，本公开实施例还提供了一种目标跟踪装置，该目标跟踪装置可执行上述实施方式提供的任一种目标跟踪方法的步骤，具有对应的技术效果，相同之处可参照上文理解，在此不赘述。
示例性地，图15为本公开实施例提供的一种目标跟踪装置的结构示意图。参照图15，该目标跟踪装置50可包括：获取模块510，用于获取待处理点云；检测模块520，用于利用3D目标检测模型对待处理点云进行检测，得到第一检测结果；以及利用一般障碍物算法对待处理点云进行检测，得到第二检测结果；融合模块530，用于基于第一检测结果和第二检测结果进行检测结果融合，得到至少一个融合结果；跟踪模块540，用于基于至少一个融合结果，确定对应的至少一个目标，并对至少一个目标进行跟踪处理。
在一些实施例中，图16为本公开实施例提供的另一种目标跟踪装置的结构示意图。在图15的基础上，参照图16，该目标跟踪装置50中，跟踪模块540具体可包括：坐标转化模块541，用于在得到融合结果之后，对融合结果进行坐标转化，得到世界坐标系下的融合结果；跟踪修正模块542，用于基于世界坐标系下的融合结果，对至少一个目标进行跟踪，并修正目标朝向。
在一些实施例中，在一些实施例中，3D目标检测模型包括3D点云深度模型；该目标跟踪装置还包括：第一投影模块，用于在利用3D目标检测模型对待处理点云进行检测之前，将待处理点云在鸟瞰视角下进行投影，转化得到柱素；基于此，检测模块用于利用3D目标检测模型对待处理点云进行检测，得到第一检测结果，具体可包括：将柱素分散回原始位置，形成伪图像；将伪图像输入至3D点云深度模型，通过解码和非极大值抑制得到第一检测结果。
在一些实施例中，第一投影模块用于将待处理点云在鸟瞰视角下进行投影，转化得到柱素，具体可包括：将待处理点云中的所有点离散化到参考平面上均匀分布的网格中；将每个网格内的点云进行坐标归一化和扩充，利用全连接网络和最大池化得到每个网格的特征，网格的特征即为柱素。
在一些实施例中，检测模块用于利用一般障碍物算法对待处理点云进行检测，得到第二检测结果，具体可包括：对前景点进行聚类操作，并获取对应的前景点聚类结果；将待处理点云进行球投影，并根据前景点聚类结果，得到多边形包围框；其中，多边形包围框即为第二检测结果。
在一些实施例中，第一检测结果为3D矩形框，第二检测结果为多边形包围框；融合模块用于基于第一检测结果和第二检测结果进行检测结果融合，得到至少一个融合结果，具体可包括：将3D矩形框转化为关联多边形；基于关联多边形和多边形包围框，确定相交多边形；计算相交多边形的面积、关联多边形的面积和多边形包围框的面积，并得到交并比；基于交并比非0的结果，判断当前目标是否为多边形包围框关联的目标；若是，则删除当前目标；否则，保留当前目标，并将保留的当前目标，确定为输出的融合结果。
在一些实施例中，第一检测结果为3D矩形框，第二检测结果为多边形包围框；融合模块用于基于第一检测结果和第二检测结果进行检测结果融合，得到至少一个融合结果，具体可包括：将3D矩形框转化为关联多边形；基于关联多边形和多边形包围框，确定相交多边形；基于交并比为0的结果，判断当前目标是否为多边形包围框关联的目标；若是，则保留当前目标，并将保留的当前目标，确定为输出的融合结果；否则，删除当前目标。
在一些实施例中，融合模块用于基于关联多边形和多边形包围框，确定相交多边形，具体可包括：确定空间上存在交叠的关联多边形和多边形包围框的各边的交点；基于交点和多边形包围框，确定多边形包围框内部的点；基于多边形包围框内部的点和交点，确定相交多边形的顶点，得到相交多边形。
在一些实施例中，第一检测结果包括检测目标，第二检测结果包括一般障碍物，融合结果包括跟踪目标和未融合的一般障碍物；跟踪模块用于基于至少一个融合结果，确定对应的至少一个目标，并对至少一个目标进行跟踪处理，具体可包括：对上一帧产生的目标进行卡尔兹曼滤波预测，得到目标在当前帧的状态；将目标在当前帧的状态与融合结果对应的检测目标进行空间匹配；基于空间匹配为否的结果，判断目标是否为跟踪目标；若是，则删除当前目标；否则，对当前目标进行跟踪初始化。
在一些实施例中，第一检测结果包括检测目标，第二检测结果包括一般障碍物，融合结果包括跟踪目标和未融合的一般障碍物；跟踪模块用于基于至少一个融合结果，确定对应的至少一个目标，并对至少一个目标进行跟踪处理，具体可包括：对上一帧产生的目标进行卡尔兹曼滤波预测，得到目标在当前帧的状态；将目标在当前帧的状态与融合结果对应的检测目标进行空间匹配；基于空间匹配为是的结果，判断目标是否为一般障碍物；若是，则只更新位置信息；否则，更新类别，并且至少位置信息、尺寸和偏航角一并更新，以对目标进行跟踪处理。
在一些实施例中，跟踪模块用于更新偏航角，具体可包括：在第一帧将目标的偏航角约束在参考角度范围内；从第二帧开始，基于当前帧的偏航角与第一帧的偏航角的偏差值，判断偏差值是否大于阈值；若是，则修正偏航角；否则，保持当前帧原有的偏航角。
在一些实施例中，跟踪模块用于修正偏航角，具体可包括：将当前帧的偏航角减去角度周期；角度周期为参考角度范围对应的一个角度周期。
在一些实施例中，待处理点云基于随移动主体同步运动的激光雷达采集得到；该点云处理装置还包括：位姿矩阵获取模块，用于在对融合结果进行坐标转化之前，获取移动主体的经纬度信息，并转化为世界坐标系；其中，将移动主体在参考时刻的位置作为世界坐标系的原点；获取用于位姿转化的位姿矩阵。基于此，坐标转化模块用于对融合结果进行坐标转化，得到世界坐标系下的融合结果，具体可包括：利用位姿矩阵，将融合结果映射到世界坐标系下，得到世界坐标系下的融合结果。
在一些实施例中，位姿矩阵获取模块用于获取用于位姿转化的位姿矩阵，具体可包括：获取移动主体的坐标信息，得到平移矩阵；获取移动主体的欧拉角，得到旋转矩阵；将平移矩阵与旋转矩阵相乘，得到位姿矩阵。
能够理解的是，图15和图16示出的目标跟踪装置能够执行上述实施方式提供的任一种方法的步骤，实现对应的技术效果，在此不赘述。
在上述实施方式的基础上，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中提供的任一种装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备或装置中的计算机可读存储介质。计算机可读存储介质存储有程序或指令，程序或指令使计算机执行上述实施方式提供的任一种方法的步骤，实现对应的技术效果，在此不赘述。
在上述实施方式的基础上，本公开实施例还提供了一种电子设备，包括处理器和存储器；处理器通过调用存储器存储的程序或指令，用于执行上述实施方式提供的任一种方法的步骤，实现对应的技术效果，在此不赘述。
示例性地，图17为本公开实施例提供的一种电子设备的结构示意图。参照图17，该电子设备70包括：处理器710和存储器720；处理器710通过调用存储器720存储的程序或指令，用于执行上述实施方式提供的任一种方法的步骤，实现对应的技术效果。
其中，存储器720可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
其中，处理器710可以是中央处理单元(Central Processing Unit，CPU)或者具有数据计算能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备700中的其他组件以执行期望的功能。
在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器710可以运行所述程序指令，以实现上述任一种方法的步骤，和/或者其他期望的功能。
在上述实施方式的基础上，本公开实施例还提供了一种回波信号接收系统，该回波信号接收系统包括上述实施方式提供的任一种电子设备，能够实现对应的技术效果。
示例性地，图18为本公开实施例提供的一种回波信号接收系统的结构示意图。参照图18，该回波信号接收系统80包括：电子设备70；还可包括：接收回路810、光电转换器件820、放大整形器件830等结构；其中，接收回路810用于接收回波光信号，并可进一步对回波光信号进行整形等处理，处理后的光信号照射至光电转换器件820，光电转换器件820用于响应于接收到的光信号进行光电转换，生成对应的电信号，放大整形器件830用于对电信号进行放大整形等处理，并传输至后续处理电路，例如电子设备70中；电子设备70用于执行上述实施方式提供的任一种目标跟踪方法，以确定检测目标并可跟踪目标。
在其他实施方式中，回波信号接收系统80还可包括其他结构或部件，在此不赘述也不限定。
本公开实施例还提供了一种激光雷达，该激光雷达包括上述实施方式提供的任一种回波信号接收系统，能够实现对应的技术效果。
示例性地，图19为本公开实施例提供的一种激光雷达的结构示意图。参照图19，该激光雷达可包括回波信号接收系统80，还可包括探测信号发射系统910；其中，探测信号发射系统910发出探测信号，目标区域中的物体900用于反射照射至其上的探测信号，对应生成回波信号，回波信号接收系统80用于接收回波信号，即接收回波光信号并进行信号处理，具体处理过程可参照前文理解，在此不赘述。
示例性地，探测信号发射系统910可包括激光器等本领域技术人员可知的部件，在此不限定。
在其他实施方式中，激光雷达还可包括其他结构或部件，在此不赘述也不限定。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种目标跟踪方法，其特征在于，包括：
获取待处理点云；
利用3D目标检测模型对所述待处理点云进行检测，得到第一检测结果；以及利用一般障碍物算法对所述待处理点云进行检测，得到第二检测结果；
基于所述第一检测结果和所述第二检测结果进行检测结果融合，得到至少一个融合结果；
基于至少一个所述融合结果，确定对应的至少一个目标，并对至少一个所述目标进行跟踪处理。
2.根据权利要求1所述的目标跟踪方法，其特征在于，基于至少一个所述融合结果，确定对应的至少一个目标，并对至少一个所述目标进行跟踪处理，包括：
对所述融合结果进行坐标转化，得到世界坐标系下的融合结果；
基于所述世界坐标系下的融合结果，对至少一个目标进行跟踪，并修正目标朝向。
3.根据权利要求1或2所述的目标跟踪方法，其特征在于，所述3D目标检测模型包括3D点云深度模型；所述利用3D目标检测模型对所述待处理点云进行检测之前，还包括：
将所述待处理点云在鸟瞰视角下进行投影，转化得到柱素；
所述利用3D目标检测模型对所述待处理点云进行检测，得到第一检测结果，包括：
将所述柱素分散回原始位置，形成伪图像；
将所述伪图像输入至所述3D点云深度模型，通过解码和非极大值抑制得到所述第一检测结果。
4.根据权利要求3所述的目标跟踪方法，其特征在于，所述将所述待处理点云在鸟瞰视角下进行投影，转化得到柱素，包括：
将所述待处理点云中的所有点离散化到参考平面上均匀分布的网格中；
将每个网格内的点云进行坐标归一化和扩充，利用全连接网络和最大池化得到每个网格的特征，所述网格的特征即为所述柱素。
5.根据权利要求1或2所述的目标跟踪方法，其特征在于，所述利用一般障碍物算法对所述待处理点云进行检测，得到第二检测结果，包括：
对前景点进行聚类操作，并获取对应的前景点聚类结果；
将所述待处理点云进行球投影，并根据所述前景点聚类结果，得到多边形包围框；
其中，所述多边形包围框即为所述第二检测结果。
6.根据权利要求1所述的目标跟踪方法，其特征在于，所述第一检测结果为3D矩形框，所述第二检测结果为多边形包围框；
基于所述第一检测结果和所述第二检测结果进行检测结果融合，得到至少一个融合结果，包括：
将所述3D矩形框转化为关联多边形；
基于所述关联多边形和所述多边形包围框，确定相交多边形；
计算所述相交多边形的面积、所述关联多边形的面积和所述多边形包围框的面积，并得到交并比；
基于所述交并比非0的结果，判断当前目标是否为所述多边形包围框关联的目标；
若是，则删除所述当前目标；否则，保留所述当前目标，并将保留的所述当前目标，确定为输出的所述融合结果。
7.根据权利要求1所述的目标跟踪方法，其特征在于，所述第一检测结果为3D矩形框，所述第二检测结果为多边形包围框；
基于所述第一检测结果和所述第二检测结果进行检测结果融合，得到至少一个融合结果，包括：
将所述3D矩形框转化为关联多边形；
基于所述关联多边形和所述多边形包围框，确定相交多边形；
基于所述交并比为0的结果，判断当前目标是否为所述多边形包围框关联的目标；
若是，则保留所述当前目标，并将保留的所述当前目标，确定为输出的所述融合结果；否则，删除所述当前目标。
8.根据权利要求6或7所述的目标跟踪方法，其特征在于，所述基于所述关联多边形和所述多边形包围框，确定相交多边形，包括：
确定空间上存在交叠的所述关联多边形和所述多边形包围框的各边的交点；
基于所述交点和所述多边形包围框，确定多边形包围框内部的点；
基于所述多边形包围框内部的点和所述交点，确定所述相交多边形的顶点，得到所述相交多边形。
9.根据权利要求1所述的目标跟踪方法，其特征在于，所述第一检测结果包括检测目标，所述第二检测结果包括一般障碍物，所述融合结果包括跟踪目标和未融合的一般障碍物；
所述基于至少一个所述融合结果，确定对应的至少一个目标，并对至少一个所述目标进行跟踪处理，包括：
对上一帧产生的所述目标进行卡尔兹曼滤波预测，得到所述目标在当前帧的状态；
将所述目标在当前帧的状态与所述融合结果对应的检测目标进行空间匹配；
基于所述空间匹配为否的结果，判断所述目标是否为跟踪目标；
若是，则删除当前所述目标；否则，对当前所述目标进行跟踪初始化。
10.根据权利要求1所述的目标跟踪方法，其特征在于，所述第一检测结果包括检测目标，所述第二检测结果包括一般障碍物，所述融合结果包括跟踪目标和未融合的一般障碍物；
所述基于至少一个所述融合结果，确定对应的至少一个目标，并对至少一个所述目标进行跟踪处理，包括：
对上一帧产生的所述目标进行卡尔兹曼滤波预测，得到所述目标在当前帧的状态；
将所述目标在当前帧的状态与所述融合结果对应的检测目标进行空间匹配；
基于所述空间匹配为是的结果，判断所述目标是否为一般障碍物；
若是，则只更新位置信息；否则，更新类别，并且至少位置信息、尺寸和偏航角一并更新，以对所述目标进行跟踪处理。
11.根据权利要求10所述的目标跟踪方法，其特征在于，更新偏航角，包括：
在第一帧将所述目标的偏航角约束在参考角度范围内；
从第二帧开始，基于当前帧的偏航角与第一帧的偏航角的偏差值，判断所述偏差值是否大于阈值；
若是，则修正偏航角；否则，保持当前帧原有的偏航角。
12.根据权利要求11所述的目标跟踪方法，其特征在于，所述修正偏航角，包括：
将当前帧的偏航角减去角度周期；所述角度周期为参考角度范围对应的一个角度周期。
13.根据权利要求2所述的目标跟踪方法，其特征在于，所述待处理点云基于随移动主体同步运动的激光雷达采集得到；
所述对所述融合结果进行坐标转化之前，还包括：
获取所述移动主体的经纬度信息，并转化为世界坐标系；其中，将所述移动主体在参考时刻的位置作为世界坐标系的原点；
获取用于位姿转化的位姿矩阵；
所述对所述融合结果进行坐标转化，得到世界坐标系下的融合结果，包括：
利用所述位姿矩阵，将所述融合结果映射到所述世界坐标系下，得到所述世界坐标系下的融合结果。
14.根据权利要求13所述的目标跟踪方法，其特征在于，所述获取用于位姿转化的位姿矩阵，包括：
获取所述移动主体的坐标信息，得到平移矩阵；
获取所述移动主体的欧拉角，得到旋转矩阵；
将所述平移矩阵与所述旋转矩阵相乘，得到所述位姿矩阵。
15.一种目标跟踪装置，其特征在于，包括：
获取模块，用于获取待处理点云；
检测模块，用于利用3D目标检测模型对所述待处理点云进行检测，得到第一检测结果；以及利用一般障碍物算法对所述待处理点云进行检测，得到第二检测结果；
融合模块，用于基于所述第一检测结果和所述第二检测结果进行检测结果融合，得到至少一个融合结果；
跟踪模块，用于基于至少一个所述融合结果，确定对应的至少一个目标，并对至少一个所述目标进行跟踪处理。
CN202311253574.5A 2023-09-26 目标跟踪方法和装置 Active CN117252899B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311253574.5A CN117252899B (zh) 2023-09-26 目标跟踪方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311253574.5A CN117252899B (zh) 2023-09-26 目标跟踪方法和装置

Publications (2)

Publication Number Publication Date
CN117252899A true CN117252899A (zh) 2023-12-19
CN117252899B CN117252899B (zh) 2024-05-17

Family

ID=

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429514A (zh) * 2020-03-11 2020-07-17 浙江大学 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN111476822A (zh) * 2020-04-08 2020-07-31 浙江大学 一种基于场景流的激光雷达目标检测与运动跟踪方法
CN112686324A (zh) * 2021-01-04 2021-04-20 新石器慧义知行智驰(北京)科技有限公司 自动驾驶车辆的感知方法及装置
US20210356562A1 (en) * 2020-05-15 2021-11-18 Baidu Usa Llc A detector for point cloud fusion
CN113920499A (zh) * 2021-10-27 2022-01-11 江苏大学 一种面向复杂交通场景的激光点云三维目标检测模型及方法
CN114091561A (zh) * 2020-08-05 2022-02-25 北京万集科技股份有限公司 目标跟踪方法、装置、服务器和可读存储介质
CN114565644A (zh) * 2022-03-02 2022-05-31 湖南中科助英智能科技研究院有限公司 三维运动目标检测方法、装置和设备
CN114663346A (zh) * 2022-01-30 2022-06-24 河北工业大学 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
US20220214457A1 (en) * 2018-03-14 2022-07-07 Uatc, Llc Three-Dimensional Object Detection
CN115116049A (zh) * 2022-08-29 2022-09-27 苏州魔视智能科技有限公司 目标检测的方法、装置、电子设备及存储介质
CN115331214A (zh) * 2022-08-29 2022-11-11 北京超星未来科技有限公司 用于目标检测的感知方法及系统
CN115690475A (zh) * 2022-11-01 2023-02-03 武汉万集光电技术有限公司 一种目标检测方法、装置、电子设备及可读存储介质
CN116189138A (zh) * 2022-12-16 2023-05-30 中山大学 一种基于车路协同的视野盲区行人检测算法
CN116563488A (zh) * 2023-02-10 2023-08-08 大连理工大学 一种基于点云体柱化的三维目标检测方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220214457A1 (en) * 2018-03-14 2022-07-07 Uatc, Llc Three-Dimensional Object Detection
CN111429514A (zh) * 2020-03-11 2020-07-17 浙江大学 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN111476822A (zh) * 2020-04-08 2020-07-31 浙江大学 一种基于场景流的激光雷达目标检测与运动跟踪方法
US20210356562A1 (en) * 2020-05-15 2021-11-18 Baidu Usa Llc A detector for point cloud fusion
CN114091561A (zh) * 2020-08-05 2022-02-25 北京万集科技股份有限公司 目标跟踪方法、装置、服务器和可读存储介质
CN112686324A (zh) * 2021-01-04 2021-04-20 新石器慧义知行智驰(北京)科技有限公司 自动驾驶车辆的感知方法及装置
CN113920499A (zh) * 2021-10-27 2022-01-11 江苏大学 一种面向复杂交通场景的激光点云三维目标检测模型及方法
CN114663346A (zh) * 2022-01-30 2022-06-24 河北工业大学 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN114565644A (zh) * 2022-03-02 2022-05-31 湖南中科助英智能科技研究院有限公司 三维运动目标检测方法、装置和设备
CN115116049A (zh) * 2022-08-29 2022-09-27 苏州魔视智能科技有限公司 目标检测的方法、装置、电子设备及存储介质
CN115331214A (zh) * 2022-08-29 2022-11-11 北京超星未来科技有限公司 用于目标检测的感知方法及系统
CN115690475A (zh) * 2022-11-01 2023-02-03 武汉万集光电技术有限公司 一种目标检测方法、装置、电子设备及可读存储介质
CN116189138A (zh) * 2022-12-16 2023-05-30 中山大学 一种基于车路协同的视野盲区行人检测算法
CN116563488A (zh) * 2023-02-10 2023-08-08 大连理工大学 一种基于点云体柱化的三维目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
VÍCTOR VAQUERO 等: "Dual-Branch CNNs for Vehicle Detection and Tracking on LiDAR Data", 《IEEE》, 31 December 2021 (2021-12-31) *
YULAN GUO 等: "Deep Learning for 3D Point Clouds: A Survey", 《IEEE》, 31 December 2021 (2021-12-31) *
常昕 等: "基于激光雷达和相机信息融合 的目标检测及跟踪", 《光电工程》, 31 December 2019 (2019-12-31) *

Similar Documents

Publication Publication Date Title
CN109461211B (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
US11632536B2 (en) Method and apparatus for generating three-dimensional (3D) road model
CN110163930B (zh) 车道线生成方法、装置、设备、系统及可读存储介质
De Silva et al. Fusion of LiDAR and camera sensor data for environment sensing in driverless vehicles
CN112419494B (zh) 用于自动驾驶的障碍物检测、标记方法、设备及存储介质
AU2013200708B2 (en) Image registration of multimodal data using 3D GeoArcs
CN112444242B (zh) 一种位姿优化方法及装置
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN112740268B (zh) 目标检测方法和装置
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
CN111460865B (zh) 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质
CN111391823A (zh) 一种用于自动泊车场景的多层地图制作方法
KR102167835B1 (ko) 영상 처리 방법 및 장치
CN111353453B (zh) 用于车辆的障碍物检测方法和装置
US20230138487A1 (en) An Environment Model Using Cross-Sensor Feature Point Referencing
WO2024012211A1 (zh) 自动驾驶环境感知方法、介质及车辆
CN114913290A (zh) 多视角融合的场景重建方法、感知网络训练方法及装置
CN110750153A (zh) 一种无人驾驶车辆的动态虚拟化装置
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
CN111833443A (zh) 自主机器应用中的地标位置重建
CN117252899B (zh) 目标跟踪方法和装置
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN117252899A (zh) 目标跟踪方法和装置
CN116385997A (zh) 一种车载障碍物精确感知方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant