CN118155038A - 多目标轨迹检测方法、装置、设备和存储介质 - Google Patents

多目标轨迹检测方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN118155038A
CN118155038A CN202410579108.4A CN202410579108A CN118155038A CN 118155038 A CN118155038 A CN 118155038A CN 202410579108 A CN202410579108 A CN 202410579108A CN 118155038 A CN118155038 A CN 118155038A
Authority
CN
China
Prior art keywords
target
observation
image
radar
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410579108.4A
Other languages
English (en)
Other versions
CN118155038B (zh
Inventor
王德平
李丹
刘宇杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202410579108.4A priority Critical patent/CN118155038B/zh
Publication of CN118155038A publication Critical patent/CN118155038A/zh
Application granted granted Critical
Publication of CN118155038B publication Critical patent/CN118155038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请涉及一种多目标轨迹检测方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取时间对准后的雷达点云序列和相机图像序列；针对雷达点云序列和相机图像序列中同一时刻的雷达点云和相机图像，对所针对雷达点云和所针对相机图像进行特征融合，得到特征融合图像；对所述特征融合图像进行目标识别，得到第一观测集；对所针对相机图像进行目标识别，得到第二观测集；对所述第一观测集和所述第二观测集进行融合，根据融合结果，确定各目标的目标观测结果；基于连续时刻下各目标的目标观测结果，生成各目标的运动轨迹。采用本方法能够增强目标检测结果的稳定性和鲁棒性。

Description

多目标轨迹检测方法、装置、设备和存储介质
技术领域
本申请涉及目标识别技术领域，特别是涉及一种多目标轨迹检测方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
目标检测与跟踪在自动驾驶领域扮演着至关重要的角色，目标检测是计算机视觉领域的热门研究方向之一。然而，目前的技术主要以视觉为基础，容易在复杂光照条件下失效，为了解决该问题，采用使用雷达和图像的多传感器融合跟踪方式提高目标检测的鲁棒性。
然而，当行人被障碍物遮挡时，传统的多传感器融合跟踪方式也容易失去目标，导致检测失败。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高多传感器融合检测的鲁棒性和稳定性的多目标轨迹检测方法、装置、计算机设备、存储介质和计算机程序产品。
第一方面，本申请提供了一种多目标轨迹检测方法，所述方法包括：
获取时间对准后的雷达点云序列和相机图像序列；
针对雷达点云序列和相机图像序列中同一时刻的雷达点云和相机图像，对所针对雷达点云和所针对相机图像进行特征融合，得到特征融合图像；
对所述特征融合图像进行目标识别，得到第一观测集；
对所针对相机图像进行目标识别，得到第二观测集；
对所述第一观测集和所述第二观测集进行融合，根据融合结果，确定各目标的目标观测结果；
基于连续时刻下各目标的目标观测结果，生成各目标的运动轨迹。
在其中一个实施例中，所述对所针对雷达点云和所针对相机图像进行特征融合，得到特征融合图像，包括：
提取所针对雷达点云中包含的雷达特征，将所述雷达特征从雷达坐标系转换至世界坐标系，得到世界坐标系中的点集；所述点集包含雷达探测到的目标的位置信息；
使用相机的内外参数，将世界坐标系中的点集转换至相机坐标系，得到所述点集中各点对应的二维像素坐标；所述二维像素坐标指雷达探测到的目标在相机坐标系中的位置；
对所述二维像素坐标进行插值，得到插值后的像素值；
创建一个尺寸与所针对相机图像相同的扩展图像，并将插值后的像素值集合存储至所述扩展图像中；
将存储后的扩展图像和所针对相机图像进行特征融合，得到特征融合图像。
在其中一个实施例中，所述对所述特征融合图像进行目标识别，得到第一观测集，包括：
提取所针对雷达点云的雷达特征，以及所述特征融合图像的第一图像特征；
对所述第一图像特征进行特征提取，得到第二图像特征；
将所述第二图像特征和所述雷达特征进行融合，得到融合特征；
对所述融合特征进行目标识别，确定第一观测集。
在其中一个实施例中，所述第一观测集包括所述特征融合图像中多个目标的第一观测结果；所述第二观测集包括所针对相机图像中多个目标的第二观测结果；所述对所述第一观测集和所述第二观测集进行融合，根据融合结果，确定各目标的目标观测结果，包括：
确定所述第一观测集中第一观测结果与所述第二观测集中第二观测结果之间的匹配度；
在所述第一观测集中，将匹配度小于预设匹配度的第一观测结果对应的目标，归类为仅由雷达检测得到的第一目标，将所述第一目标的第一观测结果，作为所述第一目标的目标观测结果；
在所述第一观测集中，将匹配度大于或等于预设匹配度的第一观测结果对应的目标，归类为由雷达和相机共同检测得到的第二目标，从所述第二目标的第一观测结果和第二观测结果中确定出所述第二目标的目标观测结果；
在所述第二观测集中，将匹配度小于预设匹配度的第二观测结果对应的目标，归类为仅由相机检测得到的第三目标，基于所述第三目标的第二观测结果，确定所述第三目标的目标观测结果。
在其中一个实施例中，所述基于所述第三目标的第二观测结果，确定所述第三目标的目标观测结果，包括：
获取所述第三目标当前时刻的第二观测结果、历史速度和环境参数；
通过预先训练好的速度预测网络，基于所述第三目标的第二观测结果、历史速度和环境参数对所述第三目标当前时刻的速度进行预测，得到所述第三目标当前时刻的预测速度；
将所述第三目标当前时刻的第二观测结果和预测速度，作为所述第三目标的目标观测结果。
在其中一个实施例中，所述基于连续时刻下各目标的目标观测结果，生成各目标的运动轨迹，包括：
针对当前时刻下的每个目标，计算所针对目标的目标观测结果与每个历史时刻下的各目标观测结果之间的距离；
针对每个历史时刻，选择所针对历史时刻下最小距离对应的目标观测结果，作为所针对目标在所针对历史时刻下对应的最近观测结果；
基于所针对目标在每个历史时刻下的最近观测结果，生成所针对目标的运动轨迹。
在其中一个实施例中，所述基于所针对目标在每个历史时刻下的最近观测结果，生成所针对目标的运动轨迹，包括：
基于所针对目标在每个历史时刻下的最近观测结果，确定粒子集；所述粒子集包括多个粒子，每个粒子表征所针对目标在当前时刻的预测运动状态；
基于所述粒子集中各粒子与当前时刻的目标观测结果之间的相似度，计算并更新各粒子的权重；
根据所述粒子集中各粒子的权重，对所述粒子集进行重采样，得到新的粒子集；
基于所述新的粒子集，估计所针对目标在当前时刻的运动轨迹。
第二方面，本申请还提供了一种多目标轨迹检测装置。所述装置包括：
获取模块，用于获取时间对准后的雷达点云序列和相机图像序列；
特征融合模块，用于针对雷达点云序列和相机图像序列中同一时刻的雷达点云和相机图像，对所针对雷达点云和所针对相机图像进行特征融合，得到特征融合图像；
雷达检测模块，用于对所述特征融合图像进行目标识别，得到第一观测集；
相机检测模块，用于对所针对相机图像进行目标识别，得到第二观测集；
观测结果融合模块，用于对所述第一观测集和所述第二观测集进行融合，根据融合结果，确定各目标的目标观测结果；
轨迹生成模块，用于基于连续时刻下各目标的目标观测结果，生成各目标的运动轨迹。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述多目标轨迹检测方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述多目标轨迹检测方法的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述多目标轨迹检测方法的步骤。
上述多目标轨迹检测方法、装置、计算机设备、存储介质和计算机程序产品，针对雷达点云序列和相机图像序列中同一时刻的雷达点云和相机图像，对所针对雷达点云和所针对相机图像进行特征融合，得到特征融合图像，对所述特征融合图像进行目标识别，得到第一观测集，在生成第一观测集过程中，融合了图像特征，雷达特征和图像特征进行特征层上的融合，能取得比较稳定的检测结果，特征融合能弥补单一传感器的缺点，提供更全面的目标特征信息，进而提高目标识别的性能；进一步，将雷达检测得到的第一观测集和相机检测得到的第二观测集进行融合，可以进一步增强目标检测结果的稳定性，确保失效环境下目标检测的稳定性。
附图说明
图1为一个实施例中多目标轨迹检测方法的应用环境图；
图2为一个实施例中多目标轨迹检测方法的流程示意图；
图3为一个实施例中雷达点云序列的滤波过程示意图；
图4为一个实施例中CrfNet神经网络中ResNe编码器的结构示意图；
图5为一个实施例中特征融合图像的通道示意图；
图6为一个实施例中通过特征提取网络获取第一观测集的流程图；
图7为一个实施例中运动轨迹的生成流程图；
图8为一个实施例中多目标轨迹检测装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的多目标轨迹检测方法，可以应用于如图1所示的应用环境中。其中，车辆102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他服务器上。车辆102获取时间对准后的雷达点云序列和相机图像序列；车辆102针对雷达点云序列和相机图像序列中同一时刻的雷达点云和相机图像，对所针对雷达点云和所针对相机图像进行特征融合，得到特征融合图像；车辆102对特征融合图像进行目标识别，得到第一观测集；车辆102对所针对相机图像进行目标识别，得到第二观测集；车辆102对第一观测集和第二观测集进行融合，根据融合结果，确定各目标的目标观测结果；车辆102基于连续时刻下各目标的目标观测结果，生成各目标的运动轨迹。其中，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种多目标轨迹检测方法，以该方法应用于图1中的车辆为例进行说明，包括以下步骤：
步骤202，获取时间对准后的雷达点云序列和相机图像序列。
其中，雷达（通常是激光雷达或毫米波雷达）通过发射激光脉冲并测量它们与目标物体之间的距离来获取环境的几何信息。每个测量点（或称为“点云”）都表示环境中的一个物体的位置。当雷达连续扫描环境时，它会生成一个点的序列，这个序列称为“雷达点云序列”。雷达点云序列包括连续采样时刻采集的雷达点云数据，其中，每个时刻采集的雷达点云数据包括由当前时刻雷达扫描周围环境生成的点的集合。每个点都表示环境中的一个物体或表面的位置，并可能包含其他信息，如目标位置、目标速度等。
相机图像序列，指相机连续捕捉的图像。每帧图像都提供了环境的视觉信息，可能包括颜色、纹理和形状等。相机图像序列包括连续采样时刻采集的相机图像。
时间对准是指调整或同步两个或多个传感器数据的时间戳，以确保它们能够在同一时间或近似同一时间表示环境的状态。在多传感器融合（如雷达和相机）中，由于两种传感器可能有不同的扫描速度或触发机制，因此它们捕获的数据在时间上可能不是完全对齐的，进而需要进行时间对准。
具体地，车辆从雷达和相机分别获取原始的雷达点云序列和相机图像序列，并对雷达点云序列和相机图像序列进行滤波处理，得到处理后的雷达点云序列和相机图像序列。车辆通过硬件同步（例如使用共享的时钟信号）或软件同步（例如通过匹配特定的时间戳）实现处理后的雷达点云序列和相机图像序列的时间同步，使用插值或其他技术，以处理由于采样率差异而导致的时间不匹配，找到两个传感器数据之间的最佳时间匹配点，以确保它们表示的是相同或非常接近的时间点，输出时间对准后的雷达点云序列和相机图像序列。
在一些实施例中，雷达和相机的安装位置可以是：在车头处安装4D毫米波雷达，以毫米波雷达为原点O，以车辆正前方为X轴，以驾驶员左侧方向为Y轴，以车辆正上方为Z轴，建立O-XYZ坐标系，且O-XY平面与地面平行，在车顶安装相机，其安装高度为Zv，相机的镜头垂直于O-XZ平面，且水平于O-YZ平面。
在一些实施例中，在使用毫米波雷达时，对毫米波雷达的参数进行配置，并利用配置后的毫米波雷达获取实时CAN信号后进行解析，得到雷达点云序列，再过滤雷达点云序列中的无效目标和空目标后，利用卡尔曼滤波消除过滤后的雷达点云序列中的噪声，对毫米波雷达输出的雷达点云序列和相机图像序列进行时间对齐与目标关联。
在一些实施例中，对于毫米波雷达数据的采集，使用一种体柱型网络结构，取代了传统的网格体素化，以更高效地处理点云数据。图3为一个实施例中雷达点云序列的滤波过程示意图，如图3所示，首先，对点云进行区域划分，得到低维特征（该过程类似于体素化，但与体素最大的不同之处在于体柱在z方向上没有高度的限制）；对低维特征进行升维，得到高维特征，对高维特征进行编码，得到编码特征，对编码特征进行最大池化处理，得到池化特征，对池化特征进行重排列处理，得到过滤后的雷达点云序列。
其中，对低维特征进行升维是对体柱中的点进行的增广操作，即将原始的4维信息扩展为9维信息（额外的5维包括体柱的中心点的三维坐标以及每个点到中心的x和y距离）。
本实施例中，通过雷达点云进行滤波处理，然后再进行特征融合和目标识别，可以提高目标识别的实时性，提高运动轨迹的生成速度。
步骤204，针对雷达点云序列和相机图像序列中同一时刻的雷达点云和相机图像，对所针对雷达点云和所针对相机图像进行特征融合，得到特征融合图像。
其中，雷达点云，由雷达扫描周围环境生成的点的集合。每个点都表示环境中的一个物体或表面的位置，并可能包含其他信息，如目标位置、目标速度等。
特征融合，是将来自不同传感器的数据（在此情况下是雷达点云和相机图像）的特征结合起来，以创建一个新的、更丰富的数据集或表示的过程。特征融合通常涉及提取两种数据类型的特征，并找到一种方法（例如，简单叠加、加权平均、主成分分析、支持向量机等）来组合它们。
特征融合图像，是特征融合过程的输出，它是一个结合了雷达点云和相机图像特征的新图像。特征融合图像结合了两种不同传感器数据的特征，所以特征融合图像包含比雷达点云或相机图像更多的信息。
具体地，车辆获取雷达点云序列和相机图像序列中同一时刻的雷达点云和相机图像；针对每个时刻获取的雷达点云和相机图像，车辆提取雷达点云的雷达特征（可能包括点的位置、反射强度、速度等），提取相机图像中的图像特征；车辆使用匹配算法（如最近邻搜索、RANSAC算法或深度学习模型）找到雷达点云和相机图像中相对应的特征点，通过融合方法（可能包括简单的加权组合、使用融合算法（如卡尔曼滤波、贝叶斯融合）或深度学习模型（如自编码器、卷积神经网络））对雷达特征和图像特征进行融合，得到融合后的特征，车辆将融合后的特征映射到像素空间，生成一个特征融合图像。
步骤206，对特征融合图像进行目标识别，得到第一观测集。
其中，第一观测集，是指通过目标识别过程从特征融合图像中识别出的目标对象的集合。第一观测集内包括所针对时刻下特征融合图像中多个目标对应的观测结果，每个时刻下的特征融合图像均对应一个第一观测集。每个观测结果包含目标的信息，例如，目标的信息包括的时间戳、类别、位置、速度、边框、边框置信度、大小等信息。
具体地，车辆使用目标检测算法或模型来识别特征融合图像中的目标对象，得到第一观测集，其中，目标检测算法可以基于传统的计算机视觉方法（如滑动窗口、Haar特征+级联分类器等），也可以使用深度学习模型，如区域卷积神经网络。
步骤208，对所针对相机图像进行目标识别，得到第二观测集。
其中，第二观测集是指通过目标识别过程从相机图像中识别出的目标对象的集合。第二观测集内包括所针对相机图像中多个目标对应的观测结果，每个观测结果包含目标的信息。例如，目标的信息包括的时间戳、类别、位置、边框、边框置信度、大小等信息。
需要说明的是：雷达（尤其是毫米波雷达）在检测目标时，主要依赖于发射和接收的电磁波与目标之间的相互作用。雷达发射的电磁波遇到目标后会发生反射，通过测量反射波与发射波之间的时间差和频率变化，可以确定目标与雷达之间的距离、速度和方向。因此，雷达对于目标的纵向位置（即深度信息）非常敏感，所以，雷达检测得到的第一观测集包含的位置指目标的纵向位置。相机在检测目标时主要依赖于图像处理和计算机视觉技术。相机捕捉的是目标的二维图像，通过图像处理技术可以从图像中提取出目标的形状、大小、颜色等信息。然而，相机本身并不能直接测量目标的深度信息，即纵向位置。因此，相机更擅长于检测目标的横向位置，即在二维图像平面内的位置，所以雷达检测得到的第一观测集包含的位置指目标的纵向位置，相机检测得到的第二观测集包含的位置指目标的横向位置。
需要说明的是：雷达检测得到的第一观测集包含了目标的速度，但是相机检测得到的第二观测集不包含目标的速度。这主要是因为雷达利用了多普勒效应。当目标相对于雷达运动时，反射回来的电磁波频率会发生变化，通过测量这个频率变化可以计算出目标的运动速度。而相机本身并不具备直接测量目标速度的能力，它只能通过捕捉连续帧的图像来估算目标的速度，这种方法通常受到帧率、图像质量等因素的限制，不如雷达的速度测量准确和可靠。
具体地，车辆使用目标检测算法或模型来识别相机图像中的目标对象，得到第二观测集，其中，目标检测算法可以基于传统的计算机视觉方法（如滑动窗口、Haar特征+级联分类器等），也可以使用深度学习模型，如区域卷积神经网络。
在一些实施例中，车辆采用CrfNet神经网络识别相机图像中的目标对象，CrfNet神经网络包括多个ResNe编码器，每个ResNe编码器的输入为上一个ResNe编码器的输出，ResNe编码器通过对输入相机图像进行多层处理，逐渐提取出相机图像的高级特征，其输出的特征图将作为后续ResNe编码器处理的输入，用于进行二维卷积和解码器处理，最终实现点云的分类和分割等任务。
在一些实施例中，图4为一个实施例中CrfNet神经网络中ResNe编码器的结构示意图，如图4所示，X表示ResNe编码器的输入，ResNe编码器的输入是前一层的输出。ResNe编码器包含一个残差块，其输出被表示为H(X)，即ResNe编码器的计算结果。输出H(X)由激活函数G(Y)计算而得，其中Y表示ResNe编码器的输入。此外，F(X)用来表示残差，即网络学习的目标函数；W1是第一层的权重，W2是第二层的权重。学习的目的就是找到输出到输入的映射，H(X) =F(X) +X，F(X) =H(X)-X。通过循环反复的迭代，就可以找到最佳的权重。这种迭代过程中，网络会不断更新权重，以最小化残差，最终找到最优的权重。这种方法可以帮助网络更好地适应数据。
步骤210，对第一观测集和第二观测集进行融合，根据融合结果，确定各目标的目标观测结果。
其中，目标观测结果，指对目标状态的最终估计。
具体地，车辆根据融合算法，结合雷达和相机的观测数据，为每个目标生成一个融合后的状态估计，将融合后的目标状态估计作为各目标最终的目标观测结果。
例如，车辆获取t1时刻对应的雷达点云D1和相机图像X1，将雷达点云D1和相机图像X1进行特征融合，得到特征融合图像Y1；车辆对特征融合图像Y1进行目标识别，得到第一观测集，对相机图像X1进行目标识别，得到第二观测集，对第一观测集和第二观测集进行融合，根据融合结果，确定各目标的目标观测结果。
步骤210，基于连续时刻下各目标的目标观测结果，生成各目标的运动轨迹。
其中，运动轨迹，指一个目标在一段时间内连续的位置序列，表示目标在空间中的移动路径。
具体地，车辆为每个目标创建一个列表或数组，用于存储其在各个时刻的目标观测结果，按照时间顺序，将每个目标在每个时刻的目标观测结果添加到其对应的列表或数组中，得到各目标对应的运动轨迹。
上述多目标轨迹检测方法中，针对雷达点云序列和相机图像序列中同一时刻的雷达点云和相机图像，对所针对雷达点云和所针对相机图像进行特征融合，得到特征融合图像，对特征融合图像进行目标识别，得到第一观测集，在生成第一观测集过程中，融合了图像特征，雷达特征和图像特征进行特征层上的融合，可以提高目标识别的实时性，能取得比较稳定的检测结果，特征融合能弥补单一传感器的缺点，提供更全面的目标特征信息，进而提高目标识别的性能；进一步，将雷达检测得到的第一观测集和相机检测得到的第二观测集进行融合，可以进一步增强目标检测结果的稳定性，确保失效环境下目标检测的稳定性。实验结果表明，本申请实施例比传统融合跟踪算法在精度上提高了15%，在目标被严重遮挡时仍能继续进行跟踪，鲁棒性显著增强。
在一个实施例中，对所针对雷达点云和所针对相机图像进行特征融合，得到特征融合图像，包括：
一、提取所针对雷达点云中包含的雷达特征，将雷达特征从雷达坐标系转换至世界坐标系，得到世界坐标系中的点集；点集包含雷达探测到的目标的位置信息。
其中，雷达特征，是指从雷达点云中提取的能够描述目标物体特性的信息。例如，雷达特征包括点的位置、强度、速度、加速度等。
雷达坐标系是以雷达为中心建立的坐标系，用于描述雷达与目标之间的相对位置关系。通常，雷达坐标系的原点位于雷达设备的位置，坐标轴与雷达的扫描方向和对准方向相关。
世界坐标系是一个全局的、一致的坐标系，用于描述场景中所有物体的绝对位置关系。它通常是一个固定的参考框架，如地面坐标系或地球坐标系。
具体地，车辆从雷达点云中提取出所需的特征，根据雷达的安装位置、姿态以及与世界坐标系之间的相对关系，确定坐标变换矩阵，通过坐标变换矩阵将提取的雷达特征从雷达坐标系转换至世界坐标系，即将雷达坐标系中的点集转换为世界坐标系中的点集。
二、使用相机的内外参数，将世界坐标系中的点集转换至相机坐标系，得到点集中各点对应的二维像素坐标；二维像素坐标指雷达探测到的目标在相机坐标系中的位置。
其中，相机的内外参数包含内参数和外参数。相机的内部参数，包括焦距、主点坐标（通常是图像中心）、畸变系数等。相机的外部参数，包括旋转矩阵R和平移向量T，也称为相机的姿态参数。
相机坐标系，以相机的光心为原点建立的坐标系，其坐标轴与相机的成像平面平行。相机坐标系中的点通过相机的内参数可以映射到成像平面上。
二维像素坐标，在相机成像平面上，以像素为单位表示的点坐标。每个像素对应成像平面上的一个位置，通常使用(u, v)表示，其中u是水平方向坐标，v是垂直方向坐标。本申请实施例中，二维像素坐标指雷达探测到的目标在相机坐标系中的位置
具体地，车辆使用相机的外参数（旋转矩阵和平移向量）将世界坐标系中的点集转换至相机坐标系，使用相机的内参数将相机坐标系中的点投影到成像平面上，通过缩放和平移操作将成像平面上的坐标转换为二维像素坐标。
三、对二维像素坐标进行插值，得到插值后的像素值。
其中，由于世界坐标系中的点集转换至相机坐标系之后的点可能不会落在整数像素坐标上，因此需要对这些非整数坐标进行插值，以确定其对应的像素值。
具体地，对于非整数的二维像素坐标，车辆采用插值算法对非整数的二维像素坐标进行插值处理，得到插值后的像素值。
四、创建一个尺寸与所针对相机图像相同的扩展图像，并将插值后的像素值存储至扩展图像中。
其中，扩展图像，用于在图像处理中容纳额外的像素数据。
具体地，车辆使用图像处理库（如OpenCV、PIL等）创建一个扩展图像，其尺寸与所针对相机图像尺寸相同；对于扩展图像中的每个像素位置，车辆检查插值后的像素值中是否有对应的像素值；如果有，则将相应的像素值设置到扩展图像的对应位置上，如果没有，则在没有的位置设置为0。
例如，毫米波雷达输出的数据包含了稀疏的二维点云，其中包括了与雷达特征相关的信息，如目标的方位角、目标距离和雷达截面积（RCS）；将毫米波雷达数据从地平面映射到相机图像平面，并将雷达特征以像素值的方式存储在扩展图像中，在没有雷达特征的图像像素位置，将相应的毫米波雷达特征设置为0。
五、将存储后的扩展图像和所针对相机图像进行特征融合，得到特征融合图像。
具体地，车辆使用融合算法对存储后的扩展图像和所针对相机图像进行特征融合处理，得到特征融合图像。
在一些实施例中，由于毫米波雷达传感器未提供关于目标高度的信息，假设所探测到的三维坐标是从目标所在的地平面返回的。此外，将投影在垂直方向上延伸到目标所在地平面，以考虑待测物体的垂直延伸。由于目标对象是行人，为了覆盖这类目标的高度范围，将毫米波雷达检测到的高度扩展到1.8米，以与相机像素数据进行关联。最终，毫米波雷达数据以1像素宽度的方式映射到相机平面。在融合过程中，分别对毫米波雷达与相机进行空间标定，得到旋转矩阵R与平移矩阵T。再通过张正友标定法对相机进行内参标定，得到图像空间坐标系到像素坐标系的转换矩阵。最后以投影点为中心，往竖直方向上、下分别延伸0.9m，生成一个1.8m长的竖线，即在特征融合图像中每个由雷达探测到的点都会表示为一个1.8米高的竖线，以反映行人在垂直方向上的大小。
在一些实施例中，图5为一个实施例中特征融合图像的通道示意图，如图5所示，相机图像三个通道（红、绿、蓝）组成，将雷达特征以像素值的方式存储在扩展图像之后，特征融合图像包含n层特征，其中，有3层为存储后的扩展图像。
本实施例中，在相机图像平面上映射雷达回波特征，将雷达探测到的目标以像素值的形式表示在图像中，可以利用相机图像的高分辨率来增强雷达数据的空间分辨率，可以将雷达的探测结果可视化，便于后续的目标识别和分析。
在一个实施例中，对特征融合图像进行目标识别，得到第一观测集，包括：
提取所针对雷达点云的雷达特征，以及特征融合图像的第一图像特征；对第一图像特征进行特征提取，得到第二图像特征；将第二图像特征和雷达特征进行融合，得到融合特征；对融合特征进行目标识别，确定第一观测集。
其中，第一图像特征，指的是从特征融合图像中提取出的特征。例如，第一图像特征包括颜色、纹理、边缘、角点等。
第二图像特征，是在第一图像特征基础上进一步提取或处理的特征，包括更高级别的特征，如SIFT、SURF等描述子。
具体地，车辆从雷达点云中提取雷达特征，对特征融合图像进行特征提取，得到第一图像特征；车辆在第一图像特征的基础上，进行更高级别的特征提取，得到第二图像特征；车辆通过融合算法将第二图像特征和雷达特征结合起来，得到融合特征，使用目标识别算法对融合特征进行处理，以识别出特征融合图像中的目标对象。车辆根据目标识别算法的结果，确定第一观测集，即所有被识别为特定类别的目标对象的集合。
在一些实施例中，图6为一个实施例中通过特征提取网络获取第一观测集的流程图，如图6所示，雷达点云和相机图像分别输入特征融合图像，将雷达点云和相机图像连接在一起，得到特征融合图像，将特征融合图像作为特征提取网络的第一个层级输入，右侧分支通过VGG层对摄像机和毫米波雷达数据进行处理。在左侧分支中，原始毫米波雷达数据经过最大池化，以适当的比例输入到网络的深层。毫米波雷达数据连接到网络主分支的先前融合网络层的输出。此外，还引入了特征金字塔网络(FPN)，由P3到P7块表示。在此模块中，毫米波雷达通道在每一层上通过级联进行额外的融合。最后对FPN块的输出进行边界框回归和分类处理，得到各目标的边界框对应的二维回归坐标以及各目标的分类结果（即识别的目标类型，如目标是行人、路标、障碍物等类型）。其中，特征提取网络保留了高效卷积骨干网络用于特征提取，并采用Transformer解码器作为检测头，从而降低了计算成本。
具体地，特征融合网络对雷达点云和相机图像进行特征融合，得到特征融合图像；之后，特征提取网络利用多层卷积池化层提取雷达点云特征，同时使用vgg16卷积层提取特征融合图像的第一图像特征。然后将雷达特征与第一图像特征进行拼接对齐。在多个尺度特征层上，对雷达特征和第一图像特征进行对齐后融合。在特征金字塔模块中，对第一图像特征进行特征提取，得到第二图像特征，并进一步融合雷达特征和第二图像特征，并结合多个尺度的特征，得到具有高级语义信息和低层位置信息的特征表示层，能够给不同大小的目标分配给不同尺度特征层。最终，利用具有雷达和图像特征的融合特征进行目标的检测。
本实施例中，大多数融合方法通常简单地将雷达特征和图像特征进行元素添加或串联，因此它们的性能在低质量图像特征存在时会显著下降。此外，由于点云的稀疏性，基于硬关联（Hard Association）的融合方法可能会浪费许多图像特征，因为投影点可能由于校准误差而未能准确对应到物体上，本实施例，重新聚焦融合过程，通过从硬关联到软关联的特征级融合，提高了对降低图像质量和传感器错位的鲁棒性。
在一个实施例中，第一观测集包括特征融合图像中多个目标的第一观测结果；第二观测集包括所针对相机图像中多个目标的第二观测结果。
在一个实施例中，对第一观测集和第二观测集进行融合，根据融合结果，确定各目标的目标观测结果，包括：
一、确定第一观测集中第一观测结果与第二观测集中第二观测结果之间的匹配度。
其中，匹配度是用来衡量两个观测结果之间相似性或一致性的度量。它表示两个观测结果是否指代同一目标对象的可能性。例如，匹配度可以用欧几里得距离、余弦相似度、相关性系数表示。
具体地，车辆通过匹配算法（基于规则、机器学习模型或深度学习网络），计算第一观测集中每个第一观测结果分别与第二观测集中每个第二观测结果之间的匹配度。
二、在第一观测集中，将匹配度小于预设匹配度的第一观测结果对应的目标，归类为仅由雷达检测得到的第一目标，将第一目标的第一观测结果，作为第一目标的目标观测结果。
其中，预设匹配度是一个事先设定的阈值，用于判断两个观测结果是否足够相似以被认为是匹配的。
第一目标，指在第一观测集中，那些匹配度小于预设匹配度的目标，第一目标被归类为“仅由雷达检测得到的目标”，意味着第一目标仅在雷达数据中可见，但在相机图像数据中可能由于某种原因（如遮挡、光照条件差等）未能被有效检测或识别。
具体地，车辆设定一个匹配度的阈值，作为预设匹配度，将计算出的匹配度与预设匹配度进行比较。如果某个第一观测结果与所有第二观测结果的匹配度都小于预设匹配度，则将匹配度小于预设匹配度的第一观测结果对应的目标归类为“仅由雷达检测得到的第一目标”，这意味着这些目标在雷达数据中是被可靠检测的，但在相机图像数据中未能找到相应的匹配项。对于归类为“仅由雷达检测得到的第一目标”，提取第一目标在第一观测集中的第一观测结果，并作为第一目标的目标观测结果。
三、在第一观测集中，将匹配度大于或等于预设匹配度的第一观测结果对应的目标，归类为由雷达和相机共同检测得到的第二目标，从第二目标的第一观测结果和第二观测结果中确定出第二目标的目标观测结果。
其中，第二目标，指在第一观测集中，那些匹配度大于或等于预设匹配度的目标，第二目标被归类为“由雷达和相机共同检测得到的目标”，这意味着第二目标在雷达和相机数据中都被可靠地检测并识别。
具体地，车辆将计算出的匹配度与预设匹配度进行比较。筛选出匹配度大于或等于预设匹配度的第一观测结果对应的目标，并归类为“由雷达和相机共同检测得到的第二目标”。对于归类为“第二目标”的每个目标，车辆通过数据融合算法（例如加权平均、卡尔曼滤波等），综合第二目标的第一观测结果和第二观测结果来确定第二目标的目标观测结果。
四、在第二观测集中，将匹配度小于预设匹配度的第二观测结果对应的目标，归类为仅由相机检测得到的第三目标，基于第三目标的第二观测结果，确定第三目标的目标观测结果。
其中，第三目标，指在第二观测集中，匹配度小于预设匹配度的第二观测结果对应的目标，第三目标被归类为“仅由相机检测得到的目标”。这意味着第三目标在相机图像中可见，但在雷达数据中可能由于某种原因（如雷达盲区、雷达信号干扰等）未能被有效检测或识别。
具体地，车辆将计算出的匹配度与预设匹配度进行比较。若某个第二观测结果与所有第一观测结果的匹配度都小于预设匹配度，则表明该第二观测结果对应的目标在雷达数据中未能找到相应的匹配项。车辆将匹配度小于预设匹配度的第二观测结果对应的目标归类为“仅由相机检测得到的第三目标”。对于归类为“仅由相机检测得到的第三目标”的每个目标，车辆提取其在第二观测集中的第二观测结果，第二观测结果将作为这些目标的目标观测结果。
本实施例中，对雷达检测得到的第一观测集和相机检测得到的第二观测集进行融合，数据融合过程可以分为三个目标类别：仅由相机观测到的目标、仅由雷达观测到的目标，以及由两种传感器同时观测到的目标，根据不同观测目标类别，自动切换目标对应的观测结果，提高了系统的稳定性和准确性。
在一个实施例中，速度是描述物体运动状态的重要参数之一，然而，由上述实施例可知，针对仅由雷达观测到的第一目标，以及由雷达和相机共同检测得到的第二目标，第一目标和第二目标对应的目标观测结果中包含了目标的预测速度，但是对于仅由相机检测得到的第三目标，第三目标对应的目标观测结果中不包含目标的预测速度，因此，对于第三目标的跟踪需要依靠其他可用的观测数据（如位置、方向等）来估计第三目标的状态，从而需要更复杂的算法或模型，导致目标跟踪的复杂性增加，并且第三目标没有速度信息，就无法准确了解第三目标在每个时刻的移动速度，因此生成的轨迹可能不够精确。尤其是在需要预测第三目标未来位置的场景中，缺乏速度数据可能导致预测结果存在较大的误差。因此，为解决上述问题，本实施例针对仅由相机检测得到的第三目标，通过速度预测网络对第三目标的速度进行预测，得到第三目标当前时刻的预测速度，将第三目标当前时刻的第二观测结果和预测速度，作为所述第三目标的目标观测结果。
在一些实施例中，基于第三目标的第二观测结果，确定第三目标的目标观测结果，包括：
一、获取第三目标当前时刻的第二观测结果、历史速度和环境参数。
其中，第三目标当前时刻的第二观测结果包括对相机图像进行目标识别得到的第三目标的边界框对应的位置信息、检测得到第三目标的时间戳。
历史速度，指第三目标在历史时刻对应的速度。需要说明的是：由于相机无法检测目标的速度，因此，对于首次检测得到第三目标的时刻，可以设置该时刻对应的初始速度（例如，设置初始速度为0），并将初始速度作为下一时刻对应的历史速度。或者，还可以获取连续采样时刻下第三目标的位置信息，根据第三目标的位置变化量以及连续采样所对应的连续时长，确定第三目标对应的初始速度，将初始速度作为下一时刻对应的历史速度。
环境参数，指第三目标所处环境的状态参数，包括第三目标所处环境的交通信息、道路信息等。
具体地，车辆使用目标检测算法或模型（例如，CrfNet神经网络）来识别当前时刻的相机图像中的目标对象，得到第三目标当前时刻所对应的第二观测结果；车辆通过与车联网平台进行通信，获取当前时刻车辆所在位置的环境参数；车辆通过记载的第三目标在历史时刻所对应的目标观测结果，获取第三目标的历史速度。
二、通过预先训练好的速度预测网络，基于第三目标的第二观测结果、历史速度和环境参数对第三目标当前时刻的速度进行预测，得到第三目标当前时刻的预测速度。
其中，速度预测网络，用于根据输入的第二观测结果、历史速度和环境参数第三目标当前时刻的速度进行预测，得到第三目标当前时刻的预测速度。速度预测网络可以是RBF神经网络（径向基函数神经网络）、多层感知器、卷积神经网络等网络。
在一些实施例中，速度预测网络的训练过程如下：收集目标在不同采样时刻下所观测得到的样本；每个样本包括目标位置、时间戳、历史速度和环境参数；将样本输入至初始速度预测网络，速度预测网络根据预设算法对目标位置、时间戳、历史速度和环境参数进行处理，得到预测速度；根据预测速度与样本对应的实际速度之间的误差，调整初始速度预测网络的结构，直至满足预设条件时停止训练，得到训练好的速度预测网络。
其中，预设算法跟初始速度预测网络的结构相关，若初始速度预测网络是RBF神经网络，则预设算法指在无监督学习中，通过聚类算法（如K-means聚类）、随机给定等方式确定径向基函数的中心点，每个中心点代表了输入空间中的一个特征位置；RBF神经网络计算每个输入（包括目标位置、时间戳、历史速度和环境参数）与所有中心点的距离，将该距离用于径向基函数的计算，产生每个中心点的激活值。在有监督学习阶段RBF神经网络利用激活值和对应的实际速度进行训练，根据预测速度与实际速度之间的误差，调整RBF神经网络参数。
预测速度，指速度预测网络输出的第三目标当前时刻的速度。当前时刻的预测速度作为下一时刻的历史速度。
具体地，车辆将第三目标的第二观测结果、历史速度和环境参数作为预先训练好的速度预测网络的输入，速度预测网络输出第三目标当前时刻的预测速度。
三、将第三目标当前时刻的第二观测结果和预测速度，作为第三目标的目标观测结果。
具体地，车辆将第三目标当前时刻的第二观测结果和预测速度一起作为第三目标的目标观测结果。
本实施例中，针对仅由相机检测得到的第三目标，通过速度预测网络对第三目标的速度进行预测，得到第三目标当前时刻的预测速度，将第三目标当前时刻的第二观测结果和预测速度，作为所述第三目标的目标观测结果，从而弥补相机检测无法检测目标速度的缺点，有效提高跟踪算法的准确性以及生成的运动轨迹的准确性。
在一个实施例中，基于连续时刻下各目标的目标观测结果，生成各目标的运动轨迹，包括：
一、针对当前时刻下的每个目标，计算所针对目标的目标观测结果与每个历史时刻下的各目标观测结果之间的距离。
其中，距离通常指两个观测结果之间的相似度或差异度度量。这可以通过计算特征之间的欧氏距离、马氏距离、余弦相似度等来实现。距离越小，两个观测结果越相似。
历史时刻，指的是在当前时刻之前的时间点或帧。这些时间点的数据已经被处理并存储为历史观测结果。
具体地，针对当前时刻下的每个目标，车辆计算所针对目标当前的目标观测结果与每个历史时刻下各目标的目标观测结果之间的距离，并将每个当前时刻目标观测结果与其在各历史时刻下的最近观测结果之间的匹配关系记录下来。
二、针对每个历史时刻，选择所针对历史时刻下最小距离对应的目标观测结果，作为所针对目标在所针对历史时刻下对应的最近观测结果。
其中，所针对目标的最近观测结果是指每个历史时刻的各历史目标观测结果中，与当前时刻所针对目标的目标观测结果距离最小的历史目标观测结果。同一个目标在多个历史时刻下对应有多个最近观测结果，同一目标的多个最近观测结果表征同一目标在不同时刻下的状态变化，有助于在多个历史时刻下追踪同一目标的状态和轨迹。例如，目标a在t1-t4段内，每时刻分别对应有一个最近观测结果，表征t1-t4段内最近观测结果所对应的目标为同一目标。
具体地，车辆针对每个历史时刻，选择所针对历史时刻下最小距离对应的目标观测结果，作为所针对目标在所针对历史时刻下对应的最近观测结果，为当前时刻的每个目标观测结果找到其在所有历史时刻下的最近观测结果。
三、基于所针对目标在每个历史时刻下的最近观测结果，生成所针对目标的运动轨迹。
具体地，车辆提取所针对目标在每个历史时刻下的最近观测结果，并按照时间顺序进行排序，使用适当的插值方法或平滑技术，将相邻的历史时刻的最近观测结果连接起来，根据连接后的最近观测结果，生成所针对目标的运动轨迹。
本实施例中，通过考虑所有历史时刻下的各目标观测结果，找到当前时刻下所针对目标的目标观测结果的最佳匹配，从而减少了错误关联的可能性，确保了在任何时刻，每个目标都与最合适的观测结果关联，减少了跟踪过程中的误差积累。
在一个实施例中，在生成目标的运动轨迹时，对目标进行跟踪是至关重要的。一方面，通过跟踪，可以实时获取目标在当前时刻的位置，这对于预测目标未来的位置、更新其运动轨迹至关重要。没有跟踪，就无法得知目标在何时何地，也就无法生成准确的运动轨迹。另一方面，跟踪可以分析目标的行为模式。例如，通过分析目标在一段时间内的移动速度、方向变化等，可以推断出目标可能的意图或行为模式，这对于理解目标的运动轨迹以及预测其未来动向非常有帮助。因此，本实施例中采用跟踪算法生成运动轨迹。其中，基于所针对目标在每个历史时刻下的最近观测结果，生成所针对目标的运动轨迹，包括：
一、基于所针对目标在每个历史时刻下的最近观测结果，确定粒子集；粒子集包括多个粒子，每个粒子表征所针对目标在当前时刻的预测运动状态。
其中，粒子集是用来表示目标可能状态的集合。每个粒子代表目标在状态空间中的一个可能位置和运动状态。粒子通常包含了目标的位置、方向等状态信息，并附加有权重信息以表示该状态的可能性。
预测运动状态指的是根据目标的历史观测结果和当前时刻的观测结果，通过某种预测模型（如运动模型）计算出的目标在当前时刻可能的状态。
具体地，车辆通过在目标可能出现的区域内随机生成初始粒子集，初始粒子集中每个粒子都被赋予一个初始状态（如位置等）和一个初始权重（通常相等），在每个历史时刻，车辆计算每个历史目标观测结果与粒子状态之间的相似度（如距离、概率等），更新粒子权重，得到粒子集。
二、基于粒子集中各粒子与当前时刻的目标观测结果之间的相似度，计算并更新各粒子的权重。
具体地，对于每个粒子，车辆计算其与当前时刻的目标观测结果之间的相似度，根据计算出的相似度，更新每个粒子的权重。通常，相似度越高的粒子，其权重越大。
三、根据粒子集中各粒子的权重，对粒子集进行重采样，得到新的粒子集。
其中，随着时间的推移，粒子权重可能会变得非常不均匀。为了保持粒子集的多样性，需要进行重采样。重采样的过程是根据粒子权重对粒子进行复制或淘汰，以生成一个新的粒子集，其中权重高的粒子更可能被保留下来。
具体地，车辆计算粒子集中所有粒子的权重和，若权重和小于预设权重阈值，则从粒子集中按照权重大小随机选择粒子，并复制或淘汰粒子以生成新的粒子集，得到新的粒子集。
四、基于新的粒子集，估计所针对目标在当前时刻的运动轨迹。
具体地，对于新的粒子集，车辆计算加权平均状态，以估计目标在当前时刻的运动轨迹，使用卡尔曼滤波等方法对计算出的加权平均状态进行平滑处理，将计算出的当前时刻的目标状态添加到运动轨迹中，更新目标的运动轨迹。
在一些实施例中，图7为一个实施例中运动轨迹的生成流程图，如图7所示，通过对雷达点云和相机图像进行多层次特征数据融合，得到特征融合图像，实现了在融合的多尺度特征中，对不同大小目标的分层聚类，同时，利用神经网络（如CrfNet神经网络）仅对相机图像进行识别，得到相机图像中目标边界框的回归坐标，将回归坐标投影至车身坐标系，与雷达检测结果对齐。随后，对特征融合图像进行目标识别，得到第一观测集，对相机图像进行目标识别，得到第二观测集，根据第一观测集和第二观测集内各观测结果之间的交并比，确定各目标所属的观测设备以及目标观测结果。从连续历史采样时刻的多个目标观测结果中确定出属于同一目标的最近观测结果，若在历史采样时刻的多个目标观测结果中不存在当前时刻的目标的最近观测结果，则确定当前时刻的目标为新出现的目标，为新出现的目标建立一个粒子集，并通过无损粒子滤波对新的目标进行目标跟踪，并输出新的目标对应的运动轨迹；若在历史采样时刻的多个目标观测结果中存在当前时刻的目标的最近观测结果，则确定当前时刻的目标为旧目标，基于当前时刻的目标的目标观测结果，更新当前时刻的目标的粒子集权重，基于新的粒子集生成当前时刻的目标的运动轨迹。
本实施例中，在目标跟踪中，存在多种误差和不确定性，如测量误差、模型误差等，通过粒子集的更新和重采样过程，逐渐逼近目标的真实状态，能够有效地适应不确定性，从而提高目标跟踪的鲁棒性和稳定性。
在一个详细的实施例中，提供了一种多目标轨迹检测方法，包括以下步骤：
一、获取时间对准后的雷达点云序列和相机图像序列。
二、针对雷达点云序列和相机图像序列中同一时刻的雷达点云和相机图像，提取所针对雷达点云中包含的雷达特征，将雷达特征从雷达坐标系转换至世界坐标系，得到世界坐标系中的点集；点集包含雷达探测到的目标的位置信息。
三、使用相机的内外参数，将世界坐标系中的点集转换至相机坐标系，得到点集中各点对应的二维像素坐标；二维像素坐标指雷达探测到的目标在相机坐标系中的位置。
四、对二维像素坐标进行插值，得到插值后的像素值。
五、创建一个尺寸与所针对相机图像相同的扩展图像，并将插值后的像素值集合存储至扩展图像中。
六、将存储后的扩展图像和所针对相机图像进行特征融合，得到特征融合图像。
七、提取所针对雷达点云的雷达特征，以及特征融合图像的第一图像特征。
八、对第一图像特征进行特征提取，得到第二图像特征。
九、将第二图像特征和雷达特征进行融合，得到融合特征。
十、对融合特征进行目标识别，确定第一观测集；第一观测集包括特征融合图像中多个目标的第一观测结果。
十一、对所针对相机图像进行目标识别，得到第二观测集；第二观测集包括所针对相机图像中多个目标的第二观测结果。
十二、确定第一观测集中第一观测结果与第二观测集中第二观测结果之间的匹配度。
十三、在第一观测集中，将匹配度小于预设匹配度的第一观测结果对应的目标，归类为仅由雷达检测得到的第一目标，将第一目标的第一观测结果，作为第一目标的目标观测结果。
十四、在第一观测集中，将匹配度大于或等于预设匹配度的第一观测结果对应的目标，归类为由雷达和相机共同检测得到的第二目标，从第二目标的第一观测结果和第二观测结果中确定出第二目标的目标观测结果。
十五、在第二观测集中，将匹配度小于预设匹配度的第二观测结果对应的目标，归类为仅由相机检测得到的第三目标，获取第三目标当前时刻的第二观测结果、历史速度和环境参数；通过预先训练好的速度预测网络，基于第三目标的第二观测结果、历史速度和环境参数对第三目标当前时刻的速度进行预测，得到第三目标当前时刻的预测速度；将第三目标当前时刻的第二观测结果和预测速度，作为第三目标的目标观测结果。
十六、针对当前时刻下的每个目标，计算所针对目标的目标观测结果与每个历史时刻下的各目标观测结果之间的距离。
十七、针对每个历史时刻，选择所针对历史时刻下最小距离对应的目标观测结果，作为所针对目标在所针对历史时刻下对应的最近观测结果。
十八、基于所针对目标在每个历史时刻下的最近观测结果，确定粒子集；粒子集包括多个粒子，每个粒子表征所针对目标在当前时刻的预测运动状态。
十九、基于粒子集中各粒子与当前时刻的目标观测结果之间的相似度，计算并更新各粒子的权重。
二十、根据粒子集中各粒子的权重，对粒子集进行重采样，得到新的粒子集。
二十一、基于新的粒子集，估计所针对目标在当前时刻的运动轨迹。
本实施例中，针对雷达点云序列和相机图像序列中同一时刻的雷达点云和相机图像，对所针对雷达点云和所针对相机图像进行特征融合，得到特征融合图像，对特征融合图像进行目标识别，得到第一观测集，在生成第一观测集过程中，融合了图像特征，雷达特征和图像特征进行特征层上的融合，能取得比较稳定的检测结果，特征融合能弥补单一传感器的缺点，提供更全面的目标特征信息，进而提高目标识别的性能；进一步，将雷达检测得到的第一观测集和相机检测得到的第二观测集进行融合，可以进一步增强目标检测结果的稳定性，确保失效环境下目标检测的稳定性。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的多目标轨迹检测方法的多目标轨迹检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个多目标轨迹检测装置实施例中的具体限定可以参见上文中对于多目标轨迹检测方法的限定，在此不再赘述。
在一个实施例中，如图8所示，提供了一种多目标轨迹检测装置，包括：
获取模块801，用于获取时间对准后的雷达点云序列和相机图像序列；
特征融合模块802，用于针对雷达点云序列和相机图像序列中同一时刻的雷达点云和相机图像，对所针对雷达点云和所针对相机图像进行特征融合，得到特征融合图像；
雷达检测模块803，用于对特征融合图像进行目标识别，得到第一观测集；
相机检测模块804，用于对所针对相机图像进行目标识别，得到第二观测集；
观测结果融合模块805，用于对第一观测集和第二观测集进行融合，根据融合结果，确定各目标的目标观测结果；
轨迹生成模块806，用于基于连续时刻下各目标的目标观测结果，生成各目标的运动轨迹。
在其中一个实施例中，特征融合模块802，还用于提取所针对雷达点云中包含的雷达特征，将雷达特征从雷达坐标系转换至世界坐标系，得到世界坐标系中的点集；点集包含雷达探测到的目标的位置信息；使用相机的内外参数，将世界坐标系中的点集转换至相机坐标系，得到点集中各点对应的二维像素坐标；二维像素坐标指雷达探测到的目标在相机坐标系中的位置；对二维像素坐标进行插值，得到插值后的像素值；创建一个尺寸与所针对相机图像相同的扩展图像，并将插值后的像素值集合存储至扩展图像中；将存储后的扩展图像和所针对相机图像进行特征融合，得到特征融合图像。
在其中一个实施例中，雷达检测模块803，还用于提取所针对雷达点云的雷达特征，以及特征融合图像的第一图像特征；对第一图像特征进行特征提取，得到第二图像特征；将第二图像特征和雷达特征进行融合，得到融合特征；对融合特征进行目标识别，确定第一观测集。
在其中一个实施例中，第一观测集包括特征融合图像中多个目标的第一观测结果；第二观测集包括所针对相机图像中多个目标的第二观测结果；观测结果融合模块804，还用于确定第一观测集中第一观测结果与第二观测集中第二观测结果之间的匹配度；在第一观测集中，将匹配度小于预设匹配度的第一观测结果对应的目标，归类为仅由雷达检测得到的第一目标，将第一目标的第一观测结果，作为第一目标的目标观测结果；在第一观测集中，将匹配度大于或等于预设匹配度的第一观测结果对应的目标，归类为由雷达和相机共同检测得到的第二目标，从第二目标的第一观测结果和第二观测结果中确定出第二目标的目标观测结果；在第二观测集中，将匹配度小于预设匹配度的第二观测结果对应的目标，归类为仅由相机检测得到的第三目标，基于第三目标的第二观测结果，确定第三目标的目标观测结果。
在其中一个实施例中，观测结果融合模块804，还用于获取第三目标当前时刻的第二观测结果、历史速度和环境参数；通过预先训练好的速度预测网络，基于第三目标的第二观测结果、历史速度和环境参数对第三目标当前时刻的速度进行预测，得到第三目标当前时刻的预测速度；将第三目标当前时刻的第二观测结果和预测速度，作为第三目标的目标观测结果。
在其中一个实施例中，轨迹生成模块805，还用于针对当前时刻下的每个目标，计算所针对目标的目标观测结果与每个历史时刻下的各目标观测结果之间的距离；针对每个历史时刻，选择所针对历史时刻下最小距离对应的目标观测结果，作为所针对目标在所针对历史时刻下对应的最近观测结果；基于所针对目标在每个历史时刻下的最近观测结果，生成所针对目标的运动轨迹。
在其中一个实施例中，轨迹生成模块805，还用于基于所针对目标在每个历史时刻下的最近观测结果，确定粒子集；粒子集包括多个粒子，每个粒子表征所针对目标在当前时刻的预测运动状态；基于粒子集中各粒子与当前时刻的目标观测结果之间的相似度，计算并更新各粒子的权重；根据粒子集中各粒子的权重，对粒子集进行重采样，得到新的粒子集；基于新的粒子集，估计所针对目标在当前时刻的运动轨迹。
上述多目标轨迹检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是车辆，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的车辆进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种多目标轨迹检测方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种多目标轨迹检测方法，其特征在于，所述方法包括：
获取时间对准后的雷达点云序列和相机图像序列；
针对雷达点云序列和相机图像序列中同一时刻的雷达点云和相机图像，对所针对雷达点云和所针对相机图像进行特征融合，得到特征融合图像；
对所述特征融合图像进行目标识别，得到第一观测集；所述第一观测集包括所述特征融合图像中多个目标的第一观测结果；
对所针对相机图像进行目标识别，得到第二观测集；所述第二观测集包括所针对相机图像中多个目标的第二观测结果；
对所述第一观测集和所述第二观测集进行融合，根据融合结果，确定各目标的目标观测结果；
基于连续时刻下各目标的目标观测结果，生成各目标的运动轨迹。
2.根据权利要求1所述的方法，其特征在于，所述对所针对雷达点云和所针对相机图像进行特征融合，得到特征融合图像，包括：
提取所针对雷达点云中包含的雷达特征，将所述雷达特征从雷达坐标系转换至世界坐标系，得到世界坐标系中的点集；所述点集包含雷达探测到的目标的位置信息；
使用相机的内外参数，将世界坐标系中的点集转换至相机坐标系，得到所述点集中各点对应的二维像素坐标；所述二维像素坐标指雷达探测到的目标在相机坐标系中的位置；
对所述二维像素坐标进行插值，得到插值后的像素值；
创建一个尺寸与所针对相机图像相同的扩展图像，并将插值后的像素值集合存储至所述扩展图像中；
将存储后的扩展图像和所针对相机图像进行特征融合，得到特征融合图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述特征融合图像进行目标识别，得到第一观测集，包括：
提取所针对雷达点云的雷达特征，以及所述特征融合图像的第一图像特征；
对所述第一图像特征进行特征提取，得到第二图像特征；
将所述第二图像特征和所述雷达特征进行融合，得到融合特征；
对所述融合特征进行目标识别，确定第一观测集。
4.根据权利要求1所述的方法，其特征在于，所述对所述第一观测集和所述第二观测集进行融合，根据融合结果，确定各目标的目标观测结果，包括：
确定所述第一观测集中第一观测结果与所述第二观测集中第二观测结果之间的匹配度；
在所述第一观测集中，将匹配度小于预设匹配度的第一观测结果对应的目标，归类为仅由雷达检测得到的第一目标，将所述第一目标的第一观测结果，作为所述第一目标的目标观测结果；
在所述第一观测集中，将匹配度大于或等于预设匹配度的第一观测结果对应的目标，归类为由雷达和相机共同检测得到的第二目标，从所述第二目标的第一观测结果和第二观测结果中确定出所述第二目标的目标观测结果；
在所述第二观测集中，将匹配度小于预设匹配度的第二观测结果对应的目标，归类为仅由相机检测得到的第三目标，基于所述第三目标的第二观测结果，确定所述第三目标的目标观测结果。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第三目标的第二观测结果，确定所述第三目标的目标观测结果，包括：
获取所述第三目标当前时刻的第二观测结果、历史速度和环境参数；
通过预先训练好的速度预测网络，基于所述第三目标的第二观测结果、历史速度和环境参数对所述第三目标当前时刻的速度进行预测，得到所述第三目标当前时刻的预测速度；
将所述第三目标当前时刻的第二观测结果和预测速度，作为所述第三目标的目标观测结果。
6.根据权利要求1所述的方法，其特征在于，所述基于连续时刻下各目标的目标观测结果，生成各目标的运动轨迹，包括：
针对当前时刻下的每个目标，计算所针对目标的目标观测结果与每个历史时刻下的各目标观测结果之间的距离；
针对每个历史时刻，选择所针对历史时刻下最小距离对应的目标观测结果，作为所针对目标在所针对历史时刻下对应的最近观测结果；
基于所针对目标在每个历史时刻下的最近观测结果，生成所针对目标的运动轨迹。
7.根据权利要求6所述的方法，其特征在于，所述基于所针对目标在每个历史时刻下的最近观测结果，生成所针对目标的运动轨迹，包括：
基于所针对目标在每个历史时刻下的最近观测结果，确定粒子集；所述粒子集包括多个粒子，每个粒子表征所针对目标在当前时刻的预测运动状态；
基于所述粒子集中各粒子与当前时刻的目标观测结果之间的相似度，计算并更新各粒子的权重；
根据所述粒子集中各粒子的权重，对所述粒子集进行重采样，得到新的粒子集；
基于所述新的粒子集，估计所针对目标在当前时刻的运动轨迹。
8.一种多目标轨迹检测装置，其特征在于，所述装置用于实现权利要求1至7中任一项所述的方法的步骤，所述装置包括：
获取模块，用于获取时间对准后的雷达点云序列和相机图像序列；
特征融合模块，用于针对雷达点云序列和相机图像序列中同一时刻的雷达点云和相机图像，对所针对雷达点云和所针对相机图像进行特征融合，得到特征融合图像；
雷达检测模块，用于对所述特征融合图像进行目标识别，得到第一观测集；所述第一观测集包括所述特征融合图像中多个目标的第一观测结果；
相机检测模块，用于对所针对相机图像进行目标识别，得到第二观测集；所述第二观测集包括所针对相机图像中多个目标的第二观测结果；
观测结果融合模块，用于对所述第一观测集和所述第二观测集进行融合，根据融合结果，确定各目标的目标观测结果；
轨迹生成模块，用于基于连续时刻下各目标的目标观测结果，生成各目标的运动轨迹。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202410579108.4A 2024-05-11 2024-05-11 多目标轨迹检测方法、装置、设备和存储介质 Active CN118155038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410579108.4A CN118155038B (zh) 2024-05-11 2024-05-11 多目标轨迹检测方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410579108.4A CN118155038B (zh) 2024-05-11 2024-05-11 多目标轨迹检测方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN118155038A true CN118155038A (zh) 2024-06-07
CN118155038B CN118155038B (zh) 2024-10-18

Family

ID=91297152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410579108.4A Active CN118155038B (zh) 2024-05-11 2024-05-11 多目标轨迹检测方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN118155038B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456363A (zh) * 2019-06-17 2019-11-15 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN111191600A (zh) * 2019-12-30 2020-05-22 深圳元戎启行科技有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN111274976A (zh) * 2020-01-22 2020-06-12 清华大学 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN113222968A (zh) * 2021-05-28 2021-08-06 上海西井信息科技有限公司 融合毫米波和图像的检测方法、系统、设备及存储介质
CN113447923A (zh) * 2021-06-29 2021-09-28 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
US20220198806A1 (en) * 2020-12-21 2022-06-23 Beihang University Target detection method based on fusion of prior positioning of millimeter-wave radar and visual feature
CN114937255A (zh) * 2022-06-22 2022-08-23 北京经纬恒润科技股份有限公司 一种激光雷达与相机融合的检测方法及装置
US20220350342A1 (en) * 2021-04-25 2022-11-03 Ubtech North America Research And Development Center Corp Moving target following method, robot and computer-readable storage medium
CN116681730A (zh) * 2023-06-14 2023-09-01 中汽创智科技有限公司 一种目标物追踪方法、装置、计算机设备和存储介质
CN117274749A (zh) * 2023-11-22 2023-12-22 电子科技大学 一种基于4d毫米波雷达和图像的融合3d目标检测方法
CN117808890A (zh) * 2023-12-22 2024-04-02 辉羲智能科技(上海)有限公司 一种相机与点云传感器外参标定矫正方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456363A (zh) * 2019-06-17 2019-11-15 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN111191600A (zh) * 2019-12-30 2020-05-22 深圳元戎启行科技有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN111274976A (zh) * 2020-01-22 2020-06-12 清华大学 基于视觉与激光雷达多层次融合的车道检测方法及系统
US20220198806A1 (en) * 2020-12-21 2022-06-23 Beihang University Target detection method based on fusion of prior positioning of millimeter-wave radar and visual feature
US20220350342A1 (en) * 2021-04-25 2022-11-03 Ubtech North America Research And Development Center Corp Moving target following method, robot and computer-readable storage medium
CN113222968A (zh) * 2021-05-28 2021-08-06 上海西井信息科技有限公司 融合毫米波和图像的检测方法、系统、设备及存储介质
CN113447923A (zh) * 2021-06-29 2021-09-28 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
CN114937255A (zh) * 2022-06-22 2022-08-23 北京经纬恒润科技股份有限公司 一种激光雷达与相机融合的检测方法及装置
CN116681730A (zh) * 2023-06-14 2023-09-01 中汽创智科技有限公司 一种目标物追踪方法、装置、计算机设备和存储介质
CN117274749A (zh) * 2023-11-22 2023-12-22 电子科技大学 一种基于4d毫米波雷达和图像的融合3d目标检测方法
CN117808890A (zh) * 2023-12-22 2024-04-02 辉羲智能科技(上海)有限公司 一种相机与点云传感器外参标定矫正方法及装置

Also Published As

Publication number Publication date
CN118155038B (zh) 2024-10-18

Similar Documents

Publication Publication Date Title
CN111027401B (zh) 一种摄像头和激光雷达融合的端到端目标检测方法
Yazdi et al. New trends on moving object detection in video images captured by a moving camera: A survey
CN108445480B (zh) 基于激光雷达的移动平台自适应扩展目标跟踪系统及方法
CN110675418B (zh) 一种基于ds证据理论的目标轨迹优化方法
CN110472553B (zh) 图像和激光点云融合的目标追踪方法、计算装置和介质
CN109242884B (zh) 基于JCFNet网络的遥感视频目标跟踪方法
CN112149550B (zh) 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
Yao et al. Radar-camera fusion for object detection and semantic segmentation in autonomous driving: A comprehensive review
Held et al. Precision tracking with sparse 3d and dense color 2d data
Yao et al. Extraction and motion estimation of vehicles in single-pass airborne LiDAR data towards urban traffic analysis
Dreher et al. Radar-based 2D car detection using deep neural networks
Benedek et al. Positioning and perception in LIDAR point clouds
JP7224682B1 (ja) 自律走行のための３次元多重客体検出装置及び方法
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
Lin et al. CNN-based classification for point cloud object with bearing angle image
CN112270694B (zh) 基于激光雷达扫描图进行城市环境动态目标检测的方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
Liao et al. SE-Calib: Semantic Edge-Based LiDAR–Camera Boresight Online Calibration in Urban Scenes
JP2023158638A (ja) 自律走行車両のためのライダーポイントクラウド及び周辺カメラを用いたフュージョンベースのオブジェクトトラッカー
CN116681730A (zh) 一种目标物追踪方法、装置、计算机设备和存储介质
CN114280611A (zh) 一种融合毫米波雷达与摄像头的路侧感知方法
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
Fu et al. Camera-based semantic enhanced vehicle segmentation for planar lidar
Li et al. Real-time monocular joint perception network for autonomous driving
CN115668282A (zh) 图像处理系统和方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant