CN116740514A - 时空误差容忍的多智能体协同感知方法、装置和电子设备 - Google Patents

时空误差容忍的多智能体协同感知方法、装置和电子设备 Download PDF

Info

Publication number
CN116740514A
CN116740514A CN202310560996.0A CN202310560996A CN116740514A CN 116740514 A CN116740514 A CN 116740514A CN 202310560996 A CN202310560996 A CN 202310560996A CN 116740514 A CN116740514 A CN 116740514A
Authority
CN
China
Prior art keywords
agent
self
features
space
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310560996.0A
Other languages
English (en)
Inventor
李书晓
朱承飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202310560996.0A priority Critical patent/CN116740514A/zh
Publication of CN116740514A publication Critical patent/CN116740514A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种时空误差容忍的多智能体协同感知方法、装置和电子设备，其中方法包括：获取自智能体的激光雷达的点云数据和激光雷达的位姿数据；在鸟瞰图空间下，对点云数据进行特征编码，得到自智能体特征；对自智能体特征进行重要性选择，并基于重要性选择后的自智能体特征和位姿数据进行通信数据打包，得到共享信息；对共享信息进行共享信息聚合，得到协智能体特征；基于自智能体特征和协智能体特征，进行冗余增强和互补增强，得到融合特征；基于融合特征，进行协同感知，得到协同感知结果。本发明提供的方法、装置和设备，可以获取格式固定且信息丰富的协智能体特征，且提高了存在时空对齐误差条件下协同感知性能的效果。

Description

时空误差容忍的多智能体协同感知方法、装置和电子设备
技术领域
本发明涉及协同感知技术领域，尤其涉及一种时空误差容忍的多智能体协同感知方法、装置和电子设备。
背景技术
近年来，深度学习技术在多种场景感知任务上取得了良好的性能，在自动驾驶、智能监控等领域获得了广泛应用。然而，单智能体感知存在传感器视野有限、目标间相互遮挡、远距离数据稀疏等固有缺陷，在真实复杂场景中的感知能力仍然有待进一步提升，限制了安全性要求严格的自动驾驶汽车和自主移动机器人的大范围普及。
现有技术中，多智能体协同感知通过在一定范围内交换感知信息，实现对场景目标的特征增强和信息互补，提升场景感知的准确性和稳定性。
然而，在多智能体协同感知过程中，智能体的位姿以及传感器的校正参数通常存在误差，造成感知场景的空间错位。另外，为提升协同感知系统响应的及时性，通常采用最新缓存的协智能体感知信息，其与自智能体感知信息存在明显的采样时间不同步问题，造成感知对象的运动错位。上述因素造成协智能体特征与自智能体特征时空整体一致但局部错位，即存在时空对齐误差。
发明内容
本发明提供一种时空误差容忍的多智能体协同感知方法、装置和电子设备，用以解决现有技术中协智能体特征与自智能体特征时空整体一致但局部错位，即存在时空对齐误差的缺陷。
本发明提供一种时空误差容忍的多智能体协同感知方法，包括：
获取自智能体的激光雷达的点云数据和所述激光雷达的位姿数据；
在鸟瞰图空间下，对所述点云数据进行特征编码，得到自智能体特征；
对所述自智能体特征进行重要性选择，并基于重要性选择后的自智能体特征和所述位姿数据进行通信数据打包，得到共享信息；
对所述共享信息进行共享信息聚合，得到协智能体特征；
基于所述自智能体特征和所述协智能体特征，进行冗余增强和互补增强，得到融合特征；
基于所述融合特征，进行协同感知，得到协同感知结果。
根据本发明提供的一种时空误差容忍的多智能体协同感知方法，所述基于所述自智能体特征和所述协智能体特征，进行冗余增强和互补增强，得到融合特征，包括：
基于所述自智能体特征和所述协智能体特征，得到每一个特征空间位置自适应精确对齐所需的候选误差量集合和所述候选误差量集合对应的候选置信度集合；
基于所述自智能体特征、所述协智能体特征、所述候选误差量集合和所述候选置信度集合，得到冗余增强特征；
基于所述冗余增强特征、所述协智能体特征和自智能体感知盲区图，进行互补增强，得到融合特征。
根据本发明提供的一种时空误差容忍的多智能体协同感知方法，所述自智能体感知盲区图的确定步骤包括：
对空间概率图进行平滑处理、二值化并取反，得到空间需求图；
基于所述协智能体特征的强度值，得到有效空间图；
基于所述空间需求图和所述有效空间图，得到自智能体感知盲区图。
根据本发明提供的一种时空误差容忍的多智能体协同感知方法，所述基于重要性选择后的自智能体特征和所述位姿数据进行通信数据打包，得到共享信息，包括：
对重要性选择后的自智能体特征进行目标概率估计，得到空间概率图；
基于所述自智能体特征和所述空间概率图，以及所述位姿数据进行通信数据打包，得到共享信息。
根据本发明提供的一种时空误差容忍的多智能体协同感知方法，所述基于所述自智能体特征和所述空间概率图，以及所述位姿数据进行通信数据打包，得到共享信息，包括：
基于所述自智能体特征和所述空间概率图，利用阈值化进行特征选择，得到共享特征；
基于所述共享特征和所述位姿数据进行通信数据打包，得到共享信息。
根据本发明提供的一种时空误差容忍的多智能体协同感知方法，所述对所述共享信息进行共享信息聚合，得到协智能体特征，包括：
基于所述共享信息中的多个共享特征和多个位姿数据，进行位置重组，将所述多个共享特征复原至鸟瞰图空间下的多个特征图；
基于所述自智能体的有效感知区域，对所述多个特征图进行特征区域裁剪，得到多个粗略对齐特征图；
对所述多个粗略对齐特征图进行信息聚合，得到所述协智能体特征。
根据本发明提供的一种时空误差容忍的多智能体协同感知方法，所述基于所述融合特征，进行协同感知，得到协同感知结果，包括：
对所述融合特征进行特征增强，得到增强特征；
基于所述增强特征，进行三维目标检测，得到目标的位置尺寸信息；
基于所述增强特征，进行场景分割，得到场景中每个空间位置的典型属性信息；
基于所述位置尺寸信息和所述典型属性信息，得到协同感知结果。
根据本发明提供的一种时空误差容忍的多智能体协同感知方法，所述在鸟瞰图空间下，对所述点云数据进行特征编码，得到自智能体特征，包括：
将所述点云数据投影至所述鸟瞰图空间下并进行重采样，得到规范化点柱；
基于点柱编码网络，对所述规范化点柱进行点柱抽象特征提取，得到自智能体特征；
所述点柱编码网络是基于样本规范化点柱、三维目标检测标签和BEV语义分割标签，并联合三维目标检测模型和场景分割模型训练得到的，所述三维目标检测模型用于基于所述自智能体特征进行三维目标检测，所述场景分割模型用于基于所述自智能体特征进行语义分割。
本发明还提供一种时空误差容忍的多智能体协同感知装置，包括：
获取单元，用于获取自智能体的激光雷达的点云数据和所述激光雷达的位姿数据；
特征编码单元，用于在鸟瞰图空间下，对所述点云数据进行特征编码，得到自智能体特征；
确定共享信息单元，用于对所述自智能体特征进行重要性选择，并基于重要性选择后的自智能体特征和所述位姿数据进行通信数据打包，得到共享信息；
信息聚合单元，用于对所述共享信息进行共享信息聚合，得到协智能体特征；
增强单元，用于基于所述自智能体特征和所述协智能体特征，进行冗余增强和互补增强，得到融合特征；
协同感知单元，用于基于所述融合特征，进行协同感知，得到协同感知结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述时空误差容忍的多智能体协同感知方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述时空误差容忍的多智能体协同感知方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述时空误差容忍的多智能体协同感知方法。
本发明提供的时空误差容忍的多智能体协同感知方法、装置和电子设备，获取自智能体的激光雷达的点云数据和激光雷达的位姿数据，在鸟瞰图空间下，对点云数据进行特征编码，得到自智能体特征，对自智能体特征进行重要性选择，并基于重要性选择后的自智能体特征和位姿数据进行通信数据打包，得到共享信息，对共享信息进行共享信息聚合，得到协智能体特征，基于自智能体特征和协智能体特征，进行冗余增强和互补增强，得到融合特征，基于融合特征，进行协同感知，得到协同感知结果。协智能体特征是基于数量不定的多个协智能体的共享信息进行聚合得到的，由此，有利于获取格式固定且信息丰富的协智能体特征，进一步增强了协同感知算法的稳定性；并且，融合特征是基于自智能体特征和协智能体特征，进行冗余增强和互补增强得到的，且在冗余增强和互补增强过程中进行了位置不对齐问题处理，能够降低协智能体特征与自智能体特征之间存在的时空对齐误差对协同感知效果的影响，进一步提高了存在时空对齐误差条件下协同感知性能的效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的时空误差容忍的多智能体协同感知方法的流程示意图之一；
图2是本发明提供的时空误差容忍的多智能体协同感知方法的流程示意图之二；
图3是本发明提供的确定协智能体特征的流程示意图；
图4是本发明提供的时空误差容忍的多智能体协同感知方法中步骤150的流程示意图；
图5是本发明提供的时空误差容忍的多智能体协同感知方法中步骤120的流程示意图；
图6是本发明提供的时空误差容忍的多智能体协同感知装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，多智能体协同感知通过在一定范围内交换感知信息，实现对场景目标的特征增强和信息互补，提升场景感知的准确性和稳定性。此外，协同感知还能够增强智能体的有效感知范围，缓解对远距离、高精度感知数据的依赖，降低传感器成本。
常见协同感知任务包括三维目标检测和BEV(Bird’s Eye View，鸟瞰图)语义分割，其在车路协同自动驾驶车辆、车车协同自动驾驶车辆、多机器人仓储自动化系统、无人机集群协同搜索救援、水下机器人集群协同目标探测、无人机-四足机器人协同重要物资运输、临地空间立体监测等领域均具有重要应用价值。
在多智能体协同感知过程中，智能体的位姿以及传感器的校正参数通常存在误差，造成感知场景的空间错位。另外，为提升协同感知系统响应的及时性，通常采用最新缓存的协智能体感知信息，其与自智能体感知信息存在明显的采样时间不同步问题，造成感知对象的运动错位。上述因素造成协智能体特征与自智能体特征时空整体一致但局部错位，即存在时空对齐误差。
基于上述问题，本发明提供一种时空误差容忍的多智能体协同感知方法，图1是本发明提供的时空误差容忍的多智能体协同感知方法的流程示意图之一，图2是本发明提供的时空误差容忍的多智能体协同感知方法的流程示意图之二，如图1、图2所示，该方法可以应用于服务器，该方法包括：
步骤110，获取自智能体的激光雷达的点云数据和所述激光雷达的位姿数据。
具体地，可以获取自智能体的激光雷达的点云数据和激光雷达的位姿数据，此处的自智能体是指执行任务的中心智能体，比如正在行驶的中心自动驾驶车辆。激光雷达的点云数据是指由自智能体上安装的激光雷达传感器扫描获取的感知点云数据，可以以稀疏三维点云的形态呈现。激光雷达的点云数据通常可表示为其中，NLiDAR为激光雷达传感器扫描一周获取的测量值个数，(xi,yi,zi)和αi分别为第i个测量值的反射点三维坐标及其反射率。
激光雷达的位姿数据是指激光雷达传感器的位置和姿态估计值，激光雷达传感器的位置和姿态估计值通常有一定的误差，可以表示为Oe＝{x0,y0,z0,α0,β0,γ0}，其中，(x0,y0,z0)为激光雷达传感器中心点三维坐标，(α0,β0,γ0)为激光雷达传感器与三个坐标平面的夹角。
步骤120，在鸟瞰图空间下，对所述点云数据进行特征编码，得到自智能体特征。
具体地，在获取到自智能体的激光雷达的点云数据之后，可以在鸟瞰图(Bird’sEye View，BEV)空间下，对点云数据进行特征编码，得到自智能体特征。BEV空间是指以激光雷达传感器中心点三维坐标为原点、以水平面为坐标平面、以地理方位为坐标轴的二维平面坐标系，通常将感知范围表示为BEV空间中大小为w×h的离散栅格。
此处，可以通过BEV空间特征提取模块fBEV对点云数据Pe进行特征编码，得到自智能体特征Fe，自智能体特征可以表示为：Fe＝fBEV(Pe)。
BEV空间特征是指在BEV空间下获取的激光雷达点云抽象特征，即自智能体特征是指在BEV空间下获取的激光雷达点云抽象特征，通常表示为张量F∈Rw×h×c，其中c为特征通道数。BEV空间特征提取模块为将激光雷达的点云数据映射为BEV空间特征的网络模型。
步骤130，对所述自智能体特征进行重要性选择，并基于重要性选择后的自智能体特征和所述位姿数据进行通信数据打包，得到共享信息。
具体地，对自智能体特征进行重要性选择，即对BEV空间每一个位置的自智能体特征的重要性进行评估，仅保留空间上稀疏但感知上关键的BEV空间特征，以减少通信数据量。
然后，可以基于重要性选择后的自智能体特征和位姿数据进行通信数据打包，得到共享信息。通信数据打包是指将待共享数据进行无损压缩和数据拆分，以实现高效通信要求。
即，服务器得到重要性选择后的自智能体特征Fe和位姿数据Oe后，可以利用共享信息选择与传输模块fshare得到供其他智能体使用的空间上稀疏但感知上关键的共享信息Se，可表示为：Se＝fshare(Fe,Oe)。
共享信息选择与传输模块为将自智能体特征和位姿信息映射为共享数据包的数学模型。
步骤140，对所述共享信息进行共享信息聚合，得到协智能体特征。
具体地，自智能体可以获取到数量不定的多个协智能体的共享信息，并对共享信息进行共享信息聚合，得到协智能体特征。
图3是本发明提供的确定协智能体特征的流程示意图，如图3所示，此处的共享信息聚合包括特征复原、空间对齐和信息聚合，特征复原是指将由共享数据包组成的共享信息解码和重组为稀疏的协智能体BEV特征图。空间对齐是指将协智能体BEV特征图变换到自智能体BEV空间坐标系下，得到与自智能体实现粗略空间对齐的协智能体BEV特征图。信息聚合是指将从数量不定的多个协智能体获取的粗略空间对齐的协智能体BEV特征图的有效特征整合在一起，得到单一的待融合的协智能体特征。
即，服务器获得K个协智能体的共享信息(K为非固定值，可以动态变化)后，可以利用协智能体特征复原、空间对齐与信息聚合模块fmerge得到单一的时空整体一致但局部错位的协智能体特征Fs，可表示为：/>
此处的协智能体特征复原、空间对齐与信息聚合模块为将数量不定的多个协智能体的共享信息映射为单一的待融合协智能体特征的数学模型。
步骤150，基于所述自智能体特征和所述协智能体特征，进行冗余增强和互补增强，得到融合特征。
具体地，时空误差是指智能体位姿以及传感器校正参数误差引起的感知场景空间错位，以及多智能体传感器采样时间不同步引起的感知对象运动错位，从而造成协智能体特征与自智能体特征时空整体一致但局部错位，即存在时空对齐误差。
考虑到协智能体特征与自智能体特征时空整体一致但局部错位，即存在时空对齐误差。
因此，在得到自智能体特征和协智能体特征之后，可以基于自智能体特征和协智能体特征，进行冗余增强和互补增强，得到融合特征。此处的融合特征是指自智能体特征和协智能体特征进行冗余增强和互补增强后的特征。
冗余增强是指利用相同目标对象的多个观测值实现信息增强，旨在提升场景中不确定信息的感知能力。互补增强是指利用协智能体的可观测值弥补自智能体的观测盲区，旨在提升场景中遮挡目标的感知能力。
服务器获得自智能体特征Fe和协智能体特征Fs后，可以利用时空误差容忍的特征融合模块ffuse得到经过冗余增强和互补增强的融合特征Ffusion，可表示为：Ffusion＝ffusion(Fe，Fs)。
时空误差容忍的特征融合模块为将自智能体特征和协智能体特征进行时空误差容忍的冗余增强和互补增强，得到融合特征的网络模型。
步骤160，基于所述融合特征，进行协同感知，得到协同感知结果。
具体地，在得到融合特征之后，可以基于融合特征，进行协同感知，得到协同感知结果。
即，服务器获得融合特征Ffusion后，可以利用卷积神经网络模块fenhance得到具有更强抽象能力和更强区分能力的增强特征Fenhance，可表示为：Fenhance＝fenhance(Ffusion)。
在获得增强特征Fenhance后，可以利用三维目标检测模块fdet得到三维目标检测结果Odet＝fdet(Fenhance)，也可以利用BEV语义分割模块fseg得到BEV语义分割结果Oseg＝fseg(Fenhance)，最后，由三维目标检测结果Odet和BEV语义分割结果Oseg共同构成协同感知结果。
此处的卷积神经网络模块、三维目标检测模块和BEV语义分割模块均指由多个层级的卷积神经网络组成的网络模型。卷积神经网络模块旨在增强特征的语义抽象能力和空间区分能力，例如经常使用的“ResNet”模型或“ResNet+FPN(Feature Pyramid Networks)”模型。
三维目标检测模块旨在获取典型目标类别概率预测值和包围框回归值，以此为基础得到三维目标检测结果，例如经常使用的1层3×3卷积加1层1×1卷积。BEV语义分割模块旨在获取每一个空间位置的语义类别概率预测值，以此为基础得到语义分割结果，例如经常使用的1层3×3卷积加1层1×1卷积。
协同感知(collaborative perception)是指通过将多个传感器之间相互协作，并将传感器收集到的数据处理与整合，以产生更准确、更完整的感知结果的一种技术。
本发明实施例提供的方法，获取自智能体的激光雷达的点云数据和激光雷达的位姿数据，在鸟瞰图空间下，对点云数据进行特征编码，得到自智能体特征，对自智能体特征进行重要性选择，并基于重要性选择后的自智能体特征和位姿数据进行通信数据打包，得到共享信息，对共享信息进行共享信息聚合，得到协智能体特征，基于自智能体特征和协智能体特征，进行冗余增强和互补增强，得到融合特征，基于融合特征，进行协同感知，得到协同感知结果。协智能体特征是基于数量不定的多个协智能体的共享信息进行聚合得到的，由此，有利于获取格式固定且信息丰富的协智能体特征，进一步增强了协同感知算法的稳定性；并且，融合特征是基于自智能体特征和协智能体特征，进行冗余增强和互补增强得到的，且在冗余增强和互补增强过程中进行了位置不对齐问题处理，能够降低协智能体特征与自智能体特征之间存在的时空对齐误差对协同感知效果的影响，进一步提高了存在时空对齐误差条件下协同感知性能的效果。
基于上述实施例，图4是本发明提供的时空误差容忍的多智能体协同感知方法中步骤150的流程示意图，如图4所示，步骤150包括：
步骤151，基于所述自智能体特征和所述协智能体特征，得到每一个特征空间位置自适应精确对齐所需的候选误差量集合和所述候选误差量集合对应的候选置信度集合；
步骤152，基于所述自智能体特征、所述协智能体特征、所述候选误差量集合和所述候选置信度集合，得到冗余增强特征；
步骤153，基于所述冗余增强特征、所述协智能体特征和自智能体感知盲区图，进行互补增强，得到融合特征。
具体地，服务器在得到自智能体特征Fe和协智能体特征Fs后，可以将自智能体特征Fe和协智能体特征Fs在特征维度方向堆叠起来得到拼接特征Fc∈Rw×h×(2c)。
获得拼接特征Fc后，可以利用偏差权重估计模块falign获得每一个特征空间位置(x,y)自适应精确对齐所需的候选误差量集合以及与候选误差量集合对应的候选置信度集合/>候选误差量集合和候选置信度集合可以表示为其中M为输出估计点个数，以确保正确对齐点位于候选集合中，偏差权重估计模块falign可以使用1层3×3卷积加1层1×1卷积。其中，偏差权重估计模块falign含有待训练的网络参数，可由协同感知算法端到端训练得到。
获得候选误差量集合和候选置信度集合/>后，可以基于自智能体特征、协智能体特征、候选误差量集合和候选置信度集合，得到冗余增强特征，冗余增强特征Fef的公式如下：
其中，fbilinear为双线性插值函数，用于获取加上偏移量后的候选冗余特征，M为输出估计点个数，以确保正确对齐点位于候选集合中，表示自智能体特征，/>表示协智能体特征，η为调节系数，用于平衡自智能体特征/>和协智能体特征/>的相对重要性。
此处，基于自智能体特征、协智能体特征、候选误差量集合和候选置信度集合得到冗余增强特征的方式为归一化加权融合。
在得到冗余增强特征之后，可以基于冗余增强特征、协智能体特征和自智能体感知盲区图，进行互补增强，得到融合特征。
即，服务器在得到冗余增强特征Fef、协智能体特征Fs和自智能体感知盲区图Bblind后，可以利用盲区概率加权融合得到互补增强后的融合特征Ffusion，融合特征Ffusion的公式如下：
Ffusion＝(1-Bblind)Fef+BblindFs
其中，Ffusion表示融合特征，Bblind表示自智能体感知盲区图，Fef表示冗余增强特征，Fs表示协智能体特征。
基于上述实施例，所述自智能体感知盲区图的确定步骤包括：
步骤310，对空间概率图进行平滑处理、二值化并取反，得到空间需求图；
步骤311，基于所述协智能体特征的强度值，得到有效空间图；
步骤312，基于所述空间需求图和所述有效空间图，得到自智能体感知盲区图。
具体地，服务器在得到自智能体特征Fe后，可以利用置信度估计模块fevd得到空间概率图Bspatial＝fevd(Fe)∈Rw×h×1，其中置信度估计模块fevd旨在获取每一个空间位置的目标概率估计值，置信度估计模块可以使用2层3×3卷积加1层1×1卷积。
获得空间概率图Bspatial后，可以基于人工标注数据生成与类别无关的目标覆盖区域真值图，利用交叉熵损失对网络进行端到端训练。待网络收敛稳定后，保留置信度估计模块的网络参数并固化，用于同步生成不同智能体BEV特征的空间概率图。
获得空间概率图Bspatial后，可以利用误差容忍协同需求模块对空间概率图进行平滑处理、二值化并取反，得到自智能体感知的空间需求图Brequire，空间需求图Brequire的公式如下：
Brequire＝1-fbinary(fsmooth(Bspatial),Tr)
其中，fsmooth(Bspatial)表示平滑函数，比如选用5×5的均值平滑，使得目标置信度可以扩充到对应的平滑区域范围内，从而增强对局部时空对齐误差的容忍度；fbinary(Bx,y,Tr)为以Tr作为阈值的可微近似二值化函数，fbinary(Bx,y,Tr)的公式如下：
其中，γ为控制二值化程度的阈值，通常取值20。接着，基于协智能体特征Fs，利用有效区域估计模块fvalid得到协智能体感知的有效空间图Bvalid＝fvalid(Fs)∈Rw×h×1，其中有效区域估计模块fvalid可通过计算特征的强度值获得。
获得空间需求图Brequire和有效空间图Bvalid后，可以利用空间逐点乘法运算得到误差容忍的自智能体感知盲区图Bblind。同样地，本发明实施例中涉及的待训练网络参数可由协同感知算法端到端训练得到。
基于上述实施例，步骤130包括：
步骤131，对重要性选择后的自智能体特征进行目标概率估计，得到空间概率图；
步骤132，基于所述自智能体特征和所述空间概率图，以及所述位姿数据进行通信数据打包，得到共享信息。
具体地，服务器在得到重要性选择后的自智能体特征Fe后，可以利用置信度估计模块fevd对重要性选择后的自智能体特征进行目标概率估计，得到空间概率图Bspatial＝fevd(Fe)∈Rw×h×1，其中置信度估计模块fevd旨在获取每一个空间位置的目标概率估计值，置信度估计模块可以使用2层3×3卷积加1层1×1卷积。
在得到空间概率图之后，可以基于自智能体特征和空间概率图，以及位姿数据进行通信数据打包，得到共享信息。此处的共享信息是指供其他智能体使用的空间上稀疏但感知上关键的、可以共享的信息。
此处，可以基于自智能体特征和空间概率图进行特征选择，得到共享特征，再基于共享特征和位姿数据进行通信数据打包，得到共享信息。
基于上述实施例，步骤132包括：
步骤1321，基于所述自智能体特征和所述空间概率图，利用阈值化进行特征选择，得到共享特征；
步骤1322，基于所述共享特征和所述位姿数据进行通信数据打包，得到共享信息。
具体地，服务器在得到自智能体特征Fe和空间概率图Fevd后，只保留并传输目标置信度不低于一定阈值T1的自智能体特征，得到空间上稀疏但感知上关键的共享特征其中δ(Fevd-T1)和/>分别为二值化函数和逐点乘积。
在得到共享特征Fshare和位姿数据Oe后，可以利用霍夫曼编码、算术编码或游程编码等通用数据无损压缩算法对待传输数据(共享特征和位姿数据)进行编码，并将得到的压缩数据进行拆分打包，得到用于通信的供其他智能体使用的共享信息Se。
基于上述实施例，步骤140包括：
步骤141，基于所述共享信息中的多个共享特征和多个位姿数据，进行位置重组，将所述多个共享特征复原至鸟瞰图空间下的多个特征图；
步骤142，基于所述自智能体的有效感知区域，对所述多个特征图进行特征区域裁剪，得到多个粗略对齐特征图；
步骤143，对所述多个粗略对齐特征图进行信息聚合，得到所述协智能体特征。
具体地，服务器获得了K个协智能体的共享信息其中K为非固定值且是动态变化的。
在得到每一个协智能体的共享信息后，可以进行数据解压缩得到其对应的共享特征/>和位姿数据/>
获得协智能体的共享特征后，通过位置重组将其复原为BEV空间的特征图然后基于协智能体的位姿数据/>和自智能体的位姿数据Oe，将协智能体的特征图的坐标原点移动到自智能体特征图Fe的坐标原点，并利用自智能体的有效感知区域进行特征区域裁剪，只保留对自智能体感知有用的协同特征，得到与自智能体时空整体一致但局部错位的粗略对齐特征图/>
在得到每一个协智能体的粗略对齐特征图后，可以在智能体维度利用最大值池化进行信息聚合，得到单一的时空整体一致但局部错位的协智能体特征Fs。
由于每一个协智能体的粗略对齐特征图只覆盖了自智能体有效感知区域的一部分，且每一个协智能体特征本身也是空间上稀疏的，利用最大值池化有利于获取单一的含有丰富特征信息的协智能体特征。
基于上述实施例，步骤160包括：
步骤161，对所述融合特征进行特征增强，得到增强特征；
步骤162，基于所述增强特征，进行三维目标检测，得到目标的位置尺寸信息；
步骤163，基于所述增强特征，进行场景分割，得到场景中每个空间位置的典型属性信息；
步骤164，基于所述位置尺寸信息和所述典型属性信息，得到协同感知结果。
具体地，服务器获得融合特征Ffusion后，可以利用卷积神经网络模块fenhance得到具有更强抽象能力和更强区分能力的增强特征Fenhance，可表示为：Fenhance＝fenhance(Ffusion)。
在获得增强特征Fenhance后，可以基于增强特征，进行三维目标检测，得到目标的位置尺寸信息Odet＝fdet(Fenhance)，即可以利用三维目标检测模块fdet得到目标的位置尺寸信息，也可以利用BEV语义分割模块fseg对增强特征进行场景分割，得到场景中每个空间位置的典型属性信息Oseg＝fseg(Fenhance)，最后，由目标的位置尺寸信息Odet和场景中每个空间位置的典型属性信息Oseg共同构成协同感知结果。
此处，场景分割，是指为每个像素分类，得到它的所属类。实例分割，是场景语义分割的子类型，同时对每个目标进行定位和语义分割，每个目标即为实例，该任务最终以每个实例的分割准确度进行评估。
此处的卷积神经网络模块、三维目标检测模块和BEV语义分割模块均指由多个层级的卷积神经网络组成的网络模型。卷积神经网络模块旨在增强特征的语义抽象能力和空间区分能力，例如经常使用的“ResNet”模型或“ResNet+FPN”模型。
其中，基于融合特征，得到协同感知结果可以通过协同感知模型实现，协同感知模型可以基于自智能体的激光雷达的样本点云数据、样本位姿数据和标签协同感知结果训练得到。
可以预先收集自智能体的激光雷达的样本点云数据、样本位姿数据和标签协同感知结果，还可以预先构建初始协同感知模型。此处，标签协同感知结果包括三维目标检测标签和BEV语义分割标签。
初始协同感知模型从功能上可以包括三维目标检测和场景分割两个部分。在此过程中，可以将初始三维目标检测模型和初始场景分割模型作为初始协同感知模型。
在得到包括初始三维目标检测模型和初始场景分割模型的初始协同感知模型后，即可以应用预先收集好的自智能体的激光雷达的样本点云数据、样本位姿数据和标签协同感知结果，对初始协同感知模型进行训练：
首先，将自智能体的激光雷达的样本点云数据和样本位姿数据输入至初始协同感知模型中，由初始协同感知模型输出三维目标检测结果和BEV语义分割结果。
在基于初始协同感知模型得到三维目标检测结果和BEV语义分割结果之后，即可将三维目标检测标签和三维目标检测结果进行比较，根据此两者之间的差异程度计算得到三维目标检测损失Ldet，并将BEV语义分割结果和BEV语义分割标签进行比较，根据此两者之间的差异程度计算得到BEV语义分割损失Lseg，然后，基于三维目标检测损失和BEV语义分割损失确定总损失，最后，基于总损失对于将初始协同感知模型视为整体进行参数迭代，将完成参数迭代之后的初始协同感知模型记为协同感知模型。
可以理解的是，预先收集的三维目标检测标签和三维目标检测结果之间的差异程度越大，三维目标检测损失越大；预先收集的三维目标检测标签和三维目标检测结果之间的差异程度越小，三维目标检测损失越小。
可以理解的是，BEV语义分割结果和预先收集的BEV语义分割标签之间的差异程度越大，BEV语义分割损失越大；BEV语义分割结果和预先收集的BEV语义分割标签之间的差异程度越小，BEV语义分割损失越小。
参数迭代之后的初始协同感知模型，与初始协同感知模型具备相同的结构，因此，协同感知模型可以划分为两个部分，即三维目标检测和BEV语义分割。
此处，可以使用交叉熵损失函数(Cross Entropy Loss Function)，也可以使用均方误差损失函数(Mean Squared Error，MSE)，还可以使用随机梯度下降法对初始协同感知模型的参数进行更新，本发明实施例对此不作具体限定。
其中，三维目标检测损失表示为Ldet，BEV语义分割损失表示为Lseg，从而得到总损失函数L＝Ldet+η·Lseg，其中η为权重调节系数。
基于上述实施例，图5是本发明提供的时空误差容忍的多智能体协同感知方法中步骤120的流程示意图，如图5所示，步骤120包括：
步骤121，将所述点云数据投影至所述鸟瞰图空间下并进行重采样，得到规范化点柱；
步骤122，基于点柱编码网络，对所述规范化点柱进行点柱抽象特征提取，得到自智能体特征；
所述点柱编码网络是基于样本规范化点柱、三维目标检测标签和BEV语义分割标签，并联合三维目标检测模型和场景分割模型训练得到的，所述三维目标检测模型用于基于所述自智能体特征进行三维目标检测，所述场景分割模型用于基于所述自智能体特征进行语义分割。
具体地，在获取到点云数据之后，可以将点云数据投影至鸟瞰图空间下并进行重采样，得到规范化点柱。即，将每一个观测值投影到对应的BEV空间离散栅格中，每一个离散栅格中落入了不同数量的点云，通常将其称为点柱。设点柱中观测值的标准数量为npillar，每个观测值含有4个数值，接着对观测值数量大于npillar的点柱进行随机采样，对观测值数量小于npillar的点柱进行随机复制，得到栅格化的、观测值数量固定的规范化点柱
服务器获得规范化点柱Fpillar后，可以利用点柱编码网络fpillar得到点柱的几何结构特征，即BEV空间下的自智能体特征，自智能体特征可表示为：
其中，点柱编码网络fpillar可以使用点云网络PointNet，也可以沿着z坐标轴进一步划分为体素，计算每一个体素的几何特征并拼接，然后利用1×1卷积进行特征聚合和维度调节。
为了能够更好地提取自智能体特征，需要在步骤122执行之前，通过如下步骤获取点柱编码网络：
可以预先收集样本规范化点柱，还可以预先构建初始点柱编码网络、初始三维目标检测模型和初始场景分割模型，此处的初始三维目标检测模型用于基于自智能体特征进行三维目标检测，得到三维目标检测结果，此处的初始场景分割模型用于基于自智能体特征进行BEV语义分割，得到BEV语义分割结果。
在得到初始点柱编码网络之后，即可基于样本规范化点柱，联合初始三维目标检测模型和初始场景分割模型进行训练，并将训练完成之后的初始点柱编码网络作为点柱编码网络。
在此过程中，可以将初始点柱编码网络、初始三维目标检测模型和初始场景分割模型作为初始检测模型，初始检测模型即训练初始点柱编码网络的初始模型。此处的初始点柱编码网络可以是PointNet网络等，本发明实施例对此不作具体限定。
在得到初始检测模型之后，即可应用预先收集好的样本规范化点柱、三维目标检测标签和BEV语义分割标签对初始检测模型进行训练：
首先，将样本规范化点柱输入至初始点柱编码网络中，由初始点柱编码网络对样本规范化点柱进行点柱抽象特征提取，得到初始自智能体特征。可以理解的是，初始点柱编码网络是初始检测模型训练之前的初始模型，为与初始检测模型输出的自智能体特征相区别，此处由初始点柱编码网络输出的自智能体特征记为初始自智能体特征。
其次，将初始自智能体特征输入至初始卷积神经网络中，由初始卷积神经网络得到并输出增强特征，再将增强特征分别输入至初始三维目标检测模型和初始场景分割模型中，由初始三维目标检测模型和初始场景分割模型分别得到并输出三维目标检测结果和BEV语义分割结果。
在基于初始检测模型得到三维目标检测结果和BEV语义分割结果之后，即可将三维目标检测标签和三维目标检测结果进行比较，根据此两者之间的差异程度计算得到三维目标检测损失Ldet，并将BEV语义分割结果和BEV语义分割标签进行比较，根据此两者之间的差异程度计算得到BEV语义分割损失Lseg，然后，基于三维目标检测损失和BEV语义分割损失确定总损失，最后，基于总损失对于将初始检测模型视为整体进行参数迭代，将完成参数迭代之后的初始检测模型中的初始点柱编码网络，可以直接将这一部分作为点柱编码网络。
可以理解的是，预先收集的三维目标检测标签和三维目标检测结果之间的差异程度越大，三维目标检测损失越大；预先收集的三维目标检测标签和三维目标检测结果之间的差异程度越小，三维目标检测损失越小。
可以理解的是，BEV语义分割结果和预先收集的BEV语义分割标签之间的差异程度越大，BEV语义分割损失越大；BEV语义分割结果和预先收集的BEV语义分割标签之间的差异程度越小，BEV语义分割损失越小。
在训练得到点柱编码网络之后，可以基于点柱编码网络，对规范化点柱进行点柱抽象特征提取，得到自智能体特征。
基于上述任一实施例，一种时空误差容忍的多智能体协同感知方法，步骤如下：
第一步，获取自智能体的激光雷达的点云数据和激光雷达的位姿数据。
第二步，将点云数据投影至鸟瞰图空间下并进行重采样，得到规范化点柱，基于点柱编码网络，对规范化点柱进行点柱抽象特征提取，得到自智能体特征。
此处的点柱编码网络是基于样本规范化点柱、三维目标检测标签和BEV语义分割标签，并联合三维目标检测模型和场景分割模型训练得到的，三维目标检测模型用于基于自智能体特征进行三维目标检测，场景分割模型用于基于自智能体特征进行语义分割。
第三步，对重要性选择后的自智能体特征进行目标概率估计，得到空间概率图。
第四步，基于自智能体特征和空间概率图，利用阈值化进行特征选择，得到共享特征。
第五步，基于共享特征和位姿数据进行通信数据打包，得到共享信息。
第六步，基于共享信息中的多个共享特征和多个位姿数据，进行位置重组，将多个共享特征复原至鸟瞰图空间下的多个特征图。
第七步，基于自智能体的有效感知区域，对多个特征图进行特征区域裁剪，得到多个粗略对齐特征图。
第八步，对多个粗略对齐特征图进行信息聚合，得到协智能体特征。
第九步，基于自智能体特征和协智能体特征，得到每一个特征空间位置自适应精确对齐所需的候选误差量集合和候选误差量集合对应的候选置信度集合。
第十步，基于自智能体特征、协智能体特征、候选误差量集合和候选置信度集合，得到冗余增强特征。
第十一步，基于冗余增强特征、协智能体特征和自智能体感知盲区图，进行互补增强，得到融合特征。
此处的自智能体感知盲区图的确定步骤包括：
对空间概率图进行平滑处理、二值化并取反，得到空间需求图；
基于协智能体特征的强度值，得到有效空间图；
基于空间需求图和有效空间图，得到自智能体感知盲区图。
第十二步，对融合特征进行特征增强，得到增强特征。
基于增强特征，进行三维目标检测，得到目标的位置尺寸信息；
基于增强特征，进行场景分割，得到场景中每个空间位置的典型属性信息；
基于位置尺寸信息和典型属性信息，得到协同感知结果。
下面对本发明提供的时空误差容忍的多智能体协同感知装置进行描述，下文描述的时空误差容忍的多智能体协同感知装置与上文描述的时空误差容忍的多智能体协同感知方法可相互对应参照。
基于上述任一实施例，本发明提供一种时空误差容忍的多智能体协同感知装置，图6是本发明提供的时空误差容忍的多智能体协同感知装置的结构示意图，如图6所示，该装置包括：
获取单元610，用于获取自智能体的激光雷达的点云数据和所述激光雷达的位姿数据；
特征编码单元620，用于在鸟瞰图空间下，对所述点云数据进行特征编码，得到自智能体特征；
确定共享信息单元630，用于对所述自智能体特征进行重要性选择，并基于重要性选择后的自智能体特征和所述位姿数据进行通信数据打包，得到共享信息；
信息聚合单元640，用于对所述共享信息进行共享信息聚合，得到协智能体特征；
增强单元650，用于基于所述自智能体特征和所述协智能体特征，进行冗余增强和互补增强，得到融合特征；
协同感知单元660，用于基于所述融合特征，进行协同感知，得到协同感知结果。
本发明实施例提供的装置，获取自智能体的激光雷达的点云数据和激光雷达的位姿数据，在鸟瞰图空间下，对点云数据进行特征编码，得到自智能体特征，对自智能体特征进行重要性选择，并基于重要性选择后的自智能体特征和位姿数据进行通信数据打包，得到共享信息，对共享信息进行共享信息聚合，得到协智能体特征，基于自智能体特征和协智能体特征，进行冗余增强和互补增强，得到融合特征，基于融合特征，进行协同感知，得到协同感知结果。协智能体特征是基于数量不定的多个协智能体的共享信息进行聚合得到的，由此，有利于获取格式固定且信息丰富的协智能体特征，进一步增强了协同感知算法的稳定性；并且，融合特征是基于自智能体特征和协智能体特征，进行冗余增强和互补增强得到的，且在冗余增强和互补增强过程中进行了位置不对齐问题处理，能够降低协智能体特征与自智能体特征之间存在的时空对齐误差对协同感知效果的影响，进一步提高了存在时空对齐误差条件下协同感知性能的效果。
基于上述任一实施例，增强单元650具体用于：
确定误差单元，用于基于所述自智能体特征和所述协智能体特征，得到每一个特征空间位置自适应精确对齐所需的候选误差量集合和所述候选误差量集合对应的候选置信度集合；
确定冗余增强特征单元，用于基于所述自智能体特征、所述协智能体特征、所述候选误差量集合和所述候选置信度集合，得到冗余增强特征；
融合单元，用于基于所述冗余增强特征、所述协智能体特征和自智能体感知盲区图，进行互补增强，得到融合特征。
基于上述任一实施例，所述自智能体感知盲区图的确定步骤包括：
对空间概率图进行平滑处理、二值化并取反，得到空间需求图；
基于所述协智能体特征的强度值，得到有效空间图；
基于所述空间需求图和所述有效空间图，得到自智能体感知盲区图。
基于上述任一实施例，确定共享信息单元630具体用于：
确定空间概率图单元，用于对重要性选择后的自智能体特征进行目标概率估计，得到空间概率图；
确定共享信息子单元，用于基于所述自智能体特征和所述空间概率图，以及所述位姿数据进行通信数据打包，得到共享信息。
基于上述任一实施例，确定共享信息子单元具体用于：
基于所述自智能体特征和所述空间概率图，利用阈值化进行特征选择，得到共享特征；
基于所述共享特征和所述位姿数据进行通信数据打包，得到共享信息。
基于上述任一实施例，信息聚合单元640具体用于：
基于所述共享信息中的多个共享特征和多个位姿数据，进行位置重组，将所述多个共享特征复原至鸟瞰图空间下的多个特征图；
基于所述自智能体的有效感知区域，对所述多个特征图进行特征区域裁剪，得到多个粗略对齐特征图；
对所述多个粗略对齐特征图进行信息聚合，得到所述协智能体特征。
基于上述任一实施例，协同感知单元660具体用于：
对所述融合特征进行特征增强，得到增强特征；
基于所述增强特征，进行三维目标检测，得到目标的位置尺寸信息；
基于所述增强特征，进行场景分割，得到场景中每个空间位置的典型属性信息；
基于所述位置尺寸信息和所述典型属性信息，得到协同感知结果。
基于上述任一实施例，特征编码单元620具体用于：
将所述点云数据投影至所述鸟瞰图空间下并进行重采样，得到规范化点柱；
基于点柱编码网络，对所述规范化点柱进行点柱抽象特征提取，得到自智能体特征；
所述点柱编码网络是基于样本规范化点柱、三维目标检测标签和BEV语义分割标签，并联合三维目标检测模型和场景分割模型训练得到的，所述三维目标检测模型用于基于所述自智能体特征进行三维目标检测，所述场景分割模型用于基于所述自智能体特征进行语义分割。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行时空误差容忍的多智能体协同感知方法，该方法包括：获取自智能体的激光雷达的点云数据和所述激光雷达的位姿数据；在鸟瞰图空间下，对所述点云数据进行特征编码，得到自智能体特征；对所述自智能体特征进行重要性选择，并基于重要性选择后的自智能体特征和所述位姿数据进行通信数据打包，得到共享信息；对所述共享信息进行共享信息聚合，得到协智能体特征；基于所述自智能体特征和所述协智能体特征，进行冗余增强和互补增强，得到融合特征；基于所述融合特征，进行协同感知，得到协同感知结果。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的时空误差容忍的多智能体协同感知方法，该方法包括：获取自智能体的激光雷达的点云数据和所述激光雷达的位姿数据；在鸟瞰图空间下，对所述点云数据进行特征编码，得到自智能体特征；对所述自智能体特征进行重要性选择，并基于重要性选择后的自智能体特征和所述位姿数据进行通信数据打包，得到共享信息；对所述共享信息进行共享信息聚合，得到协智能体特征；基于所述自智能体特征和所述协智能体特征，进行冗余增强和互补增强，得到融合特征；基于所述融合特征，进行协同感知，得到协同感知结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的时空误差容忍的多智能体协同感知方法，该方法包括：获取自智能体的激光雷达的点云数据和所述激光雷达的位姿数据；在鸟瞰图空间下，对所述点云数据进行特征编码，得到自智能体特征；对所述自智能体特征进行重要性选择，并基于重要性选择后的自智能体特征和所述位姿数据进行通信数据打包，得到共享信息；对所述共享信息进行共享信息聚合，得到协智能体特征；基于所述自智能体特征和所述协智能体特征，进行冗余增强和互补增强，得到融合特征；基于所述融合特征，进行协同感知，得到协同感知结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种时空误差容忍的多智能体协同感知方法，其特征在于，包括：
获取自智能体的激光雷达的点云数据和所述激光雷达的位姿数据；
在鸟瞰图空间下，对所述点云数据进行特征编码，得到自智能体特征；
对所述自智能体特征进行重要性选择，并基于重要性选择后的自智能体特征和所述位姿数据进行通信数据打包，得到共享信息；
对所述共享信息进行共享信息聚合，得到协智能体特征；
基于所述自智能体特征和所述协智能体特征，进行冗余增强和互补增强，得到融合特征；
基于所述融合特征，进行协同感知，得到协同感知结果。
2.根据权利要求1所述的时空误差容忍的多智能体协同感知方法，其特征在于，所述基于所述自智能体特征和所述协智能体特征，进行冗余增强和互补增强，得到融合特征，包括：
基于所述自智能体特征和所述协智能体特征，得到每一个特征空间位置自适应精确对齐所需的候选误差量集合和所述候选误差量集合对应的候选置信度集合；
基于所述自智能体特征、所述协智能体特征、所述候选误差量集合和所述候选置信度集合，得到冗余增强特征；
基于所述冗余增强特征、所述协智能体特征和自智能体感知盲区图，进行互补增强，得到融合特征。
3.根据权利要求2所述的时空误差容忍的多智能体协同感知方法，其特征在于，所述自智能体感知盲区图的确定步骤包括：
对空间概率图进行平滑处理、二值化并取反，得到空间需求图；
基于所述协智能体特征的强度值，得到有效空间图；
基于所述空间需求图和所述有效空间图，得到自智能体感知盲区图。
4.根据权利要求1所述的时空误差容忍的多智能体协同感知方法，其特征在于，所述基于重要性选择后的自智能体特征和所述位姿数据进行通信数据打包，得到共享信息，包括：
对重要性选择后的自智能体特征进行目标概率估计，得到空间概率图；
基于所述自智能体特征和所述空间概率图，以及所述位姿数据进行通信数据打包，得到共享信息。
5.根据权利要求4所述的时空误差容忍的多智能体协同感知方法，其特征在于，所述基于所述自智能体特征和所述空间概率图，以及所述位姿数据进行通信数据打包，得到共享信息，包括：
基于所述自智能体特征和所述空间概率图，利用阈值化进行特征选择，得到共享特征；
基于所述共享特征和所述位姿数据进行通信数据打包，得到共享信息。
6.根据权利要求1所述的时空误差容忍的多智能体协同感知方法，其特征在于，所述对所述共享信息进行共享信息聚合，得到协智能体特征，包括：
基于所述共享信息中的多个共享特征和多个位姿数据，进行位置重组，将所述多个共享特征复原至鸟瞰图空间下的多个特征图；
基于所述自智能体的有效感知区域，对所述多个特征图进行特征区域裁剪，得到多个粗略对齐特征图；
对所述多个粗略对齐特征图进行信息聚合，得到所述协智能体特征。
7.根据权利要求1至6中任一项所述的时空误差容忍的多智能体协同感知方法，其特征在于，所述基于所述融合特征，进行协同感知，得到协同感知结果，包括：
对所述融合特征进行特征增强，得到增强特征；
基于所述增强特征，进行三维目标检测，得到目标的位置尺寸信息；
基于所述增强特征，进行场景分割，得到场景中每个空间位置的典型属性信息；
基于所述位置尺寸信息和所述典型属性信息，得到协同感知结果。
8.根据权利要求1至6中任一项所述的时空误差容忍的多智能体协同感知方法，其特征在于，所述在鸟瞰图空间下，对所述点云数据进行特征编码，得到自智能体特征，包括：
将所述点云数据投影至所述鸟瞰图空间下并进行重采样，得到规范化点柱；
基于点柱编码网络，对所述规范化点柱进行点柱抽象特征提取，得到自智能体特征；
所述点柱编码网络是基于样本规范化点柱、三维目标检测标签和BEV语义分割标签，并联合三维目标检测模型和场景分割模型训练得到的，所述三维目标检测模型用于基于所述自智能体特征进行三维目标检测，所述场景分割模型用于基于所述自智能体特征进行语义分割。
9.一种时空误差容忍的多智能体协同感知装置，其特征在于，包括：
获取单元，用于获取自智能体的激光雷达的点云数据和所述激光雷达的位姿数据；
特征编码单元，用于在鸟瞰图空间下，对所述点云数据进行特征编码，得到自智能体特征；
确定共享信息单元，用于对所述自智能体特征进行重要性选择，并基于重要性选择后的自智能体特征和所述位姿数据进行通信数据打包，得到共享信息；
信息聚合单元，用于对所述共享信息进行共享信息聚合，得到协智能体特征；
增强单元，用于基于所述自智能体特征和所述协智能体特征，进行冗余增强和互补增强，得到融合特征；
协同感知单元，用于基于所述融合特征，进行协同感知，得到协同感知结果。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述时空误差容忍的多智能体协同感知方法。
CN202310560996.0A 2023-05-17 2023-05-17 时空误差容忍的多智能体协同感知方法、装置和电子设备 Pending CN116740514A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310560996.0A CN116740514A (zh) 2023-05-17 2023-05-17 时空误差容忍的多智能体协同感知方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310560996.0A CN116740514A (zh) 2023-05-17 2023-05-17 时空误差容忍的多智能体协同感知方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN116740514A true CN116740514A (zh) 2023-09-12

Family

ID=87912347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310560996.0A Pending CN116740514A (zh) 2023-05-17 2023-05-17 时空误差容忍的多智能体协同感知方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN116740514A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116992400A (zh) * 2023-09-27 2023-11-03 之江实验室 一种基于时空特征融合的协同感知方法及协同感知装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116992400A (zh) * 2023-09-27 2023-11-03 之江实验室 一种基于时空特征融合的协同感知方法及协同感知装置
CN116992400B (zh) * 2023-09-27 2024-01-05 之江实验室 一种基于时空特征融合的协同感知方法及协同感知装置

Similar Documents

Publication Publication Date Title
CN111553859B (zh) 一种激光雷达点云反射强度补全方法及系统
CN110188696B (zh) 一种水面无人装备多源感知方法及系统
CN108152831B (zh) 一种激光雷达障碍物识别方法及系统
US10915793B2 (en) Method and system for converting point cloud data for use with 2D convolutional neural networks
US11783593B2 (en) Monocular depth supervision from 3D bounding boxes
CN111563415A (zh) 一种基于双目视觉的三维目标检测系统及方法
US20220036579A1 (en) Systems and Methods for Simulating Dynamic Objects Based on Real World Data
CN113139453A (zh) 一种基于深度学习的正射影像高层建筑基底矢量提取方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN112097732A (zh) 一种基于双目相机的三维测距方法、系统、设备及可读存储介质
CN114764778A (zh) 一种目标检测方法、目标检测模型训练方法及相关设备
EP3703008A1 (en) Object detection and 3d box fitting
CN116740514A (zh) 时空误差容忍的多智能体协同感知方法、装置和电子设备
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
Jindal et al. Bollard segmentation and position estimation from lidar point cloud for autonomous mooring
Meng et al. Multi‐vehicle multi‐sensor occupancy grid map fusion in vehicular networks
CN113012191A (zh) 一种基于点云多视角投影图的激光里程计算法
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN116129234A (zh) 一种基于注意力的4d毫米波雷达与视觉的融合方法
CN113624223B (zh) 一种室内停车场地图构建方法及装置
CN111890358B (zh) 双目避障方法、装置、存储介质及电子装置
CN113569803A (zh) 一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统
CN114167443A (zh) 信息补全方法、装置、计算机设备和存储介质
CN114972541B (zh) 基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法
CN117011685B (zh) 场景识别方法、装置和电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination