CN114332494A - 车路协同场景下基于多源融合的三维目标检测与识别方法 - Google Patents

Abstract

本发明是一种车路协同场景下基于多源融合的三维目标检测与识别方法，涉及车联网、智能汽车技术领域。本发明中，通过不同路侧设备传感器捕获不同环境信息，提取用于三维目标检测的多模态特征后传输给路侧特征融合中心，路侧特征融合中心将获得的多路多模态特征融合为多源融合特征；智能汽车将路侧提供的多源融合特征和自身感知提取的多模态特征进行校准和融合，进一步进行目标识别和检测。本发明中，点云特征提取模块采用邻域自适应的特征提取方法，特征校准和融合模块基于元学习方法对点云特征图和图像特征图进行特征层级融合。本发明极大提升了对外界环境的感知力，减轻了车路协同的通信压力和通信延迟，提高了车辆的感知能力和目标识别准确率。

Description

车路协同场景下基于多源融合的三维目标检测与识别方法

技术领域

本发明涉及车联网、智能汽车技术领域，具体涉及一种车路协同场景下基于多源融合的三维目标检测与识别方法。

背景技术

单个智能汽车由于感知范围受限、遮挡等问题无法认知整体环境，可能做出不安全决策。而车路群智协同服务系统是一种主动的交通管理服务，其中群智感知子系统需要向智能汽车提供按需认知的服务。智能汽车感知源从来源可以分为自体感知源与路侧感知源。其中自体感知源是车辆自体依靠车载传感器进行感知的自体感知源，而路侧感知源则是路侧协同服务系统通过路侧多视角、多方位传感器融合后为车辆提供的全局感知信息。智能车辆利用车联网技术与路侧感知中心进行交互，共享感知到的环境信息，从而协作地建立起对周围环境地完整认知，为后续规划与决策、定位等部分提供准确的语义信息，实现安全的驾驶任务。然而，原始感知信息数据量巨大，大量数据导致的传输延时会对智能驾驶任务带来很大的潜在危险。摄像头和激光雷达是智能汽车领域常见的传感器，由于感知原理的差异，这两种传感器分别能够捕捉不同特性的环境信息。摄像头传感器仅能捕捉到场景的二维外观信息，缺乏深度信息，尽管很多研究者使用单目相机或双目相机获得了深度信息估计值，但仍然难以满足自动驾驶中对于三维目标检测准确度的要求。而激光雷达传感器不仅能捕捉到场景的二维信息，还包括准确的深度信息，这对自动驾驶感知系统是至关重要的。由此可见，单一的传感器源信息难以满足自动驾驶的需求。

现有文献1(公开号为CN111222441A)在2020年6月2日公开了一种基于车路协同的点云目标检测和盲区目标检测方法及系统，通过巧妙地改变相机的位置和提出方形检索建议区域，应用到车路协同感知的新场景中去，达到了生成更优点云检索建议区域和盲区内目标检测的效果，保证了路灯故障下单车智能的独立性不受任何影响，使得智能汽车在路侧智能辅助下，具有更快速、更全面和更安全的目标感知性能。但是该技术方案在路侧端仅采用单传感器，没有建设丰富的多模态传感器系统，同时也没有进行特征粒度的路侧多模态多传感器融合，不能适应更复杂的车路协同场景。

现有文献2(公开号为CN111222441A)在2020年2月11日公开了一种车路协同下基于深度学习的目标检测与分类方法，基于深度学习对目标进行准确的检测与分类，既确定了目标的位置，也确定了目标的类型，实现了对城市交通进行有效的管理。但该技术方案采用激光雷达数据进行三维目标检测，但未考虑目标检测中距离与遮挡的影响，检测精度会随着距离的增加以及物体尺度的变化受到影响，不能适应复杂的路况。

现有文献3(公开号为CN111432375A)在2020年7月17日公开了一种基于V2X的车路协同方法及车路协同系统，对第一车辆由第二车辆采集第一数据信息，由V2X通信模块采集第二数据信息，将数据进行融合处理，消除信息传递盲区，融合信息共享给后方车辆以协同完成驾驶决策。但该技术方案仅考虑车车之间的通信与数据融合传输，没有考虑利用路侧传感器进行车路协同辅助，同时，该方法的数据传输部分将原始数据通过网络实时共享至其他车辆，对传输速率和带宽有很高的要求，对网络条件差的环境无法适应。

现有文献4(公开号为CN110532896A)在2019年12月3日公开了一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法。该技术方案将路侧毫米波雷达进行计算检测结果后，将雷达检测结果投影至图像坐标系，与图像检测的目标进行后期融合。该方案对两个传感器分别的检测都要求较高，没有进行特征层级的建模，更自适应的对传感器进行融合。

目前自动驾驶感知系统存在上述问题：只采用单传感器不能适应更复杂的车路协同场景；检测精度随着距离的增加以及物体尺度的变化受到影响，不能适应复杂的路况；对传输速率和带宽有很高的要求，不适用于网络条件差的环境；对两个传感器检测的要求较高，不能自适应对传感器数据进行融合等。现有技术不能满足自动驾驶中对于三维目标检测准确度的要求，因此需要进一步改进技术。

发明内容

针对现有技术存在的上述问题，本发明提供了一种车路协同场景下基于多源融合的三维目标检测与识别方法，结合了智能驾驶车辆与智慧道路的传感器，在智慧道路部分先进行基于元融合的自适应传感器融合和特征汇聚，通过车路协同通信将融合特征数据发送给智能驾驶车辆，智能驾驶车辆基于多尺度三维检测算法得到最终的检测结果。

本发明提供的车路协同场景下基于多源融合的三维目标检测与识别方法，包括：

步骤1，建立车路协同场景下的协同感知共享数据模式；

车路协同感知的目的是为智能汽车提供全局感知信息，使得智能汽车感知范围不受自身传感器范围的限制，为后续全局路径规划提供重要的依据。本发明在车路协同场景中包括路侧设备、路侧特征融合中心以及不同的交通参与者。路侧设备中设置有计算单元和多种传感器，通过多种传感器捕获不同环境信息，通过计算单元对感知的环境信息提取特征，并获得用于3D目标检测的多模态特征。路侧设备实时将获取的多模态特征及全局坐标系下的中心位置通过有线网络传输给网络拓扑内最近的路侧特征融合中心。路侧特征融合中心对接收到的多模态特征进行融合处理，将融合后的多模态特征和全局中心位置广播出去。处于路侧特征融合中心服务范围内的交通参与者获取融合多模态特征和路侧特征融合中心的全局中心位置。

步骤2，智能汽车利用特征提取模块对自身感知数据提取多源感知特征；智能汽车在接收到路侧特征融合中心发送的多源融合特征后，与自身检测的多源感知特征进行特征校准和融合，以获得当前所在区域内全面的感知信息，进一步用于目标识别和检测。

步骤3，实现路侧设备和智能汽车中的特征提取模块。特征提取模块中包括：点云特征提取模块对传感器获取的点云数据提取三维点云特征；图像特征提取模块对传感器获取图像提取二维图像特征。

点云特征提取模块采用邻域自适应的特征提取方法，通过卷积的方式对每一个关键点生成自适应的邻域半径范围，从而使得特征能够更鲁棒地表现不同尺度物体的信息。

步骤4，实现路侧设备、路侧特征融合中心和智能汽车中的特征校准和融合模块。

特征校准和融合模块，对点云特征图和图像特征图融合时，先根据点云特征图和图像特征图的校准矩阵获得两图的投影关系矩阵M，再基于元学习方法进行特征层级融合，包括：

(1)设由所述特征提取模块对点云数据采样的任一点p，提取得到点云特征Fp，则对应点p的图像特征F_I＝f(M×p)，f为图像特征提取模块的操作；

(2)将图像特征F_I通过全连接层生成卷积核的核参数，基于所述核参数生成1组1×1卷积，用于处理点云特征，1×1卷积输出融合了图像特征和点云特征的特征表示F。

特征校准和融合模块，对同质特征融合时，采用均值方法或最大池化法。

步骤5，智能汽车上的3D目标检测头对获取的感知信息处理，识别目标。

相对于现有技术，本发明的优点与积极效果在于：

(1)与只依靠单一传感器进行三维目标检测的现有技术相比，本发明方法通过在路侧设备上设置了多种感知特征互补的传感器，不同传感器对于环境的纹理、障碍物距离、颜色等特征具有不同的捕获能力，从而极大提升了车联网和智能汽车的外界环境感知力，使得所设计的多传感器联合感知取得了更鲁棒性的检测结果。

(2)路侧设备较多且原始激光雷达数据过大，直接共享原始感知数据会造成极大的通信压力和通信延迟。本发明将多模态感知信息通过路侧特征融合中心来进行融合处理，生成代表性特征点云，以服务于交通者，减轻车路协同时存在的通信压力和通信延迟。同时，以点云为特征承载体，大大简化了车路协同时的特征对准问题，并且相对于原始感知数据大大减少了数据传输量，也减轻了智能汽车的通信压力和计算压力。

(3)不同传感器由于其物理原理不同，所捕获的环境特性具有较为明显的差异。在车路协同框架下使用单一的传感器难以同时满足智能汽车感知所需要的环境纹理信息、颜色信息、深度信息、形状信息等。本发明方法中，使用基于门控机制和注意力机制，对于来自摄像机和激光雷达点云的多种感知信息进行融合，从而为车辆提供更加丰富的环境信息，提高了智能驾驶车辆的感知能力，所使用的多模态融合方法具有较强的鲁棒性。

(4)基于原始点云进行特征提取的现有方法，通常采用固定尺度特征提取的方式，此种方式的尺度需要人为进行调试，且难以适应尺度差异较大的目标识别任务。本发明方法采用尺度自适应的局部特征提取方式，从而使得网络可以适应不同目标尺寸，具有很好的鲁棒性。本发明的特征提取模块既提取三维的点云特征，也提取二维的图像特征，以获取更全面的环境特征，以提高环境中目标识别准确率。

(5)与对近处、远处、遮挡程度不同的物体采用无差别检测的现有技术相比，本发明方法考虑了激光雷达传感器所捕捉的远处物体点云密度明显较近处稀疏，遮挡程度较高的物体与遮挡程度较低物体特征呈现不同的情况，所设计的尺度自适应的三维目标检测头能够对以上不同目标生成自适应的特征提取范围，从而使本发明方法适应更加复杂的车路协同场景。与仅考虑车车之间协同感知的现有技术相比，本发明方法利用路侧传感器进行车路协同辅助，同时采用特征数据协同辅助策略，与传输原始数据协同的策略相比，更适用于通信延迟要求较高的智能交通领域。

附图说明

图1是本发明的车路协同场景下基于多源融合的三维目标检测与识别方法的流程示意图；

图2是本发明的车路协同场景下基于多源融合的三维目标检测与识别方法实现示意图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明实现的车路协同场景下基于多源融合的三维目标检测与识别方法，主要包括如下五部分，并分别对应如图1所示的五个步骤来说明。

第一部分，考虑到智能汽车所具备的传感器资源和计算资源的使用情况，结合了车辆传感器的特点，设计了多源中期融合的方式。通过路侧特征融合中心通过中间特征形式为智能汽车提供感知信息，从而大大减少了原始感知信息传输的数据量及时延。

第二部分，智能汽车作为主要的交通参与者，除了接收路侧特征融合中心发送的多源融合特征外，自身还获得多源感知特征，将二者进行校准和融合，以获取更全面的环境感知信息。

第三部分，本发明从环境信息中提取三维点云特征和二维图像特征，以保证环境信息获取的全面。在智能交通场景下进行目标检测，所检测的目标对象通常有汽车、行人、骑自行车的人等，不同类别的物体之间尺度相差较大，因此通常需要考虑多目标物体尺度不一致的问题。一般研究者会依靠多尺度特征融合的方式来提升对于尺度不一致物体检测的泛化性，但是提取多尺度特征增加了计算量。考虑到智慧道路场景下所关注的物体具有各异的尺度，本发明提出了邻域自适应的特征提取方法。特征提取模块通过卷积的方式生成每个关键点处自适应的邻域半径，以将固定尺度的球邻域转换为自适应邻域，并通过三线性插值方法对生成的球邻域半径进行监督，从而使得网络获得适应于不同类别物体的不同尺度特征信息，使得特征能够更鲁棒地表现不同尺度物体的信息。

第四部分，本发明考虑到激光雷达数据的不规则和无序性，以及图像数据的规则和有序性，兼顾两种数据的特性，对多模态数据包含的不同层次的几何和语义信息进行联合分析，设计了基于门控机制和注意力机制的多模态融合方法，更高效地为车辆感知提供输入信息，提高了智能驾驶车辆的感知能力。

第五部分，智能汽车上根据获取的当前场景的信息进行目标检测。

下面对本发明的三维目标检测与识别方法的各步骤具体实现方式进行说明。

第一步，说明本发明实现的车路协同下基于多源融合的目标检测的实现框架。

为实现超视距的场景认知，智能汽车不仅需要依靠自身传感器捕获的环境信息进行三维目标检测，还需要路侧提供的环境感知信息。车路协同下，进行超视距场景认知的整体技术方案结构如图2所示。如图2所示，本发明的车路协同场景下，除了包括路侧设备和智能汽车外，还设置有路侧特征融合中心。路侧特征融合中心可根据路侧设备的位置，在适当的距离设置安装。

路侧设备中感知单元集合可表示为O_Infra＝{S₁，S₂,...,S_n}，n代表感知单元数量。每一基础设施单元包含多种传感器设备，不同传感器可以捕获不同的环境信息；为进行多源融合的特征提取，多个传感器必须事先通过标定获得相应的旋转矩阵R和平移矩阵P。路侧设备中的计算单元为提取3D目标检测特征的轻量级计算单元。计算单元中设置有基于多模态的特征提取模块、以及特征校准和融合模块。将路侧感知单元集合捕捉到的感知数据以及校准矩阵(以相机传感器为中心)，输入到计算单元，以提取用于3D目标检测的多模态特征。在路侧设备的计算单元，通过特征提取模块，获取三维点云特征和二维图像特征，通过特征校准和融合模块将传感器捕获的特征融合。

在各个路侧计算单元获取到多模态特征后，还需在路侧特征融合中心进行路侧计算单元间的多模态特征的融合。不同路侧传感器组间的多模态特征融合的特点为多组传感器的特征均等重要，并且特征之间存在一定的相关性。本发明方法中，对不同路侧传送来的多模态特征利用特征校准和融合模块进行融合时，采用Transformer模型对两组特征向量计算权重，将特征向量以及其叉乘向量拼接送入全连接层中，计算权重。通过拼接叉乘向量的方式，显示引入相关性信息，辅助attention(注意力)机制计算。最终得到路侧传感器组间融合后的统一特征。

路侧基础设施单元将多模态特征及全局坐标系下的中心位置通过有线网络的方式传递到拓扑内最近的路侧特征融合中心。路侧特征融合中心设置有特征校准和融合模块，通过特征校准和融合模块将接收到的多个路侧设备发送来的多模态特征进行融合处理，输出融合后的路侧融合多模态特征及本路侧特征融合中心的全局中心位置，以无线通信方式为服务范围内每一交通参与者提供感知服务。每一路侧特征融合中心均可以对一定服务覆盖范围内的交通智能体提供服务，当交通智能体进入服务范围时，路侧特征融合中心可以主动感知并向其传递实时路侧融合多模态特征。

第二步，智能汽车在接收到路侧特征融合中心发送的多源融合特征后，与自身检测的多源感知特征进行特征校准和融合，以获得当前所在区域内全面的感知信息。

智能汽车为具有无线信息接收装置、自身传感器及计算单元的智能体，为主要的交通参与者。智能汽车通过自身的感知单元集合可以初步对周围环境进行认知，经过对准的感知数据首先输入到特征提取模块以提取自体多源感知特征。为实现超视距认知，智能汽车可以通过无线网络，接受所在服务区内的路侧特征融合中心传递的多源融合特征。智能汽车将多源融合特征和自体多源感知特征经过特征校准和融合模块处理，可以得到本区域内全面的感知信息。最后，将多源特征输入检测头即可获取本区域目标语义信息，包括目标类别、绝对坐标位置以及目标尺寸。

第三步，实现路侧设备和智能汽车中的特征提取模块。本发明的特征提取模块实现的功能主要包括两部分，一部分是点云特征提取模块，负责提取三维点云特征；一部分是图像特征提取模块，负责提取二维的图像特征。

(3.1)对于点云特征的提取，本发明点云特征提取模块通过关键点采样和邻域点特征聚合来抽象点云特征。所使用的邻域查询方法为球邻域查询，自适应的球邻域半径即可达到尺度自适应的目的。因此，本发明提出了邻域半径生成模块来提取尺度信息。在邻域半径生成模块中利用其所生成的半径值来自适应聚合邻域点特征，并通过额外的监督任务对邻域半径值进行反向传播迭代更新。

点云特征提取模块提取点云特征时，可分为三个步骤：(1)将点云帧进行体素化，然后将体素化数据输入卷积神经网络中，以提取每个体素块潜在目标对象的形状信息，最终输入到邻域半径生成模块的由全连接网络构成的检测头中，生成此体素块对应的邻域半径值。(2)采用最远点采样方法采样得到点云帧的全局关键点，将其投影至(1)得到的邻域半径网格中，得到自适应的半径值。(3)对每一关键点，在(2)得到的邻域半径中采样N个邻域点，并通过maxPooling方法聚合N个邻域点特征，从而得到关键点特征。N为正整数，本发明实施例选取N为16。

本发明的邻域半径生成模块采用与三维稀疏卷积模块中相近的特征提取方式，不同的是为避免尺度信息的损失，仅采用两组稀疏卷积层SparseConvNet来提取体素处潜在目标尺度信息相关特征，并修改最后一组稀疏卷积层的输出参数数量为1，来直接产生邻域点相对于体素中心位置的邻域半径值。最终，对于体素V_i，将产生半径R_i；体素V_i的16个邻域点可以在以体素V_i为中心，R_i为半径的区域内随机采样生成，表示为集合

而关键点的特征计算，通常采用maxPooling方式聚合邻域半径内随机采样的16个邻域点特征得到。

同时，为了实现对邻域半径生成模块的监督学习，本发明额外增加了对邻域立方体的监督任务L_R-box。对于体素V_i，邻域立方体定义为邻域半径生成模块生成的R作为边长、体素V_i中心点位置作为中心坐标的立方体，即

表示体素V_i的中心点坐标，

表示该立方体的长、宽和高。

监督任务L_shifting-box使用smooth L1 Loss进行计算，如下公式所示：

其中，C_gt＝{x_gt,y_gt,z_gt,l_gt,w_gt,h_gt}，为真实框值。

(3.2)对于二维图像特征的提取和融合，本发明方法图像特征提取模块采用Faster-RCNN作为图像特征提取架构，其中特征提取骨干网络采用残差网络架构。对图像特征提取架构利用大型图像数据集提前进行预训练，以保证图像提取效果。

第四步，实现路侧设备、路侧特征融合中心和智能汽车中的特征校准和融合模块。特征校准和融合模块可分为校准模块和特征融合模块。校准模块主要实现特征在不同传感器坐标下的转换，特征融合特征主要是将同质或异质的特征进行融合。本发明应用场景中，异质特征是指三维点云特征和二维图像特征。同质特征可同为融合后的多模态特征，或同为三维点云特征等等。

对于拥有校准矩阵的点云特征图和图像特征图，特征校准和融合模块可以获得点云和图像间的投影关系，并且通过投影关系进行投影融合。本发明提出一种基于元学习方法的特征层级融合方法，也称元融合方法。对于点云P采样得到的任一点p，通过点云特征提取模块得到了点云特征Fp，同时通过投影矩阵M，可以得到点p的图像特征F_I为：

F_I＝f(M×p)

其中f为图像特征提取模块。使用图像特征与点云特征作交互，来融合点云特征与图像特征，并得到最后的特征表示F。

在融合的过程中，本发明采用1×1卷积来实现元融合方法。元融合方法将图像特征F_I再通过全连接层生成卷积核的核参数，然后采用图像特征生成的1组1×1卷积去处理点云特征，并通过卷积核的数量来控制最后输出特征的维度。元融合的方式融合了点云特征和图像特征，得到了自适应的多模态特征表示，作为后续模块的输入。

由于每个传感器在其物理配置中，均以自我中心作为数据原点，为了进行多源融合识别操作，将传感器数据转换到全局坐标系是十分必要的。本发明使用特征校准及融合模块完成该功能。对来自不同传感器的数据进行对准，由旋转和平移操作完成。将点从传感器坐标系映射到全局坐标系，并由每个传感器的外部矩阵的逆指定。外部矩阵即校准矩阵。给定传感器i坐标系中某点的坐标(x,y,z)，使用如下获取每个点的全局坐标(x_g,y_g,z_g)：

其中，M_i为传感器i的外部矩阵，该矩阵可以分解为旋转矩阵R_i与平移向量t_i。传感器的旋转矩阵和平移向量必须通过校准过程获得。这在实践中具有挑战性，因为外部矩阵M_i取决于传感器的位置和方向，因此，结果只能与这些变量的测量值一样精确。实际上，如果这些传感器安装在移动节点上，例如车辆上，移动节点定位中的任何错误都将导致融合点云中的对齐错误，这可能导致误报和漏检。在本发明应用场景的模型中，传感器固定在路边；因此，校准过程在实践中可以非常精确地执行。经由特征校准步骤，可以获得两个融合模块之间的外部校准矩阵M_i。通过旋转和平移操作，可以将感知单元A的特征转换到感知单元B的坐标系下，将转换的感知单元A的特征点云与感知单元B的特征点云融合，即可得到融合特征。

本发明的对于同质的特征，主要指多模态特征，先采用Transformer模型对输入的两组特征计算权重，再使用maxPooling(最大池化)或者均值的方法进行融合。

第五步，实现智能汽车上的3D目标检测头。

当特征提取完成并进行了校准融合后，网络将融合后的特征输入三维稀疏卷积模块，其接收体素化的点云信息，并通过四组稀疏卷积层提取点云的高层特征。由于点云本身十分稀疏，故产生的体素化三维网格中，多数网格并没有有效的特征信息，为降低存储资源消耗，采用稀疏矩阵的方式存储体素化后的点云信息，即将三维体素网格表示为{V₁,V₂,V₃,...,V_n}，其中V_i表示第i个非空体素，该体素以稀疏矩阵形式表示，即

其中

为非空体素V_i的体素中心位置坐标，

为非空体素V_i经过PointNet网络模型提取的特征值。PointNet是目前三维目标检测普遍使用的SparseConvNet模块(稀疏卷积模块)。本发明方法使用四组SparseConvNet从当前获得的区域全面感知信息中提取点云三维特征，其中每组SparseConvNet都由一个步长为2的卷积层，和两个步长为1的稀疏卷积构成，以减少特征图大小并提取足够抽象的特征信息。

在获取高级特征后，将高级特征沿高度压缩映射至BEV平面，通过区域建议网络获取初始的检测框。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。本发明省略了对公知技术的描述，以避免赘述和不必要地限制本发明。上述实施例中所描述的实施方式也并不代表与本申请相一致的所有实施方式，在本发明技术方案的基础上，本领域技术人员不需要付出创造性的劳动即可做出的各种修改或变形仍在本发明的保护范围内。

Claims (7)

1.一种车路协同场景下基于多源融合的三维目标检测与识别方法，其特征在于，包括如下步骤：

步骤1，车路协同场景中包括路侧设备、路侧特征融合中心以及不同的交通参与者；

其中，路侧设备中设置多种传感器，用于捕获环境信息，再通过特征提取模块从多种环境信息中提取特征，将图像特征和点云特征利用特征校准和融合模块融合，获得用于3D目标检测的多模态特征；路侧设备将计算获取的多模态特征及自身全局中心位置通过有线网络传输给网络拓扑内最近的路侧特征融合中心；路侧特征融合中心利用特征校准和融合模块对从各路侧设备发来的多模态特征进行融合，得到多源融合特征，将多源融合特征和自身全局中心位置广播出去；处于路侧特征融合中心服务范围内的交通参与者获取多源融合特征和路侧特征融合中心的全局中心位置；

步骤2，智能汽车利用特征提取模块对自身感知数据提取多源感知特征，在接收到路侧特征融合中心发送的多源融合特征后，与自身检测的多源感知特征利用特征校准和融合模块进行融合，以获得当前所在区域内全面的感知信息；

步骤3，实现路侧设备和智能汽车中的特征提取模块；所述特征提取模块包括点云特征提取模块和图像特征提取模块；点云特征提取模块对传感器获取的点云数据提取三维点云特征；图像特征提取模块对传感器获取图像提取二维图像特征；

步骤4，实现路侧设备、路侧特征融合中心和智能汽车中的特征校准和融合模块；所述特征校准和融合模块，针对点云特征图和图像特征图的融合，先根据点云特征图和图像特征图的校准矩阵获得两图的投影关系矩阵M，再基于元学习方法进行特征层级融合，包括：

(1)设由所述特征提取模块对点云数据采样的任一点p，提取得到点云特征Fp，则对应点p的图像特征F_I＝f(M×p)，f为图像特征提取模块的操作；

(2)将图像特征F_I通过全连接层生成卷积核的核参数，基于所述核参数生成1组1×1卷积，用于处理点云特征，1×1卷积输出融合了图像特征和点云特征的特征表示F；

步骤5，智能汽车根据从获得的当前所在区域的全面感知信息中，检测3D目标。

2.根据权利要求1所述的方法，其特征在于，所述的步骤3中，点云特征提取模块提取点云特征时，可分为三个步骤：(1)将点云帧进行体素化，然后将体素化数据输入卷积神经网络中，以提取每个体素块潜在目标对象的形状信息，生成体素块对应的邻域半径值；(2)通过最远点采样方法采样得到点云帧的全局关键点，将全局关键点投影至(1)得到的邻域半径网格中，得到自适应的半径值；(3)对每一关键点，在由(2)得到的邻域半径中采样N个邻域点，并通过最大池化maxPooling方法聚合N个邻域点特征，得到关键点特征；N为正整数。

3.根据权利要求2所述的方法，其特征在于，所述的步骤3中，点云特征提取模块中设置邻域半径生成模块，邻域半径生成模块仅采用两组稀疏卷积层提取体素潜在目标的形状尺度信息的相关特征，并修改最后一组稀疏卷积层的输出参数数量为1，直接产生邻域点相对于体素中心位置的邻域半径值。

4.根据权利要求1所述的方法，其特征在于，所述的步骤4中，对路侧设备中设置的每个传感器预先进行标定，获得相应的旋转矩阵和平移矩阵；特征校准和融合模块利用传感器的旋转矩阵和平移矩阵对不同传感器坐标下的特征进行坐标转换。

5.根据权利要求1或3所述的方法，其特征在于，所述的步骤4中，特征校准和融合模块，针对同质特征的融合，利用Transformer模型对输入的两组特征计算权重，再利用最大池化maxPooling方法进行特征融合。

6.根据权利要求1或3所述的方法，其特征在于，所述的步骤4中，特征校准和融合模块，针对同质特征的融合，利用Transformer模型对输入的两组特征计算权重，再利用均值方法进行特征融合。

7.根据权利要求1或3所述的方法，其特征在于，所述的步骤5中，检测3D目标时，使用四组稀疏卷积层从当前获得的区域全面感知信息中提取高级特征，每组稀疏卷积层都由一个步长为2的卷积层和两个步长为1的稀疏卷积构成；将获取的高级特征沿高度压缩映射至BEV平面，通过区域建议网络获取初始的检测框。

Images