CN114912532B - 一种自动驾驶汽车多源异构感知数据融合方法 - Google Patents

Abstract

本发明公开一种自动驾驶汽车多源异构感知数据融合方法，应用于自动驾驶系统环境感知领域，针对目前的感知融合策略没有在时延和感知范围取得平衡，导致要么系统时延，要么感知覆盖范围或感知精准度下降；本发明通过将区域内的所有自动驾驶车辆依据感知能力，以最低本地计算时延和最大感知覆盖率为目标，划分为感知车辆集合和计算车辆集合，感知车辆之间通过广播中间特征图的方式，实现共享多视角的感知结果，并在基于知识蒸馏的异构感知融合策略下进行协作融合，同时对点云数据和图像数据采用自注意力机制进行多尺度特征融合。计算过程中产生的复杂计算任务将以任务卸载的形式分发给邻近的计算车辆进行辅助计算。

Description

一种自动驾驶汽车多源异构感知数据融合方法

技术领域

本发明属于自动驾驶系统环境感知领域，特别涉及一种感知融合技术。

背景技术

自动驾驶汽车作为一种智能汽车，搭载了用于感知环境的各类传感器、用于决策和数据处理的计算模块等，有助于保障出行安全、减少交通事故、提高运输效率。而自动驾驶系统一般由感知层、决策层和执行层构成，其中感知层通过各类车载外部感知传感器收集车周边环境信息，如激光雷达LiDAR、摄像头、GPS、毫米波雷达都是常见的感知设备。如果没有对环境的正确认识，自动驾驶汽车将无法实现正确的控制以及后续调度、决策模块的计算进行。而单个自动驾驶汽车无法应对单一视野和极端天气影响：单辆自动驾驶汽车受视野遮挡和极端天气影响，影响了自动驾驶汽车的感知范围和感知精准度进而影响了安全性。多辆自动驾驶汽车协同感知可以扩大感知范围，但是目前的研究集中在使用同类型传感器产生的感知数据，忽视了自动驾驶汽车配备的多类型传感器产生数据的互补性。为此需要设计一种多车协同、多类型感知数据互补，从而扩大感知覆盖范围的融合策略。

多源异构的定义为对多辆CAV上的多种传感器所产生的感知数据进行融合，Wang在《V2vnet:Vehicle-to-vehicle communication for joint perception andpredictio》提出了V2VNet，使用了自动驾驶的3D点云数据，将车与车的消息传递应用在了空间感知图神经网络上，应用于自动驾驶中的联合感知和三维目标检测框的预测上。但是资源受限的自动驾驶汽车不能搭载计算密集型的复杂深度学习网络：单辆自动驾驶汽车作为边缘设备，在多源异构场景下的大量数据和计算任务下难以实时得出感知结果，进而影响整个自动驾驶系统的安全性。为此需要设计一种高效简单的轻量级学习网络或者对复杂网络进行压缩设计。

目前的感知融合策略没有在时延和感知范围取得平衡：现有的感知融合策略为了扩大感知覆盖范围，以减少盲区，会增加数据量或者增加计算的复杂度，从而导致系统时延的上升；另一方面，为了降低时延以满足自动驾驶的实时性，可以减少系统内计算任务的产生，但是将导致感知覆盖范围或感知精准度的下降。为此需要设计一种能够平衡感知覆盖范围和系统时延的方法，使得能够实现快速高效的融合。

发明内容

为解决上述技术问题，本发明提出一种使用任务卸载优化的自动驾驶汽车多源异构感知数据融合方法，能够平衡感知覆盖范围和系统时延，从而实现快速高效的融合。

本发明采用的技术方案为：一种使用任务卸载优化的自动驾驶汽车多源异构感知数据融合方法，包括：

A1：自动驾驶汽车将其位置信息和感知能力周期性通告给其所在区域内的RSU；

A2：RSU根据收到的信息，通过自动驾驶汽车多次检测结果的平均准确度来维护一个对应该自动驾驶汽车的感知置信度，结合感知能力，以最低系统时延和最大感知覆盖率为目标，将区域内的所有自动驾驶汽车划分为感知车辆集合和计算车辆集合；

A3：感知车辆集合中的自动驾驶汽车通过感知设备对周围的环境进行感知，产生原始感知数据；

A4：对原始感知数据进行处理；

A5：感知车辆集合中的自动驾驶车辆基于知识蒸馏的感知数据融合策略，根据步骤A4处理后的感知数据，得到对应的多视角的局部结果；

A6：感知车辆集合中的自动驾驶汽车会将多视角的局部结果广播至邻近的计算车辆集合中的自动驾驶汽车和RSU上。

步骤A5还包括将感知车辆集合中的自动驾驶汽车产生的计算任务，卸载到邻近的计算车辆集合中的自动驾驶汽车上。

然后感知车辆集合中的自动驾驶车辆使用基于知识蒸馏的感知数据融合策略，将经过预处理和传感器同步校准后的感知数据输入到训练好的学生模型中，并使用自注意力机制进行多尺度特征融合，得到对应的多视角的局部结果；

感知车辆集合中的自动驾驶汽车产生的复杂计算任务，通过任务卸载的方式卸载到邻近的计算车辆集合中的自动驾驶汽车上；

Step4：感知车辆集合中的自动驾驶汽车会将多视角的局部结果广播至邻近的计算车辆集合中的自动驾驶汽车和RSU上。

每辆自动驾驶车辆对应的感知设备包括：激光雷达LiDAR、摄像头、GPS、毫米波雷达。

还包括将城市道路按照RSU管理范围划分为多个区域。

本发明的有益效果：本发明设计了一种使用卸载优化的多源异构场景下的感知融合策略，目的是提升单辆自动驾驶汽车的感知覆盖范围，降低视野盲区从而提高自动驾驶系统的安全性；

1)为了平衡感知覆盖范围和系统时延，首先以最低本地计算时延和最大感知覆盖率为目标，划分区域内所有自动驾驶汽车为感知车辆集合和计算车辆集合，从而减少了系统的计算任务总量；

2)仅使用感知车辆集合中的自动驾驶汽车进行感知任务，对多辆自动驾驶汽车上多种类型的感知数据(雷达的点云数据、激光雷达的点云数据、摄像头的图像数据)使用知识蒸馏和自注意力机制相关技术进行了融合；

3)多辆自动驾驶汽车通过广播中间特征图的方式，将单一视角下的感知结果进行共享，使得单一自动驾驶汽车在协同感知下拥有了多视角的感知结果，从而扩大了单个自动驾驶汽车的感知覆盖范围；

4)通过基于自注意力机制的Transformer结构将图像数据和点云数据进行了多尺度特征融合，以及通过YOLO和PointPillar的目标检测所实现的目标级融合，提升了单个自动驾驶汽车的感知精准度；

5)引入了深度学习领域的知识蒸馏来解决资源受限的自动驾驶汽车不能搭载复杂深度学习网络的问题，通过将网络模型复杂、学习能力强的教师模型通过训练得到的“知识”迁移到学生模型中，使得单一视角感知数据输入的学生模型在被指导协作后可以拥有多视角的感知结果，达到全局视角感知数据输入的教师模型的性能，从而提升单个自动驾驶汽车的感知覆盖率；

6)同时系统中产生的大量计算任务将被卸载到邻近的计算车辆集合中以降低计算时延。

附图说明

图1是本发明的应用场景；

图2是本发明的方法流程图；

图3是基于知识蒸馏的异构感知融合策略的技术实现模型图；

图4是自注意力机制下的多尺度特征融合图；

图5是任务卸载流程时间模型示意图。

具体实施方式

为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。

由于传统自动驾驶感知融合策略未针对多源异构场景的感知数据进行考虑，以及忽略自动驾驶实时性和通信模型约束的问题，本发明提出了一种对多辆自动驾驶汽车上多种类型的感知数据进行融合的基于知识蒸馏的异构感知融合策略，并通过对系统中产生的计算任务进行卸载以降低系统时延。所以本发明采用分布式计算融合和集中式调度控制的方法来降低系统时延并扩大感知覆盖范围。

如图1所示为本发明的应用场景，在城市十字路口处，自动驾驶汽车可能受传感器单一视野感知数据输入或视野遮挡的影响，造成感知盲区；本发明方法所基于的系统主要包括：自动驾驶车辆、RSU以及通信网络系统，所述自动驾驶车辆具有分布式计算融合能力、感知能力；所述RSU能够根据感知能力进行车辆划分并计算任务卸载比例以及聚合目标检测结果；所述通信网络系统基于5G车联网通信模型构建得到。

本发明的工作原理为：本发明将城市道路按照RSU管理范围划分为多个区域，一个区域内的所有自动驾驶汽车都与RSU建立连接；每辆自动驾驶汽车根据自身的感知能力(传感器精度、感知范围、感知置信度)和位置，周期性向RSU汇报相关信息；RSU根据自动驾驶汽车的位置信息和感知能力信息，以最低本地计算时延和最大感知覆盖率为目标，将区域内的自动驾驶汽车划分为感知车辆集合和计算车辆集合；感知车辆集合中的自动驾驶汽车，将使用基于知识蒸馏的异构感知融合策略，将多类型感知数据进行融合，并以特征图共享的方式在多辆感知车辆之间进行协作感知。同时考虑到自动驾驶车辆间数据传输与通信的问题，将车联网通信模型加入到系统中，完善了在自动驾驶环境下的异构感知融合与任务卸载优化框架。

如图2所示，本发明的方法包括以下步骤：

1、当自动驾驶汽车进入RSU可通信的区域后(或者进入新区域导致切换RSU后)，会向区域内的RSU发送入网请求报文，接收到入网成功信息后，代表成功关联到RSU所在的区域。随后在车辆周期传输信道VPTCH周期性广播，周期广播的目的第一是为了向RSU汇报自己的位置同时汇报自己的感知能力(传感器类型、传感器数量、传感器精度、感知覆盖范围和感知置信度)；第二是为了将中间特征图进行共享，通过RSU合理分配的时频块，可以在几个周期内完成多组自动驾驶汽车的特征数据传输。

2、RSU收到携带位置和感知能力的报文后，会结合粒子群算法划分感知车辆集合和计算车辆集合，具体做法为先随机初始化20个粒子，第i个粒子表示为P_i＝[p_i1,p_i2....p_iN]，表示车辆选择概率的一组解；其中{p_ij}_j∈N表示第i个粒子(第i组)中第j辆自动驾驶汽车的选择概率，N为自动驾驶汽车总数目。

根据所有自动驾驶汽车的感知能力预估感知任务大小，同时会通过自动驾驶汽车多次检测结果的平均准确度AP(average precision)来维护一个对应该自动驾驶汽车的感知置信度，以最低系统时延和最大感知覆盖率为目标，通过多次迭代找出粒子群的最优解得出满足目标时的车辆选择概率。根据概率值是否大于ρ进行划分，划分为感知车辆集合和计算车辆集合。在下一时帧周期将计算结果通过下行传输控制信道通告区域内所有自动驾驶汽车。由此RSU通过集中式调度控制，兼顾了整个系统的时延和感知覆盖范围。

感知置信度的数值取上一次该自动驾驶汽车目标检测结果的平均准确度的数值。

自动驾驶汽车目标检测结果即通过学生模型头部网络分类回归的边界框。

ρ依据场景设定的划分值，数值一般选择概率集合中的上四分位数。

3、感知车辆集合中的自动驾驶汽车，将根据基于知识蒸馏的异构感知融合策略对周围环境进行感知，其中会对多种类型的感知数据进行融合，再将本车提取的中间特征图在车辆周期传输信道中进行共享，发送给区域内其他的感知车辆。自动驾驶汽车接收来自其他车的中间特征图后会按照教师模型的指导协作完成中间特征图的融合，以获得多视角的感知结果。同时因为计算车辆集合中的自动驾驶汽车作为闲置的计算资源，可以视为计算资源池，所以产生的计算任务可以直接被卸载到邻近的计算车辆集合的自动驾驶汽车上进行辅助计算；如图5所示，具体做法为：

发送方会在上行调度请求信道发送预约帧以请求发送数据时的资源(自动驾驶汽车已知接收方和需要发送任务数据的比例)。在下一时帧周期接收到来自RSU的下行传输控制帧后，会在对应车辆传输信道上的指定时频块上发送携带部分计算任务的数据帧。而计算车辆集合中的自动驾驶车辆则会在对应的时频资源块上接收来自感知车辆的数据帧。在完成卸载的计算任务后，计算车辆同样会先进行预约然后在从车辆传输信道上将计算结果回传给感知车辆。感知车辆集合中的自动驾驶汽车会将多视角的局部结果广播至邻近的计算车辆，邻近计算车辆经过传感器坐标系变换后同样得到感知结果；由此区域内自动驾驶汽车通过分布式计算融合获得了决策时需要使用到的感知结果。

本发明中邻近是以自动驾驶汽车的通信距离为准判断的，在通信距离内的视为邻近的计算车辆。

步骤2所述的分感知车辆集合和计算车辆集合，具体实现过程为：

考虑到区域并不需要所有的自动驾驶汽车同时参与感知，以最低本地计算时延和最大感知覆盖率为目标：

其中，为第i辆自动驾驶汽车的本地计算时延，其计算结果为产生的数据量和第i辆自动驾驶汽车CPU的计算频率的比值得出；N为整个区域内所有的自动驾驶汽车车辆数目；S_i代表第i辆自动驾驶汽车的感知覆盖范围；S₀代表整个区域的覆盖范围；area(·)为计算面积的函数；M为感知车辆集合的车辆数目。

在划分感知车辆集合和计算车辆集合的时候，会结合粒子群算法划分感知车辆集合和计算车辆集合，具体做法为先随机初始化20个粒子，第i个粒子表示为P_i＝[p_i1,p_i2....p_iN]，表示车辆选择概率的一组解；其中{p_ij}_j∈N表示第i个粒子中第j辆自动驾驶汽车的选择概率，N为自动驾驶汽车总数目。通过迭代求出划分方案的最优解，具体做法为基于感知置信度计算一个阈值，该阈值随着迭代次数会逐渐变大，阈值计算式为：

其中，ζ为阈值，δ_i为第i辆自动驾驶汽车的感知置信度，N为所有自动驾驶汽车车辆数目，Mean(·)为平均值函数。

每个粒子的随机概率若大于该阈值则设置权重为ω_H，否则为ω_L。小于阈值的次数若超过三分之一总迭代次数设置，则将该粒子进行舍弃，加快算法的运行时间。以本地计算时延小于约束值和系统感知覆盖率大于约束值为终止条件，求解得出在当前场景下满足最低本地计算时延和最大感知覆盖率的车辆选择概率。根据车辆选择概率结果是否大于ρ，将自动驾驶汽车划分为感知车辆集合和计算车辆集合。其中ρ的数值一般选取概率集合中的上四分位数作为数值。

步骤3所述的基于知识蒸馏的异构感知融合策略，具体实现过程为：

本发明需要对自动驾驶车辆建立多源异构场景下的知识蒸馏模型(师生模型)，如图5所示为基于知识蒸馏的异构感知融合策略的技术实现模型图。训练中拥有全局视角感知数据输入的教师模型通过知识蒸馏指导单一视角感知数据输入的学生模型进行协作，使得学生模型达到教师模型的性能，即通过多车协作拥有多视角的感知结果。而在测试和应用场景，则只需要使用到训练好的学生模型，无需教师模型参与。

学生模型会将单一视角下的点云数据通过体素化转换为有高度信息、几何信息的BEV(Bird Eye View,鸟瞰图)鸟瞰图，然后输入到主干网络和图像数据特征进行多尺度特征融合并最终提取特征图。之后会接收来自其他自动驾驶汽车的学生模型的中间特征图以更新本地的特征图，最终通过头部网络进行分类并回归边界框。

教师模型则是先聚合全局视角下所有自动驾驶汽车的激光雷达点云和雷达点云数据以获得全局视角下的点云，为了保证教师模型和学生模型具有相同分辨率大小的输入，所以需要将聚合全局视角后的点云数据BEV鸟瞰图进行裁剪，以获得和学生模型的局部视角同样分辨率大小、但具有更多信息的点云数据BEV鸟瞰图；同时图像数据特征和点云数据(BEV视角下的体素)特征将通过自注意力机制实现多尺度特征融合，最终输出特征图。教师模型将通过基于响应的知识蒸馏，使用该输出特征图来监督学生模型进行协作感知以获得和教师模型类似的性能表现。

在训练时，所有自动驾驶汽车共享相同的教师模型，并根据知识蒸馏得到训练好的学生模型；在实际测试和应用时，仅需要使用到学生模型，多辆自动驾驶汽车单一视角下感知数据输入的学生模型将通过共享协作，达到和全局视角下感知数据输入的教师模型一样的性能表现。训练中的损失将使用二分类交叉熵损失和Smooth L1损失和知识蒸馏损失共同计算：

其中，D(·)表示KL散度计算，和/>分别表示第i辆自动驾驶汽车在学生模型和教师模型特征图里第n个单元格的特征向量，Loss为求解和评估模型的损失函数；M为感知车辆集合的车辆数目；L_cls为二分类交叉熵损失，L_reg为回归损失，λ为知识蒸馏损失的超参数，取10⁵；L_KD为知识蒸馏损失；K×K为中间特征图的分辨率，也为特征向量的大小；σ(·)为对特征向量的softmax操作；

L_cls计算公式为：

其中，l_y为标签，N是总样本数，p_y为预测的分类置信度；

L_reg采用Smooth L1损失公式进行计算，计算公式为：

其中，Y_i,G_i分别为边界框坐标与GroundTruth的坐标，N_pos和N_neg分别为anchor中有无目标的样本数量；

为了解决图像数据与点云数据的多尺度特征融合问题，本发明选用了自注意力机制的方案，如图4所示，本发明首先将BEV点云数据的特征图和图像数据的特征图经过平均采样池化后转换为固定的特征图大小，然后堆叠形成由特征向量构成的线性序列，通过位置编码增加空间信息，可以根据序列中的离散标记推断出彼此的空间依赖性；然后通过注意力计算公式：

Q＝FⁱⁿM^q,K＝FⁱⁿM^k,V＝FⁱⁿM^v

其中，Fⁱⁿ表示输入序列，由特征图构成的线性序列和位置编码相加得出；Q、K、V表示注意力机制中的查询向量、键向量和值向量构成的矩阵；M^q、M^k、M^v为三个变换矩阵，作用为特征在变换矩阵所代表的向量空间进行投影以增大学习参数；D_k为键向量维度的平方根；T为矩阵的转置。

可以得出序列中特征向量彼此之间的内部相关性，再通过线性插值上采样恢复原尺寸特征图大小、1x1卷积核恢复维度信息。将经过自注意力机制的同尺度信息直接元素相乘到原尺寸特征图上，完成图像数据和点云数据的多尺度特征融合。最后输出的特征图为：

S_out＝MLP(·)+S_in

其中，MLP(·)为通过自注意力机制得到的特征图，S_in为主干网络中前一隐藏层的特征图；S_out为主干网络最后输出得到的特征图，结合了自注意力机制得到的特征图信息和S_in的特征图信息。

综上，本发明的方法，通过对异构感知数据融合与任务卸载优化，使得在多源异构场景下的自动驾驶汽车，不仅融合了多类型感知数据，还通过获取彼此的中间特征图进行了多车协同。从而使单一视角感知数据输入的自动驾驶汽车获得了多视角的感知结果，扩大了感知覆盖范围并减少视野盲区；同时通过任务卸载策略降低了区域内整体的系统时延，使得在满足自动驾驶系统实时性的要求下，扩大了整体的感知覆盖范围，提升了自动驾驶汽车的感知性能。

本发明的方法对应的伪代码如下：

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (8)

1.一种使用任务卸载优化的自动驾驶汽车多源异构感知数据融合方法，其特征在于，包括：

A1：自动驾驶汽车将其位置信息和感知能力周期性通告给其所在区域内的RSU；

A2：RSU根据收到的信息，以最低系统时延和最大感知覆盖率为目标，将区域内的所有自动驾驶汽车划分为感知车辆集合和计算车辆集合；

A3：感知车辆集合中的自动驾驶汽车通过感知设备对周围的环境进行感知，产生原始感知数据；

A4：对原始感知数据进行处理；

A5：感知车辆集合中的自动驾驶车辆基于知识蒸馏的感知数据融合策略，根据步骤A4处理后的感知数据，得到对应的多视角的局部结果；步骤A5所述知识蒸馏的感知数据融合策略，包括：一个教师模型，与感知车辆集合中的自动驾驶车辆数量相同的若干学生模型，每辆自动驾驶汽车对应一个学生模型；在训练过程中，所有自动驾驶汽车共享教师模型，并根据知识蒸馏得到各自训练好的学生模型；

在测试或实际应用中，感知车辆集合中的自动驾驶车辆根据各自训练好的学生模型得到各自对应的多视角的局部结果；测试或实际应用的具体过程为：

A51：感知车辆集合的各自动驾驶汽车对点云数据和图像数据，使用自注意力机制的Transformer进行融合和特征提取，得到各自对应的中间特征图；

A52：感知车辆集合中的各自动驾驶汽车广播其提取的中间特征图；

A53：感知车辆集合中的自动驾驶汽车接收到来自属于该感知车辆集合中的其他自动驾驶汽车的中间特征图后，通过知识蒸馏中的学生模型，得到多视角的感知数据；

A6：感知车辆集合中的自动驾驶汽车会将多视角的局部结果广播至邻近的计算车辆集合中的自动驾驶汽车和RSU上。

2.根据权利要求1所述的一种使用任务卸载优化的自动驾驶汽车多源异构感知数据融合方法，其特征在于，还包括：将感知车辆集合中的自动驾驶汽车产生的计算任务卸载至邻近的计算车辆集合中的自动驾驶汽车上进行辅助计算；计算车辆集合中的自动驾驶汽车在完成卸载的计算任务后，将计算结果回传给感知车辆集合中的自动驾驶汽车。

3.根据权利要求2所述的一种使用任务卸载优化的自动驾驶汽车多源异构感知数据融合方法，其特征在于，步骤A1之前还包括：将城市道路按照RSU管理范围划分为多个区域。

4.根据权利要求2所述的一种使用任务卸载优化的自动驾驶汽车多源异构感知数据融合方法，其特征在于，步骤A2具体为：

A21：RSU收到携带位置和感知能力的报文后，首先初始化粒子群，粒子群中每个粒子代表一种划分方案；

A22：根据所有自动驾驶汽车的感知能力预估感知任务大小，并通过自动驾驶汽车多次目标检测结果的平均准确度来维护一个对应该自动驾驶汽车的感知置信度，以最低系统时延和最大感知覆盖率为目标，

A23：通过多次迭代找出粒子群的最优解得出满足目标时的车辆选择概率；

A24：当自动驾驶汽车的车辆选择概率大于或等于设定阈值，则将该自动驾驶汽车划分至感知车辆集合，否则划分至计算车辆集合。

5.根据权利要求4所述的一种使用任务卸载优化的自动驾驶汽车多源异构感知数据融合方法，其特征在于，原始感知数据包括：点云数据与图像数据。

6.根据权利要求5所述的一种使用任务卸载优化的自动驾驶汽车多源异构感知数据融合方法，其特征在于，训练过程中的损失使用二分类交叉熵损失和Smooth L1损失和知识蒸馏损失共同计算：

其中，D(·)表示KL散度计算，和/>分别表示第i辆自动驾驶汽车在学生模型和教师模型特征图里第n个单元格的特征向量，Loss为求解和评估模型的损失函数；M为感知车辆集合的车辆数目；L_cls为二分类交叉熵损失，L_reg为回归损失，λ为知识蒸馏损失的超参数，取10⁵；L_KD为知识蒸馏损失；K×K为中间特征图的分辨率，也为特征向量的大小；σ(·)为对特征向量的softmax操作。

7.根据权利要求1所述的一种使用任务卸载优化的自动驾驶汽车多源异构感知数据融合方法，其特征在于，自注意力机制具体为：

B1、将点云数据的特征图和图像数据的特征图经过平均采样池化后转换为固定的特征图大小；

B2、将步骤B1得到的特征图通过堆叠形成由特征向量构成的线性序列，并通过位置编码增加空间信息；

B3、根据线性序列中的离散标记推断出线性序列中特征向量彼此之间的空间依赖性；

B4、通过注意力计算公式，得出线性序列中特征向量彼此之间的内部相关性；

B5、通过线性插值上采样恢复原尺寸特征图大小、1x1卷积核恢复维度信息；

B6、将经过自注意力机制的同尺度信息直接元素相乘到原尺寸特征图上，完成图像数据和点云数据的多尺度特征融合。

8.根据权利要求7所述的一种使用任务卸载优化的自动驾驶汽车多源异构感知数据融合方法，其特征在于，注意力计算公式为：

Q＝FⁱⁿM^q,K＝FⁱⁿM^k,V＝FⁱⁿM^v

其中，Fⁱⁿ表示输入序列，由特征图构成的线性序列和位置编码相加得出；Q、K、V表示注意力机制中的查询向量、键向量和值向量构成的矩阵；M^q、M^k、M^v为三个变换矩阵，作用为特征在变换矩阵所代表的向量空间进行投影以增大学习参数；D_k为键向量维度的平方根；T为矩阵的转置。