CN115824218A - 基于智能加速卡的地面无人平台自主导航系统设计方法 - Google Patents

Abstract

本发明涉及一种基于智能加速卡的地面无人平台自主导航系统设计方法，属于地面无人平台环境感知领域。本发明的自主导航系统包括目标识别算法、可视化模块、相机/激光雷达融合模块、目标区域生成模块、导航模块和规划模块，其中，目标识别算法、可视化模块运行于寒武纪智能加速卡MLU100中，相机/激光雷达融合模块、目标区域生成模块、导航模块和规划模块运行于自主导航计算机上。本发明以地面无人平台的自主避障为牵引，对通用目标检测算法YOLOv3进行适应性改造，实现了算法在国产智能芯片上的部署和移植。最后，通过图像和点云的融合策略，完成了二维图像位置向三维空间位置的映射，实现目标检测，以此完成相应的自主导航任务。

Description

基于智能加速卡的地面无人平台自主导航系统设计方法

技术领域

本发明属于地面无人平台环境感知领域，具体涉及一种基于智能加速卡的地面无人平台自主导航系统设计方法。

背景技术

地面无人平台在实际作战场景中，能够利用自身的环境感知设备，如激光雷达、相机、毫米波雷达和红外相机等，感知敌我双方的装甲车辆或士兵目标，以此进行自主导航行驶。准确高效地识别感兴趣目标的位置是地面无人平台自主导航系统能力提升的关键。Grishick首次将卷积神经网络用于目标检测，代替传统手工设计的描述子提取目标特征，提升了目标检测的速率和精度。随后，国外学者又提出YOLO系列、SSD系列模型，能够同时兼顾目标检测的速度和精度，达到了实时性检测需求。

地面无人的环境感知能力除了依赖目标检测算法的提升外，也需要具备强大并行运算能力的硬件支撑。英伟达公司的边缘计算设备Xavier的计算能力能够达到30TOPS，典型运行状态下的功率为30W；特斯拉公司的计算设备的计算能力能够达到144TOPS，典型运行状态下的功率为72W，主要用于提升量产车型的环境感知能力。

为了满足地面无人平台恶劣的工作环境，必须对边缘计算设备进行物理封装，以满足冲击振动、高低温、天候和电磁干扰等相关要求。目前边缘计算设备为了提高计算能力，功率也相应增加，而地面无人平台内部紧凑布局不利于封装后的边缘计算设备散热，相应地抑制了算力的进一步提升。同时，针对地面无人平台关键技术的逐步突破，开展装备型号研制是未来的发展趋势。为此，本发明以装备的国产化需求为牵引和驱动，开展国产智能加速卡的研究和目标识别算法适配性移植和部署，实现目标识别算法与自主导航系统软件的系统集成，提供一种低功耗、高算力的自主导航系统集成方案。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是如何提供一种基于智能加速卡的地面无人平台自主导航系统设计方法，以解决国产智能加速卡的研究和目标识别算法适配性移植和部署问题。

(二)技术方案

为了解决上述技术问题，本发明提出一种基于智能加速卡的地面无人平台自主导航系统部署方法，该方法包括如下步骤：

S11、选择寒武纪智能加速卡MLU100作为通用处理器的外接设备，通过PCIe总线完成自主导航计算机上的处理器和加速卡之间的信息交互，实现加速卡的系统集成；

S12、UNREAL半实物仿真和物理环境下采集装甲车辆图像，通过OpenCV开源库对原始数据进行增加；

S13、利用Labelme工具对图像中的装甲车辆进行标注，根据装甲车辆在图像中的项目位置和装甲车类别制作JSON文件，形成自制装甲车辆数据集；VOC2007、VOC2012图像检测公开数据集与自制装甲车辆数据集进行结合，形成多类样本数据库，构成YOLOv3识别模型的训练与测试数据，其中的80％用于训练，20％用于测试；

S14、在通用服务器上部署基于残差神经网络改进的Darknet53框架下的YOLOv3识别算法，并对上述数据集进行迭代训练，初始学习率设为0.001，遗忘因子设为0.9，迭代次数设为50000，训练过程中通过平均准确率自适应调整训练参数，使用多尺度训练、多标签分类方法得到最终的目标识别模型；

S15、通过工具darknet2caffe-yolov3.py将通用服务器Darknet框架下的目标识别模型转为Caffe架构下的模型；

S16、调整生成的YOLOv3模型文件；首先修改输入层，设置输出图片为[13416416]，新增RGB三通道均值和标准差为[0000.00392]；再修改上采样层，先将两个采样层的类型“Upsample”修改为“Interp”，再分别将采样层尺寸参数“upsample_param”{scale:2}修改为“interp_param”{height:26width:26}和{height:52width:52}；然后修改卷积“convolution”层，将“num_output”的值修改为3×(类别数目21+5)＝78；最后修改yolov3参数层，将识别类别修改为21，实现模型适配工作；

S17、国产智能计算加速卡MLU100采用多核处理架构，采用数据并行和模型并行的方式运行；

S18、通过离线模型转换工具将Caffe框架下训练出来的.caffemodel模型进行转换，将基本算子、融合算子、MLU核版本、权重、输入/输出数据尺寸、参数信息、模型版本和MLU指令集成到模型中,使得目标检测算法彻底脱离机器学习库和深度学习框架运行,直接调用寒武纪智能加速卡的底层并行计算库；

S19、开发应用程序，包括前处理、后处理、推理三部分；前处理部分负责采集场景中的图片帧并将其转化为预设尺寸；推理部分负责加载YOLOv3算法离线模型，并分配输入、输出数据内存,以及绑定加速卡设备和环境变量，最后通过CNRT(Cambricon NeuwareRuntime Library)和驱动交给MLU100智能加速卡进行推理识别，后处理负责将推理的结果进行显示，结果为目标检测的边界框。

一种基于智能加速卡的地面无人平台自主导航系统目标识别与定位方法，该自主导航系统包括目标识别算法、可视化模块、相机/激光雷达融合模块、目标区域生成模块、导航模块和规划模块，该方法包括如下步骤：

S21、将目标识别算法、可视化模块部署于于寒武纪智能加速卡MLU100中，相机/激光雷达融合模块、目标区域生成模块、导航模块和规划模块部署于自主导航计算机上，自主导航系统的各模块采用Dnet的进程间通信方式；

S22、设计集成方案硬件接口，包括各种传感器、通信设备和自主导航计算机，网络交换机负责自主导航计算机、网口传感器、视频处理设备以及通信设备之间的数据交换；

S23、设计集成方案软件接口，整个软件架构采用分层结构，自底向上分别是操作系统层、通信中间件层和应用层；

S24、设计相机/激光雷达融合模块，国产智能加速卡负责目标检测，通过Dnet中间件将输出的目标边界框的像素坐标发送到自主导航计算机的相机/激光雷达融合模块；自主导航计算机的相机/激光雷达融合模块负责将激光雷达采集的点云数据进行聚类；

S25、通过激光雷达和相机标定，获得相机点云数据到图像坐标系的转换矩阵；以此将聚类后的目标点云中心点坐标投影到相机采集的图像帧，即将三维空间坐标转换为二维像素坐标；

S26、相机/激光雷达融合模块根据国产智能加速卡识别的像素坐标和投影后的点云坐标，计算两者的欧式距离,以最近距离判断投影后的点云坐标和图像识别坐标的映射关系，进而提取场景中目标的三维位置。

一种基于智能加速卡的地面无人平台自主导航系统自主导航行驶方法，该方法包括如下步骤：

S31、由于相机/激光雷达融合模块构建的目标三维位置属于激光雷达坐标系，而地面无人平台的导航模块是基于经度、纬度的全局坐标系，将激光雷达坐标下目标的位置转换到全局坐标系下；

S32、根据相机/激光雷达融合模块结果，知道已识别的目标属于那一类点云，进而获取目标三维坐标的边界值，包括x_min,x_max,y_min,y_max,z_min,z_max，生成大量的点云数据，通过Dnet通信机制发送到车载程序的建图模块；

S33、将地图分类器通过性成本进行相加，获得最终的成本地图，作为局部路径规划器的输入；动态在线生成一簇三次贝塞尔曲线备选路径，并通过最大曲率、成本地图、路径偏置距离准则优选当前可执行路径；

S34、针对优化后的最优可执行路径，设定末端点的目标速度为零，而从当前速度到零需要经历三个阶段，即分为加速行驶、匀速行驶和减速行驶三个阶段，计算出地面无人平台在每个位置应达到的速度，结合纯跟踪算法和目标点的位置，生成每个位置的应达到的曲率；

S35、通过CAN通信将速度、曲率下发到地面无人平台的VCU控制器，其基于整车动力学模型的运动控制算法，完成期望转速获取、前馈转矩计算、反馈转矩计算等，实现对6轮独立驱动电机的转矩动态分配，进而控制地面无人平台自主行驶。

(三)有益效果

本发明提出一种基于智能加速卡的地面无人平台自主导航系统设计方法，本发明的方法选择国产智能加速卡作为硬件支撑，构建了地面无人平台的自主导航系统。以地面无人平台的自主避障为牵引，对通用目标检测算法YOLOv3进行适应性改造，实现了算法在国产智能芯片上的部署和移植。最后，通过图像和点云的融合策略，完成了二维图像位置向三维空间位置的映射，实现目标检测，以此完成相应的自主导航任务。

附图说明

图1为本发明的集成寒武纪智能加速卡的计算机；

图2为本发明的计算机体系结构；

图3为训练和测试数据集；

图4为YOLOv3结构图；

图5为数据并行度；

图6为模型并行度；

图7为目标推理识别过程；

图8为总体集成方案；

图9为硬件架构；

图10为软件架构；

图11为自主导航系统示意图；

图12为实验室测试场景；

图13为坐标转换示意图。

具体实施方式

为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明的目的是设计基于国产智能加速卡的自主导航系统，实现对地面无人平台应用场景中目标检测，以此完成自主避障任务。

本发明的自主导航系统为一套软件系统，包括目标识别算法、可视化模块、相机/激光雷达融合模块、目标区域生成模块、导航模块和规划模块，其中，目标识别算法、可视化模块运行于寒武纪智能加速卡MLU100中，相机/激光雷达融合模块、目标区域生成模块、导航模块和规划模块运行于自主导航计算机上。

本发明的基于智能加速卡的地面无人平台自主导航系统设计方法包括：目标识别算法适配性移植和部署方法、自主导航系统实现目标识别与定位的方法、以及自主导航行驶方法。

目标识别算法适配性移植和部署方法的步骤如下：

S11、选择寒武纪智能加速卡MLU100作为通用处理器的外接设备，通过PCIe总线完成自主导航计算机上的处理器和加速卡之间的信息交互，实现加速卡的系统集成，如图1所示。整个系统自底向上可以分为硬件层、系统层、API层、框架层以及应用层，如图2所示。

S12、UNREAL半实物仿真和物理环境下采集装甲车辆图像，共计生成2000张图像。通过OpenCV开源库实施剪切、平移、旋转、镜像、调整亮度和增加噪声等方法对原始数据进行增加，动态生成5000余张装甲车辆图像。

S13、利用Labelme工具对图像中的装甲车辆进行标注，根据装甲车辆在图像中的项目位置和装甲车类别制作JSON文件，形成自制装甲车辆数据集。VOC2007、VOC2012图像检测公开数据集与自制装甲车辆数据集进行结合，形成人、鸟、猫、牛、狗、马、羊、飞机、自行车、船、公共汽车、汽车、摩托车、火车、瓶子、椅子、餐桌、盆栽、沙发、显示器、装甲车共21类样本数据库，构成YOLOv3识别模型的训练与测试数据，其中的80％用于训练，20％用于测试，共计24316张图片，如图3所示。

S14、通用服务器上部署基于残差神经网络改进的Darknet53框架下的YOLOv3识别算法，并对上述数据集进行迭代训练。初始学习率设为0.001，遗忘因子设为0.9，迭代次数设为50000，训练过程中通过平均准确率自适应调整训练参数，使用多尺度训练、多标签分类方法得到最终的目标识别模型。

S15、通过工具darknet2caffe-yolov3.py将通用服务器Darknet框架下的目标识别模型转为Caffe架构下的模型。

python darknet2caffe-yolov3.py yolov3-voc.cfg yolov3-voc_final.weights yolov3-voc.prototxtyolov3-voc_final.caffemodel

S16、调整生成的YOLOv3模型文件，网络结构图如图4所示。首先修改输入层，设置输出图片为[13416416]，新增RGB三通道均值和标准差为[0000.00392]；再修改上采样层，先将两个采样层的类型“Upsample”修改为“Interp”，再分别将采样层尺寸参数“upsample_param”{scale:2}修改为“interp_param”{height:26width:26}和{height:52width:52}；然后修改卷积“convolution”层，将“num_output”的值修改为3×(类别数目21+5)＝78；最后修改yolov3参数层，将识别类别修改为21，实现模型适配工作。

S17、国产智能计算加速卡MLU100采用多核处理架构，可以分为数据并行和模型并行，如图5、6所示。针对目标检测的实时性要求，设置最大模型并行度，对YOLOv3模型进行分割，以便启动多个运算核计算不同的输入数据，完成模型在不同的核上的并行运算，实现运算核数的最大利用，从而降低时延。

S18、通过离线模型转换工具将Caffe框架下训练出来的.caffemodel模型进行转换，将基本算子、融合算子、MLU核版本、权重、输入/输出数据尺寸、参数信息、模型版本和MLU指令等集成到模型中,使得目标检测算法彻底脱离机器学习库和深度学习框架运行,直接调用寒武纪智能加速卡的底层并行计算库，提供算法执行效率。

./builf_offline.sh tool/caffe/genoff-model yolov3-voc.prototxt-weights yolov3-voc_final.caffemodel-mcore MLU100-mname yolov3-voc_final_offline-model_parallel2

S19、开发应用程序，主要包括前处理、后处理、推理三部分。前处理部分负责采集场景中的图片帧并将其转化为预设尺寸；推理部分负责加载YOLOv3算法离线模型，并分配输入、输出数据内存,以及绑定加速卡设备和环境变量，最后通过CNRT(CambriconNeuwareRuntime Library)和驱动交给MLU100智能加速卡进行推理识别，后处理负责将推理的结果(目标检测的边界框)进行显示，流程如图7所示。

自主导航系统实现目标识别与定位的方法步骤如下：

S21、将地面无人平台的车载自主导航计算机替换为集成国产智能加速卡的计算机，并且把自主导航系统软件全部移植到集成国产智能加速卡的计算机上(后续称作自主导航计算机)，所有的数据处理全部在一台计算机上完成，集成方案如图8所示。自主导航系统的各模块采用Dnet的进程间(IPC)通信方式，部分参数设置如下所示：

1)设置目标识别模块的通信地址：

#defineADDR_MLU100_IPC"ADDR_MLU100_IPC"

2)设置相机/激光雷达融合模块通信地址：

#defineADDR_AUTO_CONTROL_IPC"ADDR_AUTO_CONTROL_IPC"

3)通过进程间通信传输协议将已识别目标框中心的像素点发送给相机/激光雷达融合模块，设置目标中心像素点坐标的数据格式：

4)相机/激光雷达融合模块通过进程间通信传输协议将获取的已识别目标中心位置发送给可视化模块，使得融合算法结果可视化，设置激光雷达坐标系统下目标中心点坐标的数据格式：

S22、设计集成方案硬件接口，主要包括各种传感器、通信设备和自主导航计算机，如图9所示。网络交换机负责自主导航计算机、网口传感器、视频处理设备以及通信设备之间的数据交换；自主导航计算机负责所有运行软件部署；多线激光雷达和感知相机通过网口与自主导航计算机连接，为环境感知模块提供测量信息；多个遥控相机通过SDI接口与视频处理设备连接，通过图像拼接，为人员进行远程驾驶操控提供较大视野；定位设备采用GNSS/INS组合定位方案，与自主导航计算机通过RS422接口进行连接；底盘管控计算机采用嵌入式系统，与自主导航计算机通过网口连接，负责接收自主导航计算机的运动控制指令和远程操控系统的遥控指令，控制底盘系统进行机动，并反馈相关状态信息。

S23、设计集成方案软件接口。整个软件架构采用分层结构，自底向上分别是操作系统层、通信中间件层和应用层,如图10所示。其中，操作系统采用Ubuntu16.04系统，通信中间件采用Dnet，应用包括实现特定功能的多个软件构件，分属于不同的功能模块，多线雷达采集构件、多线雷达数据采集构建、相机数据采集构建、路径跟踪构件、目标识别与定位构件、地图导航构建等均以独立的进程运行，采用无中心的拓扑结构，均部署在自主导航计算机上。

S24、设计相机/激光雷达融合模块，如图11所示。国产智能加速卡负责目标检测，通过Dnet中间件将输出的目标边界框的像素坐标发送到自主导航计算机的相机/激光雷达融合模块；自主导航计算机的相机/激光雷达融合模块负责将激光雷达采集的点云数据进行聚类。

S25、通过激光雷达和相机标定，获得相机点云数据到图像坐标系的转换矩阵。以此将聚类后的目标点云中心点坐标投影到相机采集的图像帧，即将三维空间坐标转换为二维像素坐标。

S26、相机/激光雷达融合模块根据国产智能加速卡识别的像素坐标和投影后的点云坐标，计算两者的欧式距离。以最近距离判断投影后的点云坐标和图像识别坐标的映射关系，进而提取场景中目标的三维位置，实验室测试场景如图12所示。

自主导航行驶方法步骤如下：

S31、由于相机/激光雷达融合模块构建的目标三维位置属于激光雷达坐标系，而地面无人平台的导航模块是基于经度、纬度的全局坐标系。因此，通过公式将激光雷达坐标下目标的位置转换到全局坐标系下，如图13所示。

式中，o_l-x_l-y_l为激光雷达坐标系；o-x-y为全局坐标系，即墨卡托坐标系，通过定位设备获取位置信息；α为地面无人平台的航向角；b为地面无人平台质心到激光雷达中心的纵向距离；(x_l,y_l)为目标在激光雷达坐标系下的位置；(x_v,y_v)为地面无人平台的质心坐标；(x,y)为目标在墨卡托坐标系下的位置。

S32、根据相机/激光雷达融合模块结果，可以知道已识别的目标属于那一类点云，进而获取目标三维坐标的边界值(包括x_min,x_max,y_min,y_max,z_min,z_max)。为方便在地图上显示目标信息，假设所有目标近似为圆柱体，以目标中心坐标(a,b,c)为圆心，以y_min、y_max之间的距离表示目标的直径，以z_min、z_max之间的距离表示目标的高度，生成大量的点云数据，通过Dnet通信机制发送到车载程序的建图模块。

S33、将地图分类器通过性成本进行相加，获得最终的成本地图，作为局部路径规划器的输入。动态在线生成一簇三次贝塞尔曲线备选路径，并通过最大曲率、成本地图、路径偏置距离准则优选当前可执行路径。

S34、针对优化后的最优可执行路径，设定末端点的目标速度为零，而从当前速度到零需要经历三个阶段，即分为加速行驶、匀速行驶和减速行驶三个阶段，计算出地面无人平台在每个位置应达到的速度，结合纯跟踪算法和目标点的位置，生成每个位置的应达到的曲率。

S35、通过CAN通信将速度、曲率下发到地面无人平台的VCU控制器，其基于整车动力学模型的运动控制算法，完成期望转速获取、前馈转矩计算、反馈转矩计算等，实现对6轮独立驱动电机的转矩动态分配，进而控制地面无人平台自主行驶。

本发明的方法选择国产智能加速卡作为硬件支撑，构建了地面无人平台的自主导航系统。以地面无人平台的自主避障为牵引，对通用目标检测算法YOLOv3进行适应性改造，实现了算法在国产智能芯片上的部署和移植。最后，通过图像和点云的融合策略，完成了二维图像位置向三维空间位置的映射，实现目标检测，以此完成相应的自主导航任务。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于智能加速卡的地面无人平台自主导航系统部署方法，其特征在于，该方法包括如下步骤：

S11、选择寒武纪智能加速卡MLU100作为通用处理器的外接设备，通过PCIe总线完成自主导航计算机上的处理器和加速卡之间的信息交互，实现加速卡的系统集成；

S12、UNREAL半实物仿真和物理环境下采集装甲车辆图像，通过OpenCV开源库对原始数据进行增加；

S13、利用Labelme工具对图像中的装甲车辆进行标注，根据装甲车辆在图像中的项目位置和装甲车类别制作JSON文件，形成自制装甲车辆数据集；VOC2007、VOC2012图像检测公开数据集与自制装甲车辆数据集进行结合，形成多类样本数据库，构成YOLOv3识别模型的训练与测试数据，其中的80％用于训练，20％用于测试；

S14、在通用服务器上部署基于残差神经网络改进的Darknet53框架下的YOLOv3识别算法，并对上述数据集进行迭代训练，初始学习率设为0.001，遗忘因子设为0.9，迭代次数设为50000，训练过程中通过平均准确率自适应调整训练参数，使用多尺度训练、多标签分类方法得到最终的目标识别模型；

S15、通过工具darknet2caffe-yolov3.py将通用服务器Darknet框架下的目标识别模型转为Caffe架构下的模型；

S16、调整生成的YOLOv3模型文件；首先修改输入层，设置输出图片为[13416416]，新增RGB三通道均值和标准差为[0000.00392]；再修改上采样层，先将两个采样层的类型“Upsample”修改为“Interp”，再分别将采样层尺寸参数“upsample_param”{scale:2}修改为“interp_param”{height:26width:26}和{height:52width:52}；然后修改卷积“convolution”层，将“num_output”的值修改为3×(类别数目21+5)＝78；最后修改yolov3参数层，将识别类别修改为21，实现模型适配工作；

S17、国产智能计算加速卡MLU100采用多核处理架构，采用数据并行和模型并行的方式运行；

S18、通过离线模型转换工具将Caffe框架下训练出来的.caffemodel模型进行转换，将基本算子、融合算子、MLU核版本、权重、输入/输出数据尺寸、参数信息、模型版本和MLU指令集成到模型中,使得目标检测算法彻底脱离机器学习库和深度学习框架运行,直接调用寒武纪智能加速卡的底层并行计算库；

S19、开发应用程序，包括前处理、后处理、推理三部分；前处理部分负责采集场景中的图片帧并将其转化为预设尺寸；推理部分负责加载YOLOv3算法离线模型，并分配输入、输出数据内存,以及绑定加速卡设备和环境变量，最后通过CNRT(Cambricon Neuware RuntimeLibrary)和驱动交给MLU100智能加速卡进行推理识别，后处理负责将推理的结果进行显示，结果为目标检测的边界框。

2.如权利要求1所述的基于智能加速卡的地面无人平台自主导航系统部署方法，其特征在于，所述步骤S12中，通过OpenCV开源库实施剪切、平移、旋转、镜像、调整亮度和增加噪声对原始数据进行增加，动态生成5000余张装甲车辆图像。

3.如权利要求1所述的基于智能加速卡的地面无人平台自主导航系统部署方法，其特征在于，所述步骤S13中，形成人、鸟、猫、牛、狗、马、羊、飞机、自行车、船、公共汽车、汽车、摩托车、火车、瓶子、椅子、餐桌、盆栽、沙发、显示器、装甲车共21类样本数据库。

4.如权利要求1所述的基于智能加速卡的地面无人平台自主导航系统部署方法，其特征在于，所述步骤S17中，针对目标检测的实时性要求，设置最大模型并行度，对YOLOv3模型进行分割，以便启动多个运算核计算不同的输入数据，完成模型在不同的核上的并行运算。

5.一种基于智能加速卡的地面无人平台自主导航系统目标识别与定位方法，其特征在于，该自主导航系统包括目标识别算法、可视化模块、相机/激光雷达融合模块、目标区域生成模块、导航模块和规划模块，该方法包括如下步骤：

S21、将目标识别算法、可视化模块部署于于寒武纪智能加速卡MLU100中，相机/激光雷达融合模块、目标区域生成模块、导航模块和规划模块部署于自主导航计算机上，自主导航系统的各模块采用Dnet的进程间通信方式；

S22、设计集成方案硬件接口，包括各种传感器、通信设备和自主导航计算机，网络交换机负责自主导航计算机、网口传感器、视频处理设备以及通信设备之间的数据交换；

S23、设计集成方案软件接口，整个软件架构采用分层结构，自底向上分别是操作系统层、通信中间件层和应用层；

S24、设计相机/激光雷达融合模块，国产智能加速卡负责目标检测，通过Dnet中间件将输出的目标边界框的像素坐标发送到自主导航计算机的相机/激光雷达融合模块；自主导航计算机的相机/激光雷达融合模块负责将激光雷达采集的点云数据进行聚类；

S25、通过激光雷达和相机标定，获得相机点云数据到图像坐标系的转换矩阵；以此将聚类后的目标点云中心点坐标投影到相机采集的图像帧，即将三维空间坐标转换为二维像素坐标；

S26、相机/激光雷达融合模块根据国产智能加速卡识别的像素坐标和投影后的点云坐标，计算两者的欧式距离,以最近距离判断投影后的点云坐标和图像识别坐标的映射关系，进而提取场景中目标的三维位置。

6.如权利要求5所述的基于智能加速卡的地面无人平台自主导航系统部署方法，其特征在于，所述步骤S21具体包括：

设置目标识别模块的通信地址；

设置相机/激光雷达融合模块通信地址；

通过进程间通信传输协议将已识别目标框中心的像素点发送给相机/激光雷达融合模块，设置目标中心像素点坐标的数据格式；

相机/激光雷达融合模块通过进程间通信传输协议将获取的已识别目标中心位置发送给可视化模块，使得融合算法结果可视化，设置激光雷达坐标系统下目标中心点坐标的数据格式。

7.如权利要求5所述的基于智能加速卡的地面无人平台自主导航系统部署方法，其特征在于，所述步骤S22中，自主导航计算机负责所有运行软件部署；多线激光雷达和感知相机通过网口与自主导航计算机连接，为环境感知模块提供测量信息；多个遥控相机通过SDI接口与视频处理设备连接，通过图像拼接，为人员进行远程驾驶操控提供较大视野；定位设备采用GNSS/INS组合定位方案，与自主导航计算机通过RS422接口进行连接；底盘管控计算机采用嵌入式系统，与自主导航计算机通过网口连接，负责接收自主导航计算机的运动控制指令和远程操控系统的遥控指令，控制底盘系统进行机动，并反馈相关状态信息。

8.如权利要求5所述的基于智能加速卡的地面无人平台自主导航系统部署方法，其特征在于，所述步骤S23中，操作系统采用Ubuntu16.04系统，通信中间件采用Dnet，应用包括实现特定功能的多个软件构件，分属于不同的功能模块，多线雷达采集构件、多线雷达数据采集构建模块、相机数据采集构建模块、路径跟踪构件、目标识别与定位构件、地图导航构建模块均以独立的进程运行，采用无中心的拓扑结构，均部署在自主导航计算机上。

9.一种基于智能加速卡的地面无人平台自主导航系统自主导航行驶方法，其特征在于，该方法包括如下步骤：

S31、由于相机/激光雷达融合模块构建的目标三维位置属于激光雷达坐标系，而地面无人平台的导航模块是基于经度、纬度的全局坐标系，将激光雷达坐标下目标的位置转换到全局坐标系下；

S32、根据相机/激光雷达融合模块结果，知道已识别的目标属于那一类点云，进而获取目标三维坐标的边界值，包括x_min,x_max,y_min,y_max,z_min,z_max，生成大量的点云数据，通过Dnet通信机制发送到车载程序的建图模块；

S33、将地图分类器通过性成本进行相加，获得最终的成本地图，作为局部路径规划器的输入；动态在线生成一簇三次贝塞尔曲线备选路径，并通过最大曲率、成本地图、路径偏置距离准则优选当前可执行路径；

S34、针对优化后的最优可执行路径，设定末端点的目标速度为零，而从当前速度到零需要经历三个阶段，即分为加速行驶、匀速行驶和减速行驶三个阶段，计算出地面无人平台在每个位置应达到的速度，结合纯跟踪算法和目标点的位置，生成每个位置的应达到的曲率；

S35、通过CAN通信将速度、曲率下发到地面无人平台的VCU控制器，其基于整车动力学模型的运动控制算法，完成期望转速获取、前馈转矩计算、反馈转矩计算等，实现对6轮独立驱动电机的转矩动态分配，进而控制地面无人平台自主行驶。

10.如权利要求9所述的基于智能加速卡的地面无人平台自主导航系统自主导航行驶方法，其特征在于，所述步骤S31具体包括：通过如下公式将激光雷达坐标下目标的位置转换到全局坐标系下，

式中，o_l-x_l-y_l为激光雷达坐标系；o-x-y为全局坐标系，即墨卡托坐标系，通过定位设备获取位置信息；α为地面无人平台的航向角；b为地面无人平台质心到激光雷达中心的纵向距离；(x_l,y_l)为目标在激光雷达坐标系下的位置；(x_v,y_v)为地面无人平台的质心坐标；(x,y)为目标在墨卡托坐标系下的位置。

Images