CN110196593B

CN110196593B - 一种自动驾驶多场景环境检测及决策系统及方法

Info

Publication number: CN110196593B
Application number: CN201910409783.1A
Authority: CN
Inventors: 孙善宝; 张桂红; 于治楼
Original assignee: Shandong Inspur Science Research Institute Co Ltd
Current assignee: Inspur Smart Technology Innovation Shandong Co Ltd
Priority date: 2019-05-16
Filing date: 2019-05-16
Publication date: 2022-03-01
Anticipated expiration: 2039-05-16
Also published as: CN110196593A

Abstract

本发明涉及涉及云计算、大数据、深度学习和自动驾驶技术领域，特别涉及一种自动驾驶多场景环境检测及决策系统及方法。其系统包括云端中心和车载核心计算单元，所述的云端中心用于形成适合于边缘侧FPGA的模型，并形成不同场景下的模型选择规则和双路模型决策规则，连同所述的模型一起下发给自动驾驶汽车的车载核心计算单元；所述的车载核心计算单元根据不同的场景，动态选择模型加载，并完成车辆决策。本发明的一种自动驾驶多场景环境检测及决策系统及方法，在车辆侧计算单元采用FPGA方案，利用其功耗低、实时并行处理能力强的特点，设计双路FPGA完成模型推理，利用其动态可擦洗的能力，通过规则引擎选择加载最优的环境监测及决策模型，实现全场景下的自动驾驶。

Description

一种自动驾驶多场景环境检测及决策系统及方法

技术领域

本发明涉及涉及云计算、大数据、深度学习和自动驾驶技术领域，特别涉及一种自动驾驶多场景环境检测及决策系统及方法。

背景技术

近年来，互联网发展迅速，从PC互联网、移动互联网来到物联网时代，万物互联的时代已经到来，移动通信设备、物联网终端设备等各类异构设备连接到互联网，云端中心聚合了大量的物理硬件资源，并采用虚拟化技术实现了异构网络计算资源的统一的分配、调度和管理，集中建设数据中心大大降低了计算和存储的成本。随着人工智能技术的发展，特别是深度学习技术，其超强的进化能力，通过云端训练构建得到类似人脑结构的大规模卷积神经网络，给数据处理领域带来了创新性的发展。

FPGA(Field－Programmable Gate Array)，即现场可编程门阵列，是一种主要针对应用或功能要求可进行变成的半导体器件。现已广泛应用于异构加速领域，已经展现出相比通用处理器CPU更好的性能。CPU的设计主要针对逻辑计算，与CPU和GPU不同，FPGA是一种典型的非诺依曼架构，是硬件适配软件的模式，能够根据系统资源和算法特征灵活的调整并行度，达到最优的适配，因此能效比高于CPU和GPU。FPGA特别擅长数字信号处理，能够兼容多电平标准的接口，并能互联各种高速电子器件，比如高速光纤收发器等，其功耗低、成本小的特点更是其在很多领域得到了广泛的应用。

自动驾驶是汽车产业与人工智能、视觉计算、物联网、雷达、高精地图、高性能计算等新一代信息技术深度融合的产物,是当前全球汽车与交通出行领域智能化和网联化发展的主要方向，在没有任何人类主动的操作下，自动安全地操作机动车辆。相较于传统汽车，自动驾驶汽车增加了高清摄像头、激光雷达、高精度定位装置等核心传感器，并通过传感器实时采集数据，配合高精地图，利用车载核心计算单元进行实时高效的环境识别和推理决策，并反馈给车辆线控系统实现自动驾驶。未来L4级别以上的自动驾驶将覆盖全场景，适应晴天、阴天、雨天、雪天等不同天气场景，还需要考虑白天和夜间不同的光照效果，同时要兼顾自动驾驶车辆的常用行程，采用更加适合车辆常用时间和常用路径的模型。另一方面，受限于汽车的体积和能耗的要求，车载核心计算单元无法提供大量的计算资源，同时还要保证计算决策的高实时性和高可用性。在这种情况下，如何有效的利用FPGA，在有限的计算资源下，满足多场景自动驾驶的要求，更加高效合理的利用资源实现最优决策，并能保证车辆侧驾驶安全成为亟需解决的问题。

发明内容

为了解决现有技术的问题，本发明提供了一种自动驾驶多场景环境检测及决策系统及方法，由云端根据不同驾驶场景利用聚集的大量数据进行训练，产生针对具体车辆驾驶路径及驾驶环境的个性化模型，在车辆侧计算单元采用FPGA方案，利用其功耗低、实时并行处理能力强的特点，设计双路FPGA完成模型推理，利用其动态可擦洗的能力，通过规则引擎选择加载最优的环境监测及决策模型，实现全场景下的自动驾驶。同时根据车辆路径规划，提前加载模型，更加高效合理的利用计算资源，保证了决策推理的高可用性，最大程度的保障了自动驾驶车辆的行驶安全。

本发明所采用的技术方案如下：

一种自动驾驶多场景环境检测及决策系统，包括云端中心和车载核心计算单元，所述的云端中心用于形成适合于边缘侧FPGA的模型，并形成不同场景下的模型选择规则和双路模型决策规则，连同所述的模型一起下发给自动驾驶汽车的车载核心计算单元；所述的车载核心计算单元根据不同的场景，动态选择模型加载，并完成车辆决策。

云端中心聚集大量计算资源，通过海量车辆驾驶相关数据，根据不同的驾驶场景进行深度学习模型训练，将训练得到的模型进行裁剪优化，形成适合于边缘侧FPGA的模型。

自动驾驶车辆的车载核心计算单元将收集驾驶数据，定期上传到云端中心，用于模型及规则的持续优化。

车载核心计算单元包括硬件主机和计算单元，所述的计算单元包括双路FPGA推理单元，规则引擎模块、模型存储单元、数据存储单元、决策单元、总线车辆控制单元和传感数据采集单元，通过所述的传感数据采集单元完成传感数据的采集、多种传感设备数据的融合和协同，并根据预先设计的模型选择规则，通过规则引擎模块，动态加载云端训练的自动驾驶环境检测及决策控制模型，并完成实时推理决策，通过传感数据采集单元的CAN总线反馈给车辆线控系统，完成车辆控制响应；所述的模型选择规则是针对双路FPGA推理单元，根据推理结果，综合外部环境传感及道路规划，设定加载模型策略及决策策略。

车载核心计算单元还包括路径规划单元和高精地图融合单元，

多种传感设备为实现自动驾驶功能用到的传感设备，包括多路高清摄像头、激光雷达、毫米波雷达、高精度定位传感装置。

一种自动驾驶多场景环境检测及决策方法，包括以下步骤：

A、云端中心形成自动驾驶环境检测及决策模型；

B、云端中心形成多个适合自动驾驶不同场景、不同规格的模型；

C、云端中心将多个适合自动驾驶不同场景、不同规格的模型，利用大数据分析仿真，形成模型选择规则及双路模型决策规则；

D、自动驾驶汽车通过其车载核心计算单元从所述的云端中心下载相应的环境检测及决策模型，写入到本地模型存储单元中；

E、所述的自动驾驶汽车通过其车载核心计算单元从云端中心下载相应的模型选择规则及双路模型决策规则，并加载到规则引擎中；

F、所述的自动驾驶汽车设定目的地，通过车载核心计算单元获得最佳路线规划；

G、所述的车载核心计算单元通过核心传感器采集数据，所述的核心传感器包括多路高清摄像头、激光雷达、高精度定位传感装置；

H、所述的车载核心计算单元通过规则引擎根据外界环境以及路线规划数据，选择最佳方案，动态加载两路最优FPGA模型；

I、所述的自动驾驶车辆根据加载的两路最优FPGA模型，进行环境检测及决策，实时反馈给总线车辆控制服务；

J、所述的规则引擎将车辆决策及环境数据进行实时分析，结合路径规划，动态调整FPGA选择模型及决策规则，提前进行模型加载或替换现有模型；

K、所述的自动驾驶车辆到达目的地，将本次驾驶收集的核心驾驶数据压缩存储，定期上传到云端中心，用于云端自动驾驶模型的优化。

云端中心将形成的自动驾驶环境检测及决策模型，针对FPGA不同硬件，进行模型的剪枝优化

自动驾驶车辆在场景切换前后均采用单路识别和决策。

本发明提供的技术方案带来的有益效果是：

本发明公开了一种自动驾驶多场景环境检测及决策方法，针对不同自动驾驶场景，利用云端中心收集的海量驾驶相关数据进行模型训练，充分考虑晴天、阴天、雨天、雪天等天气因素，白天和夜间不同的光照效果因素，城市、乡村、山区、隧道、高速公路等路况因素，同时兼顾自动驾驶车辆的常用行程，形成分场景细粒度的个性化模型，并针对FPGA进行模型裁剪优化加工，最大限度的提高执行效率；通过利用大数据分析，形成基于场景、模型、环境数据、决策数据的模型选择及决策规则；车辆侧采用双路FPGA决策单元，配合规则引擎，利用了FPGA功耗低、实时并行处理能力强、动态可擦洗的特点，加载最优的环境监测及决策模型，实现全场景下的自动驾驶。根据车辆路径规划及采集的环境数据，提前加载模型或者替换更优模型，更加高效合理的利用了计算资源，在有限的计算资源下保证了决策推理的高可用性，最大程度的保障了自动驾驶车辆的行驶安全。另外，车辆收集的驾驶数据汇集到云端中心，用于自动驾驶模型的持续优化，以满足自动驾驶个性化的需求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种自动驾驶多场景环境检测及决策系统的系统组成示意图；

图2为本发明的一种自动驾驶多场景环境检测及决策系统的核心计算单元组成原理图；

图3为本发明的一种自动驾驶多场景环境检测及决策方法的方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

如图1中所示，云端中心聚集大量计算资源，通过海量车辆驾驶相关数据根据不同的驾驶场景进行深度学习模型训练，将训练得到的模型进行裁剪优化，形成适合于边缘侧FPGA的模型；通过云端大数据分析，综合各种环境因素，形成不同场景下模型选择的规则，连同模型一起下发给自动驾驶汽车。车载核心计算单元是实现自动驾驶功能的中心部件，根据不同的场景，动态选择模型加载，并完成车辆决策。另外，自动驾驶车辆将收集驾驶数据，定期上传到云端，用于模型及规则的持续优化。

云端中心提供大量的计算服务，收集来自各方的车辆驾驶数据，并根据不同的场景进行分类，以期在该场景下具有较好的环境识别及决策精度；通过大量数据进行训练产生多个场景下的模型，再利用云端的FPGA模型剪枝量化方案，对模型进行压缩优化，适合于自动驾驶车机端的要求；云端通过大数据分析，将多个场景下的模型进行融合，根据模型压缩精度、模型执行速度、模型大小、双模型融合后的决策规则等多种因素，形成模型选择规则；所述的云端针对自动驾驶不同场景下基于FPGA的环境检测及决策模型，下发到车辆自动驾驶计算单元，同时针对车辆自身的行驶历史及行驶习惯下发相应的规则；所述的自动驾驶车辆是具备自动驾驶功能的汽车，在传统的汽车上增加车载核心计算单元以及环境感知核心传感器；

如图2中所示，所述的车载核心计算单元由多个主机构成，并提供整个异构计算平台，是实现自动驾驶功能的中心部件，包含计算、存储和网络等物理硬件资源，同时也包括FPGA硬件加速资源；计算单元由双路FPGA推理单元，规则引擎模块、模型存储单元、数据存储单元、决策单元、网络模块等模块组成，并根据自动驾驶的需求，提供路径规划、高精地图融合、传感融合等功能；所述的核心传感器包含实现自动驾驶功能用到的传感设备，包括多路高清摄像头、激光雷达、毫米波雷达、高精度定位传感装置等传感设备；通过所述的车载核心计算单元完成传感数据的采集、多种传感设备数据的融合和协同，并根据预先设计的规则，通过规则引擎，动态加载云端训练的自动驾驶环境检测及决策控制模型，并完成实时推理决策，通过CAN总线反馈给车辆线控系统，完成车辆控制响应；所述的自动驾驶场景包含不同的天气场景，比如晴天、阴天、雨天、雪天等，白天、夜间、隧道等都有不同的光照效果，将不同光照条件范围训练不同的模型，并且选择不同的传感设备，例如雨天则毫米波雷达作用更大；同样的，城市环境、乡村环境、山区环境也需要不同的模型；所述的模型选择规则针对双路FPGA推理单元，根据推理结果，综合外部环境传感及道路规划，设定加载模型策略及决策策略；例如道路规划中会经过隧道，在进入隧道之前将其中一路FPGA推理单元加载适合隧道场景的模型，此时的自动驾驶车辆决策仅采用另一路FPGA推理单元；同样的，当车辆即将行驶出隧道，则其中一路FPGA推理单元提前加载正常行驶环境的模型。另外，通过所述的自动驾驶车辆收集驾驶数据并定期上传到云端，用于云端自动驾驶模型的优化。

为了描述清楚，以下提到的自动驾驶车辆采用激光雷达、毫米波雷达、高清摄像头、高精度GPS及北斗定位装置等传感设备，实时采集环境数据；通过外部传感器采集的数据通过环境识别，标注出人、车、物等信息，同时输出其判定概率，例如利用摄像头识别图片，区域内标注出行人，将其位置标出，并输出判定为行人的可能概率。本领域技术人员将理解的是，除了使用以上硬件设备之外，根据本发明的实施方式的构造也能够应用于其他自动驾驶应用之上。

实施例二

本实施例将结合具体对本发明提供的方法过程进行详细的说明。

一、多场景下的自动驾驶

参考图3，多场景下的自动驾驶包括以下步骤：

步骤101、所述的云端中心利用聚集的海量自动驾驶相关数据，根据不同的场景进行针对场景的模型训练，形成自动驾驶环境检测及决策模型；

步骤102、所述的云端中心将形成的模型，针对FPGA不同硬件，综合考虑模型精度、模型大小、执行速度等因素，进行模型的剪枝优化，形成多种适合自动驾驶不同场景、不同规格的模型；

步骤103、所述的云端中心将多个场景下的模型，利用大数据分析仿真，综合多种因素，形成模型选择规则及双路模型决策规则；

步骤104、所述的自动驾驶汽车根据其计算单元硬件情况、传感器情况、常用路径及历史行驶数据，从所述的云端中心下载相应的环境检测及决策模型，写入到本地模型存储单元中；

步骤105、所述的自动驾驶汽车从云端中心下载相应的模型选择规则及双路模型决策规则，并加载到规则引擎中；

步骤106、所述的自动驾驶汽车设定目的地，获得最佳路线规划；

步骤107、所述的车载核心计算单元通过所述的核心传感器采集数据，包括多路高清摄像头、激光雷达、高精度定位传感装置等核心传感器；

步骤108、所述的车载核心计算单元通过规则引擎根据外界环境以及路线规划数据，选择最佳方案，动态加载两路最优FPGA模型；

步骤109、所述的自动驾驶车辆根据加载的两路模型，进行环境检测及决策，实时反馈给所述的CAN总线车辆控制服务；

步骤110、所述的规则引擎将车辆决策及环境数据(包括天气、光照、路况等信息)进行实时分析，结合路径规划，动态调整FPGA选择模型及决策规则，提前进行模型加载或替换现有模型；

步骤111、所述的自动驾驶车辆在场景切换前后均采用单路识别和决策；

步骤112、所述的自动驾驶车辆到达目的地，将本次驾驶收集的核心驾驶数据压缩存储，定期上传到云端，用于云端自动驾驶模型的优化。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种自动驾驶多场景环境检测及决策方法，包括以下步骤：

A、云端中心形成自动驾驶环境检测及决策模型；

I、自动驾驶车辆根据加载的两路最优FPGA模型，进行环境检测及决策，实时反馈给总线车辆控制服务；

2.根据权利要求1所述的一种自动驾驶多场景环境检测及决策方法，其特征在于，所述的步骤B中，云端中心将形成的自动驾驶环境检测及决策模型，针对FPGA不同硬件，进行模型的剪枝优化，形成所述的多个适合自动驾驶不同场景、不同规格的模型。

3.根据权利要求1所述的一种自动驾驶多场景环境检测及决策方法，其特征在于，所述的自动驾驶车辆在场景切换前后均采用单路识别和决策。