CN110196593A - 一种自动驾驶多场景环境检测及决策系统及方法 - Google Patents
一种自动驾驶多场景环境检测及决策系统及方法 Download PDFInfo
- Publication number
- CN110196593A CN110196593A CN201910409783.1A CN201910409783A CN110196593A CN 110196593 A CN110196593 A CN 110196593A CN 201910409783 A CN201910409783 A CN 201910409783A CN 110196593 A CN110196593 A CN 110196593A
- Authority
- CN
- China
- Prior art keywords
- model
- vehicle
- decision
- automatic pilot
- fpga
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 title abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 36
- 230000007613 environmental effect Effects 0.000 claims abstract description 10
- 238000005457 optimization Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000013138 pruning Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 2
- 210000000352 storage cell Anatomy 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 6
- 238000005265 energy consumption Methods 0.000 abstract description 5
- 238000013461 design Methods 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Game Theory and Decision Science (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及涉及云计算、大数据、深度学习和自动驾驶技术领域，特别涉及一种自动驾驶多场景环境检测及决策系统及方法。其系统包括云端中心和车载核心计算单元，所述的云端中心用于形成适合于边缘侧FPGA的模型，并形成不同场景下的模型选择规则和双路模型决策规则，连同所述的模型一起下发给自动驾驶汽车的车载核心计算单元；所述的车载核心计算单元根据不同的场景，动态选择模型加载，并完成车辆决策。本发明的一种自动驾驶多场景环境检测及决策系统及方法，在车辆侧计算单元采用FPGA方案，利用其功耗低、实时并行处理能力强的特点，设计双路FPGA完成模型推理，利用其动态可擦洗的能力，通过规则引擎选择加载最优的环境监测及决策模型，实现全场景下的自动驾驶。
Description
技术领域
本发明涉及涉及云计算、大数据、深度学习和自动驾驶技术领域，特别涉及一种自动驾驶多场景环境检测及决策系统及方法。
背景技术
近年来，互联网发展迅速，从PC互联网、移动互联网来到物联网时代，万物互联的时代已经到来，移动通信设备、物联网终端设备等各类异构设备连接到互联网，云端中心聚合了大量的物理硬件资源，并采用虚拟化技术实现了异构网络计算资源的统一的分配、调度和管理，集中建设数据中心大大降低了计算和存储的成本。随着人工智能技术的发展，特别是深度学习技术，其超强的进化能力，通过云端训练构建得到类似人脑结构的大规模卷积神经网络，给数据处理领域带来了创新性的发展。
FPGA(Field－Programmable Gate Array)，即现场可编程门阵列，是一种主要针对应用或功能要求可进行变成的半导体器件。现已广泛应用于异构加速领域，已经展现出相比通用处理器CPU更好的性能。CPU的设计主要针对逻辑计算，与CPU和GPU不同，FPGA是一种典型的非诺依曼架构，是硬件适配软件的模式，能够根据系统资源和算法特征灵活的调整并行度，达到最优的适配，因此能效比高于CPU和GPU。FPGA特别擅长数字信号处理，能够兼容多电平标准的接口，并能互联各种高速电子器件，比如高速光纤收发器等，其功耗低、成本小的特点更是其在很多领域得到了广泛的应用。
自动驾驶是汽车产业与人工智能、视觉计算、物联网、雷达、高精地图、高性能计算等新一代信息技术深度融合的产物,是当前全球汽车与交通出行领域智能化和网联化发展的主要方向，在没有任何人类主动的操作下，自动安全地操作机动车辆。相较于传统汽车，自动驾驶汽车增加了高清摄像头、激光雷达、高精度定位装置等核心传感器，并通过传感器实时采集数据，配合高精地图，利用车载核心计算单元进行实时高效的环境识别和推理决策，并反馈给车辆线控系统实现自动驾驶。未来L4级别以上的自动驾驶将覆盖全场景，适应晴天、阴天、雨天、雪天等不同天气场景，还需要考虑白天和夜间不同的光照效果，同时要兼顾自动驾驶车辆的常用行程，采用更加适合车辆常用时间和常用路径的模型。另一方面，受限于汽车的体积和能耗的要求，车载核心计算单元无法提供大量的计算资源，同时还要保证计算决策的高实时性和高可用性。在这种情况下，如何有效的利用FPGA，在有限的计算资源下，满足多场景自动驾驶的要求，更加高效合理的利用资源实现最优决策，并能保证车辆侧驾驶安全成为亟需解决的问题。
发明内容
为了解决现有技术的问题，本发明提供了一种自动驾驶多场景环境检测及决策系统及方法，由云端根据不同驾驶场景利用聚集的大量数据进行训练，产生针对具体车辆驾驶路径及驾驶环境的个性化模型，在车辆侧计算单元采用FPGA方案，利用其功耗低、实时并行处理能力强的特点，设计双路FPGA完成模型推理，利用其动态可擦洗的能力，通过规则引擎选择加载最优的环境监测及决策模型，实现全场景下的自动驾驶。同时根据车辆路径规划，提前加载模型，更加高效合理的利用计算资源，保证了决策推理的高可用性，最大程度的保障了自动驾驶车辆的行驶安全。
本发明所采用的技术方案如下：
一种自动驾驶多场景环境检测及决策系统，包括云端中心和车载核心计算单元，所述的云端中心用于形成适合于边缘侧FPGA的模型，并形成不同场景下的模型选择规则和双路模型决策规则，连同所述的模型一起下发给自动驾驶汽车的车载核心计算单元；所述的车载核心计算单元根据不同的场景，动态选择模型加载，并完成车辆决策。
云端中心聚集大量计算资源，通过海量车辆驾驶相关数据，根据不同的驾驶场景进行深度学习模型训练，将训练得到的模型进行裁剪优化，形成适合于边缘侧FPGA的模型。
自动驾驶车辆的车载核心计算单元将收集驾驶数据，定期上传到云端中心，用于模型及规则的持续优化。
车载核心计算单元包括硬件主机和计算单元，所述的计算单元包括双路FPGA推理单元，规则引擎模块、模型存储单元、数据存储单元、决策单元、总线车辆控制单元和传感数据采集单元，通过所述的传感数据采集单元完成传感数据的采集、多种传感设备数据的融合和协同，并根据预先设计的模型选择规则，通过规则引擎模块，动态加载云端训练的自动驾驶环境检测及决策控制模型，并完成实时推理决策，通过传感数据采集单元的CAN总线反馈给车辆线控系统，完成车辆控制响应；所述的模型选择规则是针对双路FPGA推理单元，根据推理结果，综合外部环境传感及道路规划，设定加载模型策略及决策策略。
车载核心计算单元还包括路径规划单元和高精地图融合单元，
多种传感设备为实现自动驾驶功能用到的传感设备，包括多路高清摄像头、激光雷达、毫米波雷达、高精度定位传感装置。
一种自动驾驶多场景环境检测及决策方法，包括以下步骤：
A、云端中心形成自动驾驶环境检测及决策模型；
B、云端中心形成多个适合自动驾驶不同场景、不同规格的模型；
C、云端中心将多个适合自动驾驶不同场景、不同规格的模型，利用大数据分析仿真，形成模型选择规则及双路模型决策规则；
D、自动驾驶汽车通过其车载核心计算单元从所述的云端中心下载相应的环境检测及决策模型，写入到本地模型存储单元中；
E、所述的自动驾驶汽车通过其车载核心计算单元从云端中心下载相应的模型选择规则及双路模型决策规则，并加载到规则引擎中；
F、所述的自动驾驶汽车设定目的地，通过车载核心计算单元获得最佳路线规划；
G、所述的车载核心计算单元通过核心传感器采集数据，所述的核心传感器包括多路高清摄像头、激光雷达、高精度定位传感装置；
H、所述的车载核心计算单元通过规则引擎根据外界环境以及路线规划数据，选择最佳方案，动态加载两路最优FPGA模型；
I、所述的自动驾驶车辆根据加载的两路最优FPGA模型，进行环境检测及决策，实时反馈给总线车辆控制服务；
J、所述的规则引擎将车辆决策及环境数据进行实时分析，结合路径规划，动态调整FPGA选择模型及决策规则，提前进行模型加载或替换现有模型；
K、所述的自动驾驶车辆到达目的地，将本次驾驶收集的核心驾驶数据压缩存储，定期上传到云端中心，用于云端自动驾驶模型的优化。
云端中心将形成的自动驾驶环境检测及决策模型，针对FPGA不同硬件，进行模型的剪枝优化
自动驾驶车辆在场景切换前后均采用单路识别和决策。
本发明提供的技术方案带来的有益效果是：
本发明公开了一种自动驾驶多场景环境检测及决策方法，针对不同自动驾驶场景，利用云端中心收集的海量驾驶相关数据进行模型训练，充分考虑晴天、阴天、雨天、雪天等天气因素，白天和夜间不同的光照效果因素，城市、乡村、山区、隧道、高速公路等路况因素，同时兼顾自动驾驶车辆的常用行程，形成分场景细粒度的个性化模型，并针对FPGA进行模型裁剪优化加工，最大限度的提高执行效率；通过利用大数据分析，形成基于场景、模型、环境数据、决策数据的模型选择及决策规则；车辆侧采用双路FPGA决策单元，配合规则引擎，利用了FPGA功耗低、实时并行处理能力强、动态可擦洗的特点，加载最优的环境监测及决策模型，实现全场景下的自动驾驶。根据车辆路径规划及采集的环境数据，提前加载模型或者替换更优模型，更加高效合理的利用了计算资源，在有限的计算资源下保证了决策推理的高可用性，最大程度的保障了自动驾驶车辆的行驶安全。另外，车辆收集的驾驶数据汇集到云端中心，用于自动驾驶模型的持续优化，以满足自动驾驶个性化的需求。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种自动驾驶多场景环境检测及决策系统的系统组成示意图；
图2为本发明的一种自动驾驶多场景环境检测及决策系统的核心计算单元组成原理图；
图3为本发明的一种自动驾驶多场景环境检测及决策方法的方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
如图1中所示，云端中心聚集大量计算资源，通过海量车辆驾驶相关数据根据不同的驾驶场景进行深度学习模型训练，将训练得到的模型进行裁剪优化，形成适合于边缘侧FPGA的模型；通过云端大数据分析，综合各种环境因素，形成不同场景下模型选择的规则，连同模型一起下发给自动驾驶汽车。车载核心计算单元是实现自动驾驶功能的中心部件，根据不同的场景，动态选择模型加载，并完成车辆决策。另外，自动驾驶车辆将收集驾驶数据，定期上传到云端，用于模型及规则的持续优化。
云端中心提供大量的计算服务，收集来自各方的车辆驾驶数据，并根据不同的场景进行分类，以期在该场景下具有较好的环境识别及决策精度；通过大量数据进行训练产生多个场景下的模型，再利用云端的FPGA模型剪枝量化方案，对模型进行压缩优化，适合于自动驾驶车机端的要求；云端通过大数据分析，将多个场景下的模型进行融合，根据模型压缩精度、模型执行速度、模型大小、双模型融合后的决策规则等多种因素，形成模型选择规则；所述的云端针对自动驾驶不同场景下基于FPGA的环境检测及决策模型，下发到车辆自动驾驶计算单元，同时针对车辆自身的行驶历史及行驶习惯下发相应的规则；所述的自动驾驶车辆是具备自动驾驶功能的汽车，在传统的汽车上增加车载核心计算单元以及环境感知核心传感器；
如图2中所示，所述的车载核心计算单元由多个主机构成，并提供整个异构计算平台，是实现自动驾驶功能的中心部件，包含计算、存储和网络等物理硬件资源，同时也包括FPGA硬件加速资源；计算单元由双路FPGA推理单元，规则引擎模块、模型存储单元、数据存储单元、决策单元、网络模块等模块组成，并根据自动驾驶的需求，提供路径规划、高精地图融合、传感融合等功能；所述的核心传感器包含实现自动驾驶功能用到的传感设备，包括多路高清摄像头、激光雷达、毫米波雷达、高精度定位传感装置等传感设备；通过所述的车载核心计算单元完成传感数据的采集、多种传感设备数据的融合和协同，并根据预先设计的规则，通过规则引擎，动态加载云端训练的自动驾驶环境检测及决策控制模型，并完成实时推理决策，通过CAN总线反馈给车辆线控系统，完成车辆控制响应；所述的自动驾驶场景包含不同的天气场景，比如晴天、阴天、雨天、雪天等，白天、夜间、隧道等都有不同的光照效果，将不同光照条件范围训练不同的模型，并且选择不同的传感设备，例如雨天则毫米波雷达作用更大；同样的，城市环境、乡村环境、山区环境也需要不同的模型；所述的模型选择规则针对双路FPGA推理单元，根据推理结果，综合外部环境传感及道路规划，设定加载模型策略及决策策略；例如道路规划中会经过隧道，在进入隧道之前将其中一路FPGA推理单元加载适合隧道场景的模型，此时的自动驾驶车辆决策仅采用另一路FPGA推理单元；同样的，当车辆即将行驶出隧道，则其中一路FPGA推理单元提前加载正常行驶环境的模型。另外，通过所述的自动驾驶车辆收集驾驶数据并定期上传到云端，用于云端自动驾驶模型的优化。
为了描述清楚，以下提到的自动驾驶车辆采用激光雷达、毫米波雷达、高清摄像头、高精度GPS及北斗定位装置等传感设备，实时采集环境数据；通过外部传感器采集的数据通过环境识别，标注出人、车、物等信息，同时输出其判定概率，例如利用摄像头识别图片，区域内标注出行人，将其位置标出，并输出判定为行人的可能概率。本领域技术人员将理解的是，除了使用以上硬件设备之外，根据本发明的实施方式的构造也能够应用于其他自动驾驶应用之上。
实施例二
本实施例将结合具体对本发明提供的方法过程进行详细的说明。
一、多场景下的自动驾驶
参考图3，多场景下的自动驾驶包括以下步骤：
步骤101、所述的云端中心利用聚集的海量自动驾驶相关数据，根据不同的场景进行针对场景的模型训练，形成自动驾驶环境检测及决策模型；
步骤102、所述的云端中心将形成的模型，针对FPGA不同硬件，综合考虑模型精度、模型大小、执行速度等因素，进行模型的剪枝优化，形成多种适合自动驾驶不同场景、不同规格的模型；
步骤103、所述的云端中心将多个场景下的模型，利用大数据分析仿真，综合多种因素，形成模型选择规则及双路模型决策规则；
步骤104、所述的自动驾驶汽车根据其计算单元硬件情况、传感器情况、常用路径及历史行驶数据，从所述的云端中心下载相应的环境检测及决策模型，写入到本地模型存储单元中；
步骤105、所述的自动驾驶汽车从云端中心下载相应的模型选择规则及双路模型决策规则，并加载到规则引擎中；
步骤106、所述的自动驾驶汽车设定目的地，获得最佳路线规划；
步骤107、所述的车载核心计算单元通过所述的核心传感器采集数据，包括多路高清摄像头、激光雷达、高精度定位传感装置等核心传感器；
步骤108、所述的车载核心计算单元通过规则引擎根据外界环境以及路线规划数据，选择最佳方案，动态加载两路最优FPGA模型；
步骤109、所述的自动驾驶车辆根据加载的两路模型，进行环境检测及决策，实时反馈给所述的CAN总线车辆控制服务；
步骤110、所述的规则引擎将车辆决策及环境数据(包括天气、光照、路况等信息)进行实时分析，结合路径规划，动态调整FPGA选择模型及决策规则，提前进行模型加载或替换现有模型；
步骤111、所述的自动驾驶车辆在场景切换前后均采用单路识别和决策；
步骤112、所述的自动驾驶车辆到达目的地，将本次驾驶收集的核心驾驶数据压缩存储，定期上传到云端，用于云端自动驾驶模型的优化。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种自动驾驶多场景环境检测及决策系统，包括云端中心和车载核心计算单元，所述的云端中心用于形成适合于边缘侧FPGA的模型，并形成不同场景下的模型选择规则和双路模型决策规则，连同所述的模型一起下发给自动驾驶汽车的车载核心计算单元；所述的车载核心计算单元根据不同的场景，动态选择模型加载，并完成车辆决策。
2.根据权利要求1所述的一种自动驾驶多场景环境检测及决策系统，其特征在于，所述的云端中心聚集大量计算资源，通过海量车辆驾驶相关数据，根据不同的驾驶场景进行深度学习模型训练，将训练得到的模型进行裁剪优化，形成适合于边缘侧FPGA的模型。
3.根据权利要求1所述的一种自动驾驶多场景环境检测及决策系统，其特征在于，所述的自动驾驶车辆的车载核心计算单元将收集驾驶数据，定期上传到云端中心，用于模型及规则的持续优化。
4.根据权利要求1或3所述的一种自动驾驶多场景环境检测及决策系统，其特征在于，所述的车载核心计算单元包括硬件主机和计算单元，所述的计算单元包括双路FPGA推理单元，规则引擎模块、模型存储单元、数据存储单元、决策单元、总线车辆控制单元和传感数据采集单元，通过所述的传感数据采集单元完成传感数据的采集、多种传感设备数据的融合和协同，并根据预先设计的模型选择规则，通过规则引擎模块，动态加载云端训练的自动驾驶环境检测及决策控制模型，并完成实时推理决策，通过传感数据采集单元的CAN总线反馈给车辆线控系统，完成车辆控制响应；所述的模型选择规则是针对双路FPGA推理单元，根据推理结果，综合外部环境传感及道路规划，设定加载模型策略及决策策略。
5.根据权利要求4所述的一种自动驾驶多场景环境检测及决策系统，其特征在于，所述的车载核心计算单元还包括路径规划单元和高精地图融合单元。
6.根据权利要求4所述的一种自动驾驶多场景环境检测及决策系统，其特征在于，所述多种传感设备为实现自动驾驶功能用到的传感设备，包括多路高清摄像头、激光雷达、毫米波雷达、高精度定位传感装置。
7.一种自动驾驶多场景环境检测及决策方法，包括以下步骤：
A、云端中心形成自动驾驶环境检测及决策模型；
B、云端中心形成多个适合自动驾驶不同场景、不同规格的模型；
C、云端中心将多个适合自动驾驶不同场景、不同规格的模型，利用大数据分析仿真，形成模型选择规则及双路模型决策规则；
D、自动驾驶汽车通过其车载核心计算单元从所述的云端中心下载相应的环境检测及决策模型，写入到本地模型存储单元中；
E、所述的自动驾驶汽车通过其车载核心计算单元从云端中心下载相应的模型选择规则及双路模型决策规则，并加载到规则引擎中；
F、所述的自动驾驶汽车设定目的地，通过车载核心计算单元获得最佳路线规划；
G、所述的车载核心计算单元通过核心传感器采集数据，所述的核心传感器包括多路高清摄像头、激光雷达、高精度定位传感装置；
H、所述的车载核心计算单元通过规则引擎根据外界环境以及路线规划数据，选择最佳方案，动态加载两路最优FPGA模型；
I、所述的自动驾驶车辆根据加载的两路最优FPGA模型，进行环境检测及决策，实时反馈给总线车辆控制服务；
J、所述的规则引擎将车辆决策及环境数据进行实时分析，结合路径规划，动态调整FPGA选择模型及决策规则，提前进行模型加载或替换现有模型；
K、所述的自动驾驶车辆到达目的地，将本次驾驶收集的核心驾驶数据压缩存储，定期上传到云端中心，用于云端自动驾驶模型的优化。
8.根据权利要求7所述的一种自动驾驶多场景环境检测及决策方法，其特征在于，所述的步骤B中，云端中心将形成的自动驾驶环境检测及决策模型，针对FPGA不同硬件，进行模型的剪枝优化，形成所述的多个适合自动驾驶不同场景、不同规格的模型。
9.根据权利要求7所述的一种自动驾驶多场景环境检测及决策方法，其特征在于，所述的自动驾驶车辆在场景切换前后均采用单路识别和决策。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910409783.1A CN110196593B (zh) | 2019-05-16 | 2019-05-16 | 一种自动驾驶多场景环境检测及决策系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910409783.1A CN110196593B (zh) | 2019-05-16 | 2019-05-16 | 一种自动驾驶多场景环境检测及决策系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110196593A true CN110196593A (zh) | 2019-09-03 |
| CN110196593B CN110196593B (zh) | 2022-03-01 |
Family
ID=67752881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910409783.1A Active CN110196593B (zh) | 2019-05-16 | 2019-05-16 | 一种自动驾驶多场景环境检测及决策系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110196593B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110568852A (zh) * | 2019-10-12 | 2019-12-13 | 深圳市布谷鸟科技有限公司 | 一种自动驾驶系统及其控制方法 |
| CN110901561A (zh) * | 2019-12-04 | 2020-03-24 | 清华大学 | 汽车的底盘域控制器、系统及方法 |
| CN111198530A (zh) * | 2020-01-17 | 2020-05-26 | 济南浪潮高新科技投资发展有限公司 | 一种5g环境下云化机器人的系统及方法 |
| CN111738435A (zh) * | 2020-06-22 | 2020-10-02 | 上海交通大学 | 一种基于移动设备的在线稀疏训练方法及系统 |
| CN112052959A (zh) * | 2020-09-04 | 2020-12-08 | 深圳前海微众银行股份有限公司 | 基于联邦学习的自动驾驶训练方法、设备及介质 |
| CN112650220A (zh) * | 2020-12-04 | 2021-04-13 | 东风汽车集团有限公司 | 一种车辆自动驾驶方法、车载控制器及系统 |
| CN112744226A (zh) * | 2021-01-18 | 2021-05-04 | 国汽智控(北京)科技有限公司 | 基于驾驶环境感知的自动驾驶智能自适应方法及系统 |
| CN112947759A (zh) * | 2021-03-08 | 2021-06-11 | 上汽大众汽车有限公司 | 车载情感化交互平台及交互方法 |
| CN113110526A (zh) * | 2021-06-15 | 2021-07-13 | 北京三快在线科技有限公司 | 一种模型训练的方法、无人驾驶设备的控制方法及装置 |
| CN113253733A (zh) * | 2021-06-03 | 2021-08-13 | 杭州未名信科科技有限公司 | 一种基于学习和融合的导航避障方法、装置及系统 |
| CN113264060A (zh) * | 2021-05-28 | 2021-08-17 | 东风汽车集团股份有限公司 | 一种基于云端训练模型的自动驾驶节能系统及方法 |
| CN113495560A (zh) * | 2020-03-18 | 2021-10-12 | 百度（美国）有限责任公司 | 基于场景的自动驾驶车辆控制 |
| CN114280959A (zh) * | 2021-12-27 | 2022-04-05 | 招商局检测车辆技术研究院有限公司 | 云地协同的整车场地在环仿真测试系统 |
| CN115200579A (zh) * | 2022-09-15 | 2022-10-18 | 江苏德一佳安防科技有限公司 | 可自配置的消防员定位及环境探测的方法和系统 |
| CN115272994A (zh) * | 2021-09-29 | 2022-11-01 | 上海仙途智能科技有限公司 | 自动驾驶预测模型训练方法、装置、终端及介质 |
| WO2023045936A1 (zh) * | 2021-09-22 | 2023-03-30 | 北京智行者科技股份有限公司 | 一种模型自动化迭代方法、设备及存储介质 |
| CN116572995A (zh) * | 2023-07-11 | 2023-08-11 | 小米汽车科技有限公司 | 车辆的自动驾驶方法、装置及车辆 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017210901A1 (zh) * | 2016-06-08 | 2017-12-14 | 驭势科技（北京）有限公司 | 车辆自动驾驶的速度规划方法、装置及计算装置 |
| KR20180052811A (ko) * | 2016-11-10 | 2018-05-21 | 한국전자통신연구원 | 자율주행 시스템 제작 방법 및 자율주행 시스템 |
| CN108137015A (zh) * | 2016-09-28 | 2018-06-08 | 百度（美国）有限责任公司 | 用于自动驾驶车辆的侧滑补偿控制方法 |
| CN108375977A (zh) * | 2018-01-24 | 2018-08-07 | 济南浪潮高新科技投资发展有限公司 | 一种基于雾节点的城市环境自动驾驶方法 |
| CN108549384A (zh) * | 2018-05-21 | 2018-09-18 | 济南浪潮高新科技投资发展有限公司 | 一种5g环境下远程控制自动驾驶方法 |
| CN208588940U (zh) * | 2017-12-01 | 2019-03-08 | 顺丰科技有限公司 | 一种自动驾驶载运工具调度系统 |
| CN109709593A (zh) * | 2018-12-28 | 2019-05-03 | 国汽(北京)智能网联汽车研究院有限公司 | 基于“云-端”紧耦合的智能网联汽车车载终端平台 |
-
2019
- 2019-05-16 CN CN201910409783.1A patent/CN110196593B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017210901A1 (zh) * | 2016-06-08 | 2017-12-14 | 驭势科技（北京）有限公司 | 车辆自动驾驶的速度规划方法、装置及计算装置 |
| CN108137015A (zh) * | 2016-09-28 | 2018-06-08 | 百度（美国）有限责任公司 | 用于自动驾驶车辆的侧滑补偿控制方法 |
| KR20180052811A (ko) * | 2016-11-10 | 2018-05-21 | 한국전자통신연구원 | 자율주행 시스템 제작 방법 및 자율주행 시스템 |
| CN208588940U (zh) * | 2017-12-01 | 2019-03-08 | 顺丰科技有限公司 | 一种自动驾驶载运工具调度系统 |
| CN108375977A (zh) * | 2018-01-24 | 2018-08-07 | 济南浪潮高新科技投资发展有限公司 | 一种基于雾节点的城市环境自动驾驶方法 |
| CN108549384A (zh) * | 2018-05-21 | 2018-09-18 | 济南浪潮高新科技投资发展有限公司 | 一种5g环境下远程控制自动驾驶方法 |
| CN109709593A (zh) * | 2018-12-28 | 2019-05-03 | 国汽(北京)智能网联汽车研究院有限公司 | 基于“云-端”紧耦合的智能网联汽车车载终端平台 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110568852A (zh) * | 2019-10-12 | 2019-12-13 | 深圳市布谷鸟科技有限公司 | 一种自动驾驶系统及其控制方法 |
| CN110901561A (zh) * | 2019-12-04 | 2020-03-24 | 清华大学 | 汽车的底盘域控制器、系统及方法 |
| CN111198530A (zh) * | 2020-01-17 | 2020-05-26 | 济南浪潮高新科技投资发展有限公司 | 一种5g环境下云化机器人的系统及方法 |
| CN113495560A (zh) * | 2020-03-18 | 2021-10-12 | 百度（美国）有限责任公司 | 基于场景的自动驾驶车辆控制 |
| CN111738435A (zh) * | 2020-06-22 | 2020-10-02 | 上海交通大学 | 一种基于移动设备的在线稀疏训练方法及系统 |
| CN111738435B (zh) * | 2020-06-22 | 2024-03-29 | 上海交通大学 | 一种基于移动设备的在线稀疏训练方法及系统 |
| CN112052959A (zh) * | 2020-09-04 | 2020-12-08 | 深圳前海微众银行股份有限公司 | 基于联邦学习的自动驾驶训练方法、设备及介质 |
| CN112052959B (zh) * | 2020-09-04 | 2023-08-25 | 深圳前海微众银行股份有限公司 | 基于联邦学习的自动驾驶训练方法、设备及介质 |
| CN112650220A (zh) * | 2020-12-04 | 2021-04-13 | 东风汽车集团有限公司 | 一种车辆自动驾驶方法、车载控制器及系统 |
| CN112744226A (zh) * | 2021-01-18 | 2021-05-04 | 国汽智控(北京)科技有限公司 | 基于驾驶环境感知的自动驾驶智能自适应方法及系统 |
| CN112947759A (zh) * | 2021-03-08 | 2021-06-11 | 上汽大众汽车有限公司 | 车载情感化交互平台及交互方法 |
| CN113264060A (zh) * | 2021-05-28 | 2021-08-17 | 东风汽车集团股份有限公司 | 一种基于云端训练模型的自动驾驶节能系统及方法 |
| CN113253733A (zh) * | 2021-06-03 | 2021-08-13 | 杭州未名信科科技有限公司 | 一种基于学习和融合的导航避障方法、装置及系统 |
| CN113110526B (zh) * | 2021-06-15 | 2021-09-24 | 北京三快在线科技有限公司 | 一种模型训练的方法、无人驾驶设备的控制方法及装置 |
| CN113110526A (zh) * | 2021-06-15 | 2021-07-13 | 北京三快在线科技有限公司 | 一种模型训练的方法、无人驾驶设备的控制方法及装置 |
| WO2023045936A1 (zh) * | 2021-09-22 | 2023-03-30 | 北京智行者科技股份有限公司 | 一种模型自动化迭代方法、设备及存储介质 |
| CN115272994A (zh) * | 2021-09-29 | 2022-11-01 | 上海仙途智能科技有限公司 | 自动驾驶预测模型训练方法、装置、终端及介质 |
| CN115272994B (zh) * | 2021-09-29 | 2023-07-25 | 上海仙途智能科技有限公司 | 自动驾驶预测模型训练方法、装置、终端及介质 |
| CN114280959A (zh) * | 2021-12-27 | 2022-04-05 | 招商局检测车辆技术研究院有限公司 | 云地协同的整车场地在环仿真测试系统 |
| CN115200579A (zh) * | 2022-09-15 | 2022-10-18 | 江苏德一佳安防科技有限公司 | 可自配置的消防员定位及环境探测的方法和系统 |
| CN116572995A (zh) * | 2023-07-11 | 2023-08-11 | 小米汽车科技有限公司 | 车辆的自动驾驶方法、装置及车辆 |
| CN116572995B (zh) * | 2023-07-11 | 2023-12-22 | 小米汽车科技有限公司 | 车辆的自动驾驶方法、装置及车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110196593B (zh) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110196593A (zh) | 一种自动驾驶多场景环境检测及决策系统及方法 | |
| Qiao et al. | A survey on 5G/6G, AI, and Robotics | |
| CN108955702B (zh) | 基于三维激光和gps惯性导航系统的车道级地图创建系统 | |
| CN108549384A (zh) | 一种5g环境下远程控制自动驾驶方法 | |
| CN105159297B (zh) | 输电线路无人机巡检避障系统与方法 | |
| US9731417B2 (en) | Vehicle management system | |
| CN106781592B (zh) | 一种基于大数据的交通导航系统及方法 | |
| CN109377778A (zh) | 一种基于多路rdma和v2x的协同自动驾驶系统及方法 | |
| CN108345822A (zh) | 一种点云数据处理方法及装置 | |
| WO2020191642A1 (zh) | 轨迹预测方法及装置、存储介质、驾驶系统与车辆 | |
| CN108073170A (zh) | 用于自主车辆的自动化协同驾驶控制 | |
| CN102737510B (zh) | 一种基于移动智能终端的实时交通路况采集方法 | |
| CN110532846B (zh) | 自动换道方法、装置及存储介质 | |
| CN109783593A (zh) | 一种可用于自动驾驶的地图更新系统与方法 | |
| CN103345165A (zh) | 缩微智能车群的智能交通硬件在线仿真系统 | |
| CN110716529A (zh) | 一种自动驾驶测试用例自动生成方法和装置 | |
| CN114489122B (zh) | 一种基于uav及配套机场的高速公路自动巡检方法及系统 | |
| CN108375977A (zh) | 一种基于雾节点的城市环境自动驾驶方法 | |
| CN109792951A (zh) | 用于杂交水稻授粉的无人机航线校正系统及其校正方法 | |
| CN113406968B (zh) | 基于数字孪生的无人机自主起降巡航方法 | |
| Valecce et al. | On the interplay between 5g, mobile edge computing and robotics in smart agriculture scenarios | |
| CN112417973A (zh) | 一种基于车联网的无人驾驶系统 | |
| CN117519944A (zh) | 一种基于算力感知和边缘云计算协同的无人车及其协同方法 | |
| CN110309957B (zh) | 一种面向在用矿车无人驾驶运输系统的矿车运输时间预判方法 | |
| CN113085891A (zh) | 车辆控制方法、装置、非易失性存储介质及处理器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220127 Address after: 250100 building S02, No. 1036, Langchao Road, high tech Zone, Jinan City, Shandong Province Applicant after: Shandong Inspur Scientific Research Institute Co.,Ltd. Address before: 250100 First Floor of R&D Building 2877 Kehang Road, Sun Village Town, Jinan High-tech Zone, Shandong Province Applicant before: JINAN INSPUR HIGH-TECH TECHNOLOGY DEVELOPMENT Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |