CN107506830A - 面向智能汽车规划决策模块的人工智能训练平台 - Google Patents

Abstract

本发明涉及一种用于智能网联汽车规划决策模块的人工智能训练平台，涉及智能车自动驾驶和交通仿真技术领域，旨在通过丰富且逼真的交通场景提高智能车规划决策模块的智力水平。该人工智能训练系统包含仿真环境层、数据传输层以及规划决策层，其中仿真层环境主要基于交通仿真模块生成“真实”的交通场景并模拟智能车对周围环境的感知与反应情况，可实现多场景加载；规划决策层采用深度强化学习算法，将周围环境感知信息作为输入，输出智能汽车的决策行为，可实现网络参数的训练优化；数据传输层则通过TCP/IP协议，将交通仿真模块与深度强化学习框架进行连接，实现感知信息和车辆控制信息在仿真环境层与规划决策层之间的传递。

Description

面向智能汽车规划决策模块的人工智能训练平台

技术领域

本发明属于智能汽车自动驾驶、人工智能和交通仿真技术领域，更具体地说，本发明涉及一种用于智能网联汽车规划决策模块的人工智能训练平台，应用于智能汽车核心模块的研发和测试，并可作为提升智能汽车自动驾驶水平的训练工具。

背景技术

面对日益恶化的交通环境，互联网时代下，智能网联汽车正受到越来越多的关注。智能汽车实现自动驾驶需包括环境感知、规划决策和车辆控制三个模块，其中环境感知主要依赖于车上所搭载的各式传感器（如激光雷达、摄像头、GPS等），完成对交通标志、标线、信号灯的识别以及自身及周围车辆位置、速度等信息的获取，可称之为智能汽车的“眼睛”和“耳朵”；规划决策阶段依据环境感知阶段采集的信息决定当前条件下应该采取的行动（包括跟驰、换道的选择，多车交互情况下的决策等），其内部决策算法的优劣决定着智能汽车的“驾驶水平”，因此又被成为智能汽车的“驾驶脑”；车辆控制阶段则依据智能车规划目标对应的控制指令驱动相关执行器完成车辆的加减速以及转向等操作，可称之为智能汽车的“手”、“脚”。

总体来看，当前从事无人驾驶技术研发以两大阵营为主：传统厂商采取了一条渐进式发展路线，期望在已经成熟的一套辅助驾驶技术基础上进行升级和完善，逐步实现完全意义上的无人驾驶。现有的驾驶辅助系统采用的是基于逻辑规则的算法，能解决简单场景下的车辆行为决策，比如高速公路上的车辆跟驰。但这种算法往往过于保守，侧重安全而牺牲了效率。并且考虑到实际交通环境的复杂性，比如交织区、无信号交叉口等，面对交通环境中诸多交通参与者，如何在保证安全的前提下实现提高效率的行为决策，成为进一步实现完全自动驾驶的症结所在。互联网、人工智能等科技公司则试图通过人工智能、大数据处理等手段，直接面向高等级的完全自动驾驶，实现跨越式发展。经过多年的探索，这些公司率先开辟出以深度学习为基础算法解决复杂多样环境下自动驾驶的关键技术。深度学习算法通过从大量实车驾驶采集的行为数据进行数据挖掘和知识获取，理论上能够应对复杂场景。然而深度学习需要大量的真实数据做基础，实车道路数据采集成本高、基于历史数据泛化能力有限，另一方面深度学习的结果只是“拟人化”的驾驶，如何突破人类驾驶在个体效益最大化以及操控方面的局限性，实现全局、多目标最优，需要有新的智能汽车决策算法作支持。

公告号为CN104635736A,发明名称为“用于驾驶行为决策的自动驾驶系统及其方法”的发明专利申请，提出了一种根据车身周围物体的移动状态，来判定处理器应该采取何种行动（左转/直行/右转）的方法。但该专利申请只是提供了一种避撞的可行方案，并非综合考虑安全和效率的优选策略，也未提及采取特定行动后具体的实现过程。

有鉴于此，本发明借鉴AlphaGo的研发经验，提出一个基于交通仿真模块环境的面向规划决策模块的人工智能训练平台，其核心决策模型是深度强化学习算法，通过丰富且高仿真精度的交通场景为学习算法提供更“真实”、更全面的训练环境，提高智能汽车“驾驶脑”的智力水平，弥补目前基于规则以及基于深度学习的规划决策算法研发存在的不足，为智能汽车的完全自动化驾驶给予技术支撑。

发明内容

基于上述情况，本发明的目的在于提出一种面向智能汽车规划决策模块的人工智能训练平台，可为智能汽车的行为决策训练提供更“真实”、更全面的测试训练场景，同时深度强化学习的方法具有更强的泛化能力，克服目前智能汽车训练存在的场景有限、成本高、不安全等缺点，通过不断的迭代学习得到超过人类驾驶员的“驾驶水平”。

为实现上述目的，智能汽车规划决策模块人工智能训练平台，由仿真环境层、数据传输层以及规划决策层组成，其中：

仿真环境层包含交通仿真模块、仿真控制模块以及智能汽车控制模块三部分，其中交通仿真模块提供了丰富的训练环境，即包含各种基本道路设施和“真实”背景交通流；仿真控制模块包括车辆模型标定和仿真运行参数设置，仿真控制模块包括智能车辆/背景车流基本参数和传感器感知内容，仿真运行参数设置包括多训练场景选择和多训练精度选择，其作用是可根据用户对车模模型标定的需要，选择不同多训练场景组合以及多训练精度；多训练场景中人工驾驶车辆的运行采用内嵌的微观交通流模型；传感器感知内容中智能车辆的传感器模型参数和传感器类型、数量、安装位置可根据需要在仿真控制模块中初始化；智能汽车控制模块包括感知信息和控制信息，所述感知信息获取交通仿真模块的基本道路设施和背景交通流，通过交通仿真模块提供的接口把它传递给数据传输层，控制信息接受数据传输层信息，用于控制“虚拟智能车”的运行行为，所述运行行为包含车辆实时位置、速度和转向角；

规划决策层包括人工智能训练模块，人工智能训练模块包含深度强化学习网络、奖惩机制和智能汽车操作指令，深度强化学习网络的输出端连接智能汽车操作指令的输入端，智能汽车操作指令的输出端连接奖惩机制的输入端，奖惩机制的输出端通过更新网络参数连接深度强化学习网络；每个仿真时间步长初始阶段，将数据传输层获得的环境感知信息传递给人工智能训练模块，随后深度强化学习网络将以设定的奖惩机制为导向优化当前环境状态下的最佳决策行为，并对网络参数进行更新，最终将智能车辆控制信息返回给数据传输层；

数据传输层包含数据传输协议、数据编解码和数据同步方法；仿环境层与数据传输层进行双向通信，数据传输层和规划决策层进行双向通信；智能训练平台采用TCP/IP通信协议，确保智能训练平台的通用性；为确保仿真环境层和规划决策层的数据同步，可调整两者的时钟频率一致，同时要求数据在不会由于传输延时发生批次错位；其运行步骤如下：

（1）仿真环境层中，用户可通过仿真控制模块对交通仿真模块进行初始化操作，依据待训练的智能车车型、操纵性能以及所装载的传感器类型、数量、安装位置，完成对“虚拟智能车”车辆基本参数以及传感器感知内容的标定，依据实际需求选择相应的多训练场景（组合），同时配置交通仿真模块按照设定的多训练精度选择；

（2）仿真环境层中，通过仿真控制模块自动运行交通仿真模块，并依次加载预先选择的多训练场景，智能汽车控制模块按照预设的传感器感知范围与内容通过交通仿真模块的二次开发接口从仿真运行场景中提取感知信息；

（3）数据传输层中，将仿真环境层传来的感知信息通过编/解码操作后将数据传递给规划决策层；

（4）规划决策层中，根据接收到的环境感知信息作为深度强化学习网络的输入，输出“虚拟智能车”的横纵向加减速信息，同时依据相应操作的结果会依据奖惩机制对每一步动作做出评价；同时依据接收到的“虚拟智能车”控制信息通过数据传输接口控制“虚拟智能车”在交通仿真模块中的运动；

（5）数据传输层中，将规划决策层传来的运动控制信息通过编/解码操作后将数据传递给仿真环境层；

（6）仿真环境层中，“虚拟智能车”控制依据接收到的运动控制信息更新“虚拟智能车”的坐标信息，并在交通仿真模块中让背景车辆对“虚拟智能车”的运动做出反应，在下一个仿真时间将新的环境信息再传回到数据传输层；

（7）步骤（1）仅在训练开始时执行一次，步骤（2）只在当前仿真场景运行结束需要加载新的场景时才执行，之后步骤（3）、（4）、（5）、（6）循环往复运行，直到所有预先选择的场景运行完毕。

本发明中，所述仿真训练平台的训练对象仅为智能汽车中的规划决策模块，并不涉及任何真实的传感器以及车辆执行装置，其核心包括深度强化学习网络结构和网络参数，故规划决策层的结果可以是本发明提供的网络结构和参数，也可以是基于其它机构研制的智能车规划决策网络对其参数进行调优。

本发明中，所述仿真环境层的交通仿真模块提供了外部模块控制接口以及环境信息读取、智能汽车控制模块的仿真模块，同时可以提供丰富多样的交通流运行场景。

本发明中，所述智能汽车控制模块是基于交通仿真模块二次开发实现，人工智能训练模块是基于深度学习开放框架构建的，两者均安装在计算机中，其中智能汽车控制模块可实现交通仿真模块背景车流的运动控制和感知信息提取、不同场景的加载以及运行精度的设置；人工智能训练模块实现对“虚拟智能车”的运动控制以及深度学习算法的优化。

本发明中，所述数据传输层将仿真环境层与规划决策层进行双向连接，形成一体化仿真训练平台：一方面从仿真环境层提取“虚拟智能车”周围感知信息，转化为智能汽车规划决策模块深度强化学习算法的输入；另一方面从规划决策层接收车辆控制信息，转化为仿真环境层中“虚拟智能车”的位置信息，并影响仿真环境中其它车辆的运行。

本发明具有如下优势：

（1）针对智能车规划决策模块的高级训练。本训练平台的训练对象为智能车的“驾驶脑”，主要训练其对复杂交通环境的反应能力，而非对于基本功能的简单学习。过去，无论是基于规则的方法还是深度学习算法都不具备处理实际多变场景的能力，本发明中的深度强化学习算法有更强的泛化能力。

（2）本平台可提供更加安全且“真实”的训练场景。传统的采用实车路试的方法成本高、风险高不适合作为训练环境。而虚拟环境中已有一些自动驾驶的研究是以赛车游戏作为仿真环境，如TORCS，GTA-V等。这些游戏场景只是对交通环境以外的物体进行高逼真度再现，不能实现高精度模拟交通流特性。本发明中采用基于交通仿真模块的交通场景将更加符合实际交通流运行规律，可支撑智能汽车决策算法的高级训练。

（3）依托本平台可建立优化目标全面、智能水平更高的决策算法。本训练平台的规划决策算法不仅能保证行车的绝对安全，同时也可以融入对混入智能车的混合交通流整体运行效率的考虑。此外，深度强化学习算法突破了传统算法对人类驾驶员操作的模拟，训练结果甚至可优于人类驾驶员。

附图说明

图1是本发明所述的智能汽车规划决策模块人工智能训练平台组成示意图。

图2是本发明所述的仿真环境层组成示意图。

图3是本发明所述的规划决策层组成示意图。

图4是本发明所述的智能汽车规划决策模块人工智能训练平台实施例的连接示意图。

图中标号：11为仿真环境层，12为规划决策层，13为数据传输层，14为感知信息，15为控制信息，21为仿真控制模块，22为车辆模型标定，23为智能车辆/背景车流基本参数，24为传感器感知内容，25为仿真运行参数设置，26为多训练场景选择，27为多训练精度选择，28为交通仿真模块，29为道路网络设施，210为背景交通流，211为智能汽车，212为智能汽车控制模块，31为深度强化学习网络，32为智能汽车操作指令，33为奖惩机制。

具体实施方式

下面通过实施例结合附图对本发明进行详细的描述。

实施例1：仿真环境层11、规划决策层12以及数据传输层13共同组成了仿真训练平台，仿真环境层11实现训练场景的设置以及背景人工交通流的模拟运行，规划决策层12实现“虚拟智能车”控制指令的生成，属于训练对象，数据传输层13实现感知信息14与智能汽车控制信息15在仿真环境层与规划决策层之间的传递，其关系如图1所示。

本发明所述的仿真环境层11包含仿真控制模块21、交通仿真模块28以及智能汽车控制模块212。其中仿真控制模块21的功能是进行车辆模型标定22，包括智能车辆/背景车流基本参数23和传感器感知内容24的设置；以及仿真运行参数的设置25，包括多训练场景选择26和多训练精度选择27，依据用户需求确定。完成初始化参数设置后，交通仿真模块28将会生成对应的基本道路设施29和背景交通流210，这两者将作为交通环境，由智能汽车控制模块212根据传感器感知内容24的设置进行感知信息14的提取，并将其传递给数据传输层13；数据传输层13将返回车辆控制信息15，由智能汽车控制模块212转化为车辆位置信息，控制交通仿真模块28中智能汽车211的移动，其关系如图2所示。

本发明所述的规划决策层12是仿真训练平台提高智能汽车智能水平的关键，从数据传输层13传来的感知信息14将作为深度强化学习网络31的输入，多层神经网络将输出智能汽车的操作指令32，一方面该指令将作为控制信息15返回到数据传输层13，另一方面将通过奖惩机制33对该指令的效果进行评价，根据评价结果对深度强化学习网络31参数进行更新，其关系如图3所示。

如图4所示，某研究机构基于某品牌汽车自主研发了可实现车辆自动驾驶的智能汽车，传感器包括三轴加速度、车载摄像头、搭载于车身四周的毫米波雷达等。仿真开始，首先将交通仿真模块28中的感知信息传递给智能汽车控制模块212，根据所搭载传感器预计能检测到的数据，控制模块提取相应数据，参数化处理后作为深度强化学习网络31的输入。一方面，网络输出智能汽车控制信息返回给交通仿真模块中控制智能汽车的移动；另一方面，网络自身进行参数更新。

仿真环境层的交通仿真模块采用德国PTV公司的微观交通仿真模块VISSIM 9，其提供的COM接口可作为仿真控制接口，用于智能汽车以及背景人工驾驶车辆的参数标定以及仿真运行参数的设置。为了有效检验规划决策模块对不同交通环境的反应能力，将训练场景存储于平台数据库中，可选择基本路段、城市道路交叉口、城市快速路入匝道等多个场景（组合）进行训练。其提供的驾驶模拟器接口可获取路网中所有车辆的位置、速度信息，可根据搭载的传感器在智能汽车控制模块中进一步提取感知信息内容。

规划决策层的深度强化学习采用Google公司开发的Tensorflow框架以及第三方函数库Keras，其提供的应用模块接口可进行快速的深度强化学习网络搭建以及参数训练等。其主要功能是将环境感知信息转化为智能汽车的控制信息。

数据传输层中的感知信息与控制信息的传递，通过TCP/IP协议完成，确保信息流按照流程循环传递。上一时刻的控制信息未接收之前，交通仿真模块会在当前时刻暂停不发出新的感知信息，直到接收到控制信息。

仿真控制模块首先在仿真环境层仿真控制模块对交通仿真模块VISSIM 9进行初始化设置，包含对“虚拟智能车”感知内容的确定以及训练场景、训练精度的设定，之后仿真控制模块便可启动仿真模块并自动加载不同的训练场景，同时人工智能训练模块获取仿真智能车感知信息并转化为控制信息，并将控制信息传回交通仿真模块对其中的“虚拟智能车”的运动进行控制，数据传输遵循TCP/IP协议，从而完成针对智能车行为决策模块的训练。

最后应说明的是：以上实施例仅用于说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明参照上述的实时范例对本发明已经进行了详细的说明，但是，本领域的技术人员应当理解，仍然可对本发明进行修改或等同替换；而一切不脱离本发明的精神和范围的技术方案及其改进，均应涵盖在本发明的权利要求范围内。

Claims (5)

1.智能汽车规划决策模块人工智能训练平台，由仿真环境层、数据传输层以及规划决策层组成，其特征在于：

仿真环境层包含交通仿真模块、仿真控制模块以及智能汽车控制模块三部分，其中交通仿真模块提供了丰富的训练环境，即包含各种基本道路设施和“真实”背景交通流；仿真控制模块包括车辆模型标定和仿真运行参数设置，仿真控制模块包括智能车辆/背景车流基本参数和传感器感知内容，仿真运行参数设置包括多训练场景选择和多训练精度选择，其作用是可根据用户对车模模型标定的需要，选择不同多训练场景组合以及多训练精度；多训练场景中人工驾驶车辆的运行采用内嵌的微观交通流模型；传感器感知内容中智能车辆的传感器模型参数和传感器类型、数量、安装位置可根据需要在仿真控制模块中初始化；智能汽车控制模块包括感知信息和控制信息，所述感知信息获取交通仿真模块的基本道路设施和背景交通流，通过交通仿真模块提供的接口把它传递给数据传输层，控制信息接受数据传输层信息，用于控制“虚拟智能车”的运行行为，所述运行行为包含车辆实时位置、速度和转向角；

规划决策层包括人工智能训练模块，人工智能训练模块包含深度强化学习网络、奖惩机制和智能汽车操作指令，深度强化学习网络的输出端连接智能汽车操作指令的输入端，智能汽车操作指令的输出端连接奖惩机制的输入端，奖惩机制的输出端通过更新网络参数连接深度强化学习网络；每个仿真时间步长初始阶段，将数据传输层获得的环境感知信息传递给人工智能训练模块，随后深度强化学习网络将以设定的奖惩机制为导向优化当前环境状态下的最佳决策行为，并对网络参数进行更新，最终将智能车辆控制信息返回给数据传输层；

数据传输层包含数据传输协议、数据编解码和数据同步方法；仿环境层与数据传输层进行双向通信，数据传输层和规划决策层进行双向通信；智能训练平台采用TCP/IP通信协议，确保智能训练平台的通用性；为确保仿真环境层和规划决策层的数据同步，可调整两者的时钟频率一致，同时要求数据在不会由于传输延时发生批次错位；其运行步骤如下：

（1）仿真环境层中，用户可通过仿真控制模块对交通仿真模块进行初始化操作，依据待训练的智能车车型、操纵性能以及所装载的传感器类型、数量、安装位置，完成对“虚拟智能车”车辆基本参数以及传感器感知内容的标定，依据实际需求选择相应的多训练场景（组合），同时配置交通仿真模块按照设定的多训练精度选择；

（2）仿真环境层中，通过仿真控制模块自动运行交通仿真模块，并依次加载预先选择的多训练场景，智能汽车控制模块按照预设的传感器感知范围与内容通过交通仿真模块的二次开发接口从仿真运行场景中提取感知信息；

（3）数据传输层中，将仿真环境层传来的感知信息通过编/解码操作后将数据传递给规划决策层；

（4）规划决策层中，根据接收到的环境感知信息作为深度强化学习网络的输入，输出“虚拟智能车”的横纵向加减速信息，同时依据相应操作的结果会依据奖惩机制对每一步动作做出评价；同时依据接收到的“虚拟智能车”控制信息通过数据传输接口控制“虚拟智能车”在交通仿真模块中的运动；

（5）数据传输层中，将规划决策层传来的运动控制信息通过编/解码操作后将数据传递给仿真环境层；

（6）仿真环境层中，“虚拟智能车”控制依据接收到的运动控制信息更新“虚拟智能车”的坐标信息，并在交通仿真模块中让背景车辆对“虚拟智能车”的运动做出反应，在下一个仿真时间将新的环境信息再传回到数据传输层；

（7）步骤（1）仅在训练开始时执行一次，步骤（2）只在当前仿真场景运行结束需要加载新的场景时才执行，之后步骤（3）、（4）、（5）、（6）循环往复运行，直到所有预先选择的场景运行完毕。

2.根据权利要求1所述的智能汽车人工智能训练平台，其特征在于所述仿真训练平台的训练对象仅为智能汽车中的规划决策模块，并不涉及任何真实的传感器以及车辆执行装置，其核心包括深度强化学习网络结构和网络参数，故规划决策层的结果可以是本发明提供的网络结构和参数，也可以是基于其它机构研制的智能车规划决策网络对其参数进行调优。

3.根据权利要求1所述的智能汽车人工智能训练平台，其特征在于所述仿真环境层的交通仿真模块提供了外部模块控制接口以及环境信息读取、智能汽车控制模块的仿真模块，同时可以提供丰富多样的交通流运行场景。

4.根据权利要求1所述的智能汽车人工智能训练平台，其特征在于所述智能汽车控制模块是基于交通仿真模块二次开发实现，人工智能训练模块是基于深度学习开放框架构建的，两者均安装在计算机中，其中智能汽车控制模块可实现交通仿真模块背景车流的运动控制和感知信息提取、不同场景的加载以及运行精度的设置；人工智能训练模块实现对“虚拟智能车”的运动控制以及深度学习算法的优化。

5.根据权利要求1所述的智能汽车人工智能训练平台，其特征在于所述数据传输层将仿真环境层与规划决策层进行双向连接，形成一体化仿真训练平台：一方面从仿真环境层提取“虚拟智能车”周围感知信息，转化为智能汽车规划决策模块深度强化学习算法的输入；另一方面从规划决策层接收车辆控制信息，转化为仿真环境层中“虚拟智能车”的位置信息，并影响仿真环境中其它车辆的运行。