CN109597317B - 一种基于自学习的车辆自动驾驶方法、系统及电子设备 - Google Patents

Abstract

本发明实施例涉及一种基于自学习的车辆自动驾驶方法、系统及电子设备。方法包括：基于针对待学习路线所采集的道路相关数据，进行道路环境学习，构建虚拟道路场景；规划车辆在所述虚拟道路场景中的目标轨迹和目标车速；基于所述虚拟道路场景、所述目标轨迹和所述目标车速，生成待训练的自动驾驶控制模型；以及对所述自动驾驶控制模型进行训练和验证，以确定所述待学习路线是否适于自动驾驶。本发明实施例提供的学习型自动驾驶方案，能够在短期内分析出路线是否支持车辆自动驾驶系统的应用，进而实现快速挖掘可以支持自动驾驶的路段，提高了自动驾驶系统的适应范围和使用的灵活性与实时性。

Description

一种基于自学习的车辆自动驾驶方法、系统及电子设备

技术领域

本发明总体上涉及数据处理领域，具体涉及一种基于自学习的车辆自动驾驶方法、系统及电子设备。

背景技术

完全意义上的自动驾驶，诸如当前的美国汽车工程师协会(SAE，Society ofAutomotive Engineers)级别5(即SAE Level 5)的无人驾驶系统可以支持车辆在任何道路环境下执行无人驾驶。低于该级别的自动驾驶车辆往往只能在特定条件、特定道路环境下才能实现自动驾驶，也即存在一定的设计使用范围(ODD，Operational Design Domain)。自动驾驶车辆的ODD设计完成后，在短时间内无法进行ODD的拓展和更新，自动驾驶系统无法通过对路段特征的学习来拓展ODD的范围，故而称该类自动驾驶系统为非学习型自动驾驶系统。

非学习型自动驾驶系统在固定区域内实现自动驾驶，其实现自动驾驶的路段完全固定，即便该系统支持空中下载技术(OTA，Over-the-Air Technology)升级，升级后仍然只能有限的拓展可自动驾驶的区域。同时，设计的ODD可能不是驾驶者希望经常使用的自动驾驶范围，在此情况下驾驶者无法对该设计好的ODD做出适当的改变。此外，当原来可以支持自动驾驶的区域路段维护或升级后，该区域路段不一定能继续支持自动驾驶，此时若驾驶者继续在该路段开启自动驾驶系统，则带来潜在的驾驶风险。

发明内容

针对上述问题，本发明的实施例提供一种基于自学习的车辆自动驾驶方法、系统、电子设备及计算机可读存储介质，能够对多次行驶的路线进行自学习，并模拟验证该路线是否适合车辆自动驾驶系统执行自动驾驶。

在本发明的第一方面，提供一种基于自学习的车辆自动驾驶方法。该方法包括：基于针对待学习路线所采集的道路相关数据，构建虚拟道路场景；规划车辆在虚拟道路场景中的目标轨迹和目标车速；基于虚拟道路场景、目标轨迹和目标车速，生成待训练的自动驾驶控制模型；以及对自动驾驶控制模型进行训练和验证，以确定待学习路线是否适于自动驾驶。

在某些实施例中，方法还包括：通过环境探测装置获取待学习路线的环境信息，环境信息包括道路信息、交通标志信息和交通参与者信息；以及通过V2X装置获取待学习路线的交通灯变化信息。

在某些实施例中，方法还包括：将采集的道路相关数据与从地图获取的待学习路线的道路相关数据进行匹配，以获取校正的道路相关数据。

在某些实施例中，方法还包括：对待学习路线进行多次道路相关数据的数据采集；确定数据采集次数是否超过采集次数阈值；响应于数据采集次数超过采集次数阈值，确定以数据采集次数所采集的道路相关数据是否满足数据量化要求；以及响应于满足数据量化要求，终止采集道路相关数据。

在某些实施例中，方法还包括：针对每次数据采集以矩阵存储需要精确量化的道路相关数据，以得到采集数据矩阵S_i，并且其中确定以数据采集次数所采集的道路相关数据是否满足数据量化要求包括：确定所采集的道路相关数据是否满足

R_K≤R_T，R_K+1≤R_T，…R_K+L≤R_T

其中，R_K为前K次数据采集的采集数据矩阵的方差，R_T为精确量化数据的目标方差，L为判定指标参数，并且K≥N_1T，K+L≤M，N_1T为采集次数阈值，M为采集次数上限值。

在某些实施例中，构建虚拟道路场景包括：基于经校正的道路相关数据，构建与地图同坐标系下的路线的车道级道路模型。

在某些实施例中，构建虚拟道路场景还包括：基于所采集的道路相关数据，获取待学习路线的至少一个关键兴趣区域，关键兴趣区域包含关于自动驾驶的重要道路特征；计算至少一个关键兴趣区域的交通秩序指数，交通秩序指数表征关键兴趣区域中的交通秩序状况；基于至少一个关键兴趣区域的交通秩序指数，确定待学习路线的交通秩序指数；以及响应于待学习路线的交通秩序指数不满足自动驾驶需求，终止构建虚拟道路场景。

在某些实施例中，规划车辆在虚拟道路场景中的目标轨迹和目标车速包括：基于车辆行驶的位置信息，获取车辆的行驶路线；基于虚拟道路场景，确定行驶路线的必然换道区和正常行驶区，必然换道区为道路交叉口前的区域，正常行驶区为行驶路线上除必然换道区之外的其他区域；以及将在必然换道区换道后的车道中心线确定为必然换道区的目标轨迹。

在某些实施例中，规划车辆在虚拟道路场景中的目标轨迹和目标车速还包括：获取正常行驶区的各车道分时段的交通流量信息；选择各时段的交通流量低于第一流量阈值的车道作为正常行驶区的目标车道；将正常行驶区的目标车道的中心线确定为正常行驶区的目标轨迹；以及基于必然换道区的目标轨迹和正常行驶区的目标轨迹，确定车辆在虚拟道路场景中的行驶目标轨迹。

在某些实施例中，规划车辆在虚拟道路场景中的目标轨迹和目标车速还包括：基于所采集的道路相关数据，在行驶目标轨迹上标记关键兴趣区域，关键兴趣区域包含关于自动驾驶的重要道路特征；将在行驶目标轨迹上交通流量高于第二流量阈值的非关键兴趣区域的区域标记为交通拥堵区域；以及将行驶目标轨迹上的其他区域标记为常规行驶区域。

在某些实施例中，规划车辆在虚拟道路场景中的目标轨迹和目标车速还包括：基于车辆在常规行驶区域的历史车速，计算常规行驶区域的期望行驶速度；响应于期望行驶速度满足常规行驶区域的限速要求，确定期望行驶速度为常规行驶区域的目标车速；以及基于常规行驶区域的目标车速，确定关键兴趣区域和交通拥堵区域的目标车速。

在某些实施例中，规划车辆在虚拟道路场景中的目标轨迹和目标车速还包括：基于常规行驶区域的目标车速、关键兴趣区域和交通拥堵区域的目标车速，确定车辆的舒适加速度，使得车辆以舒适加速度在常规行驶区域、关键兴趣区域以及交通拥堵区域之间缓冲过渡。

在某些实施例中，对自动驾驶控制模型进行训练和验证包括：基于所采集的道路相关数据，创建交通参与者激励模型，参与者激励模型模拟线路的交通参与者情况并且包括危险激励；将具有不同交通参与者情况和不同危险等级的危险激励的交通参与者激励模型分别作为激励输入训练自动驾驶控制模型；以及响应于自动驾驶控制模型的当前训练次数大于第一训练次数阈值，输出第一训练结果，第一训练结果包括不同危险等级的危险激励时车辆的动态输出安全参数以及请求驾驶员接管的次数。

在某些实施例中，对自动驾驶控制模型进行训练和验证还包括：确定针对不同危险等级的危险激励的车辆的动态输出安全参数是否均满足安全性要求；响应于存在针对一危险等级的危险激励的车辆的动态输出安全参数不满足安全性要求，调整自动驾驶控制模型在该危险等级的危险激励下所采用的行驶执行输入参数以优化自动驾驶控制模型；以第二训练次数针对该危险等级的危险激励训练经优化的自动驾驶控制模型，输出第二训练结果，第二训练结果包括该危险等级的危险激励时车辆的动态输出安全参数；确定针对该危险等级的危险激励的车辆的动态输出安全参数是否均满足安全性要求；响应于满足安全性要求，更新自动驾驶控制模型的行驶执行输入参数，并且响应于不满足安全性要求，继续调整行驶执行输入参数直至车辆动态输出安全参数满足安全性要求或调整次数大于第一预定次数；以及响应于调整次数大于第一预定次数，递增自动驾驶系统请求接管次数。

在某些实施例中，对自动驾驶控制模型进行训练和验证还包括：确定请求驾驶员接管的次数是否大于预定接管次数阈值；响应于请求驾驶员接管的次数大于预定接管次数阈值，调整自动驾驶控制模型的目标轨迹和目标车速；以及基于调整的目标轨迹和目标车速，训练自动驾驶控制模型直至请求驾驶员接管的次数低于预定接管次数阈值或调整的目标轨迹和目标车速的次数大于第二预定次数。

在某些实施例中，方法还包括：响应于自动驾驶控制模型通过验证，将自动驾驶控制模型输出至车辆行驶控制部件，以便行驶控制部件基于触发自动驾驶的触发信号而执行自动驾驶。

在本发明的第二方面，提供一种基于自学习的车辆自动驾驶系统。该系统包括：环境探测装置，获取待学习路线的环境信息，环境信息包括道路信息、交通标志信息和交通参与者信息；V2X装置，获取待学习路线的交通灯变化信息；地图与定位模块，从地图获取待学习路线的环境信息并且获取车辆的位置信息，以及记录车辆行驶路线；以及自动驾驶控制模块，基于来自环境探测装置、V2X装置和地图与定位模块的针对待学习路线所采集的道路相关数据，构建虚拟道路场景；规划车辆在虚拟道路场景中的目标轨迹和目标车速；基于虚拟道路场景、目标轨迹和目标车速，生成待训练的自动驾驶控制模型；以及对自动驾驶控制模型进行训练和验证。

在某些实施例中，系统还包括：车辆执行系统，其根据自动驾驶控制模块的指令而执行车辆操作指令；以及自动驾驶控制界面，向驾驶者提示自动驾驶系统的当前状态，以及接收驾驶者的输入指令。

在本发明的第三方面，提供一种电子设备，包括：处理器；以及存储有指令的存储器，指令在被处理器执行时促使设备执行根据本发明第一方面所描述的方法。

在本发明的第四方面，提供一种计算机可读存储介质，其存储有机器可读的指令，指令在由机器执行时使得机器执行根据本发明第一方面所描述的方法。

本发明实施例提供的学习型自动驾驶方案，通过对车辆固定的常用行驶路线进行环境学习和模拟验证，在短期内分析出该路线是否支持车辆自动驾驶系统的应用，进而实现快速挖掘可以支持自动驾驶的路段，提高了自动驾驶系统的适应范围和使用的灵活性与实时性。同时，驾驶者能够直接参与车辆自动驾驶特性的实现和验证过程，给驾驶者带来对车辆自动驾驶功能的全新体验。

附图说明

图1示出根据本发明的一个实施例的基于自学习的自动驾驶系统的示意性框图；

图2示出根据本发明的一个实施例的基于自学习的自动驾驶方法的流程图；

图3示出根据本发明的另一实施例的基于自学习的自动驾驶方法的流程图；

图4示出适合实现本发明的实施例的电子设备的方框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。但本领域技术人员知晓，本发明并不局限于附图和以下实施例。

如本文中所述，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。

如前所述，驾驶者对某些行驶路线具有实现自动驾驶的需求，诸如其常用的行驶路线，而这些行驶路线可能并不被自动驾驶车辆的ODD设计所覆盖。在此情况下，当前的非学习型自动驾驶系统无法满足驾驶者的自动驾驶需求。有鉴于此，本发明实施例提供基于自学习的自动驾驶方案，至少能够解决这些问题。

下面结合附图对本发明实施例作进一步描述。图1示出了根据本发明的一个实施例的基于自学习的自动驾驶系统100的示意图，系统100可以实现为支持自动驾驶的车辆的一部分。

根据本发明的实施例，系统100可以对用户(驾驶者)常用的行驶路线进行环境学习、模拟验证，高效地分析并判断该路线是否支持自动驾驶系统的应用，进而快速挖掘可以支持自动驾驶的路段，提高自动驾驶系统的适应范围和使用的灵活性与实时性。如图所示，系统100包括自动驾驶控制模块110和获取道路相关数据的数据采集系统120，自动驾驶控制模块110依赖于来自数据采集系统120的道路相关信息来进行自学习并实施自动驾驶控制。

数据采集系统120在系统100中示出包括环境探测装置121、车辆与外界间通讯(V2X，Vehicle to X)装置122和地图与定位模块123。环境探测装置121包括但不局限毫米波雷达、激光雷达、超声波雷达、诸如摄像头等视频图像采集设备，主要用于获取道路信息、交通标志信息以及车辆、行人等交通参与者信息。其中，道路信息包含道路类型、道路位置参数、车道数、车道宽度、车道纵坡、车道横坡、车道曲率、车道线位置参数、车道线类型、车道线颜色、护栏与路沿位置信息、斑马线位置信息等；交通标志信息包含车道通行指示标志、车道禁入标志、限速标志、红绿灯位置信息等。

V2X装置122主要用于利用V2X技术获取交通灯信息，诸如交通灯颜色信号的变化。地图与定位模块123中可以包括诸如ADAS map、HD MAP车载地图，从地图获取车道信息与交通标志信息，这些信息用于与环境探测装置121采集的数据进行匹配。地图与定位模块123还获取车辆自身所在的位置信息，记录驾驶者车辆行驶路线，并输入至自动驾驶控制模块110。

自动驾驶控制模块110可以包括学习与存储单元111、虚拟场景构建单元112、行驶规划单元123、训练验证单元114和行驶控制单元115。根据本发明的一个实施例，数据采集系统120对驾驶者常用的行驶路线进行道路相关数据获取，并将多次采集的数据传送至自动驾驶控制模块110的学习与存储单元111。

学习与存储单元111对该待学习路线(例如驾驶者常用的行驶路线)进行环境学习，并对道路相关数据进行处理后分别提供给虚拟场景构建单元112、行驶规划单元123和训练验证单元114。虚拟场景构建单元112建立待学习路线的虚拟道路场景，行驶规划单元123在该虚拟道路场景基础上对行驶目标轨迹和目标车速等进行规划，进而可以得到待学习路线的自动驾驶控制模型。训练验证单元114对建立的自动驾驶控制模型在来自学习与存储单元111的交通参与者激励输入下进行训练和验证，并将在训练和验证中优化和经验证的自动驾驶控制模型输出至行驶控制单元115。自动驾驶控制模块110中各单元的具体实现和工作过程将在下文详细描述。

在自动驾驶控制模块110对待学习路线进行学习分析过程中，一旦发现该路线并不适应于车辆的自动驾驶系统的自动驾驶，自动驾驶控制模块110提示该路线为不可自动驾驶路段，并可以促使自动驾驶控制界面130显示提示信息。自动驾驶控制界面130可以是自动驾驶控制模块110与驾驶者交互的显示界面，例如车载屏幕。自动驾驶控制界面130向驾驶者提示自动驾驶系统的当前的状态，并接收驾驶者的输入。

在行驶控制单元115确定执行自动驾驶时，其根据自动驾驶控制模型来控制车辆执行系统140执行车辆操作指令。车辆执行系统140可以包括制动执行模块141、动力执行模块142和转向执行模块143。制动执行模块141接收自动驾驶控制模块110的制动指令并执行车辆制动，动力执行模块142接收自动驾驶控制模块110的加速指令并执行车辆加速，转向执行模块143接收自动驾驶控制模块110的转向指令并执行车辆转向。

可以理解，以上描述的系统100仅是示意性的，为了便于描述本发明的实施例，未具体示出和描述系统100的其他部件，以免不必要地模糊本发明实施例的方面。

下面结合图1中的系统100描述根据本发明的实施例的基于自学习的自动驾驶方案。图2示出了根据本发明的一个实施例的基于自学习的自动驾驶方法200的流程图，方法200可以在自动驾驶控制模块110处实现。

在210，基于针对待学习路线所采集的道路相关数据，构建虚拟道路场景。在一个实施例中，通过学习与存储单元111进行道路环境学习，在此基础上构建虚拟道路场景，该虚拟道路场景可以是车道级道路模型。

在一个实施例中，道路环境学习过程可以如下。当驾驶者期望某常用行驶路线能实现自动驾驶时，其可以通过自动驾驶控制界面130开启自动驾驶学习模式。环境探测装置121开始采集路线信息并输入至学习与存储单元111，学习与存储单元111将采集的道路与交通标志信息与地图与定位模块123的道路与交通标志信息进行匹配分析，进而获取准确的道路信息与交通标志信息。其中，道路信息包含道路类型、道路位置参数、车道数、车道宽度、车道纵坡、车道横坡、车道曲率、车道线位置参数、车道线类型、车道线颜色、护栏与路沿位置信息、斑马线位置信息等；交通标志信息包含车道通行指示标志、车道禁入标志、限速标志、红绿灯位置信息等。

根据一个实施例，在首次采集获取待学习路线的道路相关数据后，学习与存储单元111从地图与定位模块123获取该路线的道路类型，并与预设的支持自动驾驶的道路类型对比。若采集路线的道路类型在预设的道路模型内，则重复对该路线的数据采集，否则，将终止对该路段的数据采集，并提示驾驶者该路线不适宜自动驾驶系统的使用，自动驾驶学习模式结束。

同时，学习与存储单元111从V2X装置122和地图与定位模块123获取整车与外部通信情况。若未出现通信异常或通信丢失的情况，则重复对该路段的数据采集，否则将终止对该路线的数据采集，并提示驾驶员该路线不适宜自动驾驶系统的使用，自动驾驶学习模式结束。

应当理解，驾驶者期望针对常用行驶路线进行学习时，自动驾驶控制模块110根据首次采集数据可以限制该学习路线的长度，或者可以将该路线分为多个一定长度的路段，针对每个路段进行学习分析，以便更好地满足驾驶者的自动驾驶需求。

根据一个实施例，为了减少环境探测装置121获取数据的误差，对采集路线的数据采集次数N₁需至少达到N_1T次。对于需要精确量化的数据，比如车道线特征点的位置参数、路口位置参数、车道长度、车道线长度等道路信息，将第K次的采集数据存储在矩阵D_K中。当进行N_1T次采集后，若以下式(1)条件满足则结束本次对该路线的数据采集，否则将继续进行采集：

R_K≤R_T，R_K+1≤R_T，…R_K+L≤R_T (1)

其中，K≥N_1T，K+L≤M，L为判定指标参数，M为采集次数上限值；R_K为前K次数据采集的采集数据矩阵D₁，…，D_K的方差，R_T为精确量化数据的目标方差。

若完成采集次数M次，而上述条件仍然不满足，将终止对该路段的数据采集，并提示驾驶者该路线不适宜自动驾驶系统的使用，自动驾驶学习模式结束。

接下来，构建虚拟道路场景。

在一个实施例中，学习与存储单元111根据采集的道路与交通标志信息数据，通过特征学习，拾取采集路线中的重要特征区域，例如路口、人行道、护栏缺口、隔离带缺口、匝道等该自动驾驶系统的关键兴趣区域。

学习与存储单元111根据的环境探测装置121获取的交通参与者信息，包含机动车、自行车、行人等交通参与者的穿梭轨迹信息，结合红绿灯信息和车道线类型，通过预存的大数据分析模型分析出第i关键兴趣区域的交通秩序指数G_i，通过各个关键兴趣区域的交通秩序指数G_i，结合整个路线道路长度和预计通行时间，计算出整个路线路段的交通秩序指数G。这里，交通秩序指数以量化方式表征交通秩序状况。作为示例，其值越高可以表征区域内的交通更有序，其值越低表征区域内的交通更混乱。

若采集路线的交通秩序指数G高于自动驾驶系统的目标指数G_T，则表明该采集路线路段的交通秩序较好，满足自动驾驶系统的自动驾驶需求，否则将终止学习过程，并提示驾驶员该路线不适宜自动驾驶系统的使用，自动驾驶学习模式结束。

虚拟场景构建单元112通过学习与存储单元111获取的精确的道路与交通标志数据，构建地图与定位模块123同坐标系下的所采集路线的车道级道路模型，包括精确的车道线信息、障碍物位置信息和关键兴趣区域的数据、车道曲率、车道横纵向坡度以及该路线各路段的限速信息等。虚拟场景构建单元112将构建好的虚拟道路模型输入至行驶规划单元113和训练验证单元114。

回到图2，在构建了虚拟道路场景后，在220，规划车辆在虚拟道路场景中的目标轨迹和目标车速。

根据本发明的一个实施例，如下进行目标轨迹的规划。

学习与存储单元111根据地图与定位模块123提供的车辆位置信息，输出驾驶员在该常用路线的行驶轨迹至行驶规划单元113。行驶规划单元113结合虚拟道路模型，拾取轨迹中道路交叉口前的区域为必然换道区，在必然换道区之外的其他路段为正常行驶区。必然换道区与正常行驶区的分界点为驾驶者多个行驶轨迹中的由正常行驶区通往必然换道区方向的最早换道点。

必然换道区的目标轨迹为换道后的道路中心线。针对每个正常行驶区，学习与存储单元111将道路环境学习阶段获取的各路段各时段(例如每t分钟)交通参与者轨迹数据进行大数据分析，得出各路段各个车道的分时段交通流量指数F_At,i,F_At,i表示A路段t时段的i车道的交通流量指数。这里，交通流量指数以量化方式表征交通流量或交通拥堵情况。作为示例，其值越高可以表征区域内的交通流量更高，其值越低表征区域内的交通流量更低。

行驶规划单元113获取到交通流量指数后，选择各时段交通流量指数低于某一阈值的车道的中心线作为目标轨迹。作为示例，可以选择各时段最低的交通流量指数F_At,min的车道的中心线作为目标轨迹。

在一个实施例中，为了避免因地段和时段的变化而导致各车道交通流量指数的变化，进而引起目标车道的频繁选择，当相邻时段的各车道的最低交通流量指数差值高于某一阈值E时，才进行目标车道的切换。将正常行驶区与必然换道区的目标轨迹相连，形成该线路的目标行驶轨迹模型，并植入到训练验证单元。

规划了路线的目标轨迹后，进行目标车速的规划。根据本发明的一个实施例，行驶规划单元113将构建的目标行驶轨迹根据道路状况区分为不同类型路段来确定相应的目标车速。

在本实施例中，行驶规划单元113将学习与存储单元111识别的路口、人行道、匝道等自动驾驶的关键兴趣区域在构建的目标行驶轨迹中进行标记。同时，将某些路段标记为交通拥堵区域。作为示例，将交通流量指数F_At,i高于阈值F_J的路段在目标轨迹中标记为交通拥堵区域。由此，行驶规划单元113将目标轨迹可以分为关键兴趣区域、交通拥堵区域和常规行驶区域。

在正常行驶域内，学习与存储单元111通过对驾驶者行驶速度数据样本进行分析，采用学习算法识别出驾驶者在各正常行驶路段的常用期望行驶速度S_C输入至行驶规划单元113。行驶规划单元113考虑路线各路段的道路限速范围[S_min,S_max]，若S_C∈[S_min,S_max],则以S_C作为该路段目标行驶速度S_T，若

则以S作为该路段目标行驶速度S_T，其中S∈[S_min,S_max]。

正常行驶区域与其他区域的交接处为加减速缓存区，车辆在该区内通过舒适加速度缓冲过渡到下一区域中。关键兴趣区域和交通拥堵区域的目标行驶速度可以分别为α*S_T与β*S_T，其中α和β均为小于0到1之间的值，可以根据加减速缓冲需要进行设定。行驶规划单元113将整个目标轨迹上的目标车速模型植入到训练验证单元114。

接下来，在230，基于虚拟道路场景、目标轨迹和目标车速，生成待训练的自动驾驶控制模型。然后，在240，对自动驾驶控制模型进行训练和验证。

在一个实施例中，训练验证单元114根据虚拟场景构建单元112构建生成的待学习路线的虚拟道路场景、行驶规划单元113规划的车辆行驶目标轨迹和该目标轨迹上的目标车速，生成待训练验证的自动驾驶控制模型。

在另一实施例中，学习与存储单元111通过分时段交通流量指数F_At,i路段和交通秩序指数G，调用预存的交通参与者激励模型，并植入到训练验证单元114。交通参与者激励模型模拟当前采集线路的交通参与者情况，并且带有一定的危险激励。

训练验证单元114在获取虚拟道路场景、目标轨迹、目标车速、交通参与者激励模型后，生成整个初始模型作为自动驾驶控制模型，并开始对整个初始模型的训练验证。

根据本发明实施例，在不同的训练次数，学习与存储单元111调用预存的多个不同交通流量指数和交通秩序指数下，含有不同危险等级的障碍物与危机激励的交通参与者模型进行激励。训练次数达到N₂次时，输出训练结果。训练结果包括不同危险等级的车辆避障或危机处理时，车辆的动态输出参数以及整个验证过程中自动驾驶系统请求驾驶员接管的次数。这里，动态输出参数包括行车参数，例如行车漂移程度等，请求驾驶员接管的次数可以表示为每10000公里H次，即H/10000km。

不同危险等级车辆避障或危机处理时，若车辆的动态输出参数均满足安全性要求，则进行下一步验证，否则，对相应等级的避障或危机处理时模型所采用的行驶执行输入参数进行优化迭代，行驶执行输入参数包括加速度、加速度变化率、转向角以及转向角速率等，并对调整参数后的自动驾驶控制模型进一步进行训练验证。

如果自动驾驶系统请求驾驶员接管系统的次数高于预定阈值时，说明初始模型的自动化驾驶程度较低，不能通过验证，则需要对初始模型中的目标轨迹和目标车速进行优化迭代，直到系统接管次数低于预定阈值或迭代次数超过设定的最大次数。

当若车辆的动态输出参数均满足安全性要求并且自动驾驶系统请求驾驶员接管的次数符合自动驾驶要求时，自动驾驶控制模型的模拟和训练过程结束，并且当前学习的路线适合车辆的自动驾驶系统。

训练验证单元114输出经过训练优化后的自动驾驶控制模型至行驶控制单元115。自动驾驶控制模型包含不同危险等级的避障或危机处理行驶执行输入参数、虚拟道路场景、优化后的目标显示轨迹和优化后的目标车速。

同时，通过自动驾驶控制界面130提醒驾驶者该常规路线可以开始自动驾驶模式。驾驶者确认开启自动驾驶模式后，行驶控制单元115将向车辆执行系统140发出相应的控制指令，开始自动驾驶模式。

为了进一步清晰描述本发明实施例，图3示出了根据本发明的一个具体实施例的基于自学习的自动驾驶方法300的流程图，方法300可以在自动驾驶控制模块110处实现。

如图所示，方法在301开始，此时等待并接收驾驶者的控制指令，在303判断是否开启自动学习模式。在一个实施例中，驾驶者通过自动驾驶控制界面130启动自动学习模式。当发现没有开启自动学习时，方法300结束。当开启了自动学习模式时，在305，数据采集系统120被指令针对待学习的路线采集道路相关信息，这些信息包括从数据采集系统120所获取的道路信息、交通标志信息、交通参与者信息、地图信息、车辆位置信息等等。相应地，自动驾驶控制模块110获取这些信息。

在307，判断路线的道路类型是否为支持自动驾驶的道路类型。具体而言，根据首次采集的信息，从地图得到路线的道路类型，通过与预存的支持自动驾驶的道路类型进行对比来判断。当判断不属于支持自动驾驶的道路类型时，跳转到309，提示该路线为不可自动驾驶路线。当判断属于支持自动驾驶的道路类型时，在311判断该路线上车辆与外部所有通信是否正常，例如V2X通信、地图与定位通信等是否正常。如果车辆与外部通信不正常，跳转到309，提示该路线为不可自动驾驶路线。如果车辆与外部通信正常，进行到313，继续对该路线的数据采集。

在315，判断数据采集次数N₁≥N_1T是否成立，N_1T为采集次数阈值。如果数据采集次数没有达到N_1T，回到313继续进行数据采集，如果数据采集次数达到N_1T，在317判断上式(1)条件是否满足。在317，可以对采集的道路相关数据进行校正。在一个实施例中，将环境探测装置121的采集数据与地图与定位模块123提供的地图道路数据进行匹配分析，从而得到经校正的采集数据。

如果在317判断不满足式(1)，意味着采集的样本数据误差较大，需要增加样本数。具体而言，在319将数据采集次数N₁递增，并且在321判断N₁是否小于数据采集次数上限值M。如果没有达到M次，即转到313继续采集数据，直到满足式(1)条件或者达到数据采集次数上限值M。

另一方面，如果317判断满足式(1)，意味着采集的样本数据误差可接受，则在323，判断该路线的交通秩序指数G＞G_T是否成立，计算该路线的交通秩序指数的过程如上文所述。如果交通秩序指数G小于等于G_T，即该路线的交通秩序混乱，跳转到309，提示该路线为不可自动驾驶路线。如果交通秩序指数G大于G_T，意味着该路线交通秩序良好，进行到325，构建虚拟道路场景。

在325构建虚拟道路场景的过程如前所述，由此得到车道级道路模型。接着，在327规划该虚拟道路场景下的目标轨迹和目标车速，可以得到各时段的目标轨迹和目标车速。在329，由虚拟道路场景、目标轨迹、目标车速、交通参与者激励模型生成整个初始模型作为自动驾驶控制模型，并在虚拟场景下模拟车辆进行N₂次自动驾驶训练。

在331，对经过N₂次自动驾驶训练的自动驾驶控制模型的输出结果进行分析，判断车辆避障/应急处理时动态输出参数是否满足安全性要求。如果满足安全性要求，进入到339进行下一步验证。

如果在331判断不满足安全性要求，则需要调整行驶执行输入参数，诸如加速度、加速度变化率、转向角以及转向角速率等。同时，如果调整该参数的次数过多而仍然不能满足安全性要求，意味着需要驾驶者参与，请求驾驶者接管。因此，可以在333判断调整次数是否达到阈值N₄，如果没有达到阈值，则在335调整行驶执行输入参数，并在337在同环境下进行N₃次避障或危机激励，在331进行验证，若验证通过，则以最新的行驶执行输入参数作为相应的避障或危机处理的行驶执行输入参数，否则将继续调整行驶执行输入参数，直至车辆动态输出参数满足安全性要求或调整次数大于N₄次。

当在333判断调整次数大于N₄次时，输出最新的行驶执行输入参数，记录本次避障或危机处理为不可避免事故，自动驾驶系统请求接管次数加1，并进入339进行下一步验证。

在339，判断自动驾驶系统请求驾驶员接管系统的次数是否低于阈值H_T/10000km。如果请求驾驶员接管系统的次数高于阈值H_T/10000km时(即“否”分支)，说明初始训练模型的自动化驾驶程度较低，不能通过验证，则需要对初始训练模型中的目标轨迹和目标车速进行优化迭代。同时，如果优化迭代目标轨迹和目标车速的次数过多而仍然不能通过验证，意味着该路线不适于自动驾驶系统进行自动驾驶。因此，可以在341判断优化迭代目标轨迹和目标车速的次数是否达到阈值N_5T，如果没有达到阈值N_5T，则跳转到327规划目标轨迹和目标车速，并以更新的目标轨迹和目标车速进行训练验证，若验证通过，则在345得到经优化的自动驾驶控制模型，否则将继续调整目标轨迹和目标车速，直至系统接管次数低于阈值H_T/10000km或迭代次数大于N_5T次。

当迭代次数大于N_5T时，停止对初始模型目标轨迹和目标车速的优化迭代，放弃本次自动驾驶学习模式，并在309提醒驾驶者当前路线不适合本自动驾驶系统。当在345得到经优化的自动驾驶控制模型，整个模拟与训练过程结束，可以在347提示该路线可以开始自动驾驶，进而方法300可以在349结束。

从以上对本发明实施例的描述可以看出，通过自学习常用的一些行驶路线，为驾驶者自行选择需要进行自动驾驶的路线提供了可能性。通过对驾驶员常用行驶路线的道路环境学习，构建虚拟自动驾驶模型验证该常用线路的是否适应自动驾驶系统的自动驾驶，增加了自动驾驶系统的适用范围。在实际应用方面，若驾驶者常用的该路线支持当前自动驾驶系统进行车辆的自动驾驶，则可以一定程度上缓解驾驶者的驾驶疲劳，驾驶者可在自动驾驶时适当做其他事情，节约了驾驶者的时间。而驾驶者一定程度上直接参与了车辆从既定的自动驾驶范围内拓展自己车辆的自动驾驶使用环境，提升了对持有的车辆产品的驾乘乐趣和对车企的亲耐度。

另一方面，当待学习路线是常用路线时，由于常用的路线相对固定，不需要大量的数据采集，自动驾驶系统能够通过有效的数据采集和学习，获取精确的常规路线的环境模型。此外，本发明实施例提供的基于自学习的自动驾驶方案不需要在某路线的全部路段实现自动驾驶，可以对满足自动驾驶条件的部分路线路段实现自动驾驶，对整个自动驾驶系统环境感知要求和安全性相对全局自动驾驶系统较低，更容易实现量产。

图4示出了适合实现本发明的实施例的电子设备400的方框图。设备400可以用来实现服务器120或电动车辆110的一部分。如图所示，设备400包括处理器410。处理器410控制设备400的操作和功能。例如，在某些实施例中，处理器410可以借助于与其耦合的存储器420中所存储的指令430来执行各种操作。存储器420可以是适用于本地技术环境的任何合适的类型，并且可以利用任何合适的数据存储技术来实现，包括但不限于基于半导体的存储器件、磁存储器件和系统、光存储器件和系统。尽管图4中仅仅示出了一个存储器单元，但是在设备400中可以有多个物理不同的存储器单元。

处理器410可以是适用于本地技术环境的任何合适的类型，并且可以包括但不限于通用计算机、专用计算机、微控制器、数字信号控制器(DSP)以及基于控制器的多核控制器架构中的一个或多个多个。设备400也可以包括多个处理器410。

当设备400自动驾驶控制模块110或其一部分时，处理器410在执行指令430时促使设备400执行动作，以实现上文参考图1-图3描述的方法200和300。

本发明的实施例还提供一种计算机可读存储介质，其存储有机器可读的指令，指令在由机器执行时使得机器执行根据本发明所描述的方法。

本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上，对本发明的实施方式进行了说明。但是，本发明不限定于上述实施方式。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于自学习的车辆自动驾驶方法，其特征在于，包括：

基于针对待学习路线所采集的道路相关数据，构建虚拟道路场景；

规划车辆在所述虚拟道路场景中的目标轨迹和目标车速；

基于所述虚拟道路场景、所述目标轨迹和所述目标车速，生成待训练的自动驾驶控制模型；以及

对所述自动驾驶控制模型进行训练和验证，以确定所述待学习路线是否适于自动驾驶，

其中，对所述自动驾驶控制模型进行训练和验证包括：

基于所采集的所述道路相关数据，创建交通参与者激励模型，所述参与者激励模型模拟所述路线的交通参与者情况并且包括危险激励；

将具有不同交通参与者情况和不同危险等级的危险激励的所述交通参与者激励模型分别作为激励输入训练所述自动驾驶控制模型；以及

响应于所述自动驾驶控制模型的当前训练次数大于第一训练次数阈值，输出第一训练结果，所述第一训练结果包括不同危险等级的危险激励时车辆的动态输出安全参数以及请求驾驶员接管的次数。

2.根据权利要求1所述的方法，其特征在于，还包括：

对所述待学习路线进行多次所述道路相关数据的数据采集；

针对每次数据采集以矩阵存储需要精确量化的道路相关数据，以得到采集数据矩阵Si，

确定所采集的所述道路相关数据是否满足如下数据量化要求：

R_K≤R_T，R_K+1≤R_T，…R_K+L≤R_T

其中，R_K为前K次数据采集的采集数据矩阵的方差，R_T为精确量化数据的目标方差，L为判定指标参数，并且K≥N_1T，K+L≤M，N_1T为采集次数阈值，M为采集次数上限值；以及

响应于满足所述数据量化要求，终止采集所述道路相关数据。

3.根据权利要求1所述的方法，其特征在于，其中构建虚拟道路场景包括：

将采集的所述道路相关数据与从地图获取的所述待学习路线的道路相关数据进行匹配，以获取校正的道路相关数据；以及

基于经校正的道路相关数据，构建与所述地图同坐标系下的所述待学习路线的车道级道路模型。

4.根据权利要求1所述的方法，其特征在于，其中规划车辆在所述虚拟道路场景中的目标轨迹和目标车速包括：

基于车辆行驶的位置信息，获取车辆的行驶路线；

基于所述虚拟道路场景，确定所述行驶路线的必然换道区和正常行驶区，所述必然换道区为道路交叉口前的区域，所述正常行驶区为所述行驶路线上除所述必然换道区之外的其他区域；以及

将在所述必然换道区换道后的车道中心线确定为所述必然换道区的目标轨迹。

5.根据权利要求4所述的方法，其特征在于，其中规划车辆在所述虚拟道路场景中的目标轨迹和目标车速还包括：

获取所述正常行驶区的各车道分时段的交通流量信息；

选择各时段的交通流量低于第一流量阈值的车道作为所述正常行驶区的目标车道；

将所述正常行驶区的目标车道的中心线确定为所述正常行驶区的目标轨迹；以及

基于所述必然换道区的目标轨迹和所述正常行驶区的目标轨迹，确定车辆在所述虚拟道路场景中的行驶目标轨迹。

6.根据权利要求5所述的方法，其特征在于，其中规划车辆在所述虚拟道路场景中的目标轨迹和目标车速还包括：

基于所采集的所述道路相关数据，在所述行驶目标轨迹上标记关键兴趣区域，关键兴趣区域包含关于自动驾驶的重要道路特征；

将在所述行驶目标轨迹上交通流量高于第二流量阈值的非关键兴趣区域的区域标记为交通拥堵区域；以及

将所述行驶目标轨迹上的其他区域标记为常规行驶区域。

7.根据权利要求6所述的方法，其特征在于，其中规划车辆在所述虚拟道路场景中的目标轨迹和目标车速还包括：

基于车辆在所述常规行驶区域的历史车速，计算所述常规行驶区域的期望行驶速度；

响应于所述期望行驶速度满足所述常规行驶区域的限速要求，确定所述期望行驶速度为所述常规行驶区域的目标车速；以及

基于所述常规行驶区域的目标车速，确定所述关键兴趣区域和所述交通拥堵区域的目标车速。

8.根据权利要求1所述的方法，其特征在于，其中对所述自动驾驶控制模型进行训练和验证还包括：

确定针对不同危险等级的危险激励的所述车辆的动态输出安全参数是否均满足安全性要求；

响应于存在针对一危险等级的危险激励的所述车辆的动态输出安全参数不满足安全性要求，调整所述自动驾驶控制模型在该危险等级的危险激励下所采用的行驶执行输入参数以优化所述自动驾驶控制模型；

以第二训练次数针对该危险等级的危险激励训练经优化的所述自动驾驶控制模型，输出第二训练结果，所述第二训练结果包括该危险等级的危险激励时车辆的动态输出安全参数；

确定针对该危险等级的危险激励的所述车辆的动态输出安全参数是否均满足安全性要求；以及

响应于满足安全性要求，更新所述自动驾驶控制模型的行驶执行输入参数，并且响应于不满足安全性要求，

继续调整行驶执行输入参数直至车辆动态输出安全参数满足安全性要求或调整次数大于第一预定次数；以及

响应于调整次数大于所述第一预定次数，递增所述自动驾驶控制模型请求接管次数。

9.根据权利要求8所述的方法，其特征在于，其中对所述自动驾驶控制模型进行训练和验证还包括：

确定所述请求驾驶员接管的次数是否大于预定接管次数阈值；

响应于所述请求驾驶员接管的次数大于所述预定接管次数阈值，调整所述自动驾驶控制模型的目标轨迹和目标车速；以及

基于调整的所述目标轨迹和目标车速，训练所述自动驾驶控制模型直至所述请求驾驶员接管的次数低于所述预定接管次数阈值或调整的所述目标轨迹和目标车速的次数大于第二预定次数。

10.一种基于自学习的车辆自动驾驶系统，其特征在于，包括：

环境探测装置，获取待学习路线的环境信息，所述环境信息包括道路信息、交通标志信息和交通参与者信息；

V2X装置，获取所述待学习路线的交通灯变化信息；

地图与定位模块，从地图获取所述待学习路线的环境信息并且获取车辆的位置信息，以及记录车辆行驶路线；以及

自动驾驶控制模块，基于来自所述环境探测装置、所述V2X装置和所述地图与定位模块的针对所述待学习路线所采集的道路相关数据，构建虚拟道路场景；规划车辆在所述虚拟道路场景中的目标轨迹和目标车速；基于所述虚拟道路场景、所述目标轨迹和所述目标车速，生成待训练的自动驾驶控制模型；以及对所述自动驾驶控制模型进行训练和验证，

其中，对所述自动驾驶控制模型进行训练和验证包括：基于所采集的所述道路相关数据，创建交通参与者激励模型，所述参与者激励模型模拟所述路线的交通参与者情况并且包括危险激励；将具有不同交通参与者情况和不同危险等级的危险激励的所述交通参与者激励模型分别作为激励输入训练所述自动驾驶控制模型；以及响应于所述自动驾驶控制模型的当前训练次数大于第一训练次数阈值，输出第一训练结果，所述第一训练结果包括不同危险等级的危险激励时车辆的动态输出安全参数以及请求驾驶员接管的次数。

11.一种电子设备，其特征在于，包括：处理器；以及存储有指令的存储器，所述指令在被所述处理器执行时促使所述设备执行根据权利要求1-9任一项所述的方法。

Images