CN114818484A - 驾驶环境模型的训练方法及驾驶环境信息的预测方法 - Google Patents

Abstract

本申请涉及一种驾驶环境模型的训练方法及装置、驾驶环境信息的预测方法及装置、计算机设备、存储介质和计算机程序产品。所述方法包括：构建初始环境模型，初始环境模型包含多个单体模型；获取各单体模型对应的训练样本集，并通过各训练样本集训练对应的单体模型，得到训练后的环境模型；将测试样本输入至训练后的环境模型，得到各训练后的单体模型对应的下一时刻的驾驶环境预测信息；测试样本包含当前时刻的驾驶环境样本信息和当前决策动作样本信息；计算各下一时刻的驾驶环境预测信息的差异度，并在差异度小于预设阈值的情况下，将训练后的环境模型确定为驾驶环境模型。采用本方法能够节约训练驾驶环境模型的过程中真实驾驶数据的使用量。

Description

驾驶环境模型的训练方法及驾驶环境信息的预测方法

技术领域

本申请涉及智能车辆技术领域，特别是涉及一种驾驶环境模型的训练方法及装置、驾驶环境信息的预测方法及装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着人工智能技术在智能交通和车辆领域的应用，智能车辆逐渐进入人们的视野。一般来说，智能车辆的自动驾驶软件系统可以分为感知、定位、决策和控制四个模块。其中，决策模块相当于智能车辆的大脑，对于实现高级别自动驾驶乃至无人驾驶起到至关重要的作用。

由于在真实环境中对决策算法进行测试和训练的成本较高，因此，一般会结合在虚拟环境中利用驾驶环境模型进行测试和训练。驾驶环境模型可以根据当前时刻的驾驶环境信息(如目标车辆自身的驾驶状态信息、驾驶环境中其他车辆、行人、红绿灯、路况等信息)、以及目标车辆的当前决策动作信息(如变道、刹车、转弯等)，预测出目标车辆执行当前决策动作后的驾驶环境信息(也即得到下一时刻的驾驶环境预测信息)，以便根据该预测信息生成下一时刻的模拟环境，或者可以直接根据该预测信息得出是否发生碰撞等事故，以测试目标车辆的决策算法是否安全可靠。

由于驾驶环境模型的预测结果直接影响决策算法的测试和训练效果，故驾驶环境模型的预测准确度非常重要。相关技术中，为了保障驾驶环境模型的预测准确度，在驾驶环境模型的训练过程中需要使用大量真实的驾驶数据，然而真实的驾驶数据获取难度较大、且获取成本较高，特别是危险驾驶、极端驾驶等场景的真实驾驶数据难以获取。亟需一种能节约真实驾驶数据使用量的驾驶环境模型的训练方法。

发明内容

基于此，有必要针对上述技术问题，提供一种能够节约真实驾驶数据使用量的驾驶环境模型的训练方法及装置、驾驶环境信息的预测方法及装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种驾驶环境模型的训练方法。所述方法包括：

构建初始环境模型，所述初始环境模型包含多个并行的、结构相同的单体模型，各所述单体模型的初始参数不同；

获取各所述单体模型对应的训练样本集，并通过各所述训练样本集训练对应的单体模型，得到训练后的环境模型；所述训练样本集中每个训练样本包含当前时刻的驾驶环境样本信息、当前决策动作样本信息、以及下一时刻的驾驶环境样本信息；

将测试样本输入至所述训练后的环境模型，得到各训练后的单体模型对应的下一时刻的驾驶环境预测信息；所述测试样本包含当前时刻的驾驶环境样本信息和当前决策动作样本信息；

计算各所述下一时刻的驾驶环境预测信息的差异度，并在所述差异度小于预设阈值的情况下，将所述训练后的环境模型确定为驾驶环境模型。

在其中一个实施例中，所述获取各所述单体模型对应的训练样本集，包括：

获取初始训练样本集；

针对每个所述单体模型，对所述初始训练样本集进行有放回的随机采样，将采样得到的预设数量的训练样本组成的集合确定为所述单体模型对应的训练样本集。

在其中一个实施例中，所述计算各所述下一时刻的驾驶环境预测信息的差异度，包括：

根据各所述下一时刻的驾驶环境预测信息计算方差，将得到的方差值确定为差异度。

在其中一个实施例中，所述训练样本集包含多个驾驶场景类型对应的训练样本；

所述将测试样本输入至所述训练后的环境模型，得到各训练后的单体模型对应的下一时刻的驾驶环境预测信息，包括：

针对每个所述驾驶场景类型，将所述驾驶场景类型对应的测试样本输入至所述训练后的环境模型，得到各训练后的单体模型对应的下一时刻的驾驶环境预测信息；

所述计算各所述下一时刻的驾驶环境预测信息的差异度，并在所述差异度小于预设阈值的情况下，将所述训练后的环境模型确定为驾驶环境模型，包括：

针对每个所述驾驶场景类型，计算所述驾驶场景类型下各所述下一时刻的驾驶环境预测信息的差异度，在所述差异度小于预设阈值的情况下，将所述训练后的环境模型确定为所述驾驶场景类型对应的驾驶环境模型。

第二方面，本申请还提供了一种驾驶环境信息的预测方法。所述方法包括：

获取当前时刻的驾驶环境信息和当前决策动作信息；

根据所述当前时刻的驾驶环境信息、所述当前决策动作信息、以及驾驶环境模型，预测下一时刻的驾驶环境信息；其中，所述驾驶环境模型通过第一方面所述的驾驶环境模型的训练方法训练得到。

在其中一个实施例中，所述驾驶环境模型包含多个单体模型；所述根据所述当前时刻的驾驶环境信息、所述当前决策动作信息、以及驾驶环境模型，预测下一时刻的驾驶环境信息，包括：

将所述当前时刻的驾驶环境信息和所述当前决策动作信息输入至驾驶环境模型，得到所述驾驶环境模型包含的各单体模型对应的下一时刻的驾驶环境预测信息；

根据各所述下一时刻的驾驶环境预测信息、以及预设的奖励函数，计算各所述下一时刻的驾驶环境预测信息的奖励值，并将奖励值最小的下一时刻的驾驶环境预测信息确定为下一时刻的驾驶环境信息。

第三方面，本申请还提供了一种驾驶环境模型的训练装置。所述装置包括：

构建模块，用于构建初始环境模型，所述初始环境模型包含多个并行的、结构相同的单体模型，各所述单体模型的初始参数不同；

训练模块，用于获取各所述单体模型对应的训练样本集，并通过各所述训练样本集训练对应的单体模型，得到训练后的环境模型；所述训练样本集中每个训练样本包含当前时刻的驾驶环境样本信息、当前决策动作样本信息、以及下一时刻的驾驶环境样本信息；

测试模块，用于将测试样本输入至所述训练后的环境模型，得到各训练后的单体模型对应的下一时刻的驾驶环境预测信息；所述测试样本包含当前时刻的驾驶环境样本信息和当前决策动作样本信息；

计算模块，用于计算各所述下一时刻的驾驶环境预测信息的差异度，并在所述差异度小于预设阈值的情况下，将所述训练后的环境模型确定为驾驶环境模型。

在其中一个实施例中，所述训练模块具体用于：

获取初始训练样本集；针对每个所述单体模型，对所述初始训练样本集进行有放回的随机采样，将采样得到的预设数量的训练样本组成的集合确定为所述单体模型对应的训练样本集。

在其中一个实施例中，所述计算模块具体用于：

根据各所述下一时刻的驾驶环境预测信息计算方差，将得到的方差值确定为差异度。

在其中一个实施例中，所述训练样本集包含多个驾驶场景类型对应的训练样本；所述测试模块具体用于：

针对每个所述驾驶场景类型，将所述驾驶场景类型对应的测试样本输入至所述训练后的环境模型，得到各训练后的单体模型对应的下一时刻的驾驶环境预测信息；

所述计算模块具体用于：

针对每个所述驾驶场景类型，计算所述驾驶场景类型下各所述下一时刻的驾驶环境预测信息的差异度，在所述差异度小于预设阈值的情况下，将所述训练后的环境模型确定为所述驾驶场景类型对应的驾驶环境模型。

第四方面，本申请还提供了一种驾驶环境信息的预测装置。所述装置包括：

获取模块，用于获取当前时刻的驾驶环境信息和当前决策动作信息；

预测模块，用于根据所述当前时刻的驾驶环境信息、所述当前决策动作信息、以及驾驶环境模型，预测下一时刻的驾驶环境信息；其中，所述驾驶环境模型通过第一方面所述的驾驶环境模型的训练方法训练得到。

在其中一个实施例中，所述驾驶环境模型包含多个单体模型；所述预测模块具体用于：

将所述当前时刻的驾驶环境信息和所述当前决策动作信息输入至驾驶环境模型，得到所述驾驶环境模型包含的各单体模型对应的下一时刻的驾驶环境预测信息；根据各所述下一时刻的驾驶环境预测信息、以及预设的奖励函数，计算各所述下一时刻的驾驶环境预测信息的奖励值，并将奖励值最小的下一时刻的驾驶环境预测信息确定为下一时刻的驾驶环境信息。

第五方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面或第二方面所述的方法的步骤。

第六方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面或第二方面所述的方法的步骤。

第七方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面或第二方面所述的方法的步骤。

上述驾驶环境模型的训练方法及装置、驾驶环境信息的预测方法及装置、计算机设备、存储介质和计算机程序产品，通过构建包含多个单体模型的初始环境模型，其中各单体模型的结构相同但初始参数不同，然后使用各单体模型对应的训练样本集分别训练各单体模型，之后将测试样本输入至训练后的环境模型，使各训练后的单体模型分别对测试样本进行处理，得到各训练后的单体模型对应的预测结果(即下一时刻的驾驶环境预测信息)，然后计算各预测结果的差异度，若差异度小于预设阈值，则将训练后的环境模型确定为目标驾驶环境模型。本方法中，使用的测试样本只需要包含当前时刻的驾驶环境信息和当前决策动作信息，因此，测试样本可以采用自定义的驾驶数据，从而可以节约训练驾驶环境模型的过程中真实驾驶数据的使用量。

附图说明

图1为一个实施例中驾驶环境模型的训练方法的流程示意图；

图2为一个实施例中获取各单体模型对应的训练样本集的流程示意图；

图3为一个实施例中驾驶环境信息的预测方法的流程示意图；

图4为一个示例中驾驶环境模型的结构示意图；

图5为一个实施例中驾驶环境模型的训练装置的结构框图；

图6为一个实施例中驾驶环境信息的预测装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

首先，在具体介绍本申请实施例的技术方案之前，先对本申请实施例基于的技术背景或者技术演进脉络进行介绍。相关技术中，为了保障驾驶环境模型的预测准确度，在驾驶环境模型的训练过程中需要使用大量真实的驾驶数据，例如，在模型的训练过程中，一般会采集真实的驾驶数据作为样本集，然后将样本集分为训练样本集和测试样本集，先使用训练样本集对模型进行训练，以拟合模型参数，然后使用测试样本集对训练后的模型进行准确度评估，具体的，根据模型的预测结果和测试样本中的目标值(真实值)计算预测准确度，若达到预期的准确度，则认为模型已训练完成，若未达到预期的准确度，则需更改训练样本集中的样本或更改模型的超参数后重新训练。然而，真实的驾驶数据获取难度较大、且获取成本较高，特别是危险驾驶、极端驾驶等场景的真实驾驶数据难以获取。基于该背景，申请人通过长期的研发以及实验验证，提出本申请的驾驶环境模型的训练方法，能够节约训练驾驶环境模型的过程中真实驾驶数据的使用量。另外，需要说明的是，本申请技术问题的发现以及下述实施例介绍的技术方案，申请人均付出了大量的创造性劳动。

本申请实施例提供的驾驶环境模型的训练方法，可以应用于终端，也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图1所示，提供了一种驾驶环境模型的训练方法，以该方法应用于终端为例进行说明，包括以下步骤：

步骤101，构建初始环境模型。

其中，初始环境模型包含多个并行的、结构相同的单体模型，且各单体模型的初始参数不同。

在实施中，终端可以构建多个并行的、结构和参数量相同的单体模型，组成初始环境模型。例如可以基于图神经网络构建单体模型。其中，各单体模型的初始参数不同，例如，终端可以对图神经网络中的各权重进行初始化操作，每个权重的初始值可以从预设的随机分布中采样得到。单体模型的个数可以根据实际情况灵活设置，大于2个即可，可以是6～10个。

步骤102，获取各单体模型对应的训练样本集，并通过各训练样本集训练对应的单体模型，得到训练后的环境模型。

其中，训练样本集中每个训练样本包含当前时刻的驾驶环境样本信息、当前决策动作样本信息、以及下一时刻的驾驶环境样本信息。各训练样本可以是通过车辆在真实驾驶环境中行驶时采集的真实驾驶数据，也可以是从已有的真实驾驶数据库中获取并处理得到。

当前时刻的驾驶环境样本信息包括车辆自身的驾驶状态信息，如当前时刻的位置、车速、车辆类型等信息，以及当前时刻的驾驶环境中其他元素的状态信息，包括该车辆周围其他车辆的驾驶状态信息、行人状态信息、交通指示灯状态信息等。当前决策动作样本信息为该车辆基于当前时刻的驾驶环境样本信息作出的决策动作，如转弯、减速、变道、刹车等决策动作。下一时刻的驾驶环境样本信息为该车辆执行当前决策动作后的驾驶环境信息，包括该车辆自身的驾驶状态信息和驾驶环境中其他元素的状态信息。

在实施中，终端可以获取各单体模型对应的训练样本集，例如，可以将采集到的各训练样本存储于数据集，终端可以直接获取该数据集作为各单体模型对应的训练样本集，也可以对该数据集进行采样得到各单体模型对应的训练样本集。然后，终端可以通过各训练样本集训练对应的单体模型，当达到预设训练条件后，即得到训练后的环境模型。

步骤103，将测试样本输入至训练后的环境模型，得到各训练后的单体模型对应的下一时刻的驾驶环境预测信息。

其中，测试样本包含当前时刻的驾驶环境样本信息和当前决策动作样本信息。可以理解的，由于测试样本只需要包含当前时刻的驾驶数据，因此测试样本可以是采集的真实驾驶数据，也可以是用户自行定义的驾驶数据，或者根据预设规则随机生成的驾驶数据，具体可以根据实际情况灵活设置。

本实施例中，终端可以获取测试样本，例如，终端可以在预先存储的测试样本集中随机采样，得到测试样本，也可以由用户在终端输入当前时刻的驾驶环境样本信息和当前决策动作样本信息，作为测试样本。然后，终端可以将测试样本输入至训练后的环境模型，通过该环境模型包含的各单体模型(为训练后的单体模型)对该测试样本进行处理，得到各单体模型对应的下一时刻的驾驶环境预测信息。若单体模型的个数为n个，则可以得到n个下一时刻的驾驶环境预测信息(可记为s′₁、s′₂、s′₃…s′_n)。

步骤104，计算各下一时刻的驾驶环境预测信息的差异度，并在差异度小于预设阈值的情况下，将训练后的环境模型确定为驾驶环境模型。

在实施中，终端可以根据各下一时刻的驾驶环境预测信息，计算各下一时刻的驾驶环境预测信息的差异度。差异度可以表示各驾驶环境预测信息的差异程度的大小。然后，终端可以将计算得到的差异度与预设阈值进行比较，若差异度小于预设阈值，可以认为训练后的环境模型达到了预期的预测准确度，则可以将训练后的环境模型确定为目标驾驶环境模型。若差异度大于或等于预设阈值，可以认为训练后的环境模型未达到预期效果，不能直接用作驾驶环境模型使用，需要重新训练。可以理解的，可以使用一个测试样本对训练后的环境模型进行测试，将该测试样本对应的差异度与预设阈值进行比较，也可以使用多个测试样本进行测试，然后根据多个测试样本对应的差异度计算均值，将该均值作为最终的差异度与预设阈值进行比较。

上述驾驶环境模型的训练方法中，通过构建包含多个单体模型的初始环境模型，并使用各单体模型对应的训练样本集进行训练，然后将测试样本输入训练后的环境模型，得到各训练后的单体模型的预测结果(即下一时刻的驾驶环境预测信息)，根据各预测结果的差异度来评价该环境模型的预测效果，其中，测试样本只需要包含当前时刻的驾驶环境信息和当前决策动作信息，而不需要通过测试样本的真实值和预测值来计算预测准确度，因此，测试样本可以采用自定义的驾驶数据，从而可以节约训练驾驶环境模型的过程中真实驾驶数据的使用量。

在一个实施例中，如图2所示，步骤102中获取各单体模型对应的训练样本集的过程具体包括如下步骤：

步骤201，获取初始训练样本集。

在实施中，可以预先将采集到的各训练样本存储于数据集，终端可以获取该数据集作为初始训练样本集。

步骤202，针对每个单体模型，对初始训练样本集进行有放回的随机采样，将采样得到的预设数量的训练样本组成的集合作为单体模型对应的训练样本集。

在实施中，针对每个单体模型，终端可以对步骤201中获取的初始训练样本集进行有放回的随机采样，将采样得到的训练样本组成的集合作为该单体模型对应的训练样本集。其中，采样数量为预设的一个值，可以与初始训练样本集包含的样本数量一致，也可以是初始训练样本集包含的样本数量的一定比例(如80％、90％等)。例如，若初始训练样本集包含K个训练样本，采样数量为K，则终端可以从初始训练样本集中进行独立的(即有放回的)随机采样K次，获得K个训练样本，作为一个单体模型对应的训练样本集。若单体模型的个数为n，则终端可以重复前述采样过程n次，得到n个训练样本集，一个训练样本集与一个单体模型对应。

本实施例中，各单体模型对应的训练样本集，是从初始训练样本集中进行有放回的随机采样得到，各训练样本集包含的训练样本不完全相同，但又具有较强的相关性，通过各训练样本集训练的环境模型，其各单体模型的预测结果的差异度可以更准确地反映出环境模型的预测效果或训练效果，进而根据该差异度确定出的驾驶环境模型，可以保障其具有预期的预测准确度，即该方法可以兼顾节约真实驾驶数据的使用量和驾驶环境模型的预测准确度。

在一个实施例中，步骤104中计算差异度的过程具体包括：根据各下一时刻的驾驶环境预测信息计算方差，将得到的方差值确定为差异度。

在实施中，终端可以根据步骤103中得到的n个(与单体模型的个数一致)下一时刻的驾驶环境预测信息(s′₁、s′₂、s′₃…s′_n)，计算各下一时刻的驾驶环境预测信息的方差，并将计算得到的方差值(可记为S²)作为差异度。在一个示例中，计算方差的公式如下所示：

其中，

即各下一时刻的驾驶环境预测信息的均值。

在一个实施例中，训练样本集包含多个驾驶场景类型对应的训练样本。步骤103中得到各下一时刻的驾驶环境预测信息的过程具体包括：针对每个驾驶场景类型，将驾驶场景类型对应的测试样本输入至训练后的环境模型，得到各训练后的单体模型对应的下一时刻的驾驶环境预测信息。

相应的，步骤104中确定驾驶环境模型的过程具体包括：针对每个驾驶场景类型，计算该驾驶场景类型下各下一时刻的驾驶环境预测信息的差异度，在差异度小于预设阈值的情况下，将训练后的环境模型确定为该驾驶场景类型对应的驾驶环境模型。

在实施中，可以将驾驶场景进行分类，具体分类标准可以参照本领域常用的分类标准或自行定义分类标准，如根据危险程度分类，可以分为正常驾驶场景、问题驾驶场景、极端驾驶场景等，根据环境元素典型状态分类，可以分为晴天-少行人-正常交通驾驶场景、晴天-多行人-交通拥堵驾驶场景、雪天-少行人-前方故障驾驶场景等。为了确保安全驾驶，智能车辆的测试应涵盖各种可能出现的驾驶场景，因此，理论上期望驾驶环境模型能在各种驾驶场景下作出准确的预测。故驾驶环境模型的训练过程中，一般会使用涵盖多个驾驶场景类型的训练样本进行训练。本实施例中使用的训练样本集即包含多个驾驶场景类型对应的训练样本。相应的，可以设置各驾驶场景类型对应的测试样本，以分别评估训练后的环境模型在各驾驶场景类型下的预测效果。

针对每个驾驶场景类型，终端可以将该驾驶场景类型对应的测试样本输入至训练后的环境模型，得到各单体模型对应的下一时刻的驾驶环境预测信息。然后，终端可以计算该驾驶场景类型下各下一时刻的驾驶环境预测信息的差异度，若差异度小于预设阈值，则可以将训练后的环境模型确定为该驾驶场景类型对应的驾驶环境模型。若差异度大于或等于预设阈值，说明该训练后的环境模型无法在该驾驶场景类型下做出准确的预测，不宜作为该驾驶场景类型对应的驾驶环境模型直接使用，可以增加相应驾驶场景类型的训练样本或修改模型的超参数后重新训练。

本实施例中，通过各驾驶场景类型对应的测试样本，分别评估训练后的环境模型在各驾驶场景类型下的预测效果，若某驾驶场景类型下的预测效果达到预期(各单体模型的预测结果的差异度小于预设阈值)，则可以将该训练后的环境模型作为该驾驶场景类型对应的驾驶环境模型。由此，可以针对不同测试场景，针对性使用该驾驶场景下预测准确度高的驾驶环境模型，确保智能车辆的测试效果和训练效果。并且，由于本方法中使用的测试样本可以是自定义的驾驶数据，可以很便捷的获取各种驾驶场景类型下的测试样本，以提高模型训练的整体效率。

本申请实施例还提供了一种驾驶环境信息的预测方法，可以用于预测虚拟环境的驾驶环境信息，例如用于自动驾驶仿真测试模拟器，可根据该方法预测的驾驶环境信息生成并显示模拟环境，以实现对目标车辆在虚拟环境中进行测试和训练；也可以用于预测真实环境的驾驶环境信息，例如用于目标车辆的自动驾驶软件系统，目标车辆在真实驾驶环境中行驶时，可根据该方法预测的驾驶环境信息，确定目标决策动作，以实现安全驾驶。本实施例以该方法应用于终端为例进行说明，如图3所示，该方法包括如下步骤：

步骤301，获取当前时刻的驾驶环境信息和当前决策动作信息。

在实施中，终端可以获取当前时刻的驾驶环境信息和当前决策动作信息。当前时刻的驾驶环境信息为目标车辆所处的驾驶环境中各元素的状态信息，包括目标车辆自身、目标车辆周围的其他车辆、行人、交通指示灯等各元素的状态信息。

对于自动驾驶仿真测试的应用场景(如用于仿真测试模拟器)，若当前时刻为测试的初始时刻，则当前时刻的驾驶环境信息可以由用户输入或在数据库中选择，也可以由终端在预先存储的数据库中随机选取当前时刻的驾驶环境信息。当前决策动作信息为目标车辆基于当前时刻的驾驶环境信息作出的决策动作(已执行的决策动作)。

对于自动驾驶软件系统的应用场景，当前时刻的驾驶环境信息可以通过目标车辆的传感器进行采集得到。当前决策动作信息可以是多个可执行的决策动作信息中的一个(暂未执行的决策动作)，可将各可执行的决策动作逐个作为当前决策动作信息，以便将各决策动作对应的下一时刻的驾驶环境信息进行比较，进而确定目标车辆最终执行的决策动作。

步骤302，根据当前时刻的驾驶环境信息、当前决策动作信息、以及驾驶环境模型，预测下一时刻的驾驶环境信息。

其中，驾驶环境模型通过上述涉及的驾驶环境模型的训练方法训练得到。在一个示例中，驾驶环境模型的结构如图4所示，其包括n个并行的单体模型。

在实施中，终端可以根据当前时刻的驾驶环境信息、当前决策动作信息、以及驾驶环境模型，预测目标车辆执行当前决策动作信息后的驾驶环境信息(即下一时刻的驾驶环境信息)。例如，终端可以将当前时刻的驾驶环境信息(可记为s)和当前决策动作信息(可记为a)输入至图4所示的驾驶环境模型，通过驾驶环境模型包含的各单体模型对输入的数据进行处理，并输出各单体模型分别对应的下一时刻的驾驶环境预测信息(s′₁、s′₂、s′₂…s′_n)。然后，终端可以根据预设选取策略(如随机选取)选取一个驾驶环境预测信息，作为下一时刻的驾驶环境信息，也可以将各驾驶环境预测信息进行均值计算或其他处理得到下一时刻的驾驶环境信息。

可以理解的，若仿真测试继续进行，则可以将该下一时刻的驾驶环境信息作为新的当前时刻的驾驶环境信息，并返回执行步骤301。

本实施例中，通过当前时刻的驾驶环境信息、当前决策动作信息、以及驾驶环境模型，预测下一时刻的驾驶环境信息，其中，该驾驶环境模型在模型训练过程中，使用的测试样本只需要包含当前时刻的驾驶环境信息和当前决策动作信息，因此，该驾驶环境模型的训练过程可以使用自定义的驾驶数据，以节约真实驾驶数据的使用量，并且相比采集真实驾驶数据的效率更高、成本更低，进而可以提高预测驾驶环境信息的整体效率、降低整体成本。

进一步的，在仿真测试应用场景中，使用该方法预测下一时刻的驾驶环境信息时，还可以计算各单体模型的预测结果的差异度，若差异度较低，则可以确定本次的预测信息(即得到的下一时刻的驾驶环境信息)准确度高，测试结果可信度高；若差异度较大，则可以进行标记提醒，以便用户了解仿真测试的实际情况。

在一个实施例中，步骤302中预测下一时刻的驾驶环境信息的过程具体包括：将当前时刻的驾驶环境信息和当前决策动作信息输入至驾驶环境模型，得到驾驶环境模型包含的各单体模型对应的下一时刻的驾驶环境预测信息；根据各下一时刻的驾驶环境预测信息、以及预设的奖励函数，计算各下一时刻的驾驶环境预测信息的奖励值，并将奖励值最小的下一时刻的驾驶环境预测信息确定为下一时刻的驾驶环境信息。

在实施中，终端可以将当前时刻的驾驶环境信息和当前决策动作信息输入至驾驶环境模型，得到驾驶环境模型包含的各单体模型对应的下一时刻的驾驶环境预测信息。然后，终端可以根据各下一时刻的驾驶环境预测信息、以及预设的奖励函数，计算各下一时刻的驾驶环境预测信息的奖励值。奖励值可以表示驾驶环境的危险程度或安全程度，奖励值越小，危险程度越高。例如，终端可以根据下一时刻的驾驶环境预测信息，确定目标车辆是否和驾驶环境中的其他元素发生碰撞等事故，预设的奖励函数可以为：若发生碰撞，则奖励值为-1，若未发生碰撞，则奖励值为0。进一步的，还可以根据发生碰撞的严重程度，设置多个等级的奖励值，碰撞越严重，奖励值越小。

然后，终端可以将奖励值最小的下一时刻的驾驶环境预测信息确定为下一时刻的驾驶环境信息。可以理解的，若具有多个奖励值最小的驾驶环境预测信息，则可以在该多个驾驶环境预测信息中随机选取一个作为下一时刻的驾驶环境信息，或进行均值计算等其他处理得到下一时刻的驾驶环境信息。

本实施例中，将奖励值最小的驾驶环境预测信息确定为下一时刻的驾驶环境信息，即将各单体模型的预测结果中，危险程度最高的预测结果作为下一时刻的驾驶环境信息，由此，将该方法用于对自动驾驶决策算法进行测试或训练时，可以使自动驾驶的驾驶决策更大限度的避免危险驾驶，即提升决策算法的安全可靠性。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的驾驶环境模型的训练方法的驾驶环境模型的训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个驾驶环境模型的训练装置实施例中的具体限定可以参见上文中对于驾驶环境模型的训练方法的限定，在此不再赘述。

在一个实施例中，如图5所示，提供了一种驾驶环境模型的训练装置500，包括：构建模块501、训练模块502、测试模块503和计算模块504，其中：

构建模块501，用于构建初始环境模型，初始环境模型包含多个并行的、结构相同的单体模型，各单体模型的初始参数不同。

训练模块502，用于获取各单体模型对应的训练样本集，并通过各训练样本集训练对应的单体模型，得到训练后的环境模型；训练样本集中每个训练样本包含当前时刻的驾驶环境样本信息、当前决策动作样本信息、以及下一时刻的驾驶环境样本信息。

测试模块503，用于将测试样本输入至训练后的环境模型，得到各训练后的单体模型对应的下一时刻的驾驶环境预测信息；测试样本包含当前时刻的驾驶环境样本信息和当前决策动作样本信息。

计算模块504，用于计算各下一时刻的驾驶环境预测信息的差异度，并在差异度小于预设阈值的情况下，将训练后的环境模型确定为驾驶环境模型。

在一个实施例中，训练模块502具体用于：获取初始训练样本集；针对每个单体模型，对初始训练样本集进行有放回的随机采样，将采样得到的预设数量的训练样本组成的集合确定为单体模型对应的训练样本集。

在一个实施例中，计算模块504具体用于：根据各下一时刻的驾驶环境预测信息计算方差，将得到的方差值确定为差异度。

在一个实施例中，训练样本集包含多个驾驶场景类型对应的训练样本。测试模块503具体用于：针对每个驾驶场景类型，将驾驶场景类型对应的测试样本输入至训练后的环境模型，得到各训练后的单体模型对应的下一时刻的驾驶环境预测信息

相应的，计算模块504具体用于：针对每个驾驶场景类型，计算驾驶场景类型下各下一时刻的驾驶环境预测信息的差异度，在差异度小于预设阈值的情况下，将训练后的环境模型确定为驾驶场景类型对应的驾驶环境模型。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的驾驶环境信息的预测方法的驾驶环境信息的预测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个驾驶环境信息的预测装置实施例中的具体限定可以参见上文中对于驾驶环境信息的预测方法的限定，在此不再赘述。

在一个实施例中，如图6所示，提供了一种驾驶环境信息的预测装置600，包括：获取模块601和预测模块602，其中：

获取模块601，用于获取当前时刻的驾驶环境信息和当前决策动作信息。

预测模块602，用于根据当前时刻的驾驶环境信息、当前决策动作信息、以及驾驶环境模型，预测下一时刻的驾驶环境信息；其中，驾驶环境模型通过第一方面的驾驶环境模型的训练方法训练得到。

在一个实施例中，驾驶环境模型包含多个单体模型。预测模块602具体用于：将当前时刻的驾驶环境信息和当前决策动作信息输入至驾驶环境模型，得到驾驶环境模型包含的各单体模型对应的下一时刻的驾驶环境预测信息；根据各下一时刻的驾驶环境预测信息、以及预设的奖励函数，计算各下一时刻的驾驶环境预测信息的奖励值，并将奖励值最小的下一时刻的驾驶环境预测信息确定为下一时刻的驾驶环境信息。

上述驾驶环境模型的训练装置和驾驶环境信息的预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种驾驶环境模型的训练方法或一种驾驶环境信息的预测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (11)

1.一种驾驶环境模型的训练方法，其特征在于，所述方法包括：

构建初始环境模型，所述初始环境模型包含多个并行的、结构相同的单体模型，各所述单体模型的初始参数不同；

获取各所述单体模型对应的训练样本集，并通过各所述训练样本集训练对应的单体模型，得到训练后的环境模型；所述训练样本集中每个训练样本包含当前时刻的驾驶环境样本信息、当前决策动作样本信息、以及下一时刻的驾驶环境样本信息；

将测试样本输入至所述训练后的环境模型，得到各训练后的单体模型对应的下一时刻的驾驶环境预测信息；所述测试样本包含当前时刻的驾驶环境样本信息和当前决策动作样本信息；

计算各所述下一时刻的驾驶环境预测信息的差异度，并在所述差异度小于预设阈值的情况下，将所述训练后的环境模型确定为驾驶环境模型。

2.根据权利要求1所述的方法，其特征在于，所述获取各所述单体模型对应的训练样本集，包括：

获取初始训练样本集；

针对每个所述单体模型，对所述初始训练样本集进行有放回的随机采样，将采样得到的预设数量的训练样本组成的集合确定为所述单体模型对应的训练样本集。

3.根据权利要求1所述的方法，其特征在于，所述计算各所述下一时刻的驾驶环境预测信息的差异度，包括：

根据各所述下一时刻的驾驶环境预测信息计算方差，将得到的方差值确定为差异度。

4.根据权利要求1所述的方法，其特征在于，所述训练样本集包含多个驾驶场景类型对应的训练样本；

所述将测试样本输入至所述训练后的环境模型，得到各训练后的单体模型对应的下一时刻的驾驶环境预测信息，包括：

针对每个所述驾驶场景类型，将所述驾驶场景类型对应的测试样本输入至所述训练后的环境模型，得到各训练后的单体模型对应的下一时刻的驾驶环境预测信息；

所述计算各所述下一时刻的驾驶环境预测信息的差异度，并在所述差异度小于预设阈值的情况下，将所述训练后的环境模型确定为驾驶环境模型，包括：

针对每个所述驾驶场景类型，计算所述驾驶场景类型下各所述下一时刻的驾驶环境预测信息的差异度，在所述差异度小于预设阈值的情况下，将所述训练后的环境模型确定为所述驾驶场景类型对应的驾驶环境模型。

5.一种驾驶环境信息的预测方法，其特征在于，所述方法包括：

获取当前时刻的驾驶环境信息和当前决策动作信息；

根据所述当前时刻的驾驶环境信息、所述当前决策动作信息、以及驾驶环境模型，预测下一时刻的驾驶环境信息；其中，所述驾驶环境模型通过权利要求1至4任一项所述的驾驶环境模型的训练方法训练得到。

6.根据权利要求5所述的方法，其特征在于，所述驾驶环境模型包含多个单体模型；所述根据所述当前时刻的驾驶环境信息、所述当前决策动作信息、以及驾驶环境模型，预测下一时刻的驾驶环境信息，包括：

将所述当前时刻的驾驶环境信息和所述当前决策动作信息输入至驾驶环境模型，得到所述驾驶环境模型包含的各单体模型对应的下一时刻的驾驶环境预测信息；

根据各所述下一时刻的驾驶环境预测信息、以及预设的奖励函数，计算各所述下一时刻的驾驶环境预测信息的奖励值，并将奖励值最小的下一时刻的驾驶环境预测信息确定为下一时刻的驾驶环境信息。

7.一种驾驶环境模型的训练装置，其特征在于，所述装置包括：

构建模块，用于构建初始环境模型，所述初始环境模型包含多个并行的、结构相同的单体模型，各所述单体模型的初始参数不同；

训练模块，用于获取各所述单体模型对应的训练样本集，并通过各所述训练样本集训练对应的单体模型，得到训练后的环境模型；所述训练样本集中每个训练样本包含当前时刻的驾驶环境样本信息、当前决策动作样本信息、以及下一时刻的驾驶环境样本信息；

测试模块，用于将测试样本输入至所述训练后的环境模型，得到各训练后的单体模型对应的下一时刻的驾驶环境预测信息；所述测试样本包含当前时刻的驾驶环境样本信息和当前决策动作样本信息；

计算模块，用于计算各所述下一时刻的驾驶环境预测信息的差异度，并在所述差异度小于预设阈值的情况下，将所述训练后的环境模型确定为驾驶环境模型。

8.一种驾驶环境信息的预测装置，其特征在于，所述装置包括：

获取模块，用于获取当前时刻的驾驶环境信息和当前决策动作信息；

预测模块，用于根据所述当前时刻的驾驶环境信息、所述当前决策动作信息、以及驾驶环境模型，预测下一时刻的驾驶环境信息；其中，所述驾驶环境模型通过权利要求1至4任一项所述的驾驶环境模型的训练方法训练得到。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4或5至6中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4或5至6中任一项所述的方法的步骤。

11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4或5至6中任一项所述的方法的步骤。

Images