CN110597086B - 仿真场景生成方法、无人驾驶系统测试方法以及装置 - Google Patents

Abstract

本申请涉及一种仿真场景生成方法、无人驾驶系统测试方法以及装置，其中一种仿真场景生成方法，包括以下步骤：获取并处理场景描述语句，得到词向量序列；场景描述语句包括用于生成仿真场景所需的环境描述和/或本车行为描述；将词向量序列输入至场景元素选取模型中，获取场景元素选取模型输出的仿真场景元素集合；场景元素选取模型包括编码器模型以及解码器模型；根据仿真场景元素集合生成仿真场景。本申请可根据泛化的场景描述语句，通过场景元素选取模型输出对应于词向量序列的场景元素集合，无需输入精准详细的场景描述，提高了适用性；并且根据仿真场景元素集合生成仿真场景，得到随机性大的仿真场景，进而可提高了仿真场景的复杂性和全面性。

Description

仿真场景生成方法、无人驾驶系统测试方法以及装置

技术领域

本申请涉及计算机应用技术领域，特别是涉及一种仿真场景生成方法、无人驾驶系统测试方法以及装置。

背景技术

随着车辆控制技术的发展，出现了无人驾驶技术，即通过安装于无人驾驶汽车上的传感器系统来感知车辆周围的道路环境，采用无人驾驶算法对感知到的道路、车辆位置和障碍物信息进行处理，从而可得到自动规划行车路线，并基于行车路线对无人驾驶汽车进行控制，使得无人驾驶汽车能够达到预定目标地点。

为提高无人驾驶算法和无人驾驶汽车的安全性，需要对无人驾驶算法或无人驾驶汽车进行多次测试。同时，为提高测试的成本并降低测试风险，一般多采用仿真测试。在仿真测试过程中，一般需要进行详细的场景描述，并利用场景描述语句中的各个描述生成对应于场景描述语句的仿真场景。

然而在实现过程中，发明人发现传统技术中至少存在如下问题：目前的仿真场景生成方法，需要人为输入精确的场景描述，难以全面穷尽所有情况的仿真场景，易降低仿真场景的复杂性和全面性。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高方针场景复杂性和全面性的仿真场景生成方法、无人驾驶系统测试方法以及装置。

为了实现上述目的，本申请实施例提供了一种仿真场景生成方法，包括以下步骤：

获取并处理场景描述语句，得到词向量序列；场景描述语句包括用于生成仿真场景所需的环境描述和/或本车行为描述；

将词向量序列输入至场景元素选取模型中，获取场景元素选取模型输出的仿真场景元素集合；场景元素选取模型包括编码器模型以及解码器模型；

根据仿真场景元素集合生成仿真场景。

本申请实施例提供了一种无人驾驶系统测试方法，包括以下步骤：

采用仿真场景生成方法生成仿真场景，采集自动驾驶系统在仿真场景下的仿真控制数据；

采集自动驾驶系统在实际路面行驶时的路测数据；

基于仿真控制数据和路测数据，得到自动驾驶系统的驾驶行为数据，并将驾驶行为数据输入驾驶行为评估模型，得到驾驶行为评估模型输出的测试结果。

本申请实施例提供了一种仿真场景生成装置，包括：

词向量序列获取模块，用于获取并处理场景描述语句，得到词向量序列；场景描述语句包括用于生成仿真场景所需的环境描述和/或本车行为描述；

仿真场景元素集合获取模块，用于将词向量序列输入至经训练得到的场景元素选取模型中，获取场景元素选取模型输出的仿真场景元素集合；场景元素选取模型包括编码器模型以及解码器模型；

仿真场景生成模块，用于根据仿真场景元素集合生成仿真场景。

本申请实施例提供了一种无人驾驶系统测试装置，包括：

仿真控制数据采集模块，用于采用仿真场景生成方法生成仿真场景，采集自动驾驶系统在仿真场景下的仿真控制数据；

路测数据采集模块，用于采集自动驾驶系统在实际路面行驶时的路测数据；

测试结果输出模块，用于基于仿真控制数据和路测数据，得到自动驾驶系统的驾驶行为数据，并将驾驶行为数据输入驾驶行为评估模型，得到驾驶行为评估模型输出的测试结果。

本申请实施例提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，其特征在于，处理器执行计算机程序时实现上述任一实施例中仿真场景生成方法的步骤。

本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现上述任一实施例中仿真场景生成方法的步骤。

上述技术方案中的一个技术方案具有如下优点和有益效果：

获取并处理场景描述语句，得到词向量序列，并将词向量序列输入至场景元素选取模型中，获取场景元素选取模型输出的仿真场景元素集合，其中，场景元素选取模型包括编码器模型以及解码器模型，场景描述语句包括用于生成仿真场景所需的环境描述和/或本车行为描述，从而可根据泛化的场景描述语句，通过场景元素选取模型输出对应于词向量序列的场景元素集合，无需输入精准详细的场景描述，提高了适用性；并且根据仿真场景元素集合生成仿真场景，得到随机性大的仿真场景，进而可提高了仿真场景的复杂性和全面性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为一个实施例中仿真场景生成方法的第一示意性流程示意图；

图2为一个实施例中场景元素选取模型的结构示意图；

图3为一个实施例中仿真场景生成方法的第二示意性流程示意图；

图4为一个实施例中无人驾驶系统测试方法的示意性流程示意图；

图5为一个实施例中仿真场景生成装置的结构框图；

图6为一个实施例中无人驾驶系统测试装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的首选实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种仿真场景生成方法，包括以下步骤：

步骤102，获取并处理场景描述语句，得到词向量序列；场景描述语句包括用于生成仿真场景所需的环境描述和/或本车行为描述。

具体地，环境描述可以包括但不局限于场景类型、道路类型和障碍物类型，其中，场景类型可以包括但不局限于学校场景、行人密集场景、信号灯场景、道路与铁路交汇场景、傍山险路场景、急转弯场景、交叉场景（如T形交叉场景、十字交叉场景、T形交叉场景、Y形交叉场景和环形交叉场景）、水路场景、村庄场景、隧道场景、反向弯路场景、连续弯路场景、陡坡场景、道路变窄场景和/或绕行场景等。

道路类型可以包括但不局限高速公路、一级公路、二级公路、三级公路和/或四级公路，进一步地，道路类型还可包括车道数，是否有专用车道，如应急车道和公交车专用车道等，道路类型可根据实际情况以及设计需求，进行进一步地分类，如四车道高速公路和两车道二级公路等。

障碍物类型包括但不局限于相对静止障碍物和相对运动障碍物，其中，相对静止障碍物是指与道路的相对速度恒为零的障碍物，或者与道路的相对速度小于阈值的障碍物，可以包括交通标识、路基、路障、信号灯和交通岛等。相对运动障碍物是指与道路的相对速度并不恒为零的障碍物，或者与道路的相对速度大于阈值的障碍物，可以包括机动车、非机动车、新能源驱动设备、油电混合动力设备、燃油驱动设备、行人和动物等。进一步地，障碍物类型还可包括障碍物行为描述，障碍物行为描述包括但不局限于静止、直行、左转、右转、掉头、加速和减速等

本车行为描述可以包括但不局限于本车行驶行为描述，以及本车与障碍物之间的交汇行为描述。其中，本车行驶行为描述包括但不局限于启动、停止、加速、减速、从静止到运动、从运动到静止、变更档位、左转、右转、掉头和倒车等。本车与障碍物之间的交汇行为描述包括但不局限于超车、会车、避让和变更车道等。

场景描述语句可以包括用于生成仿真场景所需的环境描述，和/或本车行为描述，即场景描述语句中可以只包括环境描述；或者只包括本车行为描述；或者同时包括环境描述和本车行为描述。例如，场景描述语句可以为“产生繁忙的红绿灯场景”、“产生无保护路口场景”、“产生两个人行道场景”、“产生一圈繁忙的城市道路场景”或者“产生60km/h的超车场景”等。通过处理场景描述语句，从而可对场景描述语句进行分解，得到对应的词向量序列。需要说明的是，场景描述语句可以为语音形式或文本形式，进一步地，文本形式可以包括文字形式和文件形式等。

步骤104，将词向量序列输入至场景元素选取模型中，获取场景元素选取模型输出的仿真场景元素集合；场景元素选取模型包括编码器模型以及解码器模型。

具体地，场景元素选取模型为训练神经网络后得到的模型。进一步地，训练的神经网络可以为POINTER NETWORK。场景元素选取模型可以包括编码器模型和解码器模型。在一个示例中，编码器模型可以被配置为，针对由编码器模型处理的每个输入词向量以及在多个步中的每个时间步处：接收当前时间片输入的当前词向量；接收前一时间步的编码器模型的编码器隐式向量；处理当前词向量和前一时间步的编码器模型的编码器隐式向量，生成当前时间步的编码器隐式向量。进一步地，编码器模型还可从当前时间步的编码器隐式向量生成编码结果。

解码器模型可以被配置为针对由解码器模型处理的每个输入词向量以及在多个步中的每个时间步处：接收当前时间片输入的解码输入；接收前一时间步的解码器模型的解码器隐式向量，以及前一时间片的解码结果；处理前一时间步的解码器模型的解码器隐式向量，以及前一时间片的解码结果，生成当前时间步的解码器隐式向量。进一步地，解码器模型还可基于解码输入和当前时间步的解码器隐式向量生成解码结果。其中，解码输入可以为编码器模型生成的当前时间片的编码结果。

词向量序列中可以包括一个或多个词向量，将词向量序列中的各个词向量输入至场景元素选取模型中，从而可获得各词向量对应的仿真场景元素，并将各词向量对应的仿真场景元素确认为仿真场景元素集合。需要说明的是，单个词向量对应的仿真场景元素的数量不限，例如可以为零个、一个或多个；仿真场景元素集合包含的仿真场景元素的数量不限，可以为一个或多个。

步骤106，根据仿真场景元素集合生成仿真场景。

具体地，仿真场景为自动驾驶测试场景，其中可以包含车道线、交通标识、人行道等静态信息，以及汽车、行人等动态信息。进一步地，自助驾驶系统通过在仿真场景中运行，从而可得到对应的激光雷达、毫米波雷达、摄像机、惯性导航系统等传感器数据，并进行实时输出，以使自助驾驶系统能够接收外部输入的各传感器信息和环境信息并实时显示，以及能够接收外部控制信号实现车辆控制。

仿真场景元素集合中包含了一个或多个仿真场景元素，可通过仿真场景元素集合中的全部或部分仿真场景元素组成仿真场景。

在一个实施例中，将词向量序列输入至场景元素选取模型中，获取场景元素选取模型输出的仿真场景元素集合的步骤，包括：

按照序列次序、将词向量序列中的各词向量依次输入至编码器模型中，得到各词向量对应的编码结果；并将各编码结果依次输入至解码器模型中，得到各编码结果对应的各解码结果；

基于各解码结果，在基本元素库中选取对应于各词向量的仿真场景元素，并将各仿真场景元素确认为仿真场景元素集合。

具体地，基本元素库包括多个仿真场景元素。进一步地，各个仿真场景元素可以是根据互不相同的动力学模型建立的，且各仿真场景元素具备符合其动力学模型的运动规则。例如，可以分别基于行人动力学模型、小汽车动力学模型、公交车动力学模型以及大卡车动力学模型，生成行人基本元素、小汽车基本元素、公交车基本元素和大卡车基本元素。

同时，每个仿真场景元素具备符合其动力学模型的运动规则，运动规则可以包括元素类型、初始速度、最终速度、运动时间、方向、在无人驾驶车辆的相对位移等成员；其中，元素类型可以包括静态类型与动态类型，静态类型指的是交通规则场景类，例如红绿灯场景、人行道场景、无保护场景、高速场景、汇流场景等；动态类型可以是能够运动的物体，例如小汽车、大卡车、公交车、行人、骑车的行人等。需要说明的是，在实际应用中，可以根据实际情况以及设计需求，确定相应的动力学模型，如小汽车A动力学模型、小汽车B动力学模型、成年人运动学模型、孩童运动学模型等。

在一个示例中，基本元素库的建立可以是根据各个基本元素的动力学模型，对基本元素的运动规则进行采样，以得到多个符合不同动力学模型、具备不同运动规则的场景元素。例如，根据行人的动力学模型生成行人基本元素，而行人的运动规则为动态类型、初始速度为0m/s（米每秒）至15m/s、最终速度为0m/s至15m/s、运动时间为0秒到1小时等，通过对基本元素的运动规则进行采样，从而可得到行人元素，该行人元素符合行人动力学模型，该行人元素的运动规则为初始速度为8m/s、最终速度为10m/s、运动时间为15分钟、运动方向为从南向北、在无人驾驶车辆的相对位移为3m（米）等。在一个示例中，若场景描述语句没有对元素的数量和/或运动规则没有进行指定的情况下，场景元素选取模型会基于元素的动力学模型、对元素的数量和/或运动规则进行随机赋值。

进一步地，可将基本元素库中的各个元素分别映射到对应的元素表征向量，即

，其中

为元素表征向量，

为基本元素库中的元素。

通过编码器模型对输入数据进行编码，并得到对应于输入数据的词向量的编码结果。当词向量序列中包含多个词向量时，按照序列的排列次序、依次将各个词向量输入至编码器模型中，并得到各个词向量对应的编码结果。

解码器模型用于对输入数据进行解码，以得到对应于输入数据的解码结果。通过将各编码结果依次输入至解码器模型中，从而可得到对应于各个编码结果的解码结果。进一步地，由于经过编码器模型的处理，可得到编码输入数据与编码结果的对应关系，而经过解码器模型的处理，可得到解码输入数据与解码结果的对应关系。也就是说，基于编码器模型和解码器模型的处理，可以得到编码输入数据与解码结果的关系，即可获知对应于词向量的解码结果。

根据解码结果，在基本元素库中选取对应于该解码结果的仿真元素，由于该解码结果对应于词向量，因此可实现在基本元素库中选取对应于各词向量的仿真场景元素。依次确认各个解码结果所对应的仿真场景元素，从而可确认各个词向量分别对应的仿真场景元素，将部分或全部仿真场景元素确认为仿真场景元素集合。

在一个实施例中，编码器模型为GRU编码器模型；

按照序列次序、将词向量序列中的各词向量依次输入至编码器模型中，得到各词向量对应的编码结果的步骤，包括：

将词向量在当前时间步输入至GRU编码器模型中；

处理词向量、以及GRU编码器模型前一时间步的编码器隐式向量，生成当前时间步的编码器隐式向量；

基于当前时间步的编码器隐式向量，得到词向量对应的编码结果。

具体地，编码器模型为基于GRU（Gated Recurrent Unit，门控循环单元）实现的编 码器模型，在编码的过程中，基于当前时间步输入的词向量以及GRU编码器模型前一时间步 输出的编码器隐式向量，生成当前时间步的编码器隐式向量，即编码器隐式向量的迭代关 系为

，其中，

为当前时间步的编码器隐式向量，

为上一时间 步的编码器隐式向量，

为当前时间步输入的词向量。通过使用当前时间步的编码器隐藏 状态向量，从而可生成得到词向量对应的编码结果。

在一个实施例中，编码器模型为引入注意力机制的GRU解码器模型；

将各编码结果依次输入至解码器模型中，得到各编码结果对应的各解码结果的步骤，包括：

将编码结果在当前时间步输入至GRU解码器模型中；

根据前一时间步的解码结果，在基本元素库中选取对应于前一词向量的仿真场景元素；

处理GRU解码器模型前一时间步的解码器隐式向量，以及对应于前一词向量的仿真场景元素，生成当前时间步的解码器隐式向量；

基于当前时间步的解码器隐式向量，得到当前时间步的解码结果；编码结果用于表征基本元素库中各仿真场景元素的注意力权重。

具体地，解码器模型为引入注意力机制（Attention Mechanism）的GRU解码器模型。通过将编码结果输入至解码器模型中，从而可通过解码器模型输出编码结果，其中，解码结果用于表征基本元素库中对应于当前编码结果的各仿真场景元素的注意力权重。同时，由于编码结果与词向量为对应关系，则解码结果可用于表征基本元素库中、对应于当前词向量的各仿真场景元素的注意力权重，当前词向量为当前时间片输入至编码器模型的词向量。

例如，基本元素库中包括基本元素1、基本元素2和基本元素3。将词向量

在当前 时间片输入至编码器模型中，得到词向量

对应的编码结果，并将编码结果在当前时间片 输入至解码器模型中，得到解码结果。则解码结果是基本元素库中、对应于

的各仿真场 景元素的注意力权重，可以为基本元素1：0.3、基本元素2：0.3和基本元素3：0.4。

在解码的过程中，根据前一时间步的解码结果，确定基本元素库中对应于前一词 向量的仿真场景元素，其中，前一词向量为前一时间步输入至编码器模型的词向量。基于 GRU解码器模型前一时间步的解码器隐式向量，以及对应于前一词向量的仿真场景元素，生 成当前时间步的解码器隐式向量，即

，其中，

为当前时间步的 解码器隐式向量，

为前一时间步的解码器隐式向量，

为对应于前一词向量的仿真 场景元素，进一步地，

。通过使用当前时间步的解码器隐式向量，从而可得到当前 时间步的解码结果，即

，其中，

为当前时间步的解码结果。

在一个示例中，场景元素选取模型的结构可如图2所示，其中，词向量序列为

，E为编码器模型，D为解码器模型。

在一个实施例中，基于当前时间步的解码结果，在基本元素库中选取对应于当前词向量的仿真场景元素的步骤，包括：

对基本元素库中各仿真场景元素的注意力权重进行归一化处理，得到元素概率集合；

将元素概率集合中对应于最大概率的仿真场景元素、确认为对应于当前词向量的仿真场景元素。

具体地，编码结果用于表征基本元素库中各仿真场景元素的注意力权重，通过对各仿真场景元素的注意力权重进行归一化处理，从而可得到元素概率集合，即可以得知对应于当前词向量，基本元素库中各个仿真场景元素的出现概率。即，

其中，

为归一化后的元素注意力权重，

为归一化前的元素注意力权重，

为基本元素库中的元素数量。

在推理阶段，贪婪地选择元素概率集合中最大概率所对应的仿真场景元素，并将 其确认为对应于当前词向量的仿真场景元素。进一步地，基本元素库中的各个元素分别映 射到对应的元素表征向量，即

，在此情况下，通过获取元素表征向量

的下标

，即 可得到基本元素库中对应的场景元素。基于此，通过获取元素概率集合中最大概率所对应 的索引值，即可得知最大概率所对应的仿真场景元素，即

，

， 其中，

为索引值。

在一个实施例中，获取并处理场景描述语句之前，还包括步骤：

获取多个训练样本；训练样本包括训练场景描述语句和对应于训练场景描述语句的训练场景元素集合；

将各训练样本的训练场景描述语句、作为待训练神经网络的训练输入，以最小化训练损失函数为训练目标，训练待训练神经网络，得到场景元素选取模型。

具体地，准备多个训练样本后，通过将训练样本输入至待训练神经网络中，训练待训练神经网络，使得待训练神经网络中的参数进行学习，从而可得到场景元素选取模型。在训练的过程中，将训练样本中的训练场景描述语句输入至待训练神经网络，并得到待训练神经网络的实际输出。基于待训练神经网络的实际输出，与训练样本中对应于训练场景描述语句的训练场景元素集合，计算得到训练损失函数，待训练神经网络中的参数进行学习，以实现最小化训练损失函数，并得到场景元素选取模型。

例如，在一个训练样本中包括

，其中，X为训练场景描述语句，

对为对应 于训练场景描述语句X的训练场景元素集合，

，

均 为训练场景元素。对于该训练样本，目标是要使得当输入X时，

被产生出来的概率最大。若

中的每个元素被产生的概率为

，则

被待训练神经网络输出的总概率为各个元素被 产生的概率的乘积，即

，损失函数

，以最小化损失函 数

为训练目标，训练待训练神经网络，并得到场景元素选取模型。在训练过程中，每步的 输入就是实际上一步的真实标注样本的结果。

在一个实施例中，获取多个训练样本的步骤，包括：

获取多个训练场景描述语句，以及各训练场景描述语句分别对应的训练仿真场景；

分别提取各仿真场景中的训练场景元素，得到各训练仿真场景对应的训练场景元素集合，并将各训练场景描述语句与对应的训练场景元素集合、确认为训练样本。

具体地，生成多个随机构建的训练仿真场景和/或人工构建的训练仿真场景，并分别为各个训练仿真场景标注训练场景描述语句，以得到多个训练仿真场景与训练场景描述语句的对应关系。

针对单个对应关系而言，分别提取各个训练仿真场景中的训练场景元素，以得到 各训练仿真场景对应的训练场景元素集合

，其中

为训练场 景元素集合，

均为训练仿真场景中的训练场景元素，并将训练场景描述语句 与对应的训练场景元素集合确认为一个训练样本。

通过上述训练仿真场景与训练场景描述语句的对应关系处理过程，分别处理多个训练仿真场景与训练场景描述语句的对应关系，从而可得到多个训练样本。

在一个实施例中，将各训练场景描述语句与对应的训练场景元素集合、确认为训练样本的步骤，包括：

随机打乱训练场景元素集合中各训练场景元素的排列次序；

将训练场景描述语句与乱序后的训练场景元素集合、确认为训练样本。

具体地，在得到训练场景元素集合

时，随机打乱训练场景元素集合

中各个训 练场景元素的排列次序，得到乱序元素集合

，例如，训练场景元素集合

，随机打乱

中各元素的排列次序，得到乱序元素集合

，并将训练场景描述语句与对应的乱序后的训练场景元素集 合（即乱序元素集合

）确认为一个训练样本。通过上述训练仿真场景与训练场景描述语句 的对应关系处理过程，分别处理多个训练仿真场景与训练场景描述语句的对应关系，从而 可得到多个训练样本。进一步地，通过随机打乱训练场景元素集合

中各个训练场景元素 的排列次序，使得训练过程能够对训练场景元素的排列次序不敏感，降低排列次序对训练 的干扰。

需要说明的是，在实际应用的过程中，可根据实际情况以及设计需求，利用不同的 乱序算法打乱

中各元素的排列次序。

在一个实施例中，仿真场景元素集合包括多个仿真场景元素；

根据仿真场景元素集合生成仿真场景的步骤，包括：

采用规则库中的元素采样规则对仿真场景元素集合进行采样，得到用于生成仿真场景的仿真场景元素；

确定用于生成仿真场景的地理位置，并根据地理位置的环境信息，生成各仿真场景元素的运动轨道；

基于地理位置的环境信息、各仿真场景元素以及各仿真场景元素对应的运动轨道，生成仿真场景。

具体地，规则库中包含了多种类型的元素采样规则，通过不同类型的元素采样规则进行采样所得到的元素是具有差别的，在实际应用中，可根据实际情况以及设计需求，调用规则库中相应的元素采样规则对仿真场景元素集合进行采样，从而能够得到对应的、用于生成仿真场景的仿真场景元素，进而能够随机选取场景元素，提高仿真场景的复杂度。

同时，可根据场景描述语句来确定用于生成仿真场景的地理位置，例如，场景描述语句为“产生放学时期的学校场景”，则可基于场景描述语句，将地图中的符合“学校场景”的地理位置确认为用于生成仿真场景的地理位置。进一步地，可基于地图中全部或部分的符合“学校场景”的地理位置，生成地图集，通过利用规则库中的位置采样规则对地图集进行采样，从而可筛选出用于生成仿真场景的地理位置。

进一步地，还根据用于生成仿真场景的仿真场景元素来确定用于生成仿真场景的地理位置，即可根据仿真场景元素中的运动规则、确认地图中用于生成仿真场景的地理位置。例如，根据全部或部分仿真场景元素的元素类型、初始速度、最终速度、运动时间、方向、在无人驾驶车辆的相对位移等成员，筛选出地图中相应的地理位置，并将该地理位置确认为用于生成仿真场景的地理位置。

地理位置的环境信息可以包括但不局限于场景类型和道路类型，其中，场景类型和道路类型的具体涵盖范围如上述任一实施例所述。根据地理位置的环境信息，结合各仿真场景元素的动力学模型，生成各个仿真场景元素的运动轨道。例如，地理位置的环境信息为人行道红绿灯路口，用于生成仿真场景的仿真场景元素包括行人1和行人2，行人1和行人2都是基于行人动力学模型，且行人1和行人2的运动规则都是进行采样得到。具体地，行人1的运动规则可以为动态类型、初始速度为1m/s、最终速度3m/s、运动时间1分钟、方向从东向西等，行人2的运动规则可以为动态类型、初始速度为5m/s、最终速度4m/s、运动时间10分钟、方向从南向北等，则根据地理位置的环境信息，可得到行人1的运动轨迹为从东向西，以初始速度1m/s、最终速度3m/s，穿越斑马线；行人2的运动轨迹为从南向北，以初始速度15m/s、最终速度4m/s，在人行道上行走。

结合地理位置的环境信息、各仿真场景元素以及各仿真场景元素对应的运动轨道，使得各仿真场景元素可基于对应的运动轨道和动力学模型，在地理位置中运动行驶，从而实现对选取得到的场景元素进行随机组合，并得到仿真场景，提高了仿真场景的随机性，进而提高了仿真场景的复杂性和全面性。

在一个实施例中，场景描述语句为语音信息；

获取并处理场景描述语句，得到词向量序列的步骤，包括：

接收场景描述语句，并采用语音识别算法识别场景描述语句，得到文本描述语句；

对文本描述语句进行分词处理，得到词向量序列。

具体地，可通过拾音器获取外部的场景描述语句，并采用语音识别算法对接收到的语音信息，即场景描述语句进行识别，得到对应于场景描述语句的文本描述语句。根据分词粒度对文本描述语句进行分词处理，从而得到词向量序列。进一步地，场景描述语句可以任意指定仿真场景中的车辆速度、交通规则场景，如红绿灯场景、人行道场景、无保护场景等、场景的数量、繁忙与否等，并进行自由组合。

为便于了解本申请的方案，如图3所示，提供了一个具体的示例进行说明，包括以下步骤：

步骤302，接收场景描述语句；

步骤304，识别场景描述语句；

步骤306，判断是否识别成功；

步骤308，若识别失败，则提示重新输入场景描述语句，并返回步骤302；

步骤310，若识别成功，则生成场景描述语句对应的文本描述语句；

步骤312，将文本描述语句输入至仿真场景元素选取模型中，以生成对应的仿真元素集合；

步骤314，判断是否成功生成对应的仿真元素集合，若成功生成对应的仿真元素集合结束；若生成对应的仿真元素集合失败，返回步骤310。

在一个实施例中，如图4所示，提供了一种基于上述任一实施例的仿真场景生成方法的无人驾驶系统测试方法，其特征在于，包括以下步骤：

步骤402，采用仿真场景生成方法生成仿真场景，采集自动驾驶系统在仿真场景下的仿真控制数据；

步骤404，采集自动驾驶系统在实际路面行驶时的路测数据；

步骤406，基于仿真控制数据和路测数据，得到自动驾驶系统的驾驶行为数据，并将驾驶行为数据输入驾驶行为评估模型，得到驾驶行为评估模型输出的测试结果。

具体地，在对无人驾驶系统进行测试时，可通过进行仿真测试和路测，基于仿真测试数据和路测数据，得到无人驾驶系统的测试结果。具体而言，在进行仿真测试前，可建立无人驾驶车辆的汽车动力学模型，并采集无人驾驶车辆中各传感器的传感器延迟时间和无人驾驶车辆中控制模块相应的控制延迟时间，基于无人驾驶车辆的汽车动力学模型、传感器延迟时间和控制延迟时间，从而可模拟出无人驾驶汽车的真实控制过程，即真实控制可以视为仿真控制系统、汽车动力模型、传感器延迟时间和控制延迟时间之和。其中，无人驾驶车辆中各传感器的传感器延迟时间可以通过统计无人驾驶车辆在实际行驶过程中，各传感器的传感器延迟时间得到。

同时，自动驾驶系统中，可将安全驾驶数据作为规划与控制算模型的输入，从而对规划与控制算模型进行训练，使得规划与控制算模型能够实现基于数据驱动的深度学习。

在进行仿真测试时，可采用仿真场景生成方法生成仿真场景，采集自动驾驶系统在仿真场景下的仿真控制数据，结合通过汽车动力学模型、传感器延迟时间和控制延迟时间，从而可模拟无人驾驶汽车在自动驾驶系统控制下的实际运行过程。

同时，还采集自动驾驶系统在实际路面行驶时的路测数据，并基于仿真控制数据和路测数据，得到自动驾驶系统的驾驶行为数据，并将驾驶行为数据输入驾驶行为评估模型，得到驾驶行为评估模型输出的测试结果。其中，测试结果用于对自动驾驶系统进行评价，可针对采集到的仿真控制数据和路测数据，得到的自动驾驶系统的自主行驶行为，也即驾驶行为数据，通过将驾驶行为数据输入驾驶行为评估模型，从而可得到对自动驾驶系统中规划与控制模型的评价，实现对自助驾驶系统的测试。

在一个实施例中，还包括步骤：

对测试结果进行分类，并根据分类的结果，将测试结果传输至自动驾驶系统的规划模块或控制模块。

具体地，对测试结果进行分类，以实现将测试结果自动分类到自动驾驶系统中的规划模块，或自动驾驶系统中的控制模块，实现自助驾驶数据的反馈。

在一个示例中，若在仿真测试过程中，自助驾驶系统对于某个仿真场景测试失败，自动保存该仿真场景，以便于进行后续的反复测试，直至自助驾驶系统在该仿真场景下测试成功，从而可提高自助驾驶算法验证与纠错的效率，并提高了算法迭代的效率，同时还可验证规划与控制算法的鲁棒性。

应该理解的是，虽然图1-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种仿真场景生成装置，包括：

词向量序列获取模块510，用于获取并处理场景描述语句，得到词向量序列；场景描述语句包括用于生成仿真场景所需的环境描述和/或本车行为描述；

仿真场景元素集合获取模块520，用于将词向量序列输入至经训练得到的场景元素选取模型中，获取场景元素选取模型输出的仿真场景元素集合；场景元素选取模型包括编码器模型以及解码器模型；

仿真场景生成模块530，用于根据仿真场景元素集合生成仿真场景。

关于仿真场景生成装置的具体限定可以参见上文中对于仿真场景生成方法的限定，在此不再赘述。上述仿真场景生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，如图6所示，提供了一种无人驾驶系统测试装置，包括：

仿真控制数据采集模块610，用于采用仿真场景生成方法生成仿真场景，采集自动驾驶系统在仿真场景下的仿真控制数据；

路测数据采集模块620，用于采集自动驾驶系统在实际路面行驶时的路测数据；

测试结果输出模块630，用于基于仿真控制数据和路测数据，得到自动驾驶系统的驾驶行为数据，并将驾驶行为数据输入驾驶行为评估模型，得到驾驶行为评估模型输出的测试结果。

关于无人驾驶系统测试装置的具体限定可以参见上文中对于无人驾驶系统测试方法的限定，在此不再赘述。上述无人驾驶系统测试装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基本元素库、编码器隐式向量和解码器隐式向量等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种仿真场景生成方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取并处理场景描述语句，得到词向量序列；场景描述语句包括用于生成仿真场景所需的环境描述和/或本车行为描述；

将词向量序列输入至场景元素选取模型中，获取场景元素选取模型输出的仿真场景元素集合；场景元素选取模型包括编码器模型以及解码器模型；

根据仿真场景元素集合生成仿真场景。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取并处理场景描述语句，得到词向量序列；场景描述语句包括用于生成仿真场景所需的环境描述和/或本车行为描述；

将词向量序列输入至场景元素选取模型中，获取场景元素选取模型输出的仿真场景元素集合；场景元素选取模型包括编码器模型以及解码器模型；

根据仿真场景元素集合生成仿真场景。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种仿真场景生成方法，其特征在于，包括以下步骤：

获取并处理场景描述语句，得到词向量序列；所述场景描述语句包括用于生成仿真场景所需的环境描述和/或本车行为描述；

将所述词向量序列中的各词向量输入至编码器模型中，得到各所述词向量对应的编码结果；并将各所述编码结果输入至解码器模型中，得到各所述编码结果对应的各解码结果，基于各所述解码结果，在基本元素库中选取对应于各所述词向量的仿真场景元素，并将各所述仿真场景元素确认为所述仿真场景元素集合，所述基本元素库是根据各个基本元素的动力学模型，对基本元素的运动规则进行采样，得到多个符合不同动力学模型且具备不同运动规则的场景元素而建立的；

根据规则库中的元素采样规则对所述仿真场景元素集合中的仿真场景元素进行采样，基于采样得到的仿真场景元素生成仿真场景，所述规则库中包含了多种类型的元素采样规则，不同类型元素采样规则采样得到的仿真场景元素不同。

2.根据权利要求1所述的仿真场景生成方法，其特征在于，所述词向量序列中的各词向量是按照序列次序依次输入至所述编码器模型中的；与编码结果对应的各所述编码结果是依次输入至所述解码器模型中的。

3.根据权利要求2所述的仿真场景生成方法，其特征在于，所述编码器模型为GRU编码器模型；

按照序列次序将所述词向量序列中的各词向量依次输入至所述编码器模型中，得到各所述词向量对应的编码结果的步骤，包括：

将所述词向量在当前时间步输入至所述GRU编码器模型中；

处理所述词向量以及所述GRU编码器模型前一时间步的编码器隐式向量，生成所述当前时间步的编码器隐式向量；

基于所述当前时间步的编码器隐式向量，得到所述词向量对应的所述编码结果。

4.根据权利要求2所述的仿真场景生成方法，其特征在于，所述解码器模型为引入注意力机制的GRU解码器模型；

将各所述编码结果依次输入至所述解码器模型中，得到各所述编码结果对应的各解码结果的步骤，包括：

将所述编码结果在当前时间步输入至所述GRU解码器模型中；

根据前一时间步的所述解码结果，在所述基本元素库中选取对应于前一词向量的仿真场景元素；

处理所述GRU解码器模型前一时间步的解码器隐式向量，以及所述对应于所述前一词向量的仿真场景元素，生成所述当前时间步的解码器隐式向量；

基于所述当前时间步的解码器隐式向量，得到所述当前时间步的所述解码结果；所述解码结果用于表征所述基本元素库中各所述仿真场景元素的注意力权重。

5.根据权利要求4所述的仿真场景生成方法，其特征在于，当所述词向量为当前词向量时，所述当前词向量的解码结果用于表征所述基本元素库中各仿真场景元素的注意力权重，所述基于各所述解码结果，在基本元素库中选取对应于各所述词向量的仿真场景元素，包括：

对所述基本元素库中各所述仿真场景元素的注意力权重进行归一化处理，得到元素概率集合；

将所述元素概率集合中对应于最大概率的所述仿真场景元素确认为对应于所述当前词向量的所述仿真场景元素。

6.根据权利要求1所述的仿真场景生成方法，其特征在于，获取并处理场景描述语句之前，还包括步骤：

获取多个训练样本；所述训练样本包括训练场景描述语句和对应于所述训练场景描述语句的训练场景元素集合；

将各所述训练样本的所述训练场景描述语句作为待训练神经网络的训练输入，以最小化训练损失函数为训练目标，训练所述待训练神经网络，得到所述场景元素选取模型。

7.根据权利要求6所述的仿真场景生成方法，其特征在于，获取多个训练样本的步骤，包括：

获取多个所述训练场景描述语句，以及各所述训练场景描述语句分别对应的训练仿真场景；

分别提取各所述仿真场景中的训练场景元素，得到各所述训练仿真场景对应的训练场景元素集合，并将各所述训练场景描述语句与对应的所述训练场景元素集合确认为所述训练样本。

8.根据权利要求7所述的仿真场景生成方法，其特征在于，将各所述训练场景描述语句与对应的所述训练场景元素集合、确认为所述训练样本的步骤，包括：

随机打乱所述训练场景元素集合中各所述训练场景元素的排列次序；

将所述训练场景描述语句与乱序后的所述训练场景元素集合确认为所述训练样本。

9.根据权利要求1至8任一项所述的仿真场景生成方法，其特征在于，所述仿真场景元素集合包括多个仿真场景元素；

根据规则库中的元素采样规则对所述仿真场景元素集合中的仿真场景元素进行采样，基于采样得到的仿真场景元素生成仿真场景的步骤，包括：

确定用于生成所述仿真场景的地理位置，并根据所述地理位置的环境信息，生成各所述仿真场景元素的运动轨道；

基于所述地理位置的环境信息、各所述仿真场景元素以及各所述仿真场景元素对应的运动轨道，生成所述仿真场景。

10.根据权利要求1至8任一项所述的仿真场景生成方法，其特征在于，所述场景描述语句为语音信息；

获取并处理场景描述语句，得到词向量序列的步骤，包括：

接收场景描述语句，并采用语音识别算法识别所述场景描述语句，得到文本描述语句；

对所述文本描述语句进行分词处理，得到所述词向量序列。

11.一种基于权利要求1至10任一项所述仿真场景生成方法的无人驾驶系统测试方法，其特征在于，包括以下步骤：

采用所述仿真场景生成方法生成仿真场景，采集自动驾驶系统在所述仿真场景下的仿真控制数据；

采集所述自动驾驶系统在实际路面行驶时的路测数据；

基于所述仿真控制数据和所述路测数据，得到所述自动驾驶系统的驾驶行为数据，并将所述驾驶行为数据输入驾驶行为评估模型，得到所述驾驶行为评估模型输出的测试结果。

12.根据权利要求11所述的无人驾驶系统测试方法，还包括步骤：

对所述测试结果进行分类，并根据所述分类的结果，将所述测试结果传输至所述自动驾驶系统的规划模块或控制模块。

13.一种仿真场景生成装置，其特征在于，包括：

词向量序列获取模块，用于获取并处理场景描述语句，得到词向量序列；所述场景描述语句包括用于生成仿真场景所需的环境描述和/或本车行为描述；

仿真场景元素集合获取模块，用于将所述词向量序列中的各词向量输入至编码器模型中，得到各所述词向量对应的编码结果；并将各所述编码结果输入至解码器模型中，得到各所述编码结果对应的各解码结果，基于各所述解码结果，在基本元素库中选取对应于各所述词向量的仿真场景元素，并将各所述仿真场景元素确认为所述仿真场景元素集合，所述基本元素库是根据各个基本元素的动力学模型，对基本元素的运动规则进行采样，得到多个符合不同动力学模型且具备不同运动规则的场景元素而建立的；

仿真场景生成模块，用于根据规则库中的元素采样规则对所述仿真场景元素集合中的仿真场景元素进行采样，基于采样得到的仿真场景元素生成仿真场景，所述规则库中包含了多种类型的元素采样规则，不同类型元素采样规则采样得到的仿真场景元素不同。

14.一种无人驾驶系统测试装置，其特征在于，包括：

仿真控制数据采集模块，用于基于权利要求 1 至10中任一项所述的仿真场景生成方法生成的仿真场景，采集自动驾驶系统在所述仿真场景下的仿真控制数据；

路测数据采集模块，用于采集所述自动驾驶系统在实际路面行驶时的路测数据；

测试结果输出模块，用于基于所述仿真控制数据和所述路测数据，得到所述自动驾驶系统的驾驶行为数据，并将所述驾驶行为数据输入驾驶行为评估模型，得到所述驾驶行为评估模型输出的测试结果。

15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述方法的步骤。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。

Images