CN114936515A - 一种生成仿真交通场景文件的方法及系统 - Google Patents

Abstract

本发明公开了一种生成仿真交通场景文件的方法。该方法包括获取路测数据，所述路测数据包括自动驾驶车辆在真实道路上进行行驶测试时所采集的交通场景数据以及所述自动驾驶车辆的状态信息，其中，在所述行驶测试期间，所述自动驾驶车辆至少基于交通参与者从第一驾驶态转换为第二驾驶状态；确定所述自动驾驶车辆从第一驾驶状态转换为第二驾驶状态的时刻；根据所述时刻在所述路测数据中确定片段数据，所述片段数据包括所述交通参与者的信息以及所述自动驾驶车辆的状态信息；以及至少基于所述片段数据，泛化生成多个仿真交通场景的描述文件，其中所述多个仿真交通场景的每一个中的所述交通参与者具有部分不同于所述片段数据的交通场景中的轨迹。

Description

一种生成仿真交通场景文件的方法及系统

技术领域

本申请涉及自动驾驶领域，尤其涉及一种生成仿真交通场景文件的方法及系统。

背景技术

自动驾驶汽车可以实现在无驾驶员操控的情况下自主行驶。自动驾驶汽车的出现，不仅能够实现无驾驶员或者驾驶员状态不适宜的情况下个体车辆的行驶，更可以实现多个自动驾驶车辆间的协作或者统筹以最大效率地利用道路交通条件。不管是自动驾驶汽车个体车辆的行驶，还是其多车间协作行驶，均依赖于操控自动驾驶汽车的驾驶算法。要实现自动驾驶汽车的安全性和智能性，其驾驶算法必须有应对不同交通场景(甚至极端交通场景，例如事故)的能力。

传统的道路测试可以用于测试自动驾驶汽车的驾驶算法。但是，出于公共安全的考虑，自动驾驶汽车通常需要在专门的封闭场地进行测试。这样的封闭场地测试方式通常难以满足验证驾驶算法安全性所需的里程数，且难以模拟自动驾驶汽车所需应对的多种交通场景，特别是极端交通场景。因此，传统的道路测试已经无法满足自动驾驶汽车的测试需求。

相较于传统的道路测试，仿真测试技术可以根据需求灵活配置交通场景，特别是可以模拟或者复现极端交通场景，以测试驾驶算法应对各种交通场景的能力。且因其安全、高效以及低成本，仿真测试技术被越来越多地应用于自动驾驶汽车的测试和驾驶算法的更新迭代。

仿真测试需要数据(即仿真交通场景)的支持。如果要测试自动驾驶汽车的驾驶算法在相似场景下的鲁棒性，就需要基于大量相似仿真交通场景的大规模仿真测试。目前仿真交通场景的构建主要有三种方式：(1)人为设置规则化的仿真测试场景；(2)完全基于真实场景的仿真回放或复现；以及(3)基于真实场景调整或者人为添加交通参与者。

上述构建方式(1)可以灵活定义场景，但构建复杂场景时操作繁琐，且通常缺乏真实性。构建方式(2)仅可用于复现场景以解决特定场景下驾驶算法的应对问题，无法灵活调整以产生更多相关测试场景。构建方式(3)结合前两者，兼具了一定的真实性和灵活性。但使用该构建方式仍旧无法自动生成大规模仿真场景，不利于自动驾驶算法快速迭代。

所以，当前仍旧需要一种能够构建大量仿真测试场景的方法，以用于自动驾驶汽车的驾驶算法的仿真测试，促进算法的快速迭代更新。

发明内容

本发明旨在为大规模仿真测试提供所需的大量仿真场景数据。仿真场景的构建采用提取真实场景数据中与自动驾驶车辆交互的交通参与者的相关数据并据此将真实场景泛化生成更多相似的交互场景的方式。因而，本发明能够为大规模仿真测试提供数据支持，特别是能够支持自动驾驶汽车的驾驶算法在相似场景下的鲁棒性的测试。

本发明的一方面涉及一种生成仿真交通场景文件的方法。该方法包括获取路测数据，所述路测数据包括自动驾驶车辆在真实道路上进行行驶测试时所采集的交通场景数据以及所述自动驾驶车辆的状态信息，其中，在所述行驶测试期间，所述自动驾驶车辆至少基于交通参与者从第一驾驶态转换为第二驾驶状态；确定所述自动驾驶车辆从第一驾驶状态转换为第二驾驶状态的时刻；根据所述时刻在所述路测数据中确定片段数据，所述片段数据包括所述交通参与者的信息以及所述自动驾驶车辆的状态信息；以及至少基于所述片段数据，泛化生成多个仿真交通场景的描述文件，其中所述多个仿真交通场景的每一个中的所述交通参与者具有部分不同于所述片段数据的交通场景中的轨迹。

本发明的另一方面涉及一种生成仿真交通场景文件的系统，其包括：数据获取装置，用于获取路测数据，所述路测数据包括自动驾驶车辆在真实道路上进行行驶测试时所采集的交通场景数据以及所述自动驾驶车辆的状态信息，其中，在所述行驶测试期间，所述自动驾驶车辆至少基于交通参与者从第一驾驶态转换为第二驾驶状态；数据处理装置，用于处理所述路测数据，所述数据处理装置：确定所述自动驾驶车辆从第一驾驶状态转换为第二驾驶状态的时刻；以及根据所述时刻在所述路测数据中确定片段数据，所述片段数据包括所述交通参与者的信息以及所述自动驾驶车辆的状态信息；以及泛化生成装置，用于泛化生成多个仿真交通场景的描述文件，所述泛化生成装置至少基于所述片段数据，泛化生成多个仿真交通场景的描述文件，其中所述多个仿真交通场景的每一个中的所述交通参与者具有部分不同于所述片段数据的交通场景中的轨迹。

本发明的再一方面涉及一种用于测试自动驾驶车辆驾驶算法的系统，其特征在于，所述装置包括：数据获取装置，用于获取路测数据，所述路测数据包括自动驾驶车辆在真实道路上进行行驶测试时所采集的交通场景数据以及所述自动驾驶车辆的状态信息，其中，在所述行驶测试期间，所述自动驾驶车辆至少基于交通参与者从第一驾驶态转换为第二驾驶状态；数据处理装置，用于处理所述路测数据，所述数据处理装置：确定所述自动驾驶车辆从第一驾驶状态转换为第二驾驶状态的时刻；以及根据所述时刻在所述路测数据中确定片段数据，所述片段数据包括所述交通参与者的信息以及所述自动驾驶车辆的状态信息；泛化生成装置，用于泛化生成多个仿真交通场景的描述文件，所述泛化生成装置至少基于所述片段数据，泛化生成多个仿真交通场景的描述文件，其中所述多个仿真交通场景的每一个中的所述交通参与者具有部分不同于所述片段数据的交通场景中的轨迹；以及仿真测试装置，用于利用所述多个仿真交通场景对虚拟车辆进行驾驶算法的仿真测试，所述仿真测试装置模拟所述虚拟车辆在所述多个仿真交通场景中基于所述驾驶算法的行驶。

本发明的再一方面涉及一种用于测试自动驾驶车辆驾驶算法的方法，该方法包括：获取第一路测数据，所述第一路测数据包括第一自动驾驶车辆在第一真实道路上进行第一行驶测试时所采集的第一交通场景数据以及所述第一自动驾驶车辆的第一状态信息，其中，在所述第一行驶测试期间，所述第一自动驾驶车辆至少基于第一交通参与者从第一驾驶态转换为第二驾驶状态；确定所述第一自动驾驶车辆在所述第一行驶测试期间从第一驾驶状态转换为第二驾驶状态的第一时刻；根据所述第一时刻在所述第一路测数据中确定第一片段数据，所述第一片段数据包括所述第一交通参与者的信息以及所述第一自动驾驶车辆的第一状态信息；基于所述第一片段数据的内容为其添加一个或多个第一标签，并将所述片段数据根据所述一个或多个第一标签保存到交互场景库；获取第二路测数据，所述第二路测数据包括第二自动驾驶车辆在第二真实道路上进行第二行驶测试时所采集的第二交通场景数据以及所述第二自动驾驶车辆的第二状态信息，其中，在所述第二行驶测试期间，所述第二自动驾驶车辆至少基于第二交通参与者从第一驾驶态转换为第二驾驶状态；确定所述第二自动驾驶车辆在所述第二行驶测试期间从第一驾驶状态转换为第二驾驶状态的第二时刻；根据所述第二时刻在所述第二路测数据中确定第二片段数据，所述第二片段数据包括所述第二交通参与者的信息以及所述第二自动驾驶车辆的第二状态信息；基于所述第二片段数据的内容为其添加一个或多个第二标签，并将所述第二片段数据根据所述一个或多个第二标签保存到所述交互场景库；响应于用户指令从所述交互场景库提取所述第一片段数据和/或所述第二片段数据，所述用户指令包括符合至少一个所述第一标签和/或第二标签的内容的描述；至少基于提取的所述第一片段数据和/或所述第二片段数据，泛化生成多个仿真交通场景的描述文件，其中所述多个仿真交通场景的每一个中的所述交通参与者具有部分不同于所述第一交通场景和所述第二交通场景中的轨迹；以及模拟自动驾驶车辆在所述多个仿真交通场景中的行驶并监测其驾驶状态。

本发明的再一方面涉及一种计算设备，所述计算设备包括处理器和存储器，其中所述存储器用于存储计算机指令；当所述计算设备运行时，所述处理器执行所述计算机指令，使得所述计算设备执行本发明的方法。

本发明的又再一方面涉及一种计算机可读存储介质，所述计算机可读存储介质包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行本发明的方法。

附图说明

图1为根据本发明实施例的生成仿真交通场景文件的方法的流程示意图。

图2为根据本发明实施例的生成仿真交通场景文件的系统示意图。

图3为根据本发明实施例的测试自动驾驶汽车驾驶算法的系统示意图。

图4为根据本发明申请实施例的计算设备的示意图。

具体实施方式

下面将结合附图，对本发明的示例性实施例进行描述。本申请所描述的实施例仅仅是本发明的一部分实施例。基于本发明中的实施例，本领域普通技术人员在无需付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本说明书中对“一个实施方式”或“实施方式”的提及意味着结合该实施方式所描述的特定特征、结构或特性可以包括在本发明的至少一个实施方式中。短语“实施方式”在本说明书中各个地方的出现不必全部指同一实施方式。

在本申请的描述中，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和/或简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不应理解为对本发明的限制。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解。例如，“连接”可以是固定连接，可拆卸连接、抵接连接或一体连接，也可能是通信连接或者电连接。对于本领域的普通技术人员而言，可以根据具体的技术方案理解上述术语在本申请中的具体含义。

在本申请的描述中，在不违背本发明主旨的情况下，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以适合的方式结合或者拆分。

本发明的一方面涉及一种生成仿真交通场景文件的方法。该方法包括获取路测数据，所述路测数据包括自动驾驶车辆在真实道路上进行行驶测试时所采集的交通场景数据以及所述自动驾驶车辆的状态信息，其中，在所述行驶测试期间，所述自动驾驶车辆至少基于交通参与者从第一驾驶态转换为第二驾驶状态；确定所述自动驾驶车辆从第一驾驶状态转换为第二驾驶状态的时刻；根据所述时刻在所述路测数据中确定片段数据，所述片段数据包括所述交通参与者的信息以及所述自动驾驶车辆的状态信息；以及至少基于所述片段数据，泛化生成多个仿真交通场景的描述文件，其中所述多个仿真交通场景的每一个中的所述交通参与者具有部分不同于所述片段数据的交通场景中的轨迹。

其中，交通参与者指在自动驾驶车辆的行驶测试中与自动驾驶汽车交互或者可能形成交互的交通参与者，可以是其他车辆、行人、障碍物等。他们可以是动态。也可以是静态。

其中，轨迹可以包括速度、位置、行进方向中的一个或多个参数。

其中，路测数据指自动驾驶车辆在真实道路上进行行驶测试过程中所获得的数据。其可以包括在行驶测试过程中，自动驾驶车辆的传感系统所采集的数据。所述传感系统可以包括任何能够感测外部环境并获取数据的装置，例如雷达和相机。雷达可以是毫米波雷达、超声波雷达、激光雷达，用以感测自动驾驶车辆本体之外的其他物体(例如，交通参与者)的运行轨迹等。相机可以是静态相机或视频相机，用以捕捉自动驾驶车辆本体所处的交通场景的图像。通过分析，该图像可以提供自动驾驶车辆所处交通场景中其他物体(例如，交通参与者)的语义信息、运动信息、位置信息等。

路测数据还可以包括关于自动驾驶车辆本体的信息，例如其状态信息。该状态信息可以包括自动驾驶车辆的决策类型(例如变道、减速、刹车、手动驾驶/自动驾驶切换等)、场景类型(如十字路口、单行道、急转弯、高速路、事故等)、运行轨迹、行驶中的姿态等。其中，自动驾驶车辆的位置信息可以由所装载的定位系统获得。该定位系统可以是全球定位系统，也可是北斗卫星导航系统。自动驾驶车辆也可以包括用于感测其自身状态信息的其他传感器，例如惯性测量装置等。这些用于感测自动驾驶车辆本体的信息的传感器可以和上述感测自动驾驶车辆本体所处的交通场景信息的传感系统属于一个系统，也可以是彼此独立的系统，二者共同提供上述方法中所需的路测数据。

另外，路测数据也可以包括自动驾驶车辆在行驶测试中的时间数据，该时间数据与每一时间点自动驾驶车辆的状态信息以及所处的交通场景数据相关联。特别地，在本发明中，自动驾驶车辆发生状态改变的时间点被识别和记录，用以确定构建仿真场景所需的路测数据的片段。

示例性地，所述片段数据是所述自动驾驶车辆在所述行驶测试时从第一时间点至第二时间点所采集的数据，其中所述第一时间点到所述第二时间点的时段包括所述自动驾驶车辆从第一驾驶状态转换为第二驾驶状态的时刻。示例性地，第二时间点可以是所述自动驾驶车辆驾驶状态转换的时刻。第一时间点可以是第二时间点之前的1秒、2秒、3秒、4秒、5秒、10秒、15秒、20秒、30秒等。可以理解的是，第一时间点到第二时间点的时段长度可以根据需求调整，并不需要本领域普通技术人员的任何创造性活动。

在一实施例中，所述第一驾驶状态和第二驾驶状态具有至少一个不同的驾驶参数，所述驾驶参数包括自动驾驶车辆的速度、位置、姿态、行进方向、以及控制状态中的至少一个。控制状态可以是自动驾驶控制状态、手动驾驶控制状态、部分手动驾驶控制状态，其中部分手动驾驶控制状态也可以称为部分自动驾驶控制状态。从第一驾驶状态转换为第二驾驶状态可以包括但不限于下述的实施方式：从自动驾驶控制状态转换为手动驾驶控制状态；因刹车导致的高速驾驶状态转换为低速驾驶状态；因超车导致的低速驾驶状态转换为高速驾驶状态；因变道导致的车辆从第一车道变道至第二车道；因导航路径规划导致的车辆从朝北驾驶状态转向为朝东驾驶状态；等等。

自动驾驶车辆从第一驾驶状态进入第二件驾驶状态，可以响应于自动驾驶车辆的主动决策。在一实施例中，自动驾驶车辆可以检测并确定自身的驾驶算法不足以或没有权限应对当前的交通场景而主动请求驾驶员接管。在另一实施例中，基于当前交通场景中交通参与者的状态，自动驾驶车辆的驾驶算法自主决定从第一驾驶状态转换至第二驾驶状态。自动驾驶车辆从第一驾驶状态进入第二驾驶状态也可以是由于自动驾驶车辆被驾驶员人为接管。例如，驾驶员可能发现当前交通场景中存在自动驾驶车辆没有识别出的潜在危险而结束自动驾驶车辆的自动驾驶状态接管车辆。

因此示意性地，前述的自动驾驶控制状态与手动驾驶控制状态的切换可以由驾驶员完成，也可以因车辆自身决策而在满足条件的情况下由车辆自身切换完成；而前述刹车、超车、变道、转向等驾驶场景，均可以是因为自动驾驶车辆根据自身传感器信息、周围交通参与者信息、导航信息等各种感知数据进行决策而采取的执行操作，也可以是因为在手动或部分手动驾驶控制状态下由驾驶员操作完成的，本发明对此不作限制。

示例性地，所述交通参与者信息包括交通参与者的类型和/或其运行轨迹。其中，一个或多个所述交通参与者信息可以对自动驾驶车辆的驾驶算法产生影响。例如，可以导致自动驾驶车辆从上述第一驾驶状态转变为上述第二驾驶状态。在一实施例中，所述交通参与者信息至少包括其运行轨迹。

示例性地，所述生成仿真交通场景文件的方法还包括基于所述片段数据的内容为其添加一个或多个标签，并将所述片段数据根据所述一个或多个标签分类保存到交互场景库。其中，所述标签可以用于标注片段数据中用户在后续使用中可能感兴趣的信息，例如是否在高速道路、是否有接管、决策类型等。所述交互场景数据库指存储一个或多个真实和/或仿真交通场景的数据库该交互场景库可以存储在一独立于自动驾驶车辆的存储器或服务器上。在该交互场景库中，一个或多个片段数据依据其标签内容被分类保存。

示例性地，所述多个仿真交通场景的描述文件的泛化生成可以响应于用户指令而自动生成，该用户指令包括符合至少一个所述标签的内容的描述。在一实施例中，所述用户输入的用户指令包含有“接管”字段，则所有带有“接管”标签的片段数据被调出，并泛化生成更多与带有“接管”标签的交通场景相似的仿真交通场景。

示例性地，所述多个仿真交通场景的描述文件的泛化基于生成对抗网络(GenerativeAdversarialNetwork，GAN)。应当理解的是，GAN仅是列举的一种示例性的泛化手段，其他与GAN达到相同或相似的泛化手段也包括在本发明的保护范围中。

示例性地，所述多个仿真交通场景可以被用于对虚拟车辆进行驾驶算法的仿真测试。对虚拟车辆进行驾驶算法的仿真测试，是指将虚拟车辆置于所述多个仿真交通场景中并模拟其行驶情况，验证操控虚拟车辆的驾驶算法应对多个仿真交通场景的能力，特别在多个相似仿真交通场景中的鲁棒性。

本发明的另一方面涉及一种生成仿真交通场景文件的系统，其包括：数据获取装置，用于获取路测数据，所述路测数据包括自动驾驶车辆在真实道路上进行行驶测试时所采集的交通场景数据以及所述自动驾驶车辆的状态信息，其中，在所述行驶测试期间，所述自动驾驶车辆至少基于交通参与者从第一驾驶态转换为第二驾驶状态；数据处理装置，用于处理所述路测数据，所述数据处理装置：确定所述自动驾驶车辆从第一驾驶状态转换为第二驾驶状态的时刻；以及根据所述时刻在所述路测数据中确定片段数据，所述片段数据包括所述交通参与者的信息以及所述自动驾驶车辆的状态信息；以及泛化生成装置，用于泛化生成多个仿真交通场景的描述文件，所述泛化生成装置至少基于所述片段数据，泛化生成多个仿真交通场景的描述文件，其中所述多个仿真交通场景的每一个中的所述交通参与者具有部分不同于所述片段数据的交通场景中的轨迹。

示例性地，所述数据处理装置确定片段数据为所述数据获取装置在所述行驶测试中从第一时间点至第二时间点采集的数据，其中所述第一时间点到所述第二时间点的时段包括自动驾驶汽车从第一驾驶状态转换为第二驾驶状态的时刻。示例性地，第二时间点可以是所述自动驾驶车辆驾驶状态转换的时刻。第一时间点可以是第二时间点之前的1秒、2秒、3秒、4秒、5秒、10秒、15秒、20秒、30秒等。可以理解的是，第一时间点到第二时间点的时段长度可以根据需求调整，并不需要本领域普通技术人员的任何创造性活动。

示例性地，所述泛化生成装置响应于用户指令泛化生成多个仿真交通场景的描述文件，其中所述用户指令中包括符合至少一个所述标签的内容的描述。例如，用户指令可以包括例如“变道”的字样。响应于该指令，带有“变道”标签的片段数据被调取并泛化生成多个相似的仿真交通场景。在一实施例中，泛化生成装置基于GAN泛化生成所述多个仿真交通场景的描述文件。在另一实施例中，泛化生成装置基于其他泛化手段生成多个仿真交通场景的描述文件。

本发明的再一方面涉及一种用于测试自动驾驶车辆驾驶算法的系统，其特征在于，所述系统包括：数据获取装置，用于获取路测数据，所述路测数据包括自动驾驶车辆在真实道路上进行行驶测试时所采集的交通场景数据以及所述自动驾驶车辆的状态信息，其中，在所述行驶测试期间，所述自动驾驶车辆至少基于交通参与者从第一驾驶态转换为第二驾驶状态；数据处理装置，用于处理所述路测数据，所述数据处理装置：确定所述自动驾驶车辆从第一驾驶状态转换为第二驾驶状态的时刻；以及根据所述时刻在所述路测数据中确定片段数据，所述片段数据包括所述交通参与者的信息以及所述自动驾驶车辆的状态信息；泛化生成装置，用于泛化生成多个仿真交通场景的描述文件，所述泛化生成装置至少基于所述片段数据，泛化生成多个仿真交通场景的描述文件，其中所述多个仿真交通场景的每一个中的所述交通参与者具有部分不同于所述片段数据的交通场景中的轨迹；以及仿真测试装置，用于利用所述多个仿真交通场景对虚拟车辆进行驾驶算法的仿真测试，所述仿真测试装置模拟所述虚拟车辆在所述多个仿真交通场景中基于所述驾驶算法的行驶。

示例性地，所述仿真测试装置监测所述虚拟车辆在多个仿真交通场景中驾驶状态。在一实施例中，仿真测试装置监测虚拟车辆是否在仿真交通场景中从第一驾驶状态转化为第二驾驶状态或其他驾驶状态。在另一实施例中，仿真测试装置记录虚拟车辆发生驾驶状态改变的时刻，以及该时刻前一时间区间内虚拟车辆的状态信息和交通参与者的信息，该时间区间可以是虚拟车辆发生驾驶状态改变前的1秒、2秒、3秒、4秒、5秒、10秒、15秒、20秒、30秒或更长。可以理解的是，记录时长可以由本领域普通技术人员根据需求调整。

本发明的再一方面涉及一种用于测试自动驾驶车辆驾驶算法的方法，该方法包括：获取第一路测数据，所述第一路测数据包括第一自动驾驶车辆在第一真实道路上进行第一行驶测试时所采集的第一交通场景数据以及所述第一自动驾驶车辆的第一状态信息，其中，在所述第一行驶测试期间，所述第一自动驾驶车辆至少基于第一交通参与者从第一驾驶态转换为第二驾驶状态；确定所述第一自动驾驶车辆在所述第一行驶测试期间从第一驾驶状态转换为第二驾驶状态的第一时刻；根据所述第一时刻在所述第一路测数据中确定第一片段数据，所述第一片段数据包括所述第一交通参与者的信息以及所述第一自动驾驶车辆的第一状态信息；基于所述第一片段数据的内容为其添加一个或多个第一标签，并将所述片段数据及所述一个或多个第一标签保存到交互场景库；获取第二路测数据，所述第二路测数据包括第二自动驾驶车辆在第二真实道路上进行第二行驶测试时所采集的第二交通场景数据以及所述第二自动驾驶车辆的第二状态信息，其中，在所述第二行驶测试期间，所述第二自动驾驶车辆至少基于第二交通参与者从第一驾驶态转换为第二驾驶状态；确定所述第二自动驾驶车辆在所述第二行驶测试期间从第一驾驶状态转换为第二驾驶状态的第二时刻；根据所述第二时刻在所述第二路测数据中确定第二片段数据，所述第二片段数据包括所述第二交通参与者的信息以及所述第二自动驾驶车辆的第二状态信息；基于所述第二片段数据的内容为其添加一个或多个第二标签，并将所述第二片段数据及所述一个或多个第而标签保存到所述交互场景库；响应于用户指令从所述交互场景库提取所述第一片段数据和/或所述第二片段数据，所述用户指令包括符合至少一个所述第一标签和/或第二标签的内容的描述；至少基于提取的所述第一片段数据和/或所述第二片段数据，泛化生成多个仿真交通场景的描述文件，其中所述多个仿真交通场景的每一个中的所述交通参与者具有部分不同于所述第一交通场景和所述第二交通场景中的轨迹；以及模拟自动驾驶车辆在所述多个仿真交通场景中的行驶并监测其驾驶状态。

本发明的再一方面涉及一种计算设备，所述计算设备包括处理器和存储器，其中所述存储器用于存储计算机指令；当所述计算设备运行时，所述处理器执行所述计算机指令，使得所述计算设备执行本发明的方法。

本发明的又再一方面涉及一种计算机可读存储介质，所述计算机可读存储介质包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行本发明的方法。

所述计算机可读存储介质可以是随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器(programmable rom，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electricallyEPROM，EEPROM)、寄存器、硬盘、移动硬盘、CDROM或者本领域熟知的任何其它形式的存储介质。

在一实施例中，存储介质耦合至处理器，使得处理器能够从该存储介质中读取以及写入信息。在另一实施例中，存储介质可以是处理器的组成部分。

图1为根据本发明实施例的生成仿真交通场景文件的方法流程示意图。

下面结合附图说明本发明的一种实施例。

在步骤101中，自动驾驶车辆在真实道路上行驶进行行驶测试。在行驶测试的过程中，该自动驾驶车辆通过其传感系统感测路测数据。该路测数据至少包括自动驾驶车辆在真实道路上进行行驶测试时所采集的交通场景数据以及所述自动驾驶车辆的状态信息。交通场景数据包括交通场景中交通参与者信息。在行驶测试中，自动驾驶车辆的状态被持续监测和记录。当自动驾驶车辆因自身或交通参与者的因素而发生驾驶状态的改变时，即自动驾驶车辆从第一驾驶状态转换为第二自动驾驶状态时，确定该驾驶状态发生改变的时刻T并记录该时刻。在步骤103，基于该时刻在路测数据中确定感兴趣的片段数据，片段数据中包括所述交通参与者信息以及自动驾驶车辆的状态信息。其中，该片段数据是自动驾驶车辆的传感系统从第一时间点T1到第二时间点T2所采集记录的数据。第二时间点T2可以是上述自动驾驶车辆发生驾驶状态转变的时刻T，也可是在时刻T之后的某一时间点。第一时间点T1为第二时间点T2之前的时间点，T1到T2的时段长度可以是1秒、2秒、3秒、4秒、5秒、10秒、15秒、20秒或者30秒等，且T1到T2的时段包括时刻T。

该片段数据可以仅包括从T1到T2时段内交通参与者信息和自动驾驶车辆的状态信息而不再含有其他信息。通过这样的数据筛选，可以极大地降低片段数据所需的存储空间，从而避免存储过多的不必要的数据增加存储压力以及处理压力。

从传感器感知的数据中筛选出片段数据可以实时进行，也可以延时进行。实时进行可以是基于自动驾驶具体算法的执行来直接确定该片段数据。例如，当自动驾驶车辆感知前方有缓行的障碍车辆(即交通参与者)时，经感知及决策确定可以执行自动驾驶变道算法，则车辆会执行变道；此时，自动驾驶变道算法在执行的过程中即会去识别和判断车辆所获得的感知数据中哪些是算法需要使用的数据，这样这些算法使用到的数据即可以存储为片段数据，而算法没有使用的其他数据则可以不进行存储。延时进行可以是自动驾驶车辆先行存储感知数据，而后从感知数据中筛选确定片段数据。例如，自动驾驶车辆可以在外运行测试一段路程，并存储了所有这段路程的感知数据。待运行测试结束后可以到处此段感知数据，并对其进行筛选，确定其中存在着驾驶状态改变的片段数据。

该片段数据根据其内容被分类并添加标签。标签可以用于标注片段数据中用户在后续使用中可能感兴趣的信息，例如是否在高速道路、是否有接管、决策类型等。

确定了前述的片段数据后，其可以被上传至服务器，并存储在服务器端的交互场景库中。可以理解的是，上传至服务器可以是实时进行的，例如车辆在运行前述的自动驾驶算法过程中确定了片段数据后，即可以通过车载通信模块将该片段数据上传至服务器。上传至服务器还可以是延时进行的，例如车辆运行了一段路程后，获取得到了该段路程的所有片段数据，而后可以通过车载通信模块上传至服务器，或者是通过计算机可读存储介质将其从车辆中导出后传输至服务器。

服务器存储了前述片段数据后，进一步地，可以对各个片段数据打上标签。片段数据的标签用于指示该片段数据具有何种类别的或者因何因素导致的驾驶状态切换。例如，因车辆变道而触发或筛选获取的片段数据，可以被打上“变道”的标签。同一片段数据可以被打上多个标签。进一步地，为片段数据打上标签可以是自动进行的，例如通过训练完成的神经网络进行。

打上标签的片段弄数据可以被存储至交互场景库中，以便于后续进行仿真场景泛化时调取使用。进一步地不同的片段数据可以根据其标签内容被分类保存。

在步骤105，基于感兴趣的片段数据泛化生成多个仿真交通场景。所述多个仿真交通场景与片段数据中的交通场景相似，但其中的交通参与者具有部分不同的轨迹等。可选地，多个仿真交通场景的泛化生成是基于GAN完成的。例如，某一片段数据中的周边车辆(交通参与者)具有从a1-a2-a3-a4的轨迹，则通过本发明方法泛化后，可以泛化生成a1-a2-b1-c1、a1-a2-b2-c2、a1-a2-a3-b4等各种轨迹的周边车辆的信息，从而泛化生成了多个仿真交通场景。

可选的，多个仿真交通场景的泛化生成还可以是通过重新采样插值添加噪声的方式进行。

多个仿真交通场景的泛化生成响应于用户指令，其中用户指令包括符合交互场景数据库中片段数据的一个或多个标签的内容。具体地，用户通过指令调取感兴趣的片段数据，例如调取所有带有“十字路口”标签的片段数据，并利用GAN技术对其泛化生成更多的相似仿真交通场景。

图2为根据本发明实施例的生成仿真交通场景文件的系统示意图。由图所示，系统200包括数据获取装置201，数据处理装置203，以及泛化生成装置209。可选地，该系统还可包括服务器205和/或交互场景库207。

数据获取装置201可以包括自动驾驶车辆的传感系统。当自动驾驶车辆在真实道路上进行行驶测试时，该传感系统感测路测数据。该路测数据至少包括自动驾驶车辆在真实道路上进行行驶测试时所采集的交通场景数据以及所述自动驾驶车辆的状态信息。交通场景数据包括交通场景中交通参与者信息。在行驶测试中，自动驾驶汽车的状态被持续监测和记录。当自动驾驶车辆因为交通参与者而发生状态改变时，即自动驾驶车辆从第一驾驶状态转换为第二自动驾驶状态时，数据处理装置203确定该驾驶状态发生改变的时刻T并记录该时刻。数据处理装置203根据时刻T确定感兴趣的片段数据。片段数据中包括上述交通参与者信息以及所述自动驾驶车辆的状态信息。其中，该片段数据是自动驾驶车辆的传感系统从第一时间点T1到第二时间点T2所采集记录的数据。

数据处理装置203在确定片段数据的过程中筛选数据内容，使得片段数据仅包括从T1到T2时段内的交通参与者信息和自动驾驶车辆的状态信息，且不再含有其他信息。

数据处理装置203将片段数据上传至服务器205，并由服务器205存储至交互场景库207。服务器205对该片段数据分类并添加标签，标签内容反映片段数据的内容，用以标注片段数据中用户在后续使用中可能感兴趣的信息，例如是否在高速道路、是否有接管、决策类型等。交互场景库207可以存储多个片段数据，且对片段数据的存储可以依据其标签内容进行。

可选地，数据处理装置203也可直接将片段数据传送至泛化生成装置209。

泛化生成装置209用于将片段数据进行泛化并生成多个与片段数据内的交通场景相似的仿真场景，其中仿真场景中的交通参与者的部分轨迹不同于片段数据内的交通场景中的该交通参与者。泛化生成装置209可以包括在仿真测试时使用的仿真系统，也即在实际进行仿真时所使用的仿真系统可以实现对交互场景库207中的片段数据的泛化。可选地，泛化生成装置209使用GAN技术泛化生成多个仿真场景。泛化生成装置209也可以使用其他适用的技术对仿真交通场景进行泛化生成。

其中，泛化生成装置209生成仿真场景可以是响应于用户指令，其中用户指令包括符合交互场景数据库中片段数据的一个或多个标签的内容。具体地，用户可以通过指令调取感兴趣的片段数据，例如调取所有带有“高速公路”标签的片段数据，并利用GAN技术对其泛化生成更多的相似仿真交通场景。交互场景库207可以是泛化生成装置209的一部分。

应当理解的是，图2中的各装置间的实线并不表示各装置间必然在结构上的耦连；多个装置间也可以通过通信连接或电连接。

图3为根据本发明实施例的测试自动驾驶汽车驾驶算法的系统示意图。系统300包括数据获取装置201，数据处理装置203，泛化生成装置209以及仿真测试装置301。可选地，该系统还可包括服务器205和/或交互场景库207。

各装置在仿真场景的泛化生成过程中的作用可参见图2的相应描述。仿真场景生成后，泛化生成装置209将仿真场景传送至仿真测试装置301。仿真测试装置301利用泛化生成的仿真交通场景对虚拟车辆进行驾驶算法的仿真测试。具体的，仿真测试装置301模拟自动驾驶车辆在泛化生成的仿真交通场景中的行驶以测试其驾驶算法应对不同仿真交通场景的能力。仿真测试装置301监测并记录其驾驶算法对不同仿真场景中交通参与者的应对，并记录模拟自动驾驶车辆驾驶状态的变化。根据这些数据，用户可以对驾驶算法进行改进。

例如，在仿真场景A中，驾驶算法成功识别出交通参与者构成对模拟的自动驾驶车辆的潜在危险并相应地将其从第一驾驶状态转换为第二驾驶状态。在与仿真场景A相似的仿真场景B中，交通参与者具有部分不同的轨迹。在仿真场景B中，被测试的驾驶算法可能无法识别出交通参与者在仿真场景B中同样对模拟的自动驾驶车辆构成潜在的危险，因而没有改变模拟的自动驾驶车辆的驾驶状态。根据该仿真测试结果，用户可以对被测驾驶算法进行进一步改进，使其在仿真场景B或其他相似的仿真场景中也可以识别并且应对潜在危险。

采用图3所示例的系统，可以在交互场景库汇集同一自动驾驶汽车在多种真实道路上的路测数据产生的片段数据，和/或者使用相同驾驶算法的不同自动驾驶汽车在多种真实道路上的路测数据产生的片段数据。这些片段数据可以被分类存储(例如，基于其标签内容)，在需要时根据用户指令被调取。

图4示出了根据本发明实施例的一种计算设备。计算设备400包括处理器401和存储器403。其中，所述存储器403用于存储计算机执行指令。当计算设备400运行时，处理器401执行存储器403存储的计算机执行指令。所述的计算机指令可以执行本发明的方法用以生成仿真交通场景文件和/或测试自动驾驶汽车的驾驶算法。处理器401和存储器403之间可以是直接或间接耦合，也可以是通信连接、电连接。

处理器401可用于获取路测数据，分析路测数据以确定感兴趣的片段数据，和/或基于片段数据泛化生成多个与片段数据中的交通场景相似的仿真交通场景。在所述每一仿真交通场景中，其中的交通参与者具有与片段数据中的交通参与者部分不同的轨迹。

处理器401也可被用于进行自动驾驶车辆驾驶算法的仿真测试。当执行所述仿真测试时，处理器401模拟自动驾驶车辆在仿真交通场景中的行驶，并且监测记录模拟的自动驾驶车辆在仿真场景中驾驶状态的改变。例如，监测当仿真场景中的交通参与者对模拟的自动驾驶车辆构成潜在危险时，自动驾驶汽车是否从第一驾驶状态转换至第二驾驶状态。可选地，处理器401可以对第二驾驶状态是否足以应对由交通参与者构成的潜在危险做出判断。另外，处理器401也可以协助或者用于驾驶算法的改进。

处理器401可以是中央处理单元(central processing unit，CPU)，数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)、其他处理器、可编程逻辑器件、晶体管逻辑器件或者适宜的硬件或者其组合。

存储器403可以是随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器(programmable rom，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质。

应该理解的是，上述的实施例可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。任何能够实现本发明的方法的软件、硬件、固件或者组合都落入本发明的保护范围。

应注意的是，以上实施例仅用以说明本发明的技术方案，而非对其构成限制。任何对其中部分技术特征进行等同替换的技术方案，仍旧落入在本发明的保护范围内。

Claims (19)

1.一种生成仿真交通场景文件的方法，其特征在于，所述方法包括：

获取路测数据，所述路测数据包括自动驾驶车辆在真实道路上进行行驶测试时所采集的交通场景数据以及所述自动驾驶车辆的状态信息，其中，在所述行驶测试期间，所述自动驾驶车辆至少基于交通参与者从第一驾驶状态转换为第二驾驶状态；

确定所述自动驾驶车辆从第一驾驶状态转换为第二驾驶状态的时刻；

根据所述时刻在所述路测数据中确定片段数据，所述片段数据包括所述交通参与者的信息以及所述自动驾驶车辆的状态信息；以及

至少基于所述片段数据，泛化生成多个仿真交通场景的描述文件，其中所述多个仿真交通场景的每一个中的所述交通参与者具有部分不同于所述片段数据的交通场景中的轨迹。

2.根据权利要求1所述的方法，其中所述片段数据为所述自动驾驶车辆在所述行驶测试时从第一时间点至第二时间点所采集的数据，其中所述第一时间点到所述第二时间点的时段包括所述时刻。

3.根据权利要求1所述的方法，其中所述第一驾驶状态和第二驾驶状态具有至少一个不同的驾驶参数，所述驾驶参数包括自动驾驶车辆的速度、位置、姿态、行进方向或控制状态中的至少一个。

4.根据权利要求1任一项所述的方法，其中所述交通参与者信息至少包括所述交通参与者的轨迹。

5.根据权利要求1任一项所述的方法，其中所述自动驾驶车辆的状态信息包括自动驾驶车辆在所述时刻前后的速度、位置、姿态、行进方向、以及控制状态中的至少一个。

6.根据权利要求1-5任一项所述的方法，还包括基于所述片段数据的内容为片段数据添加一个或多个标签，并将所述片段数据依据所述一个或多个标签保存至交互场景库。

7.根据权利要求6所述的方法，其中所述多个仿真交通场景的描述文件的泛化生成响应于用户指令，所述用户指令包括符合至少一个所述标签的内容的描述。

8.根据权利要求7任一项所述的方法，其中所述多个仿真交通场景的描述文件的泛化基于生成对抗网络。

9.根据权利要求1任一项所述的方法，其中所述多个仿真交通场景用于对虚拟车辆进行驾驶算法的仿真测试。

10.一种生成仿真交通场景文件的系统，其特征在于，所述系统包括：

数据获取装置，用于获取路测数据，所述路测数据包括自动驾驶车辆在真实道路上进行行驶测试时所采集的交通场景数据以及所述自动驾驶车辆的状态信息，其中，在所述行驶测试期间，所述自动驾驶车辆至少基于交通参与者从第一驾驶态转换为第二驾驶状态；

数据处理装置，用于处理所述路测数据，所述数据处理装置：

确定所述自动驾驶车辆从第一驾驶状态转换为第二驾驶状态的时刻；以及

根据所述时刻在所述路测数据中确定片段数据，所述片段数据包括所述交通参与者的信息以及所述自动驾驶车辆的状态信息；以及

泛化生成装置，用于泛化生成多个仿真交通场景的描述文件，所述泛化生成装置至少基于所述片段数据，泛化生成多个仿真交通场景的描述文件，其中所述多个仿真交通场景的每一个中的所述交通参与者具有部分不同于所述片段数据的交通场景中的轨迹。

11.根据权利要求10所述的系统，其中所述数据处理装置确定片段数据为所述数据获取装置在所述行驶测试中从第一时间点至第二时间点采集的数据，其中所述第一时间点到第二时间点的时段包括所述时刻。

12.根据权利要求10所述的系统，其中所述数据处理装置还基于所述片段数据的内容为其添加一个或多个标签，并将所述片段数据及所述一个或多个标签上传至所述泛化生成装置的服务器和/或基于所述一个或多个标签将所述片段数据保存至所述泛化生成装置的交互场景库。

13.根据权利要求12所述的系统，其中所述泛化生成装置响应于用户指令泛化生成多个仿真交通场景的描述文件，其中所述用户指令中包括符合至少一个所述标签的内容的描述。

14.根据权利要求13任一项所述的系统，其中所述泛化生成装置基于生成对抗网络泛化生成所述多个仿真交通场景的描述文件。

15.一种用于测试自动驾驶车辆驾驶算法的系统，其特征在于，所述装置包括：

数据获取装置，用于获取路测数据，所述路测数据包括自动驾驶车辆在真实道路上进行行驶测试时所采集的交通场景数据以及所述自动驾驶车辆的状态信息，其中，在所述行驶测试期间，所述自动驾驶车辆至少基于交通参与者从第一驾驶态转换为第二驾驶状态；

数据处理装置，用于处理所述路测数据，所述数据处理装置：

确定所述自动驾驶车辆从第一驾驶状态转换为第二驾驶状态的时刻；以及

根据所述时刻在所述路测数据中确定片段数据，所述片段数据包括所述交通参与者的信息以及所述自动驾驶车辆的状态信息；

泛化生成装置，用于泛化生成多个仿真交通场景的描述文件，所述泛化生成装置至少基于所述片段数据，泛化生成多个仿真交通场景的描述文件，其中所述多个仿真交通场景的每一个中的所述交通参与者具有部分不同于所述片段数据的交通场景中的轨迹；以及

仿真测试装置，用于利用所述多个仿真交通场景对虚拟车辆进行驾驶算法的仿真测试，所述仿真测试装置模拟所述虚拟车辆在所述多个仿真交通场景中基于所述驾驶算法的行驶。

16.根据权利要求15所述的系统，其中所述仿真测试装置监测所述虚拟车辆在所述多个仿真交通场景中驾驶状态。

17.一种用于测试自动驾驶车辆驾驶算法的方法，其特征在于，所述方法包括：

获取第一路测数据，所述第一路测数据包括第一自动驾驶车辆在第一真实道路上进行第一行驶测试时所采集的第一交通场景数据以及所述自动驾驶车辆的第一状态信息，其中，在所述第一行驶测试期间，所述第一自动驾驶车辆至少基于第一交通参与者从第一驾驶态转换为第二驾驶状态；

确定所述第一自动驾驶车辆在所述第一行驶测试期间从第一驾驶状态转换为第二驾驶状态的第一时刻；

根据所述第一时刻在所述第一路测数据中确定第一片段数据，所述第一片段数据包括所述第一交通参与者的信息以及所述第一自动驾驶车辆的第一状态信息；

基于所述第一片段数据的内容为其添加一个或多个第一标签，并将所述片段数据根据所述一个或多个第一标签保存至交互场景库；

获取第二路测数据，所述第二路测数据包括第二自动驾驶车辆在第二真实道路上进行第二行驶测试时所采集的第二交通场景数据以及所述自动驾驶车辆的第二状态信息，其中，在所述第二行驶测试期间，所述第二自动驾驶车辆至少基于第二交通参与者从第一驾驶态转换为第二驾驶状态；

确定所述第二自动驾驶车辆在所述第二行驶测试期间从第一驾驶状态转换为第二驾驶状态的第二时刻；

根据所述第二时刻在所述第二路测数据中确定第二片段数据，所述第二片段数据包括所述第二交通参与者的信息以及所述第二自动驾驶车辆的第二状态信息；

基于所述第二片段数据的内容为其添加一个或多个第二标签，并将所述第二片段数据根据所述一个或多个第二标签保存至所述交互场景库；

响应于用户指令从所述交互场景库提取所述第一片段数据和/或所述第二片段数据，所述用户指令包括符合至少一个所述第一标签和/或第二标签的内容的描述；

至少基于提取的所述第一片段数据和/或所述第二片段数据，泛化生成多个仿真交通场景的描述文件，其中所述多个仿真交通场景的每一个中的所述交通参与者具有部分不同于所述第一交通场景和所述第二交通场景中的轨迹；以及

模拟自动驾驶车辆在所述多个仿真交通场景中的行驶并监测其驾驶状态。

18.一种计算设备，其特征在于，所述计算设备包括处理器和存储器，其中所述存储器用于存储计算机指令；当所述计算设备运行时，所述处理器执行所述计算机指令，使得所述计算设备执行权利要求1-9和18任一项所述的方法。

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行权利要求1-9和18任一项所述的方法。

Images