CN114175127A - 用于支持生成用于测试自主驾驶和/或高级驾驶员辅助系统功能的场景的方法和设备 - Google Patents

Abstract

用于支持生成用于测试真实世界交通工具的自主驾驶和/或高级驾驶员辅助系统（AD/ADAS）功能的场景的方法和设备。一种设备（101；500）提供（301）虚拟环境（200），所述虚拟环境（200）模拟与具有所述AD/ADAS功能的交通工具的操作相关的环境，并且在虚拟环境（200）中操作以下各项：完全计算机控制的可移动虚拟对象（230a‑c）、人类控制的可移动虚拟对象（220）、以及根据所述AD/ADAS功能进行操作的至少一个虚拟AD/ADAS交通工具（210）。所述设备允许（303）所述设备（101；500）的用户在操作期间经由用户接口（506）来控制所述一个或多个人类控制的可移动虚拟对象（220），并且由此使得生成虚拟AD/ADAS交通工具（210）所经受的场景。

Description

用于支持生成用于测试自主驾驶和/或高级驾驶员辅助系统 功能的场景的方法和设备

技术领域

本文中的实施例涉及一种方法和设备，所述方法和设备涉及生成用于测试交通工具的自主驾驶和/或高级驾驶员辅助系统（AD/ADAS）功能的场景。

背景技术

非监督式自主驾驶（AD）功能以及高级驾驶员辅助系统（ADAS）的功能（其可以被称为AD和/或ADAS（AD/ADAS）功能）在部署之前需要被评估和证明，以处理其定义的操作设计域（ODD）中的所有相关交通场景。然而，由于安全性关键场景的低曝光率，可能需要数十亿公里的监督式道路测试来确信地验证安全行为，特别是针对自主交通工具（AV）来验证安全行为。即使在激进的测试假设和/或条件下，实现AD/ADAS功能的现有交通工具车队也可能需要在真实世界中实时驾驶数十年或数百年，以暴露于极端情况（corner case）场景并且学习它们，并且由此能够对照它们进行验证。单独的这个方法显然是不可行的，这继而将会阻碍特别是AD技术的市场渗透。

极端情况的定义中存在变化。如本文中所使用，极端情况可以对应于可以被称为长尾事件的事物，并且可以被解释为如下情况：该情况将测试主体（例如，具有AD/ADAS功能的交通工具）暴露到远在测试主体通常应当暴露于并且通常能够处理的事物之外的环境（例如，不太可能发生但是仍然可能发生的环境），并且如果该测试主体暴露于该环境，则该测试主体应当或者必须能够处理（例如能够检测）并且采取合适的动作。因此，与交通工具的AD/ADAS功能相关的极端情况场景是将交通工具的AD/ADAS功能暴露于极端情况的场景。

它在于极端情况场景的性质，即，它们常常难以在理论上预测或计算，并且它们可能需要通过经历它们来标识。

对于交通工具的AD/ADAS功能的真实世界测试所需的许多英里、时间和资源促使AD汽车开发方面的领先公司在将实现AD/ADAS功能的其软件部署在真实交通工具中以便在真实世界环境中和真实道路上使用之前，虚拟地模拟许多自主英里。虚拟地驾驶数十亿英里是节省成本和时间的。

发明内容

鉴于以上内容，目的是提供与关于交通工具中的AD/ADAS功能测试的现有技术相关的一个或多个改进或替代。

根据本文中的实施例的第一方面，所述目的通过一种由设备执行的方法来实现，所述方法用于支持生成用于测试一个或多个真实世界交通工具的自主驾驶和/或高级驾驶员辅助系统（AD/ADAS）功能的场景。所述设备提供虚拟环境，所述虚拟环境模拟与具有所述AD/ADAS功能的一个或多个交通工具的操作相关的环境。在虚拟环境中操作以下各项：一个或多个完全计算机控制的可移动虚拟对象、一个或多个人类控制的可移动虚拟对象、以及根据所述AD/ADAS功能进行操作的至少一个虚拟AD/ADAS交通工具。所述设备进一步允许所述设备的用户在虚拟环境中的操作期间经由所述设备的用户接口来控制所述一个或多个人类控制的可移动虚拟对象，并且由此使得生成所述至少一个虚拟AD/ADAS交通工具中的一个或多个所经受的场景。所述场景是从所述一个或多个人类控制的可移动虚拟对象中的至少一个得到的，所述一个或多个人类控制的可移动虚拟对象影响以下各项中的一个或多个：所述一个或多个完全计算机控制的可移动虚拟对象、所述至少一个虚拟AD/ADAS交通工具、虚拟环境。

根据本文中的实施例的第二方面，所述目的通过包括指令的计算机程序来实现，所述指令在由一个或多个处理器执行时使得所述设备执行根据第一方面的方法。

根据本文中的实施例的第三方面，所述目的通过包括根据第二方面的计算机程序的载体来实现。

根据本文中的实施例的第四方面，所述目的通过一种用于支持生成用于测试一个或多个真实世界交通工具的自主驾驶和/或高级驾驶员辅助系统（AD/ADAS）功能的场景的设备来实现。所述设备被配置成提供虚拟环境，所述虚拟环境模拟与具有所述AD/ADAS功能的一个或多个交通工具的操作相关的环境。在虚拟环境中操作以下各项：一个或多个完全计算机控制的可移动虚拟对象、一个或多个人类控制的可移动虚拟对象、以及根据所述AD/ADAS功能进行操作的至少一个虚拟AD/ADAS交通工具。所述设备进一步被配置成允许所述设备的用户在虚拟环境中的操作期间经由所述设备的用户接口来控制所述一个或多个人类控制的可移动虚拟对象，并且由此使得生成所述至少一个虚拟AD/ADAS交通工具中的一个或多个所经受的场景。所述场景是从所述一个或多个人类控制的可移动虚拟对象中的至少一个得到的，所述一个或多个人类控制的可移动虚拟对象影响以下各项中的一个或多个：所述一个或多个完全计算机控制的可移动虚拟对象、所述至少一个虚拟AD/ADAS交通工具、虚拟环境。

所述设备可以进一步和/或可以进一步被配置成：基于与所述至少一个虚拟AD/ADAS交通工具中的一个或多个相关地生成的数据来发起某个场景已经发生的标识。所述标识可以基于经由用户接口的用户输入。

此外，所述设备可以和/或可以被配置成：经由用户接口并且响应于所述某个场景的标识来提供指向用户的关于参与生成所述某个场景的通知。

与所述至少一个虚拟AD/ADAS交通工具中的所述一个或多个相关地生成的所述数据可以包括：从所述至少一个虚拟AD/ADAS交通工具中的所述一个或多个外部生成的数据。

此外，所述设备可以和/或可以被配置成：存储数据，所述数据使得能够重新创建所述某个场景的至少一部分，并且由此使得相同或另一虚拟AD/ADAS交通工具能够在另一场合下经受所述某个场景的所述至少一部分。

所述完全计算机控制的可移动虚拟对象可以包括所述至少一个虚拟AD/ADAS交通工具中的一个或多个。

所述至少一个虚拟AD/ADAS交通工具中的一个或多个在虚拟环境中的操作期间可以被提供有相应的标识符，所述标识符使得用户能够经由用户接口将此类虚拟AD/ADAS交通工具标识为在虚拟环境中操作的某个类型的虚拟交通工具。

所述一个或多个完全计算机控制的可移动虚拟对象中的至少一些可以在虚拟环境中以通过实现所述计算机控制不可预测的行为进行操作。

在一些实施例中，所述至少一个虚拟AD/ADAS交通工具是分别根据所述AD/ADAS功能的不同实现进行操作的多个虚拟AD/ADAS交通工具。

而且，在一些实施例中，所述至少一个虚拟AD/ADAS交通工具是被配置成分别根据所述AD/ADAS功能的不同子功能进行操作的多个虚拟AD/ADAS交通工具。

此外，所述设备可以和/或可以被配置成：允许用户经由用户接口来确定虚拟环境的至少一部分、和/或在虚拟环境中操作的计算机控制的可移动虚拟对象中的一个或多个的行为和/或位置的至少一部分。

本文中的实施例在单个设备上的虚拟环境中的操作期间将虚拟AD/ADAS交通工具暴露于混合的人类和计算机控制的可移动虚拟对象，并且场景在其情境（context）中被生成。单个设备上的单个用户可以促成虚拟环境中的场景生成，但是在那里，归功于计算机控制的可移动虚拟对象，使得仍然能够实现复杂的交通情形。所生成的场景可以被认为对应于测试用例，所述测试用例例如可以针对AD/ADAS功能的测试被重新使用。因此，存储允许重新创建并且因此重新使用场景的数据可能比与功能的行为（例如，AD/ADAS功能的测试本身）相关的数据更有价值。

具体地，本文中的实施例可以增加生成和标识极端情况场景的可能性。单个设备上的单个用户进一步是用户当今参与各种虚拟情境（例如，计算机游戏）的最常见方式，并且本文中的实施例使得能够利用这个并且由此到达许多用户，并且允许他们对场景生成和标识作出贡献。这便于所述方法的众包执行，其涉及具有相应用户的多个设备，由此进一步增加以节省时间和成本的方式来生成感兴趣场景的可能性。这可以通过使所述完全计算机控制的可移动虚拟对象包括所述至少一个虚拟AD/ADAS交通工具来进一步促进。

此外，在标识所述某个场景中使用来自所述设备的用户的输入对于标识极端情况场景可能是特别有利的。用户是通常最了解他/她已做了什么并且可以标识由于某个原因而“突出”的场景的用户，所述“突出”的场景通常可能是针对极端情况场景的情况。极端情况场景通常是罕见的，并且具有相当独特的性质，这可使得难以自动地标识此类场景。在具有或不具有用户输入的情况下，对（多个）某场景进行标识进一步导致了减少数目的场景来存储、至少长时间存储、和/或进一步自动和/或手动评估或标识。

因此，一般而言，本文中的实施例提供了关于交通工具中的AD/ADAS功能的测试的改进。

附图说明

参考下文中简要描述的附加的示意图，更详细地描述了本文中的实施例的示例。

图1是示意性地描绘了用于讨论本文中的实施例的系统的框图。

图2A示意性地并且以简化的方式图示了将用于例示本文中的实施例的虚拟环境的示例。

图2B示意性地并且以简化的方式图示了图2A的虚拟环境，其填充有用于在其中操作的不同类型的虚拟交通工具。

图3是示意性地图示了根据本文中的实施例的方法的动作的流程图。

图4是示意性地图示了与本文中的实施例相关的一些动作的另一流程图。

图5是用于图示根据本文中的实施例的设备的实施例、以及可以如何将其配置成执行关于图3描述的方法和动作的功能框图。

图6是图示与计算机程序以及其载体相关的实施例的示意图，所述计算机程序以及其载体用于使该设备执行关于图3描述的方法和动作。

具体实施方式

本文中的实施例是示例性实施例。应当注意的是，这些实施例不一定是相互排斥的。来自一个实施例的部件可以默认存在于另一实施例中，并且对于本领域技术人员来说，那些部件可以如何在其他示例性实施例中使用将是明显的。

作为针对本文中的实施例的发展，将首先进一步阐明背景技术中指示的情形。

虽然与真实世界中的测试驾驶相比，虚拟地模拟许多自主英里是节省时间和成本的，但是它不能够并且不应当代替真实世界测试和涉及人类的测试，至少只要有实际人类涉及AD/ADAS交通工具将经受的真实世界环境和场景即可。人类因素不应当被遗忘，并且人类创造性不应被忽视。

基于规则的控制算法设计受所有规则的初始设置所限制，并且当需要考虑多个规则时，它可容易遗漏或涉及设计错误。形式方法是解决测试复杂的基于规则的控制算法的验证挑战的方法之一，但是它需要对算法的良好建模。基于机器学习的控制算法受其训练样本所限制。AD/ADAS系统测试者通常设计测试场景或在公共道路上驾驶交通工具以用于收集场景。然而，不能通过设计或真实世界驾驶来很好地覆盖某些场景，包括极端情况场景，但是所述场景对于AD/ADAS系统和功能验证是非常有价值的。

在完全计算机控制的动态环境（例如，具有移动的AI控制的对象，所述对象是基于从真实世界驾驶中生成的数据集来训练的）中，这些通常不包括罕见的安全性关键行为，并且通常没有或没有足够的关于极端情况的数据。计算机控制的对象与AV的交互可以最终生成一些组合的感兴趣测试场景，但是它不能够生成真实世界中可能发生并且可能感兴趣的所有极端情况场景。例如，能够增加在不必使用真实世界交通工具在真实世界中进行驾驶（至少不会驾驶达数十年或数百年）的情况下生成极端情况场景的可能性将是感兴趣的。

众包是包括将任务外包到分散的一组人员的过程。本文中的实施例的基本思想是便于将验证AD/ADAS功能的任务众包到全球的个体，所述个体可对例如在模拟环境或视频游戏中促成向具有AD/ADAS功能的交通工具强加风险和潜在安全性关键场景的其他手段感兴趣、或者被所述其他手段所激励。

图1是示意性地描绘用于讨论本文中的实施例的系统100的框图。

系统100涉及一个或多个客户端或用户设备、或者简单地是设备，所述设备由该图中的设备101-103来例示，并且可以根据本文中的实施例进行操作。设备101-103分别与用户相关联，并且可以属于不同类型，诸如智能电话、膝上型或台式个人计算机、游戏控制台等。设备101-103因此具有计算机和数据处理能力。在所示的示例中，为了说明原理，设备101、103被图示为智能电话，并且设备102被图示为另一类型，例如台式计算机。因此，设备101-103中的一个或多个可以是但不限于具有无线通信能力的设备，即无线通信设备。下面描述的本文中的实施例的方法和动作可以由设备101-103中的任一个来执行，但是设备101可以用作下文中的主要示例。

设备101-103可以进一步连接到计算机网络104（例如互联网），并且可以例如经由该网络通信地连接到服务器105，以用于关于本文中的实施例的数据的远程处理和/或存储，如将在下面进一步讨论的那样。服务器105可以服务于多个设备，例如所有设备101-103。服务器可以对应于具有服务器能力的计算机或主机，或此类计算机的集群，并且可以是提供服务器服务的所谓计算机云、或者简单地云的一部分，或者对应于该计算机云。

如下面将进一步详细地解释的那样，设备101-103中的每一个（例如，设备101）可以例如通过在设备101上执行软件来提供虚拟环境，或者提供对例如由服务器105提供的所述虚拟环境的访问。虚拟环境模拟与具有AD/ADAS功能的（多个）交通工具的操作相关的环境。虚拟环境可以由在设备101上执行的软件来提供或通过该软件来提供，例如以在设备101上可安装和执行的计算机程序（例如，所谓的应用或“app”）的形式来提供，例如对应于模拟器和/或计算机游戏，所述模拟器和/或计算机游戏可以激励该软件和设备101的用户虚拟地挑战装备有难以管理和/或有风险的场景的AD/ADAS软件的交通工具。

应当理解的是，上面提到的用户设备的类型分别包括用户接口，所述用户接口允许去往该设备的不同种类的用户输入和输出。用户接口可以属于不同类型，包括用于与用户对接的常规类型，例如可以是触敏的显示器（即，屏幕）、键盘、诸如在游戏控制器上的动作按钮和/或棒、扬声器、例如具有语音识别的扩音器等。

图2a示意性地图示了上面提到的此类虚拟环境（这里是虚拟环境200）的示例。如所例示的，虚拟环境200包含虚拟基础设施，所述虚拟基础设施包括用于驾驶虚拟交通工具（例如，虚拟汽车）的道路、以及相关联的对于道路邻接和附近的结构，所述结构例如采用建筑物、人行横道、人行道、交通灯等的形式。

图2b图示了图2a的虚拟环境200，所述虚拟环境200现在还被填充有：可以被例示为人工智能（AI）控制的汽车的计算机控制的可移动虚拟对象230a-c、可以被例示为AV汽车的虚拟AD/ADAS交通工具210（其被配置成根据所述AD/ADAS功能进行操作）、以及可以被例示为人类控制的（即，人类驾驶员（HD））汽车的人类控制的可移动虚拟对象220。所述对象和交通工具210、220、230a-c正在虚拟环境200中进行操作和/或被配置成在虚拟环境200中进行操作。

虚拟AD/ADAS交通工具210可以根据提供AD/ADAS功能的AD/ADAS软件的特定版本来进行执行和/或操作。

计算机控制的可移动虚拟对象230a-c可以是完全或部分AI控制的，即这些对象的行为可以通过使用AI算法来模拟。AI算法可以从由真实世界数据训练的复杂监督式机器学习算法变动到探索模拟环境和/或可以学习以挑战例如虚拟AD/ADAS交通工具210的强化学习技术。计算机控制的可移动虚拟对象230a-c可以包括例如行人、骑自行车的人、交通工具等。计算机控制的可移动虚拟对象230a-c在操作时可以是全部或完全计算机控制的，即它们可以在虚拟环境200中的操作期间在没有人类控制的情况下进行动作和移动。替代地，它们可以被称为完全计算机操作的虚拟对象或自主虚拟交通工具。因此，完全计算机控制的可移动虚拟对象230a-c可以独立自主于人类用户来操作。在计算机游戏情境中，它们可以对应于所谓的非玩家角色（NPC）。

设备101的用户可以例如经由设备101的用户接口来控制虚拟环境200中的人类控制的可移动虚拟对象220，并且由此使其与虚拟环境200本身进行交互和/或影响所述虚拟环境200本身，例如其基础设施、计算机控制的虚拟对象230a-c和/或虚拟AD/ADAS交通工具210。交互或者交互如何影响虚拟环境200本身、在其中操作的其他对象和/或交通工具可以直接或间接使得AD/ADAS交通工具当在虚拟环境200中操作时经受（即暴露于和/或经历）各种情形和场景。要注意的是，不需要人类（例如，设备101的用户）控制可移动虚拟对象的每个方面以便使其是人类控制的，而是例如用户控制可以在某个方面控制对象的移动行为，并且这在操作期间引起所述影响和/或交互，并且因此是来自用户控制的结果。一般而言，在操作期间，人类控制可以是实时的或接近实时的、或具有一些延迟，和/或该控制可以在操作之前由人类（例如，设备101的用户）来设置或配置。

（多个）人类控制的可移动虚拟对象为用户开发了参与的机会，并且关于AD/ADAS功能高效地充当测试者，尽管这对于用户不一定需要是焦点，所述用户替代地可以参与模拟器和/或计算机游戏。设备（例如，设备101）的用户可以例如控制人类控制的可移动虚拟对象220作为此类模拟器和/或计算机游戏的一部分，并且例如定义或确定虚拟环境200的至少一部分作为配置模拟器和/或计算机游戏的一部分。

设备（例如，设备101）的用户可以进一步在模拟器和/或计算机游戏中加载和/或影响计算机控制的可移动虚拟对象（例如，AI道路用户）的行为，例如以便设置场景，其中目标是将虚拟AD/ADAS交通工具210暴露于感兴趣的情形或场景，例如对应于极端情况场景。

如应当认识到的那样，采用模拟器和/或计算机游戏形式的现有软件可以被修改以提供作为虚拟环境200的虚拟环境，并且实现本文中的实施例，如下面所描述的那样。

注意，图1和图2A-B仅仅是示意性的，并且用于例示目的，并且并非各图中所示的每件事物对于本文中的所有实施例可能是要求的，如对于技术人员来说应该是清楚的那样。此外，在实践中，当然可以有更多的设备、多个服务器、其他更复杂的虚拟环境等，但是为了简化的缘故，本文中没有示出它们。实际上可以存在例如更多得多数目的设备和相应用户，当相应设备执行软件时，其中每个可以提供相同、类似或不同的虚拟环境等。软件可以是软件的相同版本的副本，例如相同的模拟器和/或计算机游戏软件，或者一些设备可以执行不同的软件，例如另一模拟器和/或视频游戏，但是其仍然实现本文中的实施例。

图3描绘了与信令图组合的流程图，所述信令图将用来讨论本文中的实施例。

可以形成一种方法的以下动作用于支持生成用于测试一个或多个真实世界交通工具的自主驾驶和/或高级驾驶员辅助系统（AD/ADAS）功能的场景。所述动作由设备（例如，设备101）来执行。

可以按任何合适的次序来进行以下动作，和/或在这是可能和合适的时候，在时间上完全或部分重叠地进行以下动作。

动作301

设备101例如通过在设备101上执行的计算机程序来提供虚拟环境（例如，虚拟环境200），所述虚拟环境模拟与具有所述AD/ADAS功能的一个或多个交通工具（例如，所述真实世界交通工具）的操作相关的环境。在虚拟环境200中，它正在操作以下各项：一个或多个完全计算机控制的可移动虚拟对象（例如，计算机控制的可移动虚拟对象230a-c）、一个或多个人类控制的可移动虚拟对象（例如，人类控制的可移动虚拟对象220）、以及根据所述AD/ADAS功能进行操作的至少一个虚拟AD/ADAS交通工具（例如，虚拟AD/ADAS交通工具210）。

AD/ADAS功能可以完全或部分对应于真实世界交通工具的AD/ADAS功能，或者与所述真实世界交通工具相关联，或者被规划成为真实世界交通工具。如应当理解的那样，本文中使用的“真实世界交通工具”指的是用于在人类出生和生活于其中并且直接与之交互的真实物理世界中操作的物理交通工具。

计算机控制的和/或人类控制的可移动虚拟对象可以例如对应于或者包括如关于图2A所讨论和图示的（多个）交通工具，并且可以附加地或替代地包括或者是（多个）其他对象，诸如（多个）虚拟人类、例如具有例如（多个）婴儿车的正在步行和/或跑步的行人，飞行对象、诸如无人机，或者可以由用户移动并且放置在例如虚拟环境中的道路上的被投掷或下落的对象（诸如石头或树）等。如所理解的那样，可移动虚拟对象可以对应于不同种类的道路用户。

所述一个或多个完全计算机控制的可移动虚拟对象中的全部或一些可以有利地以通过实现所述计算机控制不可预测的行为进行操作。因此，可以避免重复的、可预测的行为，使得当实现本文中的实施例的软件（例如，游戏）正在设备（例如，设备101）上执行并且由其用户操作时，这些对象不会在不同场合下以相同的方式重复地执行。为了实现这个，计算机控制的可移动虚拟对象或至少它们的行为可以基于AI算法来实现，和/或以某种程度的随机化行为来实现。前者可以具有一些另外的优点，其中该算法可以从例如引起生成某些（例如特别感兴趣的）场景（例如，如下面所描述的极端情况场景）的先前场合中进行学习。机器学习算法可以用于影响和促进行为，其增加了生成另外的类似感兴趣场景的可能性。在任何情况下，通过避免重复行为，将存在所生成的场景当中的更大的变化，以及生成感兴趣场景（例如，极端情况场景）的增加的可能性。

人类控制的可移动虚拟对象可以是或者包括虚拟AD/ADAS交通工具，例如如果不是完全自主的而是至少部分人类控制的，但是也可以是或者包括另一交通工具或对象。

在一些实施例中，一个或多个完全计算机控制的可移动虚拟对象包括所述至少一个虚拟AD/ADAS交通工具中的一个或多个，例如虚拟AD/ADAS交通工具210，即AD/ADAS交通工具那时不是以用户为中心的。在AD/ADAS功能不包含自主驾驶功能的情况下，可以单独地提供此类功能，例如，可以将AD/ADAS功能集成在完全计算机控制的可移动虚拟对象中的一个中，以例如已经被配置成允许这个的虚拟交通工具的形式。针对进一步的讨论和相关联的优点，在以下动作303下进行查看。

动作302

设备101可以允许用户经由设备101的用户接口来确定虚拟环境200的至少一部分和/或在虚拟环境200中操作的计算机控制的可移动虚拟对象230a-c中的一个或多个的行为和/或位置的至少一部分。

因此，用户可以例如在虚拟环境中创建交通情形，所述交通情形可以是独特的并且将影响AD/ADAS交通工具在虚拟环境中的操作，例如以便引起有挑战性和/或有风险的场景。这不仅在操作人类控制的虚拟对象时鼓励相应用户是有创造性的，由此便于生成独特的场景，并且可以增加生成感兴趣场景（例如，极端情况场景）的概率。

如在本公开的情境中所使用的，允许或被配置成允许设备的用户经由该设备的用户接口做某事的设备或其他实体可以涉及该设备例如通过硬件和/或软件被配置成是或被带入如下状态：在该状态中，用户经由用户接口能够与该设备以及在该设备上执行并且例如实现本文中的实施例的计算机程序进行交互。该交互与经由用户接口的数据输入和/或输出相关，以由此完成该设备允许或被配置成允许用户做的事情。

因此，本动作可以例如涉及设备101和/或在设备101上执行的软件在硬件和/或软件中提供所需的（多个）接口和（多个）功能，使得用户由此可以例如经由显示器和图形用户接口（GUI）在视觉上进行以下各项：

确定或影响虚拟环境200，例如城市和/或不同的交通状况、情形和/或场景，所述虚拟环境200可以导致AD/ADAS交通工具将被暴露于事件并且可以生成感兴趣的场景，和/或

定位或放置一个或多个道路用户，例如虚拟环境中的计算机控制的可移动虚拟对象（例如，计算机控制的可移动虚拟对象230a-c）中的一个或多个、所述人类控制的可移动虚拟对象（例如，人类控制的可移动虚拟对象220）、以及所述虚拟AD/ADAS交通工具（例如，虚拟AD/ADAS交通工具210），和/或确定或影响它们在其中操作时将展现的行为。

因此，允许用户确定虚拟环境的至少一部分可以包括：允许用户确定虚拟环境200的虚拟基础设施。允许用户确定虚拟基础设施可以例如包括：允许用户从真实世界环境上的地图中进行选择，并且由此根据该选择将虚拟基础设施并入在对应于真实世界基础设施的虚拟环境中。用户可以例如选择地图的区域，以及虚拟基础设施、或者甚至虚拟环境整体将基于和/或对应于所选区域的真实世界环境，例如基础设施。

这使得用户更容易例如基于真实生活经验或者对其中棘手或特殊交通情形易于发生的地方的了解来创建交通情形。它进一步鼓励用户是有创造性的，并且帮助吸引更多的用户。因此，进一步便于生成场景，并且生成更多的感兴趣场景。

下面结合图4讨论与此相关的进一步示例。

动作303

设备101允许设备101的用户经由该设备的用户接口在虚拟环境200中的操作期间控制人类控制的可移动虚拟对象220，并且由此使得生成所述至少一个虚拟AD/ADAS交通工具（例如，虚拟AD/ADAS交通工具210）中的一个或多个所经受的场景。所述场景是从人类控制的可移动虚拟对象220得到的，所述人类控制的可移动虚拟对象220影响以下各项中的一个或多个：计算机控制的可移动虚拟对象230a-c中的一个或多个、所述至少一个虚拟AD/ADAS交通工具210、以及虚拟环境200。

因此，上面的场景是通过用户在操作期间控制（多个）人类控制的可移动虚拟对象所引起的，并且例如直接在这些与虚拟AD/ADAS交通工具210之间进行的交互、或者间接地经由计算机控制的可移动虚拟对象230a-c和/或虚拟环境200进行的交互。与虚拟AD/ADAS交通工具210的直接或间接交互可以包括与虚拟AD/ADAS交通工具的AD/ADAS功能的交互。

如应当理解的那样，虚拟AD/ADAS交通工具210经受的场景在本文中通常对应于在连续时间段期间的一系列事件。此外，如可以从上面认识到的那样，由本文中的实施例生成的每个场景应当由如下事件发起并且可以被认为以如下事件而开始：在该事件中，用户通过经由设备的用户接口的用户输入来控制人类控制的可移动虚拟对象中的至少一个，并且由此使其影响完全计算机控制的可移动虚拟对象中的一个或多个、所述至少一个虚拟AD/ADAS交通工具（例如，虚拟AD/ADAS交通工具210）和/或虚拟环境200，由此这导致虚拟AD/ADAS交通工具210变得直接被影响、或者间接地经由一连串另外的事件被影响。为了确定虚拟AD/ADAS交通工具210是否受（多个）人类控制的可移动对象所影响，可以将它与其中不涉及用户控制并且因此没有用户诱发的事件的情形（例如，假设或模拟的情形）进行比较，并且例如查看虚拟AD/ADAS交通工具和/或AD/ADAS功能是否不同地反应和/或表现。应当认识到的是，在虚拟环境200中的操作时段期间，通常将生成多个此类场景，尽管不是所有的将是感兴趣的，可是更少的将对应于极端情况场景。然而，所生成的场景当中的量越大并且在所生成的场景当中的变化越大，生成感兴趣场景和极端情况场景的可能性就越大。

在多个虚拟AD/ADAS交通工具在虚拟环境200中操作的情况下，可以单独地与每个虚拟AD/ADAS交通工具相关地生成场景，和/或单独地评估所述场景。也就是说，场景可以是每个虚拟AD/ADAS交通工具，并且所生成的场景不需要涉及多个虚拟AD/ADAS交通工具。因此，所述引起的场景生成可能涉及多个虚拟ADADAS交通工具中的任何一个，或者通常涉及多个虚拟AD/ADAS交通工具中的一个或多个。

此外，如从上面应当理解的那样，本文中的实施例在单个设备上的虚拟环境中将虚拟AD/ADAS交通工具暴露于混合的人类和计算机控制的可移动虚拟对象，并且场景在其情境中被生成，这使得单个设备上的单个用户能够对虚拟环境中的场景生成作出贡献，在该虚拟环境中，归功于计算机控制的可移动虚拟对象，使得仍然能够实现相当复杂的交通情形。本文中的实施例支持并且促成生成AD/ADAS交通工具将经受的并且可以用于AD/ADAS功能的重复测试的场景。所生成的场景可以被认为对应于例如可以重新使用的测试用例。与仅具有计算机控制的环境和行为的情形相比，本文中的实施例可以支持生成包括可以被认为更接近真实世界场景的场景的测试用例，并且还可以增加生成极端情况场景的可能性。这是由于人类和人类行为存在于真实世界中，并且其影响也应当虚拟地存在，尤其是如果目的是为真实世界交通工具生成与AD/ADAS功能相关的场景。在控制和行为方面的人类影响和不可预测性应当使得能够实现可以被生成的场景中的更大变化。因此，人类创造性也可以被更好地利用，这在全部计算机控制的情境中是不容易实现的。所涉及的更多变化和创造性被认为增加了极端情况的可能性，尤其是在许多做出贡献的用户的情境中，例如在众包情境中。

要注意的是，在一些实施例中，所提供的虚拟环境（例如200）可以通过对应的物理环境至少部分地对（多个）用户可视化，和/或虚拟对象（诸如，交通工具）中的一个或多个（例如220a）可以通过对应的物理对象（例如，交通工具）至少部分地对（多个）用户可视化。例如，用户可以通过设备（例如，设备101）上的无线电控制和/或增强现实（AR）、在对应于虚拟环境200的至少一部分的至少部分物理环境中而不是仅虚拟地在虚拟环境200中控制和/或查看物理（例如，无线电控制的）交通工具。在此类实施例中，虚拟环境200和/或其中的对象的物理显现可以被认为是用户接口的一部分，即，（多个）用户如何查看虚拟环境和/或其中的对象（例如，交通工具）和/或与其进行交互。

在一些实施例中，所述完全计算机控制的可移动虚拟对象（例如，230a-c）包括所述至少一个虚拟AD/ADAS交通工具（例如210）。换句话说，所述一个或多个人类控制的可移动虚拟对象（例如220）可以排除虚拟AD/ADAS交通工具210，所述虚拟AD/ADAS交通工具210因此不受用户控制，即不是以用户为中心的。此类实施例在上面在动作301下被指示。优点在于：这便于在现有软件或软件平台（例如，计算机游戏）中或者利用现有软件或软件平台来实现（可能与相关联的硬件相结合地实现）本文中的实施例；以及可以包括不一定以用户为中心的计算机控制的交通工具，而是替代地例如可以对应于用户可以直接或间接影响和/或受其影响的NPC。例如，如果此类现有软件被适配成包括装备有（例如，通过向软件和/或硬件的推送下载而装备有）AD/ADAS功能的一个或多个计算机控制的交通工具、或使得所述一个或多个计算机控制的交通工具装备有该AD/ADAS功能并且由此变成（多个）虚拟AD/ADAS交通工具，则这应当便于既实现本文中的实施例又实现众包效果，从而促成生成越来越多的变化场景，包括极端情况场景。例如，因为所述至少一个AD/ADAS交通工具不由用户来控制，所以可以替代地由操作中的多个AD/ADAS交通工具、同时在由单个用户操作的单个设备101上来控制。

在本文中在现有软件或软件平台（例如，计算机游戏）中实现或者利用所述现有软件或软件平台来实现（可能与相关联的硬件相结合地实现）的实施例中，（多个）AD/ADAS交通工具以及AD/ADAS功能的涉及甚至不需要对用户已知，而是例如与计算机游戏的提供商协作地商定并实现的，并且当用户在计算机游戏的虚拟环境中操作与人类控制的可移动虚拟对象相对应的角色时，场景的生成可以接下来作为副效应（side effect）。

所述至少一个虚拟AD/ADAS交通工具（例如，虚拟AD/ADAS交通工具210）中的一个或多个可以在虚拟环境200中的操作期间被提供有相应的标识符，所述标识符使得用户能够经由用户接口将此类虚拟AD/ADAS交通工具标识为在虚拟环境200中操作的某个类型的虚拟交通工具。

这样，虚拟AD/ADAS交通工具210可以被用户标识，例如标识为专门针对生成与其相关的场景的虚拟交通工具。因此，该标识符应当使得用户能够标识虚拟AD/ADAS交通工具本身，并且由此能够将它与其他类似交通工具进行区分，否则它可能会与例如其他交通工具相混淆，所述其他交通工具对应于人类控制的可移动虚拟对象（例如220）和计算机控制的可移动虚拟对象（例如230a-c）。

在一些实施例中，可以向用户暗示哪个交通工具是AD/ADAS交通工具，而不必如上面那样向其提供明确的标识符，例如，当AD/ADAS交通工具是唯一的交通工具或其中用户具有视点的交通工具时，可以向用户暗示这是AD/ADAS交通工具，并且由此至少不是从这个用户的角度来看，不需要明确标识这个交通工具是AD/ADAS交通工具。在一些实施例中，它可能仅仅是为了使得AD/ADAS交通工具就像真实世界AV那样没有可见的驾驶员，并且可以这样来标识。然而，在虚拟环境200中的多个其他交通工具的情况下，如果例如通过所述标识符使得标识哪个交通工具是AD/ADAS交通工具210更容易，则可以便于用户诱发的场景生成。

动作304

设备101可以基于与所述至少一个AD/ADAS交通工具（例如，虚拟AD/ADAS交通工具210）中的一个或多个相关地生成的数据来发起已经发生某个场景的标识、或者标识某个场景已经发生。

所标识的某个场景应当是感兴趣的场景。某个场景可以是某个类型或种类的场景，并且可以根据预定义的标准和/或用户输入来确定。例如，与先前生成和/或存储的场景相比，它可以是新的场景。某个场景可以是（多个）测试用例的场景或者候选场景，和/或可以是极端情况场景、或者是极端情况场景的候选。在下面进一步讨论感兴趣的场景。

与AD/ADAS交通工具210相关地生成的数据可以是由如下软件的一部分生成的、或者在该部分中生成的数据：该软件与AD/ADAS交通工具相关和/或该软件提供了AD/ADAS功能，和/或与跟AD/ADAS交通工具交互或在AD/ADAS交通工具的预定义或预定附近内的另一交通工具、对象或基础设施相关。

因此，在一些实施例中，与所述至少一个虚拟AD/ADAS交通工具（例如，虚拟AD/ADAS交通工具210）中的所述一个或多个相关地生成的所述数据包括从所述至少一个虚拟AD/ADAS交通工具（例如，虚拟AD/ADAS交通工具210）中的所述一个或多个外部生成的数据。也就是说，从经受所述某个场景的（多个）虚拟AD/ADAS交通工具外部生成的数据。

而且，如下面所指示的，在外部生成的数据（例如，感知数据）还可以被用于AD/ADAS交通工具210的一些功能，例如在不期望或不可能像在真实交通工具中那样为其提供完全或完整AD/ADAS功能的情况下。也就是说，代替模拟当在真实世界交通工具中时向AD/ADAS功能（即，向要在其上操作的AD/ADAS功能）提供数据的真实世界传感器，此类数据可以替代地由执行实现本文中的实施例的软件的设备来提供、例如从该设备内提取，并且此类数据例如基于AD/ADAS交通工具（例如，其边界、位置和/或速度）如何涉及虚拟环境和其中的其他（例如，移动）对象。

所述标识本身可以由设备101来执行，和/或可以涉及其用户，和/或可以涉及远程处理，例如向/从辅助或执行该标识的服务器（例如，服务器105）传送数据。在后者情况下，该设备可以通过例如将与AD/ADAS交通工具相关地生成的数据发送到服务器（例如，服务器105）来发起该标识。可以在具有或不具有用户支持的情况下执行该标识的发起。

例如，该标识可以基于：当在设备101中执行时提供AD/ADAS功能的软件发信号通知它不能够如它应当的那样处理情形或者已经发生了有问题的事件（例如，碰撞），和/或软件的某个部分在与虚拟环境中的其他交通工具、对象和基础设施交互时监视所涉及的AD/ADAS交通工具引起了什么和/或正在引起什么，并且生成标识某些事件（例如，碰撞）的数据。该标识可以进一步基于预定义标准，所述预定义标准例如可以包括此类某个事件的发生和/或来自提供AD/ADAS功能的软件的某个信号的发生。在一些实施例中，该预定义标准可以包括将所生成的数据与先前存储的场景进行比较，并且查看它在一个或多个方面中是否足够地不同，并且由此是或者可能是感兴趣的。

如上面已经指示的，该标识可以基于经由所述用户接口的用户输入。用于场景标识的用户输入可以是用来标识感兴趣场景的信息的一部分。可以存在例如经由用户接口呈现给用户的重放，例如如下时段内的重放：在该时段期间，用户已经控制了虚拟环境中的人类控制的可移动虚拟对象220，并且由此可能已经直接或间接影响了虚拟AD/ADAS交通工具210。然后，例如可以允许用户经由用户接口例如通过选择时间戳来标记用户认为感兴趣的（多个）场景。另一选项是：该设备经由用户接口、在具有或不具有远程处理支持的情况下例如通过网络104借助于服务器105、经由用户接口向用户建议场景候选，然后用户可以经由用户接口来查阅该候选，并且此后对用户认为感兴趣的（多个）场景进行选择和/或评级（如果有的话）。

为了标识场景而使用来自该设备的用户（例如，设备101的用户）的输入（或者甚至更好地，来自涉及引起场景的用户的输入）具有多个优点，特别是对于标识极端情况场景来说具有多个优点。用户是最了解他/她已做了什么并且标识由于某个原因而“突出”的场景的用户，该“突出”的场景通常可以是针对极端情况场景的情况。如所解释的那样，这些场景通常是罕见的，并且具有相当独特的性质，这可使得难以自动标识许多此类场景。

在具有或不具有用户输入的情况下，对每个设备上的大量场景当中的某些场景进行标识应当进一步导致减少数目的场景来存储、至少长时间存储、和/或例如在上传到服务器（例如，服务器105）之后进一步自动和/或手动评估或标识，以用于可能涉及与由其他用户和/或在其他设备上生成的数据和/或场景进行比较的中央处理。

动作305

设备121可以经由用户接口并且响应于所述某个场景的标识来提供指向用户的关于参与生成所述某个场景的通知。也就是说，用户可以经由用户接口被通知他/她参与了已经被标识的某个场景的生成，该某个场景例如特别感兴趣的场景，诸如极端情况场景。

如应当理解的那样，该标识本身可能已经在具有或不具有用户参与的情况下由设备101执行，和/或由服务器105执行。

像这样对用户的反馈进一步支持由用户的类似行为，该行为例如导致所标识的极端情况场景，并且因此应当增加生成更多且更感兴趣的场景的可能性。它还使得能够实现关于场景生成的游戏化，其中与该反馈相关联的用户可以被奖励。例如，可以存在奖励给用户的评级和/或点，并且其与所标识的某些场景的数目相关，该某些场景例如用户已经参与生成的被标识为感兴趣的场景。奖励也可以基于场景的分类，其中一些类别被更好地奖励。例如，如果场景属于被视为极端情况和/或更可能在真实世界中发生的场景类别或类型，则它可能在更大的程度上被奖励。其中用户已经涉及创建与场景相关的虚拟环境的场景可能属于如下某个类别，该类别也可在更大的程度上被奖励。这使得能够影响针对某些类别或类型的场景而发生的场景的数目，并且由此影响生成感兴趣场景和/或生成某些期望类别或类型的场景的可能性。

动作306

设备121可以存储使得能够重新创建所述某个场景的至少一部分的数据。由此，使得相同或另一虚拟AD/ADAS交通工具能够在另一场合下经受所述某个场景的所述至少一部分。

所述某个场景的至少一部分意指所述某个场景可以被部分地或完全地重新创建，例如其被认为对于测试用例和/或某个测试目的足够的一部分。

例如对应于测试用例的场景的重新创建使得能够通过重新使用该场景来实现对AD/ADAS功能的重复测试或进一步测试。重新创建的场景可以用来使具有相同或另一（例如，更新的）AD/ADAS功能的相同或另一AD/ADAS交通工具经受例如对应于极端情况场景的场景。当由另一软件提供时和/或当与另一交通工具相关时，用于测试特定AD/ADAS功能的感兴趣场景通常对于测试这个AD/ADAS功能以及类似或相关AD/ADAS功能而言也是感兴趣的。因此，与功能的行为（例如，对AD/ADAS功能本身的测试）相关的数据相比，存储允许重新创建并且由此重新使用该场景的数据可能是更有价值的。

应当认识到的是，除了支持生成用于同时测试AD/ADAS功能的场景之外，这里的实施例还可以测试和生成与虚拟AD/ADAS交通工具所实现的功能本身相关的数据。

标识并且在需要的情况下生成将被存储并且允许所述重新创建的数据进一步在技术人员的能力之内，该技术人员例如提供了实现本文中的实施例并且用于在设备上执行的软件的程序员。

要注意的是，当前动作、或者一般而言对场景数据（诸如，使得能够重新创建该场景的至少部分的数据）的存储可以响应于感兴趣场景已经发生的标识而被执行，并且与所标识的感兴趣场景有关，即，可以响应于动作304。仅存储用于重新创建感兴趣场景的数据可能是足够的并且是有益的。然而，在一些实施例中，可以首先至少暂时存储场景数据，并且然后例如在涉及与其他所存储的场景数据的比较的情况下，确定是否删除或保留所存储的场景数据，例如在由此将其标识为感兴趣的情况下。在这些实施例中，存储可以远离该设备，例如在远程服务器（诸如，服务器105）上。而且，在这些情况下，场景是感兴趣场景的标识可以完全或部分远程地（例如，在服务器105上）执行。

如应当认识到的那样，本文中的实施例提供了使用例如模拟平台并且在不同的级别上测试并使用交通工具的AD/ADAS功能的机会。也许最简单且可能最直接的级别是向虚拟AD/ADAS交通工具（例如，虚拟AD/ADAS交通工具210）配备决策和控制算法，以测试各种功能，例如ADAS功能，诸如自动化紧急制动（AEB）系统或自适应巡航控制（ACC）等。在这个级别中，虚拟AD/ADAS交通工具不需要配备有感测（诸如感知）系统，这是由于描述了这个的信息（例如，关于周围环境的信息，所述周围环境诸如其他道路用户和基础设施、距离、相对速度等）可以从虚拟环境和/或在虚拟环境内提取，或者更确切地说，从在设备上执行的软件内提取，该软件例如实现了实施例并且提供虚拟环境的软件等。

应当认识到的是，AD/ADAS软件公司由此有机会在虚拟环境中测试例如软件的不同维度，并且向虚拟AD/ADAS交通工具配备某个AD/ADAS功能。例如，在期望测试或验证感知算法的情况下，可以将此类算法插入（即，加载到）虚拟AD/ADAS交通工具210中。

本文中的实施例还使得能够在相同的虚拟环境中（例如在设备101上的虚拟环境200中）部署例如由不同AD/ADAS软件提供的相同AD/ADAS功能的若干版本，和/或确保在不同的设备上使用不同的版本，让它们在相应的虚拟环境中进行操作，从而测试所述功能，并且例如比较结果。如果例如虚拟环境是如上面所讨论的模拟器和/或计算机游戏软件的一部分，则不同版本的AD/ADAS功能可以被推送到执行模拟器和/或游戏的设备，例如被推送到采用（多个）交通工具的形式的不同的（多个）完全计算机控制的可移动虚拟对象的AD/ADAS功能，和/或被推送到采用（多个）交通工具的形式的（多个）人类控制的虚拟对象，每个由此对应于AD/ADAS交通工具。加载和/或配置AD/ADAS功能（例如，以实现该功能的代码的形式）可以在用户知晓它和/或明确被通知了它、或者在用户不知晓它和/或没有明确被通知它的情况下完成。它可以例如在动作301期间和/或作为动作301的一部分通过从服务器105到设备101的下载来实现。例如，如上面所提到的，作为推送下载。

因此，在一些实施例中，所述至少一个虚拟AD/ADAS交通工具（例如210）是被配置成分别根据所述AD/ADAS功能的不同实现进行操作的多个虚拟AD/ADAS交通工具。不同的实现可以对应于提供AD/ADAS功能的软件的不同版本。因此，在这些实施例中，对于所述多个虚拟AD/ADAS交通工具中的每一个而言，所述AD/ADAS功能可能是相同或基本相同的。

如上面所指示的，优点是例如可以在虚拟环境200中同时使用和/或测试不同的软件版本，并且比较数据和/或结果。这也增加了来自每个用户或设备的影响，并且众包影响会进一步增加，这是由于每个用户或设备促成AD/ADAS交通工具更多地暴露于测试AD/ADAS功能的场景。

此外，在一些实施例中，所述至少一个虚拟AD/ADAS交通工具（例如210）是被配置成分别根据所述AD/ADAS功能的不同子功能进行操作的多个虚拟AD/ADAS交通工具。因此，在这些实施例中，AD/ADAS功能包括不同的子功能。一般而言，如本文中使用的AD/ADAS功能可以包括若干子功能。例如，在这些实施例中，多个虚拟AD/ADAS交通工具中的一个或多个可以实现例如ADAS功能（诸如AEB），并且多个虚拟AD/ADAS交通工具中的其他一个或多个可以实现例如AD功能。这增加了本文中的实施例的灵活性和通用性，并且增加了生成感兴趣场景的可能性。功能可以在虚拟环境中关于彼此以及它们可如何彼此影响而被测试。这也可以被利用以增加生成感兴趣场景的改变。

如已经指示的那样，本文中的实施例以及如上面所讨论的实施例支持或者甚至促进场景的生成，该场景包括所谓的极端情况场景，使AD/ADAS交通工具210以及还有具有AD/ADAS功能的其他交通工具经受该场景可能是感兴趣的。例如，通过处于虚拟环境中，（人类）用户将比在真实世界中更不愿意引起潜在有害或危险的场景，并且因此这增加了生成此类场景的概率，此类场景即对于测试可能是重要的并且对应于极端情况场景的场景，所述场景是困难的并且由于明显原因在真实世界中通常是期望避免的。如上面所解释的，极端情况场景是如下场景：所述场景在真实世界中通常如此稀少地发生，以致于例如现有测试车队需要驾驶数十年或数百年以便暴露于此类场景。在所有计算机控制的环境（该环境具有基于通常不包括罕见安全性关键行为的数据集而训练的对象）中，计算机控制的对象与AV的交互可以最终生成一些组合的感兴趣测试场景，但是它可能不能够生成真实世界中可能发生的极端情况场景。这是由于如下事实：即，计算机控制的对象仅能够基于不包括关于极端情况场景或在极端情况场景背后的信息的训练数据集来表现。因此，如在本文中的实施例中那样利用人类控制的对象来扩充所有计算机控制的环境提供了如下机会：即，在所有计算机控制的环境中暴露具有位于常规训练数据集能够实现的事物的域之外的行为的AD/ADAS交通工具和计算机控制的对象。

另外地，应当领会的是，如在本文中的实施例中的计算机控制的交通工具和人类控制的可移动对象的混合可以使得能够生成如下场景：所述场景至少在某些方面比在仅计算机控制的常规虚拟测试环境中可能生成的场景更接近具有人类交互的真实世界场景。所有计算机控制的环境，即使是基于来自真实世界情形中的真实人类行为以及例如模拟人类行为的人工智能的数据，通常也必须基于在非常长的时间内从非常大量个体收集的数据，以便能够生成类似于人类行为的行为。此类数据通常不可获得，或者将需要非常长的时段，和/或在真实世界中非常难以生成。并且即使将会尝试这个，AD/ADAS交通工具和人类控制交通工具的混合在真实世界中也预计将随时间不断改变，从而增加对于AD/ADAS交通工具的偏好（favor），并且该比率（即，AD/ADAS交通工具的常见程度）将影响交通中的人类行为。在具有比真实世界中当前可获得的AD/ADAS交通工具更高数目的AD/ADAS交通工具的情形中考虑人类行为的场景不能够依赖于真实世界数据，但是归功于本文中的实施例，所述场景可以被生成。

此外，如上文中所指示的，本文中的实施例允许其他例如已经存在的虚拟环境平台或程序中的比较简单的实现、和/或与其他例如已经存在的虚拟环境平台或程序的共同实现，该虚拟环境平台或程序诸如与模拟器（例如，交通工具模拟器）和/或计算机游戏相关。换句话说，本文中的实施例便于在不同的情境中、在不同的虚拟环境中和/或在不同类型的设备上实现。这继而使得能够吸引更多和不同的用户来实施该方法。所涉及的人员越多，情形和场景就越不同和变化，并且由此生成有价值的场景（诸如，极端情况场景）的可能性就越大。

因此，本文中的实施例便于用于测试AD/ADAS功能的场景的众包生成。

此外，本文中的实施例应当不仅使得开发了提供AD/ADAS功能的软件的公司能够加速对其软件的评估，而且还通过减少验证AV所需的人类监督的道路测试的英里数目来显著地降低成本。

总而言之，本文中的实施例提供了关于交通工具中的AD/ADAS功能的测试的改进。

图4是从更加以用户为中心的角度来进一步讨论和例示本文中的实施例的流程图，其中这里的用户被例示为设备101的用户。

可以按任何合适的次序来进行所述动作，和/或在这是可能和合适的时候，在时间上完全或部分重叠地进行所述动作。

动作401

用户可以经由设备101的用户接口来确定虚拟环境200的至少一部分。例如，用户可以例如从在设备101上执行的软件内设计和/或加载虚拟环境的至少一部分，和/或从远程位置（例如，从服务器105）进行加载。

这个动作可以完全或部分对应于上面的动作301和302，并且可以导致图2A中示意性地图示和例示的事物。

例如，这可以涉及用户加载属于具有有挑战性的交通情形的区域的地图的一部分，用户意识到该区域的例如高比率的交通事故或意外，这可能使用户假定可以基于此来设计有挑战性的场景。

动作402

用户可以经由设备101的用户接口来选择一个或多个人类控制的可移动虚拟对象（例如，人类控制的可移动虚拟对象220），以用于当其在虚拟环境200中操作时（即，在操作期间）由用户来控制，例如作为在设备101上执行的模拟器和/或计算机游戏的一部分。

这个动作可以部分对应于上面的动作301和303。

动作403

用户可以经由设备101的用户接口来定义（多个）计算机控制的可移动虚拟对象（例如，计算机控制的可移动虚拟对象230a-c）的行为，该行为涉及它们将如何或应当如何在虚拟环境200中操作，例如作为在设备101上执行的模拟器和/或计算机游戏的一部分。

要注意的是，当用户定义了计算机控制的可移动虚拟对象的行为并且结果是用户由此实际上控制了虚拟环境中的对象时，此类对象可以被认为既是人类控制的又是计算机控制的，尽管它可以在操作期间是完全计算机控制的。

这个动作可以部分对应于上面的动作301和303。

动作404

用户可以经由设备101的用户接口来加载和/或定位（多个）虚拟AD/ADAS交通工具（例如，虚拟AD/ADAS交通工具210）以在虚拟环境200中操作，例如作为在设备101上执行的模拟器和/或计算机游戏的一部分。如先前所指示的，此类AD/ADAS交通工具可以同时是计算机控制的虚拟交通工具或人类控制的虚拟交通工具。

这个动作可以部分对应于上面的动作301。

动作402-404可以导致在图2B中示意性地图示和例示的事物。

动作401-404为用户提供了如下的机会：即，模仿或甚至重新创建交通工具在真实世界中已经遇到的有挑战性或有风险的场景、或者被所述场景所启发，并且可能地甚至使那些场景甚至更加有挑战性。这可以包括动作401中的虚拟环境本身、和/或例如如在动作402-404中的道路用户，例如行人、交通工具、以及既具有又不具有AI支持的（多个）AV，该AI支持例如可以完全或部分基于AI算法的动作402-404中的控制。例如，用户可以定义和/或控制（多个）道路用户的行为，并且让其他道路用户完全或部分由AI算法来控制。

动作405

基于动作401-404，（多个）可移动虚拟对象和（多个）交通工具可以在虚拟环境中操作，例如，计算机控制的可移动虚拟对象230a-c、（多个）人类控制的可移动虚拟对象220、以及虚拟AD/ADAS交通工具210可以在虚拟环境200中操作。如上面所提到的，该操作可以是在设备101上执行的模拟器和/或计算机游戏的一部分。

这个动作可以部分对应于上面的动作301。

动作406

在虚拟环境中的操作期间（例如在动作405期间），设备101可以存储数据，这可以被称为数据记录。该数据可以涉及（多个）虚拟AD/ADAS交通工具（例如，虚拟AD/ADAS交通工具210）的行为，和/或使得能够部分或完全重新创建（多个）所生成的场景的数据。（多个）场景是（多个）AD/ADAS交通工具在可以作为在设备101上执行的模拟器和/或计算机游戏的一部分的操作期间经受的场景。所述存储可以本地在设备101上进行和/或远程地例如在服务器105上进行。

这个动作可以部分对应于上面的动作305。

动作407

在虚拟环境中的操作期间或之后（例如在动作405期间或之后），可以标识一个或多个场景。可以从由动作406得到的所存储的数据来进行标识。虽然实时或接近实时的标识可以是可能的（例如基于在快速存取存储器中临时存储的数据），但是可能优选的是，在较长的操作时段期间或者基于存储能力尽可能长地在动作406中存储数据，并且此后（例如在动作405之后），从所存储的数据中标识场景。然后，被标识并且被认为感兴趣的场景或其（多个）部分可以被保存，例如更永久地存储，这可以涉及将与此类场景相关的数据从例如在本地的临时存储移动到更永久或长时间的存储，以用于进一步使用该数据，例如远程地（诸如，在服务器105上）使用。因此，至少在一些实施例中，动作406中的存储可以响应于当前动作。

这个动作可以完全或部分对应于上面的动作304。

上面提到的用户可以例如是或者对应于众包用户，所述众包用户可以充当测试者，并且例如通过动作401-404可以具有建立或选择、或至少规划在虚拟环境中的操作期间将导致或可能导致如下场景的交通情形或甚至交通场景的可能性：该场景可以被标识并且涉及存储在动作406-407中的数据。用户可以这样做，以便引起针对（多个）AD/ADAS交通工具（例如，虚拟AD/ADAS交通工具210）的有风险或潜在地有风险的情形或场景，由此在此类场景中挑战或测试其行为。

即使没有动作401-404中的一个或多个的执行，例如在预定义或预定虚拟环境200和/或（多个）计算机控制的可移动虚拟对象和/或（多个）人类控制的可移动虚拟对象220和/或虚拟AD/ADAS交通工具的情况下，本文中的动作405和406以及实施例仍然可以是有用的。如果执行涉及设备以及采用众包方式的许多用户，则可以提供和/或存储对应于许多驾驶英里的有价值的数据，并且该数据增加了产生、标识和存储感兴趣场景（例如，极端情况场景）的可能性。

要注意的是，虽然本文中的实施例可能特别适合于产生例如可以在测试用例中重新创建和重新使用的极端情况场景，但是除了例如在全部计算机控制和模拟的情境中的常规真实世界测试驱动和测试之外，它们也可以用于测试特定的AD/ADAS功能本身。

图5是用于图示可以对应于设备101或设备101-103中的任一个的设备500的实施例的示意性框图。该示意性框图还用于图示设备500（例如，设备101）可以如何被配置成执行上面关于图3所讨论的方法和动作的实施例。

因此，设备500用于支持生成用于测试一个或多个真实世界交通工具的自主驾驶和/或高级驾驶员辅助系统（AD/ADAS）功能的场景。

设备500可以包括处理模块501，诸如装置、包括例如一个或多个处理器的一个或多个硬件模块、和/或用于执行所述方法和/或动作的一个或多个软件模块。

设备500可以进一步包括存储器502，所述存储器502可以包括（诸如，包含或存储）计算机程序503。计算机程序503包括由设备500直接或间接可执行以执行所述方法和/或动作的“指令”或“代码”。存储器502可以包括一个或多个存储器单元，并且可以进一步被布置成存储数据，诸如在本文中的实施例中涉及的或者用于执行本文中的实施例的功能和动作的配置和/或应用。

此外，设备500可以包括（多个）处理器504，即一个或多个处理器，作为（多个）例示的硬件模块，，并且可以包括或对应于一个或多个处理电路。在一些实施例中，（多个）处理模块501可以包括（多个）处理器504，例如以（多个）处理器504的形式来体现、或者由（多个）处理器504来实现。在这些实施例中，存储器502可以包括由（多个）处理器504可执行的计算机程序503，由此设备500是操作的或被配置成执行所述方法和/或其动作。

通常，设备500（例如，（多个）处理模块501）包括（多个）输入/输出（I/O）模块505，所述输入/输出（I/O）模块505被配置成涉及（例如，通过执行）去往和/或来自其他单元和/或设备的任何通信，诸如，向和/或从其他设备（例如，诸如服务器105之类的服务器）发送和/或接收信息。当适用时，可以通过获得（例如，接收）（多个）模块和/或提供（例如，发送）（多个）模块来例示（多个）I/O模块505。

设备500进一步包括用户接口506，所述用户接口506可以与设备500集成和/或通信地连接到设备500。用户接口506可以允许去往/来自设备500的不同种类的用户输入和输出。用户接口306可以属于不同类型，包括用于与用户对接的任何常规种类，例如包括可以是触敏的显示器（即，屏幕）、键盘、诸如在游戏控制器上的动作按钮和/或棒、扬声器、例如允许使用语音识别等进行通信的扩音器。如所实现的那样，当包括显示器或屏幕时，用户接口506通常与通过软件（即，通过计算机程序代码）实现的GUI相关联。

此外，在一些实施例中，设备500（例如，（多个）处理模块501）包括（多个）提供模块、（多个）允许模块、（多个）存储模块和（多个）发起模块中的一个或多个，作为用于执行本文中的实施例的动作的（多个）例示的硬件和/或软件模块。这些模块可以全部或部分由（多个）处理器504来实现。

设备500、和/或（多个）处理模块501、和/或（多个）处理器504、和/或（多个）I/O模块505、和/或（多个）提供模块因此可以是操作的或被配置成提供所述虚拟环境（例如，虚拟环境200），所述虚拟环境模拟与具有所述AD/ADAS功能的所述一个或多个交通工具的操作相关的所述环境，并且在该虚拟环境中，它操作所述以下各项：所述一个或多个计算机控制的可移动虚拟对象（例如230a-c）、所述一个或多个人类控制的可移动虚拟对象（例如220）、以及根据所述AD/ADAS功能进行操作的所述至少一个虚拟AD/ADAS交通工具（例如210）。

此外，设备500、和/或（多个）处理模块501、和/或（多个）处理器504、和/或（多个）I/O模块505、和/或（多个）允许模块可以是操作的或被配置成允许设备500的所述用户在虚拟环境200中的操作期间经由设备500的用户接口506来控制人类控制的可移动虚拟对象220，并且由此引起所述至少一个虚拟AD/ADAS交通工具（例如，虚拟AD/ADAS交通工具210）中的所述一个或多个所经受的场景的所述生成。所述场景是从人类控制的可移动虚拟对象220得到的，所述人类控制的可移动虚拟对象220影响以下各项中的一个或多个：所述一个或多个完全计算机控制的可移动虚拟对象230a-c、所述至少一个虚拟AD/ADAS交通工具210、虚拟环境200。设备500、和/或（多个）处理模块501、和/或（多个）处理器504、和/或（多个）I/O模块505、和/或（多个）允许模块可以进一步是操作的或被配置成允许用户经由设备500的用户接口506来确定虚拟环境200的所述至少一部分、和/或在虚拟环境200中操作的计算机控制的可移动虚拟对象230a-c中的一个或多个的行为和/或所述位置的所述至少一部分。这可以例如包括允许用户确定虚拟环境200的所述虚拟基础设施。

此外，设备500、和/或（多个）处理模块501、和/或（多个）处理器504、和/或（多个）I/O模块505、和/或（多个）发起模块可以是操作的或被配置成基于与所述至少一个AD/ADAS交通工具（例如，虚拟AD/ADAS交通工具210）中的所述一个或多个相关地生成的数据来发起所述某个场景已经发生的所述标识。

设备500、和/或（多个）处理模块501、和/或（多个）处理器504、和/或（多个）I/O模块505和/或（多个）提供模块可以进一步是操作的或被配置成经由用户接口506并且响应于所述某个场景的标识来提供指向用户的关于参与生成所述某个场景的所述通知。

此外，设备500、和/或（多个）处理模块501、和/或（多个）处理器504、和/或（多个）I/O模块505、和/或（多个）存储模块可以是操作的或被配置成存储使得能够重新创建所述某个场景的所述至少一部分的所述数据。

图6是图示了与计算机程序以及其载体相关的一些实施例的示意图，以使上面讨论的所述设备500执行所述方法和动作。计算机程序可以是计算机程序503，并且包括指令，所述指令当由（多个）处理器504和/或（多个）处理模块501执行时使设备500如上面所描述的那样执行。在一些实施例中，提供了包括计算机程序的载体，或者更具体地，数据载体，例如计算机程序产品。载体可以是电子信号、光信号、无线电信号和计算机可读存储介质中的一个，该计算机可读存储介质例如如该图中示意性地图示的计算机可读存储介质601。因此，计算机程序503可以存储在计算机可读存储介质601上。通过载体，可以排除暂时性的传播信号，并且数据载体可以对应地被命名为非暂时性数据载体。作为计算机可读存储介质的数据载体的非限制性示例是记忆卡或记忆棒、诸如CD或DVD之类的盘存储介质、或通常基于（多个）硬盘驱动器或（多个）固态驱动器（SSD）的大容量存储设备。计算机可读存储介质601可用于存储通过计算机网络602（例如，互联网或局域网（LAN））可访问的数据。此外，计算机程序503可以作为（多个）纯计算机程序来提供，或者被包括在一个或多个文件中。一个或多个文件可以被存储在计算机可读存储介质601上，并且例如通过下载来可获得，例如通过如该图中指示的计算机网络602，例如经由服务器。服务器可以是例如web或文件传输协议（FTP）服务器。一个或多个文件可以是例如用于直接或间接下载到所述第一节点并且在所述第一节点上执行的可执行文件，以使其例如通过（多个）处理器504的执行来如上面所描述的那样执行。一个或多个文件还可以或替代地可以用于涉及（多个）相同或另外处理器的中间下载和编译，以使它们在进一步下载和执行之前是可执行的，从而使所述设备500如上面所描述的那样执行。

要注意的是，上文中提到的任何（多个）处理模块和（多个）电路可以被实现为软件和/或硬件模块，例如在现有硬件中。

本领域技术人员还将领会的是，本文中讨论的模块和电路可以指的是硬件模块、软件模块、模拟和数字电路、和/或被配置有例如存储在存储器中的软件和/或固件的一个或多个处理器的组合，该软件和/或固件当由一个或多个处理器执行时可以使（多个）节点和（多个）设备被配置成和/或执行上述方法和动作。

通过本文中任何标识符进行的标识可以是隐式的或显式的。该标识在某个情境中可以是唯一的，例如在设备或系统中、或者至少在其相关部分或区域中是唯一的。

还要注意的是，虽然本文中使用的术语可能特别与某些通信系统或网络相关联和/或由某些通信系统或网络来例示，但是这本身不应当被视为将本文中的实施例的范围限制到仅此类某些系统或网络等。

如本文中所使用的，术语“存储器”可以指的是用于存储数字信息的数据存储器，通常是硬盘、磁储存器、介质、便携式计算机软盘或盘、闪速存储器、随机存取存储器（RAM）等。此外，存储器可以是处理器的内部寄存器存储器。

还要注意的是，任何枚举的术语（诸如，第一设备、第二设备等）本身应当被认为是非限制性的，并且术语本身不意味着某个层级关系。在没有任何相反的明确信息的情况下，通过枚举进行命名应当被认为仅仅是实现不同名称的方式。

如本文中所使用的，表述“被配置成”可以意味着设备和/或处理电路或模块借助于软件和/或硬件配置被配置成或被适配成执行本文中描述的动作中的一个或多个。

如本文中所使用的，术语“数字”或“值”可以指的是任何种类的数字，诸如二进制数、实数、虚数或有理数等。此外，“数字”或“值”可以是一个或多个字符，诸如字母或一串字母。而且，“数字”或“值”可以由比特串来表示。

如本文中所使用的，表述“可以”和“在一些实施例中”已通常用来指示所描述的特征可以与本文中公开的任何其他实施例组合。

在附图中，可能仅存在于一些实施例中的特征通常使用点线或虚线来绘制。

如本文中所使用的，表述“传输”和“发送”通常是可互换的。这些表述可以包括通过广播、单播、组播等进行的传输。在这个情境下，通过广播进行的传输可以由范围内的任何被授权设备来接收和解码。在单播的情况下，一个被专门寻址的设备可以对该传输进行接收并编码。在组播（例如，多播）的情况下，一组被专门寻址的设备可以对该传输进行接收并解码。

当使用词语“包括”或“包含”时，它将被解释为非限制性的，即意味着“至少由……构成”。

本文中的实施例不限于上面描述的实施例。可以使用各种替代、修改和等同物。因此，上面的实施例不应当被视为限制本公开的范围，本公开的范围由所附权利要求来限定。

Claims (15)

1.一种由设备（101；500）执行的方法，所述方法用于支持生成用于测试一个或多个真实世界交通工具的自主驾驶和/或高级驾驶员辅助系统（AD/ADAS）功能的场景，其中所述方法包括：

- 提供（301）虚拟环境（200），所述虚拟环境（200）模拟与具有所述AD/ADAS功能的一个或多个交通工具的操作相关的环境，并且在所述虚拟环境（200）中，它操作以下各项：一个或多个完全计算机控制的可移动虚拟对象（230a-c）、一个或多个人类控制的可移动虚拟对象（220）、以及根据所述AD/ADAS功能进行操作的至少一个虚拟AD/ADAS交通工具（210），以及

- 允许（303）所述设备（101；500）的用户在虚拟环境（200）中的操作期间经由所述设备（101；500）的用户接口（506）来控制所述一个或多个人类控制的可移动虚拟对象（220），并且由此使得生成所述至少一个虚拟AD/ADAS交通工具（210）中的一个或多个所经受的场景，并且所述场景是从所述一个或多个人类控制的可移动虚拟对象（220）中的至少一个得到的，所述一个或多个人类控制的可移动虚拟对象（220）影响以下各项中的一个或多个：所述一个或多个完全计算机控制的可移动虚拟对象（230a-c）、所述至少一个虚拟AD/ADAS交通工具（210）、虚拟环境（200）。

2.根据权利要求1所述的方法，其中所述方法进一步包括：

-基于与所述至少一个虚拟AD/ADAS交通工具（210）中的一个或多个相关地生成的数据来发起某个场景已经发生的标识（304）。

3.根据权利要求2所述的方法，其中所述标识基于经由用户接口（506）的用户输入。

4.根据权利要求2-3中任一项所述的方法，其中所述方法进一步包括：

- 经由用户接口（506）并且响应于所述某个场景的标识来提供（305）指向用户的关于参与生成所述某个场景的通知。

5.根据权利要求2-4中任一项所述的方法，其中与所述至少一个虚拟AD/ADAS交通工具（210）中的所述一个或多个相关地生成的所述数据包括：从所述至少一个虚拟AD/ADAS交通工具（210）中的所述一个或多个外部生成的数据。

6.根据权利要求2-5中任一项所述的方法，其中所述方法进一步包括：

- 存储（306）数据，所述数据使得能够重新创建所述某个场景的至少一部分，并且由此使得相同或另一虚拟AD/ADAS交通工具（210）能够在另一场合下经受所述某个场景的所述至少一部分。

7.根据权利要求1-6中任一项所述的方法，其中所述完全计算机控制的可移动虚拟对象（230a-c）包括所述至少一个虚拟AD/ADAS交通工具（210）中的一个或多个。

8.根据权利要求1-7中任一项所述的方法，其中所述至少一个虚拟AD/ADAS交通工具（210）中的一个或多个在虚拟环境（200）中的操作期间被提供有相应的标识符，所述标识符使得用户能够经由用户接口（506）将此类虚拟AD/ADAS交通工具标识为在虚拟环境（200）中操作的某个类型的虚拟交通工具。

9.根据权利要求1-8中任一项所述的方法，其中所述一个或多个完全计算机控制的可移动虚拟对象（230a-c）中的至少一些在虚拟环境（200）中以通过实现所述计算机控制不可预测的行为进行操作。

10.根据权利要求1-9中任一项所述的方法，其中所述至少一个虚拟AD/ADAS交通工具（210）是分别根据所述AD/ADAS功能的不同实现进行操作的多个虚拟AD/ADAS交通工具（210）。

11.根据权利要求1-10中任一项所述的方法，其中所述至少一个虚拟AD/ADAS交通工具（210）是被配置成分别根据所述AD/ADAS功能的不同子功能进行操作的多个虚拟AD/ADAS交通工具（210）。

12.根据权利要求1-11中任一项所述的方法，其中所述方法进一步包括：

- 允许（302）用户经由用户接口（506）来确定虚拟环境（200）的至少一部分、和/或在虚拟环境（200）中操作的计算机控制的可移动虚拟对象（230a-c）中的一个或多个的行为和/或位置的至少一部分。

13.一种包括指令的计算机程序（503），所述指令当由一个或多个处理器（504）执行时使设备（101；500）执行根据权利要求1-12中任一项所述的方法。

14.一种包括根据权利要求13所述的计算机程序（503）的载体，其中所述载体是电子信号、光信号、无线电信号或计算机可读存储介质（601）中的一个。

15.一种设备（101；500），用于支持生成用于测试一个或多个真实世界交通工具的自主驾驶和/或高级驾驶员辅助系统（AD/ADAS）功能的场景，其中所述设备（101；500）被配置成：

提供（301）虚拟环境（200），所述虚拟环境（200）模拟与具有所述AD/ADAS功能的一个或多个交通工具的操作相关的环境，并且在所述虚拟环境中，它操作以下各项：一个或多个完全计算机控制的可移动虚拟对象（230a-c）、一个或多个人类控制的可移动虚拟对象（220）、以及根据所述AD/ADAS功能进行操作的至少一个虚拟AD/ADAS交通工具（210），以及

允许（303）所述设备（101；500）的用户在虚拟环境（200）中的操作期间经由所述设备（101；500）的用户接口（506）来控制所述一个或多个人类控制的可移动虚拟对象（220），并且由此使得生成所述至少一个虚拟AD/ADAS交通工具（210）中的一个或多个所经受的场景，并且所述场景是从所述一个或多个人类控制的可移动虚拟对象（220）中的至少一个得到的，所述一个或多个人类控制的可移动虚拟对象（220）影响以下各项中的一个或多个：所述一个或多个完全计算机控制的可移动虚拟对象（230a-c）、所述至少一个虚拟AD/ADAS交通工具（210）、虚拟环境（200）。

Images