CN117242460A - 不安全驾驶场景的计算机化检测 - Google Patents

Abstract

配置成在车辆的导航期间获得一个或多个系列的连续传感器数据帧的系统、方法和非暂时性计算机可读介质。获得脱离数据。该脱离数据指示车辆是否处于自主模式。基于所述一个或多个系列的连续传感器数据帧和脱离数据来确定用于训练机器学习模型的训练数据集。该训练数据集包括所述一个或多个系列的连续传感器数据帧的子集和脱离数据的子集，机器学习模型被训练以识别不安全的驾驶条件。

Description

不安全驾驶场景的计算机化检测

相关申请的交叉引用

本申请要求2021年3月17日提交的美国申请第17/204,050号的优先权，该申请的全部内容通过引用并入本文。

背景技术

诸如自动驾驶或半自动驾驶车辆之类的车辆可以包括从环境捕获传感器数据的传感器。此类传感器例如可以包括相机传感器、光检测和测距(LiDAR)传感器、雷达传感器、全球定位系统(GPS)设备、基于声纳的传感器、超声波传感器、加速计、陀螺仪、磁力计、惯性测量单元(IMU)和远红外(FIR)传感器。与车辆相关的处理器可以处理传感器数据以检测和识别环境中的不同对象或实体。反过来，这些对象或实体的检测可以辅助车辆执行各种导航任务，例如车辆加速和减速、车辆制动、车辆变道、自适应巡航控制、盲点检测、用于碰撞警告或碰撞避免的后端雷达、停车辅助、交叉交通监控、紧急制动和自动距离控制。

发明内容

本文描述的是配置成在车辆的导航期间获得一个或多个系列的连续传感器数据帧的系统、方法和非暂时性计算机可读介质。可以获得指示车辆是否处于自主模式的脱离数据。可以确定用于训练机器学习模型的训练数据集。训练数据集包括一个或多个系列的连续传感器数据帧的子集和脱离数据的子集。机器学习模型被训练以识别不安全的驾驶条件。指令进一步使系统使用训练数据集来训练机器学习模型以识别不安全的驾驶条件。

在一些实施例中，对机器学习模型的训练包括训练机器学习模型以确定模拟场景的安全级别，所述模拟场景包括描绘驾驶条件的一系列的连续传感器数据帧。

在一些实施例中，对机器学习模型的训练包括向机器学习模型馈送两个数据集作为输入，其中第一数据集包括被识别为安全的驾驶条件，第二数据集包括被识别为在特定位置处不安全的驾驶条件。

在一些实施例中，所述一个或多个系列的连续传感器数据帧中的在训练数据集中的第一部分被标记为具有不安全的驾驶条件，并且所述一个或多个系列的连续传感器数据帧中的在训练数据集中的第二部分被标记为具有安全的驾驶条件。

在一些实施例中，一个或多个系列的连续传感器数据帧的第一部分指示驾驶员已使车辆脱离自主模式，并且一个或多个系列的连续传感器数据帧的第二部分指示车辆保持在自主模式下。

在一些实施例中，可以对一个或多个系列的连续传感器数据帧进行与脱离数据的时间戳同步。

在一些实施例中，一个或多个系列的连续传感器数据帧中的传感器数据帧可以包括与光检测和测距数据合并的图像数据。

在一些实施例中，脱离数据可以包括方向盘旋转数据、加速踏板下压数据或制动踏板下压数据中的至少一种。

在一些实施例中，可以获得多个模拟场景。可以基于至少一个机器学习模型来确定与多个模拟场景相对应的安全分数。可以基于安全分数从多个模拟场景中选择用于测试自动驾驶车辆的嵌入式算法和/或逻辑的模拟场景集。可以在模拟中使用模拟场景集来测试嵌入式算法和/或逻辑，以评估或分析由嵌入式算法和/或逻辑做出的任何决策或采取的动作。

在一些实施例中，可以基于小于阈值的安全分数来选择该模拟场景集。

本文公开的装置、系统、方法和非暂时性计算机可读介质的这些和其他特征、以及结构的相关元件的操作方法和功能及部件组合和制造经济性将通过参考附图考虑以下描述和所附权利要求变得更加明显，所有这些都形成本说明书的一部分，其中在各个附图中相同的附图标记表示相应部分。然而，应当明确地理解，附图仅用于说明和描述的目的并且不旨在定义本发明的限制。

自动驾驶的安全评估

附图说明

本技术的多种实施例的某些特征在所附权利要求中具体阐述。通过参考以下阐述利用本发明的原理的说明性实施例的详细描述和附图，将获得对本技术的特征和优点的更好理解，其中在附图中：

图1A示出了根据本公开的实施例的示例车辆，例如自动驾驶或半自动驾驶车辆。

图1B示出了根据本公开的实施例的混合数据流和框图，其中框图描绘了配置成从诸如图1A中示出的车辆获取传感器数据的计算系统。

图2示出了根据本公开的实施例的对数据进行合并或同步的示例性实现。

图3示出了用于训练机器学习模型以检测或识别危险或不安全、或者潜在危险或不安全的条件的示例功能框图。

图4至图10示出了根据本公开的实施例的训练机器学习模型以检测或识别危险或不安全、或者潜在危险或不安全的条件的示例性实现。

图11至图12示出了根据本公开的实施例的用于在模拟中测试自动驾驶车辆的嵌入式算法和/或逻辑的模拟过程，其结合了经训练的机器学习模型、用于在模拟中测试自动驾驶车辆的嵌入式算法和/或逻辑的示例计算环境。

图13示出了根据本公开的实施例的包括一个或多个硬件处理器和存储机器可读/机器可执行指令集的机器可读存储介质的计算组件，该指令集在被执行时使得硬件处理器执行用于训练机器学习模型的示意性方法。

图14示出了可以在其上实现本文描述的任何实施例的计算机系统的框图。

具体实施方式

自动驾驶车辆可以通过根据传感器数据确定驾驶决策的车载嵌入式算法和/或逻辑进行控制。在道路测试中部署到自动驾驶车辆之前，确定驾驶决策(例如减速或停车)的嵌入式算法和/或逻辑会通过模拟进行严格的测试，以确保嵌入式算法和/或逻辑的安全性。在传统方式下，用于测试嵌入式算法和/或逻辑的安全性的模拟可以包括各种不安全的驾驶条件的模拟场景，并观察具有嵌入式算法和/或逻辑的模拟自动驾驶车辆如何响应不安全的驾驶条件。这些不安全的驾驶条件可能涉及模拟自动驾驶车辆与诸如模拟车辆和/或行人之类的主体碰撞的状况。然而，主体行为建模的局限性可能会影响此类模拟的有效性。例如，在模拟场景中，模拟车辆的行为通过小修改建模成与模拟自动驾驶车辆的行为类似。因此，模拟车辆的行为不一定考虑到例如人类驾驶员的攻击性驾驶或者其他不安全或意外的驾驶行为。其次，在模拟场景中，模拟车辆的行为没有考虑人类的驾驶习惯或倾向。例如，在特定的驾驶场景中，人类驾驶员在避免或应对不安全的驾驶条件时可能会采取与自动驾驶车辆不同的驾驶决策。此外，确定状况是否安全并不是简单地基于车辆是否碰撞或避免碰撞的二元确定；避免碰撞的某些状况仍然不安全。最后，测试嵌入式算法和/或逻辑的模拟场景可能没有考虑乘客乘坐质量感知，从而忽略乘客乘坐体验。因此，用于测试嵌入式算法和/或逻辑的模拟场景并不代表真实世界的驾驶条件，并且因此在测试嵌入式算法和/或逻辑的安全性方面可能不准确或有缺陷。

本申请中描述的实施例提供了一种通过类似于真实世界驾驶条件的模拟场景来改进对自动驾驶车辆的嵌入式算法和/或逻辑的测试的系统和方法。嵌入式算法和/或逻辑可以确定或接收关于不安全或危险状况的数据并且对此类状况做出相应反应。在多种实施例中，车辆实际导航期间的传感器数据帧可用于训练机器学习模型以识别、检测和/或确定潜在不安全或危险、和/或不安全或危险状况或场景。经训练的机器学习模型可以是嵌入式算法和/或逻辑的一部分，或者可以向嵌入式算法和/或逻辑提供输入。在一些实施例中，传感器数据帧可以用于修改或更新机器学习模型专门使用的参数、逻辑和/或算法来检测这样的状况或场景。这些状况或场景还可以包括乘客可能认为不安全或不舒服的状况。以这样的方式，经训练的机器学习模型可以改进和/或扩展其对不安全和/或危险状况的检测，使得嵌入式逻辑和/或算法可以能够更好地对这样的状况做出反应。使用来自经训练的机器学习模型的关于哪些状况危险或不安全或潜在地危险或不安全的输入，可以对嵌入式逻辑和/或算法进行模拟，以便在道路上部署之前确保嵌入式逻辑和/或算法的安全性和有效性。例如，模拟可以将嵌入式逻辑和/或算法的决策细化。还可以从传感器数据帧生成用于创建模拟的至少一些场景，使得场景中的至少一些可以与传感器数据帧的一部分相似或相同并且反映现实场景。模拟可用于评估和确保车辆在最短完成时间内完成任务、解释环境中的静态和动态障碍物、基于道路条件环境调整速度和/或加速度、控制运动和规划导航、以及在传感器数据缺乏定位时(例如在LiDAR范围不足的位置)进行导航的能力。

自动驾驶车辆在现实世界中运行时可以捕获传感器数据帧。传感器数据帧可以来自任何模态或模态组合，包括摄像头、雷达或激光雷达，并且可以包括描绘环境的三维数据。传感器数据可以包括在环境中与对象的相对距离和对象的速度。描绘环境中的驾驶条件的一个或多个传感器数据帧或者一个或多个系列的连续传感器数据帧的组合可用于训练机器学习模型。例如，一系列的连续传感器数据帧可以描绘一个人走过交叉路口。组合一系列传感器数据的另一个示例包括组合在不同位置和/或姿态处拍摄的点云，如图1C所示。

在一些实施例中，用于训练机器学习模型的训练数据集可以并置，使得一个训练数据集包括描述被确定或标记为安全的状况的一个或多个帧，并且第二训练数据集包括描述被确定或标记为不安全的状况的一个或多个帧。

经训练的机器学习模型可以在不同的模拟中输出安全分数。安全分数可以指示驾驶条件的安全级别。在一种实施方式中，安全分数可以是二元的，其中零指示具有不安全的驾驶条件的模拟，而一指示具有安全的驾驶条件的模拟。在另一实施方式中，安全分数可以具有一到十的范围，其中一指示具有最不安全条件的模拟，而十指示具有最安全条件的模拟。许多变化是可能的。满足(或超过)阈值分数的模拟可以被分类为安全的驾驶条件，而不满足阈值分数的模拟场景可以被分类为不安全的驾驶条件。这些模拟可用于在模拟中测试嵌入式算法和/或逻辑，以评估和/或确认自动驾驶车辆将对模拟中描绘的条件如何反应。如之前提到的，这些模拟中的至少一些可以由捕获的传感器数据帧的一部分生成，使得模拟反映车辆将遇到的实际情况。

图1A示出了根据本公开的实施例的示例车辆100，例如自动驾驶车辆。如图1A所示，在一些实施例中，自动驾驶车辆100可以至少包括配置成检测和识别环境中的对象的LiDAR传感器102、雷达传感器104、GPS传感器105和相机传感器106。由传感器收集的传感器数据可以包括图像数据，例如实时或延时捕获的图片或视频、音频数据、视听数据。在某些情况下，还可以通过传感器捕获诸如温度、压力或海拔等环境数据。LiDAR传感器102可以配置成捕获LiDAR点云数据并基于LiDAR点云数据生成环境的三维地图。LiDAR传感器102还可以配置成基于LiDAR点云数据来检测环境中的对象。雷达传感器104可以配置成确定自动驾驶车辆100周围的对象的距离和速度。在一些情况下，雷达传感器104可以配置成用于自适应巡航控制和/或事故避免和盲点检测应用。相机传感器106可以配置成捕获和处理图像数据以检测和识别图像数据中描绘的对象。这样的对象例如可以包括行人、路标、交通灯和/或其他车辆。在一些情况下，相机传感器106可以配置成确定对象的内容。在这种情况下，相机传感器106可以配置成识别、解释和分析道路标志，包括限速、学校区、施工区标志和交通灯，例如红灯、黄灯、绿灯和闪烁红灯。在一些实施例中，自动驾驶车辆100可以包括大量致动器以推动和导航自动驾驶车辆100穿过环境。这样的致动器例如可以包括任何合适的机电装置或系统来控制自动驾驶车辆100的油门响应、制动动作、转向动作等。

在多种实施例中，自动驾驶车辆100可以导航通过具有有限的或没有人类输入的道路、街道和/或地形。本文中使用的词语“车辆”或“多个车辆”包括在地面上行驶的车辆，例如汽车、卡车和公共汽车，但还可以包括诸如无人机、飞机、直升机等在空中行驶的载具、以及诸如船只和潜艇等在水上行驶的载具。此外，本文中讨论的“车辆”或“多个车辆”可以或不可以容纳一名或多名乘客。一般而言，自动驾驶车辆100可以实现人类驾驶员可以在传统车辆上进行的任何对自身的控制。例如，自动驾驶车辆100可以加速、制动、左转或右转或者反向行驶，就像人类驾驶员在传统车辆上所做的那样。自动驾驶车辆100还可以像人类驾驶员一样感测环境条件、测量对象与自动驾驶车辆100之间的空间关系、检测和分析路标。此外，自动驾驶车辆100可以执行更复杂的操作，例如平行停车、在拥挤的停车场停车、避免碰撞，而无需任何人工输入。

图1B示出了根据本公开的实施例的混合数据流和框图，其描绘了配置成获取和/或处理来自自动驾驶车辆100的传感器数据的计算系统130。计算系统130可以被集成为车辆100的一部分，或者可以远离车辆100。如图1B所示，在一些实施例中，在自动驾驶车辆100处于非活动静止状态时，计算系统130可以可通信地耦合到自动驾驶车辆100。计算机系统130可以配置成通过一个或多个数据链路或总线140从自动驾驶车辆100获取或下载传感器数据。在一些实施例中，计算系统130可以包括数据融合引擎132、数据同步引擎134和模拟场景生成引擎136。一般而言，关于数据融合引擎132、数据同步引擎134和模拟场景生成引擎136描述的功能可以由单个处理器或任何数量的处理器来执行。例如，由数据融合引擎132、数据同步引擎134和模拟场景生成引擎136执行的功能可以使用多个处理器来实现。在一些情况下，由数据融合引擎132、数据同步引擎134和模拟场景生成引擎136执行的功能可以不跨多个处理器而在空间上分离；相反，这些功能必须由通用处理器执行。如图1B所示，在一些实施例中，自动驾驶车辆100的传感器数据可以包括脱离数据120、二维(2D)数据122和三维(3D)数据124。脱离数据120可以包括指示车辆100是否已经脱离自主模式的数据，并且可以包括与人类驾驶员对自动驾驶车辆100的自主操作的干预相关的数据。例如，车辆100可以基于道路条件决定改变车道。车辆100内部的安全驾驶员可以确定更安全的行动方案是车辆100停留在当前车道内。因此，在该示例中，安全驾驶员可以进行干预以控制车辆100并防止车辆100改变车道。在该示例中，脱离数据120例如可以包括踩下制动踏板和操纵方向盘。在多种实施例中，脱离数据120可以包括方向盘旋转数据、加速踏板下压数据、制动踏板下压数据或与人类驾驶员干预有关的任何其他数据。2D数据122可以从相机传感器106或LiDAR传感器102捕获，并且可以包括2D数据帧(例如，图像数据或点云数据)。3D数据124可以从LiDAR传感器102捕获并且可以包括3D数据帧(例如，LiDAR点云数据)。

数据融合引擎132可以配置成基于2D数据122和3D数据124的相应帧来生成传感器数据帧，例如点云数据帧。例如，可以将与环境相关联的图像集和与环境相关联的LiDAR点云集合并(例如，组合)以生成融合数据帧，例如点云数据帧。在一些实施例中，数据融合引擎132可以合并或融合2D数据帧和3D数据帧以基于相机传感器106和LiDAR传感器102的相对校准位置和/或取向以及/或分别捕获2D数据帧和3D数据帧的时间生成点云数据帧。例如，由与LiDAR传感器偏移90度的相机传感器在特定时间捕获的图像可以在由LiDAR传感器在该特定时间拍摄的LiDAR点云的90度位置处与该LiDAR点云合并。与用于生成点云数据帧的2D数据帧和/或3D数据帧相比，可以从点云数据帧获得与对象识别及其相对距离相关的更准确的信息。在一些实施例中，数据融合引擎134可以合并2D数据帧和3D数据帧以基于2D数据帧和3D数据帧中描绘的共同特征和/或实体生成点云数据帧。例如，图像集和LiDAR点云集都可以描绘一个地标。在该示例中，可以基于地标来合并该图像集和该激光点云集，以生成包括该地标的环境的点云数据帧。在多种实施例中，2D数据帧和3D数据帧中反映的共同特征和/或实体例如可以包括共同区域、共同地理坐标、共同地标、共同建筑物、共同路标、共同车辆等。

在一些实施例中，数据融合引擎132可以合并或同步两个单独的点云帧，如图2所示。最初未对齐且具有不同原点的点云251和252通过点云252的刚性变换来配准。刚性变换可以包括平移和旋转点云252以使得尽可能接近地与点云251对齐。这里，点云251可以是源，或者较早的点云，并且点云252可以是目标，或者变换成与点云251对齐的较晚的点云。在变换点云252后，变换后的点云262可以与点云251对齐。在初始变换之后，可以检测和过滤来自点云251和252之一或两者的异常值和背景数据，并且在去除异常值和背景数据之后，可以重复配准过程以进一步对齐两个点云。

在一些实施例中，数据融合引擎132可以基于模糊逻辑推理框架来合并2D数据帧和3D数据帧。在一些情况下，数据融合引擎132可以基于时间融合方法使用马尔可夫随机场来使连续的点云数据帧(例如，融合的数据帧)平滑。许多变化是可能的。

数据同步引擎134可以配置成将脱离数据120和诸如由数据融合引擎132生成的点云数据帧的传感器数据相关联，以指示在每个传感器数据帧的捕获时车辆100是否脱离自主模式。因此，一对数据帧或一对数据帧系列可以容易地并置成使得第一训练数据集中的一个数据帧或系列表示车辆100脱离自主模式，而第二训练数据集中的第二数据帧或系列表示车辆保持在自主模式下。在一些实施例中，数据同步引擎134可以通过时间戳同步将脱离数据120和传感器数据帧相关联。例如，可以将点云数据帧集与具有1:00:00至1:10:00范围的时间戳相关联。在该示例中，与制动踏板下压动作(即，脱离动作)相关的数据可以与具有1:05:00至1:05:30范围的时间戳相关联或对应。在此示例中，可以将与制动踏板下压动作相关的数据同步到与1:05:00至1:05:30对应的集合中的点云数据帧子集。以这种方式，可以将与安全驾驶员为干预车辆100的自主操作而采取的脱离动作有关的数据同步到对应的点云数据帧，以将脱离动作关联到对应的点云数据帧。

训练引擎136可以配置成生成和/或组织训练数据集，并且馈送该训练数据集，以训练一个或多个机器学习模型以检测不安全或危险状况。在一些实施例中，一个或多个机器学习模型可以进一步被训练以生成场景，例如来自危险状况的场景，用于测试车辆101的算法和/或逻辑。在一些实施例中，机器学习模型可以包括随机森林模型或神经网络。在一些示例中，训练引擎136将训练数据集对馈送到机器学习模型中，其中训练数据集对并置成使得第一训练数据集表示、指示和/或标记为安全状况，而第二训练数据集表示、指示和/或标记为不安全状况。以这种方式，机器学习模型可以推断和/或确定训练数据集之间的差异以确定导致状况不安全的因素和/或参数。在一些实施例中，标记为不安全的数据集对应于车辆脱离自主模式，而标记为安全的数据集对应于车辆保持在自主模式下。当一个训练数据集包括来自特定位置的被确定或标记为安全的帧或系列帧且第二训练数据集包括来自同一特定位置的被确定或标记为不安全的帧或系列帧时，出现将包括与安全状况相对应的数据的第一训练数据集和包括与不安全状况相对应的数据的第二训练数据集并置的一个示例。作为另一示例，一个训练数据集可以包括来自特定时间戳范围或位置的被确定或标记为安全的帧或系列帧，并且第二训练数据集可以包括来自同一特定时间戳范围或位置的被确定或标记为不安全的帧或系列帧。以这种方式，机器学习模型能够确定或推断哪些参数或因素导致状况安全或不安全，例如交通密度、车辆的速度或加速度、照明条件、行人的集中度，特别是诸如交叉路口或拐角之类的位置，或某些声音。通过并置其中至少一个因素(例如时间范围或位置)在一对训练数据集之间保持恒定或相似(例如时间范围或位置)的训练数据集，机器学习模型可以确定或推断并置数据帧之间的任何差异是否以及以何种程度导致状况不安全。例如，如果在同一位置处和/或具有相似交通密度的被确定为安全的状况与被确定为不安全的其他状况之间的差异在于被确定为安全的状况是在白天获得的而被确定为不安全的其他状况是在夜间获得的，机器学习模型可能会推断缺乏照明会导致状况不安全。通过使用多个并置的训练数据集，机器学习模型可以进一步隔离、细化和/或确认用于确定状况的安全级别的参数和/或因素。这种并置训练数据集的示例如图4至图10所示。

训练数据集可以包括一个或多个传感器数据帧或一个或多个系列的连续传感器数据帧，例如与从数据同步引擎(例如，图1B的数据同步引擎134)获得的脱离数据时间戳同步的点云数据帧。训练引擎136可以基于脱离数据是否指示车辆100在捕获数据帧或系列数据帧时已脱离，将每个数据帧或每个系列的连续传感器数据帧标记为安全或不安全的驾驶条件。例如，由车辆100捕获的一系列的连续传感器数据帧可以描绘站在前方一定距离处的交叉路口的人行道上的行人。当检测到行人时，车辆100可以继续以当前速度行驶。车辆100上的安全驾驶员可以在预期行人意外地踏入交叉路口时下压制动踏板以使车辆100减速。在该示例中，包括由施加到制动踏板的压力指示的下压制动踏板的数据的脱离数据可以与该一系列的连续传感器数据帧进行时间戳同步。在此示例中，该一系列的连续传感器数据帧可以被标记为具有不安全的驾驶条件(即，预期行人意外地步入交叉路口)。在描绘驾驶条件的该一系列的连续传感器数据帧不具有关联的经时间戳同步的脱离数据的情况下，该一系列的连续传感器数据帧可以被标记为具有安全的驾驶条件，因为在捕获该一系列的连续传感器数据帧的时间期间没有记录人类驾驶员干预。一旦训练数据集的一个或多个系列的连续传感器数据帧被标记，训练数据集就可以用于训练一个或多个机器学习模型。在一些实施例中，由训练引擎136提供的标签可以由人工审核者进一步审核和修改。例如，训练引擎136可以将一系列的连续传感器数据帧确定为具有安全的驾驶条件，因为不存在相关联的脱离数据。在该示例中，在进一步审核时，人工审核者可以确定该系列连续传感器数据帧具有不安全的驾驶条件。在该示例中，人工审核者可以将一系列的连续传感器数据帧的标签改变为具有不安全的驾驶条件。一般而言，训练引擎136可以使用任何合适的训练方法来训练一个或多个机器学习模型。例如，在一种实施方式中，可以对一个或多个机器学习模型的训练进行监督。在其他实施方式中，可以对一个或多个机器学习模型的训练不进行监督。许多变化是可能的。将参考图3至图10更详细地讨论训练引擎136。

图3示出了根据本公开的实施例的用于训练机器学习模型的示例功能框图300。功能框图300中描述的功能可以由图1B的训练引擎136支持。在多种实施例中，功能框图300可以包括训练数据集302。训练数据集302可以包括描绘环境中的驾驶条件的传感器数据帧304(例如，一系列的连续传感器数据帧)和脱离数据306。传感器数据帧304可以通过合并(例如，融合)描绘驾驶条件的图像数据和LiDAR传感器数据来生成。例如，传感器数据帧304可以包括由相机传感器(例如，图1的相机传感器106)捕获的描绘环境中的对象或驾驶条件的图像数据，其与由LiDAR传感器(例如，图1的LiDAR传感器)捕获的描绘环境中的对象或驾驶条件的传感器数据合并。脱离数据306可以包括与对自动驾驶车辆(例如，图1的自动驾驶车辆100)的自主操作的人类驾驶员干预有关的数据。例如，脱离数据306可以包括方向盘旋转数据、制动踏板下压数据、加速踏板下压数据或与人类驾驶员干预有关的任何其他数据。在框308(例如，“数据同步”)处，传感器数据帧304和脱离数据306可以由数据同步引擎(例如，图1B的数据同步引擎134)进行时间戳同步。在框310(例如，“数据标记”)处，传感器数据帧304可以被标记为具有安全或不安全的驾驶条件。如上所述，如果传感器数据帧304基于其各自的时间戳与脱离数据306相关联，则传感器数据帧304可以在框312(例如，“不安全条件”)处被标记为具有不安全的驾驶条件。如果传感器数据帧304未基于其各自的时间戳与脱离数据306相关联，则传感器数据帧304可在框314(例如，“安全条件”)处被标记为具有安全的驾驶条件。在一些情况下，在框316(例如，“标签修改”)处，所标记的传感器数据帧304可以由人工审核者审核和修改。传感器数据帧304和其他传感器数据帧可用于训练机器学习模型318以检测危险或不安全、或潜在危险或不安全的条件，和/或修改由机器学习模型使用的预先存在的逻辑和/或参数318。

图4示出了计算系统130、特别是训练引擎136的示例性实现。在一些实施例中，训练引擎136可以将包括具有被识别为安全的条件的一个或多个帧或者系列帧的第一训练数据集421以及包括具有被识别为不安全的条件的一个或多个帧或者系列帧的第二训练数据集422馈送到机器学习模型中。例如，机器学习模型可以识别并置的训练数据集之间的差异，具体地，第一训练数据集421和第二训练数据集422之间的差异。例如，第一训练数据集421可以被识别为具有明亮的照明条件，而第二训练数据集422可以被识别为具有黑暗的照明条件，并且第一训练数据集421和第二训练数据集422两者可以是在相同或相似的位置处和/或姿势下获取的，并且/或具有超车车辆的相同或相似的驾驶条件，以隔离相关因素或参数。因此，机器学习模型可以推断黑暗或环境光的水平是确定状况是否危险的参数或因素。具体地，机器学习模型可以推断这样的参数或因素在给超车车辆让路的状况下特别相关，并且在夜间，可能需要更大的间隔距离来安全地超车。通过使用第一训练数据集421和第二训练数据集422，机器学习模型可以更好地识别导致状况被识别为危险的参数或因素、或细化其先前对导致状况被识别为危险的参数或因素的识别。因此，一旦状况被识别为危险，车辆就能够停止或减速。其他成对并置的训练数据集可以描绘与诸如给行人让路、掉头、急转弯或在道路上超速的其他驾驶条件相关的不同照明条件。因此，机器学习模型可以识别或确定照明条件是否影响这些驾驶条件是否被识别或感知为危险。

图5示出了计算系统130、特别是训练引擎136的示例性实现。在一些实施例中，训练引擎136可以将包括具有被识别为安全的条件的一个或多个帧或者系列帧的第一训练数据集521以及包括具有被识别为不安全的条件的一个或多个帧或者系列帧的第二训练数据集522馈送到机器学习模型中。例如，机器学习模型可以识别经并置的训练数据集之间的差异，具体地，第一训练数据集521和第二训练数据集522之间的差异。例如，第一训练数据集521可以被识别为包括其中两个车辆正在不同的车道上直线行驶的驾驶条件，而第二训练数据集522可被识别为包括其中车辆试图超越另一车辆的驾驶条件，并且第一训练数据集521和第二训练数据集522两者可以是在相同或相似的位置处和/或姿态下获取的，并且/或车辆之间具有相似或相同的距离，以便隔离相关因素或参数。因此，机器学习模型可以推断，与两个车辆在不同的车道上直线行驶相比，在超车时两个车辆需要保持更大的距离以被视为安全状态。因此，两个车辆是否相距安全距离取决于一辆车是否超越另一辆车。通过使用第一训练数据集521和第二训练数据集522，机器学习模型可以更好地识别导致状况被识别为危险的参数或因素、或细化其先前对导致状况被识别为危险的参数或因素的识别。因此，一旦状况被识别为危险，车辆就能够停止或减速。其他成对并置的训练数据集可以描绘以不同速度行驶的车辆。例如，如果一个或两个车辆行驶得更快，则两个车辆需要分开的安全距离可以更大。

图6示出了计算系统130、特别是训练引擎136的示例性实现。在一些实施例中，训练引擎136可以将包括具有被识别为安全的条件的一个或多个帧或者系列帧的第一训练数据集621以及包括具有被识别为不安全的条件的一个或多个帧或者系列帧的第二训练数据集622馈送到机器学习模型中。例如，机器学习模型可以识别经并置的训练数据集之间的差异，具体地，第一训练数据集621和第二训练数据集622之间的差异。例如，第一训练数据集621可以被识别为包括两辆汽车，其中一辆汽车正在超越另一辆汽车，而第二训练数据集622可被识别为有卡车在超越汽车，并且第一训练数据集621和第二训练数据集622两者可以是在相同或相似的位置处和/或姿势下、照明条件下拍摄的，并且/或具有与超车车辆相同或相似的行驶条件，以便隔离相关因素或参数。因此，机器学习模型可以推断车辆的尺寸或类型是确定状况是否危险的参数或因素。具体地，机器学习模型可以推断这样的参数或因素在给超车车辆让路的情况下特别相关，并且对于较大的车辆(例如卡车)，可能需要更大的间隔距离来安全地超车。通过使用第一训练数据集621和第二训练数据集622，机器学习模型可以更好地识别导致状况被识别为危险的参数或因素、或细化其先前对导致状况被识别为危险的参数或因素的识别。因此，一旦状况被识别为危险，车辆就能够停止或减速。其他成对并置的训练数据集可以描绘不同的速度或不同的道路条件，例如倾斜或颠簸的条件，这可能会影响状况是否被识别或感知为危险。

图7示出了计算系统130、特别是训练引擎136的示例性实现。在一些实施例中，训练引擎136可以将包括具有被识别为安全的条件的一个或多个帧或者系列帧的第一训练数据集721以及包括被识别为不安全的条件的一个或多个帧或者系列帧的第二训练数据集722馈送到机器学习模型中。例如，机器学习模型可以识别经并置的训练数据集之间的差异，具体地，第一训练数据集721和第二训练数据集722之间的差异。例如，第一训练数据集721可以包括单独地不会导致状况危险的情境因素，而第二训练数据集722可以包括将导致状况危险的情境因素的组合。例如，第一训练数据集721可以被识别为包括道路上的物体(例如球)或站在路边的人，而第二训练数据集722可以被识别为同时包括道路上的物体以及站在路边的人，并且第一训练数据集721和第二训练数据集722两者可以是在相同或相似的位置处和/或姿势下拍摄的，以便隔离相关因素或参数。因此，机器学习模型可以推断，在阈值距离内的道路上的物体和站在路边的人在情景下考虑可能会导致状况危险，即使每个因素单独存在(仅物体，或仅站在路边的人)不会导致状况危险。通过使用第一训练数据集721和第二训练数据集722，机器学习模型可以更好地识别导致状况被识别为危险的参数或因素、或细化其先前对导致状况被识别为危险的参数或因素的识别。因此，一旦状况被识别为危险，车辆就能够停止或减速。其他成对并置的训练数据集可以描绘情景因素的不同组合，例如，与两辆卡车或一辆卡车和一辆自行车平行行驶的车辆，即使与单辆卡车或单辆自行车平行行驶不会导致状况危险。因此，机器学习模型可以识别或确定某些因素组合是否影响识别或确定状况是否危险。

图8示出了计算系统130、特别是训练引擎136的示例性实现。在一些实施例中，训练引擎136可以将包括具有被识别为安全的条件的一个或多个帧或者系列帧的第一训练数据集821以及包括具有被识别为不安全的条件的一个或多个帧或者系列帧的第二训练数据集822馈送到机器学习模型中。例如，机器学习模型可以识别经并置的训练数据集之间的差异，具体地，第一训练数据集821和第二训练数据集822之间的差异。例如，第一训练数据集821可以被识别为包括具有交叉路口的道路，而第二训练数据集822可被识别为包括没有交叉路口的道路。特别地，乘客可能认为在笔直道路上安全的动作在交叉路口处并不安全。例如，与另一辆车平行行驶或超越另一辆车可能会被认为在笔直道路上是安全的，但在交叉路口则不安全。第一训练数据集821和第二训练数据集822两者可以是在相似的道路上、位置处和/或环境光水平下获取的。因此，机器学习模型可以推断出车辆是否处于交叉路口是确定状况是否危险的参数或因素。具体地，机器学习模型可以推断这样的参数或因素在与另一车辆平行行驶或超越另一车辆的状况期间特别相关。通过使用第一训练数据集821和第二训练数据集822，机器学习模型可以更好地识别导致状况被识别为危险的参数或因素、或细化其先前对导致状况被识别为危险的参数或因素的识别。因此，一旦状况被识别为危险，车辆就能够停止或减速。其他成对并置的训练数据集可以描绘不同的道路或驾驶条件，例如笔直道路与弯曲道路相比、崎岖不平的道路与水平道路相比、或不同材料(例如柏油、混凝土、复合材料、沥青或砾石)的道路，以确定这些因素是否会影响状况是否被识别或视为危险。

图9示出了计算系统130、特别是训练引擎136的示例性实现。在一些实施例中，训练引擎136可以将包括具有被识别为安全的条件的一个或多个帧或者系列帧的第一训练数据集921以及包括具有被识别为不安全的条件的一个或多个帧或者系列帧的第二训练数据集922馈送到机器学习模型中。例如，机器学习模型可以识别经并置的训练数据集之间的差异，具体地，第一训练数据集921和第二训练数据集922之间的差异。例如，第一训练数据集921可以被识别为不包含任何警笛或警报信号，而第二训练数据集422可以被识别为包含警笛或j警报信号，并且第一训练数据集921和第二训练数据集922两者可以是在相同或相似的位置处和/或姿势下获取的，并且/或具有相同或相似的驾驶条件，以便隔离相关因素或参数。因此，机器学习模型可以推断，无论是在紧急车辆不可见的状况下单独存在，还是与紧急车辆组合存在，警笛都是确定状况是否危险的参数或因素。通过使用第一训练数据集921和第二训练数据集922，机器学习模型可以更好地识别导致状况被识别为危险的参数或因素、或细化其先前对导致状况被识别为危险的参数或因素的识别。因此，一旦状况被识别为危险，车辆就能够停止或减速。因此，机器学习模型可以识别或确定诸如不同警报或警笛之类的某些噪声是否影响某些驾驶条件是否被识别或感知为危险。

图10示出了计算系统130、特别是训练引擎136的示例性实现。在一些实施例中，训练引擎136可以将包括具有被识别为安全的条件的一个或多个帧或者系列帧的第一训练数据集1021以及包括具有被识别为不安全的条件的一个或多个帧或者系列帧的第二训练数据集1022馈送到机器学习模型中。例如，机器学习模型可以识别经并置的训练数据集之间的差异，具体地，第一训练数据集1021和第二训练数据集1022之间的差异。例如，第一训练数据集1021可以被识别为包括水平或平滑的道路，而第二训练数据集1022可以被识别为包括道路的凹凸部分，并且第一训练数据集921和第二训练数据集922两者可以是在相同或相似的位置处和/或姿势下获取的，并且/或具有相同或相似的驾驶条件和/或照明条件，以便隔离相关因素或参数。因此，机器学习模型可以推断出，突出物或物体即使不在车辆行驶的车道上也可能导致原本安全的驾驶条件被识别或感知为危险。通过使用第一训练数据集1021和第二训练数据集1022，机器学习模型可以更好地识别导致状况被识别为危险的参数或因素、或细化其先前对导致状况被识别为危险的参数或因素的识别。因此，一旦状况被识别为危险，车辆就能够停止或减速。因此，机器学习模型可以识别或确定某些道路不规则性(即使在与车辆行驶不同的车道上)是否影响某些驾驶状况是否被识别或感知为危险。

因此，可以使用如图4至图10中所描述的实施例的任意组合来训练机器学习模型。一旦训练了机器学习模型，就可以在嵌入式逻辑和/或算法中包括机器学习模型。可以使用模拟来进一步测试和/或验证嵌入式逻辑和/或算法。用于测试嵌入式逻辑和/或算法的至少一些模拟可以包括传感器数据帧的一部分，使得模拟是真实的。模拟本身可以包括在另一个训练数据集中，例如第三训练数据集。在一些实施例中，嵌入式逻辑和/或算法可以生成用于模拟的安全分数。基于模拟的相应安全分数，嵌入式逻辑和/或算法可以将每个模拟分类为具有安全的驾驶条件或不安全的驾驶条件。例如，安全分数超过阈值的模拟可以被确定为具有安全的驾驶条件。另一方面，安全分数低于阈值的模拟可以被确定为具有不安全的驾驶条件，在这种情况下，车辆将需要采取诸如停车或减速之类的行动，其取决于驾驶条件的不安全程度。具有不同程度的不安全的驾驶条件的不同模拟可用于测试自动驾驶车辆的嵌入式算法和/或逻辑。在一些实施例中，描绘不安全条件的模拟被用来在模拟中测试自动驾驶车辆的嵌入式算法和/或逻辑。通过这种方式，可以对具有嵌入式算法和/或逻辑的模拟自动驾驶车辆进行最坏情况模拟场景，以了解经模拟的自动驾驶车辆如对不安全的驾驶条件作出反应。嵌入式算法和/或逻辑可以加载(或编译)到经模拟的自动驾驶车辆中，以了解经模拟的自动驾驶车辆如何对建模成接近真实驾驶条件的不安全的驾驶条件做出反应。

在一些实施例中，安全分数可以是二元的，零指示具有不安全的驾驶条件的模拟，而一指示具有安全的驾驶条件的模拟。在其他实施例中，安全分数的范围可以是一到十，其中一指示具有最不安全的驾驶条件的模拟，而十指示具有最安全的驾驶条件的模拟。许多变化是可能的。在一些实施例中，置信度分数可以指示安全分数的确定程度。

嵌入的算法和/或逻辑可以基于检测不安全条件的准确度、精确度和/或召回率来验证。可以基于准确度、精确度和/或召回率对嵌入的算法和/或逻辑进行进一步的调整。例如，在神经网络中，每个感知器中的S型函数的权重和/或偏差可以基于准确度、精确度和/或召回率来调整。

图11示出了根据本公开的实施例的用于确定模拟的安全分数的示例功能框图1100。在多种实施例中，功能框图1100可以包括多个模拟1142、1144、1146。多个模拟1142、1144、1146中的每一个可以包括一系列传感器数据帧，其至少一部分描绘从数据融合引擎(例如，图1B的数据融合引擎132)获得的环境中的驾驶条件。多个模拟1142、1144、1146中的每一个可以被输入到嵌入式逻辑1150中，其中嵌入式逻辑1150可以包括机器学习模型，例如由训练引擎136训练的机器学习模型。嵌入式逻辑1150可以为多个模拟1142、1144、1146中的每一个确定安全分数。通常，模拟中描绘的驾驶条件越不安全，安全分数越低。如图11所示，在框图1100中，嵌入式逻辑1150确定模拟1142具有安全分数2、模拟1144具有安全分数7、以及模拟1146具有安全分数3。因此，在框图1100中，模拟1142已被嵌入式逻辑1150确定为具有最不安全的驾驶条件，并且模拟1144已被嵌入式逻辑1150确定为具有最安全的驾驶条件。在一些实施例中，具有小于阈值的安全分数的模拟可以用于测试和/或修改自动驾驶车辆的嵌入式算法和/或逻辑。例如，在一些实施例中，用于选择模拟场景的阈值是5。在该示例中，可以选择安全分数为5或更低的任何模拟场景来测试自动驾驶车辆的嵌入式算法和/或逻辑。例如，在图11中，可以选择模拟1142和模拟1146来测试自动驾驶车辆的嵌入式算法和/或逻辑。

图12示出了根据本公开的实施例的用于在模拟中测试自动驾驶车辆的嵌入式算法和/或逻辑的示例计算环境1260。如图12所示，计算环境1260可以包括计算系统1262。计算系统1262可以包括一个或多个处理器1264以及存储指令的存储器1266，指令在由处理器1264执行时可以创建用于测试嵌入式算法和/或逻辑1272的安全性的模拟环境1268。在模拟环境1268中，嵌入式算法和/或逻辑1272可以被加载(或编译)到模拟的自动驾驶车辆1270中。模拟的自动驾驶车辆1270可以被模拟成在模拟场景1274、1276中进行驾驶，以了解模拟的自动驾驶车辆1270如何对模拟场景1274、1276中描绘的不安全的驾驶条件做出反应。如上所述，一般来说，模拟场景1274、1276是具有不安全的驾驶条件的场景。通过利用模拟场景1274、1276运行模拟，可以在真实世界驾驶条件下稳健地测试嵌入算法和/或逻辑1272。

图13示出了计算组件1300，其包括一个或多个硬件处理器1302和存储机器可读/机器可执行指令集的机器可读存储介质1304，该指令集在被执行时使得硬件处理器1302执行根据本公开的实施例的用于确定训练数据集以训练机器学习模型的示意性方法。计算组件1300例如可以是图14的计算系统1400。硬件处理器1302例如可以包括图14的处理器1404或本文描述的任何其他处理单元。机器可读存储介质1404可以包括主存储器1406、只读存储器(ROM)1408、图14的存储器1410和/或本文描述的任何其他合适的机器可读存储介质。

在框1306处，硬件处理器1302可以执行存储在机器可读存储介质1304中的机器可读/机器可执行指令，以在车辆的导航期间获得一个或多个系列的连续传感器数据帧。在一些实施例中，一个或多个系列的连续传感器数据帧中的传感器数据帧可以包括与光检测和测距数据合并的图像数据。

在框1308处，硬件处理器1302可以执行存储在机器可读存储介质1304中的机器可读/机器可执行指令，以获得指示车辆是否处于自主模式的脱离数据。在一些实施例中，脱离数据包括方向盘旋转数据、加速踏板下压数据或制动踏板下压数据中的至少一种。

在框1310处，硬件处理器1302可以执行存储在机器可读存储介质1304中的机器可读/机器可执行指令，以确定用于训练机器学习模型的训练数据集，该训练数据集包括一个或多个系列的连续传感器数据帧的子集和脱离数据的子集，机器学习模型被训练以识别不安全的驾驶条件。在框1412处，硬件处理器1302可以执行存储在机器可读存储介质1304中的机器可读/机器可执行指令，以使用训练数据集来训练机器学习模型以识别不安全的驾驶条件。经训练的机器学习模型可以输入或集成到控制车辆决策的嵌入式逻辑和/或算法中，或者用于进一步测试和评估决策并验证嵌入式逻辑和/或算法的模拟车辆中。

图14示出了可以实现本文描述的任何实施例的计算机系统1400的框图。计算机系统1400包括用于传送信息的总线1402或其他通信机制、以及与总线1402耦合用于处理信息的一个或多个硬件处理器1404。设备执行任务的描述旨在表示一个或多个硬件处理器1404执行任务。

计算机系统1400还包括主存储器1406，例如随机存取存储器(RAM)、高速缓存和/或其他动态存储设备，其耦合到总线1402以用于存储要由处理器1404执行的信息和指令。主存储器1406还可以用于在要由处理器1404执行的指令的执行期间存储临时变量或其他中间信息。这样的指令在存储在处理器1404可访问的存储介质中时将计算机系统1400呈现为被定制为执行在指令中指定的操作的专用机器。

计算机系统1400还包括耦合到总线1402以用于存储处理器1404的静态信息和指令的只读存储器(ROM)1408或其他静态存储设备。设置存储设备1410(例如磁盘、光盘或USB拇指驱动器(闪存驱动器)等)并将其耦合至总线1402以用于存储信息和指令。

计算机系统1400可以经由总线1402耦合到输出设备1412，例如阴极射线管(CRT)或LCD显示器(或触摸屏)，以用于向计算机用户显示信息。包括字母数字键和其他键的输入设备1414耦合到总线1402，以用于将信息和命令选择传送到处理器1404。另一种类型的用户输入设备是光标控制器1416。计算机系统1400还包括耦合到总线1402的通信接口1418。

除非上下文另有要求，否则在整个本说明书和权利要求书中，词语“包括”及其变体(例如“包括(comprises)”和“包括(comprising)”)应以开放的、包容性的含义解释，即解释称“包括，但不限于”。整个说明书中数值的数字范围的记载旨在用作单独提及落入该范围(包括限定该范围的值)内的每个单独值的速记符号，并且每个单独值被并入说明书中，如同其被单独地在本文中记载。另外，单数形式“一”、“一个”和“该”包括复数指示，除非上下文另有明确说明。短语“至少一个”、“至少一个选自......的组”或“至少一个选自由......组成的组”等应以析取词解释(例如，不解释成A中的至少一种和B中的至少一种)。

在整个说明书中提及“一个实施例”或“实施例”意味着在本发明的至少一个实施例中包括结合该实施例描述的特定特征、结构或特性。因此，在整个说明书的不同地方出现的短语“在一个实施例中”或“在实施例中”不一定都指代相同的实施例，而是在一些情况下可以指代相同的实施例。此外，特定特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。

实现为另一组件的组件可以被解释为以与另一组件相同或类似的方式操作的组件，并且/或包括与另一组件相同或类似的特征、特性和参数。

Claims (20)

1.一种系统，包括：

一个或多个处理器；和

存储指令的存储器，所述指令在由所述一个或多个处理器执行时使所述系统执行：

在车辆的导航期间获得一个或多个系列的连续传感器数据帧；

获取指示所述车辆是否处于自主模式的脱离数据；

确定训练数据集以训练机器学习模型，所述训练数据集包括所述一个或多个系列的连续传感器数据帧的子集以及所述脱离数据的子集，所述机器学习模型被训练以识别不安全的驾驶条件；和

使用所述训练数据集来训练所述机器学习模型以识别不安全的驾驶条件。

2.根据权利要求1所述的系统，其中对所述机器学习模型的所述训练包括训练所述机器学习模型以确定模拟场景的安全级别，所述模拟场景包括描绘驾驶条件的一系列的连续传感器数据帧。

3.根据权利要求1所述的系统，其中对所述机器学习模型的训练包括向所述机器学习模型馈送两个数据集作为输入，其中第一数据集包括被识别为安全的驾驶条件，并且第二数据集包括被识别为在特定位置处不安全的驾驶条件。

4.根据权利要求1所述的系统，其中所述一个或多个系列的连续传感器数据帧中的在所述训练数据集中的第一部分被标记为具有不安全的驾驶条件，并且所述一个或多个系列的连续传感器数据帧中的在所述训练数据集中的第二部分被标记为具有安全的驾驶条件。

5.根据权利要求1所述的系统，其中所述一个或多个系列的连续传感器数据帧的第一部分指示驾驶员已使所述车辆脱离自主模式，并且所述一个或多个系列的连续传感器数据帧的第二部分指示所述车辆保持在所述自主模式下。

6.根据权利要求1所述的系统，其中对所述一个或多个系列的连续传感器数据帧进行与所述脱离数据的时间戳同步。

7.根据权利要求1所述的系统，其中所述一个或多个系列的连续传感器数据帧中的传感器数据帧包括与光检测和测距数据合并的图像数据。

8.根据权利要求1所述的系统，其中所述脱离数据包括方向盘旋转数据、加速踏板下压数据和制动踏板下压数据中的至少一者。

9.根据权利要求1所述的系统，其中所述指令在被执行时使所述系统进一步执行：

获取多个模拟场景；

基于至少一个机器学习模型确定与所述多个模拟场景相对应的安全分数；

基于所述安全分数从所述多个模拟场景中选择用于测试自动驾驶车辆的嵌入式逻辑的模拟场景集；和

在模拟中使用所述模拟场景集来测试所述嵌入式逻辑。

10.根据权利要求9所述的系统，其中基于小于阈值的安全分数来选择所述模拟场景集。

11.一种计算机实现的方法，包括：

在车辆的导航期间获得一个或多个系列的连续传感器数据帧；

获取指示所述车辆是否处于自主模式的脱离数据；

确定训练数据集以训练机器学习模型，所述训练数据集包括所述一个或多个系列的连续传感器数据帧的子集以及所述脱离数据的子集，所述机器学习模型被训练以识别不安全的驾驶条件；和

使用所述训练数据集来训练机器学习模型以识别不安全的驾驶条件。

12.根据权利要求11所述的计算机实现的方法，其中对所述机器学习模型的训练包括训练所述机器学习模型以确定模拟场景的安全级别，所述模拟场景包括描绘驾驶条件的一系列的连续传感器数据帧。

13.根据权利要求11所述的计算机实现的方法，其中对所述机器学习模型的训练包括向所述机器学习模型馈送两个数据集作为输入，其中第一数据集包括被识别为安全的驾驶条件，并且第二数据集包括在特定位置处被识别为不安全的驾驶条件。

14.根据权利要求11所述的计算机实现的方法，其中所述一个或多个系列的连续传感器数据帧中的在所述训练数据集中的第一部分被标记为具有不安全的驾驶条件，并且所述一个或多个系列的连续传感器数据帧中的在所述训练数据集中的第二部分被标记为具有安全的驾驶条件。

15.根据权利要求11所述的计算机实现的方法，其中所述一个或多个系列的连续传感器数据帧的第一部分指示驾驶员已使车辆脱离自主模式，并且所述一个或多个系列的连续传感器数据帧的第二部分指示所述车辆保持在自主模式下。

16.一种计算系统的非暂时性计算机存储介质，其存储指令，所述指令在由所述计算系统的一个或多个处理器执行时使所述计算系统执行一种方法，所述方法包括：

在车辆的导航期间获得一个或多个系列的连续传感器数据帧；

获取指示所述车辆是否处于自主模式的脱离数据；

确定训练数据集以训练机器学习模型，所述训练数据集包括所述一个或多个系列的连续传感器数据帧的子集以及所述脱离数据的子集，所述机器学习模型被训练以识别不安全的驾驶条件；和

使用所述训练数据集训练所述机器学习模型以识别不安全的驾驶条件。

17.根据权利要求16所述的非暂时性计算机存储介质，其中对所述机器学习模型的训练包括训练所述机器学习模型以确定模拟场景的安全级别，所述模拟场景包括描绘驾驶条件的一系列的连续传感器数据帧。

18.根据权利要求16所述的非暂时性计算机存储介质，其中对所述机器学习模型的训练包括向所述机器学习模型馈送两个数据集作为输入，其中第一数据集包括被识别为安全的驾驶条件，并且第二数据集包括在特定位置处被识别为不安全的驾驶条件。

19.根据权利要求16所述的非暂时性计算机存储介质，其中所述指令在被执行时使所述计算系统进一步执行：

获取多个模拟场景；

基于至少一个机器学习模型确定与所述多个模拟场景相对应的安全分数；

基于所述安全分数从所述多个模拟场景中选择模拟场景集，其用于测试自动驾驶车辆的嵌入式逻辑；和

在模拟中使用所述模拟场景集来测试所述嵌入式逻辑。

20.根据权利要求19所述的非暂时性计算机存储介质，其中基于小于阈值的安全分数来选择所述模拟场景集。