CN111038522A - 评估驾驶员辅助系统的训练数据集熟悉度的系统和方法 - Google Patents

评估驾驶员辅助系统的训练数据集熟悉度的系统和方法 Download PDF

Info

Publication number
CN111038522A
CN111038522A CN201910957245.6A CN201910957245A CN111038522A CN 111038522 A CN111038522 A CN 111038522A CN 201910957245 A CN201910957245 A CN 201910957245A CN 111038522 A CN111038522 A CN 111038522A
Authority
CN
China
Prior art keywords
vehicle
data
training
data set
attributes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910957245.6A
Other languages
English (en)
Other versions
CN111038522B (zh
Inventor
A.汤普森
H.谭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of CN111038522A publication Critical patent/CN111038522A/zh
Application granted granted Critical
Publication of CN111038522B publication Critical patent/CN111038522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及用于评估驾驶员辅助系统的训练车辆数据集的系统、装置和方法。实施方案涉及使用训练车辆数据集针对带注释数据集的矢量表示对场景检测操作的运行时属性进行评分，以评定所述场景检测操作感知所述车辆传感器数据中的目标对象属性的能力。在一个实施方案中，评分评估所述场景检测操作在使用所述训练车辆数据集标识所述车辆传感器数据中的目标对象属性方面的有效性。可基于所述评分确定训练车辆数据集的事件标记，所述事件标记标识用于更新所述训练车辆数据集的一个或多个参数。配置和过程可标识训练车辆数据集的异常，并允许捕获有用的现实世界数据以测试运行时操作。

Description

评估驾驶员辅助系统的训练数据集熟悉度的系统和方法
技术领域
本公开涉及用于辅助和自主驾驶的系统、方法和装置，并且更具体地，涉及评估训练数据集。
背景技术
正在开发车辆系统以向车辆操作提供辅助。所述系统可包括提供反馈和车辆控制。存在对准确地标识对于车辆检测系统有意义的数据的系统和过程的需要。许多现有系统收集难以利用的大量数据。以举例的方式，包括多个传感器的车辆系统可在操作期间生成大量数据。由于现有系统通常不加选择地生成和存储数据，因此与存储和维持数据相关联的成本显著。除处理之外，这些系统还需要大规模数据存储能力。这些系统的缺点可包括不能有效地处理数据、存储数据的成本以及难以标识相关数据。现有系统不提供解释有意义数据的配置。因此，现有系统可受到所存储且无用的数据的阻碍。存在对改进用于辅助驾驶的车辆系统的配置并评估用于辅助驾驶系统的训练数据的需要。
发明内容
本文公开且要求保护用于驾驶员辅助系统的方法、装置和系统。一个实施方案涉及用于评估驾驶员辅助系统的训练车辆数据集的方法。所述方法包括：通过控制单元接收由所述车辆的至少一个传感器捕获的车辆传感器数据，所述车辆传感器数据由车辆的驾驶员辅助系统生成。所述方法还包括：通过所述控制单元使用训练车辆数据集对所述车辆传感器数据运行场景检测操作，以标识所述车辆传感器数据中的目标对象属性。所述方法还包括：通过所述控制单元针对带注释数据集的矢量表示对所述场景检测操作的运行时属性进行评分，以评定所述场景检测操作使用所述训练车辆数据集感知所述车辆传感器数据中的目标对象属性的能力，其中评分评估所述场景检测操作在标识所述车辆传感器数据中的目标对象属性方面的有效性。所述方法还包括：通过控制单元基于所述评分来确定所述训练车辆数据集的事件标记，所述事件标记是否标识用于更新所述训练车辆数据集的参数和数据样本中的至少一者。
在一个实施方案中，所述车辆传感器数据包括所述车辆的所述驾驶员辅助系统的检测区的图像、雷达和激光雷达数据中的至少一者。
在一个实施方案中，对所述车辆传感器数据运行所述场景检测操作基于所述训练车辆数据集中的所述属性实时标识目标对象，所述训练车辆数据集提供多个对象类型和对象属性。
在一个实施方案中，车辆训练数据集包括已知带注释数据集中的对象类型和对象属性。
在一个实施方案中，所述带注释数据集的矢量表示为地面实况对象中的多个对象和对象属性提供空间表示，其中所述带注释数据集的所述矢量表示用作比较车辆传感器数据的基准。
在一个实施方案中，对所述场景检测操作的运行时属性进行评分包括：确定用于表示所述车辆训练数据集中未包括且未充分表示的对象类型和对象属性的值。
在一个实施方案中，对所述场景检测操作的运行时属性进行评分包括：确定已知数据集在运行时环境中期间相对于瞬时车辆数据的量度，所述评分包括将所处理的事件与检测到的异常进行比较。
在一个实施方案中，所述场景检测操作的有效性是基于所述训练车辆数据集能够处理所述车辆传感器数据中的目标对象的概率来确定。
在一个实施方案中，事件标记被生成以标识所述车辆传感器数据的数据范围以及目标对象。
在一个实施方案中，所述事件标记表示车辆工况，所述车辆工况被标识为与所述训练车辆数据集中的异常具有强相关性。
另一个实施方案涉及车辆控制单元，其包括被配置来接收车辆传感器数据的输入端、以及耦接到所述输入端的控制单元。所述控制单元被配置来接收由所述车辆的至少一个传感器捕获的车辆传感器数据，所述车辆传感器数据由车辆的驾驶员辅助系统生成。所述控制单元还被配置来使用训练车辆数据集对所述车辆传感器数据运行场景检测操作，以标识所述车辆传感器数据中的目标对象属性。所述控制单元还被配置来针对带注释数据集的矢量表示对所述场景检测操作的运行时属性进行评分，以评定所述场景检测操作使用所述训练车辆数据集感知所述车辆传感器数据中的目标对象属性的能力。评分评估场景检测操作在标识车辆传感器数据中的目标对象属性方面的有效性。所述控制单元还被配置来基于所述评分来确定所述训练车辆数据集的事件标记，所述事件标记是否标识用于更新所述训练车辆数据集的参数和数据样本中的至少一者。
鉴于以下对本实施方案的详细说明，其他方面、特征和技术对于相关领域中的技术人员来说将是显而易见的。
附图说明
从下文结合附图阐述的详细描述，本公开的特征、目的和优点将变得更加显而易见，在附图中相同附图标号始终做出对应识别，并且其中：
图1A至图1B描绘根据一个或多个实施方案的情景数据的图形表示；
图2描绘根据一个或多个实施方案的用于控制单元操作的过程；
图3描绘根据一个或多个实施方案的车辆控制单元的图形表示；
图4描绘根据一个或多个实施方案的训练车辆数据集的图形表示；
图5描绘根据一个或多个实施方案的控制单元操作的图形表示；
图6描绘根据一个或多个实施方案的相对于已知数据集的操作的图形表示；并且
图7A至图7B描绘根据一个或多个实施方案的确定事件标记的图形表示。
具体实施方式
概览和术语
本公开的一个方面涉及车辆辅助系统，诸如被配置来评估车辆辅助系统的训练车辆数据集和操作的辅助或自主驾驶系统。在一个实施方案中，由车辆系统检测的数据可与对由车辆用来检测对象的数据集(诸如训练车辆数据集)生成的矢量进行比较。描述了确定车辆的运行时操作和/或车辆训练数据集是否熟悉车辆传感器数据中的对象的一个或多个操作。
考虑到数据的未知理想状态和具有一个或多个传感器的探测系统的可解释驾驶场景的车辆配置，允许确定对所感测数据和情景的熟悉度的配置和操作可基于已知带注释数据集。本文所描述的操作可在矢量的实施方案中执行已知带注释数据集的计算(例如，估计)。所述矢量可用于实时地比较瞬时分析场景与已知带注释数据集。在一个实施方案中，所述比较用于确定在带注释数据集上训练的运行时算法是否熟悉场景的瞬时分析。
确定熟悉度可允许标记由车辆传感器检测的数据和事件。因此，这些功能解决了与捕获大量车辆传感器数据相关联的问题和负担。实施方案涉及仅标识和捕获事件标记中可用于更好地训练和测试运行时感知算法的有意义或“有用”的现实世界数据。以举例的方式，就正在分析车道的单个相机系统而言，可能已经捕获了具有相同性质或情景的大量数据。实施方案允许自动地标识数据的原始训练集的极端情况或异常。实施方案还涉及确定训练集如何处理可能未经训练的异常或情景。因此，配置允许提供用于标识对于已知训练数据集是不熟悉或异常的场景的自动化方法。
在一个实施方案中，可针对带注释数据集的矢量表示对场景检测操作的运行时属性进行评分。运行时属性的评分可评定场景检测操作使用训练车辆数据集感知车辆传感器数据中的目标对象属性的能力。评分可评估场景检测操作在标识车辆传感器数据中的目标对象属性方面的有效性。在其他实施方案中，评分可评估训练车辆数据集或带注释基线数据的有效性。
系统、配置和过程被提供来标识训练数据相对于感测数据的熟悉度。在一个实施方案中，可基于评分输出训练车辆数据集的事件标记，以标识用于更新训练车辆数据集的一个或多个参数。实施方案还涉及车辆数据集中的异常的检测和表征。参数可包括对象类型、对象属性、目标对象(例如，其他车辆、车道标志、障碍物等)、驾驶状况(例如，制动状况、车辆滑移、到其他车辆/对象的距离等)和/或情景。样本数据可涉及与参数相关联的车辆传感器数据。如本文所用，可使用训练车辆数据集相对于车辆传感器数据确定一个或多个异常。在一些情况下，训练车辆数据集不能标识检测到的对象或对检测到的对象进行分类。在其他实施方案中，车辆传感器数据可关于检测到的对象发生冲突。
如本文所用，辅助驾驶可以是指通常为驾驶员和/或无人驾驶受控车辆提供指示、捕获数据、控制车辆的操作、激活车辆系统和车辆控制操作中的至少一者。辅助驾驶可涉及高级驾驶员辅助系统(ADAS)或自主驾驶(AD)系统的一个或多个功能。辅助驾驶操作可包括换道辅助、停车辅助、制动控制等。辅助驾驶还可以是指用于自主驾驶系统和车辆的系统和操作。辅助驾驶系统可涉及车辆系统，所述车辆系统包括用于检测对象或车辆工况的至少一个传感器、控制单元和控制车辆的一个或多个车辆系统。对象和车辆数据可从至少一个传感器来确定，所述传感器包括但不限于图像传感器(例如，录像机)、雷达传感器、激光雷达传感器、加速/运动传感器以及车辆传感器(例如，轮速传感器、胎压监测系统(TPMS)传感器、ABS传感器、横摆/倾斜传感器、稳定性控制传感器等)。根据一个实施方案，辅助驾驶系统可使用基线数据(诸如训练数据集)来操作，以检测目标对象(例如，其他车辆、车道标志、障碍物等)、驾驶状况(例如，制动状况、车辆滑移、到其他车辆/对象的距离等)和/或情景。基线数据可包括一个或多个所识别的对象类型和对象属性。基线数据还可包括对象和对象布置的情景数据。例如，可检测车道标志的模式以发信号通知车道汇合或道路中的转弯。如本文将讨论的，对象、对象属性和场景数据可以是可被标识和表征的情景的一部分。本文所描述的系统、方法和配置可包括现实世界部署在各种条件和场景(例如，日间、夜间、弱光、天气相关等)中的车辆系统。另外，系统和方法可在运行时(例如，当正在执行程序时)期间执行以供车内使用。
根据本公开的另一个方面，涉及评估训练车辆数据集和车辆辅助系统的操作的实施方案是基于用于分析车辆传感器数据的事件捕获和操作。有意义数据可用于确定捕获事件和数据段、基线数据集的注释，以及确定所检测的场景数据整体是否有效。
在一个实施方案中，过程包括生成训练数据集或带注释基线数据的矢量表示。在其他实施方案中，过程包括生成车辆传感器数据的矢量表示。矢量表示可基于系统的模型数据，并且可用于确定系统在使用训练数据集标识对象方面的有效性和/或训练数据集的有效性。生成矢量表示可包括由车辆控制器执行一个或多个操作。在一个实施方案中，矢量表示允许确定异常矢量。异常矢量可用于标识对于系统具有意义的对象或情景。
根据一个实施方案，矢量表示可用于基于对象类型、对象属性、对象模式和场景的矢量表示来确定有意义情景。以举例的方式，对象类型的矢量表示可标识与用于标识对象的数据集的参数不匹配或不可标识的对象。在一个实施方案中，在检测到目标对象并分类为对象的情况下，对象属性可以是有意义的。目标对象可包括所标识但未由控制装置充分处理的一个或多个属性，因此所述一个或多个属性可以是有意义的。在另一个实施方案中，对象模式(诸如车道标志、停车情况模式、时走时停交通的刹车模式等)的矢量表示可通过模式的矢量表示来处理。不同于数据集中的模式的情况、或包括模式和与模式的差异的驾驶情况可标识为有意义的。可基于一个或多个参数来对场景生成矢量表示。对于相对于其他对象(诸如其他车辆)的驾驶场景，可检测其他车辆和包括控制单元的车辆的移动，以对包括控制单元的车辆标识有意义情景，诸如车辆未经过适当训练来处理的交通模式。可选地，情景可涉及基于天气(例如，雨、雪、雾等)、路况(例如，已铺砌、未铺砌、低牵引力等)、照明条件(例如，弱光)的驾驶状况以及车辆的操作情景。
根据一个实施方案，车辆的控制单元被配置来使用针对训练车辆数据生成的矢量对驾驶员辅助系统的训练车辆数据集进行评估。过程和装置配置被提供来标识从一个或多个车辆传感器检测到的情景数据。车辆传感器数据可在运行时期间检测并且用来评估用于检测传感器数据的算法。在某些实施方案中，可评估车辆训练数据和车辆系统检测对象的能力以及驾驶配置。在一个实施方案中，车辆控制单元包括被配置来接收车辆传感器数据的至少一个输入端。控制单元还可包括接收训练车辆数据的矢量的输入端。控制单元可以是车辆控制系统的一部分，诸如辅助驾驶单元或自主驾驶模块。控制单元可被配置来针对带注释数据集的矢量表示对场景检测操作的运行时属性进行评分，以评估场景检测操作使用训练车辆数据集感知车辆传感器数据中的目标对象属性的能力。如下文将更详细讨论的，评分评估场景检测操作在标识车辆传感器数据中的目标对象属性方面的有效性。控制单元可基于评分确定训练车辆数据集的事件标记，以标识用于更新训练车辆数据集的一个或多个参数。
本文所描述的过程和装置配置可标记其中训练车辆数据集不足的事件或情景。报告事件标记允许仅提供必需的数据，诸如由车辆在一段时间内生成的传感器数据子集。通过提供特定时间段内的数据，不必分析车辆的整个数据集就可确定感兴趣的数据。本文所描述的过程和装置配置允许车辆控制单元标识事件标记和数据捕获以用于进一步分析。这些操作可允许车辆辅助系统持续接近所需的参数数据集，同时限制和/或消除对手动检查的需要。
如本文所用，术语“一个”或“一种”应当意指一个或多于一个。术语“多个”应当意指两个或多于两个。术语“另一个”被定义为第二个或更多个。术语“包括”和/或“具有”是开放性的(例如，包含)。如本文所用的术语“或”将解释为包含性的，或者意指任何一个或任何组合。因此，“A、B或C”意指“以下中的任一者：A；B；C；A和B；A和C；B和C；A、B和C”。此定义的例外情况将仅在元件、功能、步骤或动作的组合以某种方式固有地相互排斥时发生。
贯穿本文档对“一个实施方案”、“某些实施方案”、“实施方案”或类似术语的参考意指结合所述实施方案描述的特定特征、结构或特性包括在至少一个实施方案中。因此，这些短语贯穿本说明书在各个地方的出现不一定全部是指同一个实施方案。此外，特定特征、结构或特性可在一个或多个实施方案上以任何合适的方式组合而没有限制。
示例性实施方案
图1A至图1B描绘根据一个或多个实施方案的情景数据的图形表示。根据一个实施方案，本文所描述的系统、配置和过程涉及车辆系统。图1A至图1B描绘与车辆105和多个对象相关联的场景100的示例性情景的图形表示。场景100可涉及特定位置或时间段，其中对象的存在和/或一个或多个车辆特性可允许车辆105的传感器检测一个或多个对象。根据一个实施方案，车辆105可包括基于车辆训练数据来检测对象的一个或多个传感器。以举例的方式，对于场景100中存在的对象，车辆105被配置来解释车辆传感器数据以检测对象中的一个或多个。在某些实施方案中，车辆传感器数据可与一种装置或一种类型的装置，诸如图像传感器(例如，相机)相关。如此，车辆105可使用来自所感测图像数据的车辆训练数据来标识一个或多个目标对象。根据另一实施方案，车辆105可包括生成多个类型的传感器输出的多个感测装置，所述多个类型的传感器输出包括图像、接近感测、雷达和激光雷达中的一者或多者。
车辆105可被配置来使用训练车辆数据来检测多个对象类型和情景(诸如制动事件或车道偏移)并进行分类。本文所讨论的实施方案允许评定车辆训练数据集何时不足以允许检测或处理目标对象。以举例的方式，车辆105可检测对象，但不能标识或确定如何响应于所述对象来控制车辆105。其他实施方案允许使用训练数据集来评定车辆对对象的熟悉度。以此方式，虽然实施方案可采用特定的传感器类型和/或目标对象属性，但本文所讨论的系统、过程和配置允许利用一个或多个不同的传感器配置或车辆训练数据集来检测异常。此外，本公开的原理可应用于车辆的不同传感器配置。
图1A描绘包括对象的示例性场景，所述对象可由一个或多个单元、诸如车辆105的控制单元检测和标识。在图1A中，场景100包括具有被示出为110和111的一个或多个检测区域的车辆105，所述检测区域通常是指车辆105的检测区域110的向前行进方向和检测区域111的后向方向。相对于车辆105的一个或多个方向示出检测区域110和111，所述一个或多个方向可在训练车辆数据集中被评定和/或考虑到。根据一个实施方案，车辆105的一个或多个传感器可检测相对于车辆的检测区域(包括车辆的前向、后向和侧向区域)的对象。场景100可涉及示例性情景或车辆感兴趣的场景类型。另外，由车辆105检测的每个场景可与对象类型、对象数量、对象位置、对象移动等中的一者或多者相关联。根据另一个实施方案，每个场景可与车辆的操作特性、其他车辆的操作特性中的至少一者相关联。根据一个示例性实施方案，场景100包括行人120、车道标志125和130、车辆135以及道路边界140。
车辆105不仅可标识目标对象(诸如行人或乘用车)的类型，而且还可利用对象的一个或多个属性来表征目标对象。属性和对象类型可存储在可由车辆105的控制单元用来标识对象并且在某些情况下控制车辆105的带注释基线数据或车辆训练数据中。在一个示例性实施方案中，车辆105可检测车道标志125和130以及与每个目标相关联的一个或多个属性。以举例的方式，车辆105可检测位置、间距、颜色、角度偏转以及一个或多个另外的属性，以检测车辆可能感兴趣的情景。在诸如高速公路驾驶的一些情况下，车辆105可被训练来在延长时段内检测并处理或多或少以直线出现的车道标志125和130。这些属性的标识可由车辆105的辅助系统用来保持呆在车道标志125和130内。如本文将讨论的，目标对象(诸如车道标志125和130)的所感测车辆数据的矢量表示可用于标识其中未具备训练车辆数据来处理目标对象的情景，诸如车道标志125和130的定位突然偏离或道路140变窄。除事件捕获之外，配置涉及确定何时以及什么类型的车辆传感器数据未被充分包括在车辆训练数据中。如此，配置被提供用于标识感兴趣的目标对象、感兴趣的情景和车辆所收集数据范围中的至少一者。
在又一个实施方案中，配置被提供来标记感兴趣的目标对象和情景中的一者或多者的事件。根据一个实施方案，车辆105可被配置来与通信网络115通信以与一个或多个网络资源(诸如服务器)进行数据交换，以共享目标对象和情景。在某些实施方案中，网络资源可用于响应于报告的对象或情景而向供车辆105使用的车辆训练数据提供更新。
另一个实施方案涉及确定运行时算法(诸如场景检测操作)如何熟悉车辆105所报告的数据。被配置用于辅助驾驶或自主驾驶的车辆可记录大量数据。当车辆105可基于训练车辆数据集充分地处理情景或场景时，报告车辆传感器数据可不是必需的。参考上面在车道标志125与130之间描述的长路程(例如，以英里/公里的数量级为单位)的高速公路驾驶实例，可不需要报告和稍后处理数据和场景。然而，报告驾驶情景的异常或不期望变化对于评定训练车辆数据集可以是有用的。在某些情况下，存在对确定车辆检测对象和其中车辆操作或车辆训练数据需要更新的标记情景的能力的配置的需要。
另一个实施方案包括标识驾驶员辅助系统处理车辆控制单元未知或未正确分类的目标对象或情景的能力。以举例的方式，车辆105可检测若干行人(诸如行人120)或若干车辆(诸如车辆135)，其中车辆训练数据集中的属性可考虑到实际对象中的差异，同时仍将对象分类到正确的对象类型和/或适当的对象属性。图1A将有意义情景145描绘为问号，因为车辆传感器数据可标识情景145与使用车辆训练数据集无法理解的目标对象或车辆状况相关联。例如，当对象、对象属性和驾驶状况中的一者或多者超过相对于所检测传感器数据的矢量表示的度或阈值时，训练数据集可能无法使用训练数据集来理解目标对象。本文所讨论的操作和配置针对各种未标识的情景而提供。实施方案还涉及使用对未标识对象(诸如情景145)生成的矢量的评分操作。
关于目标对象，情景145可涉及未标识对象。用另一种方式描述，情景145可涉及车辆105检测到但车辆未知的对象。以举例的方式，如果情景145涉及穿着小鸡装束(就此而言，或其他服装)的人，那么由车辆105使用的车辆训练数据集中的属性可能不能标识对象，因为小鸡装束将有可能导致特性不包括行人对象类型的属性。或者可能是小鸡装束可与两个不同对象类型的对象属性相关联，从而导致冲突。情景145的另一个对象类型实例可涉及稀有对象的检测，诸如由车辆105检测到的巨型卡车(例如，具有非常大的轮胎、以及可能的烟火装置的车辆)。训练车辆集中车辆的目标对象类型的属性将通常涉及乘用车，检测到的巨型卡车可能是感兴趣的情景。感兴趣的情景可表征为值得车辆105报告。情景145可涉及车辆操作特性，诸如突然的操纵(例如，滑移、牵引力丧失)或车辆控制(例如，制动)。在典型的高峰时段驾驶期间，车辆驾驶员(或自主系统)可重重地压下制动器。在一些情况下，在一天中的特定时间期间和/或在道路的特定路线/路段上，靠近其他车辆进行反复制动对于特定车辆可能是正常的。然而，在其他情况下，突然或反复制动或其他车辆工况可能是值得报告的情景，诸如情景145。以举例的方式，用于辅助制动或自主驾驶的车辆训练数据集可能没有经过训练以维持适当的分隔距离。如此，系统、装置和车辆配置被提供用于相对于训练车辆数据集标识感兴趣的情景。另外，可进行评分以确定训练车辆集可分析情景145的熟悉程度。
关于对象类型和情景，本公开的原理还可应用于评定车辆辅助驾驶单元作为整体对各种情景的熟悉度。当天气或其他情况出现时，在宜人天气条件下在道路上训练的辅助驾驶系统可能会有困难。下雪或其他降水的天气以及甚至抓地力丧失可以是评定车辆训练数据集所考虑的属性。
图1B示出相对于时间线的对象的示例性段。关于报告，车辆(例如，车辆105)的控制单元可被配置来报告具有意义的对象和车辆所捕获的数据段中的至少一者。在一些情况下，报告目标对象可允许车辆更好地理解不熟悉的行人，诸如穿着小鸡装束的男子。在其他情况下，报告所有目标对象和属性可在目标对象之前和之后的一段时间内进行。图1B示出相对于时间线155并且针对感兴趣的段160的场景数据150。段160可相对于报告时标识出的目标对象和属性来标识。如下文将更详细讨论的，可响应于场景检测操作而报告数据(诸如车辆传感器数据)段，以标识有意义情景或对象。图1B是段160的示例性表示，其中段之前的对象(诸如车辆165)将被排除在报告之外。在一个实施方案中，报告对象目标的段包括报告有意义情景数据之前的对象(诸如情景180之前的行人170)和情景之后的对象(诸如车辆175)。本文中的实施方案允许仅报告情景180，和/或报告包括对象170和175以及情景180的段160。
虽然图1A至图1B描绘可能检测到的对象/情景的示例性场景和段，但实施方案在本文中被提供用于有意义数据和情景的标识。
图2描绘根据一个或多个实施方案的用于评估驾驶员辅助系统的训练车辆数据集的过程。过程200可由控制单元(例如，图3的控制单元305)执行。根据一个实施方案，过程200包括：在框205处，接收由车辆的至少一个传感器捕获的车辆传感器数据；在框210处，运行场景检测操作；以及在框215处，对场景检测的运行时属性进行评分。在框220处，可确定事件标记。过程200可由车辆的控制单元(诸如导航控制单元)执行。所述控制单元可被配置来接收车辆的定位数据，诸如全球定位数据(例如，GPS)。控制单元还可存储与车辆位置相关联的一个或多个地理区域的地图数据。在某些实施方案中，控制单元被配置来接收道路信息服务，诸如与地图数据的路线相关联的交通和天气。道路和诸如天气的条件信息可包括在训练车辆数据集中的一个或多个属性中。
根据一个实施方案，过程200可基于训练车辆数据集。以举例的方式，训练车辆数据集可包括来自高级驾驶员辅助系统(ADAS)或自主驾驶(AD)系统的带注释训练数据集，其中原始传感器数据基于若干属性与地面实况。车辆传感器可包括录像机、雷达和激光雷达中的一者或多者的数据，作为用于注释的地面实况。地面实况数据向系统提供可感知的对象类型和属性。过程200可允许在运行时期间提取并使用驾驶员辅助系统操作参数(例如，算法、过程等)，以评定对用于标识和标记的其自己的基线数据集的熟悉度以捕获异常。此捕获将用于通过更新基线数据集来在后续版本中更新运行时算法的训练。过程200提供基于现有训练集的情景熟悉度的实时识别。
在框205处，接收由车辆的至少一个传感器捕获的车辆传感器数据。车辆传感器数据可由车辆的驾驶员辅助系统生成，并且可涉及车辆的驾驶员辅助系统的检测区的图像、雷达和激光雷达数据中的至少一者。车辆传感器数据还可表征车辆和一个或多个其他车辆相对于所述车辆的操作，以包括相对于车辆的行驶距离、车辆数量、车辆类型等数据。
在框210处，控制单元使用训练车辆数据集对车辆传感器数据运行场景检测操作，以标识车辆传感器数据中的目标对象属性。在一个实施方案中，对车辆传感器数据运行场景检测操作基于训练车辆数据集中的属性实时生成目标对象的带注释数据集。以举例的方式，场景检测操作不仅标识目标对象，而且使用训练车辆数据集执行操作以感知对象。训练车辆数据集可提供多个对象类型和对象属性。场景检测操作框210可生成表征相对于车辆的场景的数据集。根据一个实施方案，数据集可基于属性使用对数据中的类型的聚类来求近似。
在框215处，控制单元针对带注释数据集的矢量表示对场景检测操作的运行时属性进行评分。可执行评分来评定场景检测操作使用训练车辆数据集感知车辆传感器数据中的目标对象属性的能力。评分评估场景检测操作在标识车辆传感器数据中的目标对象属性方面的有效性。在一个实施方案中，对场景检测操作的运行时属性进行评分包括确定用于表示车辆训练数据集中未包括的对象类型和对象属性的值。
在一个实施方案中，对场景检测操作的运行时属性进行评分包括确定已知数据集在运行时环境中期间相对于瞬时车辆数据的量度，评分包括将所处理的事件与检测异常进行比较。矢量表示或异常矢量可描述从质心到数据集中每个群集的边界的量度。对于添加到数据集描述中的每个属性，将添加另一个边界条件，这可能限制数据收集。矢量可从网络服务提供给车辆控制单元。
在一个实施方案中，过程200可用于标记感兴趣的数据，以便收集数据(例如，少量数据、片段)并上传到云。标记感兴趣的数据使捕获数据和/或报告数据变得高效。
在一个实施方案中，场景检测操作的有效性是基于训练车辆数据集可处理车辆传感器数据中的目标对象的概率或量度来确定。属性可不同，并且数据集将根据车辆和部署到车辆的发送封装件的不同而不同。在感知世界中，对象被分类成特定类别。某些实施方案可包括使用决策树，其中树的边界是有限的。决策树的神经网络可提供十个类别，并对每个类别赋予编号。例如，可为车辆分配百分比，诸如50％；如果50％是与系统相关联的百分比或度，则证明对象是汽车。对于每个对象，一个异常分数可隔离单个属性。
在框220处，控制单元可基于评分确定训练车辆数据集的事件标记。事件标记标识用于更新训练车辆数据集的参数。根据某些实施方案，过程200可任选地包括：在任选的框225处生成矢量表示。在某些实施方案中，带注释基线数据集的矢量表示和相关联数据可接收到或提供给控制单元。在一个实施方案中，所述带注释数据集的矢量表示为地面实况对象中的多个对象和对象属性提供空间表示，其中所述带注释数据集的所述矢量表示用作比较车辆传感器数据的基准。
控制单元可对场景检测操作和车辆传感器数据中的属性生成矢量表示。根据一个实施方案，矢量表示包括生成模型的一个或多个操作，所述模型诸如表示连续矢量空间中对象的矢量空间模型，其中相似的对象被映射到附近的点。根据一个实施方案，训练车辆集中对象的属性数量与所生成矢量的维数直接相关。生成矢量表示可包括使用训练车辆数据集对车辆传感器数据中的目标对象执行聚类操作，以生成车辆传感器数据的矢量数据模型。例如，诸如K均值聚类的聚类方法可用于对被用来训练用于场景检测的运行时算法的所收集和带注释数据集的“区域”求近似。根据一个实施方案，矢量表示是场景检测操作在标识车辆传感器数据中的目标对象属性方面的有效性的表示。矢量数据模型可表征训练车辆集感知车辆传感器数据中的目标对象的能力。
根据一个实施方案，训练车辆数据集存储在数据存储库(诸如云存储库)中，并且可提供给一个或多个车辆(例如，控制单元)。所得矢量可从聚类生成，以描述用于执行场景操作的数据集。在一个实施方案中，矢量与运行时系统的算法版本同时生成。
根据另一个实施方案，矢量随后在运行时系统中用于基于检测到的目标对象的属性对情景进行评分。过程200可任选地包括：在框215处针对在场景中检测到的对象对矢量表示进行评分。根据另一个实施方案，控制单元可根据场景检测操作使用训练车辆数据集感知车辆传感器数据中的目标对象属性的能力来对矢量表示进行评分。有意义情景可以是基于矢量表示的分数低于预定阈值所标识的数据。事件标记可响应于有意义情景而发出或生成。
根据某些实施方案，过程200可任选地包括：在框230处输出事件标记。在一个实施方案中，事件标记被生成以标识车辆传感器数据的数据范围以及目标对象。在一个实施方案中，事件标记表示被标识为在训练车辆数据集之外的车辆工况。
在某些实施方案中，数据输出段可包括在标识有意义事件之前和之后的一段时间内检测到的目标对象的数据。报告事件标记和情景数据段是对报告所有数据的系统的改进，尤其是在车辆操作持续延长的时间段时。
根据一个示例性实施方案，过程200可包括响应于所标识的有意义情景数据来确定事件标记。操作可基于训练数据集和来自一个或多个传感器(例如，图3的传感器3351-n)的车辆传感器数据的矢量表示。在框205处接收车辆传感器数据可包括从车辆传感器接收数据，包括但不限于图像传感器(例如，录像机)、雷达传感器、激光雷达传感器、加速/运动传感器以及车辆传感器(例如，轮速传感器、胎压监测系统(TPMS)传感器、ABS传感器、横摆/倾斜传感器、稳定性控制传感器等)。传感器数据可由控制单元通过车辆的控制器局域网(CAN)总线接收。在框210处，可使用在框205处接收的传感器数据来运行场景检测操作。
在一个实施方案中，框210处的场景检测操作标识所接收的传感器数据，并且可单独和/或组合地对传感器生成矢量表示。在某些实施方案中，可执行场景检测操作以标识在正常或训练操作范围之外的传感器数据。对于车辆操纵，例如，可在一段时间内检测节气门传感器输出、制动控制(例如，ABS制动系统传感器)、胎压等中的一者或多者。当传感器中的一个或多个具有与事件相关联的输出变化时，可捕获事件之前、期间和之后的传感器数据。当一个或多个传感器输出超出或不同于训练数据集时，可检测到有意义情景。以举例的方式，对于在高速公路驾驶期间以高速行进的车辆，场景检测操作可包括特定车速的训练数据，其中制动、胎压和其他传感器数据在相对范围中。当传感器数据指示偏离情景的预期界限时，诸如车辆以过高的速度控制或操作而无法离开高速公路，如升高的胎压、增加的制动中的一者或多者所指示，车辆传感器数据可指示有意义情景，在所述有意义情景中，训练数据不提供可接受的车辆操作。由于高速公路出口经常不同，因此车辆的训练数据可受益于车辆所捕获的场景和情景。
根据另一个实施方案，当传感器不提供准确的表示时，在框205处检测到的传感器数据可产生有意义情景。以举例的方式，可针对某些操作参数(诸如基于检测到的像素或帧的数量的相机清晰度)来配置车辆的一个或多个传感器。对于诸如低速驾驶的某些驾驶情景，相机分辨率和帧速率对于低速驾驶可能是可接受的，而较高速度操作可能需要增加检测的分辨率或速率。因此，可能检测到的有意义情景可涉及传感器为车辆控制单元提供除一个或多个训练参数之外的数据的能力的指示。响应于运行时属性具有低于预定阈值的分数的标识，可在框220处确定事件标记。以举例的方式，未能以超过50％的确定度标识对象的传感器数据可产生事件标记。在某些实施方案中，当未能以高于预定值的运行时分数标识特定类型的对象时，可生成事件标记。在一个实施方案中，未能对分数高于例如75％的对象的属性(诸如车辆类型)进行分类可产生事件标记。在某些实施方案中，当多个对象或驾驶状况的平均值降低到低于预定阈值时，可确定事件标记。在框230处输出事件标记可包括提供除事件指示之外的传感器数据。对于相机装置，在框230处输出情景可包括传送由车辆控制单元捕获的图像数据和由车辆控制单元标识的对象，作为场景检测操作的一部分。
根据一个实施方案，当情景涉及所检测数据中的模式时，事件标记可涉及未能识别或处理未经训练的模式或模式类型中的偏离的训练数据集。根据一个实施方案，框205处的车辆传感器数据涉及诸如道路标志或道路宽度的模式。模式还可涉及相对于道路的对象，诸如障碍物或骑自行车者。框210处的场景检测操作可从传感器数据检测模式，并且可采用传感器数据的矢量表示来表征车辆相对于模式的操作。可在框215处对场景的运行时属性进行评分，以确定训练数据集感知场景的能力。当训练数据集确实处理模式变化时，可在框220处确定事件标记。以举例的方式，突然改变或产生车道偏移的持续一段时间(诸如100码(例如，300米))的道路标志。类似的实例包括车道障碍物的存在和位置的偏移。未被配置来识别突然改变或模式的偏离的训练数据集可产生事件标记。另一个实例可以是车道障碍物的突然出现。关于可移动或移动的对象，有意义情景可以是似乎要转弯的另一个车辆的操作特性。有意义情景的另一个实例可以是突然朝向控制单元的车辆偏移的正以一定模式/预期轨迹行进的摩托车或骑自行车者的模式。在这样的实例中，一个或多个车辆系统(诸如稳定性控制模块)可生成未能识别和/或未经训练的情景。
图3描绘根据一个或多个实施方案的车辆控制单元的图形表示。根据一个实施方案，车辆包括控制单元305，其可被配置来与一个或多个车辆部件接口连接。根据一个实施方案，控制单元305可被配置来执行本文所描述的一个或多个过程(诸如图2的过程200)和功能。控制单元305可涉及车辆导航单元的控制单元、高级驾驶员辅助系统(ADAS)或自主驾驶(AD)系统。
在一个示例性实施方案中，控制单元305包括用于与车辆部件接口连接的一个或多个元件或模块。图3示出包括控制模块306、场景检测模块307和矢量生成模块308的控制单元305。控制单元305可从接收器310接收车辆的位置数据。一个或多个可执行指令和导航数据(例如，地图数据)可由数据存储装置320存储。输入输出模块320可被配置来接口连接一个或多个其他装置，包括但不限于网络资源。控制单元305可被配置来与车辆系统330(包括但不限于发动机控制单元(ECU))通信。
根据一个实施方案，控制模块306表示控制单元305的可被配置来引导控制单元的操作的一个或多个功能和硬件元件。控制模块306可被配置来接收并利用训练车辆数据集。控制模块306可将一个或多个通信引导到车辆系统330，所述一个或多个通信可包括到车辆总线和被配置来控制车辆操作(例如，制动系统、发光指示器、安全特征等)的电子控制单元中的一者或多者的输出。
根据一个实施方案，场景检测模块307表示控制单元305的可被配置来分析目标对象和车辆操作的一个或多个功能和硬件元件。场景检测模块307可标识一个或多个有意义事件。
根据一个实施方案，矢量生成模块308表示控制单元305的可被配置来生成矢量和针对矢量的一个或多个异常的一个或多个功能和硬件元件。矢量生成模块308可估计训练车辆集对当前驾驶场景或环境的熟悉度。传感器模块308还可接收用于作为车辆系统330的一部分的传感器的与滤波器状态相关的一个或多个控制信号。
根据一个实施方案，原理、过程和装置配置可应用于一个或多个传感器封装件。图3被示出为包括被配置来向车辆系统330提供数据的传感器3351-n。根据一个实施方案，传感器3351-n可涉及与控制单元305相关联的车辆的一个或多个传感器。传感器3351-n可向车辆系统330的CAN总线提供输出，所述输出也可通过CAN总线或其他车辆系统由控制单元305接收。
车辆的传感器通常可包括图像传感器(例如，录像机)、雷达传感器、激光雷达传感器、加速/运动传感器和车辆传感器(例如，轮速传感器、胎压监测系统(TPMS)传感器、ABS传感器、横摆/倾斜传感器、稳定性控制传感器等)、节气门传感器以及车辆传感器中的一者或多者。传感器3351-n的输出可作为车辆传感器数据提供给控制单元305用于处理。
根据一个实施方案，传感器3351-n可涉及一个或多个车辆加速传感器和/或车辆稳定性控制传感器(例如，牵引力控制)。传感器3351-n可包括多个加速传感器(例如，加速度计)和用于横摆、倾斜和转向角的传感器。在某些实施方案中，标识有意义事件可与车辆训练数据集控制相对于道路或弯道的车辆操作的能力相关。如此，评分可生成表示车辆的牵引力控制系统处理道路的能力的客观值。例如，传感器3351-n可从传感器3351-n中的一个或多个生成指示转向不足或转向过度的输出。传感器3351-n可包括车辆加速度计(例如，单轴、多轴)和一个或多个横摆/倾斜传感器，以跟踪通过弯道的车辆位移。在训练数据集用于操作车辆和/或由牵引力控制系统采用的情况下，可确定转向不足和/或转向过度的有意义事件。
图4描绘根据一个或多个实施方案的训练车辆数据集的图形表示。根据一个实施方案，训练车辆数据集是用于训练操作自主车辆和各种类型的辅助驾驶系统的算法的已知训练数据集。图4提供训练车辆数据集相对于理想数据集的示例性图示。
根据一个实施方案，在大多数或所有驾驶场景都得到充分处理的情况下，可获得理想数据集。车辆的理想数据集可取决于车辆的传感器、感测能力、传感器数据等。即使使用改进的传感器，也需要评定系统检测和处理对象和情景的能力。此外，需要标识车辆训练数据集未充分解决的情况。
图4示出已知或现有数据集405相对于理想数据集410的表示。现有数据集405可涉及包括用于训练操作各种类型的自主车辆的算法的已知训练数据集的已知数据集。本文所讨论的过程和操作可使用由一个或多个本地车辆传感器或组合传感器捕获的数据以及随后的测量场景统计信息的实时算法来生成熟悉度度量或矢量(被示出为矢量415)。在一个实施方案中，数据集405的熟悉度基于主车辆所捕获的许多可能的属性和相关联算法来生成。根据一个实施方案，示例性属性可包括但不限于：目标对象的数量、目标对象的分类、目标对象的维度和形状、车道数量、车道类型、车道标志颜色、车道标志形状或划线类型(dashtype)、车辆状态行为(诸如滑移)、车辆位置、影响目标对象和车道可见性的环境条件。可采用这些属性来描述由神经网络使用对已知训练数据集中的已知属性进行聚类的技术生成的一个或多个矢量415的维度。矢量中的一个或多个(诸如矢量415)可在运行时环境中用于检测针对所述矢量的异常。所描述的矢量是运行时算法对其所用于的环境的熟悉度的估计。为了描述前述矢量的一般使用，将矢量生成为描述整个训练数据集的自主车辆控制系统的软件版本的一部分。在一个实施方案中，在运行时期间在作为感知引擎的一部分的自主车辆控制系统中连续地对矢量进行评分。这种评分提供标识有意义或不熟悉情景数据并在先前未提及的数据记录器中标记或记录相关联的数据的方法。
理想数据集410可表示可能无法实现的一组数据。本文所讨论的系统和配置可基于已知的数据集405来操作。异常检测矢量可针对数据集405生成以描述数据集。本文所讨论的过程提供触发机构，其触发尚未在数据集410中呈现的事件或情景。
图5描绘根据一个或多个实施方案的控制单元操作的图形表示。控制单元操作可促进自动标识现有辅助车辆算法不熟悉的新数据。根据一个实施方案，车辆控制单元500可执行用于意义异常检测和验证异常检测中的至少一者的功能。车辆控制单元500可被配置来从数据存储库(诸如云存储库)接收训练车辆数据集501。车辆数据集可提供给车辆以执行场景检测和/或其他操作。
在一个实施方案中，车辆控制单元500包括意义异常检测引擎模块505，其被配置来执行聚类方法(诸如K均值聚类)以对被用来训练运行时算法的所收集且带注释数据集的“区域”求近似。来自异常矢量框510的所得矢量是从聚类生成的，并且用来描述数据集。矢量可与运行时系统的算法版本同时生成。在一个实施方案中，矢量随后在运行时系统中用于基于一个或多个属性对情景进行评分。聚类漏掉的由异常矢量描述的异常将在描述事件的数据收集系统中的事件触发框515处触发标记。根据一个实施方案，此事件对于现有数据集501是有意义的，因为训练运行时间算法对情景不熟悉。
根据一个实施方案，意义异常检测引擎模块505可被训练以检测基线或现有数据集中的异常。例如，基线数据集可用于训练算法以寻找其总体意义，以更好地理解环境。与具有特定情况(诸如穿着小鸡装束的行人)的具体拐角相比，在捕获具有两个车道的平直道路的情况下将得到更多数据。基于基线数据集用户，穿着小鸡装束的人将是异常。
根据另一个实施方案，可在设定的时间段内确定常用模式，诸如从家到办公室的设定路线。如果有一天车辆行驶到另一个位置，那就是路线或路径异常。在某些实施方案中，新路线可以是异常。为了检测异常，可采用车辆传感器来确定对象属性，诸如测量到对象的GPS距离、视野中的对象、距离的速率以及具有其自己的模式的对象。
根据一个实施方案，意义异常检测引擎模块505可查找模式的阈值。矢量可上传或下载到汽车。汽车事件触发器将监视阈值以标识事件。事件标记可以是GPS位置偏离正常模式所引起。在一个实施方案中，可拍摄场景的图片并上传到云。在云服务上，机器将确定是否存在困难情况。
根据一个实施方案，将捕获时段期间捕获的编译事件添加到所得数据集，并在训练过程中循环用于下一个算法版本。然后同样地对新数据集求近似，以更新对象的聚类。
在框520处，验证异常检测引擎从框510接收异常矢量。根据一个实施方案，异常矢量可由验证异常检测引擎模块520用来评定数据集501对场景的瞬时分析的熟悉度。验证异常检测引擎模块520可检测针对来自框510的异常矢量的异常，并生成关于数据集501对场景、情景或车辆传感器数据的熟悉度的报告。
在一个实施方案中，当车辆传感器发生冲突时可生成事件标记。传感器冲突可以是用于触发事件的一种方法(最初是说相机雷达与作为传感器之一的驱动器驱动程序发生冲突)。到方向盘中的驾驶员输入过度补偿触发事件，捕获前30秒，并将其加载到标志中。数据可被收集提供给云服务器的以验证场景是有效场景还是无效场景。
图6描绘根据一个或多个实施方案的相对于已知数据集的操作的图形表示。过程600描述根据一个或多个实施方案的用于车辆系统的操作。在一个实施方案中，过程600涉及执行用于意义异常检测的操作。根据另一个实施方案，过程600涉及异常检测引擎的验证。过程600可涉及意义异常检测引擎模块和验证异常检测引擎模块(例如，图5的意义异常检测引擎模块505和验证异常检测引擎模块520)的一个或多个控制单元操作。
根据一个实施方案，包括多个对象类型和对象属性的基线数据集605可用作已知的训练数据来训练车辆辅助系统的算法(诸如场景检测操作)。在框610处对基线数据集执行聚类量化操作，并且基于框610处生成的数据群集的特性在框615处执行矢量生成操作。聚类量化可包括按类型和属性对对象进行分类和注释的一个或多个操作。作为聚类的结果，具有相似属性的对象可形成群集，所述群集可通过基于矢量的建模来分析。给定已知数据集(诸如基线数据集605)，包括用于训练操作各种类型的自主车辆的算法的已知训练数据集，过程600被配置来在框615处生成熟悉度度量或矢量。一个或多个矢量可被生成来描述来自框610的每个群集的质心，并且产生可由车辆控制单元用来分析所感测的数据和/或基线数据集605的表示。框610和615处的操作可被执行来描述基线带注释数据集605，诸如基线数据集是否包括相似或能够描述所感测的车辆数据的数据。框615处生成的矢量可用于标识具有意义的对象目标或车辆工况。根据另一个实施方案，框610和615可体现为计算机可执行代码，其可部署到车辆以供驾驶员辅助系统使用。根据一个实施方案，属性用于描述在框620处由神经网络使用框610处的对训练数据集605中的已知属性的聚类生成的矢量的维度。
根据另一个实施方案，用于异常检测的操作可由过程600提供。使用在框606处由本地车辆传感器或组合传感器捕获的数据以及随后的测量场景统计的实时算法(诸如框625的感知算法)，可确定基线数据集的熟悉度。过程600包括在框630处对针对异常矢量的属性进行评分。评分可提供标识表征基线带注释数据集605对在框625处检测到的对象的熟悉度的一个或多个值，诸如在一定范围内的百分比或值。评分可基于传感器数据606中提供的由主车辆捕获的许多可能的属性以及在框625处执行的相关联算法。在一个实施方案中，示例性属性可包括但不限于：目标对象的数量、目标对象的分类、目标对象的维度和形状、车道数量、车道类型、车道标志颜色、车道标志形状或划线类型、车辆状态行为(诸如滑移)、车辆位置、影响目标对象和车道可见性的环境条件。框630处的评分可允许标识待标记的有意义或不熟悉的情景数据，或者将相关联的数据记录在车辆的数据记录器或存储单元中。
根据一个实施方案，框630处的评分是基于预定量的可变性进行的。根据一个实施方案，对于用光学方法检测到的对象，某些对象分类可允许可接受的可变性。因此，基于第一对象类别的评分可采用第一量的可变性，而对第二对象类别进行评分可采用第二量的可变性，第二量的可变性不同于第一量的可变性。因此，来自框606的标识行人对象的相机传感器数据相对于标牌对确定意义可具有低阈值，所述标牌通常与一组有限的预先建立的对象集相关联，并且因此对意义具有较高阈值。关于对传感器属性进行评分，评分可评估传感器输出相对于训练传感器范围的差异。在某些实施方案中，框630处的评分被配置来基于传感器数据606评估训练数据集感知驾驶情景的能力。以举例的方式，训练数据集可为基于传感器数据606和矢量生成616的呈现指示、控制车辆单元或激活车辆控制系统(例如，主动制动、节气门控制等)中的一者或多者提供基础。框630处的评分可提供训练数据集处理所感测数据的能力的指示。在一个实施方案中，框630处的评分可相对于传感器数据606为训练数据集产生准确度的百分比和/或值量度中的至少一者。在某些实施方案中，所确定分数可与所生成的标记一起输出，以便更新训练数据集。
根据一个实施方案，由控制单元620执行的操作在运行时环境中采用在框615处生成的矢量来检测针对所述矢量的异常。所描述的矢量是运行时算法对其所用于的环境的熟悉度的估计。为了描述前述矢量的一般使用，将矢量生成为描述整个训练数据集的自主车辆控制系统的软件版本的一部分。在运行时期间在作为感知引擎的一部分的自主车辆控制系统中连续地对矢量进行评分。
在决策框635处，过程600确定检测到的目标对象是否是基线数据集(诸如基线带注释数据集605)的一部分。当对象包括在数据集中时，框630处的评分可反映数据集对所感测目标对象的熟悉度。当目标对象不是基线数据集的一部分时，可在框640处生成用于标识目标对象或事件捕获以检测目标对象的段的事件标记。过程600可包括将框640的事件标记和事件捕获输出到数据存储单元645或网络资源(例如，服务器、云网络)，所述网络资源可用于对基线带注释数据集605进行注释和/或更新。数据存储645中的事件标记和事件捕获还可用于标识独特的对象、对象属性和情景中的一者或多者。
图7A至图7B描绘根据一个或多个实施方案的确定事件标记的图形表示。首先参考图7A，场景700包括车辆705和对象7101-n。根据一个实施方案，车辆705的控制单元可被配置来确定运行时操作(诸如场景操作)和车辆训练数据集对对象7101-n的熟悉程度。属性熟悉度可包括对象7101-n自身的操作、和车辆705的操作。以举例的方式，训练车辆数据集可包括用于标识对象7101-n(诸如全部是车辆)的类型、车辆类型和跟随距离的属性。在车辆在场景700内操作的一段时间期间，车辆705的一个或多个传感器可捕获数据。通过使用训练数据集和车辆传感器数据的矢量表示，可在车辆在场景700中操作的一段时间的一个或多个部分内标识出数据。在一个实施方案中，车辆705可对被标识为在训练车辆数据集之外的车辆705的操作生成和/或输出事件标记。
根据一个实施方案，可基于对象7101-n和训练数据集对图7A中的场景生成事件标记。根据一个实施方案，当多个对象中的一个诸如7101，使用训练数据集可能无法识别。可选地，基于训练数据集对对象7101进行的评分可导致分数或值低于预定阈值。事件标记可导致车辆705生成事件标记并报告检测时间和对象7101的对象属性中的至少一者。事件标记还可在与事件标记相关联的时间段内提供与对象7101相关联的传感器数据，包括在确定事件标记之前的数据和在确定事件标记之后的数据。
参考图7B，场景750包括车辆705和对象760。根据一个实施方案，车辆705的控制单元可被配置来确定运行时操作(诸如场景操作)和车辆训练数据集对对象710760的熟悉程度。对象760涉及突然偏移的车道标志。根据一个实施方案，车辆可检测车道偏移，但训练数据集可能无法有效地或正确地处理车道偏移。车辆控制单元可确定检测到的数据的段(所述段被示出为765)可用于对基线数据集进行更新和注释。
根据一个实施方案，可响应于训练数据集对处理模式变化(诸如段765的车道偏移)的评分来对图7B中的情景生成事件标记。根据一个实施方案，训练数据集可不被配置来使用训练数据集来处理或响应于检测到的车道标志(诸如段765)的模式变化。可选地，基于训练数据集对段765进行的评分可导致分数或值低于预定阈值。事件标记可对段765生成并被报告，并且可包括所述段之前的时间段和对象760的段之后的时间段。根据另一个实施方案，事件标记将不包括对象760的整个段的报告。以此方式，可在事件标志中报告感兴趣的段和训练数据集评分。
虽然已经参考本公开的示例性实施方案具体示出且描述了本公开，但本领域的技术人员将理解，在不脱离所要求保护的实施方案的范围的情况下，可在其中做出各种形式和细节上的改变。

Claims (20)

1.一种用于评估驾驶员辅助系统的训练车辆数据集的方法，所述方法包括：
通过控制单元接收由所述车辆的至少一个传感器捕获的车辆传感器数据，所述车辆传感器数据由车辆的驾驶员辅助系统生成；
通过所述控制单元使用训练车辆数据集对所述车辆传感器数据运行场景检测操作，以标识所述车辆传感器数据中的目标对象属性；
通过所述控制单元针对带注释数据集的矢量表示对所述场景检测操作的运行时属性进行评分，以评定所述场景检测操作使用所述训练车辆数据集感知所述车辆传感器数据中的目标对象属性的能力，其中评分评估所述场景检测操作在标识所述车辆传感器数据中的目标对象属性方面的有效性；以及
通过控制单元基于所述评分来确定所述训练车辆数据集的事件标记，确定所述事件标记是否标识用于更新所述训练车辆数据集的参数和数据样本中的至少一者。
2.如权利要求1所述的方法，其中所述车辆传感器数据包括所述车辆的所述驾驶员辅助系统的检测区的图像、雷达和激光雷达数据中的至少一者。
3.如权利要求1所述的方法，其中对所述车辆传感器数据运行所述场景检测操作基于所述训练车辆数据集中的属性实时标识目标对象，所述训练车辆数据集提供多个对象类型和对象属性。
4.如权利要求1所述的方法，其中所述车辆训练数据集包括已知带注释数据集中的对象类型和对象属性。
5.如权利要求1所述的方法，其中所述带注释数据集的所述矢量表示为地面实况对象中的多个对象和对象属性提供空间表示，并且其中所述带注释数据集的所述矢量表示用作比较车辆传感器数据的基准。
6.如权利要求1所述的方法，其中对所述场景检测操作的运行时属性进行评分包括：确定用于表示所述车辆训练数据集中未包括且未充分表示的对象类型和对象属性的值。
7.如权利要求1所述的方法，其中对所述场景检测操作的运行时属性进行评分包括：确定已知数据集在运行时环境中期间相对于瞬时车辆数据的量度，所述评分包括将所处理的事件与检测到的异常进行比较。
8.如权利要求1所述的方法，其中所述场景检测操作的有效性是基于所述训练车辆数据集能够处理所述车辆传感器数据中的目标对象的概率来确定。
9.如权利要求1所述的方法，其中所述事件标记被生成以标识所述车辆传感器数据的数据范围以及目标对象。
10.如权利要求1所述的方法，其中所述事件标记表示车辆工况，所述车辆工况被标识为与所述训练车辆数据集中的异常具有强相关性。
11.一种车辆控制单元，其包括：
输入端，所述输入端被配置来接收车辆传感器数据；以及
控制单元，所述控制单元耦接到所述输入端，其中所述控制单元被配置来：
接收由所述车辆的至少一个传感器捕获的车辆传感器数据，所述车辆传感器数据由车辆的驾驶员辅助系统生成；
使用训练车辆数据集对所述车辆传感器数据运行场景检测操作，以标识所述车辆传感器数据中的目标对象属性；
针对带注释数据集的矢量表示对所述场景检测操作的运行时属性进行评分，以评定所述场景检测操作使用所述训练车辆数据集感知所述车辆传感器数据中的目标对象属性的能力，其中评分评估所述场景检测操作在标识所述车辆传感器数据中的目标对象属性方面的有效性；并且
基于所述评分来确定所述训练车辆数据集的事件标记，所述事件标记是否标识用于更新所述训练车辆数据集的参数。
12.如权利要求11所述的车辆控制单元，其中所述车辆传感器数据包括所述车辆的所述驾驶员辅助系统的检测区的图像、雷达和激光雷达数据中的至少一者。
13.如权利要求11所述的车辆控制单元，其中对所述车辆传感器数据运行所述场景检测操作基于所述训练车辆数据集中的属性实时标识目标对象，所述训练车辆数据集提供多个对象类型和对象属性。
14.如权利要求11所述的车辆控制单元，其中所述车辆训练数据集包括已知带注释数据集中的对象类型和对象属性。
15.如权利要求11所述的车辆控制单元，其中所述带注释数据集的所述矢量表示为地面实况对象中的多个对象和对象属性提供空间表示，并且其中所述带注释数据集的所述矢量表示用作比较车辆传感器数据的基准。
16.如权利要求11所述的车辆控制单元，其中对所述场景检测操作的运行时属性进行评分包括：确定用于表示所述车辆训练数据集中未包括且未充分表示的对象类型和对象属性的值。
17.如权利要求11所述的车辆控制单元，其中对所述场景检测操作的运行时属性进行评分包括：确定已知数据集在运行时环境中期间相对于瞬时车辆数据的量度，所述评分包括将所处理的事件与检测到的异常进行比较。
18.如权利要求11所述的车辆控制单元，其中所述场景检测操作的有效性是基于所述训练车辆数据集能够处理所述车辆传感器数据中的目标对象的概率来确定。
19.如权利要求11所述的车辆控制单元，其中所述事件标记被生成以标识所述车辆传感器数据的数据范围以及目标对象。
20.如权利要求11所述的车辆控制单元，其中所述事件标记表示车辆工况，所述车辆工况被标识为与所述训练车辆数据集中的异常具有强相关性。
CN201910957245.6A 2018-10-10 2019-10-10 评估驾驶员辅助系统的训练数据集的车辆控制单元和方法 Active CN111038522B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/156,366 US10839263B2 (en) 2018-10-10 2018-10-10 System and method for evaluating a trained vehicle data set familiarity of a driver assitance system
US16/156,366 2018-10-10

Publications (2)

Publication Number Publication Date
CN111038522A true CN111038522A (zh) 2020-04-21
CN111038522B CN111038522B (zh) 2024-02-06

Family

ID=69954499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910957245.6A Active CN111038522B (zh) 2018-10-10 2019-10-10 评估驾驶员辅助系统的训练数据集的车辆控制单元和方法

Country Status (3)

Country Link
US (1) US10839263B2 (zh)
CN (1) CN111038522B (zh)
DE (1) DE102019127190A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287801A (zh) * 2020-10-23 2021-01-29 北京嘀嘀无限科技发展有限公司 车载数据处理方法、装置、服务器和可读存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3084631B1 (fr) * 2018-07-31 2021-01-08 Valeo Schalter & Sensoren Gmbh Assistance a la conduite pour le controle longitudinal et/ou lateral d'un vehicule automobile
EP4033460A1 (en) * 2021-01-22 2022-07-27 Aptiv Technologies Limited Data recording for adas testing and validation
DE102021202333A1 (de) * 2021-03-10 2022-09-15 Robert Bosch Gesellschaft mit beschränkter Haftung Spurgraphen als surrogat für betriebs-/fahrszenarien
DE102022001728B4 (de) 2022-05-17 2024-01-04 Mercedes-Benz Group AG Verfahren zur Entwicklung eines autonomen Fahrsystems eines Fahrzeugs
DE102022126747A1 (de) 2022-10-13 2024-04-18 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zu einer Generierung von Szenariomodellen bei autonomen Fahrvorgängen
CN116909169B (zh) * 2023-09-14 2023-12-19 光轮智能(北京)科技有限公司 运行控制模型的训练方法、运行控制方法、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090268947A1 (en) * 2008-03-31 2009-10-29 Harman Becker Automotive Systems Gimbh Real time environment model generation system
CN103093647A (zh) * 2011-11-08 2013-05-08 奥迪股份公司 用于运行机动车的车辆系统的方法以及机动车
US20140149806A1 (en) * 2011-04-13 2014-05-29 BAR-ILAN UNIVERSITY a University Anomaly detection methods, devices and systems
US20140172226A1 (en) * 2012-12-18 2014-06-19 Honda Research Institute Europe Gmbh Driver assistance system
US20150344028A1 (en) * 2014-06-02 2015-12-03 Magna Electronics Inc. Parking assist system with annotated map generation
CN107042824A (zh) * 2015-10-23 2017-08-15 哈曼国际工业有限公司 用于检测车辆中的意外事件的系统和方法
US20170369073A1 (en) * 2016-06-28 2017-12-28 Volkswagen Aktiengesellschaft Apparatus, system and method for personalized settings for driver assistance systems
US20180053102A1 (en) * 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Individualized Adaptation of Driver Action Prediction Models
US20180086267A1 (en) * 2012-08-20 2018-03-29 Magna Electronics Inc. Event recording system for a vehicle

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10133945A1 (de) 2001-07-17 2003-02-06 Bosch Gmbh Robert Verfahren und Vorrichtung zum Austausch und zur Verarbeitung von Daten
DE102008013366B4 (de) 2008-03-10 2021-06-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Bereitstellung von Information für Fahrerassistenzsysteme
US8605947B2 (en) 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
JP6958001B2 (ja) * 2017-06-09 2021-11-02 トヨタ自動車株式会社 車線変更支援装置
US10614310B2 (en) * 2018-03-22 2020-04-07 Viisights Solutions Ltd. Behavior recognition
US11138745B2 (en) * 2018-04-30 2021-10-05 Uatc, Llc Object association for autonomous vehicles
US11403517B2 (en) 2018-09-27 2022-08-02 Intel Corporation Proximity-based distributed sensor processing

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090268947A1 (en) * 2008-03-31 2009-10-29 Harman Becker Automotive Systems Gimbh Real time environment model generation system
US20140149806A1 (en) * 2011-04-13 2014-05-29 BAR-ILAN UNIVERSITY a University Anomaly detection methods, devices and systems
CN103093647A (zh) * 2011-11-08 2013-05-08 奥迪股份公司 用于运行机动车的车辆系统的方法以及机动车
US20180086267A1 (en) * 2012-08-20 2018-03-29 Magna Electronics Inc. Event recording system for a vehicle
US20140172226A1 (en) * 2012-12-18 2014-06-19 Honda Research Institute Europe Gmbh Driver assistance system
US20150344028A1 (en) * 2014-06-02 2015-12-03 Magna Electronics Inc. Parking assist system with annotated map generation
CN107042824A (zh) * 2015-10-23 2017-08-15 哈曼国际工业有限公司 用于检测车辆中的意外事件的系统和方法
US20170369073A1 (en) * 2016-06-28 2017-12-28 Volkswagen Aktiengesellschaft Apparatus, system and method for personalized settings for driver assistance systems
US20180053102A1 (en) * 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Individualized Adaptation of Driver Action Prediction Models

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287801A (zh) * 2020-10-23 2021-01-29 北京嘀嘀无限科技发展有限公司 车载数据处理方法、装置、服务器和可读存储介质

Also Published As

Publication number Publication date
US10839263B2 (en) 2020-11-17
DE102019127190A1 (de) 2020-04-16
US20200117950A1 (en) 2020-04-16
CN111038522B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
US11688174B2 (en) System and method for determining vehicle data set familiarity
CN111038522B (zh) 评估驾驶员辅助系统的训练数据集的车辆控制单元和方法
US11024165B2 (en) Driver behavior monitoring
EP3644294B1 (en) Vehicle information storage method, vehicle travel control method, and vehicle information storage device
US9665802B2 (en) Object-centric fine-grained image classification
CN107976200B (zh) 操作具有自主驾驶模式的车辆的方法和系统
US9120484B1 (en) Modeling behavior based on observations of objects observed in a driving environment
US11315026B2 (en) Systems and methods for classifying driver behavior
CN114375467B (zh) 用于检测紧急车辆的系统和方法
US20170313297A1 (en) Drive Control System
JP7119365B2 (ja) 運転行動データ生成装置、運転行動データベース
US11520340B2 (en) Traffic lane information management method, running control method, and traffic lane information management device
US9360332B2 (en) Method for determining a course of a traffic lane for a vehicle
US10754344B2 (en) Method and apparatus for road hazard detection
CN114077541A (zh) 验证用于自动驾驶车辆的自动控制软件的方法和系统
US9542605B2 (en) State recognition system and state recognition method
US11645360B2 (en) Neural network image processing
US11562556B1 (en) Prediction error scenario mining for machine learning models
CN113665570A (zh) 自动地感知行驶信号的方法、装置及运载工具
US20210300356A1 (en) Vehicle uncertainty sharing
JP2021082286A (ja) 車線変更の検出を改良するためのシステム、非一時的コンピュータ可読媒体および方法
US11610412B2 (en) Vehicle neural network training
KR20220064407A (ko) 온보드 클러스터 트래킹 시스템
US20230360375A1 (en) Prediction error scenario mining for machine learning models
US20220292888A1 (en) Filtering of operating scenarios in the operation of a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant