CN111016921A - 用于确定车辆数据集熟悉度的系统和方法 - Google Patents

用于确定车辆数据集熟悉度的系统和方法 Download PDF

Info

Publication number
CN111016921A
CN111016921A CN201910957234.8A CN201910957234A CN111016921A CN 111016921 A CN111016921 A CN 111016921A CN 201910957234 A CN201910957234 A CN 201910957234A CN 111016921 A CN111016921 A CN 111016921A
Authority
CN
China
Prior art keywords
vehicle
data
sensor data
trained
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910957234.8A
Other languages
English (en)
Inventor
A.汤普森
H.谭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of CN111016921A publication Critical patent/CN111016921A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及用于识别对象和情景的系统、装置和方法，所述对象和情景尚未经过训练或车辆感知传感器或车辆辅助驾驶系统无法识别。实施例涉及使用经训练的车辆数据集来识别车辆传感器数据中的目标对象。在一个实施例中，提供了一种过程，所述过程包括：对车辆运行场景检测操作以导出所述车辆传感器数据的目标对象属性的矢量；以及生成针对所述场景检测操作和所述车辆传感器数据的所述属性的矢量表示。将所述矢量表示与熟悉度矢量进行比较，以表示所述场景检测操作的有效性。另外，可以对所述矢量表示进行评分，以识别一个或多个目标对象或有效情景，包括无法识别的对象和/或驾驶场景、情景，以便进行报告。

Description

用于确定车辆数据集熟悉度的系统和方法
技术领域
本公开涉及用于辅助和自主驾驶的系统、方法和装置，并且更具体地涉及识别有效数据。
背景技术
正在开发车辆系统以提供对车辆操作的辅助。所述系统可以包括提供反馈和车辆控制。需要用于准确识别对车辆检测系统重要的数据的系统和过程。许多现有系统收集大量难以利用的数据。举例来说，包括多个传感器的车辆系统可在操作期间生成大量数据。因为现有系统通常不加选择地生成并存储数据，所以存在与存储和维护数据相关联的大量成本。除了处理之外，这些系统还需要大规模的数据存储能力。这些系统的缺点可包括无法有效处理数据、存储数据的成本高以及难以识别相关数据。现有系统不提供解释有效数据的配置。结果，现有系统可能受到被存储且无用的数据的阻碍。需要改进用于辅助驾驶的车辆系统的配置并识别有效数据。
发明内容
本文公开并要求保护的是用于车辆感知系统操作的方法、装置和系统。一个实施例涉及通过车辆的控制单元来识别有效情景数据。所述方法包括由控制单元接收由车辆的至少一个传感器捕获的车辆传感器数据。车辆传感器数据由车辆的驾驶员辅助系统生成。所述方法还包括由控制单元使用经训练的车辆数据集来对车辆传感器数据运行场景检测操作，以识别车辆传感器数据的目标对象属性。所述方法还包括由控制单元生成针对场景检测操作和车辆传感器数据的属性的矢量表示，其中所述矢量表示是场景检测操作在识别车辆传感器数据的目标对象属性方面的有效性的表示。所述方法还包括由控制单元基于矢量表示来识别有效情景数据，其中所述有效情景识别车辆传感器数据的至少一个目标对象。
在一个实施例中，车辆传感器数据包括针对车辆的驾驶员辅助系统的检测区的图像、雷达和LiDAR数据中的至少一种。
在一个实施例中，对车辆传感器数据运行场景检测操作基于经训练的车辆数据集的属性而实时生成针对目标对象的经注释的数据集，所述经训练的车辆数据集提供多种对象类型和对象属性。
在一个实施例中，生成矢量表示包括使用经训练的车辆数据集对车辆传感器数据的目标对象执行聚类操作，以生成用于车辆传感器数据的矢量数据模型，所述矢量数据模型表征经训练的车辆数据集感知车辆传感器数据的目标对象的能力。
在一个实施例中，识别有效情景包括确定目标对象是未识别的对象。
在一个实施例中，识别有效情景包括确定经训练的车辆数据属性中的至少一个不能对目标对象进行分类。
在一个实施例中，识别有效情景包括基于下列中的至少一项来确定目标对象相对于经训练的数据集的熟悉度：目标对象的数量、目标对象的分类、目标对象的大小和形状、对象类型和对象颜色。
在一个实施例中，识别有效情景包括将至少一个车辆操作特性确定为相对于驾驶员辅助系统和自主驾驶系统中的至少一个中的目标对象的识别的属性。
在一个实施例中，识别有效情景包括确定车辆驾驶通过的当前场景相对于针对驾驶状况的经训练的车辆数据集的熟悉度。
在一个实施例中，所述方法还包括由控制单元使用经训练的车辆数据集来对关于场景检测操作感知车辆传感器数据的目标对象属性的能力的矢量表示进行评分，并且其中所述有效情景是基于低于预定阈值的矢量表示的得分的识别的数据。
在一个实施例中，所述方法还包括输出车辆传感器数据的至少一个目标对象。
另一实施例涉及一种车辆控制单元，所述车辆控制单元包括被配置为接收车辆传感器数据的输入端，以及耦合到该输入端的控制单元。控制单元被配置为接收由车辆的至少一个传感器捕获的车辆传感器数据，所述车辆传感器数据由车辆的驾驶员辅助系统生成。控制单元还被配置为使用经训练的车辆数据集来对车辆传感器数据运行场景检测操作，以识别车辆传感器数据的目标对象属性。控制单元还被配置为生成针对场景检测操作和车辆传感器数据的属性的矢量表示，其中所述矢量表示是场景检测操作在识别车辆传感器数据的目标对象属性方面的有效性的表示。控制单元还被配置为基于矢量表示来识别有效情景数据，其中所述有效情景识别车辆传感器数据的至少一个目标对象。
鉴于以下对实施例的详细描述，其他方面、特征和技术对于相关领域的技术人员将是显而易见的。
附图说明
根据下面结合附图进行的详细描述，本公开的特征、目的和优点将变得更加明显，在附图中，相同的参考符号始终对应地进行标识，并且其中：
图1A-1B描绘了根据一个或多个实施例的情景数据的图形表示；
图2描绘了根据一个或多个实施例的控制单元操作的过程；
图3描绘了根据一个或多个实施例的车辆控制单元的图形表示；
图4描绘了根据一个或多个实施例的经训练的车辆数据集的图形表示；
图5描绘了根据一个或多个实施例的控制单元操作的图形表示；
图6描绘了根据一个或多个实施例的相对于已知数据集的操作的图形表示；和
图7描绘了根据一个或多个实施例的对象属性的图形表示。
具体实施方式
概述和术语
本公开的一个方面涉及识别由车辆系统检测的有效数据，特别是辅助或自主驾驶系统。在一个实施例中，识别有效数据包括识别对用于检测对象的现有配置而言不熟悉的数据。除非另有说明，否则提供系统、配置和过程，以识别由车辆系统感知的经训练的数据集中的未被充分表示或全新的对象、对象属性和情景中的至少一项。识别有效和/或未被充分表示的数据是本文讨论的配置和操作的一种示例性使用。实施例还涉及对车辆数据集中的异常的检测和表征。如本文所用，可以使用经训练的车辆数据集来确定相对于车辆传感器数据的一个或多个异常。在一些情况下，经训练的车辆数据集不能识别或分类检测到的对象。举例来说，一个或多个车辆传感器可以提供识别对象的存在和/或位置的输出，其中所述对象可能不匹配经训练的数据集的对象类型或者不能由经训练的数据集的对象类型表示。在其他实施例中，车辆传感器数据可能与检测到的对象冲突。未能识别或分类对象可能是由于车辆用于感知场景的经训练的数据集的数据或参数不足。
如本文所用，辅助驾驶可以指下列中的至少一项：提供指示、捕获数据、控制车辆的操作、激活车辆系统，以及通常用于有驾驶员和/或无人驾驶的受控车辆的车辆控制操作。辅助驾驶可以涉及高级驾驶员辅助系统(ADAS)或自主驾驶(AD)系统的一个或多个功能。辅助驾驶操作可以包括车道变换辅助、停车辅助、制动控制等。辅助驾驶还可以指用于自主驾驶系统和车辆的系统和操作。辅助驾驶系统可以涉及包括至少一个传感器以检测对象或车辆操作状况的车辆系统、控制单元以及用于控制车辆的一个或多个车辆系统。可以从至少一个传感器确定对象和车辆数据，所述至少一个传感器包括但不限于图像传感器(例如，视频)、雷达传感器、LiDAR传感器、加速度/运动传感器和车辆传感器(例如，车轮速度传感器、轮胎压力监测系统(TPMS)传感器、ABS传感器、偏航/俯仰传感器、稳定性控制传感器等)。根据一个实施例，辅助驾驶系统可以使用基线数据(诸如经训练的数据集)来操作，以检测目标对象(例如，其他车辆、车道标记、障碍物等)，驾驶状况(例如，制动状况、车辆滑动、与其他车辆/对象的距离等)和/或情景。基线数据可以包括一个或多个已识别的对象类型和对象属性。基线数据还可以包括对象的情景数据和对象布置。例如，可以检测车道标记的模式以发出车道合并或道路弯曲的信号。如本文将讨论的，对象、对象属性和场景数据可以是可以被识别和表征的情景的一部分。本文描述的系统、方法和配置可以包括用于在各种条件或场景(例如，白天、夜晚、弱光、天气相关等)中进行现实部署的车辆系统。另外，系统和方法可以在运行时间期间(例如，在执行程序时)执行以供车内使用。
根据本公开的另一方面，实施例涉及用于分析车辆传感器数据的事件捕获和操作。捕获大量数据的车辆系统的一个问题是识别有效数据。实施例涉及将有效数据合并到经训练的车辆数据集中。有效数据可用于确定捕获事件和数据段，增强基线数据集与现实世界的相似性，以及确定总体上检测到的场景数据是否有效。
在一个实施例中，过程包括生成经训练的数据集或经注释的基线数据的矢量表示。在其他实施例中，过程包括生成车辆传感器数据的矢量表示。矢量表示可以基于系统的模型数据，并且可以用于确定系统使用经训练的数据集来识别对象的有效性和/或经训练的数据集的有效性。生成矢量表示可以包括由车辆控制器执行一个或多个操作。在一个实施例中，矢量表示允许确定异常矢量。异常矢量可用于识别对系统有效的对象或情景。
在一个实施例中，过程包括将经训练的数据集的矢量表示(诸如熟悉度矢量)与针对从车辆的至少一个感知传感器检测到的目标对象属性而导出的矢量进行比较。
根据一个实施例，可以采用矢量表示来基于对象类型、对象属性、对象模式和场景的矢量表示来确定有效情景。举例来说，对象类型的矢量表示可以识别与用于识别对象的数据集的参数不匹配的对象，或不能利用所述参数来识别的对象。在一个实施例中，在检测目标对象并将其分类为对象的情况下，对象属性可能是有效的。目标对象可以包括由控制装置识别但不能充分处理的一个或多个属性，因此所述一个或多个属性可能是有效的。在另一个实施例中，诸如车道标记、停车情况模式、针对停止和通行的制动模式等的对象模式的矢量表示可以由模式的矢量表示来处理。与数据集的模式不同的情况、或者包括模式的驾驶情况、与模式的偏差可以被识别为有效。可以从车辆传感器数据针对目标对象属性导出一个或多个矢量表示。可以基于一个或多个参数来为场景生成矢量表示。对于相对于其他对象(例如其他车辆)的驾驶场景，可以检测其他车辆和包括控制单元的车辆的移动，以识别包括控制单元的车辆的有效情景，例如车辆没有经过适当的训练来进行处理的交通模式。替代地，情景可以涉及基于天气(例如，下雨、下雪、起雾等)、道路条件(例如，铺设、未铺设、低牵引力等)、照明条件(例如，低照度)的驾驶状况，以及车辆的操作情景。
根据一个实施例，识别有效情景包括识别至少一个目标对象。如果经训练的车辆数据不足以表征或确定检测到的对象的类型，则目标对象可能是有效的。如果经训练的车辆数据的一个或多个属性未充分识别对象，则目标对象可能是有效的。可以基于车辆操作来检测有效情景。
根据另一实施例，可以通过将场景检测操作的矢量表示与经训练的数据集(例如经训练的车辆数据集)的熟悉度矢量进行比较来识别有效情景。
根据一个实施例，识别有效情景包括检测一个或多个车辆操作状况。可以基于车辆数据，例如失去牵引力或快速减速事件(例如，制动事件)，来确定车辆操作状况。在其他实施例中，车辆操作状况可以是相对于识别到的对象而言。举例来说，对象(诸如在同一向上行驶的车辆或在车辆前方的车辆)的检测可用于情景的检测。
根据一个实施例，车辆的控制单元被配置为识别有效情景数据。提供过程和装置配置以识别从一个或多个车辆传感器检测到的有效情景数据。因此，可以在运行时期间检测有效车辆数据。另外，还可以评估车辆训练数据和车辆系统检测对象和驾驶配置的能力。在一个实施例中，车辆控制单元包括配置为接收车辆传感器数据的至少一个输入端，以及耦合到该输入端的控制单元。控制单元可以是车辆控制系统的一部分，诸如辅助驾驶单元或自主驾驶模块。控制单元可以被配置为接收车辆传感器数据并执行一个或多个操作，以评估与车辆相关联的场景和/或一个或多个操作特性。如下面将更详细讨论的，控制单元可以采用矢量表示来处理车辆传感器数据的属性。
本文描述的过程和装置配置可以避免报告系统容易处理的数据。报告有效数据(例如有效对象)优选地限制必须进行处理以评估经训练的车辆数据集的数据。本文描述的过程和装置配置允许车辆控制单元识别有效或相关对象并捕获数据以供进一步分析。这些操作允许车辆辅助系统连续逼近期望的参数数据集，同时限制和/或避免对人工检查的需求。
如本文所用，术语“一个”或“一种”应意指一个/种或多于一个/种。术语“多个/种”应意指两个/种或多于两个/种。术语“另一个/种”被定义为第二个/种或更多个/种。术语“包括”和/或“具有”是开放式的(例如，包含)。如本文所用的术语“或”应被解释为包含性的或意指任何一个或任何组合。因此，“A、B或C”表示“下列中的任何一项：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤、或者动作的组合在某种方式上固有地相互排斥时，该定义才存在例外。
贯穿本文档对“一个实施例”、“某些实施例”、“实施例”或类似术语的提及意指结合该实施例所描述的特定特征、结构或特性被包括在至少一个实施例中。因此，贯穿本说明书在各个地方出现这种短语未必全部是指同一实施例。此外，特定特征、结构或特性可在一个或多个实施例中以任何适合的方式组合而不受限制。
示例性实施例
图1A-1B描绘了根据一个或多个实施例的情景数据的图形表示。根据一个实施例，本文描述的系统、配置和过程涉及车辆系统。图1A-1B描绘了与车辆105和多个对象相关联的场景100的示例性情景的图形表示。场景100可以涉及特定的位置或时间段，其中对象和/或一个或多个车辆特性的存在允许车辆105的传感器检测一个或多个对象。根据一个实施例，车辆105可包括一个或多个传感器，以基于经训练的车辆数据来检测对象。举例来说，对于场景100中存在的对象，车辆105被配置为解释车辆传感器数据，以检测对象中的一个或多个。在某些实施例中，车辆传感器数据可以与诸如图像传感器(例如，摄像头)的一个装置或一种类型的装置相关。因此，车辆105可以使用来自感测图像数据的经训练的车辆数据来识别一个或多个目标对象。根据其他实施例，车辆105可以包括多个感测装置，所述多个感测装置生成多种类型的传感器输出，包括图像、接近度感测、雷达和LiDAR中的一种或多种。
车辆105可以被配置为使用经训练的车辆数据来检测和分类多种对象类型和情景，诸如制动事件或车道偏移。本文讨论的实施例可以评估经训练的车辆数据集何时不足以检测或处理目标对象。举例来说，车辆105可以检测对象，但是不能识别或确定如何响应于对象来控制车辆105。其他实施例可以使用经训练的数据集来评估车辆对对象的熟悉度。以这种方式，虽然实施例可以采用特定传感器类型和/或目标对象属性，但是本文讨论的系统、过程和配置可以利用一个或多个不同传感器配置或车辆训练数据集来检测异常。此外，本公开的原理也可以应用于车辆的不同传感器配置。
图1A描绘了包括可由一个或多个单元(例如车辆105的控制单元)检测和识别的对象的示例性场景。在图1A中，场景100包括具有一个或多个示为110和111的检测区域的车辆105，所述检测区域通常是指车辆105的前进方向的检测区域110和后向方向的检测区域111。检测区域110和111相对于车辆105的一个或多个方向示出，其可以在经训练的车辆数据集中得到评估和/或加以考虑。根据一个实施例，车辆105的一个或多个传感器可以检测相对于车辆的检测区域的对象，包括车辆的前、后和横向区域的对象。场景100可以涉及示例性情景或车辆感兴趣的场景类型。另外，车辆105检测到的每个场景都可以与对象类型、对象的数量、对象的位置、对象的移动等中的一项或多项相关联。根据另一实施例，每个场景都可以与车辆的操作特性和其他车辆的操作特性中的至少一项相关联。根据示例性实施例，场景100包括行人120、车道标记125和130、车辆135和道路边界140。
车辆105不仅可识别目标对象的类型，例如行人或乘用车辆，而且还可利用对象的一个或多个属性来表征目标对象。属性和对象类型可以存储在经注释的基线数据或经训练的车辆数据中，其可以由车辆105的控制单元用于识别对象并且在一些情况下控制车辆105。在示例性实施例中，车辆105可以检测车道标记125和130以及与每个目标相关联的一个或多个属性。举例来说，车辆105可以检测位置、间隔、颜色、转向以及一个或多个附加属性以检测车辆可能感兴趣的情景。在某些情况下，例如在高速公路上驾驶，可以训练车辆105来检测和处理在长时间内以基本上直线的方式出现的车道标记125和130。车辆105的辅助系统可以使用对对这些属性的识别来保持在车道标记125和130内。如本文将讨论的，用于目标对象(例如车道标记125和130)的感测车辆数据的矢量表示可用于识别经训练的车辆数据不足以处理目标对象的情景，例如车道标记125和130的位置突然偏离，或道路140的变窄。除了事件捕获之外，配置还涉及确定何时以及什么类型的车辆传感器数据未充分包括在经训练的车辆数据中。因此，提供了用于识别感兴趣的目标对象，感兴趣的情景和由车辆收集的数据范围中的至少一项的配置。
在又一个实施例中，提供了报告目标对象和感兴趣的情景中的一项或多项的配置。根据一个实施例，车辆105可以被配置为与通信网络115通信，以与诸如服务器之类的一个或多个网络资源进行数据交换，以共享目标对象和情景。在某些实施例中，可使用网络资源来响应于报告的对象或情景，提供对由车辆105使用的经训练的车辆数据的更新。
另一个实施例涉及将车辆105报告的数据减至最少。被配置用于辅助或自主驾驶的车辆可能会记录大量数据。虽然可以将车辆数据记录并存储在车辆记录装置中以跟踪车辆操作，但是可能存在许多报告的车辆数据不是所需要的情况。例如，当车辆105可以基于经训练的车辆数据集充分处理情景或场景时，可能不需要报告。参考上述在高速公路上驾驶的示例，在车道标记125和130之间，对于一段长距离(例如，大约一英里/公里)，可能不需要报告以及稍后处理数据和情景。实际上，报告和处理车辆操作后的数据可能需要大量数据存储以及需要财务支出的实际手工作业。在某些情况下，需要不报告已被充分处理的车辆传感器数据的配置。
另一个实施例包括识别车辆控制单元未知或未正确分类的目标对象或情景。举例来说，车辆105可能会检测到几个行人，例如行人120，或者几台车辆，例如车辆135，其中经训练的车辆数据集的属性可以解释实际对象的差异，同时仍然能够将对象分类到正确的对象类型和/或适当的对象属性。然而，在一些情况下，经训练的车辆数据集可能无法准确地或充分地识别对象或情景。图1A将有效情景145描绘为问号，因为车辆传感器数据可能识别出情景145与使用经训练的车辆数据集不能理解的目标对象或车辆状况相关联。例如，当对象、对象属性和驾驶状况中的一项或多项相对于检测到的传感器数据的矢量表示超过一定程度或阈值时，经训练的数据集可能不能使用经训练的数据集来理解目标对象。本文讨论的操作和配置针对各种未识别的情景。
关于目标对象，情景145可能涉及未识别的对象。换句话说，情景145可能涉及由车辆105检测到但对车辆而言未知的对象。举例来说，如果情景145涉及穿着鸡形套装(或其他服装)的人，则车辆105使用的经训练的车辆数据集的属性可能无法识别该对象，因为鸡形套装可能会导致不包括行人对象类型属性的特性。或者可能鸡形套装可能与两种不同对象类型的对象属性相关联，从而导致冲突。情景145的另一种对象类型示例可能涉及检测到罕见的对象，例如由车辆105检测到的奇形怪状的卡车(例如，具有极大轮胎以及可能具有烟花图案的车辆)。经训练的车辆数据集中的车辆的目标对象类型的属性通常将针对乘用车辆，检测到的奇形怪状的卡车可能是感兴趣的情景。感兴趣的情景可以被表征为值得由车辆105进行报告。情景145可以涉及车辆操作特性，例如突然操纵(例如，滑动、失去牵引力)或车辆控制(例如，制动)。在典型的高峰时段，车辆操作员(或自主系统)可能会猛踩制动器。在一些情况下，在特定时间和/或特定路线/路段上，对于特定车辆而言，在靠近其他车辆的情况下，反复制动可能是正常的。然而，在其他情况下，突然或反复制动或其他车辆操作状况可能是值得报告的情景，例如情景145。举例来说，可以不训练用于辅助制动或自主驾驶的经训练的车辆数据集来保持适当的间隔距离。因此，提供系统、装置和车辆配置，用于识别相对于经训练的车辆数据集的感兴趣的情景。
关于对象类型和情景，本公开的原理还可以应用于评估车辆辅助驾驶单元作为整体对于各种情景的熟悉度。在天气较差或其他情况出现时，在宜人的天气条件下在道路上训练的辅助驾驶系统可能会遇到困难。天气、雪或其他降水的存在以及甚至失去抓地力可以是评估经训练的车辆数据集时考虑的属性。
图1B示出了相对于时间线的示例性对象段。关于报告，车辆(例如，车辆105)的控制单元可以被配置为报告由车辆捕获的有效对象和数据段中的至少一项。在一些情况下，报告目标对象可以使得车辆更好地理解不熟悉的行人，例如穿着鸡形套装的人。在其他情况下，可以报告针对目标对象之前和之后的一段时间的所有目标对象和属性。图1B示出了相对于时间轴155的，且感兴趣的段160的场景数据150。报告时，可以相对于识别的目标对象和属性来识别段160。如下面将更详细讨论的，可以响应于场景检测操作来报告诸如车辆传感器数据之类的数据段，以识别有效情景或对象。图1B是段160的示例性表示，其中段之前的对象(例如车辆165)将从报告中排除。在一个实施例中，报告对象段目标包括报告有效情景数据之前的对象，例如情景180之前的行人170，以及情景之后的对象，例如车辆175。本文的实施例可以简单地报告情景180，和/或报告包括对象170和175以及情景180的段160。
尽管图1A-1B描绘了可以检测到的示例性场景和对象/情景的段，但是，这里提供了用于识别有效数据和情景的实施例。
图2描绘了根据一个或多个实施例的用于识别有效情景数据的过程。过程200可以由控制单元(例如，图3的控制单元305)执行。根据一个实施例，过程200包括：在框205处接收由车辆的至少一个传感器捕获的车辆传感器数据；在框210处运行场景检测操作；以及在框215处生成场景的矢量表示。可以在框220处识别出有效情景。过程200可以由车辆的控制单元(例如导航控制单元)执行。控制单元可以被配置为接收车辆的定位数据，例如全球定位数据(例如，GPS)。控制单元还可以存储与车辆位置相关联的一个或多个地理区域的地图数据。在某些实施例中，控制单元被配置为接收道路信息服务，例如与地图数据的路线相关联的交通和天气。道路和诸如天气之类的条件信息可以包括在经训练的车辆数据集的一个或多个属性中。
根据一个实施例，过程200可以基于经训练的车辆数据集。举例来说，经训练的车辆数据集可以包括来自高级驾驶员辅助系统(ADAS)或自主驾驶(AD)系统的经注释的训练数据集，所述经注释的训练数据集包含基于针对地面实况的若干属性的原始传感器数据。车辆传感器可以包括针对视频、雷达和LiDAR中的一种或多种的数据，作为用于注释的地面实况。地面实况数据为系统提供了可感知的对象类型和属性。过程200可以用于在运行期间提取和使用驾驶员辅助系统操作参数(例如，算法，过程等)以评估对其本身的基线数据集的熟悉度，以识别和标记，从而捕获异常。此捕获将用于通过更新基线数据集来更新后续版本中的运行时算法的训练。
在框205处，可以接收来自车辆的一个或多个传感器的车辆传感器数据。举例来说，车辆传感器数据由车辆的驾驶员辅助系统生成，并且特别是由与驾驶员辅助系统相关联或包括在驾驶员辅助系统中的一个或多个传感器生成。根据一个实施例，车辆传感器数据包括针对车辆的驾驶员辅助系统的检测区的图像、雷达和LiDAR数据中的至少一种。车辆传感器数据还可以表征车辆和相对于车辆的一个或多个其他车辆的操作，以包括用于相对于车辆的驾驶距离，车辆数量，车辆类型等的数据。
在框210处，控制单元使用经训练的车辆数据集来对车辆传感器数据运行场景检测操作，以识别车辆传感器数据的目标对象属性。在一个实施例中，对车辆传感器数据运行场景检测操作基于经训练的车辆数据集的属性而实时生成针对目标对象的经注释的数据集。举例来说，场景检测操作不仅能识别目标对象，而且还执行使用经训练的车辆数据集来感知对象的操作。经训练的车辆数据集可以提供多种对象类型和对象属性。在210处，场景检测操作可以生成表征相对于车辆的场景的数据集。根据一个实施例，可以使用基于属性的对数据类型的聚类，来对数据集进行逼近。
根据另一实施例，在框210处，控制单元对车辆传感器数据运行场景检测操作，以导出车辆传感器数据的目标对象属性的矢量。在一个实施例中，目标对象属性的矢量表征相对于车辆的场景，包括由至少一个感知传感器生成的数据。
在框215处，控制单元可以被配置为将场景检测操作的矢量表示与经训练的数据集的熟悉度矢量进行比较。[发明人注意：请描述经训练的数据集的熟悉度矢量，以及如何将熟悉度矢量与场景检测操作的矢量表示进行比较]
在框215处，控制单元可以包括生成场景检测操作的矢量表示和车辆传感器数据的属性。根据一个实施例，矢量表示包括一个或多个操作以生成场景的数据模型，例如表示连续矢量空间中的对象的矢量空间模型，其中相似的对象被映射到附近的点。根据一个实施例，经训练的车辆数据集中的对象的属性数量直接与所生成的矢量的维度数量相关联。生成矢量表示可以包括使用经训练的车辆数据集对车辆传感器数据的目标对象执行聚类操作，以生成车辆传感器数据的矢量数据模型。例如，诸如K均值聚类之类的聚类方法可以用于对收集和注释的数据集的用于训练用于场景检测的运行时算法的“区域”进行逼近。根据一个实施例，矢量表示是场景检测操作在识别车辆传感器数据的目标对象属性方面的有效性的表示。矢量数据模型表征经训练的车辆数据集感知车辆传感器数据的目标对象的能力。
根据一个实施例，经训练的车辆数据集存储在诸如云存储库之类的数据存储库中，并且可以被提供给一个或多个车辆(例如，控制单元)。可以从聚类生成合成矢量以描述用于执行场景操作的数据集。在一个实施例中，矢量与运行时系统的算法版本同时生成。
根据另一实施例，然后在运行时系统中使用矢量，以基于检测到的目标对象的属性来对情景进行评分。过程200可以可选地包括在框225处对矢量表示进行评分。根据一个实施例，控制单元可以使用经训练的车辆数据集来对关于场景检测操作感知车辆传感器数据的目标对象属性的能力的矢量表示进行评分。有效情景可以是基于低于预定阈值的矢量表示的得分的识别的数据。
在框220处，控制单元可以基于矢量表示来识别有效情景数据。有效情景识别车辆传感器数据的至少一个目标对象。根据一个实施例，避开由矢量描述的聚类的异常将触发数据收集系统中的描述事件的标记。由于训练的运行时算法不熟悉该情景，因此每个事件都可以被认为对于现有数据集是有效的。在捕获时段期间捕获的汇编事件被添加到所产生的数据集中，并循环通过针对下一个算法版本的训练过程。然后，再次对新数据集进行逼近，以更新聚类。
根据一个实施例，识别有效情景包括确定目标对象是未识别的对象。未识别的对象，例如穿着鸡形套装的人，奇形怪状的卡车或不明飞行物(例如，无人驾驶飞机，一般而言的飞行物)可被归类为未识别且需报告的对象。在某些情况下，网络资源可能会审核报告的目标对象或段。通过提供未识别对象的报告，审核系统可以将资源集中在使用经训练的数据集无法识别的对象上。
根据另一实施例，识别有效情景包括确定经训练的车辆数据属性中的至少一个不能对目标对象进行分类。在这种情景下，对象可能与目标对象类别相关联，也可能不相关；然而，目标对象的一个或多个特征或属性可能不会被经训练的车辆数据集分类。因此，可以添加或修改对象属性以基于新参数来对对象进行分类。
根据另一实施例，识别有效情景包括基于下列中的至少一项来确定目标对象相对于经训练的数据集的熟悉度：目标对象的数量、目标对象的分类、目标对象的大小和形状、对象类型和对象颜色。在某些实施例中，对基于先前检测到的目标对象的多个属性，可以将属性存储在经训练的车辆数据集中。
根据另一实施例，识别有效情景包括将至少一个车辆操作特性确定为相对于驾驶员辅助系统和自主驾驶系统中的至少一个中的目标对象的识别的属性。在某些实施例中，在经训练的车辆数据集中提供属性以用于车辆的传感器配置。在示例性实施例中，属性可以基于在车辆辅助系统或自主车辆中使用的前置摄像头，以将数据引入车辆的中央计算平台。
过程200可以可选地包括在框230处输出目标对象和/或情景。输出有效情景数据可以包括一个对象、多个对象和数据段的输出。在某些实施例中，数据输出的段可以包括在识别有效事件之前和之后的时段中检测到的针对目标对象的数据。报告有效情景数据是对报告所有数据的系统的改进，尤其是当车辆长时间运行时。
根据示例性实施例，过程200可以包括基于经训练的数据集和来自一个或多个传感器(例如，图3的传感器3351-n)的车辆传感器数据的矢量表示来识别有效情景数据。在框205处接收车辆传感器数据可以包括接收来自车辆传感器的数据，车辆传感器包括但不限于包括但不限于图像传感器(例如，视频)、雷达传感器、LiDAR传感器、加速度/运动传感器和车辆传感器(例如，车轮速度传感器、轮胎压力监测系统(TPMS)传感器、ABS传感器、偏航/俯仰传感器、稳定性控制传感器等)。传感器数据可以由控制单元通过车辆的控制器局域网(CAN)总线接收。在框205处接收到的传感器数据可用于在框210处运行场景检测操作。
在一个实施例中，框210处的场景检测操作识别所接收到的传感器数据，并且可以单独地和/或组合地为传感器生成矢量表示。在某些实施例中，可以执行场景检测操作以识别在正常或训练的操作范围之外的传感器数据。对于车辆操纵，例如，可以在一段时间内检测节气门传感器输出、制动控制(例如，ABS制动系统传感器)、轮胎压力等中的一项或多项。当一个或多个传感器具有与事件传感器数据相关联的输出的变化时，可以捕获事件之前、期间和之后的事件传感器数据。当一个或多个传感器输出超过或不同于经训练的数据集时，可以在框220处检测有效情景。举例来说，对于在高速公路上高速行驶的车辆，场景检测操作可以包括针对特定车辆速度的训练数据，其中制动、轮胎压力和其他传感器数据处于相对范围内。当传感器数据指示对于情景而言偏离预期界限时，例如车辆被控制或操作得速度对于离开高速公路而言太高时，如由轮胎压力升高、制动增多中的一项或多项所指示的，车辆传感器数据可指示经训练的数据不能提供可接受的车辆操作的有效情景。由于高速公路出口常常不同，因此车辆的训练的数据可受益于由车辆捕获的场景和情景。
根据另一实施例，在传感器不提供准确表示时，在框210处检测到的传感器数据可以得到有效情景。举例来说，可以针对某些操作参数，例如基于检测到的像素或帧的数量的摄像头清晰度来配置车辆的一个或多个传感器。对于某些驾驶情景，例如低速驾驶，摄像头分辨率和帧速率对于低速驾驶可为可接受的，而高速操作可能需要提高检测分辨率或速率。因此，可以在框220处检测有效情景，这可能涉及传感器能够提供数据以及车辆控制单元的一个或多个训练参数的指示。除了事件的指示之外，在框230处输出情景还可以包括提供传感器数据。对于摄像装置，作为场景检测操作的一部分，在框230处输出情景可以包括发送捕获的图像数据和由车辆控制单元识别的对象。
根据一个实施例，当情景涉及检测到的数据的模式时，事件有效性可能与未训练的模式或模式类型的偏离有关。根据一个实施例，框205处的车辆传感器数据涉及模式，例如道路标记或道路宽度。模式还可以涉及相对于道路的对象，例如障碍物或骑自行车者。框210处的场景检测操作可以从传感器数据检测模式，并且可以采用传感器数据的矢量表示来表征车辆相对于模式的操作。当接收到的模式的传感器数据改变时，可以在框220处检测有效情景。举例来说，持续一段时间例如100码(例如，300米)的道路标记突然改变或导致车道偏移。类似的示例包括存在车道障碍物，然后发生位移。另一个示例可能是突然出现的车道障碍物。关于可移动或正在移动的对象，有效情景可能是看起来是正在转向的另一车辆的操作特性。有效情景的另一示例可以是以某一模式/预期轨迹行进的摩托车或自行车突然向控制单元所属的车辆偏移的模式。在这种情况下，诸如稳定性控制模块的一个或多个车辆系统可以生成未被识别和/或未被训练的情景。
根据一个实施例，过程200可以包括通过确定车辆正在操作的当前场景相对于针对至少一种驾驶状况的经训练的车辆数据集的熟悉度来识别有效情景。可以在框220处通过表征接收到的模式的传感器数据何时改变来检测有效情景。
图3描绘了根据一个或多个实施例的车辆控制单元的图形表示。根据一个实施例，车辆包括控制单元305，所述控制单元可以被配置为与一个或多个车辆部件接合。根据一个实施例，控制单元305可以被配置为执行本文描述的一个或多个过程和功能，例如图2的过程200。控制单元305可以涉及车辆导航单元、高级驾驶员辅助系统(ADAS)或自主驾驶(AD)系统的控制单元。
在示例性实施例中，控制单元305包括用于与车辆部件接合的一个或多个元件或模块。图3示出了包括控制模块306、场景检测模块307和矢量生成模块308的控制单元305。控制单元305可以接收来自接收器310的车辆的位置数据。一个或多个可执行指令和导航数据(例如，地图数据)可以由数据存储器320存储。输入输出模块320可以被配置为与一个或多个其他装置(包括但不限于网络资源)接合。控制单元305可以被配置为与车辆系统330(包括发动机控制单元(ECU))通信。
根据一个实施例，控制模块306表示控制单元305的可以被配置为指导控制单元的操作的一个或多个功能和硬件元件。控制模块306可以被配置为接收和利用经训练的车辆数据集。控制模块306可以将一个或多个通信引导到车辆系统330，所述通信可以包括到车辆总线和电子控制单元中的一个或多个的输出，所述电子控制单元被配置为控制车辆操作(例如，制动、发光指示器、安全特征等)。
根据一个实施例，场景检测模块307表示控制单元305的可以被配置为分析目标对象和车辆操作的一个或多个功能和硬件元件。场景检测模块307可以识别一个或多个有效事件。
根据一个实施例，矢量生成模块308表示控制单元305的可以被配置为生成矢量和有关矢量的一个或多个异常的一个或多个功能和硬件元件。矢量生成模块308可以估计经训练的车辆数据集对于当前驾驶场景或环境的熟悉度。矢量生成模块308还可以接收作为车辆系统330的一部分的传感器的与滤波器状态有关的一个或多个控制信号。
根据一个实施例，原理、过程和装置配置可以应用于一个或多个传感器封装件。图3被示为包括传感器3351-n，这些传感器被配置为向车辆系统330提供数据。根据一个实施例，传感器3351-n可以涉及车辆的与控制单元305相关联的一个或多个传感器。传感器3351-n可以向车辆系统330的CAN总线提供输出，该输出也可以由控制单元305通过CAN总线或其他车辆系统接收。
车辆的传感器可包括图像传感器(例如，视频)，雷达传感器，LiDAR传感器，加速度/运动传感器和车辆传感器(例如，车轮速度传感器、轮胎压力监测系统(TPMS)传感器、ABS传感器、偏航/俯仰传感器、稳定性控制传感器等)、节气门传感器和一般车辆传感器中的一个或多个。传感器3351-n的输出可以作为车辆传感器数据提供给控制单元305以进行处理。
根据一个实施例，传感器3351-n可以涉及一个或多个车辆加速度传感器和/或车辆稳定性控制传感器(例如，牵引力控制)。传感器3351-n可包括多个加速度传感器(例如，加速度计)和偏航、俯仰和转向角传感器。在某些实施例中，识别有效事件可以与经训练的车辆数据集相对于道路或弯道控制车辆操作的能力有关。因此，评分可以生成表示车辆的牵引力控制系统应对道路的能力的目标值。例如，传感器3351-n可以从传感器3351-n中的一个或多个生成指示转向不足或转向过度的输出。传感器3351-n可包括车辆加速度计(例如，单轴、多轴)和一个或多个偏航/俯仰传感器，以跟踪通过弯道的车辆位移。在经训练的数据集用于操作车辆和/或由牵引力控制系统使用的情况下，可以确定对于转向不足和/或转向过度的有效事件。
图4描绘了根据一个或多个实施例的经训练的车辆数据集的图形表示。根据一个实施例，经训练的车辆数据集是已知训练数据集，用于训练操作各种类型的自主车辆和辅助驾驶系统的算法。图4提供了相对于理想数据集的经训练的车辆数据集的示例性图示。
根据一个实施例，在充分处理大多数或所有驾驶场景的情况下，可达到理想的数据集。用于车辆的理想数据集可取决于车辆的传感器、感测能力、传感器数据等。即使使用改进的传感器，也需要评估系统检测和处理对象和情景的能力。此外，还需要识别车辆训练数据集不充分应对的情况。
图4示出了已知或现有数据集405相对于理想数据集410的表示。现有数据集405可以涉及已知数据集，包括用于训练操作各种类型的自主车辆的算法的已知训练数据集。本文讨论的过程和操作可以使用由一个或多个本地车辆传感器或组合传感器捕获的数据以及随后的测量场景统计的实时算法来生成熟悉度度量或矢量，如矢量415所示。在一个实施例中，基于由主车辆捕获的许多可能属性和相关联的算法来生成数据集405的熟悉度。根据一个实施例，示例性属性可包括但不限于：目标对象的数量、目标对象的分类、目标对象的大小和形状、车道数量、车道类型、车道标记颜色、车道标记形状或虚线类型、车辆状态行为(例如滑动)、车辆位置、影响目标对象和车道可见度的环境条件。这些属性可用于描述由神经网络生成的一个或多个矢量415的维度，所述神经网络使用对已知训练数据集的已知属性进行聚类的技术。可以在运行时环境中使用一个或多个矢量，例如矢量415，以检测有关所述矢量的异常。所描述的矢量是运行时算法对其使用环境的熟悉度的估计。为了描述前述矢量的一般用途，矢量被生成为用于描述整个训练数据集的自主车辆控制系统的软件版本的一部分。在一个实施例中，作为感知引擎的一部分，在运行时间期间在自主车辆控制系统中连续地对矢量进行评分。该评分提供了识别有效或不熟悉的情景数据以及在先前未提及的数据记录器中标记或记录相关联的数据的方法。
理想数据集410可表示可能无法实现的数据集。本文讨论的系统和配置可以基于已知的数据集405来操作。可针对数据集405生成异常检测矢量来描述数据集。本文讨论的过程提供触发还未在数据集410中呈现的事件或情景的触发机制。
图5描绘了根据一个或多个实施例的控制单元操作的图形表示。控制单元操作可以促进自动识别现有辅助车辆算法将不熟悉的新数据。根据一个实施例，车辆控制单元500可以针对有效性异常检测和验证异常检测中的至少一项执行功能。车辆控制单元500可以被配置为从诸如云存储库的数据存储库接收经训练的车辆数据集501。可以将车辆数据集提供给车辆以执行场景检测和/或其他操作。
在一个实施例中，车辆控制单元500包括有效性异常检测引擎模块505，所述有效性异常检测引擎模块被配置为执行聚类方法，例如K均值聚类，以对收集和注释的数据集的用于训练运行时算法的“区域”进行逼近。来自异常矢量框510的合成矢量由聚类生成，并用于描述数据集。可以与运行时系统的算法版本同时生成矢量。在一个实施例中，然后在运行时系统中使用矢量，以基于一个或多个属性来对情景进行评分。避开由异常矢量描述的聚类的异常将在数据收集系统中在事件触发框515处触发描述事件的标记。根据一个实施例，由于训练的运行时算法不熟悉该情景，因此该事件对于现有数据集501是有效的。
根据一个实施例，在捕获时段期间捕获的汇编事件被添加到所产生的数据集中，并循环通过针对下一个算法版本的训练过程。然后，再次对新数据集进行逼近，以更新对对象的聚类。
在框520处，验证异常检测引擎从框510接收异常矢量。根据一个实施例，异常矢量可以由验证异常检测引擎模块520使用，以评估数据集501在对场景的瞬时分析中的熟悉度。验证异常检测引擎模块520可以检测有关来自框510的异常矢量的异常，并生成关于数据集501对场景、情景或车辆传感器数据的熟悉度的报告。
图6描绘了根据一个或多个实施例的相对于已知数据集的操作的图形表示。过程600描述了根据一个或多个实施例的车辆系统的操作。在一个实施例中，过程600涉及执行关于有效性异常检测的操作。根据另一实施例，过程600涉及对异常检测引擎的验证。过程600可以涉及有效性异常检测引擎模块和验证异常检测引擎模块(例如，图5的有效性异常检测引擎模块505和验证异常检测引擎模块520)的一个或多个控制单元操作。
根据一个实施例，包括多个对象类型和对象属性的基线数据集605可以用作已知训练数据来训练车辆辅助系统的算法，例如场景检测操作。在框610处针对基线数据集执行聚类量化操作，并且基于在框610处生成的数据聚类的特性来在框615处执行矢量生成操作。聚类量化可以包括按类型和属性对对象进行分类和注释的一个或多个操作。作为聚类的结果，具有相似属性的对象可以形成聚类，这些聚类可以通过基于矢量的建模来进行分析。给定已知数据集，例如基线数据集605，包括用于训练操作各种类型的自主车辆的算法的已知训练数据集，过程600被配置为在框615处生成熟悉度量或矢量。可以生成描述来自框610的每个聚类的质心的一个或多个矢量，并且所述一个或多个矢量产生可以由车辆控制单元用于分析感测数据和/或基线数据集605的表示。可以执行框610和615处的操作以描述经注释的基线数据集605，例如基线数据集是否包括类似于所感测的车辆数据或能够描述所感测的车辆数据的数据。在框615处生成的矢量可用于识别目标对象或有效车辆操作状况。根据另一实施例，框610和615可以体现为计算机可执行代码，其可以部署到车辆中以用于驾驶员辅助系统。根据一个实施例，属性用于描述由神经网络使用框610处的已知属性的聚类、训练数据集605在框620处生成的矢量的维度。
根据另一实施例，可以由过程600提供异常检测操作。通过使用在框606处由本地车辆传感器或组合传感器捕获的数据以及测量场景统计的后续实时算法(诸如框625处的感知算法)，可以确定基线数据集的熟悉度。过程600包括在框630处对有关异常矢量的属性进行评分。评分可以提供一个或多个值，例如在某个范围内的百分比或值，其识别、表征经注释的基线数据集605对在框625处检测到的对象的熟悉度。评分可以基于由传感器数据606中提供的主车辆捕获的许多可能属性以及在框625处执行的相关联的算法。一个实施例中的示例性属性可包括但不限于：目标对象的数量、目标对象的分类、目标对象的大小和形状、车道数量、车道类型、车道标记颜色、车道标记形状或虚线类型、车辆状态行为(例如滑动)、车辆位置、影响目标对象和车道可见度的环境条件。在框630处进行评分可以允许识别要标记的有效或不熟悉的情景数据，或者在车辆的数据记录器或存储单元中记录相关联的数据。
根据一个实施例，在框630处的评分是基于预定的变化量来执行的。根据一个实施例，对于以光学方式检测到的对象，对于某些对象分类可以允许可接受的变化量。因此，基于第一对象类别的评分可以采用第一变化量，而对第二对象类型进行评分可以采用第二变化量，第二变化量与第一变化量不同。因此，来自框606的识别行人对象的摄像头传感器数据相对于路标标牌(路标标牌通常与一组有限的预先确立的对象集相关联)可以具有低的用于确定有效性的阈值，并且因此具有较高的针对有效性的阈值。关于对传感器属性进行评分，评分可以评估传感器输出相对于经训练的传感器范围的发散。在某些实施例中，框630处的评分被配置为评估经训练的数据集基于传感器数据606感知驾驶情景的能力。举例来说，经训练的数据集可以基于传感器数据606和矢量生成616来提供下列中的一项或多项的基础：呈现指示、控制车辆单元或激活车辆控制系统(例如，主动制动、节气门控制等)。框630处的评分可以提供经训练的数据集处理感测数据的能力的指示。在一个实施例中，框630处的评分可以获得经训练的数据集相对于传感器数据606的准确度的百分比和/或值度量中的至少一项。在某些实施例中，所确定的得分可以与生成的标记一起输出，以便更新经训练的数据集。
根据一个实施例，由控制单元620执行的操作采用在运行时环境中在框615处生成的矢量来检测有关矢量的异常。所描述的矢量是运行时算法对其使用环境的熟悉度的估计。为了描述前述矢量的一般用途，矢量被生成为用于描述整个训练数据集的自主车辆控制系统的软件版本的一部分。作为感知引擎的一部分，在运行时间期间在自主车辆控制系统中连续地对矢量进行评分。
在判定框635处，过程600确定检测到的目标对象是否是基线数据集(例如经注释的基线数据集605)的一部分。当对象包含在数据集中时，框630处的评分可以反映数据集对所感测的目标对象的熟悉度。当目标对象不是基线数据集的一部分时，可以在框640处生成用于识别目标对象的事件标记或用于检测目标对象段的事件捕获。过程600可以包括将框640的事件标记和事件捕获输出到数据存储单元645或网络资源(例如，服务器、云网络)，其可以用于注释和/或更新经注释的基线数据集605。数据存储器645中的事件标记和事件捕获也可用于识别独特的对象、对象属性和情景中的一个或多个。
图7描绘了根据一个或多个实施例的对象属性的图形表示。根据一个实施例，基线数据集可以由与对象类型和/或对象特性相关联的属性来表征。过程700描述了根据一个或多个实施例的车辆控制单元对对象属性的聚类。
过程700可以基于多个属性，例如属性7051-n。过程700的属性包括对象数量7051、对象类别7052、大小和形状(例如，维度)7053和颜色705n。应当理解，可以采用其他属性。属性7051-n也可以基于车辆的传感器。可以在框710处，使用属性7051-n来生成场景的矢量表示。矢量表示可以基于矢量数据模型，所述矢量数据模型按照属性(例如7051-n)表示在多个维度中检测到的对象。矢量表示可以基于表示相似类型的对象的数据聚类。数据表示715表示包括与基线数据集相关联的聚类720的数据的示例性表示。聚类720表示已知的数据，而数据点725表示与数据点725不相似的异常或目标对象。数据点725被称为用于说明位于由聚类720表示的经训练的数据集的对象、对象属性和/或场景参数之外的检测到的对象或场景的点。根据一个实施例，可以采用针对聚类720确定的异常矢量来识别数据点725。
根据一个实施例，可以在框710处使用属性7051-n来生成场景的矢量表示，可涉及对经训练的数据集感知和处理检测到的对象和/或场景的能力的矢量模型表示。根据一个实施例，可以基于数据点(例如数据点725)从矢量数据模型的聚类(例如聚类720)的发散量来识别有效事件。如本文所讨论的，对属性的评分可以产生从诸如聚类720的聚类的数据点发散的值或表示。
虽然本公开已经参考其示例性实施例特定地示出并描述，但本领域技术人员应理解，可以在不偏离要求保护的实施例的范围的情况下在其中进行各种形式和细节上的更改。

Claims (20)

1.一种用于通过车辆的控制单元来识别有效情景数据的方法，所述方法包括：
由控制单元接收由所述车辆的至少一个传感器捕获的车辆传感器数据，所述车辆传感器数据由车辆的至少一个感知传感器生成；
由所述控制单元对所述车辆传感器数据运行场景检测操作，以导出所述车辆传感器数据的目标对象属性的矢量；
由所述控制单元将所述场景检测操作的矢量表示与经训练的数据集的熟悉度矢量进行比较，其中所述矢量表示是所述场景检测操作在识别所述车辆传感器数据的目标对象属性方面的有效性的表示；以及
由所述控制单元基于所述矢量表示来识别有效情景数据，其中所述有效情景识别所述车辆传感器数据的至少一个目标对象。
2.如权利要求1所述的方法，其中所述车辆传感器数据包括针对所述车辆的驾驶员辅助系统的检测区的图像、雷达和LiDAR数据中的至少一种。
3.如权利要求1所述的方法，其中对所述车辆传感器数据运行所述场景检测操作基于经训练的车辆数据集的属性而实时生成针对目标对象的经注释的数据集，所述经训练的车辆数据集提供多种对象类型和对象属性。
4.如权利要求1所述的方法，其中比较所述矢量表示包括使用所述经训练的车辆数据集对所述车辆传感器数据的目标对象执行聚类操作，以生成用于所述车辆传感器数据的矢量数据模型，所述矢量数据模型表征所述经训练的车辆数据集感知所述车辆传感器数据的目标对象的能力。
5.如权利要求1所述的方法，其中识别所述有效情景包括确定目标对象是未识别的对象。
6.如权利要求1所述的方法，其中识别所述有效情景包括确定所述经训练的车辆数据属性中的至少一个不能对目标对象进行分类。
7.如权利要求1所述的方法，其中识别所述有效情景包括基于下列中的至少一项来确定目标对象相对于所述经训练的数据集的熟悉度：目标对象的数量、目标对象的分类、目标对象的大小和形状、对象类型和对象颜色。
8.如权利要求1所述的方法，其中识别所述有效情景包括将至少一个车辆操作特性确定为相对于驾驶员辅助系统和自主驾驶系统中的至少一个中的目标对象的识别的属性。
9.如权利要求1所述的方法，其中识别所述有效情景包括确定车辆操作的当前场景相对于针对至少一种驾驶状况的经训练的车辆数据集的熟悉度。
10.如权利要求1所述的方法，所述方法还包括由所述控制单元使用所述经训练的车辆数据集来对关于所述场景检测操作感知所述车辆传感器数据的目标对象属性的能力的所述矢量表示进行评分，并且其中所述有效情景是基于低于预定阈值的所述矢量表示的得分的识别的数据。
11.如权利要求1所述的方法，所述方法还包括输出所述车辆传感器数据的所述至少一个目标对象。
12.一种车辆控制单元，所述车辆控制单元包括：
被配置为接收车辆传感器数据的输入端；以及
耦合到所述输入端的控制单元，其中所述控制单元被配置为：
接收由所述车辆的至少一个传感器捕获的车辆传感器数据，所述车辆传感器数据由车辆的至少一个感知传感器生成；
对所述车辆传感器数据运行场景检测操作，以导出所述车辆传感器数据的目标对象属性的矢量；
将所述场景检测操作的矢量表示与经训练的数据集的熟悉度矢量进行比较，其中所述矢量表示是所述场景检测操作在识别所述车辆传感器数据的目标对象属性方面的有效性的表示；以及
基于所述矢量表示来识别有效情景数据，其中所述有效情景识别所述车辆传感器数据的至少一个目标对象。
13.如权利要求12所述的车辆控制单元，其中所述车辆传感器数据包括针对所述车辆的所述驾驶员辅助系统的检测区的图像、雷达和LiDAR数据中的至少一种。
14.如权利要求12所述的车辆控制单元，其中对所述车辆传感器数据运行所述场景检测操作基于经训练的车辆数据集的属性而实时生成针对目标对象的经注释的数据集，所述经训练的车辆数据集提供多种对象类型和对象属性。
15.如权利要求12所述的车辆控制单元，其中比较所述矢量表示包括使用所述经训练的车辆数据集对所述车辆传感器数据的目标对象执行聚类操作，以生成用于所述车辆传感器数据的矢量数据模型，所述矢量数据模型表征所述经训练的车辆数据集感知所述车辆传感器数据的目标对象的能力。
16.如权利要求12所述的车辆控制单元，其中识别所述有效情景包括确定目标对象是未识别的对象。
17.如权利要求12所述的车辆控制单元，其中识别所述有效情景包括确定所述经训练的车辆数据属性中的至少一个不能对目标对象进行分类。
18.如权利要求12所述的车辆控制单元，其中识别所述有效情景包括基于下列中的至少一项来确定目标对象相对于所述经训练的数据集的熟悉度：目标对象的数量、目标对象的分类、目标对象的大小和形状、对象类型和对象颜色。
19.如权利要求12所述的车辆控制单元，其中识别所述有效情景包括将至少一个车辆操作特性确定为相对于驾驶员辅助系统和自主驾驶系统中的至少一个中的目标对象的识别的属性。
20.如权利要求12所述的车辆控制单元，其中所述车辆控制单元还被配置为使用所述经训练的车辆数据集来对关于所述场景检测操作感知所述车辆传感器数据的目标对象属性的能力的所述矢量表示进行评分，并且其中所述有效情景是基于低于预定阈值的所述矢量表示的得分的识别的数据。
CN201910957234.8A 2018-10-10 2019-10-10 用于确定车辆数据集熟悉度的系统和方法 Pending CN111016921A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/156,357 US11087144B2 (en) 2018-10-10 2018-10-10 System and method for determining vehicle data set familiarity
US16/156,357 2018-10-10

Publications (1)

Publication Number Publication Date
CN111016921A true CN111016921A (zh) 2020-04-17

Family

ID=69954498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910957234.8A Pending CN111016921A (zh) 2018-10-10 2019-10-10 用于确定车辆数据集熟悉度的系统和方法

Country Status (3)

Country Link
US (2) US11087144B2 (zh)
CN (1) CN111016921A (zh)
DE (1) DE102019127229A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734292A (zh) * 2021-01-26 2021-04-30 中国人民解放军国防科技大学 一种基于发育型聚类的无人车智能迁移方法及系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019084B2 (en) * 2018-12-14 2021-05-25 Intel Corporation Controller, a context broadcaster and an alert processing device
CN109767397B (zh) * 2019-01-09 2022-07-12 三星电子（中国）研发中心 一种基于人工智能的图像优化方法和系统
US11615654B1 (en) * 2019-10-24 2023-03-28 Lytx, Inc. Signature use for efficient data transfer
US11597406B2 (en) * 2020-02-19 2023-03-07 Uatc, Llc Systems and methods for detecting actors with respect to an autonomous vehicle
JP7429143B2 (ja) * 2020-03-30 2024-02-07 本田技研工業株式会社 移動体制御装置、移動体制御方法、およびプログラム
DE102020205315A1 (de) 2020-04-27 2021-10-28 Volkswagen Aktiengesellschaft Verfahren zur Klassifikation kritischer Fahrsituationen, Auswahl von der kritischen Fahrsituation ähnlichen Daten und Nachtraining des automatischen Systems
DE102020118504A1 (de) 2020-07-14 2022-01-20 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Erweitern eines neuronalen Netzes für eine Umfelderkennung
EP4192714A1 (en) * 2020-09-11 2023-06-14 Waymo Llc Estimating ground truth object keypoint labels for sensor readings
US20220082398A1 (en) * 2020-09-17 2022-03-17 Guangzhou Automobile Group Co., Ltd. Method and Device for Measuring Driving Route Familiarity
DE102021214334B3 (de) 2021-12-14 2023-06-07 Continental Autonomous Mobility Germany GmbH Fahrzeugdatensystem und Verfahren zur Ermittlung von relevanten bzw. übertragenswerten Fahrzeugdaten eines Umgebungserfassungssensors
US20230192141A1 (en) * 2021-12-16 2023-06-22 Gm Cruise Holdings Llc Machine learning to detect and address door protruding from vehicle

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022942A (ja) * 1999-06-18 2001-01-26 Mitsubishi Electric Inf Technol Center America Inc テスト画像からの情景の推定方法
JP2008022103A (ja) * 2006-07-11 2008-01-31 Matsushita Electric Ind Co Ltd テレビ番組動画像ハイライト抽出装置及び方法
US20110200230A1 (en) * 2008-10-10 2011-08-18 Adc Automotive Distance Control Systems Gmbh Method and device for analyzing surrounding objects and/or surrounding scenes, such as for object and scene class segmenting
US20120163706A1 (en) * 2010-12-22 2012-06-28 Sony Corporation Shape description and modeling for image subscene recognition
CN105531995A (zh) * 2013-05-10 2016-04-27 罗伯特·博世有限公司 用于使用多个摄像机进行对象和事件识别的系统和方法
CN107492251A (zh) * 2017-08-23 2017-12-19 武汉大学 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法
CN107564513A (zh) * 2016-06-30 2018-01-09 阿里巴巴集团控股有限公司 语音识别方法及装置
CN108139756A (zh) * 2016-08-29 2018-06-08 百度（美国）有限责任公司 为自动驾驶车辆构建周围环境以制定驾驶决策的方法和系统
CN108550190A (zh) * 2018-04-19 2018-09-18 腾讯科技（深圳）有限公司 增强现实数据处理方法、装置、计算机设备和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5048097A (en) * 1990-02-02 1991-09-10 Eastman Kodak Company Optical character recognition neural network system for machine-printed characters
US8775341B1 (en) * 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
WO2013134932A1 (en) * 2012-03-13 2013-09-19 Nokia (China) Investment Co., Ltd. A method and apparatus for improved facial recognition
CN103425989B (zh) * 2013-08-07 2017-04-19 中山大学 一种基于显著性分析的车辆颜色识别方法及系统
US9779314B1 (en) * 2014-08-21 2017-10-03 Waymo Llc Vision-based detection and classification of traffic lights
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
KR102177826B1 (ko) * 2017-06-16 2020-11-13 모셔널 에이디 엘엘씨 자율 주행 능력들을 갖춘 차량의 작동에 대한 개입
US10572963B1 (en) * 2017-07-14 2020-02-25 Synapse Technology Corporation Detection of items
CA3072045A1 (en) * 2017-08-02 2019-02-07 Strong Force Iot Portfolio 2016, Llc Methods and systems for detection in an industrial internet of things data collection environment with large data sets
US10877999B2 (en) * 2017-12-21 2020-12-29 Micron Technology, Inc. Programmatically identifying a personality of an autonomous vehicle
US11079758B2 (en) * 2018-01-12 2021-08-03 Toyota Research Institute, Inc. Systems and methods for incentivizing user-aided improvement of autonomous vehicle control systems and methods of operating a vehicle using the same
US10679099B2 (en) * 2018-05-08 2020-06-09 Toyta Research Institute, Inc. Method and apparatus for a manifold view of space
CN109389163B (zh) * 2018-09-29 2022-03-29 华南理工大学 一种基于地形图的无人机影像分类系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022942A (ja) * 1999-06-18 2001-01-26 Mitsubishi Electric Inf Technol Center America Inc テスト画像からの情景の推定方法
JP2008022103A (ja) * 2006-07-11 2008-01-31 Matsushita Electric Ind Co Ltd テレビ番組動画像ハイライト抽出装置及び方法
US20110200230A1 (en) * 2008-10-10 2011-08-18 Adc Automotive Distance Control Systems Gmbh Method and device for analyzing surrounding objects and/or surrounding scenes, such as for object and scene class segmenting
US20120163706A1 (en) * 2010-12-22 2012-06-28 Sony Corporation Shape description and modeling for image subscene recognition
CN105531995A (zh) * 2013-05-10 2016-04-27 罗伯特·博世有限公司 用于使用多个摄像机进行对象和事件识别的系统和方法
CN107564513A (zh) * 2016-06-30 2018-01-09 阿里巴巴集团控股有限公司 语音识别方法及装置
CN108139756A (zh) * 2016-08-29 2018-06-08 百度（美国）有限责任公司 为自动驾驶车辆构建周围环境以制定驾驶决策的方法和系统
CN107492251A (zh) * 2017-08-23 2017-12-19 武汉大学 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法
CN108550190A (zh) * 2018-04-19 2018-09-18 腾讯科技（深圳）有限公司 增强现实数据处理方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734292A (zh) * 2021-01-26 2021-04-30 中国人民解放军国防科技大学 一种基于发育型聚类的无人车智能迁移方法及系统
CN112734292B (zh) * 2021-01-26 2023-12-29 中国人民解放军国防科技大学 一种基于发育型聚类的无人车智能迁移方法及系统

Also Published As

Publication number Publication date
DE102019127229A1 (de) 2020-04-16
US20200117912A1 (en) 2020-04-16
US11087144B2 (en) 2021-08-10
US11688174B2 (en) 2023-06-27
US20210326604A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
US11688174B2 (en) System and method for determining vehicle data set familiarity
US10839263B2 (en) System and method for evaluating a trained vehicle data set familiarity of a driver assitance system
US11024165B2 (en) Driver behavior monitoring
US9665802B2 (en) Object-centric fine-grained image classification
US10147002B2 (en) Method and apparatus for determining a road condition
US20220327406A1 (en) Systems and methods for classifying driver behavior
US9120484B1 (en) Modeling behavior based on observations of objects observed in a driving environment
CN114375467B (zh) 用于检测紧急车辆的系统和方法
JP2018142309A (ja) 仮想車路生成装置及び方法
US11520340B2 (en) Traffic lane information management method, running control method, and traffic lane information management device
US10754344B2 (en) Method and apparatus for road hazard detection
US9352746B2 (en) Lane relative position estimation method and system for driver assistance systems
CN114077541A (zh) 验证用于自动驾驶车辆的自动控制软件的方法和系统
US11741692B1 (en) Prediction error scenario mining for machine learning models
US11645360B2 (en) Neural network image processing
JP2008165326A (ja) 地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法
JP2021082286A (ja) 車線変更の検出を改良するためのシステム、非一時的コンピュータ可読媒体および方法
CN117056153A (zh) 校准和验证驾驶员辅助系统和/或自动驾驶系统的方法、系统和计算机程序产品
US11249487B2 (en) Railroad light detection
Klette et al. Vision-based driver assistance systems
US20230360375A1 (en) Prediction error scenario mining for machine learning models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination