CN113366507B - 训练分类器以检测打开的车门 - Google Patents

训练分类器以检测打开的车门 Download PDF

Info

Publication number
CN113366507B
CN113366507B CN201980084977.7A CN201980084977A CN113366507B CN 113366507 B CN113366507 B CN 113366507B CN 201980084977 A CN201980084977 A CN 201980084977A CN 113366507 B CN113366507 B CN 113366507B
Authority
CN
China
Prior art keywords
training
sensor
samples
sample
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980084977.7A
Other languages
English (en)
Other versions
CN113366507A (zh
Inventor
J.毛
L.P.崔
C.李
E.S.小沃克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN113366507A publication Critical patent/CN113366507A/zh
Application granted granted Critical
Publication of CN113366507B publication Critical patent/CN113366507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Stored Programmes (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

用于训练分类器以检测打开的车门的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。所述方法之一包括：获得多个初始训练样例，其中，每一个初始训练样例包括(i)来自传感器样本集合的传感器样本和(ii)将所述传感器样本分类为表征具有打开的门的车辆的数据；生成多个附加训练样例，包括：对于每一个初始训练样例：从传感器样本集合中识别在初始训练样例中的传感器样本被捕获之前小于阈值时间量捕获的一个或更多个附加传感器样本；以及在包括初始训练样例和附加训练样例的第一训练数据上训练机器学习分类器，以生成用于机器学习分类器的更新的权重。

Description

训练分类器以检测打开的车门
对相关申请的交叉引用
本申请要求于2018年12月21日提交的第16/231,297号美国专利申请的优先权，其全部内容通过引用并入本文。
技术领域
本说明书涉及自主车辆。
背景技术
自主车辆包括自驾驶汽车、船和飞机。自主车辆使用各种车载传感器和计算机系统来检测附近的对象，并使用这种检测来做出控制和导航决策。
一些自主车辆具有实现神经网络、其他类型的机器学习模型或两者以用于各种预测任务、例如，图像内的对象分类的车载计算机系统。例如，能够使用神经网络来确定由车载相机捕获的图像可能是附近汽车的图像。神经网络(或为简洁起见，网络)是采用多层运算来从一个或更多个输入预测一个或更多个输出的机器学习模型。神经网络通常包括位于输入层和输出层之间的一个或更多个隐藏层。每一层的输出被用作网络中的另一层——例如，下一隐藏层或输出层——的输入。
神经网络的每一层指定要对该层的输入执行的一个或更多个变换运算。一些神经网络层具有被称为神经元的运算。每一神经元接收一个或更多个输入并生成由另一神经网络层接收的输出。通常，每一神经元接收来自其他神经元的输入，并且每一神经元向一个或更多个其他神经元提供输出。
神经网络的架构指定网络中包括哪些层及其属性，以及网络的每一层的神经元如何连接。换句话说，架构指定哪些层将其输出作为输入提供给哪些其他层以及如何提供输出。
每一层的变换运算由安装有实现变换运算的软件模块的计算机执行。因此，被描述为执行运算的层意指实现层的变换运算的计算机执行运算。
每一层使用该层的参数集的当前值来生成一个或更多个输出。训练神经网络因此涉及对输入连续执行前向传递，计算梯度值，并使用计算的梯度值更新每一层的参数集的当前值。一旦神经网络被训练，就能够使用最终参数集的值在生产系统中做出预测。
发明内容
本说明书描述了计算机系统能够如何训练机器学习模型，在本说明书中也被称为“机器学习分类器”或“分类器”，以生成自主车辆附近的对象是否处于特定状态的预测。
例如，机器学习模型能够是“开门分类器”，其预测自主车辆附近的另一车辆是否处于开门状态，即，与所有门都关闭相反，具有打开的门。也就是说，给定表征车辆的输入，开门分类器的输出是表示车辆的一个或更多个门打开的可能性的概率。一旦开门分类器已经被训练，则训练后的开门分类器就能够被部署在车辆上，并能够由车辆使用以做出自主或半自主驾驶决策。
作为另一示例，机器学习模型能够预测自主车辆附近的校车是否处于闪光状态，即，校车的灯是否正在闪光而不是关闭(或始终打开)。
作为另一示例，机器学习模型能够预测自主车辆附近的另一车辆是否处于停放状态，即，与运动或暂时停止相反，另一车辆是否停放。
在本公开的一个方面中，一种方法包括训练分类器，分类器被配置为接收表征特定类型的对象并从由自主车辆的一个或更多个传感器捕获的传感器数据生成的输入传感器样本，并处理输入传感器样本以生成表示所述对象处于特定状态的预测可能性的特定状态分数。
为了训练分类器，一种系统：获得多个初始训练样例，其中，每一初始训练样例包括(i)来自传感器样本集合的传感器样本，以及(ii)将传感器样本分类为表征处于特定状态的对象的标记数据；生成多个附加训练样例，包括：对于每一初始训练样例，从传感器样本集合中识别在捕获所述初始训练样例中的传感器样本之前小于阈值时间量捕获的一个或更多个附加传感器样本，并将每一附加传感器样本分类为表征处于特定状态的对象的传感器样本；以及在包括初始训练样例和附加训练样例的第一训练数据上训练机器学习分类器，以生成用于机器学习分类器的更新的权重。
这些和其他实施方式中的每个能够可选地包括以下特征中的一个或更多个。
动作还包括：使用机器学习分类器并根据更新的权重生成进一步的训练样例；以及在包括所述进一步的训练样例的第二训练数据上训练所述机器学习分类器，以生成用于所述机器学习分类器的进一步更新的权重。
在包括所述进一步的训练样例的第二训练数据上训练机器学习分类器以生成用于机器学习分类器的进一步更新的权重能够包括：在第二训练数据上训练机器学习分类器以从用于机器学习分类器的更新的权重开始生成用于机器学习分类器的进一步更新的权重。
在包括所述进一步的训练样例的第二训练数据上训练机器学习分类器以生成用于机器学习分类器的进一步更新的权重能够包括：在第二训练数据上训练机器学习分类器以从用于机器学习分类器的初始权重开始生成用于机器学习分类器的进一步更新的权重。
使用机器学习分类器并根据更新的权重生成进一步的训练样例能够包括：使用机器学习分类器并根据更新的权重处理来自传感器样本集合的多个候选传感器样本中的每一个，以为每一候选传感器样本生成相应的开门分数；以及将具有超过阈值分数的特定分数的每一候选传感器样本分类为表征处于特定状态的对象的传感器样本。
从所述多个传感器样本中识别在捕获所述初始训练样例中的传感器样本之前小于阈值时间量捕获的一个或更多个附加传感器样本可以包括：将多个样本中的(i)表征与初始训练样例中的传感器样本相同的对象且(ii)在捕获初始训练样例中的传感器样本之前小于阈值时间量捕获的每一传感器样本识别为附加传感器样本。
获得多个初始训练样例能够包括：从传感器样本集合中识别多个候选初始传感器样本，其中，每个候选初始传感器样本包括在由该候选初始传感器样本表征的对象的主体轮廓之外的大量测量值。
能够实施在本说明书中描述的主题的特定实施例以便实现下述优点中的一个或更多个。
自主或半自主车辆具有在车辆驾驶通过环境时收集关于车辆周围环境的数据的传感器。由这些传感器在许多驾驶时长期间且由许多不同的自主车辆收集的数据(在本说明书中称为“日志数据”)能够被用于训练机器学习模型以做出可能与自主车辆的操作相关的各种预测，例如，预测特定种类的对象是否处于特定状态。
例如，预测车辆在导航期间遇到的车辆的门是否打开的机器学习模型能够被用于通知自主驾驶决策，例如通过在人通过打开的门正进入或离开的情况下应用制动，或者通过预测车辆或车辆操作者的未来行为(即，如果车辆的门打开，则这可能是车辆直到门关闭为止不太可能开始移动或者车辆停止以装载或卸载物品的信号)，或者用于确定何时向车辆的操作者提供警报。
能够在标记的训练数据上训练做出这些预测的机器学习模型，即，在从已经被分类为表征对象并且与标识由传感器数据表征的对象是否处于特定状态的正确标注(groundtruth)标记相关联的传感器数据生成的传感器样本上。
然而，对于一些类型的对象和一些特定状态，虽然所收集的日志数据将包括表征该类型的对象的大量传感器样本，但是这些对象中只有非常小的一部分将处于特定状态。以打开门的车辆为例，驾驶通过环境的自主车辆遇到的其他车辆中的仅非常小部分——例如，大约1％或更少的量级——将具有打开的门，并且自主车辆在驾驶的同时遇到的绝大多数其他车辆将关闭它们的所有门。
这使得生成用于训练分类器以将对象分类为处于特定状态的高质量训练数据变得困难。再次转到开门示例，特别地，因为日志数据中的这样一小部分传感器样本具有打开的门，所以难以识别具有打开的门的足够样本而在训练数据中不包括大量有噪声的、不正确标记的样本。通过使用所描述的技术训练开门分类器，系统能够有效地解决该问题并能够在训练一开始时对几乎不具有准确标记的训练数据的收集的日志数据上训练分类器。也就是说，所描述的技术从所收集的日志数据中的大量(大部分是负的)潜在样例中有效地识别正样例——例如，开门车辆的样例，并使用所识别的正样例来有效地训练机器学习模型以将对象准确地分类为处于特定状态。
特别地，并再次转到开门的样例，使用所描述的技术，系统可以最初有效地识别表征非常靠近捕获传感器数据的车辆的开门的车辆的相对少量的正样例。然而，为了训练分类器在一定距离范围内表现良好，需要在分类器的训练中识别和使用附加正样例。所描述的技术允许以自主方式在不需要人为标注者的情况下识别这些附加正样例，从而产生高度准确的开门分类器。
在附图和以下描述中阐述了本说明书的主题的一个或更多个实施例的细节。通过说明书、附图和权利要求书，所述主题的其他特征、方面和优点将变得清楚。
附图说明
图1是示例系统的示图。
图2是用于训练开门分类器的示例过程的流程图。
图3是用于训练开门分类器的另一示例过程的流程图。
各个附图中相同的附图标号和名称指示相同的元件。
具体实施方式
本说明书描述了车辆——例如，自主或半自主车辆——能够如何使用经训练的机器学习模型(在本说明书中被称为“开门分类器”或“分类器”)来预测车辆附近的其他车辆是否开门。本说明书也描述了能够如何使用日志数据来有效地训练这种开门分类器以准确且可靠地做出预测。
图1是示例系统100的示图。系统100包括训练系统110和车载系统130。
车载系统130物理地以车载方式位于车辆122上。图1中的车辆122被示出为汽车，但是车载系统130能够以车载方式位于任何适当的车辆类型上。车辆122可以是完全自主车辆，其确定并执行全自主驾驶决策以便在环境中导航。车辆122也能够是使用预测来辅助人类驾驶员的半自主车辆。例如，如果预测指示人类驾驶员将要与另一车辆碰撞，则车辆122能够自主地应用制动。
车载系统130包括一个或更多个传感器子系统132。传感器子系统132包括接收电磁辐射反射的组件——例如，检测激光反射的激光雷达系统、检测无线电波反射的激光雷达系统以及检测可见光反射的相机系统——的组合。
由给定传感器生成的传感器数据通常指示反射辐射的距离、方向和强度。例如，传感器能够沿特定方向发射电磁辐射的一个或更多个脉冲，并能够测量任何反射的强度以及接收到反射的时间。能够通过确定脉冲与其对应的反射之间花费多长时间来计算距离。传感器能够在角度、方位角或两者上连续扫描特定空间。例如，方位角扫描能够允许传感器沿着相同的视线检测多个对象。
车辆122的传感器子系统132或其他组件也能够将来自一个或更多个传感器的一个或更多个原始传感器测量值的组分类为另一车辆的测量值。取决于正在捕获的传感器测量值的种类，能够以各种方式中的任何方式来表示一组传感器测量值。例如，每组原始激光传感器测量值能够被表示为三维点云，其中，每一点具有强度和位置。在一些实施方式中，位置被表示为范围和海拔对。每组相机传感器测量值能够被表示为图像分块(imagepatch)，例如RGB图像分块。
一旦一组一个或更多个原始传感器测量值已被分类为另一车辆的测量值，则车辆122的传感器子系统132或其他组件就从测量车辆的传感器测量值产生传感器样本155。在一些情况下，传感器样本155是三维张量，其表示来自一个或更多个传感器并且每个同时表征相同的车辆的测量值。例如，三维张量能够包括：在给定时间由另一车辆所处的环境的区域的相机传感器捕获的图像的分块；在给定时间由对应于另一车辆所处的环境的区域的一个或更多个激光传感器捕获的传感器数据的一个或更多个投影——例如，来自自顶向下视角的投影——的部分；或上述两者。
传感器子系统132或其他组件将传感器样本155提供给车载分类器子系统134。车载分类器子系统134使用传感器样本155来生成开门预测165。如上所述，每个开门预测是由传感器数据155表征的车辆的门是否打开的预测。因此，每个预测是表示由输入传感器样本表征的车辆的门打开的预测可能性的分数，例如概率。
车载分类器子系统134实现被训练以做出开门预测165的开门分类器(即，机器学习模型)的运算。
在一些情况下，开门分类器是卷积神经网络，其接收传感器样本155，即从传感器数据生成的三维张量，并通过包括一个或更多个卷积层的多个层来处理传感器样本155以生成开门预测。因此，车载分类器子系统134包括具有软件或硬件模块的一个或更多个计算设备，其中，软件或硬件模块根据神经网络的架构实现神经网络的每一层的相应运算。
在一些其他情况下，开门分类器是不同类型的机器学习模型，其对从传感器样本155导出的低维特征做出运算。例如，开门分类器能够是随机森林模型或支持向量机模型，其接收从传感器样本生成的低维特征作为输入，并从低维特征生成开门预测。因此，车载分类器子系统134包括具有软件或硬件模块的一个或更多个计算设备，其中，软件或硬件模块实现为了生成低维特征并执行模型的运算所必需的运算。
车载分类器子系统134能够通过加载在开门分类器已经由训练系统110训练以确定模型权重值172之后从训练系统110接收的模型权重值172的集合来实现开门分类器的操作。尽管被图示为在逻辑上分离，但是模型权重值170和执行操作的软件或硬件模块实际上可以位于同一计算设备上，或者在执行软件模块的情况下被存储在同一存储设备内。
车载分类器子系统134能够使用硬件加速或其他专用计算设备来实现开门分类器的一些或全部操作。例如，神经网络的一些层的一些操作可以由高度并行化的硬件执行，例如，由图形处理单元或另一种类的专用计算设备执行。换句话说，并非每一层的所有操作都需要由车载分类器子系统134的中央处理单元(CPU)执行。
车载分类器子系统134能够将开门预测165提供给规划子系统136、用户界面子系统138或上述两者。
当规划子系统136接收到开门预测165时，规划子系统136能够使用一个或更多个开门预测165来做出全自主或半自主驾驶决策。例如，如果开门预测指示另一车辆的门很可能打开，则规划子系统136能够生成全自主计划，以在人通过另一车辆的打开的门正进入或离开的情况下应用车辆122的制动或以其他方式降低车辆122的移动速度。作为另一示例，规划子系统136能够使用开门预测来预测对象的可能未来轨迹，并在规划车辆122的轨迹中使用可能未来轨迹。作为另一示例，规划子系统136能够为人类驾驶员生成半自主推荐，以在另一车辆的门打开时应用制动。
用户界面子系统138能够接收开门预测165，并能够生成用户界面呈现，该用户界面呈现识别另一车辆并向车辆122的操作者通告另一车辆的门打开并且有人可能正在进入或离开。例如，用户界面子系统138能够生成具有图像或视频数据的用户界面呈现，图像或视频数据包含由另一车辆占据的空间区域的表示并将车辆的门标识为打开。然后，车载显示设备能够显示用户界面呈现以供车辆122的乘客查看。
车载分类器子系统134也能够使用传感器数据155来生成日志数据127，日志数据127由训练系统110用于训练开门分类器。车载系统130能够离线批量或以在线方式——例如，每当生成日志数据127时连续地——将日志数据127提供给训练系统110。
日志数据127包括在车辆122的操作期间生成的传感器数据样本，传感器数据样本已经被分类为表征车辆122附近的其他车辆。
训练系统110通常被托管在数据中心112内，数据中心112能够是在一个或更多个位置具有数百或数千个计算机的分布式计算系统。
当训练系统110从车辆接收日志数据127时，训练系统100将日志数据127存储在日志数据存储库125中。通常，日志数据存储库125存储从大量车辆接收的日志数据，即，日志数据存储库125存储从在大量不同车辆的操作期间捕获的传感器数据生成的传感器样本。在一些情况下，日志数据存储库125也能够包括在模拟中生成的日志数据，即，当车辆的模拟版本导航通过真实世界环境的软件模拟时生成的日志数据。
训练系统110包括训练分类器子系统114，其能够实现被配置为做出开门预测的分类器的运算。例如，当分类器是神经网络时，训练分类器子系统114包括具有软件或硬件模块的多个计算设备，所述软件或硬件模块根据神经网络的架构实现神经网络的每一层的相应操作。
训练开门分类器通常具有与车载开门分类器相同的架构和权重。然而，训练系统110不需要使用与车载系统134所使用的硬件相同的硬件来计算分类器的操作。换句话说，训练系统110能够仅使用CPU、高度并行化的硬件或这些的某种组合。
训练系统100使用存储在日志数据存储库125中的传感器样本来生成包括用于训练开门分类器的训练样例123的训练数据。每个训练样例123包括(i)表征车辆的传感器样本以及(ii)指示传感器样本中车辆的车门是否打开的标记，即，标识应该由开门分类器针对传感器样本生成的正确标注输出的标记。下面参考图2和图3描述生成训练数据。
在训练期间的任何给定时间，训练神经网络子系统114能够使用存储在模型权重值170的集合中的当前模型权重值115来计算开门分类器的运算。尽管被图示为在逻辑上分离，但是模型权重值170和执行操作的软件或硬件模块实际上可以位于同一计算设备上或同一存储设备上。
训练分类器子系统114能够接收训练样例123作为输入。训练神经网络子系统114能够为每一个训练样例123生成开门预测135。训练引擎116分析开门预测135并将开门预测与训练样例123的标记进行比较。然后，训练引擎116通过使用适当的更新技术——例如，具有反向传播的随机梯度下降——来生成更新的模型权重值145。然后，训练引擎116能够使用更新的模型权重值145来更新模型参数值170的集合。
在训练完成之后，训练系统110能够向车载系统130提供最终模型权重值集171，以用于做出用于全自主或半自主驾驶决策的开门预测165。训练系统110能够通过有线或无线连接向车载系统130提供最终模型权重值171集。
图2是用于训练开门分类器的示例过程200的流程图。该过程将被描述为由适当编程的神经网络系统执行。为方便起见，过程200将被描述为由位于一个或更多个位置的一个或更多个计算机的系统执行。例如，根据本说明书适当编程的训练系统、例如图1的训练系统110能够执行过程200。
系统获得初始正训练样本(210)。
在本说明书中，正训练样本是表征车辆且已经与标记相关联的传感器样本，所述标记指示由传感器样本表征的车辆具有打开的门。
在一些情况下，系统从外部系统接收用于将日志数据存储库中的某些传感器样本识别为初始正训练样本的数据。在其他情况下，系统将日志数据存储库中的某些传感器样本识别为正训练样本。下面参考图3描述用于从日志数据存储库中的传感器样本中识别初始正训练样本的示例技术。
系统从日志数据存储库中的传感器样本中识别附加正训练样本(220)。
更具体地，系统识别附加正训练样本，所述附加正训练样本中的每个：(i)对应于初始正训练样本中的相应一个初始正训练样本，(ii)将同一车辆表征为对应的初始正训练样本，以及(iii)在对应的初始训练样本之前小于阈值时间量被捕获。
特别地，对于由初始训练样本表征的一些或所有车辆，日志数据将包括表征同一车辆但在与对应的初始训练样本不同的时间捕获的其他传感器样本。作为示例，如果给定车辆的传感器以每十毫秒一个样本的速率捕获数据，则在给定车辆附近超过二十毫秒的每一其他车辆将由多个样本表征。
在一些实施方式中，对于初始正训练样本中的每一个，系统将日志数据中已经被分类为表征与初始正训练样本相同的车辆且在对应的初始训练样本之前小于阈值时间量被捕获的任何样本识别为正训练样本。阈值时间量可以是例如半秒、一秒、一秒半或两秒。
系统将每一附加识别的训练样本指定为正训练样本，即，将每一附加识别的训练样本与指示所识别的训练样本表征开门的车辆的标记相关联。
因为车门倾向于在一时间段内保持打开，并且因为车辆倾向于在车门打开的同时静止，所以附加正训练样本将通常包括表征比初始训练样本更远离生成样本的车辆的车辆的样本。然而，因为所识别的训练样本是基于它们在时间上与初始训练样本的接近度而自主生成的，所以附加样本可能是有噪声的，即，可能包括已经被错误地分类为正样本的样本。
系统在包括初始训练样本和附加训练样本的训练数据上训练开门分类器(230)。训练数据也包括负训练样本，即，与指示所识别的训练样本表征不具有任何打开的门的车辆的标记相关联的训练样本。系统能够通过从存储库中随机选择传感器样本来生成负训练样本。也就是说，因为这样一小部分车辆具有打开的门，所以从存储库中随机选择传感器样本非常可能生成高度准确的负样本。
特别地，系统能够通过最小化损失函数——例如，交叉熵损失函数或对数似然损失函数——来训练开门分类器以调整分类器的权重，损失函数测量由开门分类器生成的预测与对应训练样本的正确标注预测之间的误差。例如，当分类器是神经网络时，系统使用具有反向传播的梯度下降来训练分类器以最小化损失。
在一些情况下，如下面将参考图3描述的，系统能够通过在附加训练数据上进一步训练分类器来改善分类器的性能。
图3是用于训练开门分类器的另一示例过程300的流程图。所述过程将被描述为由适当编程的神经网络系统执行。为方便起见，过程300将被描述为由位于一个或更多个位置的一个或更多个计算机的系统执行。例如，根据本说明书适当编程的训练系统、例如图1的训练系统110能够执行过程300。
系统从日志数据存储库中的传感器样本中识别候选初始正样本(310)。候选初始正样本是作为包括在正训练样例中的候选的传感器样本。
特别地，系统能够将日志数据存储库中满足一个或更多个准则的任何传感器样本识别为候选初始正样本。
例如，系统能够接收在每一传感器样本中例如使用包围车辆的主体的边界框或其他几何形状来识别由传感器样本表征的车辆的主体的轮廓的数据。系统能够将包括车辆主体轮廓之外的大量测量值的任何传感器样本识别为候选初始正样本。例如，当传感器样本包括激光数据时，车辆的激光点能够在接收数据中被连接在一起成为矩形模型。如果超过阈值部分的点(例如，超过20个点)在矩形外部，并且在矩形外部的点延伸到边界框外部超过阈值距离(例如，超过0.5米)，则系统将样本识别为正样本。
作为另一示例，当车辆附近具有小型对象时，能够满足准则。换句话说，系统能够针对每一传感器样本接收识别传感器样本是否表征车辆以及与车辆相邻的另一对象的数据，并当传感器样本表征车辆和另一对象时将传感器样本识别为正样本。
系统获得作为候选初始正样本的子集的初始正样本(320)。
例如，系统能够提供每一初始正样本的视觉表示，例如图像或视频，以在用户界面中呈现给人类评分员，用户界面允许人类评分员提交指示由候选初始正样本表征的车辆的任何门是否打开的输入。然后，系统能够将人类评分员指示的被描绘为打开的门的每一候选初始正样本指定为初始正样本。
如上面参考图2所述，系统使用初始正样本识别附加正样本(330)，并在包括初始正样本和附加正样本的训练数据上训练开门分类器(340)。
可选地，一旦分类器已经被训练，系统就通过使用经训练的分类器修改训练数据来进一步精化分类器的模型权重(步骤350)。
特别地，系统使用经训练的分类器处理日志数据存储库中的一些或所有传感器样本，以针对每一处理后的传感器样本生成相应的开门预测，即相应概率。然后，系统将具有超过阈值概率(例如，.7、.8、.9或.95)的概率的每个处理后的传感器样本添加到训练数据，作为正训练样本。在一些情况下，系统提供具有超过阈值的概率的一些或所有样本的视觉表示，例如图像或视频，以在用户界面中呈现给人类评分员，用户界面允许人类评分员提交指示由候选初始正样本表征的车辆的任何门是否打开的输入。然后，系统能够将人类评分员指示的被描绘为打开的门的每一候选初始正样本指定为正样本。
在一些情况下，系统在修改训练数据时也移除先前用于训练分类器的正样例中的一些或全部。举例来说，在一些实施方式中，系统用具有超过阈值的概率的处理后的传感器样本替换先前在训练中使用的所有附加正样本(其基于与初始正样本的时间接近度而被识别)。
一旦系统已经生成修改后的训练数据，则系统在修改后的训练数据上重新训练分类器(步骤360)。
在一些实施方式中，系统使用重新训练来微调分类器的模型权重。特别地，在这些实施方式中，系统在修改后的训练数据上训练分类器，以最小化与初始训练期间相同但是从作为初始训练的结果确定的权重的值开始的损失函数。
在一些其他实施方式中，系统在修改后的训练数据上从头开始重新训练分类器。特别地，在这些实施方式中，系统将权重重置为初始值，然后在修改后的训练数据上训练分类器，以从权重的初始值开始最小化损失函数。
因此，通过执行这些可选步骤，系统使用经训练的分类器识别日志数据存储库中的附加正样品，以用于进一步训练经训练的分类器。在这样做时，系统能够减少在初始训练数据之前添加到训练数据的潜在噪声附加正样本的影响，同时仍然具有包括表征位于较大距离范围的汽车的样本的训练数据。
进一步可选地，系统能够一次或多次重复步骤350和360以继续精化分类器权重。例如，系统能够重复步骤350和360直到训练后的分类器在传感器样本的测试集上的准确度超过某个阈值准确度，或者能够重复步骤350和360预定次数的迭代。
图1-3描述了用于训练分类器以对具有打开的门的车辆做出分类的技术。然而，当对象处于其他特定状态时，所描述的技术通常能够应用于训练分类器。特别地，当初始质量的训练数据有限或不可用时，所描述的技术能够用于训练分类器以生成用于将对象分类为处于特定状态的训练数据，但是(1)当对象处于特定状态时，预期一定量的时间持久性，并且对象的其他状态非常常见但所述特定状态相对罕见。其他这样的示例中以上给出的特定示例包括生成用于将汽车分类为处于停车状态的分类器或将校车分类为处于闪光灯状态的分类器的训练数据。
换句话说，系统能够训练分类器，分类器被配置为接收表征特定类型的对象且从由自主车辆的一个或更多个传感器捕获的传感器数据生成的输入传感器样本，并处理输入传感器样本以生成表示对象处于特定状态的预测可能性的特定状态分数。
系统能够通过以下来训练分类器：获得多个初始训练样例，每一个初始训练样例包括(i)来自传感器样本集合的传感器样本和(ii)将传感器样本分类为表征处于特定状态的对象的数据；生成多个附加训练样例，包括：对于每一个初始训练样例，从传感器样本集合中识别在捕获所述初始训练样例中的传感器样本之前小于阈值时间量捕获的一个或更多个附加传感器样本，并将每一个附加传感器样本分类为表征处于特定状态的对象的传感器样本；以及在包括初始训练样例和附加训练样例的第一训练数据上训练机器学习分类器，以生成用于机器学习分类器的更新的权重。
本说明书中描述的主题和功能操作的实施例可以在数字电子电路中、在有形体现的计算机软件或固件中、在计算机硬件中实现，包括本说明书中公开的结构及其结构等同物，或者它们中的一个或更多个的组合。本说明书中描述的主题的实施例能够实现为一个或更多个计算机程序，即，在有形非暂时性存储介质上编码的计算机程序指令的一个或更多个模块，用于由数据处理装置执行或控制数据处理装置的运算。计算机存储介质能够是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备或它们中的一个或更多个的组合。可替代地或另外地，程序指令能够被编码在人工生成的传播信号上，例如，机器生成的电、光或电磁信号，其被生成以对信息进行编码，用于传输到合适的接收器装置以供数据处理装置执行。
术语“数据处理装置”是指数据处理硬件，并包括用于处理数据的所有类型的装置、设备和机器，包括例如可编程处理器、计算机或者多个处理器或计算机。所述装置还能够是或进一步包括现成或定制的并行处理子系统，例如GPU或另一种专用处理子系统。所述装置还能够是或进一步包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，所述装置还能够可选地包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、运算系统或它们中的一个或更多个的组合的代码。
计算机程序也可以被称为或描述为程序、软件、软件应用、app、模块、软件模块、脚本或代码，其能够以任何形式的编程语言编写，包括编译或解释语言或者声明或过程语言，并且其能够以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适用于计算环境的其他单元。程序可以但不需对应于文件系统中的文件。程序能够存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或更多个脚本)的文件的一部分中，存储在专用于所讨论的程序的单个文件中，或者存储在多个协调文件(例如，存储一个或更多个模块、子程序或代码部分的文件)中。计算机程序能够被部署为在一个计算机上或在位于一个站点处或分布在多个站点上并通过数据通信网络互连的多个计算机上执行。
如本说明书中所使用的，“引擎”或“软件引擎”是指提供与输入不同的输出的软件实现的输入/输出系统。引擎能够是编码的功能块，诸如库、平台、软件开发工具包(“SDK”)或对象。每一引擎能够在包括一个或更多个处理器和计算机可读介质的任何适当类型的计算设备上实现，例如服务器、移动电话、平板计算机、笔记本计算机、音乐播放器、电子书阅读器、膝上型或台式计算机、PDA、智能电话或其他固定或便携式设备。另外，引擎中的两个或更多个可以在相同的计算设备上或在不同的计算设备上实现。
本说明书中描述的过程和逻辑流程能够由执行一个或更多个计算机程序的一个或更多个可编程计算机执行，以通过对输入数据进行运算并生成输出来执行功能。过程和逻辑流程也能够由专用逻辑电路(例如，FPGA或ASIC)或者由专用逻辑电路和一个或更多个编程计算机的组合来执行。
适合于执行计算机程序的计算机能够基于通用或专用微处理器或上述两者，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器或随机存取存储器或上述两者接收指令和数据。计算机的基本元件是用于执行或运行指令的中央处理单元以及用于存储指令和数据的一个或更多个存储器设备。中央处理单元和存储器能够由专用逻辑电路补充或并入专用逻辑电路中。通常，计算机还将包括用于存储数据的一个或更多个大容量存储设备(例如磁盘、磁光盘或光盘)，或者可运算地耦接到所述一个或更多个大容量存储设备以从其接收数据或将数据发送到其或上述两者。然而，计算机不需要具有这样的设备。此外，计算机能够嵌入在另一设备中，仅举几例，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式存储设备，例如通用串行总线(USB)闪存驱动器。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移除磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。
为了提供与用户的交互，本说明书中描述的主题的实施例能够在具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及键盘和指示设备(例如，鼠标、轨迹球或存在敏感显示器或用户能够通过其向计算机提供输入的其他表面)的计算机上实现。也能够使用其他类型的设备来提供与用户的交互；例如，提供给用户的反馈能够是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且来自用户的输入能够以任何形式接收，包括声音、语音或触觉输入。另外，计算机能够通过向用户使用的设备发送文档和从用户使用的设备接收文档来与用户交互；例如，通过响应于从网络浏览器接收的请求将网页发送到用户设备上的网络浏览器。此外，计算机能够通过向个人设备(例如，智能电话)发送文本消息或其他形式的消息，运行消息传送应用并作为回报从用户接收响应消息来与用户交互。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为对任何发明的范围或可能要求保护的范围的限制，而是作为可能特定于特定发明的特定实施例的特征的描述。在本说明书中在单独实施例的上下文中描述的特定特征也能够在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也能够单独地或以任何合适的子组合在多个实施例中实现。此外，尽管上文可以将特征描述为以特定组合起作用甚至最初如此要求保护，但是在一些情况下能够从组合中删除来自所要求保护的组合的一个或更多个特征，并且所要求保护的组合可以涉及子组合或子组合的变体。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求以所示的特定顺序或按顺序执行这些操作，或者执行所有示出的操作以实现期望的结果。在特定情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中都需要这种分离，应当理解，所描述的程序组件和系统通常能够一起集成在单个软件产品中或封装到多个软件产品中。
已经描述了主题的特定实施例。其他实施例在所述权利要求书的范围内。例如，权利要求中记载的动作可以以不同的顺序执行，并仍然实现期望的结果。作为一个示例，附图中描绘的过程不一定需要所示的特定顺序或相继顺序来实现期望的结果。在特定的某些情况下，多任务和并行处理可能是有利的。

Claims (20)

1.一种训练机器学习分类器的计算机实现的方法，其中，所述机器学习分类器具有多个权重并被配置为：
接收输入传感器样本，其表征第一车辆并从由第二车辆的一个或更多个传感器捕获的传感器数据生成，以及
处理所述输入传感器样本以生成开门分数，开门分数表示第一车辆具有打开的门的预测可能性，
所述方法包括：
获得多个初始训练样例，每一个初始训练样例包括(i)来自传感器样本集合的传感器样本和(ii)将所述传感器样本分类为表征具有打开的门的车辆的数据；
生成多个附加训练样例，包括，对于每一个初始训练样例：
从所述传感器样本集合中识别在捕获所述初始训练样例中的传感器样本之前小于阈值时间量捕获的一个或更多个附加传感器样本，和
将每一个附加传感器样本分类为表征具有打开的门的车辆的传感器样本；以及
在包括所述初始训练样例和附加训练样例的第一训练数据上训练机器学习分类器，以生成用于机器学习分类器的更新后的权重。
2.根据权利要求1所述的方法，还包括：
使用机器学习分类器并根据更新后的权重来生成进一步的训练样例；以及
在包括所述进一步的训练样例的第二训练数据上训练机器学习分类器，以生成用于机器学习分类器的进一步更新后的权重。
3.根据权利要求2所述的方法，其中，在包括所述进一步的训练样例的第二训练数据上训练机器学习分类器以生成用于机器学习分类器的进一步更新后的权重包括：
在第二训练数据上训练机器学习分类器，以从用于机器学习分类器的更新后的权重开始生成用于机器学习分类器的进一步更新后的权重。
4.根据权利要求2所述的方法，其中，在包括所述进一步的训练样例的第二训练数据上训练机器学习分类器以生成用于机器学习分类器的进一步更新后的权重包括：
在第二训练数据上训练机器学习分类器，以从用于机器学习分类器的初始权重开始生成用于机器学习分类器的进一步更新后的权重。
5.根据权利要求2所述的方法，其中，使用机器学习分类器并根据更新后的权重来生成进一步的训练样例包括：
使用机器学习分类器并根据更新后的权重来处理来自传感器样本集合的多个候选传感器样本中的每一个，以为每一个候选传感器样本生成相应的开门分数；以及
将具有超过阈值分数的开门分数的每一个候选传感器样本分类为表征具有打开的门的车辆的传感器样本。
6.根据权利要求1所述的方法，其中，从多个传感器样本中识别在捕获所述初始训练样例中的传感器样本之前小于阈值时间量捕获的一个或更多个附加传感器样本包括：
将多个样本中的以下每一个传感器样本识别为附加传感器样本，所述每一个传感器样本(i)表征与初始训练样例中的传感器样本相同的车辆，并且(ii)在捕获初始训练样例中的所述传感器样本之前小于阈值时间量被捕获。
7.根据权利要求1所述的方法，其中，获得多个初始训练样例包括：
从传感器样本集合中识别多个候选初始传感器样本，每一个候选初始传感器样本包括在由候选初始传感器样本表征的车辆的主体轮廓之外的大量测量值。
8.一种系统，包括一个或更多个计算机以及存储指令的一个或更多个存储设备，其中，所述指令在由一个或更多个计算机执行时使得一个或更多个计算机执行用于训练机器学习分类器的操作，其中，所述机器学习分类器具有多个权重并被配置为：
接收输入传感器样本，其表征第一车辆并从由第二车辆的一个或更多个传感器捕获的传感器数据生成，以及
处理输入传感器样本以生成开门分数，开门分数表示第一车辆具有打开的门的预测可能性，
所述操作包括：
获得多个初始训练样例，每一个初始训练样例包括(i)来自传感器样本集合的传感器样本和(ii)将所述传感器样本分类为表征具有打开的门的车辆的数据；
生成多个附加训练样例，包括，对于每一个初始训练样例：
从所述传感器样本集合中识别在捕获所述初始训练样例中的传感器样本之前小于阈值时间量捕获的一个或更多个附加传感器样本，和
将每一个附加传感器样本分类为表征具有打开的门的车辆的传感器样本；以及
在包括所述初始训练样例和附加训练样例的第一训练数据上训练机器学习分类器，以生成用于机器学习分类器的更新后的权重。
9.根据权利要求8所述的系统，所述操作还包括：
使用机器学习分类器并根据更新后的权重来生成进一步的训练样例；以及
在包括所述进一步的训练样例的第二训练数据上训练机器学习分类器，以生成用于机器学习分类器的进一步更新后的权重。
10.根据权利要求9所述的系统，其中，在包括所述进一步的训练样例的第二训练数据上训练机器学习分类器以生成用于机器学习分类器的进一步更新后的权重包括：
在第二训练数据上训练机器学习分类器，以从用于机器学习分类器的更新后的权重开始生成用于机器学习分类器的进一步更新后的权重。
11.根据权利要求9所述的系统，其中，在包括所述进一步的训练样例的第二训练数据上训练机器学习分类器以生成用于机器学习分类器的进一步更新后的权重包括：
在第二训练数据上训练机器学习分类器，以从用于机器学习分类器的初始权重开始生成用于机器学习分类器的进一步更新后的权重。
12.根据权利要求9所述的系统，其中，使用机器学习分类器并根据更新后的权重来生成进一步的训练样例包括：
使用机器学习分类器并根据更新后的权重来处理来自传感器样本集合的多个候选传感器样本中的每一个，以为每一个候选传感器样本生成相应的开门分数；以及
将具有超过阈值分数的开门分数的每一个候选传感器样本分类为表征具有打开的门的车辆的传感器样本。
13.根据权利要求8-12中任一项所述的系统，其中，从多个传感器样本中识别在捕获所述初始训练样例中的传感器样本之前小于阈值时间量捕获的一个或更多个附加传感器样本包括：
将多个样本中的以下每一个传感器样本识别为附加传感器样本，所述每一个传感器样本(i)表征与初始训练样例中的传感器样本相同的车辆，并且(ii)在捕获初始训练样例中的传感器样本之前小于阈值时间量被捕获。
14.根据权利要求8所述的系统，其中，获得多个初始训练样例包括：
从传感器样本集合中识别多个候选初始传感器样本，每一个候选初始传感器样本包括在由候选初始传感器样本表征的车辆的主体轮廓之外的大量测量值。
15.一个或更多个存储指令的计算机可读存储介质，所述指令在由一个或更多个计算机执行时使得一个或更多个计算机执行用于训练机器学习分类器的操作，其中，所述机器学习分类器具有多个权重并被配置为：
接收输入传感器样本，其表征第一车辆并从由第二车辆的一个或更多个传感器捕获的传感器数据生成，以及
处理所述输入传感器样本以生成开门分数，开门分数表示第一车辆具有打开的门的预测可能性，
所述操作包括：
获得多个初始训练样例，每一个初始训练样例包括(i)来自传感器样本集合的传感器样本和(ii)将所述传感器样本分类为表征具有打开的门的车辆的数据；
生成多个附加训练样例，包括，对于每一个初始训练样例：
从所述传感器样本集合中识别在捕获所述初始训练样例中的传感器样本之前小于阈值时间量捕获的一个或更多个附加传感器样本，以及
将每一个附加传感器样本分类为表征具有打开的门的车辆的传感器样本；以及
在包括所述初始训练样例和附加训练样例的第一训练数据上训练机器学习分类器，以生成用于机器学习分类器的更新后的权重。
16.根据权利要求15所述的计算机可读存储介质，所述操作还包括：
使用机器学习分类器并根据更新后的权重来生成进一步的训练样例；以及
在包括所述进一步的训练样例的第二训练数据上训练机器学习分类器，以生成用于机器学习分类器的进一步更新后的权重。
17.根据权利要求16所述的计算机可读存储介质，其中，在包括所述进一步的训练样例的第二训练数据上训练机器学习分类器以生成用于机器学习分类器的进一步更新后的权重包括：
在第二训练数据上训练机器学习分类器，以从用于机器学习分类器的更新后的权重开始生成用于机器学习分类器的进一步更新后的权重。
18.根据权利要求16所述的计算机可读存储介质，其中，在包括所述进一步的训练样例的第二训练数据上训练机器学习分类器以生成用于机器学习分类器的进一步更新后的权重包括：
在第二训练数据上训练机器学习分类器，以从用于机器学习分类器的初始权重开始生成用于机器学习分类器的进一步更新后的权重。
19.根据权利要求16所述的计算机可读存储介质，其中，使用机器学习分类器并根据更新后的权重来生成进一步的训练样例包括：
使用机器学习分类器并根据更新后的权重来处理来自传感器样本集合的多个候选传感器样本中的每一个，以为每一个候选传感器样本生成相应的开门分数；以及
将具有超过阈值分数的开门分数的每一个候选传感器样本分类为表征具有打开的门的车辆的传感器样本。
20.根据权利要求15所述的计算机可读存储介质，其中，从多个传感器样本中识别在捕获所述初始训练样例中的传感器样本之前小于阈值时间量捕获的一个或更多个附加传感器样本包括：
将多个样本中的以下每一个传感器样本识别为附加传感器样本，所述每一个传感器样本(i)表征与初始训练样例中的传感器样本相同的车辆，并且(ii)在捕获初始训练样例中的传感器样本之前小于阈值时间量被捕获。
CN201980084977.7A 2018-12-21 2019-12-23 训练分类器以检测打开的车门 Active CN113366507B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/231,297 US11514310B2 (en) 2018-12-21 2018-12-21 Training a classifier to detect open vehicle doors
US16/231,297 2018-12-21
PCT/US2019/068331 WO2020132676A2 (en) 2018-12-21 2019-12-23 Training a classifier to detect open vehicle doors

Publications (2)

Publication Number Publication Date
CN113366507A CN113366507A (zh) 2021-09-07
CN113366507B true CN113366507B (zh) 2024-05-14

Family

ID=69374376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980084977.7A Active CN113366507B (zh) 2018-12-21 2019-12-23 训练分类器以检测打开的车门

Country Status (6)

Country Link
US (2) US11514310B2 (zh)
EP (1) EP3881247A2 (zh)
JP (1) JP7203224B2 (zh)
KR (1) KR102607725B1 (zh)
CN (1) CN113366507B (zh)
WO (1) WO2020132676A2 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514310B2 (en) * 2018-12-21 2022-11-29 Waymo Llc Training a classifier to detect open vehicle doors
DE102019203334A1 (de) * 2019-03-12 2020-09-17 Robert Bosch Gmbh Verfahren zum Durchführen einer Reaktion auf Personen an Fahrzeugen
CN111832496B (zh) * 2020-07-17 2023-11-03 南京康尼机电股份有限公司 一种轨道车门开关状态判断方法、装置及存储介质
US20220024495A1 (en) * 2020-07-24 2022-01-27 Autobrains Technologies Ltd Open door predictor
SE544424C2 (en) * 2020-12-01 2022-05-24 Swanholm Tech Ab Safety wearable for egress detection from a work vehicle
JP2022104398A (ja) * 2020-12-28 2022-07-08 株式会社Subaru 車両の運転制御システム
CN113111708B (zh) * 2021-03-10 2023-12-29 北京爱笔科技有限公司 车辆匹配样本生成方法、装置、计算机设备和存储介质
CN114511023A (zh) * 2022-01-27 2022-05-17 腾讯科技（深圳）有限公司 分类模型训练方法以及分类方法
US20230243994A1 (en) * 2022-02-02 2023-08-03 Gm Cruise Holdings Llc Use of low frequency electromagnetic signals to detect occluded anomalies by a vehicle
US20230007914A1 (en) * 2022-09-20 2023-01-12 Intel Corporation Safety device and method for avoidance of dooring injuries

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10229033A1 (de) * 2002-06-28 2004-01-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen einer Unfallgefahr
JP2015174574A (ja) * 2014-03-17 2015-10-05 クラリオン株式会社 車両用ドア開閉制御装置
CN105160397A (zh) * 2014-06-06 2015-12-16 谷歌公司 训练精炼的机器学习模型
CN106102159A (zh) * 2016-05-24 2016-11-09 努比亚技术有限公司 一种操作执行方法和终端
US10019011B1 (en) * 2017-10-09 2018-07-10 Uber Technologies, Inc. Autonomous vehicles featuring machine-learned yield model
CN108596042A (zh) * 2018-03-29 2018-09-28 青岛海尔智能技术研发有限公司 开门控制方法和系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5482670B2 (ja) 2011-01-12 2014-05-07 株式会社デンソー 物体検出装置
JP6796442B2 (ja) 2016-03-11 2020-12-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理方法、画像処理装置およびプログラム
CN107181908B (zh) 2016-03-11 2020-09-11 松下电器（美国）知识产权公司 图像处理方法、图像处理装置及计算机可读记录介质
US9987745B1 (en) 2016-04-01 2018-06-05 Boston Dynamics, Inc. Execution of robotic tasks
JP2020508252A (ja) * 2017-02-10 2020-03-19 ニッサン ノース アメリカ，インク 自律走行車の動作管理
US10487564B2 (en) * 2017-05-03 2019-11-26 GM Global Technology Operations LLC Door actuator adjustment for autonomous vehicles
US11112259B2 (en) * 2017-10-24 2021-09-07 Nissan North America, Inc. Localization determination for vehicle operation
US10955851B2 (en) * 2018-02-14 2021-03-23 Zoox, Inc. Detecting blocking objects
US11514310B2 (en) * 2018-12-21 2022-11-29 Waymo Llc Training a classifier to detect open vehicle doors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10229033A1 (de) * 2002-06-28 2004-01-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen einer Unfallgefahr
JP2015174574A (ja) * 2014-03-17 2015-10-05 クラリオン株式会社 車両用ドア開閉制御装置
CN105160397A (zh) * 2014-06-06 2015-12-16 谷歌公司 训练精炼的机器学习模型
CN106102159A (zh) * 2016-05-24 2016-11-09 努比亚技术有限公司 一种操作执行方法和终端
US10019011B1 (en) * 2017-10-09 2018-07-10 Uber Technologies, Inc. Autonomous vehicles featuring machine-learned yield model
CN108596042A (zh) * 2018-03-29 2018-09-28 青岛海尔智能技术研发有限公司 开门控制方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Restricted Decontamination for the Imbalanced Training Sample Problem;R. Barandela .et al;International Conference on Intelligent Computing 2018;第1-4节 *
Smart Robotic Wheelchair for Bus Boarding Using CNN Combined with Hough Transforms;Sarwar Ali .et al;Iberoamerican Congress on Pattern Recognition 2003;全文 *

Also Published As

Publication number Publication date
US20200202209A1 (en) 2020-06-25
WO2020132676A3 (en) 2020-07-30
US20230099920A1 (en) 2023-03-30
JP2022511968A (ja) 2022-02-01
KR20210104128A (ko) 2021-08-24
EP3881247A2 (en) 2021-09-22
WO2020132676A2 (en) 2020-06-25
KR102607725B1 (ko) 2023-11-30
CN113366507A (zh) 2021-09-07
JP7203224B2 (ja) 2023-01-12
US11514310B2 (en) 2022-11-29

Similar Documents

Publication Publication Date Title
CN113366507B (zh) 训练分类器以检测打开的车门
CN113366495B (zh) 搜索自主车辆传感器数据存储库
US11928866B2 (en) Neural networks for object detection and characterization
US11618481B2 (en) Agent trajectory prediction using anchor trajectories
US11783568B2 (en) Object classification using extra-regional context
US10366502B1 (en) Vehicle heading prediction neural network
US11480963B2 (en) Vehicle intent prediction neural network
CN113366496A (zh) 用于粗略和精细对象分类的神经网络
CN114580702A (zh) 多模态多代理轨迹预测
US20210150349A1 (en) Multi object tracking using memory attention
US20230082079A1 (en) Training agent trajectory prediction neural networks using distillation
US20210101614A1 (en) Spatio-temporal pose/object database
US20230072020A1 (en) Open vehicle doors prediction using a neural network model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant