CN115331198A - 用于车辆车轮检测的系统和方法 - Google Patents

用于车辆车轮检测的系统和方法 Download PDF

Info

Publication number
CN115331198A
CN115331198A CN202210931196.0A CN202210931196A CN115331198A CN 115331198 A CN115331198 A CN 115331198A CN 202210931196 A CN202210931196 A CN 202210931196A CN 115331198 A CN115331198 A CN 115331198A
Authority
CN
China
Prior art keywords
image data
vehicle
vehicle wheel
data
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210931196.0A
Other languages
English (en)
Inventor
王泮渠
陈鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tucson Ltd
Original Assignee
Tucson Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/917,331 external-priority patent/US10671873B2/en
Application filed by Tucson Ltd filed Critical Tucson Ltd
Publication of CN115331198A publication Critical patent/CN115331198A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Abstract

公开了一种用于车辆车轮检测的系统和方法。特定实施例可以被配置为：从训练图像数据收集系统接收训练图像数据；获得与所述训练图像数据对应的地面实况数据；执行训练阶段，以训练一个或多个分类器来处理所述训练图像数据中的图像，以在所述训练图像数据中的所述图像中检测车辆车轮对象；从与自主车辆相关联的图像数据收集系统接收操作图像数据；并且执行操作阶段，所述操作阶段包括将所述训练过的一个或多个分类器应用于从所述操作图像数据提取车辆车轮对象，并且产生车辆车轮对象数据。

Description

用于车辆车轮检测的系统和方法
本申请为申请号为201980017911.6、申请日为2019年3月8日的发明名称为“用于车辆车轮检测的系统和方法”的中国专利申请的分案申请。
优先权专利申请
本文要求2018年3月9日提交的、标题为“SYSTEM AND METHOD FOR VEHICLE WHEELDETECTION”的美国非临时专利申请第15/917,331序列号的优先权，其通过引用的方式全部并入本文。本文要求2017年3月10日提交的、标题为“SYSTEM AND METHOD FOR SEMANTICSEGMENTATION USING DENSE UPSAMPLING CONVOLUTION(DUC)”的美国非临时专利申请第15/456,219序列号的优先权，其通过引用的方式全部并入本文。本文要求2017年3月10日提交的、标题为“SYSTEM AND METHOD FOR SEMANTIC SEGMENTATION USING HYBRID DILATEDCONVOLUTION(HDC)”的美国非临时专利申请第15/456,294序列号的优先权，其通过引用的方式全部并入本文。所引用的专利申请的公开内容被认为是本申请的公开内容的一部分，并且通过引用的方式全部并入本文。
技术领域
本专利文件总体上涉及用于图像处理、车辆控制系统和自主驾驶系统的工具(系统、装置、方法、计算机程序产品等)，并且更具体地但非限制涉及一种用于车辆车轮检测的系统和方法。
背景技术
在自主驾驶系统中，成功地对周围驾驶环境和交通参与者进行感知和预测，这对针对控制自主车辆或托管车辆做出正确和安全的决定至关重要。在视觉感知的现有文献和申请中，已经广泛研究和使用了诸如对象识别、二维(2D)对象检测和2D场景理解(或语义分割)等技术。借助于快速发展的深度学习技术和计算能力(诸如图形处理单元[GPU])，已经成功地将这些视觉感知技术应用于与自主车辆或托管车辆一起使用。然而，与这些2D感知方法相比较，对全三维(3D)感知技术的研究较少，因为难以获得可靠的地面实况数据以及难以正确地训练3D模型。例如，正确地对用于3D对象检测的3D边界框进行注释，需要准确地测量非固有的和固有的摄像头参数以及自主车辆或托管车辆的运动，这通常很难或不可能实现。即使可以获得地面实况数据，3D模型也难以训练，因为训练数据的量有限并且测量值不准确。因此，在这些视觉感知应用中，已经使用了没那么昂贵并且性能较差的备选解决方案。
因此，用于检测并且分析车辆车轮的高效系统是必要的。
发明内容
车辆车轮是用于确定移动车辆的确切位置和姿势的重要特征。车辆姿势可以包括车辆前进方向、定向、速度、加速度等。然而，在计算机视觉和自主驾驶的现有文献和申请中，通常忽视了将车辆车轮特征用于车辆控制。在本文所公开的各种示例实施例中，提供了一种用于使用图像分割的车辆车轮检测的系统和方法。在示例实施例中，该系统包括三个组成部分：1)数据收集和注释、2)使用深度卷积神经网络的模型训练以及3)实时模型推理。为了利用最新的深度学习模型和训练策略，本文所公开的各种示例实施例将车轮检测问题形成为两类分割任务，并且在擅长多类语义分割问题的深度神经网络上进行训练。测试结果表明：本文所公开的系统可以在复杂的驾驶场景下实时成功地检测车辆车轮特征。本文所公开的各种示例实施例可以被用于各种应用，诸如3D车辆姿势估计和车辆车道距离估计等。
由于至少如下三个原因，车辆车轮可以被用于车辆特征分析：1)对其他交通参与者的感知和预测主要关于其他交通参与者在路面上的轨迹，其中车轮可以提供最佳的测量，因为它们是最接近路面的车辆部件；2)车轮可以提供对车辆姿势的可靠估计，因为车辆通常具有四个或更多个车轮作为参考点；3)从概念上讲，车轮易于进行检测，因为其在车辆中的形状和位置是统一的。当我们获得对给定车辆的准确的车轮特征分割分析时，我们可以获得或推理出有价值的车辆信息，诸如姿势、位置、意图和轨迹。该车辆信息可以为用于自主驾驶的感知、定位和计划系统提供很大益处。
在一个示例方面中，一种系统包括：数据处理器；以及自主车辆车轮检测系统，可由数据处理器执行，自主车辆车轮检测系统被配置为执行自主车辆车轮检测操作。该自主车辆车轮检测操作被配置为：从训练图像数据收集系统接收训练图像数据；获得与训练图像数据对应的地面实况数据；执行训练阶段，以训练一个或多个分类器来处理训练图像数据中的图像，以在训练图像数据中的图像中检测车辆车轮对象；从与自主车辆相关联的图像数据收集系统接收操作图像数据；并且执行操作阶段，该操作阶段包括将训练过的一个或多个分类器应用于提取车轮对象数据。
在另一方面中，公开了一种方法，该方法用于：获得与训练图像数据对应的地面实况数据；执行训练阶段，以训练一个或多个分类器来处理训练图像数据中的图像，以在训练图像数据中的图像中检测车辆车轮对象；从与自主车辆相关联的图像数据收集系统接收操作图像数据；以及执行操作阶段，该操作阶段包括将训练过的一个或多个分类器应用于从操作图像数据提取车辆车轮对象，并且产生车辆车轮对象数据。
在另一方面中，一种非暂时性机器可用存储介质采用指令，这些指令在由机器执行时使机器：从训练图像数据收集系统接收训练图像数据；获得与训练图像数据对应的地面实况数据；执行训练阶段，以训练一个或多个分类器来处理训练图像数据中的图像，以在训练图像数据中的图像中检测车辆车轮对象；从与自主车辆相关联的图像数据收集系统接收操作图像数据；并且执行操作阶段，该操作阶段包括将训练过的一个或多个分类器应用于从操作图像数据提取车辆车轮对象，并且产生车辆车轮对象数据。
在本文中公开了这些方面以及其他方面。
附图说明
在附图的图中，通过示例的方式而不是通过限制的方式图示了各种实施例，其中：
图1图示了可以实施示例实施例的车载图像处理模块的示例生态系统的框图；
图2图示了从摄像头获取的图像(上半部图像)及其对应的车轮注释结果(下半部图像)；
图3图示了示例实施例中被用于配置或训练自主车辆车轮检测系统以及其中的分类器的离线训练阶段(第一阶段)；
图4(下半部图像)图示了根据示例实施例的可以被用于训练分割模型的示例地面实况标签图；图4(上半部图像)还图示了原始示例图像与地面实况相结合的混合可视化；
图5图示了对示例实施例中的自主车辆车轮检测系统的操作使用或模拟使用的第二阶段；
图6(下半部图像)图示了使用训练过的分割模型的示例预测标签图，利用图4的示例图像以及其他训练图像来训练该分割模型；图6(上半部图像)还图示了原始示例图像与预测结果相结合的混合可视化；
图7(下半部图像)图示了根据示例实施例的可以被用于训练分割模型的另一示例地面实况标签图；图7(上半部图像)还图示了原始示例图像与地面实况相结合的混合可视化；
图8(下半部图像)图示了使用训练过的分割模型的示例预测标签图，利用图7的示例图像以及其他训练图像来训练该分割模型；图8(上半部图像)还图示了原始示例图像与预测结果相结合的混合可视化。
图9(下半部图像)图示了根据示例实施例的可以被用于训练分割模型的再一个示例地面实况标签图；图9(上半部图像)还图示了原始示例图像与地面实况相结合的混合可视化；
图10(下半部图像)图示了使用训练过的分割模型的示例预测标签图，利用图9的示例图像以及其他训练图像来训练该分割模型；图10(上半部图像)还图示了原始示例图像与预测结果相结合的混合可视化。
图11是图示了用于车辆车轮检测的系统和方法的示例实施例的过程流程图；以及
图12以计算机系统的示例形式示出了机器的图示，在该计算机系统内，一组指令在被执行时可以使机器执行本文所讨论的方法中的任何一种或多种方法。
在可能的情况下，已经使用相同的附图标记来表示图中共有的相同要素。可以预期的是，在一种实施方式中公开的要素可以在没有具体叙述的情况下有益地用于其他实施方式中。
具体实施方式
在下面的描述中，为了进行解释，阐述了许多具体细节以提供对各个实施例的透彻理解。应该理解：在不偏离所公开的主题的范围的情况下，可以利用其他实施例，并且可以进行结构改变。预期以下特征和要素的任何组合以实施和实践本公开。
在本说明书中，共同的或相似的特征可以由共同的附图标记表示。如本文使用的，“示例性”可以指示示例、实施方式或方面，并且不应该被解释为限制或指示首选项或优选实施方式。
当前，自主车辆面临若干技术限制，这些技术限制阻碍其与现实世界的交互和适应性。
当前的自主车辆技术通常是反应性的——也就是说，决策是基于当前的状况或状态。例如，自主车辆可以被编程为在道路中间检测到物体时紧急停止。然而，当前的自主车辆技术具有有限的能力来确定从后面被撞的可能性或由于快速制动而引起公路上连环相撞的可能性。
此外，当前的技术不知道如何进行现实世界的判断调用。道路上的各种物体需要基于环境和当前状况的不同判断。例如，转弯避开纸板箱对自主车辆和其他驾驶员引起不必要的危险。另一方面，转弯对于避免撞到道路中间的人来说是必须的。判断调用根据道路状况、其他车辆的轨迹、自主车辆的速度以及其他车辆的速度和车辆方向发生改变。
附加地，当前技术不适合于具有其他人类驾驶员的环境。当对交通模式的变化做出反应时，自主车辆必须能够对其他驾驶员或行人的行为进行预测。在现实生活中接受自主车辆的一个目标是：按照允许与其他人类驾驶员和车辆的适当交互的方式来表现。人类驾驶员通常基于可预测的人类反应来做出交通决策，这些可预测的人类反应不一定有利于机器规则。换句话说，自主车辆存在以下技术问题：当前的自主车辆行为太像机器。这种行为可能导致事故，因为其他驾驶员无法预料自主车辆所执行的某些动作。
除了其他解决方案之外，本文还提供了上述问题的技术解决方案。例如，用于检测并且分析车辆车轮的高效系统被用于产生车辆车轮对象数据，并且车辆车轮基于图像数据收集系统。分析车辆车轮使自我车辆的轨迹决策以及其他自主车辆判断更像人类，从而减少了乘客、周围车辆和行人的问题。因此，除了其他解决方案之外，本公开还提供了作为上述问题的解决方案的一种用于检测并分析车辆车轮的高效系统。
如在各种示例实施例中描述的，本文描述了用于车辆车轮检测的系统和方法。可以在车辆生态系统101中的车载控制系统150的语境中使用本文公开的示例实施例。在一个示例实施例中，具有驻留在车辆105中的图像处理模块200的车载控制系统150可以被配置为与在图1中所图示的架构和生态系统101一样。然而，对于本领域的普通技术人员而言，将清楚的是：也可以在各种其他应用和系统中实施、配置和使用本文所描述的和要求保护的图像处理模块200。
现在参照图1，框图图示了可以实施示例实施例中的车载控制系统150和图像处理模块200的示例性生态系统101。下面更详细地描述这些部件。生态系统101包括各种系统和部件，这些系统和部件可以生成和/或传递一个或多个信息源/数据源以及相关服务到车载控制系统150和图像处理模块200，该车载控制系统150和图像处理模块200可以被安装在车辆105中。例如，作为车辆子系统140的设备中的一个设备被安装在车辆105中的摄像头可以生成可由车载控制系统150接收的图像和定时数据。车载控制系统150和在其中执行的图像处理模块200可以接收该图像和定时数据输入。如下面更详细地描述的，图像处理模块200可以处理图像输入并且提取对象特征，这些对象特征可以由自主车辆控制子系统用作车辆子系统140的另一子系统。例如，自主车辆控制子系统可以使用实时提取的对象特征来安全并且高效地导航和控制车辆105通过现实世界驾驶环境，同时避开障碍并且安全地控制该车辆。
在本文描述的示例实施例中，车载控制系统150可以与多个车辆子系统140进行数据通信，所有这些车辆子系统140都可以驻留在用户的车辆105中。提供车辆子系统接口141，以促进车载控制系统150与多个车辆子系统140之间的数据通信。车载控制系统150可以被配置为包括数据处理器171以执行图像处理模块200，以便处理从一个或多个车辆子系统140接收到的图像数据。数据处理器171可以与数据存储设备172相结合，该数据存储设备172作为车载控制系统150中的计算系统170的一部分。数据存储设备172可以被用于存储数据、处理参数和数据处理指令。可以提供处理模块接口165，以促进数据处理器171与图像处理模块200之间的数据通信。在各种示例实施例中，可以提供与图像处理模块200类似地配置的多个处理模块以供数据处理器171执行。如通过图1中的虚线示出的，图像处理模块200可以被集成到车载控制系统150中，可选地，被下载到车载控制系统150，或者与车载控制系统150分开部署。
车载控制系统150可以被配置为从与其连接的广域网120和网络资源122接收数据，或者向与其连接的广域网120和网络资源122发送数据。车载网络使能设备130和/或用户移动设备132可以被用于经由网络120来进行通信。网络使能设备131可以由车载控制系统150用来促进经由车载网络使能设备130的在车载控制系统150与网络120之间的数据通信。类似地，用户移动设备接口133可以被车载控制系统150使用，以经由用户移动设备132促进车载控制系统150与网络120之间的数据通信。按照这种方式，车载控制系统150可以经由网络120来获得网络资源122的实时访问权限。网络资源122可以被用于获得要由数据处理器171执行的处理模块、用于训练内部神经网络的数据内容、系统参数或其他数据。
生态系统101可以包括广域数据网络120。该网络120表示一个或多个常规广域数据网络，诸如互联网、蜂窝电话网络、卫星网络、寻呼机网络、无线广播网络、游戏网络、WiFi网络、对等网络、IP语音(VoIP)网络等。这些网络120中的一个或多个网络可以被用于将用户或客户端系统与网络资源122(诸如网站、服务器、中央控制站点等)连接。网络资源122可以生成和/或分布数据，可以经由车载网络使能设备130或用户移动设备132来在车辆105中接收该数据。网络资源122还可以托管网络云服务，该网络云服务可以支持被用于计算或协助处理图像输入或图像输入分析的功能性。天线可以用于经由蜂窝、卫星、无线电或其他常规信号接收机构来将车载控制系统150和图像处理模块200与数据网络120连接。这种蜂窝数据网络是当前可用的(例如VerizonTM、AT&TTM、T-MobileTM等)。这种基于卫星的数据或内容网络当前也是可用的(例如SiriusXMTM、HughesNetTM等)。常规广播网络(诸如AM/FM无线电网络、寻呼机网络、UHF网络、游戏网络、WiFi网络、对等网络、IP语音(VoIP)网络等)也是众所周知的。因此，如下面更详细地描述的，车载控制系统150和图像处理模块200可以经由车载网络使能设备接口131来接收基于网络的数据或内容，该车载网络使能设备接口131可以被用于与车载网络使能设备130和网络120连接。按照这种方式，车载控制系统150和图像处理模块200可以从车辆105内支持各种可联网的车载设备和系统。
如在图1中示出的，车载控制系统150和图像处理模块200还可以从用户移动设备132接收数据、图像处理控制参数和训练内容，这些用户移动设备132可以位于车辆105内部或附近。用户移动设备132可以表示标准的移动设备，诸如蜂窝电话、智能电话、个人数字助理(PDA)、MP3播放器、平板计算设备(例如iPadTM)、膝上型计算机、CD播放器以及可以为车载控制系统150和图像处理模块200产生、接收和/或传递数据、图像处理控制参数和内容的其他移动设备。如在图1中示出的，移动设备132还可以与网络云120进行数据通信。移动设备132可以经由网络120来从移动设备132它们本身的内部存储器部件或从网络资源122获取数据和内容。附加地，移动设备132它们本身可以包括GPS数据接收器、加速度计、WiFi三角测量或移动设备中可以被用于随时确定用户的实时地理位置(经由移动设备)的其他地理位置传感器或部件。在任何情况下，车载控制系统150和图像处理模块200都可以从如在图1中示出的移动设备132接收数据。
仍然参照图1，生态系统101的示例实施例可以包括车辆操作子系统140。对于在车辆105中实施的实施例，许多标准的车辆包括支持用于发动机、制动器、变速器、电气系统、排放系统、内部环境等的监测/控制子系统的操作子系统(诸如电子控制单元(ECU))。例如，经由车辆子系统接口141从车辆操作子系统140(例如车辆105的ECU)传送给车载控制系统150的数据信号可以包括有关车辆105的一个或多个部件或子系统的状态的信息。具体地，可以从车辆操作子系统140传送给车辆105的控制器局域网(CAN)总线的数据信号可以由车载控制系统150经由车辆子系统接口141接收并且处理。本文所描述的系统和方法的实施例可以与使用如本文定义的CAN总线或相似数据通信总线的基本上任何机械化系统(包括但不限于：工业设备、船、卡车、机械或汽车)一起使用；因此，如本文所使用的术语“车辆”可以包括任何这种机械化系统。本文所描述的系统和方法的实施例还可以与采用某种形式的网络数据通信的任何系统一起使用；然而，不需要这种网络通信。
仍然参照图1，生态系统101的示例实施例以及其中的车辆操作子系统140可以包括支持车辆105的操作的各种车辆子系统。通常，例如，车辆105可以采取小汽车、卡车、摩托车、公共汽车、船、飞机、直升机、割草机、推土机、雪地摩托车、飞行器、休闲车、游乐园车、农场设备、建筑设备、电车、高尔夫球车、火车和手推车的形式。其他车辆也是可能的。车辆105可以被配置为完全或部分地以自主模式进行操作。例如，车辆105可以在自主模式下控制其本身，并且可以可操作以确定车辆的当前状态及其环境，确定环境中的至少一个其他车辆的预测行为，确定可以与该至少一个其他车辆执行预测行为的可能性对应的置信度，并且基于确定的信息来控制车辆105。当处于自主模式时，车辆105可以被配置为在没有人类交互的情况下进行操作。
车辆105可以包括各种车辆子系统，诸如车辆驱动子系统142、车辆传感器子系统144、车辆控制子系统146和乘员接口子系统148。如上所述，车辆105还可以包括车载控制系统150、计算系统170和图像处理模块200。车辆105可以包括更多或更少的子系统，并且每个子系统可以包括多个元件。进一步地，车辆105的每个子系统和元件可以被相互连接。因此，车辆105的所描述的功能中的一个或多个功能可以被划分为附加的功能部件或物理部件，或被组合为更少的功能部件或物理部件。在一些其他示例中，附加的功能部件和物理部件可以被添加到通过图1所图示的示例。车辆驱动子系统142可以包括可操作以为车辆105提供动力运动的部件。在示例实施例中，车辆驱动子系统142可以包括发动机或电动机、车轮/轮胎、变速器、电气子系统和动力源。发动机或电动机可以是内燃发动机、电机、蒸汽发动机、燃料电池发动机、丙烷发动机或其他类型的发动机或电动机的任何组合。在一些示例实施例中，发动机可以被配置为将动力源转换为机械能。在一些示例实施例中，车辆驱动子系统142可以包括多种类型的发动机或电动机。例如，气电混合动力汽车可以包括汽油发动机和电动机。其他示例是可能的。车辆105的车轮可以是标准的轮胎。可以按照各种形式来配置车辆105的车轮，包括：例如单轮车、自行车、三轮车或四轮形式(诸如在小汽车或卡车上)。其他车轮几何形状是可能的，诸如包括六个或更多个车轮的那些车轮几何形状。车辆105的车轮的任何组合都可以可操作以相对于其他车轮不同地旋转。车轮可以表示被固定地附接至变速器的至少一个车轮以及被联接至车轮的轮辋的至少一个轮胎，该轮辋可以接触驱动表面。车轮可以包括金属和橡胶的组合或材料的另一种组合。变速器可以包括可操作以将机械动力从发动机传输至车轮的元件。为此，变速器可以包括齿轮箱、离合器、差速器和驱动轴。变速器也可以包括其他元件。驱动轴可以包括可以被联接至一个或多个车轮的一个或多个轴。电气系统可以包括可操作以在车辆105中传递和控制电信号的元件。这些电信号可以被用于激活车辆105的灯、伺服、电机以及其他电驱动的或受控的设备。动力源可以表示可以完全或部分地为发动机或电动机提供动力的能源。也就是说，发动机或电动机可以被配置为将动力源转换为机械能。动力源的示例包括：汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、燃料电池、太阳能板、蓄电池以及其他电力源。附加地或备选地，动力源可以包括燃料箱、蓄电池、电容器或飞轮的任何组合。动力源还可以为车辆105的其他子系统提供能量。
车辆传感器子系统144可以包括被配置为感测有关车辆105的环境或状况的信息的若干传感器。例如，车辆传感器子系统144可以包括惯性测量单元(IMU)、全球定位系统(GPS)收发器、RADAR单元、激光测距仪/LIDAR单元以及一个或多个摄像头或图像捕获设备。车辆传感器子系统144还可以包括被配置为监测车辆105的内部系统的传感器(例如O2监视器、燃油表、发动机油温)。其他传感器也是可能的。车辆传感器子系统144中所包括的传感器中的一个或多个传感器可以被配置为单独地或共同地被致动，以修改一个或多个传感器的位置、定向或两者。
IMU可以包括被配置为基于惯性加速度来感测车辆105的位置和定向变化的传感器(例如加速度计和陀螺仪)的任何组合。GPS收发器可以是被配置为估计车辆105的地理位置的任何传感器。为此，GPS收发器可以包括可操作以提供有关车辆105相对于地球的位置的信息的接收器/发送器。RADAR单元可以表示利用无线电信号来感测在车辆105的局部环境内的物体的系统。在一些实施例中，除了感测物体之外，RADAR单元还可以被配置为感测在车辆105附近的物体的速度和前进方向。激光测距仪或LIDAR单元可以是被配置为使用激光来感测车辆105所处的环境中的物体的任何传感器。在示例实施例中，激光测距仪/LIDAR单元可以包括一个或多个激光源、激光扫描仪和一个或多个检测器以及其他系统部件。激光测距仪/LIDAR单元可以被配置为以相干(例如使用外差检测)或非相干检测模式进行操作。摄像头可以包括被配置为捕获车辆105的环境的多个图像的一个或多个设备。摄像头可以是静止图像摄像头或运动视频摄像头。
车辆控制子系统146可以被配置为控制车辆105及其部件的操作。因此，车辆控制子系统146可以包括各种元件，诸如转向单元、风门、制动单元、导航单元和自主控制单元。
转向单元可以表示可操作以调整车辆105的前进方向的机构的任何组合。风门可以被配置为控制例如发动机的运转速度，并且转而控制车辆105的速度。制动单元可以包括被配置为使车辆105减速的机构的任何组合。制动单元可以使用摩擦来按照标准方式使车轮减慢。在其他实施例中，制动单元可以将车轮的动能转换为电流。制动单元也可以采取其他形式。导航单元可以是被配置为确定车辆105的驾驶路径或路线的任何系统。导航单元还可以被配置为在车辆105运行时动态地更新驾驶路径。在一些实施例中，导航单元可以被配置为合并来自图像处理模块200、GPS收发器和一个或多个预定地图的数据，以确定车辆105的驾驶路径。自主控制单元可以表示一种控制系统，该控制系统被配置为标识、评估、并且避开或以其他方式越过车辆105的环境中的潜在障碍。通常，自主控制单元可以被配置为在没有驾驶员的情况下控制车辆105进行操作或在控制车辆105时提供驾驶员帮助。在一些实施例中，自主控制单元可以被配置为合并来自图像处理模块200、GPS收发器、RADAR、LIDAR、摄像头以及其他车辆子系统的数据以确定车辆105的驾驶路径或轨迹。附加地或备选地，车辆控制子系统146可以包括除了示出的和描述的那些部件之外的部件。
乘员接口子系统148可以被配置为允许车辆105与外部传感器、其他车辆、其他计算机系统和/或车辆105的乘员或用户之间的交互。例如，乘员接口子系统148可以包括标准的视觉显示设备(例如等离子显示器、液晶显示器(LCD)、触摸屏显示器、平视显示器等)、扬声器或其他音频输出设备、麦克风或其他音频输入设备、导航接口以及用于控制车辆105的内部环境(例如温度、风扇等)的接口。在示例实施例中，乘员接口子系统148可以提供例如用于车辆105的用户/乘员与其他车辆子系统进行交互的装置。视觉显示设备可以向车辆105的用户提供信息。用户界面设备还可以可操作以经由触摸屏来接受来自用户的输入。触摸屏可以被配置为经由电容感测、电阻感测或表面声波过程以及其他可能性来感测用户的手指的位置和移动中的至少一项。触摸屏或许能够感测在平行于触摸屏表面或与触摸屏表面成平面的方向上、在垂直于触摸屏表面的方向上或在这两个方向上的手指移动，并且或许还能够感测施加到触摸屏表面的压力的水平。触摸屏可以由一个或多个半透明的或透明的绝缘层和一个或多个半透明的或透明的导电层形成。触摸屏也可以采取其他形式。在其他实例中，乘员接口子系统148可以为车辆105提供用于与其环境内的设备进行通信的装置。麦克风可以被配置为接收来自车辆105的用户的音频(例如语音命令或其他音频输入)。类似地，扬声器可以被配置为向车辆105的用户输出音频。在一个示例实施例中，乘员接口子系统148可以被配置为直接或经由通信网络与一个或多个设备进行无线通信。例如，无线通信系统可以使用3G蜂窝通信(诸如CDMA、EVDO、GSM/GPRS)或4G蜂窝通信(诸如WiMAX或LTE)。备选地，无线通信系统可以与无线局域网(WLAN)进行通信，例如使用
Figure BDA0003781519340000141
在一些实施例中，无线通信系统可以直接与设备进行通信，例如使用红外链路、
Figure BDA0003781519340000142
或
Figure BDA0003781519340000143
在本公开的语境中，其他无线协议(诸如各种车辆通信系统)是可能的。例如，无线通信系统可以包括一个或多个专用短距离通信(DSRC)设备，该一个或多个专用短距离通信(DSRC)设备可以包括车辆和/或路边站之间的公共或私有数据通信。
车辆105的功能中的许多或全部功能可以由计算系统170控制。计算系统170可以包括执行被存储在非暂时性计算机可读介质(诸如数据存储设备172)中的处理指令的至少一个数据处理器171(该至少一个数据处理器171可以包括至少一个微处理器)。计算系统170还可以表示可以用于以分布式方式控制车辆105的单独的部件或子系统的多个计算设备。在一些实施例中，数据存储设备172可以包括可由数据处理器171执行以执行车辆105的各种功能(包括本文结合附图描述的那些功能)的处理指令(例如程序逻辑)。数据存储设备172也可以包括其他指令，这些指令包括以下指令：向车辆驱动子系统142、车辆传感器子系统144、车辆控制子系统146、乘员接口子系统148中的一个或多个子系统传输数据，从该一个或多个子系统接收数据，与该一个或多个子系统进行交互，或控制该一个或多个子系统。
除了处理指令之外，数据存储设备172还可以存储数据，诸如图像处理参数、训练数据、道路地图和路径信息以及其他信息。车辆105和计算系统170可以在车辆105以自主、半自主和/或手动模式进行操作期间使用这种信息。
车辆105可以包括用于向车辆105的用户或乘员提供信息或接收来自车辆105的用户或乘员的信息的用户界面。该用户界面可以控制可以显示在显示设备上的交互式图像的内容和布局或启用对该内容或布局的控制。进一步地，该用户界面可以包括在该组乘员界面子系统148内的一个或多个输入/输出设备，诸如显示设备、扬声器、麦克风或无线通信系统。
计算系统170可以基于从各种车辆子系统(例如车辆驱动子系统142、车辆传感器子系统144和车辆控制子系统146)以及从乘员接口子系统148接收到的输入来控制车辆105的功能。例如，计算系统170可以使用来自车辆控制子系统146的输入以控制转向单元以避开由车辆传感器子系统144和图像处理模块200检测到的障碍，按照受控方式移动，或者跟随基于由图像处理模块200生成的输出的路径或轨迹。在示例实施例中，计算系统170可以可操作以提供对车辆105及其子系统的许多方面的控制。
虽然图1将车辆105的各种部件(例如车辆子系统140、计算系统170、数据存储设备172和图像处理模块200)示出为被集成到车辆105中，但是这些部件中的一个或多个部件可以与车辆105分开安装或相关联。例如，数据存储设备172可以部分地或完全与车辆105分开地存在。因此，可以按照可以被分开或一起定位的设备元件的形式，来提供车辆105。组成车辆105的设备元件可以按照有线或无线方式被通信地耦合在一起。
附加地，如上所述的车载控制系统150可以从本地和/或远程源获得其他数据和/或内容(在本文中被表示为辅助数据)。如本文描述的，辅助数据可以被用于基于各种因子来增强、修改或训练图像处理模块200的操作，该各种因子包括：用户正操作车辆的环境(例如车辆的位置、指定的目的地、行进方向、速度、当日时间、车辆的状态等)以及可从这些各种源(本地的和远程的)获得的各种其他数据。
在特定实施例中，车载控制系统150和图像处理模块200可以被实施为车辆105的车载部件。在各种示例实施例中，车载控制系统150和与之进行数据通信的图像处理模块200可以被实施为集成部件或单独的部件。在示例实施例中，可以通过使用经由网络120的与移动设备132和/或网络资源122的数据连接来动态地升级、修改和/或增强车载控制系统150和/或图像处理模块200的软件部件。车载控制系统150可以周期性地向移动设备132或网络资源122查询更新，或者可以向车载控制系统150推送更新。
用于车辆车轮检测的系统和方法
在本文所公开的各种示例实施例中，提供了一种用于使用图像分割的车辆车轮检测的系统和方法。在示例实施例中，该系统包括三个组成部分：1)数据收集和注释、2)使用深度卷积神经网络的模型训练以及3)实时模型推理。为了利用最新的深度学习模型和训练策略，本文所公开的各种示例实施例将车轮检测问题形成为两类分割任务，并且在擅长多类语义分割问题的深度神经网络上进行训练。当该系统获得对给定车辆的准确的车轮特征分割分析时，该系统可以获得或推理出有价值的车辆信息，诸如姿势、位置、意图和轨迹。该车辆信息可以为用于自主驾驶的感知、定位和计划系统提供很大益处。在本文描述的各种示例实施例中，下面描述了车辆车轮检测系统的部件。
数据收集和注释
在各种示例实施例中，可以按照不同的方式来定义车轮分割问题，诸如1)只需要矩形边界框的四个角的位置的边界框回归问题；2)需要对车轮区域进行像素级标记的语义分割问题或者3)实例分割问题，该实例分割问题需要为每个单个车轮分配不同的实例标识符编号(ID)。本文所描述的示例实施例提供了对于所有可能的任务都是高效并且适合的注释范例。由于车辆车轮通常共享相似的可见形状，诸如圆形或椭圆形，因此，由示例实施例执行的处理将车辆车轮注释任务变换为轮廓注释任务。也就是说，示例实施例可以被配置为标识和渲染围绕在输入图像中检测到的每个车辆车轮的轮廓线或轮廓。根据车辆车轮轮廓，示例实施例可以被配置为通过提取针对每个车轮轮廓的所有四个方向(上、下、左、右)的极值并且从这些极值生成对应的边界框来生成对应的检测边界框。附加地，示例实施例可以被配置为通过填充由车轮轮廓限定的内部区域来获得与车辆车轮轮廓对应的语义分割标签。最后，示例实施例还可以通过对封闭的车辆车轮轮廓的数量进行计数并且为在输入图像中检测到的车辆车轮的每个实例生成不同的实例标识符编号(ID)来获得车辆车轮实例标签。因此，示例实施例可以基于在输入图像中标识的车辆车轮轮廓来生成各种信息。重要的是：对于人类贴标人员而言，绘制车辆车轮轮廓非常容易，从而帮助我们高效地建立大型的机器学习训练数据集。因此，机器学习技术可以被用于使示例实施例能够收集原始训练图像数据以及训练机器学习模型，以标识输入图像中的车辆车轮轮廓，并且对其进行注释。然后，示例实施例可以基于所标识的车辆车轮轮廓来生成上面所描述的各种信息。在图2中示出了由示例实施例产生的样本原始输入图像和车辆车轮轮廓标记结果。
图2图示了从自主车辆的摄像头获取的原始输入图像(图2，上半部图像)和由示例实施例产生的对应车辆车轮轮廓标记或注释结果(图2，相反颜色的下半部图像)。添加了在图2中所示出的虚线箭头以高亮车辆车轮轮廓注释的每个实例与原始输入图像的导出车辆车轮轮廓注释的部分之间的关联。如下面更详细地描述的，训练过的机器学习模型可以被用于从原始输入图像生成车辆车轮轮廓注释。通过本文所公开的示例实施例实现的这种轮廓级车辆车轮注释提供了若干重要的益处，包括允许将检测到的车辆车轮对象信息变换为任何所需格式。
模型训练
在本文所描述的示例实施例中，监督学习方法可以被用于对在一组输入图像中捕获到的对象、对象特征和对象关系的分类。监督学习方法包括在离线训练阶段中使用一组训练数据或测试数据来训练分类器或模型的过程。通过要求输入图像中的每个对象(例如车辆车轮)的预定义特征和手动注释的标签，示例实施例可以对许多静态训练图像训练一个或多个机器学习分类器。附加地，示例实施例可以对训练图像序列训练机器学习分类器。在训练阶段之后，训练过的机器学习分类器可以被用于第二阶段(操作或推理阶段)，以接收实时图像，并且在接收到的图像中有效地并且高效地检测每个车轮的车轮特征。下面更详细地描述了对示例实施例中的机器学习分类器的训练和操作使用。
现在参照图3，可以在用于自主车辆的自主车辆车轮检测系统210的语境中使用本文公开的示例实施例。如上所述，自主车辆车轮检测系统210可以被包括在如上所述的图像处理模块200中或由该图像处理模块200执行。自主车辆车轮检测系统210可以包括一个或多个车辆车轮对象轮廓分类器211，该一个或多个车辆车轮对象轮廓分类器211可以与本文所描述的机器学习分类器对应。可以等效地使用其他类型的分类器或模型。图3图示了离线训练阶段(第一阶段)，该离线训练阶段被用于基于表示地面实况的训练图像数据收集系统201和手动注释数据收集系统203，来配置或训练示例实施例中的自主车辆车轮检测系统210以及其中的分类器211。在示例实施例中，训练图像数据收集系统201可以被用于收集感知数据，以与训练图像数据一起训练或配置用于自主车辆车轮检测系统210的处理参数。如下面针对示例实施例的更详细地描述的，在初始训练阶段之后，自主车辆车轮检测系统210可以被用于操作、推理或模拟阶段(第二阶段)，以基于由自主车辆车轮检测系统210接收到的图像数据、并且基于自主车辆车轮检测系统210在初始离线训练阶段期间接收的训练，来生成图像特征预测和车轮轮廓特征检测。
再次参照图3，训练图像数据收集系统201可以包括感知信息收集设备或传感器的阵列，该阵列可以包括图像生成设备(例如摄像头)、辐射受激发射光放大(激光)设备、光检测和测距(LIDAR)设备、全球定位系统(GPS)设备、声音导航和测距(声纳)设备、无线电检测和测距(雷达)设备等。由信息收集设备在各个交通位置收集的感知信息可以包括交通或车辆图像数据、道路数据、环境数据、来自LIDAR或雷达设备的距离数据以及从位于特定道路(例如所监测的位置)附近的数据收集系统201的信息收集设备接收到的其他传感器信息。附加地，数据收集系统201可以包括被安装在移动的测试车辆中的信息收集设备，这些移动的测试车辆在感兴趣的环境或位置中通过预定路线来进行导航。地面实况数据的一些部分还可以由数据收集系统201收集。
为了扩大大小并且改善训练图像数据集的方差，在以下广泛的驾驶场景下，数据收集系统201可以从被安装在车辆上的广角摄像头和长焦摄像头收集图像：本地、公路、晴天、多云、城市、乡村、桥梁、沙漠等。训练图像数据集可以被分为用于模型训练的训练数据集和用于模型评估的测试数据集。
图像数据收集系统201可以在不同的场景下收集车辆、运动或静态物体、道路特征、环境特征的实际图像以及对应的地面实况数据。不同的场景可以与不同的位置、不同的交通模式、不同的环境条件等对应。由数据收集系统201收集的图像数据和其他感知数据以及地面实况数据反映与位置或路线、场景、被监测的车辆或物体相关的真实的现实世界交通信息。通过使用众所周知的数据收集设备的标准能力，收集到的交通和车辆图像数据以及其他感知或传感器数据可以被无线地传递(或以其他方式传递)至标准计算系统的数据处理器，在该数据处理器上，可以执行图像数据收集系统201。备选地，收集到的交通和车辆图像数据以及其他感知或传感器数据可以被存储在位于所监测的位置处的存储器设备中或测试车辆中，并且随后被传递给标准计算系统的数据处理器。
如在图3中示出的，提供手动注释数据收集系统203以将标签应用于在由数据收集系统201收集到的训练图像中找到的特征。可以通过人类贴标人员或自动化过程来分析这些训练图像，以为在训练图像中标识的特征中的每个特征手动地定义标签或分类。手动施加的数据还可以包括对象关系信息，该对象关系信息包括在训练图像数据帧中的每个对象的状态。例如，手动贴标人员可以绘制在训练图像数据集中检测到的车辆车轮对象的轮廓。同样地，手动注释的图像标签和对象关系信息可以表示与来自图像数据收集系统201的训练图像对应的地面实况数据。这些特征标签或地面实况数据可以被提供至自主车辆车轮检测系统210作为下面更详细地描述的离线训练阶段的一部分。
可以使用由训练图像数据收集系统201收集或计算的用于训练的交通和车辆图像数据以及其他感知或传感器数据、特征标签数据和地面实况数据以及由手动注释数据收集系统203产生的对象或特征标签，来生成训练数据，该训练数据可以由自主车辆车轮检测系统210在离线训练阶段处理。例如，如众所周知的，分类器、模型、神经网络以及其他机器学习系统可以在训练阶段被训练为基于提供至分类器、模型、神经网络或其他机器学习系统的训练数据来产生所配置的输出。如下面更详细地描述的，由图像数据收集系统201和手动注释数据收集系统203提供的训练数据可以被用于训练自主车辆车轮检测系统210以及其中的分类器211，以确定与在训练图像中标识的对象(例如车轮)对应的车辆车轮轮廓特征。下面更详细地描述了自主车辆车轮检测系统210的离线训练阶段。
示例实施例可以在车辆车轮检测过程中训练和使用机器学习分类器。这些机器学习分类器在图3中被表示为车辆车轮对象轮廓分类器211。在示例实施例中，可以利用来自训练图像数据集的图像来训练车辆车轮对象轮廓分类器211。按照这种方式，车辆车轮对象轮廓分类器211可以有效地并且高效地从一组输入图像中检测每个车辆的车辆车轮特征。下面更详细地描述了对示例实施例中的车辆车轮对象轮廓分类器211的训练。
现在参照图4(上半部图像)，该图图示了原始示例原始训练图像与地面实况相结合的混合可视化。图4图示了样本训练图像，该样本训练图像可以由示例实施例用来训练车辆车轮对象轮廓分类器211，以处理训练图像。原始训练图像可以是由如上所述的训练图像数据收集系统201提供至自主车辆车轮检测系统210的训练图像中的一个训练图像。来自原始训练图像的训练图像数据可以被收集并且被提供至自主车辆车轮检测系统210，在该自主车辆车轮检测系统210中，可以提取原始训练图像的特征。语义分割或相似的过程可以被用于特征提取。如众所周知的，特征提取可以为在图像数据中标识的每个特征或对象提供像素级对象标签和边界框。在许多情况下，在图像数据中标识的特征或对象将与车辆车轮对象对应。同样地，可以提取输入训练图像中的车辆车轮对象，并且用标签和边界框来进行表示。边界框可以被表示为大小与提取的车辆车轮对象的轮廓对应的矩形框。附加地，还可以使用已知技术来执行对每个车辆车轮对象的对象级轮廓检测。因此，针对每个接收到的训练图像，自主车辆车轮检测系统210可以获得或产生用标签和边界框表示的车辆车轮对象检测数据以及对训练图像中的每个车辆车轮对象实例的对象级轮廓检测。现在参照图4(下半部图像)，该图图示了根据示例实施例的可以被用于训练分割模型的示例地面实况标签图。
由于车辆车轮的确切形状和准确位置比边界框提供更多的信息，因此，示例实施例可以采用语义分割框架来进行车辆车轮检测任务，与实例分割任务相比较，该车辆车轮检测任务也不会过于复杂。可以如下描述该问题的正式定义：
给定原始输入RGB(红色/绿色/蓝色)图像I，
输出具有与I相同大小的标签图R
其中车辆车轮像素被标记为1
并且背景像素被标记为0。
通过填充由车辆车轮轮廓限定的内部区域并且执行扩张以获得更多的正训练样本(例如车轮对象)，示例实施例可以生成地面实况以减轻潜在的数据不平衡问题。
示例实施例可以使用全卷积神经网络(FCN)作为针对如本文描述的车辆车轮对象轮廓检测任务而训练的机器学习模型。FCN的一般形式已经被广泛应用于像素级图像到图像学习任务。在示例实施例中，针对车辆车轮对象轮廓检测任务(例如机器学习模型)而训练的FCN可以被定制为包括如在上面引用的相关专利申请中描述的使用密集上采样卷积(DUC)的语义分割和使用混合扩张卷积(HDC)的语义分割。关于更复杂的多类场景解析任务，可以对针对车辆车轮对象轮廓检测任务的FCN进行预训练，因此，经过学习的特征可以加快训练过程。由于图像背景包括比图像前景(例如车辆车轮)多得多的像素，因此，示例实施例可以使用加权的多逻辑损失函数来训练机器学习模型，以确保适当的训练并且减轻过度拟合。示例实施例可以使用随机梯度下降(SGD)来训练整个机器学习模型，以便进行足够的迭代以确保收敛。
此时，离线训练过程完成，并且已经适当地调整了与一个或多个分类器211相关联的参数，以使一个或多个分类器211充分地检测与输入图像数据对应的车辆对象车轮特征。在通过如上所述的离线训练过程被训练之后，具有其适当调整过的参数的一个或多个分类器211可以被部署在下面结合图5描述的操作、推理或模拟阶段(第二阶段)中。
推理
在FCN训练收敛之后，示例实施例可以使用预训练的FCN来在第二或操作阶段中执行模型推理。图5图示了对示例实施例中的自主车辆车轮检测系统210的操作使用或模拟使用的第二阶段。如在图5中示出的，自主车辆车轮检测系统210可以从图像数据收集系统205接收现实世界操作图像数据(包括静态图像和图像序列)。图像数据收集系统205可以包括在自主车辆上或与自主车辆相关联的感知信息收集设备、传感器和/或图像生成设备的阵列，除了图像数据收集系统205收集现实世界操作图像数据而不是训练图像数据之外，与图像数据收集系统201的感知信息收集设备相似。如本文更详细地描述的，通过应用一个或多个训练过的车辆车轮对象轮廓分类器211，自主车辆车轮检测系统210可以处理输入的现实世界操作图像数据，以产生车辆车轮对象数据220，该车辆车轮对象数据220可以由其他自主车辆子系统用来配置或控制自主车辆的操作。同样如上所述，语义分割或相似的过程可以被用于从现实世界图像数据进行车辆车轮对象提取。
为了获得推理速度与模型精度之间的折衷，示例实施例可以将所有输入图像的大小调整为512的宽度和288的高度，使得我们在维持较高的准确度(召回率>0.9)的同时实现实时(50HZ)性能。在图6至图10中图示了地面实况图像和对应的预测结果的示例。可以了解到：示例实施例的训练过的模型在各种条件下(诸如不同的车辆类型(例如小汽车、卡车等)、不同的距离(近端和远端)以及不同的照明条件(例如晴天、阴凉处等))实现了优异的结果。
图6(下半部图像)图示了使用训练过的分割模型的示例预测标签图，利用图4的示例图像以及其他训练图像来训练该分割模型。图6(上半部图像)还图示了原始示例图像与预测结果相结合的混合可视化。
图7(下半部图像)图示了根据示例实施例的可以被用于训练分割模型的另一示例地面实况标签图。图7(上半部图像)还图示了原始示例图像与地面实况相结合的混合可视化。
图8(下半部图像)图示了使用训练过的分割模型的示例预测标签图，利用图7的示例图像以及其他训练图像来训练该分割模型。图8(上半部图像)还图示了原始示例图像与预测结果相结合的混合可视化。
图9(下半部图像)图示了根据示例实施例的可以被用于训练分割模型的再一个示例地面实况标签图。图9(上半部图像)还图示了原始示例图像与地面实况相结合的混合可视化。
图10(下半部图像)图示了使用训练过的分割模型的示例预测标签图，利用图9的示例图像以及其他训练图像来训练该分割模型。图10(上半部图像)还图示了原始示例图像与预测结果相结合的混合可视化。
利用一个或多个训练过的分类器211，自主车辆车轮检测系统210可以处理输入图像数据，以产生车辆车轮对象数据220，该车辆车轮对象数据220可以由其他自主车辆子系统用来配置或控制自主车辆的操作。因此，公开了一种用于针对自主车辆控制的车辆车轮检测的系统和方法。
现在参照图11，流程图图示了用于车辆车轮检测的系统和方法1000的示例实施例。该示例实施例可以被配置为：从训练图像数据收集系统接收训练图像数据(处理框1010)；获得与训练图像数据对应的地面实况数据(处理框1020)；执行训练阶段，以训练一个或多个分类器来处理训练图像数据中的图像，以在训练图像数据中的图像中检测车辆车轮对象(处理框1030)；从与自主车辆相关联的图像数据收集系统接收操作图像数据(处理框1040)；并且执行操作阶段，该操作阶段包括将训练过的一个或多个分类器应用于从操作图像数据提取车辆车轮对象，并且产生车辆车轮对象数据(处理框1050)。
如本文使用的并且除非另有说明，否则术语“移动设备”包括可以与本文所描述的车载控制系统150和/或图像处理模块200通信以获得经由任何模式的数据通信传送的数据信号、消息或内容的读取或写入权限的任何计算或通信设备。在许多情况下，移动设备132是手持式便携设备，诸如智能电话、移动电话、蜂窝电话、平板计算机、膝上型计算机、显示寻呼机、射频(RF)设备、红外(IR)设备、全球定位设备(GPS)、个人数字助理(PDA)、手持式计算机、可穿戴计算机、便携式游戏机、其他移动通信和/或计算设备或组合前述设备中的一个或多个的集成设备等。附加地，移动设备132可以是计算设备、个人计算机(PC)、多处理器系统、基于微处理器的或可编程的消费电子设备、网络PC、诊断设备、由车辆119制造商或服务技术人员操作的系统等，但不限于便携式设备。移动设备132可以接收并且处理各种数据格式中的任何一种数据格式的数据。数据格式可以包括或被配置为以任何编程格式、协议或语言进行操作，包括但不限于：JavaScript、C++、iOS、Android等。如本文使用的并且除非另有说明，否则术语“网络资源”包括可以与本文所描述的车载控制系统150和/或图像处理模块200通信以获得经由任何模式的进程间或联网数据通信传送的数据信号、消息或内容的读取或写入权限的任何设备、系统或服务。在许多情况下，网络资源122是数据网络可访问的计算平台，包括：客户端或服务器计算机、网站、移动设备、对等(P2P)网络节点等。附加地，网络资源122可以是网络应用、网络路由器、交换机、桥接器、网关、诊断设备、可由车辆119制造商或服务技术人员操作的系统或能够执行一组指令(顺序的或乱序的)的任何机器，该一组指令指定待由该机器采取的动作。进一步地，虽然只图示了单个机器，但是术语“机器”也可以被理解为包括单独地或联合地执行一组(或多组)指令以执行本文所讨论的方法中的任何一种或多种方法的机器的任何类集。网络资源122可以包括网络可传输数字内容的各种提供者或处理器中的任何一种。通常，采用的文件格式是可扩展标记语言(XML)，然而，各种实施例不限于此，并且可以使用其他文件格式。例如，各种实施例可以支持除了超文本标记语言(HTML)/XML之外的数据格式或除了开放式/标准数据格式之外的格式。本文所描述的各种实施例可以支持任何电子文件格式(诸如便携式文档格式(PDF)、音频(例如运动图像专家组音频第3层-MP3等)、视频(例如MP4等)以及由特定内容站点定义的任何专有交换格式)。
与网络资源122一起使用的广域数据网络120(也被称为网络云)可以被配置为将一个计算或通信设备与另一计算或通信设备耦合。可以使网络能够采用任何形式的计算机可读数据或介质来将信息从一个电子设备传送给另一电子设备。除了其他广域网(WAN)、蜂窝电话网络、城域网、局域网(LAN)、其他分组交换网络、电路交换网络、直接数据连接之外，网络120还可以包括互联网，诸如通过通用串行总线(USB)或以太网端口、其他形式的计算机可读介质或其任何组合。除了其他广域网(WAN)、蜂窝电话网络、卫星网络、空中广播网络、AM/FM无线电网络、寻呼机网络、UHF网络、其他广播网络、游戏网络、WiFi网络、对等网络、IP语音(VoIP)网络、城域网、局域网(LAN)、其他分组交换网络、电路交换网络、直接数据连接以外，网络120还可以包括互联网，诸如通过通用串行总线(USB)或以太网端口、其他形式的计算机可读介质或其任何组合。在互连的一组网络上(包括基于不同架构和协议的那些网络)，路由器或网关可以用作网络之间的链路，从而使得能够在不同网络上的计算设备之间发送消息。类似地，网络内的通信链路通常可以包括双绞线电缆、USB、火线、以太网或同轴电缆，而网络之间的通信链路可以利用模拟或数字电话线、包括T1、T2、T3和T4的完整或部分专用数字线路、综合业务数字网(ISDN)、数字用户线(DSL)、包括卫星链路的无线链路、蜂窝电话链路或本领域的普通技术人员已知的其他通信链路。此外，远程计算机以及其他相关的电子设备可以经由调制解调器和暂时电话链路被远程地连接至网络。
网络120还可以包括可以进一步覆盖独立自组织网络等以提供面向基础架构的连接的各种无线子网络中的任何无线子网络。这种子网络可以包括网状网络、无线LAN(WLAN)网络、蜂窝网络等。该网络还可以包括通过无线无线电链路或无线收发器被连接的终端、网关、路由器等的自治系统。这些连接器可以被配置为自由和随机地移动并且任意地进行组织，使得网络的拓扑可以快速发生变化。网络120还可以采用多种标准的无线和/或蜂窝协议或接入技术中的一种或多种技术，包括本文结合在附图中描述的网络接口712和网络714阐述的那些技术。
在特定实施例中，移动设备132和/或网络资源122可以用作使用户能够访问和使用车载控制系统150和/或图像处理模块200以与车辆子系统的一个或多个部件进行交互的客户端设备。实际上，这些客户端设备132或122可以包括被配置为通过网络(诸如本文描述的网络120)来发送和接收信息的任何计算设备。这种客户端设备可以包括移动设备，诸如蜂窝电话、智能电话、平板计算机、显示寻呼机、射频(RF)设备、红外(IR)设备、全球定位设备(GPS)、个人数字助理(PDA)、手持式计算机、可穿戴计算机、游戏机、组合前述设备中的一个或多个的集成设备等。客户端设备还可以包括其他计算设备，诸如个人计算机(PC)、多处理器系统、基于微处理器的或可编程的消费类电子产品、网络PC等。类似地，客户端设备在能力和特征方面可以广泛地发生变动。例如，被配置为手机的客户端设备可以具有数字小键盘和几行单色LCD显示器，在该单色LCD显示器上，只能显示文本。在另一示例中，网络使能客户端设备可以具有触敏屏幕、手写笔和彩色LCD显示屏，在该彩色LCD显示屏中，可以显示文本和图形。此外，网络使能客户端设备可以包括浏览器应用，使该浏览器应用能够接收和发送无线应用协议消息(WAP)和/或有线应用消息等。在一个实施例中，使浏览器应用能够采用超文本标记语言(HTML)、动态HTML、手持式设备标记语言(HDML)、无线标记语言(WML)、WMLScript、JavaScriptTM、可扩展HTML(xHTML)、紧凑HTML(CHTML)等，以显示和发送具有相关信息的消息。
客户端设备还可以包括至少一个客户端应用，该至少一个客户端应用被配置为经由网络传输来从另一计算设备接收内容或消息。客户端应用可以包括提供和接收文本内容、图形内容、视频内容、音频内容、警报、消息、通知等的能力。此外，客户端设备还可以被配置为诸如通过短消息服务(SMS)、直接消息传递(例如Twitter)、电子邮件、多媒体消息服务(MMS)、即时消息传递(IM)、互联网中继聊天(IRC)、mIRC、Jabber、增强型消息传递服务(EMS)、文本消息传递、智能消息传递、空中(OTA)消息传递等来与另一计算设备等之间传送和/或接收消息。客户端设备还可以包括无线应用设备，在该无线应用设备上，客户端应用被配置为使设备的用户能够经由网络来无线地向网络资源发送信息或者从网络资源接收信息。
可以使用增强执行环境的安全性的系统来实施车载控制系统150和/或图像处理模块200，从而提高安全性并且降低车载控制系统150和/或图像处理模块200以及相关服务可能受到病毒或恶意软件的破坏的可能性。例如，可以使用可信执行环境来实施车载控制系统150和/或图像处理模块200，这可以确保按照安全的方式来存储、处理和传送敏感数据。
图12以计算系统700的示例形式示出了机器的图示，在该计算系统700内，一组指令在被执行时和/或处理逻辑在被激活时可以使机器执行本文所描述的和/或要求保护的方法中的任何一种或多种方法。在备选实施例中，机器以独立设备操作，或者可以被连接(例如联网)到其他机器。在联网部署中，该机器可以在服务器-客户端网络环境中作为服务器或客户端机器操作，或者在对等(或分布式)网络环境中操作为对等机。该机器可以是个人计算机(PC)、膝上型计算机、平板计算系统、个人数字助理(PDA)、蜂窝电话、智能电话、网络应用、机顶盒(STB)、网络路由器、交换机或桥接器或能够执行一组指令(顺序的或乱序的)或激活处理逻辑的任何机器，该一组指令或处理逻辑指定待由该机器采取的动作。进一步地，虽然只图示了单个机器，但是术语“机器”也可以被理解为包括单独地或联合地执行一组(或多组)指令或处理逻辑的机器的任何类集，该一组(或多组)指令或处理逻辑用于执行本文所描述的和/或要求保护的方法中的任何一种或多种方法。
示例计算系统700可以包括数据处理器702(例如片上系统(SoC)、通用处理核心、图形核心以及可选地，其他处理逻辑)和存储器704，该数据处理器702和存储器704可以经由总线或其他数据传递系统706来彼此通信。移动计算系统700和/或移动通信系统700还可以包括各种输入/输出(I/O)设备和/或接口710，诸如触摸屏显示器、音频插孔、语音接口以及可选地，网络接口712。在示例实施例中，网络接口712可以包括一个或多个无线电收发器，该一个或多个无线电收发器被配置用于与任何一种或多种标准的无线和/或蜂窝协议或接入技术(例如用于蜂窝系统、全球移动通信系统(GSM)、通用分组无线业务(GPRS)、增强型数据GSM环境(EDGE)、宽带码分多址(WCDMA)、LTE、CDMA2000、WLAN、无线路由器(WR)网格等的第二代(2G)、2.5代、第三代(3G)、第四代(4G)和后代无线接入)的兼容性。网络接口712还可以配置用于与各种其他有线和/或无线通信协议一起使用，包括TCP/IP、UDP、SIP、SMS、RTP、WAP、CDMA、TDMA、UMTS、UWB、WiFi、WiMax、
Figure BDA0003781519340000281
IEEE 802.1lx等。本质上，网络接口712可以实际上包括或支持任何有线和/或无线通信和数据处理机制，通过该机制，信息/数据可以经由网络714在计算系统700与另一计算或通信系统之间传送。
存储器704可以表示机器可读介质，该机器可读介质上存储有体现本文所描述和/或要求保护的方法或功能中的任何一个或多个的一组或多组指令、软件、固件或其他处理逻辑(例如逻辑708)。在移动计算和/或通信系统700执行逻辑708或其一部分期间，逻辑708或其一部分还可以完全或至少部分地驻留在处理器702内。同样地，存储器704和处理器702还可以构成机器可读介质。逻辑708或其一部分还可以被配置为在硬件中部分地实施其至少一部分的处理逻辑或逻辑。还可以经由网络接口712来在网络714上传输或接收逻辑708或其一部分。虽然示例实施例中的机器可读介质可以是单种介质，但是术语“机器可读介质”应该被理解为包括存储一组或多组指令的单种非暂时性介质或多种非暂时性介质(例如集中式或分布式数据库和/或相关联的高速缓冲存储器和计算系统)。术语“机器可读介质”还可以被理解为包括任何非暂时性介质，这些任何非暂时性介质能够存储、编码或携带用于由机器执行并且使机器执行各个实施例中的任何一种或多种方法的一组指令，或者能够存储、编码或携带由这样一组指令利用或与这样一组指令相关联的数据结构。术语“机器可读介质”可以相应地被理解为包括但不限于：固态存储器、光学介质和磁介质。
可以使用以下基于条款的描述来捕获本文描述的一些实施例。
一种系统包括数据处理器以及可由数据处理器执行的自主车辆车轮检测系统，该自主车辆车轮检测系统被配置为执行自主车辆车轮检测操作。该自主车辆车轮检测操作被配置为：从训练图像数据收集系统接收训练图像数据；获得与训练图像数据对应的地面实况数据；执行训练阶段，以训练一个或多个分类器来处理训练图像数据中的图像，以在训练图像数据中的图像中检测车辆车轮对象；从与自主车辆相关联的图像数据收集系统接收操作图像数据；并且执行操作阶段，该操作阶段包括将训练过的一个或多个分类器应用于提取车轮对象数据。
根据条款1的系统，其中训练阶段被配置为从手动图像注释或标记过程获得地面实况数据。
根据条款1的系统，还被配置为生成原始图像与地面实况相结合的混合可视化。
根据条款1的系统，还被配置为通过填充由提取的车辆车轮对象的轮廓限定的内部区域来生成地面实况。
根据条款1的系统，还被配置为使用全卷积神经网络(FCN)作为机器学习模型。
根据条款1的系统，还被配置为使用全卷积神经网络(FCN)作为机器学习模型，该机器学习模型具有使用密集上采样卷积(DUC)的语义分割和使用混合扩张卷积(HDC)的语义分割。
根据条款1的系统，被配置为针对操作图像数据中的每个提取的车辆车轮对象生成对象级轮廓检测。
公开了一种方法，该方法用于：获得与训练图像数据对应的地面实况数据；执行训练阶段，以训练一个或多个分类器来处理训练图像数据中的图像，以在训练图像数据中的图像中检测车辆车轮对象；从与自主车辆相关联的图像数据收集系统接收操作图像数据；以及执行操作阶段，该操作阶段包括将训练过的一个或多个分类器应用于从操作图像数据提取车辆车轮对象，并且产生车辆车轮对象数据。
根据条款8的方法，其中训练阶段包括从手动图像注释或标记过程获得地面实况数据。
根据条款8的方法，包括：生成原始图像与地面实况相结合的混合可视化。
根据条款8的方法，包括：通过填充由提取的车辆车轮对象的轮廓限定的内部区域来生成地面实况。
根据条款8的方法，包括：使用全卷积神经网络(FCN)作为机器学习模型。
根据条款8的方法，包括：使用全卷积神经网络(FCN)作为机器学习模型，该机器学习模型具有使用密集上采样卷积(DUC)的语义分割和使用混合扩张卷积(HDC)的语义分割。
根据条款8的方法，包括：针对操作图像数据中的每个提取的车辆车轮对象生成对象级轮廓检测。
一种非暂时性机器可用存储介质，该非暂时性机器可用存储介质采用指令，这些指令在由机器执行时使机器：从训练图像数据收集系统接收训练图像数据；获得与训练图像数据对应的地面实况数据；执行训练阶段，以训练一个或多个分类器来处理训练图像数据中的图像，以在训练图像数据中的图像中检测车辆车轮对象；从与自主车辆相关联的图像数据收集系统接收操作图像数据；并且执行操作阶段，该操作阶段包括将训练过的一个或多个分类器应用于从操作图像数据提取车辆车轮对象，并且产生车辆车轮对象数据。
根据条款15的非暂时性机器可用存储介质，其中训练阶段被配置为从手动图像注释或标记过程获得地面实况数据。
根据条款15的非暂时性机器可用存储介质，还被配置为生成原始图像与地面实况相结合的混合可视化。
根据条款15的非暂时性机器可用存储介质，还被配置为通过填充由提取的车辆车轮对象的轮廓限定的内部区域来生成地面实况。
根据条款15的非暂时性机器可用存储介质，还被配置为使用全卷积神经网络(FCN)作为机器学习模型。
根据条款15的非暂时性机器可用存储介质，还被配置为针对操作图像数据中的每个提取的车辆车轮对象生成对象级轮廓检测。
本文中所公开的以及其他实施例、模块和功能操作可以被实施在数字电子电路系统中或计算机软件、固件或硬件(包括在本文中所公开的结构及其结构等效物)中或它们中的一个或多个的组合中。所公开的以及其他实施例可以被实施为一个或多个计算机程序产品，也就是说，编码在计算机可读介质上以由数据处理设备执行或以控制该数据处理设备的操作的计算机程序指令的一个或多个模块。机器可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、影响机器可读传播信号的物质组合或它们中的一个或多个的组合。术语“数据处理装置”囊括用于处理数据的所有装置、设备和机器，包括：例如可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为探讨中的计算机程序创建执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如机器生成的电信号、光信号或电磁信号，生成该信号以对要传输至合适的接收器装置的信息进行编码。
可以按照任何形式的编程语言来写入计算机程序(也被称为程序、软件、软件应用、脚本或代码)，包括编译语言或解释语言，并且可以按照任何形式来部署计算机程序，包括部署为独立程序或部署为模块、部件、子例程或适合于在计算环境中使用的另一单元。计算机程序不一定与文件系统中的文件对应。程序可以被存储在保持其他程序或数据(例如被存储在标记语言文档中的一个或多个脚本)的文件的一部分中、专用于探讨中的程序的单个文件中或多个协作文件(例如存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以被部署为在一个计算机上被执行或在位于一个站点处或分布在多个站点中并且通过通信网络互相连接的多个计算机上被执行。
在本文中所描述的过程和逻辑流程可以由一个或多个可编程处理器执行，该一个或多个可编程处理器执行一个或多个计算机程序以通过操作输入数据并且生成输出来执行功能。过程和逻辑流程还可以由专用逻辑电路系统(例如FPGA(现场可编程门阵列)或ASIC(专用集成电路))执行，并且装置还可以被实施为专用逻辑电路系统(例如FPGA(现场编程门阵列)或ASIC(专用集成电路))。适合于执行计算机程序的处理器包括：例如通用微处理器和专用微处理器以及任何种类的数字计算机的任何一个或多个处理器。一般而言，处理器将接收来自只读存储器或随机存取存储器或两者的指令和数据。计算机的必要元件是：用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。一般而言，计算机还将包括用于存储数据的一个或多个海量存储设备(例如磁盘、磁光盘或光盘)，或者计算机可以被操作地耦合以接收来自该海量存储设备的数据或将数据传递给该海量存储设备或者进行两者。然而，计算机不需要具有这种设备。适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括：例如半导体存储器设备(例如EPROM、EEPROM和闪速存储器设备)；磁盘(例如内部硬盘或可移动盘)；磁光盘；以及CD-ROM盘和DVD-ROM盘。处理器和存储器可以由专用逻辑电路系统补充或可以被并入该专用逻辑电路系统中。
虽然本专利文件包括许多细节，但是这些细节不应该被解释为对任何发明或可能要求保护的内容的范围的限制，而是作为对可以特定于特定发明的特定实施例的特征的描述。在本专利文件中在单独的实施例的语境中描述的某些特征也可以被组合地实施在单个实施例中。相反，在单个实施例的语境下描述的各种特征也可以单独地或按照任何合适的子组合被实施在多个实施例中。此外，虽然上文可能将特征描述为以某些组合来起作用并且最初甚至同样地对该特征进行了要求，但是在一些情况下，可以从组合中删除来自所要求的组合的一个或多个特征。并且所要求的组合可以指向子组合或子组合的变化。
类似地，虽然在附图中按照特定顺序示出了操作，但是不应该将其理解为需要按照所示的特定顺序或者按照相继的顺序来进行这种操作，或者需要进行所有图示的操作以实现期望的结果。此外，在本专利文件中所描述的实施例中的各种系统部件的分离不应该被理解为在所有实施例中都需要这种分离。
仅描述了一些实施方式和示例，并且可以基于在本专利文件中描述的和说明的内容来做出其他实施方式、增强和变化。
对本文所描述的实施例的说明旨在提供对各种实施例的结构的一般理解，并且它们不旨在用作对可能利用本文所描述的结构的部件和系统的所有要素和特征的完整描述。对于本领域的普通技术人员而言，在回顾上面所提供的描述之后，许多其他实施例将是清楚的。可以利用和导出其他实施例，使得在不偏离本公开的范围的情况下，可以进行结构和逻辑替换和改变。本文中的图仅仅是代表性的，并且可以不按比例来绘制。图的某些比例可以被扩大，而其他比例可以被最小化。因此，本说明书和附图应该被认为是说明性的，而不是限制性的。
一些实施例在两个或更多个特定的互连硬件模块或设备中实施功能，其中在模块之间并且通过模块传送相关的控制和数据信号，或者作为专用集成电路的部分。因此，示例系统适用于软件实施方式、固件实施方式和硬件实施方式。
提供本公开的摘要，以使读者快速地确定本技术公开的性质。提交摘要进行以下理解：摘要将不被用于解释或限制权利要求书的范围或含义。另外，在前面的具体实施方式中，可以了解到：为了使本公开简单化，在单个实施例中将各种特征分组在一起。公开中的该方法不应该被解释为反映了以下意图：所要求保护的实施例需要比在每项权利要求中明确叙述的特征更多的特征。相反，如所附权利要求书反映的，发明主题在于少于单个所公开的实施例的所有特征。因此，所附权利要求书以此方式并入具体实施方式，其中每项权利要求独立地作为单独的实施例。
虽然前述内容针对本公开的实施方式，但是在不偏离本公开的基本范围的情况下，可以设计本公开的其他以及进一步的实施方式，并且本公开的范围由所附权利要求书确定。

Claims (20)

1.一种系统，包括：
数据处理器；以及
自主车辆车轮检测系统，能够由所述数据处理器执行，所述自主车辆车轮检测系统被配置为执行自主车辆车轮检测操作，所述自主车辆车轮检测操作被配置为：
从训练图像数据收集系统接收训练图像数据；
获得与所述训练图像数据对应的地面实况数据；
执行训练阶段，以训练一个或多个分类器来处理所述训练图像数据中的图像，以在所述训练图像数据中的所述图像中检测车辆车轮对象；
从与自主车辆相关联的图像数据收集系统接收操作图像数据；以及
执行操作阶段，所述操作阶段包括将训练过的所述一个或多个分类器应用于从所述操作图像数据提取车辆车轮对象，并且产生车辆车轮对象数据。
2.根据权利要求1所述的系统，其中所述训练阶段被配置为从手动图像注释或标记过程获得地面实况数据。
3.根据权利要求1所述的系统，还被配置为生成原始图像与所述地面实况相结合的混合可视化。
4.根据权利要求1所述的系统，还被配置为通过填充由提取的所述车辆车轮对象的轮廓限定的内部区域来生成所述地面实况。
5.根据权利要求1所述的系统，还被配置为使用全卷积神经网络(FCN)作为机器学习模型。
6.根据权利要求1所述的系统，还被配置为使用全卷积神经网络(FCN)作为机器学习模型，所述机器学习模型具有使用密集上采样卷积(DUC)的语义分割和使用混合扩张卷积(HDC)的语义分割。
7.根据权利要求1所述的系统，被配置为针对所述操作图像数据中的每个提取的车辆车轮对象生成对象级轮廓检测。
8.一种方法，包括：
从训练图像数据收集系统接收训练图像数据；
获得与所述训练图像数据对应的地面实况数据；
执行训练阶段，以训练一个或多个分类器来处理所述训练图像数据中的图像，以在所述训练图像数据的所述图像中检测车辆车轮对象；
从与自主车辆相关联的图像数据收集系统接收操作图像数据；以及
执行操作阶段，所述操作阶段包括将训练过的所述一个或多个分类器应用于从所述操作图像数据提取车辆车轮对象，并且产生车辆车轮对象数据。
9.根据权利要求8所述的方法，其中所述训练阶段包括从手动图像注释或标记过程获得地面实况数据。
10.根据权利要求8所述的方法，包括：生成原始图像与所述地面实况相结合的混合可视化。
11.根据权利要求8所述的方法，包括：通过填充由提取的所述车辆车轮对象的轮廓限定的内部区域来生成所述地面实况。
12.根据权利要求8所述的方法，包括：使用全卷积神经网络(FCN)作为机器学习模型。
13.根据权利要求8所述的方法，包括：使用全卷积神经网络(FCN)作为机器学习模型，所述机器学习模型具有使用密集上采样卷积(DUC)的语义分割和使用混合扩张卷积(HDC)的语义分割。
14.根据权利要求8所述的方法，包括：针对所述操作图像数据中的每个提取的车辆车轮对象生成对象级轮廓检测。
15.一种非暂时性机器可用存储介质，所述非暂时性机器可用存储介质采用指令，所述指令在由机器执行时使所述机器：
从训练图像数据收集系统接收训练图像数据；
获得与所述训练图像数据对应的地面实况数据；
执行训练阶段，以训练一个或多个分类器来处理所述训练图像数据中的图像，以在所述训练图像数据中的所述图像中检测车辆车轮对象；
从与自主车辆相关联的图像数据收集系统接收操作图像数据；并且
执行操作阶段，所述操作阶段包括将训练过的所述一个或多个分类器应用于从所述操作图像数据提取车辆车轮对象，并且产生车辆车轮对象数据。
16.根据权利要求15所述的非暂时性机器可用存储介质，其中所述训练阶段被配置为从手动图像注释或标记过程获得地面实况数据。
17.根据权利要求15所述的非暂时性机器可用存储介质，还被配置为生成原始图像与所述地面实况相结合的混合可视化。
18.根据权利要求15所述的非暂时性机器可用存储介质，还被配置为通过填充由提取的所述车辆车轮对象的轮廓限定的内部区域来生成所述地面实况。
19.根据权利要求15所述的非暂时性机器可用存储介质，还被配置为使用全卷积神经网络(FCN)作为机器学习模型。
20.根据权利要求15所述的非暂时性机器可用存储介质，还被配置为针对所述操作图像数据中的每个提取的车辆车轮对象生成对象级轮廓检测。
CN202210931196.0A 2018-03-09 2019-03-08 用于车辆车轮检测的系统和方法 Pending CN115331198A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/917,331 US10671873B2 (en) 2017-03-10 2018-03-09 System and method for vehicle wheel detection
US15/917,331 2018-03-09
PCT/US2019/021478 WO2019190726A1 (en) 2018-03-09 2019-03-08 System and method for vehicle wheel detection
CN201980017911.6A CN111837163B (zh) 2018-03-09 2019-03-08 用于车辆车轮检测的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980017911.6A Division CN111837163B (zh) 2018-03-09 2019-03-08 用于车辆车轮检测的系统和方法

Publications (1)

Publication Number Publication Date
CN115331198A true CN115331198A (zh) 2022-11-11

Family

ID=68060692

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980017911.6A Active CN111837163B (zh) 2018-03-09 2019-03-08 用于车辆车轮检测的系统和方法
CN202210931196.0A Pending CN115331198A (zh) 2018-03-09 2019-03-08 用于车辆车轮检测的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980017911.6A Active CN111837163B (zh) 2018-03-09 2019-03-08 用于车辆车轮检测的系统和方法

Country Status (4)

Country Link
EP (1) EP3762903A4 (zh)
CN (2) CN111837163B (zh)
AU (1) AU2019241892B2 (zh)
WO (1) WO2019190726A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021077282A1 (zh) * 2019-10-22 2021-04-29 深圳鲲云信息科技有限公司 神经网络模型转化方法、装置、服务器及存储介质
CN113590980B (zh) * 2021-07-20 2024-03-29 北京地平线机器人技术研发有限公司 训练神经网络的方法、预测轨迹的方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9488492B2 (en) * 2014-03-18 2016-11-08 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
CN103794056B (zh) * 2014-03-06 2015-09-30 北京卓视智通科技有限责任公司 基于实时双路视频流的车型精确分类系统及方法
US9704043B2 (en) * 2014-12-16 2017-07-11 Irobot Corporation Systems and methods for capturing images and annotating the captured images with information
CN105118044B (zh) * 2015-06-16 2017-11-07 华南理工大学 一种轮形铸造产品缺陷自动检测方法
US9720415B2 (en) * 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
CN105976392B (zh) * 2016-05-30 2018-12-14 北京智芯原动科技有限公司 基于最大输出概率的车辆轮胎检测方法及装置
CN106250838A (zh) * 2016-07-27 2016-12-21 乐视控股（北京）有限公司 车辆识别方法及系统
CN107346437B (zh) * 2017-07-03 2019-08-09 大连理工大学 车身侧视图参数化模型的自动提取方法
CN107292291B (zh) * 2017-07-19 2020-04-03 北京智芯原动科技有限公司 一种车辆识别方法和系统
CN107577988B (zh) * 2017-08-03 2020-05-26 东软集团股份有限公司 实现侧方车辆定位的方法、装置及存储介质、程序产品

Also Published As

Publication number Publication date
CN111837163B (zh) 2022-08-23
CN111837163A (zh) 2020-10-27
WO2019190726A1 (en) 2019-10-03
AU2019241892B2 (en) 2024-03-28
AU2019241892A1 (en) 2020-10-08
EP3762903A1 (en) 2021-01-13
EP3762903A4 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
US11967140B2 (en) System and method for vehicle wheel detection
US11745736B2 (en) System and method for vehicle occlusion detection
CN110753934B (zh) 主动选择和标记图像以进行语义分割的系统和方法
US10311312B2 (en) System and method for vehicle occlusion detection
US11734563B2 (en) System and method for vehicle taillight state recognition
CN111344646B (zh) 用于自主车辆的轨迹规划的基于数据驱动的预测的系统和方法
US20200242373A1 (en) System and method for large-scale lane marking detection using multimodal sensor data
CN110914778B (zh) 用于基于语义分割的图像定位的系统和方法
US10528823B2 (en) System and method for large-scale lane marking detection using multimodal sensor data
CN111108505B (zh) 用于检测交通工具的尾灯信号的系统和方法
CN111373458B (zh) 用于自主车辆的轨迹规划的基于预测的系统和方法
CN112272844B (zh) 针对用于自主车辆的邻近车辆意图预测的系统和方法
CN111837163B (zh) 用于车辆车轮检测的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination