CN109902552A - 用于车道特征分类和定位的人工神经网络 - Google Patents

用于车道特征分类和定位的人工神经网络 Download PDF

Info

Publication number
CN109902552A
CN109902552A CN201811448476.6A CN201811448476A CN109902552A CN 109902552 A CN109902552 A CN 109902552A CN 201811448476 A CN201811448476 A CN 201811448476A CN 109902552 A CN109902552 A CN 109902552A
Authority
CN
China
Prior art keywords
lane
data
neural network
artificial neural
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811448476.6A
Other languages
English (en)
Other versions
CN109902552B (zh
Inventor
邹光宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN109902552A publication Critical patent/CN109902552A/zh
Application granted granted Critical
Publication of CN109902552B publication Critical patent/CN109902552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Abstract

提供了用于控制车辆的系统和方法。在一个实施例中，一种控制车辆的方法包括通过至少一个处理器接收来自于安装在车辆上的多个摄像机中的每一个的图像数据。该方法包括通过至少一个处理器对来自于多个摄像机中的每一个的图像数据进行组合，以形成组合的图像数据。该方法包括使用人工神经网络基于组合的图像数据对车道特征进行分类和定位，以产生分类和定位的车道数据。该方法包括通过至少一个处理器基于分类和定位的车道数据进行数据融合处理，从而产生融合的车道特征数据。该方法包括通过至少一个处理器部分地基于融合的车道特征数据来控制车辆。

Description

用于车道特征分类和定位的人工神经网络
技术领域
本发明主要涉及使用人工神经网络进行特征感知的车辆、系统以及方法，更具体地，涉及包括用于分类和定位车道特征的人工神经网络的车辆、系统以及方法。
引言
自主和半自主车辆能够基于所感测到的环境进行环境感测和导航。这种车辆使用诸如雷达、激光雷达、图像传感器等传感装置来感测它们的环境。车辆系统还使用来自全球定位系统(GPS)技术、导航系统、车辆对车辆间通讯、车辆对基础设施技术，和/或线控驱动系统的信息来为车辆进行导航。
车辆自动化已被分为零到五的数字等级，零对应于没有自动化，全部由人进行控制；五对应于全自动化，无人控制。诸如巡航控制系统、自适应巡航控制系统和泊车辅助系统的各种自动驾驶员辅助系统对应于较低的自动化等级，而真正的无人驾驶车辆对应于较高的自动化等级。一些自动化车辆系统对车道特征进行分类和定位，例如路障、道路边缘、车道标记以及其它道路标记。包括自动化车辆特征的一些车辆包括了多个光学摄像机以对车辆周围的环境成像。
因此，期望提供以在计算上有效且精准的方式对图像特征进行分类和定位的系统和方法。还希望提供对来自多个摄像机的图像特征进行分类和定位并能同时保持计算效率的系统和方法。此外，从以下结合附图和前面的技术领域及背景技术的具体实施方式和所附的权利要求中可以更清楚地了解本发明的其它理想特征和特性。
发明内容
本发明提供了用于分类和定位车道特征的系统及方法。
在一个实施例中，一种控制车辆的方法包括通过处理器从安装在车辆上的多个摄像机中的每一个接收图像数据。该方法包括通过处理器对来自于多个摄像机中每一个的图像数据进行组合以形成组合图像数据。该方法包括用人工神经网络基于组合的图像数据对车道特征进行分类和定位，以产生分类和定位的车道数据。该方法包括通过处理器基于分类和定位的车道数据进行数据融合处理，从而产生融合的车道特征数据。该方法包括通过处理器，部分地根据所产生的融合的车道特征数据来对车辆进行控制。
在实施例中，该方法包括通过处理器基于分类和定位的车道数据进行图像空间到真实空间的变换，以提供真实空间车道特征数据。在实施例中，该图像空间到真实空间的变换配置为接收用于多个摄像机中的每一个的图像到真实空间校准数据，并且使用用于与多个摄像机中给定的一个对应的分类和定位的车道数据中每个部分的相应校准数据。
在实施例中，变换发生在融合之前。
在实施例中，多个摄像机具有不同但重叠的视野，并且融合包括巩固重叠的视野。
在实施例中，分类和定位的车道数据限定线段。
在实施例中，基于线段进行曲线拟合，以产生分类和定位的车道曲线数据。在实施例中，基于线段进行数据聚类，以产生聚类数据，并且基于该聚类数据进行曲线拟合。
在实施例中，该方法包括通过处理器限定沿每个线段的锚点。在实施例中，该方法包括通过处理器在锚点上执行数据聚类算法，以产生聚类锚点。在实施例中，该方法包括通过处理器曲线拟合聚类锚点，以产生分类和定位的车道曲线数据。
在实施例中，该方法包括通过处理器基于分类和定位的车道曲线数据进行图像空间到真实空间的变换以提供真实空间车道特征数据，以及基于该真实空间车道特征数据进行数据融合处理，从而产生融合的车道特征数据。在实施例中，对已从多个摄像机中获取的数据进行数据融合处理。
在另一个实施例中，提供了一种用于对基于线条的特征进行定位和分类的系统。该系统包括配置为从多个摄像机中的每一个接收图像数据的处理器。处理器配置为对来自于多个摄像机中每一个的数据图像进行组合以形成组合的图像数据。该系统包括配置为基于组合的图像数据对图像特征进行分类和定位以产生分类和定位的线数据的人工神经网络。处理器被配置为基于分类和定位的线数据进行数据融合处理，从而产生融合的基于线的特征数据。
通过处理组合的数据图像数据可以实现更加高效的人工神经网络。
在实施例中，人工神经网络配置为对基于线的车道特征进行分类和定位。基于线的车道特征包括车道标记、道路标记、车道边界和/或道路边界。
在实施例中，该系统为车辆系统，处理器配置为部分地基于融合的车道特征数据来控制车辆。
在另一个实施例中，提供了一种训练人工神经网络的方法。该方法包括通过人工神经网络接收图像数据和特征标签，每个特征标签包括特征分类和定位线(直线，曲线或者两者结合)。该方法包括限定位于感兴趣特征边界之外的两条线之间的感兴趣区域。该方法包括使用图像数据作为输入层来运行人工神经网络，以产生包括输出分类和定位参数的输出分类和定位数据。该方法包括通过人工神经网络来评估对比输出分类和定位参数和限定在感兴趣区域内的相应的标称参数的成本函数，其中标称参数是根据特征标签来限定的，并用作成本函数的学习目标。该方法包括基于成本函数来训练人工神经网络。
在实施例中，标称参数包括从特征标签中变换而来的类概率、正交偏移和向感兴趣特征边界的切向取向。
在实施例中，人工神经网络是卷积神经网络。
在实施例中，该方法包括通过处理器产生用于通过使用图像变换效果对包括相关联的特征标签的图像数据进行变换来训练人工神经网络的增强图像数据。
在实施例中，图像变换效果包括视角、尺度、纵横比等的变化。
在实施例中，图像变换效果包括来自以下的选择：亮度效果的变化、天气效果的变化、图像噪声效果、聚焦效果的变化和白平衡效果。
在实施例中，每个特征标签包括第一和第二定位线，其中该方法包括通过处理器从边缘向外扩展由该第一和第二线描绘的感兴趣区域(ROI)；通过人工神经网络评估对比输出分类和定位参数和限定在ROI内用作学习目标的相应的标称参数的成本函数。
在实施例中，输出定位参数包括线段。在实施例中，输出定位参数包括每个线段的角度。
在实施例中，该方法包括使用人工神经网络来确定车道特征，以及基于该车道特征控制车辆。
在另一个实施例中，提供了一种训练人工神经网络的方法。该系统包括配置为接收包括相关特征标签的图像数据的人工神经网络，每个特征标签包括特征分类和至少一条定位线。该系统的处理器配置为以至少一条线的形式限定至少一个边缘，该至少一条线定位在至少一个定位线的每一个附近。人工神经网络配置为使用图像数据作为输入层，以产生包括输出分类和定位参数的输出分类和定位数据。人工神经网络配置为评估对比给予至少一个边缘限定在感兴趣区域内的输出分类和定位参数的成本函数，其中在该感兴趣区域内的标称的分类和定位参数用作该成本函数的学习目标。在实施例中，人工神经网络配置为基于成本函数的评估来调整其至少一个层，从而训练人工神经网络。
在另一个实施例中，提供了一种车辆。该车辆包括多个能提供图像数据的摄像机，以及处理器，该处理器配置为：从每个摄像机中接收图像数据，将来自多个摄像机中的每一个的图像数据进行组合以形成组合的图像数据，使用人工神经网络基于组合的图像数据对车道特征进行分类和定位来产生分类和定位的车道数据，基于分类和定位的车道数据进行数据融合处理由此产生融合的车道特征数据，以及部分地基于该融合的车道特征数据来控制车辆。
在实施例中，处理器配置为基于分类和定位的车道数据进行图像空间到真实空间的转换，以提供真实空间车道特征数据。
在实施例中，多个摄像机具有不同但重叠的视野，融合包括巩固重叠的视野。
在实施例中，分类和定位的车道数据限定线段。在实施例中，处理器配置为对线段进行曲线拟合，以产生分类和定位的车道曲线数据。在实施例中，处理器配置为对线段进行聚类，以产生聚类数据并对聚类数据进行曲线拟合。在实施例中，处理器配置为限定沿每个线段的锚点。在实施例中，处理器配置为将锚点进行数据聚类，以产生聚类锚点。在实施例中，处理器配置为曲线拟合该聚类锚点，以产生分类和定位的车道曲线数据。
在实施例中，处理器配置为基于分类和定位的车道曲线数据进行图像空间到真实空间的转换，以提供真实空间车道特征数据，以及基于该真实空间车道特征数据进行数据融合处理，从而产生融合的车道特征数据。
附图说明
在下文中将结合以下附图描述示例性实施例，其中相同的附图标记表示相同的要素，并且其中：
图1是示出了根据各个实施例的具有分类和定位系统的自主或半自主车辆系统的功能框图；
图2是示出了根据各个实施例的具有一个或多个图1所示自主车辆的运输系统的功能框图；
图3是示出了根据各个实施例的包括分类和定位系统的自主驾驶系统的数据流图；
图4是示出了根据各个实施例的分类和定位系统的数据流图；
图5A和图5B是根据各个实施例的来自不同车辆摄像机的示例性图像；
图6是根据各个实施例的用于分类和定位图像特征的人工神经网络以及与其相关联的训练系统的数据流的示意图；
图7A至图7D示出了根据各个实施例的标记图像的增强；
图8示意性地示出了根据各个实施例的在人工神经网络输出的线段上执行的数据聚类和曲线拟合处理；
图9是示出了根据各个实施例的用于控制包括自主特征的车辆的控制方法的流程图；并且
图10是示出了根据各个实施例的用于人工神经网络的训练方法的流程图。
具体实施方式
以下具体实施方式本质上仅是示例性的，并不旨在限制应用和用途。此外，本发明不旨在受前述技术领域、发明背景、发明内容或以下具体实施方式中提出的任何明示或暗示的理论的限制。在这里，术语模块指独立的或任何组合的形式的任何硬件、软件、固件、电气控制组件、处理逻辑和/或处理器装置，包括但不限于：专用集成电路(ASIC)，电子电路，执行一个或多个软件或固件程序的处理器(共享的、专用的或组)和存储器，组合逻辑电路和/或提供所描述的功能的其它合适组件。
可以在功能和/或逻辑块组件和各种处理步骤方面对本发明的实施例进行描述。应理解，这样的块组件可以通过配置为任何数量的执行指定功能的硬件、软件和/或固件组件来实现。例如，本发明的一个实施例中可以采用各种集成电路组件，如存储元件，数字信号处理元件，逻辑元件，查询表等，其可以在一个或多个微处理器或其它控制装置的控制下实施多种功能。此外，本领域技术人员会理解的是，本发明的实施例可以结合任何数量的系统来实践，并且这里描述的系统仅仅是本发明的示例性实施例。
为了简单起见，本文可能不对与信号处理、数据传输、信令、控制和系统的其它功能方面(以及系统的单个运行组件)相关的常规技术进行详细描述。此外，本文中各图中所示的连接线旨在表示各种元件之间的示例性功能关系和/或物理联接。应注意的是，本发明的实施例中可能存在许多替代的或附加的功能关系或物理连接。
参照图1，根据各个实施例，通常以100示出的车辆系统与车辆10相关联。通常，车辆系统100包括对车道特征进行分类和定位以供具有利用车道感知能力的自动化特征的驾驶系统使用的分类和定位系统200。本文所描述的分类和定位系统200对多个图像进行组合，通过人工神经网络运行组合图像用于车道特征分类和定位，对输出层进行后处理，以及之后对结果进行融合。
本说明书主要在对用于汽车应用的车道特征进行分类和定位的背景下对定位和分类系统200的使用进行描述。然而，应理解，分类和定位系统200可用于对用于其它应用的基于线条的图像特征进行分类和定位。
如图1所示，车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14设置在底盘12上，并且大体上封闭了车辆10的部件。车身14和底盘12可共同形成框架。车轮16-18中的每一个在车身14的相应拐角附近可旋转地联接到底盘12。
在一些实施例中，车辆10是自主车辆，分类和定位系统200被合并到自主车辆10(以下称为自主车辆10)。本说明书侧重于自主车辆应用中的示例性应用。然而，应理解，本文所描述的分类和定位系统200设想为用于半自主自动车辆中，该半自主自动车辆包括利用车道感知信息的驾驶员辅助系统，例如车道偏离预警系统和车道保持辅助系统。
自主车辆10是例如受自动控制以将乘客从一个位置运送到另一个位置的车辆。车辆10在所示实施例中描述为客车，但是应理解，它可以是其它任何车辆，包括摩托车、卡车、运动型多功能车(SUV)、娱乐车辆(RV)、船只、飞机等。在一个示例性实施例中，自主车辆10是所谓的四级或五级自动化系统。四级系统表示“高度自动化”，指的是即使人类驾驶员没有对干预请求作出适当的响应，自动驾驶系统对动态驾驶任务所有方面的特定于驾驶模式的操作。五级系统表示“全自动化”，指的是自动驾驶系统在可由驾驶员管理的所有道路和环境条件下对动态驾驶任务的所有方面的全时操作。
如图所示，自主车辆10一般包括推进系统20、变速器系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34以及通信系统36。在各个实施例中，推进系统20包括内燃发动机、诸如牵引电动机的电动机和/或燃料电池推进系统。变速器系统22配置为根据可选择的速度比从推进系统20传输功率给车轮16-18。根据各个实施例，变速器系统22包括步进比自动变速器、无极变速器或其它适当的变速器。制动系统26配置为向车轮16-18提供制动扭矩。在各个实施例中，制动系统26可以包括摩擦制动器、线控制动器、诸如电机的再生制动系统，和/或其它适当的制动系统。转向系统24影响车轮16-18的位置。尽管为了说明目的而描述为包括方向盘，但是在本发明范围内可以想到的一些实施例中，转向系统24可以不包括方向盘。
传感器系统28包括一个或多个感测自主车辆10外部环境和/或内部环境中的可观测状况的传感装置40a-40n。传感装置40a-40n包括但不限于：雷达、激光雷达、全球定位系统、光学摄像机140a-140n、热感摄像机、超声波传感器和/或其它传感器。光学摄像机140a-140n安装在车辆10上，且被布置用于捕获车辆10周围环境的图像(例如，一系列视频形式的图像)。在所示的实施例中，有布置为分别用于对广角、近视野和窄角、远视野成像的两个前置摄像机140a、140b。还示出了左侧和右侧的摄像机140c、140e以及后方摄像机140d。各个摄像机140a-140n的数量和位置仅是示例性的，可以有其它布置方式。在各个实施例中，摄像机140a-140n中的一个或多个与一个或多个其它摄像机140a-140n的视野具有重叠的视野。致动器系统30包括控制一个或多个车辆特征(例如但不限于推进系统20、传动系统22、转向系统24以及制动系统26)的一个或多个致动器装置42a-42n。在各个实施例中，车辆特征还可以包括内部和/或外部车辆特征，例如但不限于车门、行李箱以及诸如空气、音乐、灯光等(未用附图标记)的舱室特征。
数据存储装置32存储用于自动控制自主车辆10的数据。在各个实施例中，数据存储装置32存储可导航环境的定义映射。在各个实施例中，定义映射可以是由远程系统预限定并从远程系统中获得的(结合图2进一步详细描述)。例如，定义映射可以由远程系统收集，并通信到自主车辆10(以无线和/或有线的方式)，并存储在数据存储装置32中。应理解，数据存储装置32可以是控制器34的一部分，或独立于控制器34，或是控制器34的一部分和独立系统的一部分。
控制器34包括至少一个处理器44和计算机可读存储装置或介质46。处理器44可以是任何定制的或市售的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(以微型集成电路片或芯片组的形式)、宏处理器及其任何组合，或通常用于执行指令的任何装置。例如，计算机可读存储装置或介质46包括在只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储。KAM是可用于在处理器44断电时存储各种操作变量的持久性或非易失性存储器。计算机可读存储装置或介质46可以用多种已知存储器装置中的任何一种来实现，诸如PROM(可编程只读存储器)、EPROM(电子PROM)、EEPROM(电可擦除PROM)、闪存或任何其它能够存储数据的电、磁、光或组合存储装置，其中一些代表可执行指令，由控制器34用于控制自主车辆10。
指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。当被处理器44执行时，指令接收和处理来自传感器系统28的信号，执行用于自动控制自主车辆10组件的逻辑、计算、方法和/或算法，并生成到致动器系统30的控制信号，以基于逻辑、计算、方法和/或算法自动控制自主车辆10的组件。尽管图1中仅示出了一个控制器34，但自主车辆10的实施例可包括任何数量的控制器34，其通过任何合适的通信介质或通信介质的组合进行通信，并且协作处理传感器信号，执行逻辑、计算、方法和/或算法，并产生控制信号以自动控制自主车辆10的特征。
在各个实施例中，控制器34的一个或多个指令在分类和定位系统200中实现，并且当被处理器44执行时，该一个或多个指令配置为组合来自多个摄像机140a-140n的图像，通过单个人工神经网络运行图像，获得每个图像的分类和定位参数，并融合图像以获得真实世界坐标中的融合分类和定位数据。融合的数据用在具有一个或多个自动化特征的驱动系统中。
通信系统36配置为将信息无线通信至其它实体48并与来自其它实体48的信息进行无线通信，这些实体例如但不限于其它车辆(“V2V”通信)、基础设施(“V2I”通信)、远程系统和/或个人装置(结合图2更详细地描述)。在示例性实施例中，通信系统36是配置为经由使用IEEE 802.11标准的无线局域网(WLAN)或通过使用蜂窝数据通信来进行通信的无线通信系统。然而，诸如专用短程通信(DSRC)信道之类的附加或替代通信方法也被认为在本发明的范围内。DSRC信道是指专为汽车用途而设计的单向或双向的、短程到中程的无线通信信道以及对应的协议和标准集。
现在参考图2，在各个实施例中，结合图1描述的自主车辆10可以适用于某个地理区域(例如城市、学校或商业园区、购物中心、游乐园、活动中心等)的出租车或往返摆渡系统的环境，或者可以简单地由远程系统管理。例如，自主车辆10可以与基于自主车辆的远程运输系统相关联。图2示出了总体上以50示出的操作环境的示例性实施例，其包括与结合图1所描述的一个或多个自主车辆10a-10n相关联的基于自主车辆的远程运输系统52。在各个实施例中，操作环境50还包括一个或多个经由通信网络56与自主车辆10和/或远程运输系统52通信的用户装置54。
通信网络56根据需要支持由操作环境50支持的装置、系统和组件之间的通信(例如经由有形通信链路和/或无线通信链路)。例如，通信网络56可以包括无线载波系统60，诸如蜂窝电话系统，其包括多个蜂窝信号塔(未示出)、一个或多个移动交换中心(MSC)(未示出)，以及将无线载波系统60与陆地通信系统连接所需的任何其它网络组件。每个蜂窝塔包括发送和接收天线以及基站，其中来自不同蜂窝塔的基站直接或经由诸如基站控制器的中间装置连接到MSC。无线载波系统60可以实施任何合适的通信技术，包括例如数字技术诸如CDMA(例如CDMA2000)、LTE(例如4G LTE或5G LTE)、GSM/GPRS或其它当前或新兴的无线技术。其它蜂窝塔/基站/MSC布置是可能的，并且可以与无线载波系统60一起使用。例如，基站和蜂窝塔可以共同设置在同一站点，或者它们可以彼此远程地设置，每个基站可以负责单个蜂窝塔，或者单个基站可以服务于各种蜂窝塔，或者各种基站可以联接到单个MSC，仅列举几种可能的布置。
除了包括无线载波系统60之外，可以包括卫星通信系统64形式的第二无线载波系统，以提供与自主车辆10a-10n的单向或双向通信。这可以使用一个或多个通信卫星(未示出)和上行链路发送站(未示出)来完成。单向通信可以包括例如卫星无线电服务，其中节目内容(新闻、音乐等)由发送站接收，进行打包以便上载，然后发送到卫星，卫星将节目广播给订户。双向通信可以包括例如卫星电话服务，其使用卫星在车辆10和站之间进行中继电话通信。除了无线载波系统60之外或代替该无线载波系统60，可以使用卫星电话。
还可以包括陆地通信系统62，其是连接到一个或多个陆线电话并将无线载波系统60连接到远程传输系统52的传统陆基电信网络。例如，陆地通信系统62可以包括公共交换电话网(PSTN)，例如用于提供硬连线电话、分组交换数据通信和因特网基础设施的公共交换电话网。陆地通信系统62的一个或多个段可以通过使用标准有线网络、光纤或其它光纤网络、有线网络、电力线、诸如无线局域网(WLAN)的其它无线网络、或提供宽带无线接入(BWA)的网络或其任何组合来实施。此外，远程传输系统52不需要经由陆地通信系统62连接，而是可以包括无线电话器材，使得其可以直接与诸如无线载波系统60的无线网络通信。
尽管图2中仅示出了一个用户装置54，但是操作环境50的实施例可以支持任何数量的用户装置54，包括由一个人拥有、操作或以其它方式使用的多个用户装置54。可以使用任何合适的硬件平台来实施由操作环境50支持的每个用户装置54。在这方面，用户装置54可以以任何常见的形状因素实现，包括但不限于：台式计算机；移动计算机(例如平板电脑、膝上型电脑或上网本)；智能手机；视频游戏装置；数字媒体播放器；家庭娱乐器材；数码相机或摄像机；可穿戴计算装置(例如智能手表、智能眼镜、智能服装)；等。由操作环境50支持的每个用户装置54被实现为计算机实施的或基于计算机的装置，其具有执行本文描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑。例如，用户装置54包括可编程装置形式的微处理器，其包括存储在内部存储器结构中并应用于接收二进制输入以创建二进制输出的一个或多个指令。在一些实施例中，用户装置54包括能够接收GPS卫星信号并基于那些信号生成GPS坐标的GPS模块。在其它实施例中，用户装置54包括蜂窝通信功能，使得装置使用一个或多个蜂窝通信协议在通信网络56上执行语音和/或数据通信，如本文所讨论的。在各个实施例中，用户装置54包括视觉显示器，例如触摸屏图形显示器或其它显示器。
远程运输系统52包括一个或多个后端服务器系统，其可以是基于云的、基于网络的、或驻留在由远程运输系统52服务的特定园区或地理位置。远程运输系统52可以由现场顾问或自动顾问或两者的组合来管理。远程运输系统52可以与用户装置54和自主车辆10a-10n通信以安排乘坐、调度自主车辆10a-10n等。在各个实施例中，远程运输系统52存储诸如订户认证信息的商店账户信息、车辆标识符、简档记录、行为模式和其它相关订户信息。
根据典型的用例工作流程，远程运输系统52的注册用户可以经由用户装置54创建乘车请求。乘车请求通常将指示乘客的期望的上车地点(或当前GPS位置)、期望的目的地位置(其可以标识预定义的车辆停靠点和/或用户指定的乘客目的地)以及上车时间。远程运输系统52接收乘车请求，处理该请求，并且派遣所选择的一辆自主车辆10a-10n(何时以及是否有一辆可用)以在指定的上车地点和适当的时间接载乘客。运输系统52还可以生成适当配置的确认消息或通知并发送给用户装置54，以使乘客知道车辆在路上。
如可以理解的，本文公开的主题为可以被视为标准或基线自主车辆10和/或基于自主车辆的远程运输系统52提供某些增强的特征和功能。为此，可以对自主车辆和基于自主车辆的远程运输系统进行修改、增强或补充，以提供下面更详细描述的附加特征。本文描述的关于分类和定位系统200的主题不仅适用于自主动驾驶应用，而且还适用于具有利用车道分类和定位特征的一个或多个自动特征的其它驱动系统。此外，分类和定位系统200可用于除汽车领域之外的其它应用，用于对基于线的图像特征进行分类和定位。
根据示例性自主驾驶应用，控制器34实施如图3所示的自主驾驶系统(ADS)70。也就是说，控制器34的合适的软件和/或硬件组件(例如，处理器44和计算机可读存储装置46)用于提供与车辆10结合使用的自主驾驶系统70。
在各个实施例中，自主驾驶系统70的指令可以由功能、模块或系统来组织。例如，如图3所示，自主驾驶系统70可以包括计算机视觉系统74、定位系统76、引导系统78和车辆控制系统80。如可以理解的，在各个实施例中，指令可以被组织成任何数量的系统(例如，被组合的、进一步划分的系统等)，因为本发明并不限于本示例。
在各个实施例中，计算机视觉系统74合成并处理传感器数据，并且预测车辆10的环境的对象和特征的存在、位置、分类和/或路径。在各个实施例中，计算机视觉系统74可以合并来自多个传感器的信息，包括但不限于摄像机、激光雷达、雷达和/或任何数量的其它类型的传感器。
定位系统76处理传感器数据以及其它数据以确定车辆10相对于环境的位置(例如，相对于地图的本地位置、相对于道路车道的精确位置、车辆航向、速度等)。引导系统78处理传感器数据以及其它数据以确定车辆10沿循的路径。车辆控制系统80根据确定的路径生成用于控制车辆10的控制信号。
在各个实施例中，控制器34实施机器学习技术以辅助控制器34的功能，诸如特征检测/分类、障碍缓解、路线遍历、映射、传感器集成、地面实况确定等。
如上面简要提到的，图1(和图4)的分类和定位系统200在自主驾驶应用中被包括在ADS70内，例如，作为计算机视觉系统200的一部分。自主驾驶系统200配置为确定包括车道特征分类和车道特征定位的车道特征数据。这种车道特征数据可由引导系统78使用，引导系统78考虑车道边界、道路边界和其它分类道路标记(例如停止线和停车线)以确定车辆10的轨迹。车辆控制系统80与致动器系统80一起工作以遍历这样的轨迹。
例如，如结合图4更详细地示出并且继续参考图3，分类和定位系统200包括：用于从摄像机140a至140n接收并组合呈图像数据108a至108n形式的图像的图像组合器110，用于对以组合的图像数据112形式的组合图像进行分类和定位的人工神经网络118，以及用于获得融合的车道特征数据140以供驾驶系统202使用的各种后处理模块，诸如驾驶辅助系统或关于图3描述的自主驾驶系统200。
更详细地，并且根据实施例，分类和定位系统200包括预处理器104。预处理器104配置为接收表示从相应的摄像机140a至140n获得的图像的原始图像数据102a至102n，这些摄像机在汽车应用中安装在车辆10(可以是自主的或半自主的)上。摄像机140a至140n通常生成构成原始图像数据102a至102n的像素值阵列。预处理器104配置为去除诸如失真的图像伪影。为此，预处理器104配置为从存储装置32接收摄像机校准数据106。预处理器104配置为使用校准数据106运行失真去除过程以及任选其它图像校正过程。预处理器104配置为以图像已校正的形式输出对应于原始图像数据102a至102n的相应预处理图像数据108a至108n。
分类和定位系统200包括配置为对预处理图像数据108a至108n进行组合的图像组合器110。在各个实施例中，组合过程涉及将每个预处理图像数据阵列108a至108n连结在一起或以其它方式放在一起。对预处理图像数据108a至108n进行组合，以便在组合的图像数据112中保存每组预处理图像数据108a至108n。在一个示例中，在行方向上对每个预处理图像数据108a至108n的阵列进行组合。在另一示例中，在列方向上对每个预处理图像数据108a至108n的阵列进行组合。在另一示例中，预处理图像数据108a至108n的阵列以在列和行方向上延伸的二维布置放在一起。在各个实施例中，使用填充行和/或列，在该填充行和/或列中在输入的预处理图像数据108a至108n的阵列中存在大小差异。图像组合器110配置为根据预处理图像数据108a至108n的多个进入阵列来构建单个组合的图像数据112的阵列。在实施例中，由图像组合器110预先设置组合的图像数据112在像素的行和列方面的尺寸。在实施例中，组合的图像数据112包括用不同摄像机140a至140e从不同视角拍摄的多个图像。
简要地参考图5A和图5B，分别示出了来自前视全景摄像机诸如摄像机140a以及左视全景摄像机诸如摄像机140c的的原始图像。来自前视全景摄像机140a的图像揭示包括停驶线212和双黄线210的车道标记。来自前视全景摄像机140a的图像还揭示包括第一和第二路边缘206、208的车道特征。来自左视全景相机的图像揭示白色虚线214和路边缘216。本文所述的分类和定位系统200提供了利用单个人工神经网络118来并行地对这样的车道特征进行分类和定位的架构。
分类和定位系统200包括被配置为对组合的图像数据112中的车道特征进行分类和定位以生成经分类和定位的车道数据120的人工神经网络118。通过在组合的图像数据112上进行操作，在来自各自具有不同环境视角的多个不同车辆摄像机140a至140e的图像上并行地进行车道特征分类和定位。在各个实施例中，人工神经网络118是深度神经网络架构，其使用单个人工神经网络118来识别来自多个车辆摄像机140a至140e的图像中的车道特征。人工神经网络118配置为支持密集多级车道边界(例如路缘、路边、车道标记)分类和定位。在一个示例中，人工神经网络118是基于图像的正向推理的深度神经网络，例如卷积神经网络。
参考图6，继续参考图4，示出了人工神经网络118的示例架构。人工神经网络包括卷积层114、汇聚层115和完全连接层116。在实施例中，完全连接层116分为检测网络117和回归网络119分支。在示例中，卷积层114和汇聚层115运行组合的图像数据112以生成特征映射121。特征映射121发送到检测网络117和回归网络119。检测网络117和定位网络119分别包括检测成本函数C1和回归成本函数C2。可选地，检测成本函数C1和回归成本函数C2可以组合成一个总成本函数C3。
在实施例中，检测网络117配置为基于特征映射输出表示各种可能的车道特征的车道特征分类{c0,1,…,n}370。各种可能的车道特征包括车道边界标记(例如白色虚线标记、白色实线标记、黄色虚线标记、单黄色实线标记、双黄色标记等)、其它道路标记(例如停车线、拼车车道等)或车道特征(例如路缘、障碍等)。由检测网络117生成的车道特征分类通常涉及基于线的特征，例如基于曲线或直线(或两者)的车道特征。
在实施例中，回归网络119配置为基于特征映射121生成表示图像空间中的车道特征的空间位置的定位参数372{r0,1,0,1,γ}。参考图8，在一些实施例中，回归网络119配置为生成代表线段204的定位参数372。在示例中，回归网络生成定位参数，包括表示感兴趣的车道特征的外边界的一部分的第一线段204；以及表示感兴趣的车道特征的内边界的一部分的第二线段204。神经网络118的架构，特别是汇聚层115，产生由特征映射定义的单元359。第一和第二线段204由特征图121上当前单元359的感受场约束。输出定位参数372(r0,l0)指示从特征图121上的单元的感受场的中心到感兴趣特征的对应外边界上的最近点的偏移。输出定位参数372(r1,l1)指示从相同中心到对应内边界的偏移，并且指示相对于参考轴的角度。因此，这样的定位参数372表示形成感兴趣特征的内边界和外边界的一部分的第一线段和第二线段。基于尺寸，例如单元359的直径，定位参数可变换为第一线段和第二线段。在实施例中，以二维图像空间坐标的形式提供定位参数372。
在实施例中，人工神经网络118配置为输出分类和定位的车道数据120，包括识别各种弯曲(即基于线的)车道特征的车道特征分类参数{c0,c1,…,cn}370以及定义车道特征的位置的定位参数{r0,r1,l0,l1,}372(例如以许多线段202的形式)。分类和定位系统200包括后处理模块(在一些实施例中，包括数据聚类器122、类内合并器126和曲线拟合器130)，用于将被包括在分类和定位的车道数据120中的线段群204合并成相干车道曲线数据。
在一些实施例中，并且另外参考图8，数据聚类器122配置为将每个线段204变换成沿给定线段204定位的一组锚点220。在图8的示例中，每个线段204被变换成在每个线段的起点和终点之间线性延伸的五个锚点220。可以选择比五个更多或更少数量的锚点220。数据聚类器122配置为使用数据聚类算法对锚点220进行聚类。许多数据聚类算法可用于对锚点220进行分组。基于分类和空间接近度来对锚点220进行聚类，这两者都是从包括在分类和定位的车道数据120中的分类和定位结果中得知的。数据聚类算法另外用于去除噪声和孤立锚点。在一些实施例中，使用基于密度的数据聚类算法，诸如具有噪声的基于密度的空间聚类(DBSCAN)。数据聚类器122生成聚类锚点数据124。对于任何给定的车道特征或车道实体，诸如道路标记，在聚类锚点数据124中可以存在多于一个集群。
在各个实施例中，类内合并器126配置为对属于同一类的相同车道实体的集群进行合并。车道实体是特定类别的单个可单独识别的车道特征。在任何给定图像中，可以存在一个车道特征类别中的多个车道实体。例如，在车道相对两侧有两条双黄线的情况下，各条双黄线属于同一类，但是属于不同的实体。这样，双黄线由类内合并器126单独合并，以确保在适当时识别出两个车道实体。如果同一车道实体有多于一个集群，则将这些集群集中在一起。类内合并器126被配置为实施考虑各种提示的逻辑，这些提示为例如集群的接近度和集群的取向，作为应当将两个或多个集群合并成对应于相同的车道实体的单个集群的指示。数据聚类器126被配置为输出合并和聚类的锚点数据128。
在实施例中，曲线拟合器130被配置为针对属于经合并和聚类的锚点数据128中的相同车道实体的每个合并的锚点集群220执行曲线拟合算法。可以使用各种曲线拟合算法，诸如多项式回归和样条拟合。一个示例性的曲线拟合算法是贝塞尔曲线拟合。图8示出了被拟合成属于同一实体的聚类锚点220的示例曲线222。曲线拟合器130输出定义每个识别的车道实体的分类和定位的车道曲线数据132、针对每个车道实体的定位曲线以及相关联的分类标识符和车道实体标识符。例如，在已经识别出的道路的每一侧存在双黄线的情况下，分类和定位的车道曲线数据132包括曲线定位数据、分类(即，双黄线)和车道实体标识符(例如双黄线1、双黄线2)。
分类和定位的车道曲线数据132包含图像空间中的曲线定位数据。此外，由于人工神经网络118对包含于组合的图像数据112中的组合图像进行操作，因此图像以及所得到的分类及定位曲线并不是按顺序排列的。在摄像机140a至140e具有重叠视野的图像中也可能存在一些重叠。为了将车道特征整理到任何重叠均被合并的真实空间中，变换和融合过程通过图像到真实空间变换器134和融合模块138而被实施。
在各个实施例中，图像到真实空间的变换器106配置为从存储装置32接收用于摄像机140a至140n中每一个的摄像机校准参数106，并且将分类和定位的车道曲线数据132的相应部分整理成相对于车辆10的共同的真实世界参考系。以这种方式，来自于每个摄像机的组合数据被拆分和整理，作为融合过程的前提。每个摄像机140a至140n通常对环境进行成像的视角不同，并且在一些示例中具有不同尺寸的视野。这样，每个摄像机140a至140n通常与实现于摄像机校准数据106中的不同校准数据集相关联，用于将包含于分类和定位的车道曲线数据132中的图像空间定位数据变换到真实空间。图像到真实空间的变换器106配置为通过计算相关联的真实空间到图像空间的变换来输出真实空间车道特征数据136。
在各个实施例中，分类和定位系统200包括配置为融合真实空间车道特征数据136的融合模块138。由于摄像机140a至140n的重叠视野，真实空间车道特征数据136可能包含重叠的或冗余的车道特征，例如重叠车道标记。融合模块138配置为融合这种冗余车道特征(例如，使用平均处理或通过移除其中一个冗余车道特征的方式)以产生融合的车道特征数据140。融合的车道特征数据140包括针对布置在相对于车辆10的真实世界空间中的每个特征的分类车道特征和定位曲线数据。通过一种人工神经网络118并行地运行来自多个摄像机140a至140n的多个图像对车道特征进行了分类和定位，从而节省了处理和硬件的要求。此外，对组合的数据进行聚类和曲线拟合的后处理，在变换和融合过程中对组合数据进行分解和融合，以产生作为融合的车道特征数据140的一部分的统一且相干的真实世界的定位和分类车道特征集。
在实施例中，驱动系统202配置为使用融合的车道特征数据140来实施各种自动驾驶特征。例如，包含在驾驶系统202中的自动车道对中系统被配置为使用包含在融合的车道特征数据140中的车道边界数据来使车辆10保持在车道中间。在全自动化实施例中，自动驾驶系统70(参见图3和前面的描述)被包含在驱动系统202中并使用融合的车道特征数据140中的各种车道特征(包括路缘数据、车道边界数据、停车线、停车线路数据等)在车辆10自动遍历路径到达目的地时控制车辆10。
参照图9，并继续参照图1-8，此流程图示出了根据本gon公开可以由图4的分类和定位系统200执行的控制方法300。根据本发明可以理解的是，该方法的操作顺序不限于如图9所示的执行顺序，可以根据适用并与本发明相一致的一个或多个可变的顺序执行。在各种实施例中，方法300可以被预先设为基于一个或多个预定事件而运行，且/或可以在自主车辆10的运行期间连续运行。
在302，通过分类和定位系统200接收来自各个摄像机140a至140e的原始图像数据102a至102n。在实施例中，通过预处理器104基于相机特定校准数据106对原始图像数据102a至102n进行预处理，以去除失真效应和其它图像伪影。
在304，通过图像组合器110组合预处理的图像数据108a至108n，以产生组合的图像数据112。图像组合器110配置为将形成预处理图像数据108a至108n的相应图像阵列连接成形成组合的图像数据112的单个组合的图像阵列。
在306，在组合的图像数据112上操作人工神经网络118以对图像特征特别是基于线条的车道特征进行分类和定位。在各个实施例中，组合的图像数据112被引导穿过卷积层114和汇聚层115。通过用于分类各种车道特征的检测网络117和用于定位车道特征的回归网络119运行由卷积层114和汇聚层115产生的特征映射121。人工神经网络118因此产生分类参数370和定位参数372，两者被合并入输出的分类和定位数据120中。在实施例中，定位参数372定义线段群。通常特征映射121使得产生感兴趣的车道特征的内边界和外边界并输出作为定位参数372的一部分。
在308，数据聚类器122在分类和定位数据120上执行数据聚类，其包括沿着每条线段放置锚点220。基于分类和接近度对锚点220进行聚类以提供聚类锚点数据124。在310，通过类内合并器126执行类内合并，以基于例如每个集群的接近度和取向等来对看起来属于相同车道实体的相同类别的集群进行分组。
在312，通过曲线拟合器130在数据聚类器122提供的合并和聚类锚点数据128上执行曲线拟合。曲线拟合计算通过合并和聚类锚点数据128中提供的每个合并及聚类车道实体存在的锚点群220的曲线222。以这种方式，提供分类和定位车道曲线数据132，其包括每个定义曲线的分类及定位车道实体。
在314，通过图像到真实空间变换器134，在分类及定位车道曲线数据132上执行图像空间到真实空间的变换，以相对于车辆10定位每个车道特征或车道实体。在得到的真实空间车道特征数据136中可能存在一些车道特征的重叠，其通过在步骤316中由融合模块138执行的车道特征数据的融合过程而被移除，从而产生融合的车道特征数据140。
在318处，基于融合的车道特征数据140中包含的车道特征，由驱动系统202执行自动驾驶特征控制。在各个实施例中，驾驶系统202包括自主驾驶系统70。
本文描述的系统和方法还涉及对已经结合图4和图6描述的人工神经网络118的有效训练，与各种实施例一致。参照图6，示出了用于训练人工神经网络118的系统350。系统350包括如上所述的人工神经网络118和图像增强器230。系统350配置为接收包含与每个感兴趣的车道特征相关联的内线和外线标签241b、241a的标签特征数据352。
在图6的示例中，沿着路缘的一个边缘延伸的标记线用作内部标记线241b，并且沿着相同路缘的另一边缘延伸的标记线用作外部标记线241a。这里，“内部”和“外部”用于参考捕获图像的摄像机140a至140e，其中“外部”在比“内部”更远离相机140a至140e的方向上。每个车道特征都标有内标记线和外标记线，不仅用于显示图像中标记车道特征的延伸方向和位置，而且还显示图像中车道特征的厚度。由于每个标记特征都具有纵向延伸方向，因此内标记线和外标记线用于界定车道特征的纵向边缘。在实施例中，线条由图像标记系统(未示出)的操作人员标记，并且特征标记数据352是从人标记的线条中提取的。将每个感兴趣的车道特征的内部和外部纵向边缘插入到图像集中，以形成用于人工神经网络118的被标记的训练图像集。
被标记的车道特征的其它示例在图5A、5B和7A-7D中能够找到。图5A包括路缘1标签，其包括用于路缘1的相应边缘的内部和外部标记线247b、247a。图5A包括被标记的路缘2，双黄线标签和标记止动杆，该路缘包括内部和外部标记线248b、248a；双黄线标签包括对应于双黄线边缘的内部和外部标记线249b、249a；标记止动杆包括在止动杆的相应边缘处的内部和外部标记线246b、246a。图5B包括白色虚线的内标记线245b和外标记线245a。图7A包括内部标记线240b和外部标记线240a，其限定道路一侧的路缘的相应纵向边缘(在图像中)以及道路的相对侧上的路缘的内部标记线244b和外部标记线244a。图7A中还标记有双黄线，其包括沿着双黄线的相应纵向边缘延伸的内标记线242b和外标记线242a。
参照图6的训练系统，根据各个实施例，提供了图像增强器230。图像增强器230包括用于执行图像变换的处理器和计算机可执行指令。如可以理解的，人工神经网络118的准确性和适应性随着标记训练集中更多数量和多样的图像而增加。图像增强器230配置为执行图像变换以产生多个增强特征标签数据354，以用于训练人工神经网络118。图像增强器230对已经由操作者标记的特征标签数据352进行操作，并基于来自变换图像的人工标签提取增强的特征标签。可以利用各种图像变换效果，包括照明效果的变化、天气效果的变化、图像噪声效果、焦点效果的变化、透视效果的变化、比例的变化、纵横比的变化和白平衡效果。特别地，天气模拟、透视变化、模拟照明变化和模拟阴影反映了运行时的车辆10所面临的状况。用于产生这种效果的图像变换可以被利用。
参照图7A至7D，其提供了从具有第一视角的第一图像(图7A)374产生的具有不同视角的标记图像的示例。图7B提供了前进方向的另一个视角。图7C提供了另一个前进方向和左侧方向的视角。图7D提供了另一个前进方向和右侧方向的视角。至少一个标记图像特征来自第一幅图像
在实施例中，图像增强器230尤其使用几何变换来产生增强特征标签数据354。可以使用各种几何变换，包括缩放、平移、旋转、透视变换、一般仿射变换等。
在各个实施例中，特征标签数据352和增强特征标签数据354被人工神经网络118用作人工神经网络118的训练图像集。人工神经网络118配置为使用特征标签数据352和增强特征标签数据354作为分别用于检测网络117和回归网络119的检测成本函数C1和回归成本函数C2的分类和定位学习目标。在如图6中示意性所示的学习目标区域358中对分类和定位学习目标进行了定义。学习目标区域358包括内边缘区域360b和外边缘区域360a，内边缘区域360b和外边缘区域360a由沿着感兴趣的标签车道特征的内部和外部纵向边缘标记的内部和外部标记线241a、241b而延伸的线界定(这是图6的示例中的路缘)。内边缘区域360a和外边缘区域360b在内部和外部标记线241a、241b之间限定的区域的任一侧上提供扩展的目标区域，其在本文其它地方被称为感兴趣的区域，从而分别为检测成本函数C1和回归成本函数C2提供大致成比例的学习目标区域358。以这种方式，确保了人工神经网络118的有效性和更有效的训练过程。
在实施例中，训练系统350被配置为在训练过程期间运行增强特征标签数据354和手动标记的特征标签数据352的计算机生成版本。当未标记的图像数据352'和增强的未标记图像数据354'通过人工神经网络118运行时，人工神经网络118的检测网络117和回归网络119将分别产生分类和定位参数370、372。检测成本函数C1和回归成本函数C2用于在感兴趣区域358内测量分类和定位参数370、372与在作为训练数据集的增强和标记图像特征数据352、354中定义的预期输出之间的差异。在回归网络119的情形中，回归成本函数C2测量输出定位参数与学习目标区域358中的对应标签之间的差异。在实施例中，通过使检测成本函数C1和回归成本函数C2最小化以及计算检测成本函数C1和回归成本函数C2的梯度向量来调整人工神经网络118的各个层114、115、116的权重及偏差来进行训练(例如通过反向传播)。在实施例中，当单元359的中心未被包括在扩展的感兴趣区域358内时，发生假阳性，这将通过评估成本函数C2的结果来指示，进一步将导致人工神经网络118的各个层114、115、116中一个或多个的权重和偏差的调整来使成本函数C2的结果最小化。
参照图10，并继续参照图1-8，流程图示出了根据本发明用于可由图6的训练系统350执行的人工神经网络118的训练方法400。根据本发明可以理解的是，方法400中的操作顺序不限于如图10所示的执行顺序，可以根据适用并根据本发明以一个或多个变化的顺序执行。
在402，特征标签数据352由训练系统350接收。在实施例中，特征标签数据352源自于由人为操作标记的道路图像。感兴趣的每个车道特征被分类并且沿每个车道特征纵向延伸的内部和外部线标签(例如，241a、241b)被包含以定位感兴趣的车道特征。
在404处，根据各种实施例，通过图像增强器230处理特征标签数据352，以产生增强特征标签数据354。导出特征标记数据352的每个图像通过图像增强器230以不同的变换效果相乘。在各个实施例中，图像增强器230产生具有不同视角、局部阴影、光照变化、焦点变化、白平衡变化、尺度变化、纵横比变化、噪声效果等的图像。
在406，由训练系统350的处理器限定学习目标区域或感兴趣区域358。在每个感兴趣特征限定的内标记线241a和外标记线241b之间已经包括纵向区域。该纵向区域通过内边缘区域360a和外边缘区域360b在两侧扩展。在各个实施例中，边缘区域360a、360b可通过训练系统350的设计参数确定。基于感兴趣区域358定义成本函数C1、C2的域。
在408处，人工神经网络118在输入图像数据352和增强图像数据354的未标记版本上操作。人工神经网络118分别从检测网络117和回归网络119中输出分类参数370和定位参数372。
在410处，分别针对检测网络117和回归网络119评估检测和回归成本函数C1、C2。检测成本函数C1确定输出分类参数370和由特征标签数据352及增强特征标签数据354定义的学习目标分类参数(感兴趣区域358内的标称参数)之间的误差。回归成本函数C2确定输出定位参数372和由增强特征标签数据354及特征标签数据352定义的标称参数(由感兴趣区域358约束)之间的误差。
在412处，训练人工神经网络以使评估检测和回归成本函数C1、C2的结果最小化，例如，使学习目标(感兴趣区域358内的标称参数)与从人工神经网络118输出的参数370、372之间的误差最小化。通常，训练过程包括计算检测和回归成本函数C1、C2的偏导数以及调整人工神经网络118的层的权重和偏差。
尽管这里已经相应于汽车应用描述了训练系统350及其相关的训练方法，但是应被理解为所公开的系统和方法也适用于训练其它用于定位和分类包含在图像中的基于线的特征的人工神经网络。
虽然在前面的详细描述中已经公开了至少一个示例性实施例，但是应被理解为存在大量的变型。还应被理解的是，某一示例性实施例或多个示例性实施例仅是示例，并不旨在以任何方式限定本发明的范围，适用性或配置。相反，前面的详细描述将为本领域技术人员提供用于实现某一示例性实施例或多个示例性实施例的便利路线图。应理解的是，在不脱离所附权利要求及其合法等同物所阐述的本发明的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (10)

1.一种控制车辆的方法，包括：
通过至少一个处理器接收来自于安装在所述车辆上的多个摄像机中的每一个的图像数据；
通过所述至少一个处理器对来自于所述多个摄像机中的每一个的所述图像数据进行组合，以形成组合的图像数据；
使用人工神经网络基于所述组合的图像数据对车道特征进行分类和定位，以产生分类和定位的车道数据；
通过所述至少一个处理器基于所述分类和定位的车道数据进行数据融合处理，从而产生融合的车道特征数据；
通过所述至少一个处理器部分地基于所述融合的车道特征数据来控制所述车辆。
2.根据权利要求1所述的方法，通过所述至少一个处理器，基于所述分类和定位的车道数据进行图像空间到真实空间的变换，以提供真实空间车道特征数据。
3.根据权利要求2所述的方法，其中所述变换发生在所述融合之前。
4.根据权利要求1所述的方法，其中所述多个摄像机具有不同但重叠的视野，并且所述融合包括巩固重叠的视野。
5.根据权利要求1所述的方法，其中所述分类和定位的车道数据限定线段。
6.一种训练人工神经网络的方法，所述方法包括：
通过所述人工神经网络接收包含相关特征标签的图像数据，每个所述特征标签都包含特征分类和至少一个定位线；
以至少一条线相邻于每个所述至少一个定位线的形式限定至少一个边缘；
基于所述至少一个边缘限定感兴趣区域；
使用所述图像数据作为输入层来操作人工神经网络，以产生包含输出分类和定位参数的输出分类和定位数据；
通过人工神经网络评估对比感兴趣区域内的输出分类和定位参数和标称定位和分类参数的成本函数，其中所述标称分类和定位参数代表所述至少一条定位线并且用作所述成本函数的学习目标；
基于对所述成本函数的所述评估来训练所述人工神经网络。
7.根据权利要求6所述的方法，其中，所述人工神经网络是包括分类检测分支和定位回归分支的卷积神经网络。
8.根据权利要求6所述的方法，通过至少一个处理器产生用于通过使用至少一个图像变换效果对所述图像数据和相关特征标签进行变换来训练人工神经网络的增强图像数据，并从用于训练所述人工神经网络的所述增强图像数据中得到增强的特征标签。
9.根据权利要求6所述的方法，其中每个特征标签都包含第一和第二定位线，其中所述方法包括通过至少一个处理器以第一条和第二条线的方式定义第一边缘和第二边缘，所述第一边缘和第二边缘位于所述第一条和第二条线附近，感兴趣区域包括第一条和第二条线内的区域；通过所述人工神经网络评估所述成本函数，所述成本函数对比感兴趣区域内的所述输出定位参数和标称参数，所述标称参数用作学习目标。
10.一种用于定位和分类基于线的图像特征的系统，其中，所述系统包括：
至少一个处理器，其配置为：
接收来自多个摄像机中的每一个的图像数据；并且
对来自所述多个摄像机中的每一个的所述图像数据进行组合，以形成组合的图像数据；以及
人工神经网络，其配置为：
基于所述组合的图像数据对基于线的图像特征进行分类和定位，以产生分类及定位的线数据；
其中，所述至少一个处理器配置为基于所述分类及定位的线数据进行数据融合处理，从而产生融合的基于线的特征数据。
CN201811448476.6A 2017-12-11 2018-11-29 用于车道特征分类和定位的人工神经网络 Active CN109902552B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/837,276 US10528824B2 (en) 2017-12-11 2017-12-11 Artificial neural network for lane feature classification and localization
US15/837276 2017-12-11

Publications (2)

Publication Number Publication Date
CN109902552A true CN109902552A (zh) 2019-06-18
CN109902552B CN109902552B (zh) 2023-07-18

Family

ID=66629831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811448476.6A Active CN109902552B (zh) 2017-12-11 2018-11-29 用于车道特征分类和定位的人工神经网络

Country Status (3)

Country Link
US (1) US10528824B2 (zh)
CN (1) CN109902552B (zh)
DE (1) DE102018131477A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112825131A (zh) * 2019-11-21 2021-05-21 通用汽车环球科技运作有限责任公司 基于图像的三维车道检测
CN114246610A (zh) * 2020-09-23 2022-03-29 通用电气精准医疗有限责任公司 用于生成增强图像的超声成像系统和方法

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10705525B2 (en) * 2017-04-07 2020-07-07 Nvidia Corporation Performing autonomous path navigation using deep neural networks
CN115855022A (zh) 2017-04-07 2023-03-28 辉达公司 使用深度神经网络执行自主路径导航
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
JP6918425B2 (ja) * 2017-11-09 2021-08-11 株式会社Ｍｏｂｉｌｉｔｙ Ｔｅｃｈｎｏｌｏｇｉｅｓ 撮影画像に含まれる境界線を検出するための装置、方法、及びプログラム
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US10311338B1 (en) * 2018-09-15 2019-06-04 StradVision, Inc. Learning method, learning device for detecting lanes on the basis of CNN and testing method, testing device using the same
US11068724B2 (en) * 2018-10-11 2021-07-20 Baidu Usa Llc Deep learning continuous lane lines detection system for autonomous vehicles
AU2019357615B2 (en) 2018-10-11 2023-09-14 Tesla, Inc. Systems and methods for training machine models with augmented data
KR102483649B1 (ko) * 2018-10-16 2023-01-02 삼성전자주식회사 차량 위치 결정 방법 및 차량 위치 결정 장치
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
DE102018129485A1 (de) * 2018-11-22 2020-05-28 Trw Automotive Gmbh Verfahren sowie System zur Bestimmung eines Fahrkorridors
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
IL270540A (en) * 2018-12-26 2020-06-30 Yandex Taxi Llc Method and system for training a machine learning algorithm to recognize objects from a distance
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10796206B2 (en) * 2019-01-31 2020-10-06 StradVision, Inc. Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
DE102019208733A1 (de) * 2019-06-14 2020-12-17 neurocat GmbH Verfahren und Generator zum Erzeugen von gestörten Eingangsdaten für ein neuronales Netz
EP3809316A1 (de) 2019-09-24 2021-04-21 Elektrobit Automotive GmbH Vorhersage eines strassenverlaufs auf basis von radardaten
US11854212B2 (en) * 2020-02-26 2023-12-26 Motional Ad Llc Traffic light detection system for vehicle
US11731639B2 (en) * 2020-03-03 2023-08-22 GM Global Technology Operations LLC Method and apparatus for lane detection on a vehicle travel surface
KR20210116953A (ko) * 2020-03-18 2021-09-28 삼성전자주식회사 타겟 트래킹 방법 및 장치
US10902290B1 (en) * 2020-08-04 2021-01-26 Superb Ai Co., Ltd. Methods for training auto labeling device and performing auto labeling related to object detection while performing automatic verification by using uncertainty scores and devices using the same
US11932245B2 (en) * 2020-09-01 2024-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for improving path selection for automated driving
US11715310B1 (en) * 2020-10-02 2023-08-01 States Title, Llc Using neural network models to classify image objects
CN112537301B (zh) * 2020-11-30 2022-08-19 南通路远科技信息有限公司 智能驾驶交通载具的行车参照物选择方法、装置
CN112580744B (zh) * 2020-12-29 2022-07-29 武汉中海庭数据技术有限公司 众包数据道路片段中同一车道线测量数据的优化融合方法
US20230227061A1 (en) * 2022-01-14 2023-07-20 Aurora Operations, Inc. Systems and Methods for Pareto Domination-Based Learning
CN116883796A (zh) * 2022-03-28 2023-10-13 小米汽车科技有限公司 目标对象检测方法、装置及可读存储介质
US20230328528A1 (en) * 2022-04-08 2023-10-12 Nokia Solutions And Networks Oy Security in communication networks

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286524B1 (en) * 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
CN107273788A (zh) * 2016-04-06 2017-10-20 半导体元件工业有限责任公司 在车辆中执行车道检测的成像系统与车辆成像系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192113B1 (en) * 2017-07-05 2019-01-29 PerceptIn, Inc. Quadocular sensor design in autonomous platforms
US10528823B2 (en) * 2017-11-27 2020-01-07 TuSimple System and method for large-scale lane marking detection using multimodal sensor data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286524B1 (en) * 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
CN107273788A (zh) * 2016-04-06 2017-10-20 半导体元件工业有限责任公司 在车辆中执行车道检测的成像系统与车辆成像系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112825131A (zh) * 2019-11-21 2021-05-21 通用汽车环球科技运作有限责任公司 基于图像的三维车道检测
CN112825131B (zh) * 2019-11-21 2023-09-01 通用汽车环球科技运作有限责任公司 基于图像的三维车道检测
CN114246610A (zh) * 2020-09-23 2022-03-29 通用电气精准医疗有限责任公司 用于生成增强图像的超声成像系统和方法

Also Published As

Publication number Publication date
CN109902552B (zh) 2023-07-18
US10528824B2 (en) 2020-01-07
US20190180115A1 (en) 2019-06-13
DE102018131477A1 (de) 2019-06-13

Similar Documents

Publication Publication Date Title
CN109902552A (zh) 用于车道特征分类和定位的人工神经网络
CN110588653B (zh) 自主车辆的控制系统、控制方法以及控制器
US11600006B2 (en) Deep neural network architecture for image segmentation
CN109808700A (zh) 用于在自主车辆中映射道路干扰物体的系统和方法
CN108216229B (zh) 交通工具、道路线检测和驾驶控制方法及装置
US10365650B2 (en) Methods and systems for moving object velocity determination
CN109466548A (zh) 用于自主车辆操作的地面参照确定
CN109291929A (zh) 用于自动驾驶系统的深度集成融合架构
US10671860B2 (en) Providing information-rich map semantics to navigation metric map
CN110471058A (zh) 用于拖车属性的自动检测的系统和方法
CN108734979A (zh) 交通信号灯检测系统及方法
CN109934084A (zh) 检测多模式图像的特征
CN109949590A (zh) 交通信号灯状态评估
CN110186467A (zh) 群感测点云地图
CN110531753A (zh) 自主车辆的控制系统、控制方法和控制器
CN108693876A (zh) 目标跟踪
US20190026588A1 (en) Classification methods and systems
CN109131328A (zh) 用于自主车辆中应急车辆响应的系统和方法
CN109472986A (zh) 用于确定交通控制人员和交通控制标志物的存在的系统和方法
CN109841080B (zh) 用于交通对象的检测、分类及地理定位的系统和方法
CN110154881A (zh) 车辆用照明系统及车辆
JP2020064619A (ja) イメージ認識モデルのトレーニング装置及び方法並びにイメージ認識方法
CN106164931A (zh) 用于在车辆显示装置上显示目标的方法和装置
US20240005642A1 (en) Data Augmentation for Vehicle Control
US20240005641A1 (en) Data Augmentation for Detour Path Configuring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant