CN109284764A - 用于自主车辆中对象分类的系统和方法 - Google Patents

用于自主车辆中对象分类的系统和方法 Download PDF

Info

Publication number
CN109284764A
CN109284764A CN201810769305.7A CN201810769305A CN109284764A CN 109284764 A CN109284764 A CN 109284764A CN 201810769305 A CN201810769305 A CN 201810769305A CN 109284764 A CN109284764 A CN 109284764A
Authority
CN
China
Prior art keywords
boundary curve
autonomous vehicle
recessed
vehicle
protrusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810769305.7A
Other languages
English (en)
Other versions
CN109284764B (zh
Inventor
L·O·赖安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN109284764A publication Critical patent/CN109284764A/zh
Application granted granted Critical
Publication of CN109284764B publication Critical patent/CN109284764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/202—Dispatching vehicles on the basis of a location, e.g. taxi dispatching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)

Abstract

提供了用于控制车辆的系统和方法。在一个实施例中，一种对象分类方法包括接收与由自主车辆的传感器系统观察到的对象相关联的传感器数据并且利用处理器确定与传感器数据相关联的边界曲线。基于与边界曲线相关联的一组凸起和凹入，确定多个边界曲线特征。通过将多个边界曲线特征应用于机器学习模型并接收分类输出来分类对象。

Description

用于自主车辆中对象分类的系统和方法
技术领域
本公开总体上涉及自主车辆，并且更具体地涉及用于对由自主车辆的各种传感器观察到的对象进行分类的系统和方法。
背景技术
自主车辆(AV)是一种能够感测其环境并在极少的用户输入或完全没有用户输入的情况下进行导航的车辆。自主车辆采用诸如雷达、激光雷达、图像传感器等感测设备来感测其环境。自主车辆还采用从全球定位系统(GPS)技术、导航系统、车辆到车辆通信、车辆到基础设施技术和/或线控系统得到的信息来对车辆进行导航。
虽然自主车辆在最近几年取得了相当大的进步，但这些系统在许多方面仍可能需要加以改进。举例而言，有利的是，自主车辆能够更准确地对在其周围感测的对象进行分类，例如不管在环境中感测到的对象是人类还是机动车辆等。
因此，期望提供能够更准确地对在环境中感测的对象进行分类的系统和方法。此外，结合附图以及前述技术领域和背景技术，通过随后的详细描述和所附权利要求，本发明的其他期望的特征和特性将变得显而易见。
发明内容
提供了用于控制自主车辆的系统和方法。在一个实施例中，一种对象分类方法包括接收与由自主车辆的传感器系统观察到的对象相关联的传感器数据并且利用处理器确定与传感器数据相关联的边界曲线。该方法还包括：基于与边界曲线相关联的一组凸起和凹入，确定多个边界曲线特征，并且通过将多个边界曲线特征应用于机器学习模型并接收将对象分类以便帮助控制自主车辆的分类输出来分类对象。
在一个实施例中，一种用于控制车辆的系统包括对象分类模块，该对象分类模块包括处理器。对象分类模块配置为接收与由自主车辆的传感器系统观察到的对象相关联的传感器数据；确定与传感器数据相关联的边界曲线；基于与边界曲线相关联的一组凸起和凹入，确定多个边界曲线特征；并且通过将多个边界曲线特征应用于机器学习模型并接收将对象分类以便帮助控制自主车辆的分类输出来分类对象。
附图说明
在下文中，将结合以下附图来描述示例性实施例，其中相同的附图标记表示相同的元件，并且其中：
图1是示出了包括根据各种实施例的系统的自主车辆的功能框图；
图2是示出了根据各种实施例的具有如图1所示的一辆或多辆自主车辆的交通系统的功能框图；
图3是示出了包括根据各种实施例的与自主车辆相关联的自主驾驶系统(ADS)的功能框图；
图4是示出了根据各种实施例的对象分类系统的数据流图；
图5是根据各种实施例的人工神经网络(ANN)的概念性框图；
图6是示出了根据各种实施例的用于对象分类的控制方法的流程图；
图7示出了根据各种实施例的对应于示例性点云的各种边界曲线；
图8示出了具有各种对应的凸起和凹入的图7的边界曲线；
图9示出了根据各种实施例的从示例性边界曲线的一部分中提取特征；以及
图10示出了根据各种实施例的从示例性边界曲线的一部分中提取特征。
具体实施方式
以下详细描述在本质上仅是示例性的，而并不意欲限制应用和用途。此外，并不意欲由先前技术领域、背景技术、发明内容或以下详细描述中呈现的任何明确或暗示的理论约束。如本文所用，术语“模块”指代任何硬件、软件、固件、电子控制组件、处理逻辑和/或处理器设备(单独地或以任何组合)，包括但不限于：专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或群组)和存储器、组合逻辑电路和/或提供所述功能的其他适合组件。
在此可以就功能和/或逻辑框组件以及各种处理步骤来描述本公开的实施例。应了解，这些框组件可以由配置为执行指定功能的任何数量的硬件、软件和/或固件组件来实现。例如，本公开的实施例可以使用各种集成电路组件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，它们可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。此外，本领域技术人员将了解，本公开的实施例可以结合任何数量的系统来实践，并且在此描述的系统仅是本公开的示例性实施例。
为了简要起见，在此可能并没有详细描述与信号处理、数据传输、信令、控制、自主车辆、机器学习、图像分析、神经网络、激光雷达、分析几何以及系统(和系统的各个操作组件)的其他功能方面有关的常规技术。此外，本文包含的各个附图中所示的连接线意欲代表各个元件之间的示例性功能关系和/或物理联接。应注意，本公开的实施例中可以存在许多替代或附加的功能关系或物理连接。
参考图1，根据各种实施例，对象分类系统(或者简称为“系统”)100与自主车辆(AV)10相关联。一般情况下，对象分类系统100包括能够基于这些对象的边界曲线对车辆10附近的对象进行分类的机器学习(ML)模型(例如神经网络)，例如，边界曲线(或“轮廓”)中观察到的各种“凸出”和“凹陷”(也分别称为“凸起”和“凹入”)的属性。这些属性或特征可能包括相邻凸起与凹入之间的边界曲线的梯度。这些属性还可以包括相邻凸起与凹入之间的距离、这些凸起和凹入的高度(基于一些适当的地面参考)以及可能用于训练神经网络或其他分类类型的ML模型的任何其他几何特征。由此产生的ML模型可以分配给任意数量的车辆，并可以按照定期的或可配置的间隔自动更新。
现参考图1，自主车辆(“AV”或简称为“车辆”)10通常包括底盘12、车身14、前轮16和后轮18。车身14布置在底盘12上并且基本上包围车辆10的各部件。车身14和底盘12可以共同形成车架。车轮16-18各自都在靠近车身14的相应角落处可旋转地联接到底盘12上。
在各种实施例中，车辆10是自主车辆，并且对象分类系统100被包含到自主车辆10中。例如，自主车辆10是一种受到自动控制而将乘客从一个位置送到另一个位置的车辆。在所示实施例中，车辆10是描绘为乘用车，但应该理解的是，也可以采用任何其他车辆，包括摩托车、卡车、运动型多功能车(SUV)、休闲车(RV)、船舶、飞行器等。
在示例性实施例中，在汽车工程师协会(SAE)的“J3016”标准自动驾驶等级分类下，自主车辆10对应于四级或五级自动化系统。根据这种术语，四级系统表示“高度自动化”，具体是指：自动驾驶系统所表现出的针对动态驾驶任务的所有方面的驾驶模式特定性能，即使是在人类驾驶员没有对干预请求适当地作出响应的情况下。另一方面，五级系统表示“全自动化”，具体是指：在驾驶员可以管控的所有道路和环境条件下，自动驾驶系统所表现出的针对动态驾驶任务的所有方面的全时性能。然而，应该理解的是，根据本主题的实施例并不限于任何特定的分类或自动化类别的题目。此外，根据本实施例的系统和方法可以与利用导航系统来提供路线指引的任何自主车辆相结合地使用。
如图所示，自主车辆10通常包括推进系统20、变速器系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34和通信系统36。在各种实施例中，推进系统20可以包括内燃机、诸如牵引电机的电动机和/或燃料电池推进系统。变速器系统22配置为根据可选速比将动力从推进系统20传递到车轮16和18。根据各种实施例，变速器系统22可以包括多级变传动比自动变速器、无级变速器或其他适合的变速器。
制动系统26配置为向车轮16和18提供制动扭矩。在各种实施例中，制动系统26可以包括摩擦制动器、线控制动器、诸如电动机的再生制动系统和/或其他适合的制动系统。
转向系统24影响车轮16和18的位置。尽管为了说明的目的将其描绘为包括方向盘25，但是在一些实施例中，在本公开范围内可以想到的是，转向系统24可以不包括方向盘。
传感器系统28包括感测自主车辆10的外部环境和/或内部环境的可观察状况的一个或多个感测设备40a-40n。感测设备40a-40n可以包括但不限于雷达、激光雷达、全球定位系统、光学相机、热成像相机、超声波传感器和/或其他传感器。致动器系统30包括一个或多个致动器设备42a-42n，致动器设备42a-42n控制一个或多个车辆特征，例如但不限于推进系统20、变速器系统22、转向系统24和制动系统26。在各种实施例中，自主车辆10还可以包括图1中未示出的内部和/或外部车辆特征，诸如各个车门、后备箱以及诸如空气、音乐、照明、触摸屏显示组件(诸如与导航系统结合使用的触摸屏显示组件)之类的车厢特征。
数据存储设备32存储用于自动控制自主车辆10的数据。在各种实施例中，数据存储设备32存储可导航环境的定义地图。在各种实施例中，定义地图可以由远程系统预定义并从远程系统获得(结合图2进一步详细描述)。例如，定义地图可以由远程系统组建，并且传送到自主车辆10(无线地和/或以有线方式)并存储在数据存储设备32中。路线信息还可以存储在数据设备32内，即一组道路段(在地理上与一张或多种定义地图相关联)，所述道路段共同定义了用户可以从起始位置(例如，用户的当前位置)到达目标位置的路线。可以理解的是，数据存储设备32可以是控制器34的一部分，与控制器34分离，或者是控制器34的一部分和单独系统的一部分。
控制器34包括至少一个处理器44和计算机可读存储设备或介质46。处理器44可以是任何定制的或商业上可用的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(微芯片或芯片组的形式)、其任何组合或通常用于执行指令的任何设备。例如，计算机可读存储设备或介质46可以包括只读存储器(ROM)、随机存取存储器(RAM)和不失效存储器(KAM)中的易失性和非易失性存储装置。KAM是可以用于在处理器44断电时存储各种操作变量的持久性或非易失性存储器。计算机可读存储设备或介质46可以使用许多已知存储器设备中的任何一个来实现，诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存或能够存储数据(其中一些表示由控制器34用于控制自主车辆10的可执行指令)的任何其他电性、磁性、光学或组合存储器设备。
指令可以包括一个或多个单独的程序，其中每一个程序包括用于实现逻辑功能的可执行指令的有序列表。当由处理器44执行时，指令接收并处理来自传感器系统28的信号，执行用于自动控制自主车辆10的各组件的逻辑、计算、方法和/或算法，并且生成向致动器系统30传输的控制信号，从而基于逻辑、计算、方法和/或算法来自动控制自主车辆10的各组件。尽管图1中仅示出了一个控制器34，但是自主车辆10的实施例可以包括任何数量的控制器34，这些控制器34通过任何合适的通信介质或通信介质的组合进行通信，并且相互协作来处理传感器信号，执行逻辑、计算、方法和/或算法，并生成控制信号以自动控制自主车辆10的各特征。在一个实施例中，如下面详细讨论的，控制器34配置为通过使用在之前已经基于与环境中的对象相关联的边界曲线的性质进行训练的ML模型来对这些对象进行分类。
通信系统36配置为向和从其他实体48(例如但不限于其他车辆(“V2V”通信))、基础设施(“V2I”通信)、远程交通系统和/或用户设备)无线地传送信息(结合图2更详细地进行描述)。在示例性实施例中，通信系统36是配置为使用IEEE802.11标准或通过使用蜂窝数据通信经由无线局域网(WLAN)进行通信的无线通信系统。然而，附加的或替代的通信方法(诸如专用短程通信(DSRC)信道)也被认为处于本公开的范围内。DSRC信道是指专门针对汽车用途设计的单向或双向短程至中程无线通信信道，以及相应的一套协议和标准。
现参考图2，在各种实施例中，结合图1描述的自主车辆10可以适于在特定地理区域(例如，城市、学校或商业园区、购物中心、游乐园、活动中心等)中的出租车或穿梭系统中使用，或者可以仅由远程系统进行管理。例如，自主车辆10可以与基于自主车辆的远程交通系统相关联。图2示出了总体上以50示出的操作环境的示例性实施例，该操作环境包括与结合图1所描述的一辆或多辆自主车辆10a-10n相关联的基于自主车辆的远程交通系统(或简称为“远程交通系统”)52。在各种实施例中，操作环境50(其全部或一部分可以对应于图1中所示的实体48)还包括经由通信网络56与自主车辆10和/或远程交通系统52进行通信的一个或多个用户设备54。
通信网络56根据需要在操作环境50所支持的设备、系统和组件之间支持通信(例如，经由有形的通信链路和/或无线通信链路)。例如，通信网络56可以包括无线载波系统60，诸如包括多个蜂窝塔(未示出)、一个或多个移动交换中心(MSC)(未示出)以及任何其他将无线载波系统60与陆地通信系统连接起来所需的联网组件的蜂窝电话系统。每个蜂窝塔包括发射和接收天线以及基站，其中来自不同蜂窝塔的基站直接地或经由诸如基站控制器的中间设备连接到MSC。无线载波系统60可以实施任何合适的通信技术，例如包括，诸如CDMA(如CDMA2000)、LTE(如4G LTE或5G LTE)或GSM/GPRS的数字技术，或者其他当前的或新兴的无线技术。其他蜂窝塔/基站/MSC布置是可能的，并且可以与无线载波系统60一起使用。譬如，基站和蜂窝塔可以共同定位在同一地点，或者它们可以彼此远程地定位，每个基站可以负责单个蜂窝塔，或者单个基站可以服务多个蜂窝塔，并且多个基站可以联接到单个MSC，在此仅举几个可能的布置。
除了包括无线载波系统60之外，可以将卫星通信系统64形式的第二无线载波系统包括在内，从而提供与自主车辆10a-10n的单向或双向通信。这可以使用一个或多个通信卫星(未示出)和上行链路发射站(未示出)来完成。单向通信可以包括例如卫星无线电服务，其中节目内容(新闻、音乐等)由发射站接收，打包以供上传，然后再发送到卫星，卫星再向订户广播节目。双向通信可以包括例如使用卫星来中继车辆10与发射站之间的电话通信的卫星电话服务。卫星电话可以用作无线载波系统60的补充或替代。
可以进一步包括陆地通信系统62，该陆地通信系统62是连接到一个或多个陆线电话以及将无线载波系统60连接到远程交通系统52的传统陆基电信网络。例如，陆地通信系统62可以包括公共交换电话网(PSTN)，诸如用于提供硬连线电话、分组交换数据通信和互联网基础设施的PSTN。陆地通信系统62的一个或多个段可以通过使用标准有线网络、光纤或其他光网络、电缆网络、电力线，诸如无线局域网(WLAN)的其他无线网络、或者提供宽带无线接入(BWA)的网络、或者其任何组合来实施。此外，远程交通系统52不需要经由陆地通信系统62连接，而是可以包括无线电话设备，从而使其可以与诸如无线载波系统60的无线网络直接进行通信。
尽管图2中仅示出了一个用户设备54，但是操作环境50的实施例可以支持任意数量的用户设备54，包括一个人所拥有、操作或使用的多个用户设备54。操作环境50所支持的每个用户设备54可以使用任何合适的硬件平台来实现。就此而言，用户设备54可以实现为任何常见的外形尺寸，包括但不限于：台式计算机；移动计算机(例如，平板电脑、膝上型计算机或上网本计算机)；智能电话；视频游戏设备；数字媒体播放器；家庭娱乐系统的组件；数码相机或摄像机；可穿戴计算设备(例如，智能手表、智能眼镜、智能服装)；等等。操作环境50所支持的每个用户设备54被实现为计算机实现的或基于计算机的设备，该设备具有执行在此描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑。例如，用户设备54包括可编程设备形式的微处理器，该微处理器包括存储在内部存储器结构中的并被应用来接收二进制输入以创建二进制输出的一个或多个指令。在一些实施例中，用户设备54包括能够接收GPS卫星信号并且基于那些信号生成GPS坐标的GPS模块。在其他实施例中，用户设备54包括蜂窝通信功能，从而使得该设备使用一个或多个蜂窝通信协议在通信网络56上执行语音和/或数据通信，如在此所讨论的。在各种实施例中，用户设备54包括可视显示器，诸如触摸屏图形显示器或其他显示器。
远程交通系统52包括一个或多个后端服务器系统(未示出)，这些后端服务器系统可以是基于云的，基于网络的，或者驻留在由远程交通系统52提供服务的特定园区或地理位置处。远程交通系统52可以配备有现场顾问、自动顾问、人工智能系统或其组合。远程交通系统52可以与用户设备54和自主车辆10a-10n通信，以安排乘车、派遣自主车辆10a-10n等。在各种实施例中，远程交通系统52存储帐户信息，诸如用户认证信息、车辆标识符、简档记录、生物特征数据、行为模式和其他相关用户信息。在一个实施例中，如下面进一步详细描述的，远程交通系统52包括存储与导航系统路线有关的信息的路线数据库53。
根据典型的用例工作流程，远程交通系统52的注册用户可以通过用户设备54创建乘车请求。通常，乘车请求将指示出乘客希望的上车位置(或当前GPS位置)、期望的目的地位置(其可以识别出预定义的车辆停靠站和/或用户指定的乘客目的地)以及上车时间。远程交通系统52接收乘车请求，对该乘车请求进行处理，并派遣自主车辆10a-10n中的一辆选定自主车辆(当且仅当有一辆自主车辆可用时)在指定的上车地点和适当的时间接走乘客。远程交通系统52还可以生成并向用户设备54发送经过适当配置的确认消息或通知，让乘客知晓车辆正在路上。
可以理解的是，在此公开的主题向所谓的标准或基准自主车辆10和/或基于自主车辆的远程交通系统52提供了某些增强特征和功能。为此，为了提供下面更详细描述的附加特征，自主车辆和基于自主车辆的远程交通系统可以进行修改、增强或补充。
根据各种实施例，控制器34实施如图3所示的自主驾驶系统(ADS)70。也就是说，利用控制器34(例如，处理器44和计算机可读存储设备46)的合适软件和/或硬件组件来提供与车辆10相结合地使用的自主驾驶系统70。
在各种实施例中，自主驾驶系统70的指令按照功能或系统进行组织。例如，如图3所示，自主驾驶系统70可以包括传感器融合系统74、定位系统76、引导系统78以及车辆控制系统80。可以理解的是，在各种实施例中，由于本公开并不局限于本示例，因此可以将指令组织成任何数量的系统(例如，进行组合、进一步划分等)。
在各种实施例中，传感器融合系统74合成并处理传感器数据，并预测车辆10的环境的对象和特征的存在、位置、分类和/或路径。在各种实施例中，传感器融合系统74可以包含来自多个传感器的信息，所述传感器包括但不限于相机、激光雷达、雷达和/或任何数量的其他类型的传感器。
定位系统76处理传感器数据以及其他数据，以确定车辆10相对于环境的位置(例如，相对于地图的本地位置、相对于道路车道的精确位置、车辆朝向、速度等)。引导系统78处理传感器数据以及其他数据，以确定车辆10所跟随的路径。车辆控制系统80根据所确定的路径生成用于控制车辆10的控制信号。
在各种实施例中，控制器34通过实施机器学习技术来辅助控制器34的功能，诸如特征检测/分类、障碍缓解、路线穿越、映射、传感器集成、地面实况确定等。
如上面简要提到的，图1的系统100能够基于这些对象的边界曲线对车辆10附近的对象进行分类。在各种实施例中，基于在对象的边界曲线中观察到的各种“凸出”和“凹陷”(也分别被称为“凸起”和“凹入”)的属性来执行分类。这些属性或特征还可以包括相邻凸起与凹入之间的边界曲线的梯度、相邻凸起与凹入之间的距离、这些凸起和凹入的高度以及可能用于训练神经网络或其他分类类型的ML模型的任何其他几何特征。
图4是示出了可以嵌入控制器34内的系统100的各种实施例的数据流图。参考图5，一种示例性系统通常包括对象分类模块420，对象分类模块420接收与车辆环境有关的传感器数据402(例如，相机图像、激光雷达数据或从传感器系统28接收的任何其他传感器数据)，并且确定车辆环境中检测到的各种对象的分类(或类别)，作为其输出403。在各种实施例中，模块420实现先前已经使用示例性图像(例如，已知对象类型的示例性图像)的语料库来进行训练的ML模型。
将会理解的是，根据本公开的系统100的各种实施例可包括嵌入在控制器34内的任何数量的子模块。于是可以理解的是，图4中示出的任何模块/子模块可以进行组合和/或进一步划分，以便类似地执行在此描述的各种方法。针对系统100的输入可以从传感器系统28接收，从与自主车辆10关联的其他控制模块(未示出)接收，从通信系统36接收和/或由图1的控制器34内的其他子模块(未示出)确定/建模。例如，模块420可以在图3所示的各种模块中的任何一个模块内实现。
对象分类模块420可以实现各种机器学习方法，诸如使用先前获取并存储(例如，在图2的服务器53中)的一组图像来进行训练的人工神经网络。就此而言，图5是可以结合各种实施例使用的人工神经网络(ANN)配置500的概念性概览。通常，ANN(诸如图5所示)是在一定程度上模拟哺乳动物大脑皮层的神经元结构的数学模型(采用硬件和/或软件的任何适当组合来实现)。
ANN500包括多个输入节点501(例如501a-501n)、多个输出节点504(例如504a-504n)以及配置成“隐藏层”的一个或多个互连节点层(在这种情况下是两个隐藏层：节点502a-502n和节点503a-503n)。节点502、503和504的每个层经由加权连接的网络接收来自先前层的输入(如图5中的箭头所示)。每个节点具有对应的“激活功能”，而这种功能通常会根据具体应用发生变化。经由输入层(节点501)将输入(形式为视觉图案、数字特征等)呈现给ANN500，而ANN500与单个或多个隐藏层(节点502和503)通信，其中实际的“学习”是在训练期间完成。隐藏层(节点502和503)链接到输出层(节点504)。
通过学习规则对ANN500进行“训练”，这种学习规则根据提供给输入层501的输入模式修改连接的权重，从而允许ANN500通过示例学习。这样的学习可以被监督(采用作为输入提供的已知示例)、可以不被监督(采用作为输入提供的未归类示例)或者涉及到强化学习(其中在训练期间提供某种“奖励”概念)。一旦将神经网络“训练”到令人满意的水平，它就可以用作分析工具来作出预测。也就是说，将新的输入呈现给输入节点501，在输入节点501中，这些输入渗入中间层502-503并由其进行处理，就如同正在进行训练一样；不过，这时候，前向传播运行的输出是输入数据的预测模型，然后可以将该预测模型用于进一步的分析和解释。
如将在下面详细描述的，图5的ANN500可以用来实现图4的分类模块420，具体是通过如下方式：接受与被观察对象的边界曲线的各种凸起和凹入的属性相对应的输入501，并产生一个或多个被观察对象的分类，作为输出(504)。例如，输出504a可对应于“人类”分类(以及与该分类相关联的一些置信度分值)，输出504b可以对应于“摩托车”分类，输出504c可以对应于“车辆”分类等。然而，这些分类并不意味着是限制的，并且可能包括AV10在操作期间通常观察到的任何数量的对象类型，诸如汽车、卡车、手推车、自行车、人类、狗、灯杆等。
将认识到的是，本实施例并不限于上述的ANN模型500。可以采用各种机器学习技术，包括例如其他人工神经网络，诸如递归神经网络(RNN)、随机森林分类器、贝叶斯分类器(例如朴素贝叶斯)、主成分分析(PCA)、支持向量机、线性判别分析等。
图6是示出了根据各种实施例的用于对象分类的控制方法的流程图，并且现在将结合图1至图5以及图7至图10进行描述。一般情况下并且如下面进一步详细描述的，图7示出了根据各种实施例的对应于示例性点云的各种边界曲线。图8示出了具有各种对应的凸起和凹入的图7的边界曲线，而图9至图10示出了根据各种实施例的从示例性边界曲线的一部分中提取特征。
现参考图6，控制方法600可以由图1的系统100结合图4的对象分类模块420来执行。根据本公开将认识到的是，方法600内的操作顺序没有局限于如图6所示的顺序执行，而是可以在适用的情况下根据本公开以一个或多个不同的顺序来执行。
控制方法600开始于601，其中基于训练数据的集合(或“语料库”)对机器学习模型进行训练。如结合图5的ANN500所描述的，这种训练数据语料库可以包括一大组图像，其中包括AV10可能遇到的对象(例如，各种车辆、人类等)以及与这些图像相关的已知分类。此训练步骤601通常将包括确定对象的边界曲线以及特征提取，这将在下面进一步详细描述。一旦已经对ANN进行了训练(其通常将在AV10外部的系统内执行)，则可以将模型(例如经由通信网络56)提供给一辆或多辆车辆(例如AV10)。
然后，在602处，由AV10获取传感器数据。如上所述，传感器数据可能会包括在AV10的操作期间由传感器系统28获取的任何可用数据。在各种实施例中，光学相机数据和激光雷达数据在对象分类过程中是特别受关注的。尽管如此，也可以使用任何可用的传感器数据。
之后，在603处确定与所获取的传感器数据相关联的边界曲线。如本文所用，术语“边界曲线”是指一条与用于获取传感器数据的传感器的视场内的对象轮廓基本上对应的曲线。例如，图7示出了对应于车辆后方的返回物的激光雷达云720以及对应于行人的返回物的激光雷达云710(从AV10的角度可以看出)。如图所示的示例性边界曲线701基本上对应于(车辆)激光雷达点云710的轮廓，而边界曲线702基本上对应于(人)激光雷达点云720的轮廓。
虽然图7和图8中所示的边界曲线701和702被示出为闭合曲线，但是本文描述的主题并不受限于此。在一些实施例中，边界曲线可以仅部分地包围对象，因而将会是开口曲线。根据对象的性质、传感器数据的性质以及其他因素，边界曲线可以是连续的或不连续的，平滑的(即连续可微)或不平滑的、直线的(例如多边形的)或曲线的等等。此外，边界曲线不需要包括与对象相关联的所有传感器数据，并且可以是根据本领域已知的任何合适算法(例如，在光学图像分析领域中使用的边缘检测算法)得出的近似值。因此，通常情况下，只要可以提取出曲线的适当特征来有效地训练ML模型，进而分类对应的对象，那么，边界曲线的性质可以发生很大程度的变化。
接下来，在604处，基于在边界曲线内观察到的凸起和凹入，对在603处确定的边界曲线进行表征(即，提取边界曲线的特征)。现在参考图8，图7的边界曲线701和702被示出为边界曲线810和820。在这些示例中，如上所述，边界曲线810和820是平面内的具有对应的内部和外部的闭合型非自相交连续环(例如，“简单闭合曲线”或“约当曲线”)，这在附图中是显而易见的。每条边界曲线810和820的特征可以在于各自的形心831和832。
在各种实施例中，边界曲线810和820的特征在于它们各自的凹入和凸起(也分别被称为“凹陷”和“凸出”)组。直观地看，凹入通常对应于“向外打开”(即远离边界曲线的内部)的曲线段，而凸起通常对应于“向内打开”(即朝向边界曲线的内部)的曲线段。
例如，参考图8的边界曲线810，示出了多个交替的凸起和凹入，包括凸起811、813、815和817以及凹入812、814、816和818。为了清楚起见(鉴于其对称性)，在此附图中仅表征了边界曲线810的一半。类似地，边界曲线820包括凸起821、823、825、827和829以及凹入822、824、826和828。
根据各种实施例，按照如下方式来提取与边界曲线810和820相关联的凸起和凹入的特性：这种方式使得经过正确训练的ANN能区分车辆(由边界曲线810表示)和人(由边界曲线820表示)。与给定边界曲线相关联的提取特征可以表示为用作ML模型的输入的实数、整数或其他适当变量类型的向量(例如，图5的输入501a-n)。
在一些实施例中(采用边界曲线810作为非限制性示例)，对于凹入和凸起(811-818)中的每一个，所提取的特征包括对应的凹入/凸起的高度(即，沿着z轴的距离)。因此，凸起811具有比凸起813更大的高度，凸起813具有比凸起815更大的高度，依次类推。直观地看，这个特征对应于观察到了某些类别的对象通常会比其他对象“更高”(如AV10所看到的)。也就是说，常规中型轿车的凹入/凸起普遍处于比典型的婴儿推车更高的高度下。
在一些实施例中，相邻凸起/凹入之间的梯度被用作提取特征。直观地看，此特征对应于如下构思：某些对象(例如人类)通常会包括许多紧密间隔且“较深”的凹入，而其他对象(例如机动车辆)通常包括更少的宽间隔凹入。就此而言，术语“宽间隔”是指沿着边界曲线本身的一定距离。例如，考虑如边界曲线810上示出的围绕边界曲线810行进的点841(在此情况下为逆时针)。在该点围绕边界曲线810前进时它所行进的参数距离在本文中可以被称为距离s(目的是将其与图8中所示的笛卡尔参考系内的其他距离区分开来)。如图所示，这同样适用于边界曲线820的点842。
这种“梯度”的性质在图9中进一步进行了示出，而图9还示出了两条示例性的边界曲线：901(顶部)和902(底部)。为了简单起见，图9中的曲线被示出为“展开的”并放置在笛卡尔坐标系内，而不是极坐标系内，这对于主要包围对象的边界曲线来说可能是更加合乎情理的。也就是说，尽管梯度可以在笛卡尔坐标系(例如dz/dx)的背景中如下进行表述，但是将会理解的是，相同的曲率和斜率原理适用于极坐标系统(例如dr/dθ)。
可能对应于车辆轮廓的边界曲线901具有内部932、外部931，并且包括凸起911、凹入912和凸起913。类似地，可能对应于人类轮廓的边界曲线902具有内部942、外部941，并且包括凸起921、凹入922和凸起923。
参考图9的边界曲线901，可以看出，从凸起911到凹入912的过渡的特征可以在于具有角度θ1的正切向量971，而从凹入912到凸起913的过渡的特征可以在于具有角度θ2的正切向量972。类似地，对于边界曲线902，可以看出，从凸起921到凹入922的过渡的特征可以在于具有角度θ3的正切向量973，而从凹入922到凸起923的过渡的特征可以在于具有角度θ4的正切向量974。
因此，可以看出，梯度971和972的变化比梯度973和974的变化更小(并且梯度大小也更小)。此外，边界曲线901中相邻凸起之间的距离(即，被介于中间的凹入分隔开)通常也大于边界曲线902中相邻凸起之间的距离。因此，这些梯度和距离(以及连续的凸起和凹入之间的其他梯度和距离)的大小可以用作可提取特征送入ANN500中。
图10示出了表征图9中所示的边界曲线901和902的又一种方式。也就是说，可以采用标准算法来计算在沿着每个曲线901，902的各点处的曲率半径，所述标准算法例如将圆圈拟合到每个曲折点并随后使用每个圆圈的半径来表征曲率。例如，在图10中，边界曲线901由圆圈951、952和953表征，而边界曲线902由圆圈954、955和956表征。这些圆的曲率可以用作图5的ANN500的提取特征。如图10清楚可见，圆圈951、952和953的半径普遍大于圆圈954、955和956的半径。
再次参考图6，在605处，通过使用在604处提取的特征，由ML模型对对象进行分类。如上面结合图5所述，在一个实施例中，这种分类通常会包括将所提取的边界曲线特征送入图5的ANN500的输入501中，然后再利用输出504来确定当AV10正在其环境中移动时各种类别的对象处于它的视场内的可能性。
虽然在前述详细描述中呈现了至少一个示例性实施例，但是应了解的是，仍存在有大量变型。还应了解，一个示例性实施例或多个示例性实施例仅是示例，而并不意欲以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实施一个示例性实施例或多个示例性实施例的便利指引。应理解，在不脱离如所附权利要求及其法律等效物所阐述的本公开范围的情况下，可以对元件的功能和布置作出各种改变。

Claims (10)

1.一种对象分类方法，包括：
接收与由自主车辆的传感器系统观察到的对象相关联的传感器数据；
利用处理器确定与所述传感器数据相关联的边界曲线；
基于与所述边界曲线相关联的一组凸起和凹入，确定多个边界曲线特征；并且
通过将所述多个边界曲线特征应用于机器学习模型并接收将所述对象分类以便帮助控制所述自主车辆的分类输出来分类所述对象。
2.根据权利要求1所述的方法，其中所述机器学习模型是人工神经网络模型。
3.根据权利要求1所述的方法，还包括通过通信网络将所述机器学习模型传输到所述自主车辆。
4.根据权利要求1所述的方法，其中所述边界曲线特征包括相邻的凸起和凹入之间的梯度。
5.根据权利要求1所述的方法，其中所述边界曲线特征包括所述凸起和凹入中的每一个的高度。
6.根据权利要求1所述的方法，其中所述边界曲线特征包括所述凸起和凹入中的每一个的曲率半径。
7.根据权利要求1所述的方法，其中所述边界曲线特征包括相邻凸起之间的距离。
8.根据权利要求1所述的方法，其中所述传感器数据是激光雷达数据，并且所述边界曲线基本上对应于所述激光雷达数据的轮廓。
9.一种用于控制自主车辆的系统，包括：
对象分类模块，所述对象分类模块包括处理器，所述处理器配置为：
接收与由自主车辆的传感器系统观察到的对象相关联的传感器数据；
确定与所述传感器数据相关联的边界曲线；
基于与所述边界曲线相关联的一组凸起和凹入，确定多个边界曲线特征；并且
通过将所述多个边界曲线特征应用于机器学习模型来分类所述对象。
10.根据权利要求9所述的系统，其中所述机器学习模型是人工神经网络模型。
CN201810769305.7A 2017-07-19 2018-07-13 用于自主车辆中对象分类的系统和方法 Active CN109284764B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/653,952 US10430673B2 (en) 2017-07-19 2017-07-19 Systems and methods for object classification in autonomous vehicles
US15/653952 2017-07-19

Publications (2)

Publication Number Publication Date
CN109284764A true CN109284764A (zh) 2019-01-29
CN109284764B CN109284764B (zh) 2022-03-01

Family

ID=64951991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810769305.7A Active CN109284764B (zh) 2017-07-19 2018-07-13 用于自主车辆中对象分类的系统和方法

Country Status (3)

Country Link
US (1) US10430673B2 (zh)
CN (1) CN109284764B (zh)
DE (1) DE102018117428A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112904370A (zh) * 2019-11-15 2021-06-04 辉达公司 用于激光雷达感知的多视图深度神经网络

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11801861B2 (en) * 2020-04-01 2023-10-31 Nvidia Corporation Using image augmentation with simulated objects for training machine learning models in autonomous driving applications
DE102022205674A1 (de) 2022-06-02 2023-12-07 Zf Friedrichshafen Ag Verfahren und Steuereinrichtung zum Steuern eines Flurförderzeugs

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103201695A (zh) * 2010-10-22 2013-07-10 库卡试验仪器有限公司 自主车辆、附属挂车和自主运输系统
US20130197736A1 (en) * 2012-01-30 2013-08-01 Google Inc. Vehicle control based on perception uncertainty
US20160351056A1 (en) * 2015-05-26 2016-12-01 Google Inc. Fallback requests for autonomous vehicles
US20160358475A1 (en) * 2015-06-04 2016-12-08 Toyota Motor Engineering & Manufacturing North America, Inc. Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles
CN106295586A (zh) * 2016-08-16 2017-01-04 长春理工大学 基于单线点云数据机器学习的人形目标识别方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831098B2 (en) * 2006-11-07 2010-11-09 Recognition Robotics System and method for visual searching of objects using lines
US20160003954A1 (en) * 2014-07-07 2016-01-07 Schlumberger Technology Corporation Aerial vehicle acquisition of seismic data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103201695A (zh) * 2010-10-22 2013-07-10 库卡试验仪器有限公司 自主车辆、附属挂车和自主运输系统
US20130197736A1 (en) * 2012-01-30 2013-08-01 Google Inc. Vehicle control based on perception uncertainty
CN104094177A (zh) * 2012-01-30 2014-10-08 谷歌公司 基于感知不确定性的车辆控制
US20160351056A1 (en) * 2015-05-26 2016-12-01 Google Inc. Fallback requests for autonomous vehicles
US20160358475A1 (en) * 2015-06-04 2016-12-08 Toyota Motor Engineering & Manufacturing North America, Inc. Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles
CN106295586A (zh) * 2016-08-16 2017-01-04 长春理工大学 基于单线点云数据机器学习的人形目标识别方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112904370A (zh) * 2019-11-15 2021-06-04 辉达公司 用于激光雷达感知的多视图深度神经网络

Also Published As

Publication number Publication date
US20190026571A1 (en) 2019-01-24
DE102018117428A1 (de) 2019-01-24
CN109284764B (zh) 2022-03-01
US10430673B2 (en) 2019-10-01

Similar Documents

Publication Publication Date Title
CN109949590B (zh) 交通信号灯状态评估
CN108528458B (zh) 用于车辆尺寸预测的系统和方法
CN109131346B (zh) 用于预测自主车辆中的交通模式的系统和方法
CN109817008B (zh) 自主车辆中用于交通繁忙情况中的无保护左转弯的系统和方法
CN109808700A (zh) 用于在自主车辆中映射道路干扰物体的系统和方法
US10214240B2 (en) Parking scoring for autonomous vehicles
CN109291929A (zh) 用于自动驾驶系统的深度集成融合架构
CN109808688A (zh) 针对即将到来的变道在自主车辆中调整速度的系统和方法
CN109507998A (zh) 用于自主车辆之间的协作的系统和方法
CN109283924A (zh) 分类方法及系统
CN109425359A (zh) 用于生成实时地图信息的方法和系统
CN109521764A (zh) 车辆远程辅助模式
CN108961320A (zh) 确定移动物体速度的方法和系统
CN110068346A (zh) 用于自主车辆中不受保护的操纵缓解的系统和方法
CN109017782A (zh) 个性化的自主车辆乘坐特性
CN108803594A (zh) 用于自主车辆中的障碍物避让及路径规划的系统和方法
CN109814520A (zh) 用于确定自主车辆的安全事件的系统和方法
CN110422171A (zh) 使用基于神经网络的驾驶员学习的自主驾驶
CN108628206A (zh) 道路施工检测系统和方法
CN109085819A (zh) 用于实施自主车辆中的驾驶模式的系统和方法
CN109472986A (zh) 用于确定交通控制人员和交通控制标志物的存在的系统和方法
CN110341717A (zh) 在静止车辆周围的自主车辆移动
US10620637B2 (en) Systems and methods for detection, classification, and geolocation of traffic objects
CN112498349A (zh) 用于紧急车道改变的操纵计划
CN109835347A (zh) 活动的交通参与者

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant