CN109841080B - 用于交通对象的检测、分类及地理定位的系统和方法 - Google Patents

用于交通对象的检测、分类及地理定位的系统和方法 Download PDF

Info

Publication number
CN109841080B
CN109841080B CN201811369126.0A CN201811369126A CN109841080B CN 109841080 B CN109841080 B CN 109841080B CN 201811369126 A CN201811369126 A CN 201811369126A CN 109841080 B CN109841080 B CN 109841080B
Authority
CN
China
Prior art keywords
traffic
image
points
sensor data
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811369126.0A
Other languages
English (en)
Other versions
CN109841080A (zh
Inventor
A·J·林格
O·布兰
D·H·克里福德
D·泰勒
B·J·库尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN109841080A publication Critical patent/CN109841080A/zh
Application granted granted Critical
Publication of CN109841080B publication Critical patent/CN109841080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G01C21/3878—Hierarchical structures, e.g. layering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Abstract

本发明提供映射交通相关对象的系统和方法。在一个实施例中，一种方法包括：接收关于与车辆相关联的环境的图像传感器数据；接收关于与所述车辆相关联的所述环境的激光雷达传感器数据；由处理器从所述图像传感器数据选择包括交通相关对象的至少一个图像区域；由处理器基于所述激光雷达传感器数据选择性地筛选所述至少一个图像区域；由处理器基于所述选择性地筛选产生包括叠加于环境定义地图上的所述交通相关对象的表示的合成地图。

Description

用于交通对象的检测、分类及地理定位的系统和方法
技术领域
本公开大体上涉及自主车辆，且更具体地涉及用于检测及映射自主车辆中的交通相关对象的系统和方法。
背景技术
自主车辆是一种能够感测其环境且利用较少或不利用用户输入导航的车辆。这可通过使用例如雷达、激光雷达、图像传感器等的感测装置完成。自主车辆进一步使用来自全球定位系统(GPS)技术、导航系统、车辆对车辆通信、车辆对基础架构技术和/或线控系统的信息来为车辆导航。
尽管近几年已经看到导航系统的明显改进，此类系统仍在多个方面仍要改进。举例来说，自主车辆沿着到规划目的地的路线常常遇到交通相关对象。有利的将是，检测及映射交通相关对象的存在以协助，尤其是路径规划和未来目的地规划。
因此，希望提供用于检测、分类和映射自主车辆中的交通相关对象系统和方法。此外，从结合附图和前述技术领域及背景技术进行的详细说明和所附权利要求书中将更清楚地了解本发明的其他理想特点和特征。
发明内容
本发明提供映射交通相关对象的系统和方法。在一个实施例中，一种方法包括：接收关于与车辆相关联的环境的图像传感器数据；接收关于与车辆相关联的环境的激光雷达传感器数据；由处理器从图像传感器数据选择包括交通相关对象的至少一个图像区域；由处理器基于激光雷达传感器数据选择性地筛选至少一个图像区域；以及由处理器基于选择性地筛选产生包括叠加于环境定义地图上的交通相关对象的表示的合成地图。
在一个实施例中，提供一种用于控制车辆的系统。在一个实施例中，所述系统包括：图像传感器，产生接收关于与车辆相关联的环境的图像数据；激光雷达传感器，产生关于与车辆相关联的环境的激光雷达数据；和具有处理器的控制模块，所述处理器配置成从图像传感器数据选择包括交通相关对象的至少一个图像区域，基于激光雷达传感器数据选择性地筛选至少一个图像区域；基于选择性地筛选产生包括叠加于环境定义地图上的交通相关对象的表示的合成地图，以及基于合成地图控制车辆。
附图说明
下文中将结合以下图式描述示例性实施例，其中相同编号表示相同元件，且其中：
图1是绘示包括根据各种实施例的交通对象管理系统的自主车辆的功能框图；
图2是绘示具有如图1中所示出的一个或多个自主车辆的根据各种实施例的运输系统的功能框图；
图3是示出与自主车辆相关联的根据各种实施例的自主驾驶系统(ADS)的功能框图；
图4是绘示根据各种实施例的交通对象管理系统的数据流图；以及
图5是绘示根据各种实施例的用于基于交通相关对象控制自主车辆的控制方法的流程图。
具体实施方式
以下详细描述实质上仅仅是示例性的且并不意图限制应用和用途。此外，并不意图受到之前的技术领域、背景、发明内容或以下详细描述中所存在的任何明示或暗示的理论的约束。如本文中所使用，术语“模块”是指任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，单独地或以任何组合地，包括但不限于：专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、执行一个或多个软件或固件程序的处理器(共用、专用或群组)和存储器、组合逻辑电路和/或提供所描述功能的其他适当部件。
在本文中可从功能和/或逻辑块部件以及各个处理步骤的角度来描述本公开的实施例。应理解，可通过配置成执行特定功能的任何数目的硬件、软件和/或固件来实现此类块部件。举例来说，本公开的实施例可采用各种集成电路部件，例如，存储器元件、数字信号处理元件、逻辑元件、查询表等，所述部件可在一个或多个微处理器或其他控制装置的控制下运行各种功能。另外，所属领域的技术人员将理解，可结合任何数目的系统实践本公开的实施例，且本文中所描述的系统仅仅是本公开的示例性实施例。
为了简单起见，本文中可能不详细地描述与系统(和系统的个别操作元件)的信号处理、数据传输、信号发送、控制、机器学习模型、雷达、激光雷达、图像分析以及其他功能方面相关的常规技术。此外，本文中含有的各种图式中所示出的连接线意图表示实例功能关系和/或各种元件之间的物理联结。应注意，许多替代或另外的功能关系或物理连接可存在于本发明的实施例中。
参考图1，大体上示出为100的交通对象管理系统与根据各种实施例的车辆10相关联。总体而言，交通对象管理系统(或简称“系统”)100允许检测、分类和映射车辆10的附近的交通相关对象的存在。
如图1中所描绘，车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14布置在底盘12上且基本上封装车辆10的部件。车身14和底盘12可共同地形成车架。车辆车轮16到18各自靠近车身14的相应角落旋转地联接到底盘12。
在各种实施例中，车辆10是自主车辆且交通对象管理系统100并入到自主车辆10(下文中称为自主车辆10)中。自主车辆10是例如自动控制以将乘客从一个位置运送到另一位置的车辆。车辆10在所绘示实施例中描绘为小客车，但应理解，还可使用任何车辆，包括摩托车、卡车、运动型多用途车(SUV)、休闲车(RV)、船舶、航空器等。
在示例性实施例中，自主车辆10对应于自动驾驶级别的汽车工程师学会(SAE)“J3016”标准分类法下的四能级或五能级自动化系统。使用此术语，四能级系统指示“高自动化”，是指自动驾驶系统执行动态驾驶任务的全部方面的驾驶模式，即使人类驾驶员并不适当地响应介入请求。另一方面，五能级系统指示“全自动化”，是指在可由人类驾驶员管理的全部道路和环境条件下自动驾驶系统执行动态驾驶任务的全部方面的驾驶模式。然而，应理解，根据本发明主题的实施例不限于自动化类别的任何特定分类法或说明。此外，根据本实施例的系统可结合其中可实施本发明主题的任何车辆来使用，与其自主性的级别无关。
如所示出，自主车辆10通常包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34和通信系统36。在各种实施例中，推进系统20可包括内燃机、例如牵引电动机的电气机器和/或燃料电池推进系统。传动系统22配置成根据可选速度比将来自推进系统20的能量传递到车轮16和18。根据各种实施例，传动系统22可包括阶比自动变速器、连续可变变速器或其他适当变速器。
制动系统26配置成将制动扭矩提供到车轮16和18。在各种实施例中，制动系统26可包括摩擦制动器、线控制动器、例如电机的再生制动系统，和/或其他适当制动系统。
转向系统24影响车轮16和/或18的定位。虽然出于绘示目的而描述为包括方向盘25，在本公开的范围内所预期的一些实施例中，转向系统24可能不包括方向盘。
传感器系统28包括一个或多个感测装置40a-40n，所述感测装置感测自主车辆10的外部环境和/或内部环境的可观察条件(例如一个或多个乘客的状态)。感测装置40a-40n可包括但不限于可结合根据本发明主题的系统和方法来利用的雷达(例如，远程、中程-短程)、激光雷达、全球定位系统、光学摄像机(例如，前置、360度、后置、侧置、立体等)、热感(例如，红外)摄像机、超声传感器、量距传感器(例如，编码器)和/或其他传感器。
致动系统30包括一个或多个致动器装置42a-42n，所述致动器装置控制例如但不限于推进系统20、传动系统22、转向系统24和制动系统26的一个或多个车辆特征。在各种实施例中，自主车辆10还可包括图1中未绘示的内部和/或外部车辆特征，例如各种车门、后备箱，以及例如空气、音乐、照明、触摸屏显示器部件(例如结合导航系统使用的那些)及类似物的车厢设备。
数据存储装置32存储用于自动控制自主车辆10的数据。在各种实施例中，数据存储装置32存储可导航环境的定义地图。在各种实施例中，定义地图可由远程系统(参考图2更详细地描述)预先定义且从远程系统获得。举例来说，定义地图可由远程系统汇编且传达到自主车辆10(无线和/或有线方式)且存储于数据存储装置32中。路线信息也可存储在数据存储装置32内——即，一组路段(与定义地图中的一个或多个地理上相关联)，一同定义用户可采用的路线以从开始位置(例如，用户的当前位置)行进到目标位置。如将理解，数据存储装置32可以是控制器34的部分，与控制器34分离，或控制器34的部分且单独系统的部分。
控制器34包括至少一个处理器44和计算机可读存储装置或媒体46。处理器44可以是任何定制或市场上可买到的处理器、中央处理单元(CPU)、图形处理单元(GPU)、专用集成电路(ASIC)(例如，实施神经网络的定制ASIC)、现场可编程门阵列(FPGA)、与控制器34相关联的若干处理器之中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、其任何组合或用于执行指令的任何装置。计算机可读存储装置或媒体46可包括例如只读存储器(ROM)、随机存取存储器(RAM)和不失效存储器(KAM)中的易失性和非易失性存储装置。KAM是可用于在处理器44断电时存储各种操作变量的永久性或非易失性存储器。计算机可读存储存储装置或媒体46可使用任何数量的已知存储器装置来实施，所述存储器装置例如PROM(可编程只读存储器)、EPROM(电子PROM)、EEPROM(电可擦除PROM)、闪速存储器，或能够存储数据的任何其他电、磁、光学或组合存储器装置，所述存储器中的一些表示在控制自主装置10时由控制器34使用的可执行指令。在各种实施例中，控制器34配置成实施如下文详细论述的交通对象管理系统100。
指令可包括一个或多个单独的程序，所述程序中的每一个包括用于实施逻辑功能的可执行指令的有序列表。所述指令在由处理器44执行时，从传感器系统28接收并处理信号，执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法，以及产生发射到致动器系统30的控制信号以基于逻辑、计算、方法和/或算法自动控制自主车辆10的部件。虽然图1中示出仅一个控制器34，但自主车辆10的实施例可包括任何数目的控制器34，所述控制器通过任何适当的通信媒体或通信媒体的组合来通信且相互协作以处理传感器信号，执行逻辑、计算、方法和/或算法，以及产生控制信号以自动控制自主车辆10的设备。
通信系统36配置成将信息无线传达到其他实体48或从所述其他实体无线传达信息，所述其他实体例如但不限于，其他车辆(“V2V”通信)、基础架构(“V2I”通信)、网络(“V2N”通信)、行人(“V2P”通信)、远程运输系统和/或用户装置(关于图2更详细地描述)。在示例性实施例中，通信系统36是配置成经由使用IEEE 802.11标准的无线局域网(WLAN)或通过使用蜂窝式数据通信来通信的无线通信系统。然而，另外或可替换通信方法，例如专用近程通信(DSRC)信道，也认为在本公开的范围内。DSRC信道是指专门设计成用于自主用途以及一组对应协议和标准的单向或双向近程至中程无线通信信道。
现在参考图2，在各种实施例中，关于图1描述的自主车辆10可适用于某个地理区域(例如，城市、学校或商业场所、购物中心、游乐园、活动中心等)中的出租车或穿梭系统的环境中，或可简单地由远程系统管理。举例来说，自主车辆10可与基于自主车辆的远程运输系统相关联。图2绘示大体上示出于50处包括基于自主车辆的远程运输系统(或简称“远程运输系统”)52的操作环境的示例性实施例，所述远程运输系统与如关于图1所描述的一个或多个自主车辆10a-10n相关联。在各种实施例中，操作环境50(其全部或部分可对应于图1中所示出的实体48)更包括一个或多个经由通信网络56与自主车辆10和/或远程运输系统52通信的用户装置54。
通信网络56(例如，经由有形通信链路和/或无线通信链路)支持由操作环境50支持的装置、系统和部件所需的通信。举例来说，通信网络56可包括例如蜂窝式电话系统的无线载波系统60，所述无线载波系统包括多个小区发射塔(未示出)、一个或多个移动交换中心(MSC)(未示出)，以及将无线载波系统60与陆地通信系统连接所需的任何其他联网部件。每一小区发射塔包括接收和发送天线以及基站，其中来自不同小区发射塔的基站直接或经由例如基站控制器的中间设备连接到MSC。无线载波系统60可实施任何适当的通信技术，举例来说包括数字通信技术，例如CDMA(例如，CDMA2000)、LTE(例如，4G LTE or 5G LTE)、GSM/GPRS，或其他当前或新兴无线技术。其他小区发射塔/基站/MSC装置有可能且可能与无线载波系统60一起使用。举例来说，基站和小区发射塔可协同定位在相同地点处或它们可彼此远程定位，每一基站可负责单个小区发射塔或单个基站可服务各种小区发射塔，或各种基站可耦合到单个MSC，以命名单少数可能布置。
除包括无线载波系统60之外，可包括卫星通信系统64形式的第二无线载波系统以提供与自主车辆10a-10n的单向或双向通信。此可使用一个或多个通信卫星(未示出)和上行链路传输站(未示出)来完成。单向通信可包括例如卫星无线电服务，其中节目内容(新闻、音乐等)由发射站接收，经打包以上传，以及然后发送到卫星，所述卫星将节目播送给订户。双向通信可包括例如使用卫星的卫星电话服务来转播车辆10与所述站之间电话通信。可另外或代替无线载波系统60利用卫星电话。
可更包括陆地通信系统62，所述陆地通信系统是连接到一个或多个陆线电话的基于传统陆地电信网络且将无线载波系统60连接到远程运输系统52。举例来说，陆地通信系统62可包括例如用于提供硬接线电话、分组交换数据通信和因特网基础架构的公共交换电话网(PSTN)。陆地通信系统62的一个或多个分段可通过使用标准有线网络、光纤或其他光学网络、电缆网络、电力线、例如无线局域网(WLAN)的其他无线网络，或提供宽带无线接入(BWA)的网络或其任何组合来实施。此外，远程运输系统52不必经由陆地通信系统62连接，但可包括无线电话设备使得其可与例如无线载波系统60的无线网络直接通信。
尽管仅一个用户装置54示出于图2中，操作环境50的实施例可支持任何数目的用户装置54，包括由一个人拥有、操作或者使用的多个用户装置54。由操作环境50支持的每一用户装置54可使用任何适当的硬件平台来实施。就此而言，用户装置54可以任何常见形态实现，包括但不限于：桌上型计算机；移动计算机(例如，平板式计算机、膝上型计算机或笔记型计算机)；智能电话；视频游戏装置；数字媒体播放器；家庭娱乐设备的部件；数字摄像机或视频摄像机；可穿戴计算装置(例如，智能手表、智能眼镜、智能服装)；或类似物。由操作环境50支持的每一用户装置54实现为具有执行本文中所描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑的经计算机实施或基于计算机的装置。举例来说，用户装置54包括可编程装置形式的微处理器，所述可编程装置包括存储在内部存储器结构中且用于接收二进制输入以产生二进制输出的一个或多个指令。在一些实施例中，用户装置54包括能够接收GPS卫星信号且基于那些信号产生GPS坐标的GPS模块。在其他实施例中，用户装置54包括蜂窝式通信功能使得装置经由使用一个或多个蜂窝式通信协议的通信网络56执行语音和/或数据通信，如本文中所论述。在各种实施例中，用户装置54包括视觉显示器，例如触摸屏图形显示器或其他显示器。
远程运输系统52包括一个或多个后端服务器系统(未示出)，所述后端服务器系统可以是基于云、基于网络，或驻留在由远程运输系统52服务的特定场地或地理位置。远程运输系统52可由真人顾问、自动顾问、人工智能系统或其组合操纵。远程运输系统52可与用户装置54和自主车辆10a-10n通信以安排座位，调度自主车辆10a-10n以及类似者。在各种实施例中，远程运输系统52存储例如订户验证信息、车辆标识、简档记录、生物计量数据、行为模式和其他相关订户信息的存储账户信息。
根据典型使用情况工作流程，远程运输系统52的已注册用户可经由用户装置54创建旅程请求。座位请求将通常指示乘客的所需搭载位置(或当前GPS位置)，所需目的地位置(可识别预定义车辆站点和/或用户指定乘客目的地)以及搭载时间。远程运输系统52接收座位请求，处理请求以及派遣自主车辆10a-10n中的一个选定者(当且如果一个可用时)以在搭载位置处且在适当时间搭载乘客。运输系统52还可产生及发送适当配置的确认消息或通知给用户装置54，以让乘客了解车辆正在途中。
如可理解，本文中所公开的主题将某些增强特征和功能提供到被视为标准或基线自控车辆10和/或基于远程运输系统52的自主车辆的运输工具。为此，自主车辆和基于远程操作系统的自主车辆可经改进、增强或者补充以提供下文所详细描述的额外特征。
根据各种实施例，控制器34实施如图3中所示出的自主驾驶系统(ADS)70。即，控制器34的适当软件和/或硬件部件(例如，处理器44和计算机可读存储装置46)用于提供结合车辆10使用的自主驾驶系统70。
在各种实施例中，自主驾驶系统70的指令可由功能或系统组织。举例来说，如图3中所示出，自主驾驶系统70可包括计算机视觉系统74、定位系统76、制导系统78和车辆控制系统80。如可理解，在各种实施例中，指令可组织到任何数目的系统(例如，组合，进一步分区等)中，因为本公开并不限于所提出的实例。
在各种实施例中，计算机视觉系统74合成并处理传感器数据以及预测车辆10的环境的对象和特征的存在、位置、分类和/或路径。在各种实施例中，计算机视觉系统74可装有来自多个传感器(例如，传感器系统28)的信息，所述传感器包括但不限于摄像机、激光雷达、雷达和/或任何数目的其他类型的传感器。
定位系统76处理传感器数据以及其他数据以确定车辆10相对于环境的定位(例如，相对于地图的局部定位、相对于道路的航线的确切定位、车辆航向等)。如可理解，可采用各种技术来完成此定位，包括例如同步定位和映射(SLAM)、质点筛选器、卡尔曼筛选器(Kalman filter)、贝叶斯筛选器(Bayesian filter)及类似物。
制导系统78处理传感器数据以及其他数据以确定车辆10遵循的路径。车辆控制系统80根据确定路径产生用于控制车辆10的控制信号。
在各种实施例中，控制器34实施机器学习技术以协助控制器34的功能，例如特征检测/分类、阻塞缓解、路线遍历、映射、传感器集成、地面实况确定及类似者。
在各种实施例中，交通对象管理系统100的全部或部分可包括在计算机视觉系统74、定位系统76、制导系统78和/或车辆控制系统80内。如以上简略提及，图1的交通对象管理系统100配置成确定自主车辆10附接的一个或多个交通相关对象的存在(例如，交通锥、信号、路障等)，以及产生包括叠加于环境的定义地图(例如，存储于图1的数据存储装置32内的地图)上的交通相关对象的表示的合成地图。
在那方面，图4提供详细绘示根据各种实施例的交通对象管理系统100的功能的数据流图。根据本公开的交通对象管理系统100的各种实施例可包括任何数目的模块。如可理解，图4中所示出的模块可组合及/且进一步分区以类似地检测、分类及映射交通相关对象。如可进一步理解，图4中所示出的模块可另外提供到图3中所示出的模块或系统或作为独立系统的单独模块。到交通对象管理系统100的输入可从传感器系统128接收，从车辆10的其他控制器接收，及/或由交通对象管理系统100的其他模块(未示出)确定。在各种实施例中，交通对象管理系统100包括图像数据处理模块102、激光雷达数据处理模块104、定位模块106、结果映射模块108和训练模块110。
在各种实施例中，模块102-110中的一个或多个可实施为一个或多个机器学习模型，所述机器学习模型经受监督、无人监督、半监督或加强学习且执行分类(例如，二元或多级分类)、回归、聚类、降维和/或此类任务。此类模型的实例包括但不限于人造神经网络(ANN)(例如递归神经网络(RNN)和卷积神经网络(CNN))、决策树模型(例如分类和回归树(CART))、集结学习模型(例如增强、自展聚合、梯度增强机器和随机森林)、贝叶斯(Bayesian)网络模型(例如，朴素贝叶斯)、主成分分析(PCA)、支持向量机器(SVM)、聚类模型(例如K近邻、K均值、期望最大化、分级聚类等)、线性判别分析模型。在一些实施例中，训练发生在远离车辆10(例如，图2中的系统52)的系统内，且随后下载到车辆10以在车辆10的正常操作期间使用。在其他实施例中，训练至少部分发生在车辆10的控制器34其自身内，且模型随后与外部系统或车队中的其他车辆(例如图2中所描绘)共用。训练数据可类似地由车辆10产生或外部地取得，且可在训练前划分成训练集、验证集和测试集。出于示例性目的，训练将被论述成部分在车辆10上执行且部分远离车辆10。
在各种实施例中，图像数据处理模块102从传感器系统28(图1)接收作为输入图像数据112。在各种实施例中，图像数据112包括ROS包文件或其他形式的数据。图像数据处理系统模块102处理图像数据112以使用例如rospkg python模块且基于例如与ROS包文件相关联的时间戳从ROS包文件提取图像。如可理解，其他形式的图像数据112和/或处理图像数据112的其他方法可实施于各种实施例中。
图像数据处理系统模块102随后使用选择搜索算法从所提取图像选择候选图像区域。图像数据处理系统模块102随后通过区域大小和/或纵横比对所得区域进行筛选以移除不符合关注对象的期望的图像区域。在各种实施例中，关注对象的期望包括500到18000像素之间的总区域大小，具有例如0.24到2.3之间的对比率(高除宽)。
图像数据处理系统模块102随后利用两个或更多个经训练卷积神经网络114、116处理经筛选图像区域以执行图像分类。举例来说，第一网络114可经训练以将含有交通信号或其他对象的提出区域与不含有交通信号或其他对象的提出区域分离。在另一实例中，第二网络116可经训练以将含有交通信号或其他对象的提出区域与不含有交通信号或其他对象但由第一网络不正确分类的提出区域分离。所述分类可基于识别路标的颜色、所识别字母、所识别单词、形状等来执行。CNN114、116的结果包括图像区域及其对应分类118。如可理解，抽取图像区域及分类所提取区域的其他方法可实施于各种实施例中。举例来说，同时检测区域并将其分类的区域提出网络(RPN)可代替选择性搜索和CNN实施。
激光雷达数据处理模块104接收图像数据112和图像区域及其对应分类118作为输入激光雷达数据120。在各种实施例中，激光雷达数据120包括来自沿着在交通相关对象的大致方向上从激光雷达指向大约四十米的范围的向量的细长五米的点。如可理解，狭长尺寸可在各种实施例中变化。举例来说，较窄条的点可基于摄像机与激光雷达之间的经测量变换矩阵来实施。激光雷达数据处理模块104通过将所有点准确地投射到图像上且保持落入图像区域内的点来选择激光雷达数据120的点的子集。
激光雷达数据处理模块104随后针对可指示交通相关对象的其他属性评估保持的点。举例来说，激光雷达数据处理模块104确定任何保持的点是否落入某一高度范围内，且任何保持的点是否是高反射。如果确定保持的点中的一些落入一定高度范围内且保持的点中的一些是高反射，那么与保持的点相关联的图像区域经选择。如果确定保持的点中没有一个落入一定高度范围内且保持的点中没有一个是高反射，那么与保持的点相关联的图像区域被丢弃。激光雷达数据处理模块104随后使作为经筛选区域分类122的其余保持图像区域分类成为可能。
定位模块106接收经筛选图像区域分类122和对应选定点121作为输出。定位模块108随后使用符合预期布置的点以定位分类图像区域内的交通相关对象。举例来说，预期交通标志在红外线激光雷达中是高度反射。高度反射选定点的图心被设定为相对于车辆10的标志的位置。定位模块106随后使用车辆10的位置和航向以将定位结果转换成对象位置世界坐标124。举例来说，从车辆10到对象的相对航向与车辆10的绝对航向相加。对象的世界位置通过具有沿着相加航向投影的相对范围的车辆10的世界位置相加而发现。
结果映射模块108接收真实世界坐标124中的对象位置和来自经筛选图像区域分类122的相关联图像区域作为输入。结果映射模块108随时间评估结果以确认结果。举例来说，定位于0.5米内的结果或彼此的其他距离可合并以产生合并结果126。结果映射模块108存储合并结果126作为包括叠加于环境定义地图(例如，存储在图1的数据存储装置32内的地图)上的交通相关对象的表示的合成地图。
训练模块110接收合并结果126。训练模块110从合并结果126加载图像的区域且经由基于网页的界面129将其呈现给人工标记器。人工标记器随后能够通过与界面交互且产生用户输入数据130(其属于的类别)来审查图像的每一区域并确认。
由于定位不精确，基于相同道路的标志或对象的多个结果仍可存在。在这种情况下，训练模块110按例如从地图数据获得的类型使用基于道路标志或对象的类似布置的其他聚类算法和知识来移除任何额外重复。训练模块110随后使用最终结果来改进神经网络114、116的分类器。
现在参考图5，且继续参考图1到4，流程图绘示可由根据各种实施例的系统100执行的方法300。如鉴于本公开可理解，方法内的操作的次序不限于如图5中所绘示的顺序执行，但可以适用于且根据本公开的一种或多种不同次序执行。
如可进一步理解，图5的方法可规划成在车辆10的操作期间以预定时间间隔运行，可与车辆10的操作离线执行，及/或其组合。
在一个实例中，方法可于400处开始。在410处，接收图像数据112。在420处，接收激光雷达数据120。在430处，处理图像数据112以确定并分类关注的图像的图像区域，举例来说，如上文关于图像处理模块102所论述。在440处，处理激光雷达数据120以提取与图像的区域相关联的点(例如，选定点121)。随后在450处，针对高度和/或反射率值对与图像的区域相关联的点进行评估。举例来说，如果点中的一些落入一定高度范围内且点中的一些是高反射，那么与保持的点相关联的区域经选择用于460-490处的进一步处理。
举例来说，在460处，处理图像以通过上文所论述的CNN 114、116检测并分类460处的对象。随后在470处，从激光雷达数据112提取并列的激光雷达点。在480处，分类对象随后经定位及筛选，举例来说，如上文关于结果映射模块108所论述。随后在490处确定定位对象的现实世界位置。此后，在500处存储结果。在510处，结果经由人工标记器评估且用于再训练神经网络114、116。此后，方法在520处结束。
如果在450处确定点中没有一个落入一定高度范围内且保持的点中没有一个是高反射，那么与点相关联的图像区域被丢弃且在530处确定是否存在更多要处理的图像。如果在530处存在更多要处理的图像，那么方法分别返回到410处和420处的接收图像数据112和激光雷达数据120。然而，如果在530处不存在更多图像，那么方法继续500处的存储结果，在510处结果经由人工标记器评估(如果可用)且用于再训练神经网络114、116。此后，方法在520处结束。
虽然至少一个示例性实施例已经呈现于先前详细描述中，但应理解，存在大量变体。还应理解，一个或多个示例性实施例仅是实例，且并不意图以任何方式限制本公开的范围、适用性或配置。当然，前述详细描述将为本领域的技术人员提供一种用于实施一个或多个示例性实施例的便利路线图。应了解，在不脱离如所附权利要求书及其法定等效物中所阐述的本公开的范围的情况下，可在元件的功能和布置上进行各种更改。

Claims (10)

1.一种映射交通相关对象的方法，包括
接收关于与车辆相关联的环境的图像传感器数据；
接收关于与所述车辆相关联的所述环境的激光雷达传感器数据；
由处理器基于所识别字母、所识别单词和形状从图像传感器数据识别交通相关对象，其中，交通相关对象包括交通锥、信号和路障；
由处理器从所述图像传感器数据选择包括交通相关对象的至少一个图像区域；
由处理器通过将激光雷达传感器数据中的所有点准确地投射到图像传感器数据中的图像上且保持落入图像区域内的点来选择激光雷达传感器数据的点的子集；
由处理器基于所述点的子集选择性地筛选所述至少一个图像区域，其中，处理器确定任何保持的点是否落入一定高度范围内，且任何保持的点是否是高反射率；如果确定保持的点中的一些落入一定高度范围内且保持的点中的一些是高反射率，那么与保持的点相关联的图像区域被选择；如果确定保持的点中没有一个落入一定高度范围内且保持的点中没有一个是高反射率，那么与保持的点相关联的图像区域被丢弃；以及
由处理器基于所述选择性地筛选产生包括叠加于环境定义地图上的交通相关对象的表示的合成地图。
2.根据权利要求1所述的方法，还包括基于所述激光雷达数据定位所述交通相关对象。
3.根据权利要求1所述的方法，其中选择所述至少一个图像区域是基于至少一个机器学习方法。
4.根据权利要求3所述的方法，其中所述至少一个机器学习方法包括卷积神经网络。
5.根据权利要求4所述的方法，还包括基于所述选择性筛选的结果训练所述卷积神经网络。
6.根据权利要求5所述的方法，其中所述训练所述卷积神经网络还基于由人工标记器产生的数据。
7.根据权利要求1所述的方法，其中选择性筛选是基于所述激光雷达数据的数据点的高度属性。
8.根据权利要求1所述的方法，还包括基于所述图像传感器数据的颜色属性选择性地分类所述交通相关图像。
9.根据权利要求1所述的方法，其中所述选择性筛选是基于所述激光雷达数据的数据点的反射率属性。
10.一种用于控制车辆的系统，包括：
图像传感器，产生关于与车辆相关联的环境的图像数据；
激光雷达传感器，产生关于与所述车辆相关联的所述环境的激光雷达数据；和
具有处理器的控制模块，所述处理器配置成：
基于所识别字母、所识别单词和形状从图像传感器数据识别交通相关对象，其中，交通相关对象包括交通锥、信号和路障；
从所述图像传感器数据选择包括交通相关对象的至少一个图像区域；
通过将激光雷达传感器数据中的所有点准确地投射到图像传感器数据中的图像上且保持落入图像区域内的点来选择激光雷达传感器数据的点的子集；
基于所述点的子集选择性地筛选所述至少一个图像区域，其中，处理器确定任何保持的点是否落入一定高度范围内，且任何保持的点是否是高反射率；如果确定保持的点中的一些落入一定高度范围内且保持的点中的一些是高反射率，那么与保持的点相关联的图像区域被选择；如果确定保持的点中没有一个落入一定高度范围内且保持的点中没有一个是高反射率，那么与保持的点相关联的图像区域被丢弃；以及
基于所述选择性地筛选产生包括叠加于环境定义地图上的交通相关对象的表示的合成地图。
CN201811369126.0A 2017-11-29 2018-11-16 用于交通对象的检测、分类及地理定位的系统和方法 Active CN109841080B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/826294 2017-11-29
US15/826,294 US10620637B2 (en) 2017-11-29 2017-11-29 Systems and methods for detection, classification, and geolocation of traffic objects

Publications (2)

Publication Number Publication Date
CN109841080A CN109841080A (zh) 2019-06-04
CN109841080B true CN109841080B (zh) 2022-01-14

Family

ID=66442576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811369126.0A Active CN109841080B (zh) 2017-11-29 2018-11-16 用于交通对象的检测、分类及地理定位的系统和方法

Country Status (3)

Country Link
US (1) US10620637B2 (zh)
CN (1) CN109841080B (zh)
DE (1) DE102018129846A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112180395B (zh) * 2019-06-13 2023-04-07 北京百度网讯科技有限公司 道路标记的提取方法、装置、设备及存储介质
CN110909895A (zh) * 2019-11-19 2020-03-24 科大国创软件股份有限公司 一种基于特种设备历史定期检验报告的预警方法及系统
US11940804B2 (en) 2019-12-17 2024-03-26 Motional Ad Llc Automated object annotation using fused camera/LiDAR data points
CN112818826A (zh) * 2021-01-28 2021-05-18 北京市商汤科技开发有限公司 目标识别方法及装置、电子设备及存储介质
US11836990B2 (en) * 2022-03-18 2023-12-05 GM Global Technology Operations LLC Methods and systems for two-phase camera to lidar alignment
US11675362B1 (en) * 2021-12-17 2023-06-13 Motional Ad Llc Methods and systems for agent prioritization

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101823486A (zh) * 2010-04-30 2010-09-08 奇瑞汽车股份有限公司 一种自动驾驶系统
CN101950018A (zh) * 2009-07-09 2011-01-19 株式会社电装 估算目标物体信息的装置
CN103198302A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于双模态数据融合的道路检测方法
US8935094B2 (en) * 2012-04-24 2015-01-13 Zetta Research and Development LLC—ForC Series Generating a location in a vehicle-to-vehicle communication system
CN105793730A (zh) * 2013-06-14 2016-07-20 优步技术公司 对象运动的基于激光雷达的分类
CN107408348A (zh) * 2015-03-31 2017-11-28 株式会社电装 车辆控制装置以及车辆控制方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011511281A (ja) * 2008-02-04 2011-04-07 テレ アトラス ノース アメリカ インコーポレイテッド センサにより検出されたオブジェクトとマップマッチングする方法
US8861842B2 (en) * 2010-02-05 2014-10-14 Sri International Method and apparatus for real-time pedestrian detection for urban driving
US9185289B2 (en) * 2013-06-10 2015-11-10 International Business Machines Corporation Generating a composite field of view using a plurality of oblique panoramic images of a geographic area
KR102136401B1 (ko) * 2013-10-21 2020-07-21 한국전자통신연구원 다-파장 이미지 라이다 센서장치 및 이의 신호처리 방법
US9568611B2 (en) * 2014-08-20 2017-02-14 Nec Corporation Detecting objects obstructing a driver's view of a road
US10545229B2 (en) * 2016-04-22 2020-01-28 Huawei Technologies Co., Ltd. Systems and methods for unified mapping of an environment
US10282999B2 (en) * 2017-03-17 2019-05-07 GM Global Technology Operations LLC Road construction detection systems and methods
US10108867B1 (en) * 2017-04-25 2018-10-23 Uber Technologies, Inc. Image-based pedestrian detection
US10255525B1 (en) * 2017-04-25 2019-04-09 Uber Technologies, Inc. FPGA device for image classification
US10809361B2 (en) * 2017-05-31 2020-10-20 Uatc, Llc Hybrid-view LIDAR-based object detection
US20180349746A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Top-View Lidar-Based Object Detection
US10444759B2 (en) * 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
WO2019067193A1 (en) * 2017-09-28 2019-04-04 Apple Inc. NOCTURNAL DETECTION

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101950018A (zh) * 2009-07-09 2011-01-19 株式会社电装 估算目标物体信息的装置
CN101823486A (zh) * 2010-04-30 2010-09-08 奇瑞汽车股份有限公司 一种自动驾驶系统
US8935094B2 (en) * 2012-04-24 2015-01-13 Zetta Research and Development LLC—ForC Series Generating a location in a vehicle-to-vehicle communication system
CN103198302A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于双模态数据融合的道路检测方法
CN105793730A (zh) * 2013-06-14 2016-07-20 优步技术公司 对象运动的基于激光雷达的分类
CN107408348A (zh) * 2015-03-31 2017-11-28 株式会社电装 车辆控制装置以及车辆控制方法

Also Published As

Publication number Publication date
US20190163193A1 (en) 2019-05-30
US10620637B2 (en) 2020-04-14
CN109841080A (zh) 2019-06-04
DE102018129846A1 (de) 2019-05-29

Similar Documents

Publication Publication Date Title
CN108628206B (zh) 道路施工检测系统和方法
CN109291929B (zh) 用于自动驾驶系统的深度集成融合架构
US10331135B2 (en) Systems and methods for maneuvering around obstacles in autonomous vehicles
CN109131346B (zh) 用于预测自主车辆中的交通模式的系统和方法
CN109817008B (zh) 自主车辆中用于交通繁忙情况中的无保护左转弯的系统和方法
US10688991B2 (en) Systems and methods for unprotected maneuver mitigation in autonomous vehicles
US20180074506A1 (en) Systems and methods for mapping roadway-interfering objects in autonomous vehicles
CN109949590B (zh) 交通信号灯状态评估
CN108528458B (zh) 用于车辆尺寸预测的系统和方法
CN109841080B (zh) 用于交通对象的检测、分类及地理定位的系统和方法
US10528824B2 (en) Artificial neural network for lane feature classification and localization
US20190332109A1 (en) Systems and methods for autonomous driving using neural network-based driver learning on tokenized sensor inputs
US20180093671A1 (en) Systems and methods for adjusting speed for an upcoming lane change in autonomous vehicles
US10488861B2 (en) Systems and methods for entering traffic flow in autonomous vehicles
US10489665B2 (en) Systems and methods for determining the presence of traffic control personnel and traffic control signage
US20180150080A1 (en) Systems and methods for path planning in autonomous vehicles
US10528057B2 (en) Systems and methods for radar localization in autonomous vehicles
US20190061771A1 (en) Systems and methods for predicting sensor information
US20190026588A1 (en) Classification methods and systems
US20180024239A1 (en) Systems and methods for radar localization in autonomous vehicles
US20180079422A1 (en) Active traffic participant
US20200070822A1 (en) Systems and methods for predicting object behavior
US20180095475A1 (en) Systems and methods for visual position estimation in autonomous vehicles
CN109284764B (zh) 用于自主车辆中对象分类的系统和方法
US10977503B2 (en) Fault isolation for perception systems in autonomous/active safety vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant