CN109117709B - 用于自动驾驶车辆的碰撞避免系统 - Google Patents

用于自动驾驶车辆的碰撞避免系统 Download PDF

Info

Publication number
CN109117709B
CN109117709B CN201810653532.3A CN201810653532A CN109117709B CN 109117709 B CN109117709 B CN 109117709B CN 201810653532 A CN201810653532 A CN 201810653532A CN 109117709 B CN109117709 B CN 109117709B
Authority
CN
China
Prior art keywords
vehicle
image frames
collision avoidance
space
autonomous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810653532.3A
Other languages
English (en)
Other versions
CN109117709A (zh
Inventor
A·格雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uatc Co ltd
Original Assignee
Uatc Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uatc Co ltd filed Critical Uatc Co ltd
Publication of CN109117709A publication Critical patent/CN109117709A/zh
Application granted granted Critical
Publication of CN109117709B publication Critical patent/CN109117709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0055—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements
    • G05D1/0077—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements using redundant signals or controls
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control

Abstract

一种与自动驾驶车辆一同使用的碰撞避免系统可以连续接收道路捕获图像帧以确定车辆前方的可驾驶空间。系统可以针对每个图像帧确定图像帧的单个区域是否描绘可驾驶空间。该系统可以使用机器学习图像识别算法来实现上述确定，例如使用广泛的训练数据所生成的卷积神经网络。使用这样的技术，系统可以将图像帧的区域标记为对应于可驾驶空间或不可驾驶空间。通过分析已标记图像帧，系统可以确定车辆是否可能撞击不可驾驶空间区域。并且，响应于这种确定，系统可以产生控制信号，该控制信号掩覆其他控制系统或人类操作员输入以控制车辆的制动器、转向装置或其他子系统以避免碰撞。

Description

用于自动驾驶车辆的碰撞避免系统
背景技术
自动车辆/自动驾驶车辆是指利用由传感器和计算机实现的智能、传感器以及其他自主化技术代替人类驾驶员的车辆。在现有技术下，自动车辆可以容易地处理与诸如高速公路的道路上的其它车辆一同行驶。然而，某些环境和天气条件可能会对某些传感器和自动驾驶系统的性能产生不利影响并可能对自动车辆构成挑战。
发明内容
根据本发明的一个方面，提供了一种自动驾驶车辆，其包括：
多个传感器，所述传感器包含用于捕获所述自动驾驶车辆前进方向上的图像帧的摄像机；
车辆控制系统，其用于控制所述自动驾驶车辆，所述车辆控制系统配置为(i)从所述多个传感器接收传感器输入并且(ii)基于所述传感器输入生成车辆控制信号；
碰撞避免系统，其独立于所述车辆控制系统进行操作，配置为执行步骤，所述步骤包含：
从所述摄像机接收图像帧；
在所接收的图像帧上执行图像分析以将所述图像帧的区域标记为描绘可驾驶空间或不可驾驶空间；
至少部分地基于车辆数据确定所述自动驾驶车辆可能撞击在所述所接收的图像帧中所描绘的不可驾驶空间的区域；以及
一旦确定所述自动驾驶车辆可能撞击在所述所接收的图像帧中所描绘的不可驾驶空间的区域，则生成碰撞避免信号，其中所述碰撞避免信号使得所述自动驾驶车辆避免撞击所述不可驾驶空间的区域。
可选地，在所述所接收的图像帧上执行图像分析包括使用机器学习图像识别模型来识别所述图像帧中所描绘的可驾驶空间或不可驾驶空间的区域。
可选地，所述机器学习图像识别模型是卷积神经网络。
可选地，所述机器学习图像识别模型使用包括训练图像帧的训练数据来生成。
可选地，训练数据进一步包括传感器数据，并且其中，每个训练图像帧与同所述训练图像帧同时捕获的一组对应传感器数据相关联。
可选地，所述传感器数据包括LIDAR测量/测量值。
可选地，所述机器学习模型是基于从管理员接收的监理输入而生成的，所述监理输入将训练图像帧的部分识别为表示可驾驶空间或不可驾驶空间。
可选地，在所述所接收的图像帧上执行图像分析包括：
对于所述图像帧的特定区域确定所述特定区域描绘可驾驶空间的对应概率；以及
如果描绘可驾驶空间的对应概率超过第一阈值，则将所述特定区域标记为表示可驾驶空间。
可选地，在所述所接收的图像帧上执行图像分析进一步包括：如果描绘可驾驶空间的对应概率低于第二阈值，则将所述特定区域标记为表示不可驾驶空间。
可选地，所述图像分析是以逐个像素为基础进行的。
可选地，所述车辆数据包括所述自动驾驶车辆的方向矢量、速度和加速度。
可选地，确定所述自动驾驶车辆可能撞击所述所接收的图像帧中所描绘的不可驾驶空间的区域包括：
确定所述不可驾驶空间的区域的空间参数，包括相对于所述自动驾驶车辆的位置以及距所述自动驾驶车辆的距离；以及
基于所述不可驾驶空间的区域的所述空间参数确定与所述不可驾驶空间的区域的碰撞概率。
可选地，所述不可驾驶空间的区域的所述空间参数还包括行进方向和行进速率。
可选地，所述碰撞避免信号掩覆由所述车辆控制系统所生成的所述车辆控制信号。
可选地，所述碰撞避免信号使所述自动驾驶车辆激活一个或多个制动器。
可选地，所述碰撞避免系统和所述车辆控制系统利用包括共享存储器资源和至少一个共享处理器的共享硬件资源组。
可选地，所述碰撞避免系统和所述车辆控制系统利用分开的硬件资源组。
可选地，所述碰撞避免信号掩覆由车辆控制系统所产生的或从所述车辆的操作员接收的其他车辆控制信号。
根据本申请的另一个方面，还提供了一种车辆上的碰撞避免系统，所述碰撞避免系统包括：
一个或多个处理器；以及
一个或多个存储指令的存储器资源，所述指令在由所述一个或多个处理器执行时使得所述碰撞避免系统：
从所述车辆的摄像机接收图像帧；
在所接收的图像帧上执行图像分析以将所述图像帧的区域标记为描绘可驾驶空间或不可驾驶空间；
至少部分地基于车辆数据确定所述自动驾驶车辆可能撞击在所述所接收的图像帧中所描绘的不可驾驶空间的区域；以及
一旦确定所述自动驾驶车辆可能撞击在所述所接收的图像帧中所描绘的不可驾驶空间的区域，则生成碰撞避免信号，其中所述碰撞避免信号使得所述自动驾驶车辆避免撞击所述不可驾驶空间的区域。
根据本申请的另一个方面，还提供了一种操作车辆上的碰撞避免系统的计算机实现方法，其包括：
从所述车辆的摄像机接收图像帧；
在所接收的图像帧上执行图像分析以将所述图像帧的区域标记为描绘可驾驶空间或不可驾驶空间；
至少部分地基于车辆数据确定自动驾驶车辆可能撞击在所述所接收的图像帧中所描绘的不可驾驶空间的区域；以及
一旦确定所述自动驾驶车辆可能撞击在所述所接收的图像帧中所描绘的不可驾驶空间的区域，则生成碰撞避免信号，其中所述碰撞避免信号使得所述自动驾驶车辆避免撞击所述不可驾驶空间的区域。
根据本申请的另一个方面，还提供了一种自动驾驶车辆，其包括：
多个传感器，所述传感器包括用于捕获所述自动驾驶车辆前进方向上的图像帧的摄像机；
车辆控制系统，其用于控制所述自动驾驶车辆，所述车辆控制系统配置为(i)从所述多个传感器接收传感器输入并且(ii)基于所述传感器输入生成车辆控制信号；
碰撞避免系统，其独立于所述车辆控制系统进行操作，配置为执行步骤，所述步骤包含：
从所述摄像机接收图像帧；
在所接收的图像帧上执行图像分析以将所述图像帧的区域标记为描绘可驾驶空间或描绘不可驾驶空间；
至少部分地基于车辆数据确定所述自动驾驶车辆可能撞击在所述所接收的图像帧中所描绘的不可驾驶空间的区域；以及
一旦确定所述自动驾驶车辆可能撞击在所述所接收的图像帧中所描绘的不可驾驶空间的区域，则生成碰撞避免信号，其中所述碰撞避免信号使得所述自动驾驶车辆避免撞击所述不可驾驶空间的区域。
可选地，在所述所接收的图像帧上执行图像分析包括使用机器学习图像识别模型来识别所述图像帧中所描绘的可驾驶空间或不可驾驶空间的区域。
可选地，所述机器学习图像识别模型是卷积神经网络。
可选地，所述机器学习图像识别模型使用包括训练图像帧的训练数据来生成。
可选地，训练数据进一步包括传感器数据，并且其中，每个训练图像帧与同所述训练图像帧同时捕获的一组对应传感器数据相关联。
可选地，所述传感器数据包括LIDAR测量/测量值。
可选地，所述机器学习模型是基于从管理员接收的监理输入而生成的，所述监理输入将训练图像帧的部分识别为表示可驾驶空间或不可驾驶空间。
可选地，在所述所接收的图像帧上执行图像分析包括：
对于所述图像帧的特定区域确定所述特定区域描绘可驾驶空间的对应概率；以及
如果描绘可驾驶空间的对应概率超过第一阈值，则将所述特定区域标记为表示可驾驶空间。
可选地，在所述所接收的图像帧上执行图像分析进一步包括：如果描绘可驾驶空间的对应概率低于第二阈值，则将所述特定区域标记为表示不可驾驶空间。
可选地，所述图像分析是以逐个像素为基础进行的。
可选地，所述车辆数据包括所述自动驾驶车辆的方向矢量、速度和加速度。
可选地，确定所述自动驾驶车辆可能撞击所述所接收的图像帧中所描绘的不可驾驶空间的区域包括：
确定所述不可驾驶空间的区域的空间参数，包含相对于所述自动驾驶车辆的位置以及距所述自动驾驶车辆的距离；以及
基于所述不可驾驶空间的区域的所述空间参数确定与所述不可驾驶空间的区域碰撞的概率。
可选地，所述不可驾驶空间的区域的所述空间参数还包括行进方向和行进速率。
可选地，所述碰撞避免信号掩覆由所述车辆控制系统所生成的所述车辆控制信号。
可选地，所述碰撞避免信号使所述自动驾驶车辆激活一个或多个制动器。
可选地，所述碰撞避免系统和所述车辆控制系统利用包括共享存储器资源和至少一个共享处理器的共享硬件资源组。
可选地，所述碰撞避免系统和所述车辆控制系统利用分开的硬件资源组。
可选地，所述碰撞避免信号掩覆由所述车辆控制系统所产生的所述车辆控制信号和/或从所述车辆的操作员接收的输入。
根据本申请的另一个方面，提供了一种车辆上的碰撞避免系统，所述碰撞避免系统包括：
一个或多个处理器；以及
一个或多个存储指令的存储器资源，所述指令在由所述一个或多个处理器执行时使得所述碰撞避免系统：
从所述车辆的摄像机接收图像帧；
在所接收的图像帧上执行图像分析以将所述图像帧的区域标记为描绘可驾驶空间或描述不可驾驶空间；
至少部分地基于车辆数据确定所述车辆可能撞击在所述所接收的图像帧中所描绘的不可驾驶空间的区域；
一旦确定所述车辆可能撞击在所述所接收的图像帧中所描绘的不可驾驶空间的区域，则生成碰撞避免信号，其中所述碰撞避免信号使得所述车辆避免撞击所述不可驾驶空间的区域；以及
其中所述碰撞避免系统独立于控制所述车辆的车辆控制系统进行操作，所述车辆控制系统配置为(i)从包含摄像机的多个传感器接收传感器输入并且(ii)基于所述传感器输入生成车辆控制信号。
根据本申请的另一个方面，提供了一种操作车辆上的碰撞避免系统的计算机实现方法，其包括：
从所述车辆的摄像机接收图像帧；
在所接收的图像帧上执行图像分析以将所述图像帧的区域标记为描绘可驾驶空间或描述不可驾驶空间；
至少部分地基于车辆数据确定车辆可能撞击在所述所接收的图像帧中所描绘的不可驾驶空间的区域；
一旦确定所述车辆可能撞击在所述所接收的图像帧中所描绘的不可驾驶空间的区域，则生成碰撞避免信号，其中所述碰撞避免信号使得所述车辆避免撞击所述不可驾驶空间的区域；以及
其中所述碰撞避免系统独立于控制所述车辆的车辆控制系统进行操作，所述车辆控制系统配置为(i)从包含摄像机的多个传感器接收传感器输入并且(ii)基于所述传感器输入生成车辆控制信号。
附图说明
在附图中通过示例而非限制的方式来示出本文的公开内容，其中相同的附图标记指代相似的元件，并且在附图中：
图1是示出了根据本文所描述的示例的作为自动驾驶车辆的一部分的示例碰撞避免系统的框图；
图2示出了根据本文所描述的示例的实施有碰撞避免系统的自动驾驶车辆的示例；
图3是示出了根据本文描述的示例的接收和处理训练图像帧和其他训练数据的示例训练数据处理系统的框图；
图4是描述了根据本文所描述的示例的操作自动驾驶车辆内的示例性碰撞避免系统的示例方法的流程图；
图5是描述了根据本文所描述的示例的操作示例性训练数据处理系统的示例方法的流程图；
图6示出了根据本文所描述的示例的由碰撞避免系统所接收和处理的示例性图像帧；和
图7是示出了可以实施本文所描述的示例的计算机系统的框图。
具体实施方式
如本文所述，自动驾驶车辆(为了简单起见而称之为“车辆”)能够以自动、半自动或手动模式进行操作。在自动或半自动操作模式中，车辆的控制系统可以在没有或具有有限的人类操作员输入的情况下操作车辆。例如，控制系统可以应用油门来加速车辆、可以使车辆转向、可以启用车辆的制动器并且可以操作车辆的辅助功能(例如，启动危险警告灯)。在这些操作模式中，控制系统从传感器阵列接收传感器输出以生成车辆控制信号以操作车辆。传感器阵列可以包括光检测和测距(激光雷达(LIDAR))传感器、一个或多个摄像机、雷达传感器、声纳传感器等。传感器阵列中的传感器使得控制系统能够检测道路上的障碍物、车辆、行人、骑车者等等。例如，控制系统可以基于来自传感器阵列的传感器输出而使车辆转向并减速以防止车辆发生碰撞。
然而，因为控制系统基于来自多个传感器的传感器输出而生成控制信号，所以控制系统可能容易受到由不同传感器所传送的冲突信息导致的误差的影响。例如，传感器阵列中的摄像机可能检测到道路上的骑车者，但是LIDAR传感器可能难以检测到骑车者。响应于摄像机和LIDAR传感器的输出，控制系统可能会错误地确定道路上没有骑车者。另外，某些传感器在某些条件下可能会有不一致或不可靠的输出。例如，LIDAR传感器在恶劣天气(例如，雨、雪)下可能不准确或不一致。此外，控制系统本身可能会由于硬件或软件故障而失灵。因此，需要一种可以控制车辆的可靠且独立的碰撞避免系统以避免即将发生的碰撞。
本文的示例提供了包括可独立于自动驾驶车辆的其他系统(例如，用于控制自动车辆操作的车辆控制系统)进行操作的碰撞避免系统的自动驾驶车辆。碰撞避免系统可以基于对由车辆的一个或多个前向摄像机所捕获的图像帧的分析来启用车辆的制动器。具体地，碰撞避免系统可以分析图像帧以识别和标记车辆前进方向中的可驾驶空间的区域。未被识别为可驾驶空间的图像帧中的区域可以被视为车辆不应冲撞的不可驾驶空间。另外，通过分析图像帧，碰撞避免系统可以计算从不可驾驶空间的区域中的每个到车辆的距离。以这种方式，碰撞避免系统可以基于车辆的速度和轨迹确定车辆冲撞不可驾驶空间的识别区域的可能性。基于该确定，碰撞避免系统可以独立于其他车辆系统(例如用于自动操作的车辆控制系统)或车辆操作员输入(例如，刹车踏板输入)来生成碰撞避免信号以避免碰撞或使碰撞的影响最小化。碰撞避免信号可以使车辆启用一个或多个制动器、进行转向和/或油门调节以避免碰撞或使碰撞的影响最小化。
如本文所使用的，术语“可驾驶空间”可以意指车辆可以安全地穿过而不会与其他物体撞击或碰撞的路面(例如铺装路面)。如本文所使用的，术语“不可驾驶空间”可以意指车辆不能安全地穿过的区域。不可驾驶空间可以包括人行道、路缘、其他车辆、行人、骑车者、墙壁、道路中线、碎片等。在某些示例中，非铺装路面可以被碰撞避免系统识别为不可驾驶区域空间。
根据实施例，通过分析图像帧以将图像帧的适当像素标记为表示可驾驶空间，碰撞避免系统可以确定车辆的前进方向上的可驾驶空间的区域。碰撞避免系统可以使用训练为识别表示可驾驶空间的图像区域(例如，像素或像素组)的机器学习模型来这样做。在一些示例中，碰撞避免系统可以确定图像帧的每个像素表示可驾驶空间的对应概率。基于概率(例如，概率超过或低于阈值)，碰撞避免系统可以将像素标记为可驾驶空间。未标记的图像帧区域可以被识别或视为不可驾驶空间。碰撞避免系统可以进一步确定车辆关于不可驾驶空间的每个区域的距离和方向。
根据实施例，机器学习模型可以使用训练数据来生成。训练数据可以包括训练图像帧。训练图像帧可以由与车辆上的摄像机类似的摄像机所捕获。训练图像帧中的每个的像素可被标记为表示可驾驶空间和/或不可驾驶空间。训练图像帧的标记可以在人类操作员的帮助下以算法的方式执行以纠正误差或解决分析中的冲突。使用训练数据，可以生成机器学习模型。为了提高机器学习模型在识别图像帧中所表示的可驾驶空间的准确性，期望具有描绘车辆可能面对的各种道路状况的大量训练图像帧。
机器学习模型的生成可以由一个或多个计算机执行并且对应于所生成的机器学习模型的数据可以被传输到车辆。在一些示例中，车辆可以通过无线网络连接(例如，移动电话网络、Wi-Fi等)来接收数据。另外或作为替代例，车辆可以使用存储装置(例如，闪速存储驱动、SD卡等)或经由物理连接(例如，USB、有线连接等)来接收数据。车辆可以包括存储装置(例如，闪存)以存储对应于机器学习模型的数据。存储装置中所存储的数据可以定期更新。因此，碰撞避免系统的性能可以随着时间通过使用更新的训练数据来更新机器学习模型而得以改进。
在一些示例中，机器学习模型可以是卷积神经网络(CNN)。CNN可以包括多个感知器(例如，人工神经元)。感知器可以分层排列。在CNN中可以具有感知器的输入层、中间层和输出层。碰撞避免系统可以将对应于图像帧的数据输入到CNN以分析图像帧从而识别其中的可驾驶空间的区域。在某些实施例中，对于特定像素而言，CNN可以输出特定像素表示可驾驶空间的可能性。在其他示例中，CNN可以输出特定像素的二进制值，二进制值指示特定像素是否表示可驾驶空间。
在本文所描述的示例中，碰撞避免系统可以基于车辆的速度、轨迹和加速度来确定车辆是否可能撞击不可驾驶空间的区域(例如障碍物、路缘、行人)。车辆的速度、轨迹和加速度可以通过车辆的系统(例如车辆控制系统)或通过碰撞避免系统来确定。一旦确定车辆可能撞击不可驾驶空间的区域，则碰撞避免系统可以生成避免碰撞信号以使车辆避免撞击不可驾驶空间的区域。碰撞避免信号可以激活车辆的制动器。碰撞避免系统可以独立于车辆控制系统和/或操作员输入来实现上述过程。换句话说，由碰撞避免系统所生成的碰撞避免信号可以掩覆(override，优先于)车辆控制系统的控制输出和/或操作员输入以例如激活车辆的制动器。
根据一些示例，一旦确定车辆可能撞击不可驾驶空间的区域，则碰撞避免系统可以生成碰撞避免控制信号以控制车辆的其他方面。例如，碰撞避免系统也可以生成转向输出以改变车辆的轨迹从而避免撞击不可驾驶空间的区域。另外，碰撞避免系统可以生成油门输出和辅助输出(例如，打开车辆的危险警告灯)。
在某些实施例中，碰撞避免系统输出可以掩覆由控制系统所生成的车辆控制信号。例如，控制系统可以生成控制信号以加大车辆的油门以使车辆加速。响应于确定车辆可能撞击不可驾驶空间，碰撞避免系统可以生成碰撞避免信号以掩覆控制信号(例如，停止施用油门)并启用车辆的制动器。因此，碰撞避免系统可独立于控制系统(和/或独立于操作员输入)来控制车辆以避免碰撞。
这里在自动车辆或自动驾驶车辆的背景下参考多个示例，该自动车辆或自动驾驶车辆的涉及在至少转向、推进和制动方面在自动状态下进行操作的任何车辆。当以自动操作状态进行操作时，示例实现了车辆可以忽略人类或手动驾驶输入(例如，加速器或制动器输入、方向盘输入)，使得车辆控制系统是车辆的唯一“驾驶员”。如各种示例所述，车辆可以在车辆处于自动操作状态时忽略人类或手动驾驶输入，但是车辆能够响应于指定人类输入，例如用于切换车辆的操作状态或者采取安全动作(例如紧急制动)的输入。如以各种示例所描述的，可以关于不用于驾驶车辆的接口(例如，机械致动器)检测到可以转换车辆的操作状态的指定人类输入。因此，用于使驾驶员能够切换自动车辆的状态的接口可以与诸如方向盘、加速器(例如“气门踏板”)、制动器或换挡器的机构分开。
本文描述的一个或多个方面提供了由计算设备执行的方法、技术和动作以编程方式或者作为计算机实现的方法来执行。以编程方式意味着通过使用代码或计算机可执行指令。以编程方式所执行的步骤可能是或者可能不是自动的。
本文描述的一个或多个方面可以使用编程模块或组件来实现。编程模块或组件可以包括能够执行一个或多个所述任务或功能的程序、子例程、程序的一部分、软件组件或硬件组件。另外，模块或组件可以独立于其他模块或组件而存在于硬件组件上。可替代地，模块或组件可以是其他模块、程序或机器的共享元件或进程。
此外，本文所描述的一个或多个方面可以通过使用可由一个或多个处理器执行的指令来实现。这些指令可以承载于计算机可读介质上。利用以下附图所示出或描述的机器提供了处理资源和计算机可读介质的示例，在该处理资源和计算机可读介质上可以承载和/或执行用于实现一些方面的指令。特别地，在一些示例中示出的多个机器包括处理器以及用于保存数据和指令的各种形式的存储器。计算机可读介质的示例包括永久存储器存储装置，诸如个人计算机或服务器上的硬盘驱动器。计算机存储介质的其他示例包括便携式存储单元，例如CD或DVD单元、闪存或固态存储器(诸如承载于许多蜂窝电话和消费电子装置)和磁存储器。计算机、终端、启用网络装置(例如，诸如手机的移动装置)是利用处理器、存储器和存储在计算机可读介质上的指令的机器和装置的示例。另外，各方面能够以计算机程序的形式来实现。
系统描述
图1是示出了根据本文所描述的示例的作为自动驾驶车辆的一部分的示例碰撞避免系统的框图。在所描述的示例中，自动驾驶车辆可以在没有否则将操作车辆的人类动作的情况下进行操作。例如，在机动车辆的情况下，自动驾驶车辆可以转向、加速、换挡、制动并操作照明组件。一些变型例也意识到自动驾驶车辆可以自动或手动操作。
参照图1的示例，自动驾驶车辆10包括以自动、半自动或手动操作模式操作车辆10的控制系统。另外，车辆10包括独立于车辆10的控制系统进行操作的碰撞避免系统100。特别地，示例提供了车辆10以包括车辆接口系统90来接收主控制信号从而控制车辆10。车辆10还可以具有多种操作模式，例如包括手动模式、半自动模式和自动模式。在手动和半自动操作模式期间，车辆接口系统90可以接收人类操作员输入83作为主控制信号来操作车辆10。在车辆10的自动和半自动操作模式期间，车辆接口系统90可以接收由AV控制系统180输出的命令输入85以操作车辆10。示例实现了在车辆10的一个或多个操作模式中，碰撞避免系统100可以操作为掩覆主控制信号(例如，操作员输入83、命令输入85)以独立地控制车辆10的油门、制动、转向和辅助功能以避免与障碍物、行人、路缘、其他车辆等的碰撞。碰撞避免系统100可以连续地监测车辆10周围的空间和环境并且可以区分可驾驶的空间区域(例如，其上没有任何物体的铺装道路)与不可驾驶的空间区域(例如，另一辆车、围栏、路缘等)。碰撞避免系统100可以基于速度、轨迹、加速度和主控制信号来确定车辆10是否可能在没有碰撞避免系统100的干预的情况下撞击确定为不可驾驶的空间区域。响应于该确定，碰撞避免系统100可以进行干预以掩覆主控制信号并独立地控制车辆10的油门、转向、制动和辅助功能以避免碰撞。
车辆10可以配备有传感器阵列130，该传感器阵列130包括多种类型的传感器，诸如LIDAR传感器135、雷达传感器140、声音导航和测距(声呐(SONAR))传感器145以及摄像机150。传感器阵列130中的传感器可以组合以提供对车辆10周围的空间和环境的计算机化感知。特别地，摄像机150可以包括多组摄像机传感器(例如，视频摄像机、立体像对摄像机、深度感知摄像机、红外摄像机、广角摄像机等)来监测车辆10周围的环境。另外，LIDAR 135、雷达140和SONAR 145传感器可以检测车辆10周围的物体以及这些物体到车辆10的相应距离。来自传感器阵列130的输出-传感器数据131-由传感器接口170接收。传感器接口170可以包括用于传感器阵列130中的传感器中的每个的分开接口装置。例如，传感器接口170可以包括用于LIDAR传感器135的LIDAR接口装置以及用于摄像机150的摄像机接口装置。传感器接口170可以包括处理所接收的传感器数据131的硬件和/或其他逻辑组件。例如，从LIDAR传感器135接收LIDAR数据的LIDAR接口装置可以包括逻辑和处理资源(例如，现场可编程门阵列(“FPGA”)、数字信号处理器(“DSP”)等)以将所接收的LIDAR数据转换成可以由AV控制系统180所使用的格式。作为另一个示例，从摄像机150接收摄像机数据(例如，原始图像数据)的摄像机接口装置可以将数据转换成由AV控制系统180所使用的格式(例如，JPEG或其他压缩或未压缩的数据格式)。在某些实施例中，传感器接口170可以执行处理以改善传感器数据质量。例如，摄像机接口装置可以降低噪声、调整曝光、执行伽玛校正、调整颜色、调整焦点以及对原始图像数据执行其他处理。处理后的传感器数据可以输出为传感器数据171。
根据一个实施例，车辆接口系统90可以包括或控制多个车辆接口，这些车辆接口包括油门接口92、转向接口94、制动接口96和辅助接口98。车辆接口中的每个控制车辆10的对应子系统。例如，油门接口92控制车辆10的发动机的油门以使车辆10加速。转向接口94控制车辆10的转向柱以使车辆10转向。制动接口96控制车辆10的一个或多个制动器以使车辆10减速。辅助接口98控制车辆10的一个或多个辅助功能，例如操作危险警告灯等。车辆接口系统90还可以包括控制器84以接收在车辆10的正常操作期间控制车辆接口的主控制信号(例如，操作员输入83、命令输入85)。控制器84可以基于所接收的主控制信号来控制各种车辆接口92-98。
在某些实施例中，车辆10能够以手动操作模式操作，其中人类操作员生成由车辆接口系统90所接收的主控制信号。在手动模式中，车辆接口系统90接收人类操作员输入83并且生成控制信号119以控制各种车辆子系统接口92,94,96,98。例如，车辆接口系统90的控制器84可以从车辆客舱中的加速器踏板接收油门输入。类似地，控制器84可以从方向盘接收转向输入并从制动踏板接收制动输入。在一些示例中，人机操作员输入83可以由车辆接口直接接收。例如，油门接口92可以直接接收操作员油门输入，并且制动接口96可以直接接收驾驶员制动输入。
在一些示例中，车辆10还能够以自动模式和/或半自动操作模式操作。在这些操作模式中，AV控制系统180可以生成命令输入85，所述命令输入由车辆接口系统90接收为主控制信号以操作车辆。AV控制系统180可以基于所接收的经处理传感器数据171来生成命令输入85。命令输入85可以包括路线信息87以及指定车辆10的操作状态的一个或多个操作参数89(例如，期望速度、加速度等)。控制器84基于用于一个或多个车辆接口92,94,96,98的命令输入85生成控制信号119，以控制油门、转向、制动和辅助车辆功能。
在一个实施例中，处于半自动操作模式的AV控制系统180可以控制车辆10的子系统中的一些。例如，AV控制系统180可以生成命令输入85以控制车辆10的油门子系统91和制动器子系统95。转向子系统93可以通过从车辆10的人类操作员至车辆接口系统90的操作员输入83进行控制。在其他实施例中，AV控制系统180在半自动操作模式下可以控制车辆10的所有操作，但是可以要求周期性操作员输入83以指示操作人员正在监测车辆10的行进从而在必要时掩覆来自AV控制系统180的命令输入85。
根据实施例，车辆10可以包括独立于车辆10的AV控制系统180和/或人类操作员进行操作的碰撞避免系统100。碰撞避免系统100可以掩覆由AV控制系统180生成的命令输入85以防止车辆10与车辆路径中的物体发生碰撞。碰撞避免系统100还可以掩覆来自车辆10的人类操作员的操作员输入83。
在一些实施例中，碰撞避免系统100可以在来自AV控制系统180的分离的硬件和软件上实现。换句话说，碰撞避免系统100可以实施在执行专用于碰撞避免系统100的软件指令的一个或多个专用处理资源(例如，CPU、GPU、DSP、FPGA、ASIC等)上。软件指令也可以存储于专用于碰撞避免系统100的存储器中。以此方式，在AV控制系统180发生硬件或软件故障的情况下，碰撞避免系统100可以是起作用的并且提供安全冗余。在其他实施例中，碰撞避免系统100可以实施在与AV控制系统180共享的硬件上。例如，AV控制系统180和碰撞避免系统100可以共享传感器、处理资源、存储器资源等。以这种方式，可以减少在车辆10上实施碰撞避免系统100的复杂性和成本。在这些实施例中，车辆10的处理资源能够以高于对应于AV控制系统180的指令的优先级执行对应于碰撞避免系统100的功能的指令，以确保碰撞避免系统100可以掩覆由AV控制系统180所生成的控制输入83。
在某些实施例中，摄像机150和摄像机155可以是连续生成图像数据的视频摄像机和/或立体摄像机组(例如，每秒30个图像帧、每秒60个图像帧、每秒120图像帧等)。摄像机150和155可以被定位成捕获车辆10的前进方向的图像帧。
根据示例，碰撞避免系统100可以包括用于从传感器阵列130的摄像机接收图像帧151的摄像机接口105。摄像机接口105还可以从额外摄像机155接收图像帧156。额外摄像机155可以是专用于防碰撞系统100的一个或多个摄像机或摄像机组。一个或多个摄像机155可包括广角前向摄像机。通过从摄像机155接收图像帧156，即使当传感器阵列130的摄像机150(或传感器阵列130本身)故障时，碰撞避免系统100也可以进行操作以防止车辆10与车辆路径中的物体发生碰撞。此外，与摄像机150相比，摄像机155可以定位于不同位置中(例如，在车辆10的前保险杠上)以改善碰撞避免系统100的视场(例如，减少盲点、增大角度等)。在一些实施例中，传感器阵列130的摄像机150为碰撞避免系统100提供足够的可靠性和视场。在这些实施例中，可以不需要额外摄像机155，并且通过组合利用传感器阵列130现有的摄像机150，可以降低用于实施碰撞避免系统100的成本。
根据一些示例，摄像机接口105可以包括诸如设置有现场可编程门阵列(“FPGA”)或数字信号处理器(“DSP”)的图像处理资源，其从摄像机150和155接收和/或处理图像帧151和156。例如，摄像机接口105的图像处理资源可以执行图像处理操作以合并图像帧151和156。碰撞避免系统100可以对合并的图像帧执行图像分析以生成安全控制输出。作为可替代例，可以在图像帧151和156上执行分开的图像分析，并且分开的图像分析的结果得以调和以生成安全控制输出。另外，摄像机接口105的图像处理资源还可以执行图像处理操作以处理原始图像帧151和156，以例如调整原始图像帧151和156的曝光、对比度和调色板。图像处理资源还可以执行滤波、减少噪声并执行原始图像帧151和156的裁剪或移位。可以执行图像处理以便在识别由摄像机150和155所捕获的图像帧中的可驾驶空间的过程中改善图像质量并改善碰撞避免系统100的图像分析的性能和准确度。摄像机接口105可以输出经处理图像帧106。
在一个实施例中，摄像机接口105的图像处理资源可以修改图像帧151和156的某些特性，以使经处理的图像帧106更类似于用于生成由碰撞避免系统100所使用的机器学习模型的训练数据中的图像帧。例如，训练数据中的图像帧可以表现出关于调色板、色调、曝光和对比度的某些特征。摄像机接口105的图像处理资源可以执行图像处理操作，以使得经处理的图像帧106与训练数据图像帧相比在那些特征上相似。特别地，摄像机接口105的图像处理资源可以应用色调或滤色器来生成经处理的图像帧106，以例如使由摄像机150和155和/或由车辆环境的照明条件所引起的影响最小化。例如，摄像机接口105的图像处理资源可以确定特定图像帧151或156的对比度高于训练数据图像帧的对比度(例如，平均值或中值)。作为响应，摄像机接口105的图像处理资源可以减少对比度以生成经处理的图像帧106，使得图像帧106的对比度更接近训练数据图像帧的平均或中值对比度。以这种方式，可以改进由碰撞避免系统100关于识别经处理的图像帧106中的可驾驶空间的准确性和一致性。
根据实施例，碰撞避免系统100包括图像分析(图像分析器)110，该图像分析110从摄像机接口105接收并分析经处理的图像帧106。在各种方面中，图像分析110可以通过分析经处理的图像帧106并将经处理的图像帧106中的适当像素标记为描绘可驾驶空间来识别经处理的图像帧106中所描绘的可驾驶空间。例如，对应于车辆10所行驶的铺装道路的像素可以被图像分析110标记为可驾驶空间。相反，对应于经处理的图像帧106中所捕获的行人的像素将不会被图像分析110标记为可驾驶空间。在一些实施例中，对应于图像帧106中所捕获的行人、其他车辆、物体或障碍物的像素将被图像分析110标记为不可驾驶空间。
在一些示例中，图像分析110可以使用机器学习模型112分析经处理的图像帧106。机器学习模型112可以基于训练数据生成并且由车辆10经由通信接口(未在图1中示出)所接收。通信接口可以通过无线连接(例如，蜂窝链接、Wi-Fi链接等)或物理互连(例如USB连接)接收对应于机器学习模型112的数据。对应于模型112的数据可以存储在车辆10上的可由碰撞避免系统100访问的一个或多个存储装置中。模型112可以基于更新的训练数据周期性地更新并且由车辆10接收。以这种方式，随着附加训练数据的采集，图像分析110和碰撞避免系统100的性能可以随着时间而改善。
在各个方面中，训练数据可以包括训练图像帧。训练图像帧可以描绘真实世界道路情况并且可以是由类似于摄像机150和155的摄像机所捕获的图像。例如，当车辆在真实世界条件下操作时，车队上的摄像机可以捕获训练图像帧。可以分析训练图像帧并且可以识别训练图像帧中的可驾驶空间。例如，训练图像帧的适当像素可以被标记为表示可驾驶空间。训练图像帧的分析可以利用人工监理、校正和/或质量检查以编程方式进行。在某些情况下，训练数据可包含传感器数据。例如，每个训练图像帧可以与一组LIDAR传感器数据相关联。该组LIDAR传感器数据可以指示在捕获相关联的训练图像帧时所进行的LIDAR测量。LIDAR数据可以帮助分析训练图像。例如，LIDAR测量可用于识别训练图像帧中所描绘的不应被标记为可驾驶空间的物体。
根据实施例，模型112可以是使用训练数据所生成的卷积神经网络(CNN)。CNN模型112可以包括多个层，层中的每个可以包括多个人工神经元。使用CNN模型112，图像分析110可以确定经处理的图像帧106的区域是否描绘了可驾驶空间。在一些示例中，图像分析110可以确定经处理的图像帧106的特定区域描绘可驾驶空间的可能性(例如，置信度)。另外，图像分析110的不同实施例能够以不同的分辨率或细节水平进行分析。在一些实施例中，图像分析110可以分析经处理的图像帧106以确定经处理的图像帧106中的每个单独像素描绘可驾驶空间的可能性。在其他实施例中，图像分析110能够以较低的分辨率或细节执行分析以确定像素组(例如，十个像素的连续组)描绘可驾驶空间的可能性。
图像分析110可以生成识别经处理的图像帧106中所描绘的可驾驶空间的标记111。在一些实施例中，标记111可以由图像分析110作为矩阵数据结构输出。标记111的矩阵数据结构中的每个值可以对应于对应的经处理的图像帧106的像素(或像素组)的标记。例如，对于具有3840×2160像素的分辨率的经处理的图像帧106而言，由图像分析110所确定的对应标记111可以是具有3840×2160个数据值的矩阵数据结构，数据值中的每个指示针对于经处理的图像帧106的对应像素所确定的可驾驶空间标记。在一些实施例中，经处理的图像帧106以及对应标记111可以被存储为一个数据结构(例如，多维阵列或矩阵)。
碰撞避免系统100可以包括校正单元115，以在标记经处理的图像帧106的过程中执行校正。在这样做时，校正单元115可以都接收经处理的图像帧106以及由图像分析110所确定的对应标记111。在一个实施例中，校正单元115可以检查多个经处理的图像帧106及其相关联的标记111以去除经处理的图像帧106中的异常值标记。例如，一个特定的经处理图像帧106可以具有未被标记为可驾驶空间的小区域(例如单个像素、小组像素)，所述小区域由标记为可驾驶空间的其它区域所围绕。在这样的情况下，校正单元115可以确定未被图像分析110标记为可驾驶空间(或被标记为不可驾驶空间)的小区域是异常值并且可以被碰撞避免系统100所忽略。这种异常值可以由图像分析110所检测的经处理的图像帧106中所描绘的道路上的微小(且没有威胁的)物体产生。作为另一示例，校正单元115可以比较为了大约相同时间捕获的多个经处理的图像帧所生成的标记111以识别可以由碰撞避免系统100忽略的异常值。在去除异常值和其他标记错误时，校正单元115可产生经校正的标记116。
根据实施例，碰撞避免系统100可以包括撞击分析(撞击分析器)120，该撞击分析120确定是否将出现涉及车辆10的前进方向碰撞。撞击分析120可以这样做是基于关于车辆10的当前轨迹、速度和控制，包括AV控制数据86和车辆数据88、以及经处理的图像帧106和/或经校正的标记116。基于经处理的图像帧106和/或经校正的标记116，撞击分析120可确定经处理的图像帧106中的每个不可驾驶空间的区域的空间参数。空间参数可包括相对于车辆10的位置、距离车辆10的距离、行驶速度(用于移动中的物体)和行进方向(也用于移动中的物体)。响应于确定碰撞将要发生，撞击分析120可以生成用于控制器125的撞击参数。控制器可以生成碰撞避免控制124以控制车辆10的各种子系统从而避免与不可驾驶空间碰撞或者使任何这种碰撞的影响最小化。碰撞避免控制124可以包括油门控制126、转向控制127、制动控制128和辅助控制129。
自动驾驶车辆描述
图2示出了根据本文所描述的示例的实施有碰撞避免系统的自动驾驶车辆的示例。在图2以下的讨论中，可以参考关于图1示出和描述的特征和示例。例如，图2中示出的车辆200可以是图1的车辆200。另外，图2中的碰撞避免系统250可以是关于图1所示和描述的碰撞避免系统100。
在图2所示的示例中，车辆200包括自动车辆(AV)控制系统210，其能够以半自动和/或完全自动的操作模式控制车辆的操作。在这些操作模式中，AV控制系统210从车辆上的传感器接收传感器输出以生成控制信号从而控制车辆操作的一个或多个方面。AV控制系统210可以使用处理资源211和存储资源的组合来实现，并且可以包括一个或多个通用CPU、专用GPU和存储器元件。处理资源211可以是集中式的、分布式的和/或包括专用于特定资源的资源。在操作中，AV控制系统210的处理资源211可以实现模型、决策制定算法、路线和轨迹确定、外部通信和作为其正常操作的一部分的各种其他处理。
车辆上的传感器可以包括定位于车辆顶部的传感器阵列215。传感器阵列215可以包括生成LIDAR测量的LIDAR传感器216以及用于捕获图像帧的一个或多个摄像机217。一个或多个摄像机217可共同地生成描绘车辆200周围的360°视角的生成图像帧。一个或多个摄像机217可包括立体摄像机对、视频摄像机，红外摄像机和/或其他专用图像捕获装置。传感器阵列215还可以包括其他测距或检测传感器，例如雷达、超声波测距传感器等。另外，诸如雷达、超声波传感器、声纳的外围传感器或其他类型的检测器可以围绕车辆200定位在合适位置(例如，前保险杠、保险杠角、侧挡板、后视镜、后保险杠等)中以掩覆传感器阵列215的任何盲点。例如，多个雷达传感器218可以围绕车辆的周界分布。前向摄像机220也可以定位于车辆的前保险杠上。其他摄像机可以安装到车辆的外部，或者安装在挡风玻璃的内部内。
车辆200可以包括称为车辆控制子系统202,204,206,208的操作特征(或装置)。车辆控制接口可以包括油门控制子系统202、转向控制子系统204、制动控制子系统206和辅助控制子系统208。子系统可以由车辆200的控制接口(例如，图1的接口92,94,96和98)所控制。所示的操作特征仅是示例，并且可以根据所描述的示例的变化来利用车辆200的更多或更少的操作特征。在图2的示例中，操作面由可以由车辆200的单独控制系统所操纵或以其他方式控制的接口表示。
根据一些示例，处理资源211可以包括一个或多个处理器和/或编程和硬件接口，这些编程和硬件接口如图2中作为控制212所示地提供在车辆自动地或半自动地操作时所连续地生成并信告至车辆200的各个车辆控制子系统202,204,206,208的控制参数。因此，例如，控制212可以从处理资源211(和AV控制系统210)通信至相应车辆控制接口202,204,206,208。处理资源211可以确定车辆的一个或多个轨迹，并且然后通过控制212实施轨迹。轨迹可以定义车辆在给定的未来时间间隔内的一个或多个可能的轨迹。例如，轨迹可以包括车辆的一个或多个主要轨迹，和/或车辆在AV控制系统210发生灾难性故障的情况下将实施的故障安全轨迹。
在图2的示例中，车辆200包括独立地控制车辆200的一个或多个操作特征的碰撞避免系统250。为此，碰撞避免系统250可以连续地从摄像机217和220接收图像帧。碰撞避免系统250可分析所接收的图像帧以确定车辆200可能撞击不可驾驶空间的区域(例如，另一车辆、路缘、行人、骑车者等)。响应于这种确定，碰撞避免系统250可以生成碰撞避免控制以避免或最小化这种撞击。独立于车辆的其他控制系统(例如，AV控制系统210)或人类操作员输入，由碰撞避免系统生成的碰撞避免控制可以控制车辆200的一个或多个操作特征。在一个实施例中，一旦确定可能发生碰撞，则碰撞避免系统250可以经由制动控制子系统206独立地启用车辆200的制动器。在其他实施例中，碰撞避免系统250可以经由转向控制子系统204独立地控制车辆200的转向并且经由制动控制子系统206启用车辆200的制动器。另外，一旦确定碰撞即将发生或可能发生，则碰撞避免系统250可以掩覆由油门控制子系统202所接收的控制以停用车辆的油门。因此，人类操作员输入和/或AV控制系统210可以由碰撞避免系统250所掩覆。
由碰撞避免系统250执行的功能可以包括：从摄像机217,220连续接收图像帧；分析所接收的图像帧以识别在图像帧中的每个中所描绘的可驾驶空间；执行空间分析以确定不可驾驶空间的每个区域(例如，未被识别为可驾驶空间的区域)距车辆200的相应距离和方向；基于所确定的距离和方向并且基于车辆数据(例如，速度、轨迹、加速度等)来确定车辆200将撞击不可驾驶空间的每个区域的相应概率；基于撞击概率来确定碰撞避免控制254以减轻、最小化或避免碰撞。可以通过应用一个或多个机器学习模型来执行对每个所接收的图像帧的可驾驶空间识别。使用机器学习模型，碰撞避免系统250可以确定每个图像帧的每个像素(或每组像素)描绘可驾驶空间的概率。对应概率超过阈值的像素可以被标记为“可驾驶空间”。相反，对应概率低于阈值的像素可以被标记为“不可驾驶空间”。
可以使用处理资源251和存储器资源252的组合来实现碰撞避免系统250。处理资源251可以包括一个或多个通用CPU、一个或多个专用处理器(例如，GPU)，以及其他局部化或分布式处理资源。存储器资源252可以用于存储对应于用于分析所接收的图像帧并识别在所接收的图像帧中的每个中所描绘的可驾驶空间和不可驾驶空间的一个或多个机器学习模型的数据。存储器资源252可以进一步包括高速缓冲存储器以存储所接收的图像帧。例如，可以在高速缓冲存储器中分析并存储所接收的图像帧。以这种方式，可以由碰撞避免系统250执行需要在一段时间内所接收的多个图像帧的操作(例如，校正操作)。
根据一些实施例，油门202、转向204、制动206和辅助208各自可以由碰撞避免系统250的输出(例如，碰撞避免控制254)来独立地控制。碰撞避免控制254可以掩覆对车辆控制子系统202,204,206,208的任何其他输入，诸如由AV控制系统210(例如，AV控制212)所生成的控制或人类操作员输入。以这种方式，当碰撞避免系统250未检测到即将发生的碰撞时，车辆200由车辆200的操作人员或AV控制系统210进行控制。一旦碰撞避免系统250检测到即将发生碰撞并且生成碰撞避免控制254，则车辆操作的一个或多个方面由碰撞避免系统250的输出所控制。
在一个示例中，碰撞避免系统250可以被配置为从AV控制系统210接收实时数据和分析以确定是否干预并掩覆AV控制系统210。例如，碰撞避免系统250可以配置为接收关于由AV控制系统210所检测到的物体和障碍物的数据和信息。如果所接收的数据和信息与由碰撞避免系统250所执行的分析冲突(例如，碰撞避免系统250检测到即将与未由AV控制系统210所识别的物体发生碰撞)，则碰撞避免系统250可以确定生成碰撞避免控制254以掩覆AV控制系统210的输出(例如，AV控制212)。另一方面，如果从AV控制系统210所接收的数据和信息与由碰撞避免系统250所执行的分析一致，则碰撞避免系统250可以确定允许AV控制系统210控制车辆200以经由AV控制212避免的潜在碰撞。另外，从AV控制系统210所接收的数据可以包括关于AV控制系统210的健康状况的数据。例如，一旦接收到指示AV控制系统210遇到灾难性软件或硬件故障，则碰撞避免系统250可干预以控制车辆200的操作的一个或多个方面。
根据实施例，与碰撞避免系统250分开且独立地，AV控制系统210可以使用处理资源211(例如，位于车辆200的干线中)来实现。同样，避免碰撞避免系统250的处理资源251可以表示为与AV控制系统210的处理资源分开且独立。因此，例如，处理资源211和处理资源251可以利用分开的(i)编程或逻辑平台和体系结构，(ii)输入传感器(例如摄像机)，以及(iii)通信总线以用于与车辆200的其他组件进行通信，包括将由相应系统或单元控制的那些车辆接口。例如，车辆200的前保险杠上的摄像机220可以专用于碰撞避免系统250。在一些变型例中，AV控制系统210和碰撞避免系统250可以包括分开的壳体以及分开的电源总线或电源。以这种方式，影响AV控制系统210的任何硬件或电力故障可被包含并且不会影响碰撞避免系统250。
在其他实施例中，AV控制系统210和碰撞避免系统250可以共享物理处理资源和存储器资源。换句话说，处理资源211和处理资源251可以在一个或多个共享物理处理器(例如，CPU，GPU等)上实现。在这样的实现中，实现AV控制系统210和碰撞避免系统250的功能的软件指令和模块仍然可以由一个或多个共享物理处理器所单独维护和执行。在一个示例中，一个或多个共享物理处理器实现第一组逻辑核以执行对应于AV控制系统210的功能的软件指令以及第二组逻辑核以执行对应于碰撞避免系统250的功能的软件指令。以这种方式，实现AV控制系统210的软件的软件和逻辑故障被包含至AV控制系统210本身的功能中，并且不影响碰撞避免系统250的功能。在另一示例中，对应于碰撞避免系统250的软件指令可以由一个或多个共享物理处理器以高于对应于车辆200的利用包括AV控制系统210的一个或多个共享物理处理器的其他系统的软件指令的优先级得以执行。这可以确保由碰撞避免系统250所执行的处理(例如，分析图像帧、识别可驾驶和不可驾驶空间、空间分析、定向分析)得以实时地执行，以避免或减轻与车辆200的行驶路径中的所检测到的物体的潜在碰撞。
另外，车辆200可以包括一个或多个通信接口(图2中未示出)以接收对应于由碰撞避免系统250所执行的分析中使用的一个或多个机器学习模型的数据。通信接口可以包括蜂窝(例如4G、5G、LTE等)、Wi-Fi和有线接口(例如，有线数据连接器)。以这种方式，可以基于额外的训练数据定期更新机器学习模型。
训练数据处理系统描述
图3是示出了根据本文描述的示例的接收和处理训练图像帧和其他训练数据的示例训练数据处理系统的框图。在图3的下文讨论中，可以参照关于图1至图2所描述的特征和示例。例如，图3中的与训练数据处理系统300通信的自动驾驶车辆390可以是图1的自动驾驶车辆10或图2的自动驾驶车辆200。
如图3所示，训练数据处理系统300可以接收训练数据376，以生成或更新用于识别图像帧中的可驾驶空间以便在自动驾驶车辆390中的碰撞避免系统中使用的机器学习模型。训练数据处理系统300可以包括数据采集接口310以接收训练数据376，训练数据376包括训练图像帧377、相关联的传感器数据378以及相关联的位置数据379。可以从承载各种传感器和摄像机的多个训练数据采集车辆375接收训练数据376以连续地捕获训练数据采集车辆375穿过道路时的训练图像帧377、传感器数据378和位置数据379。训练数据采集车辆375可以包括类似于由接收使用训练数据所生成的机器学习模型的自动驾驶车辆390所配备的传感器(例如，摄像机、LIDAR、雷达，声纳、GPS等)。每个捕获的训练图像帧377可以与一组传感器数据378(例如，LIDAR测量、雷达测量、声纳测量等)和一组位置数据379(例如GPS数据)相关联。训练数据376可以由训练数据处理系统300通过诸如蜂窝数据网络(例如，LTE，HSPA)的网络380而从训练数据采集车辆375接收。在其他实施例中，训练数据376也可以经由与训练数据采集车辆375的物理链接(例如，串行总线连接)通过训练数据处理系统300被接收。训练数据376也可以经由数据存储介质(例如，闪速存储卡)而由操作员或管理员传送到训练数据处理系统300。
在一些示例中，训练数据采集车辆375由人类驾驶员操作。在其他示例中，训练数据采集车辆375可以是自动驾驶车辆，其可以自动操作或半自动操作。另外，接收由训练数据处理系统300所生成的机器学习模型的自动驾驶车辆390也可以将训练数据376发送到训练数据处理系统300。实际上，随着越来越多的自动驾驶车辆390得以采用，可以将更多的训练数据376提供给训练数据处理系统300，以改善在车辆的碰撞避免系统中所使用的机器学习模型。
根据实施例，训练数据处理系统300包括数据采集接口310以接收和处理训练数据376。数据采集接口310可以包括图像过滤器311以预处理所接收的训练图像帧377。图像过滤器311可以执行多个预处理操作，包括改变训练图像帧377的色调、颜色、对比度和曝光使得所得到的训练图像帧377在这些特性中通常是均匀的。图像过滤器311还可以检测和滤掉不适合训练机器学习模型的训练图像帧377，例如过度曝光、损坏或不可用的图像帧。
在本文所描述的示例中，训练数据处理系统300可以包括受监理训练子系统330，其接收训练数据376，训练数据376包括经过滤的训练图像帧377以及相关联的传感器数据378和位置数据379。受监理训练子系统330生成受监理训练结果331，使用所述训练结果，训练数据处理系统300的模型生成器360可以生成或更新用于识别图像帧中所描绘的可驾驶空间以便在自动驾驶车辆390的碰撞避免系统中使用的机器学习模型。受监理训练结果331可以包括被标记用于可驾驶空间的图像帧。例如，每个图像帧的每个区域(例如，像素、像素组等)可以具有将相应区域识别为描绘可驾驶空间或不可驾驶空间的相关标记。为了生成受监理训练结果，受监理训练子系统330可以执行多种分析方法，每种分析方法都高效地识别图像帧中特定类型的特征。例如，受监理训练子系统330可以包括图像分析器(传感器数据)335，其基于与图像帧377相关联的传感器数据378来标记训练图像帧377的区域。由335所执行的图像分析可以特别高效地识别非静止特征(例如，行人、其他车辆等)。受监理训练子系统330可以进一步包括基于与训练图像帧377相关联的位置数据379来标记训练图像帧377的区域的图像分析器(位置数据)340。由340执行的图像分析可以特别高效地识别存储在位置或地图数据库中的静止特征(例如，人行道、建筑物、铺装路面)。受监理训练子系统可以进一步包括图像分析(模型)345，该图像分析(模型)345基于现有机器学习模型来识别并标记训练图像帧。另外，受监理训练子系统330还可以包括监理模块355，其接收操作员输入以标记训练图像帧377的区域或者校正或补充由分析器335和340所实现的标记。
在某些实施例中，图像分析器(传感器数据)335可以基于与训练图像帧377相关联的传感器数据378而为可驾驶空间和/或不可驾驶空间标记训练图像帧377。作为该过程的一部分，图像分析器(传感器数据)335可以生成已标记图像336，其可以是具有相关联的标记矩阵的图像文件。对于由训练数据采集车辆375所捕获的特定训练图像帧377而言，图像分析器(传感器数据)335分析相关联的一组传感器数据378，该组传感器数据378可以包括在捕获特定训练图像帧377时由训练数据采集车辆375的传感器所进行的LIDAR、声纳、雷达测量。使用传感器数据378，图像分析器(传感器数据)335可以识别训练图像帧377中所描绘的物体并且将训练图像帧377的对应于这种物体的区域标记为不可驾驶的空间。训练图像帧377的不对应于使用传感器数据378所检测到的物体的区域可以被标记为可驾驶空间。图像分析器(传感器数据)335可以用于识别训练图像帧377中所描绘的道路上的行人、其他车辆、墙壁或移动中的物体。在某些示例中，图像分析器(传感器数据)335可以执行图像识别以确定训练图像帧377中所描绘的路面类型并且根据该确定进行标记。例如，图像分析器(传感器数据)335可以区分人行道(不可驾驶空间)和铺装道路(可驾驶的空间)。
根据实施例，图像分析器(位置数据)340可以基于与训练图像帧377相关联的位置数据379而为可驾驶和/或不可驾驶空间标记训练图像帧377。类似于图像分析器(传感器数据)335，图像分析器(位置数据)340可以生成已标记图像341。对于由训练数据采集车辆375所捕获的特定训练图像帧而言，图像分析器(位置数据)340分析相关联的一组位置数据379(例如，GPS数据，GLONASS数据等)，该位置数据379指示训练数据采集车辆375在捕获特定训练图像帧377时的精确位置。另外，位置数据379还可以包括车辆的行向信息。可以使用训练数据采集车辆375的指南针或基于随时间采集的位置数据来确定行向信息，以确定训练数据采集车辆375的轨迹。图像分析器(位置数据)340可以使用训练图像采集车辆375的精确位置和行向来查询位置或地图数据库并将可在位置或地图数据库中识别的附近特征(例如，铺装路面、人行道、建筑物、其他地图特征等)匹配至训练图像帧377中所描绘的特征。位置或地图数据库中的特征可以基于其相对于训练数据采集车辆375的位置和方向而匹配至训练图像帧377的区域。作为示例，训练数据采集车辆375可以使用训练数据采集车辆375的精确位置和行向通过查询位置或地图数据库来确定训练图像帧377的区域描绘的是人行道或墙壁。响应于这种确定，图像分析器(位置数据)345可以将训练图像帧377的区域标记为不可驾驶空间。作为另一示例，图像分析器(位置数据)340可以使用训练数据采集车辆375的精确位置和行向来确定训练图像帧377的另一区域描绘了铺装路面并且可以作为响应而将训练图像帧377的区域标记为可驾驶空间。由图像分析器(位置数据)340所使用的位置或地图数据库可以由训练数据处理系统300或由第三方地图服务来管理。
根据实施例，图像分析和标记的各种方法的结果可以得以调和并组合。如图3所示，分别由图像分析器(传感器数据)335、图像分析器(位置数据)340和图像分析器(模型)345所生成的已标记图像336,341和346通过标记调和器350而得以调和和组合。如上所述，由于每种图像分析方法可以高效地识别训练图像帧377中所描绘的特定类型的特征，标记调和器350可以使已标记图像336和341以使组合效率最大化的方式组合。在图3所示的示例中，图像分析器(传感器数据)335和图像分析器(位置数据)340执行不同的图像分析方法。由图像分析器(位置数据)340所执行的分析可以高效识别训练图像帧377中所描绘的静止或映射(mapped)特征，而由图像分析器(传感器数据)335所执行的分析可以高效地识别训练图像帧377中所描绘的移动特征。因此，标记调和器350可以用图像分析器(位置数据)340的结果(已标识图像341)开始调和过程——识别训练图像帧377中所描绘的静止或映射特征。然后，标记调和器350可以叠覆图像分析器(传感器数据)335的结果(已标记图像336)以得到初步训练结果351。以这种方式，标记调和器350能够以对诸如铺装路面(可驾驶空间)的静止或映射特征的描绘开始，并且随后可以叠覆诸如另一车辆的识别移动特征以得到初步训练结果351。作为示例，标记调和器350能够以指示训练图像帧377的特定区域描绘可驾驶空间(例如，由图像分析器(位置数据)340使用位置数据379所识别的面道路)的已标记图像341开始。标记调和器350可以检查指示特定区域描绘了不可驾驶空间(例如，由图像分析器(传感器数据)335使用传感器数据378所识别的另一个车辆)的已标记图像336。因为即使特定区域对应于铺装道路，但其也被另一车辆所占用，所以产生的初步训练结果351将指示特定区域对应于不可驾驶空间。
在某些实施例中，标记调和器350在组合由图像分析器(传感器数据)335和图像分析器(位置数据)340所执行的分析时可以识别对应于训练图像帧377的特定区域的问题。例如，对于训练图像帧377的特定部分而言，标记调和器350可能不会将由图像分析器(传感器数据)335所执行的分析(已标记图像335)与由图像分析器(位置数据)340执行的分析(已标记图像341)进行调和。作为响应，标记解和器350可以将训练图像帧377的特定部分识别为具有调和问题。进而，可以将训练图像帧377的特定部分标志为来自操作员370的监理输入371以将训练图像帧377的特定部分手动标记为对应于可驾驶空间或不可驾驶空间。
在一些示例中，受监理训练子系统330可以进一步包括监理模块355，以从操作员370接收监理输入371。操作员370可以提供监理输入371以解决调和由图像分析器(传感器数据)335和图像分析器(位置数据)340所分配的训练图像帧367的标记对区域中的问题。操作员370可以进一步校正或补充由受监理训练子系统330的上述功能块所执行的编程分析。操作员370可以查看训练图像帧367以及由图像分析器(传感器数据)335和图像分析器(位置数据)340所执行的相关联分析(例如初步训练结果351)。例如，操作员370可以查看训练图像帧367和初步训练结果351，包括分配给训练图像帧367的标记，其指示由图像分析器(传感器数据)335和图像分析器(位置数据)340所确定的可驾驶空间以及不可驾驶空间的区域。操作员370可以通过将初步训练结果351中所指示的标记匹配至所显示的训练图像帧来验证标记，两者都显示在操作者用户界面(图3中未示出)上。如果操作员370确定某个区域被错误标记(例如，图像框架367的对应于车辆的部分的被标记为可驾驶空间)，则操作员370可以提供监理输入371以校正错误标记。监理模块355可以基于初步训练结果351和监理输入371生成受监理训练结果331，其在校正或补充初步训练结果中包含监理输入371。
根据实施例，训练数据处理系统300可以包括模型生成器360，以生成或更新用于识别所捕获的图像帧中的可驾驶空间的机器学习模型。模型生成器360可以基于受监理训练结果331生成或更新机器学习模型361。在某些示例中，模型生成器360可以生成或更新作为卷积神经网络的机器学习模型361。训练数据处理系统300可以进一步包括车辆接口320，以用于通过网络380将对应于机器学习模型361的模型数据321发送到自动驾驶车辆390。在其他示例中，模型数据321也可以经由直接数据链接(例如，总线连接)或可移动存储装置(例如，大容量存储介质装置)而传送到自动驾驶车辆390。
在某些实施例中，也可以通过用于生成或更新机器学习的模型361的虚拟训练数据生成器365生成虚拟图像数据366。虚拟训练数据生成器365可以是适于产生虚拟环境的任何计算系统，所述虚拟环境从类似于安装在训练数据采集车辆375上的摄像机的视角对应于模拟道路条件。此类虚拟环境的图像帧可以由虚拟训练数据生成器365捕获为虚拟训练图像帧367。关于虚拟环境的其它数据可以由虚拟训练数据生成器365生成为虚拟传感器数据368和虚拟位置数据369。示例可以包括用于生成虚拟现实或视频游戏内容的计算系统。数据采集接口310和图像过滤器311可以处理在特征方面(例如，颜色、色调、对比度、曝光等)类似于由训练数据采集车辆375的摄像机所捕获的训练图像帧377的虚拟训练图像帧367。
碰撞避免系统方法
图4是描述了根据本文所描述的示例的位于自动驾驶车辆内的示例性碰撞避免系统的示例操作方法的流程图。在图4的下文讨论中，可以参考关于图1至图3所示出和描述的特征和示例。例如，图4中示出的方法可以由图1的示例性碰撞避免系统100或图2的示例性碰撞避免系统250所实施和执行。
参考图4，示例性碰撞避免系统可以从安装在车辆上的摄像机接收图像帧(410)。摄像机可以定向在车辆的行进方向上，使得所捕获的图像描绘了车辆10前方的道路和其他物体。摄像机可以连续地捕获图像帧以传输到碰撞避免系统100。例如，摄像机能够以每秒30帧的速率捕获图像帧以传输到碰撞避免系统。碰撞避免系统转而可以按照每秒30帧的相同速率依次处理所接收的图像帧。
在一些实施例中，车辆包括捕获供碰撞避免系统使用的图像帧的单个摄像机。在其他实施例中，车辆可以包括多个摄像机，使得碰撞避免系统100同时接收多个图像帧。多台摄像机可以定位在车辆的不同位置处以改善视场或减少碰撞避免系统的盲点。另外，可以将多个摄像机(例如，立体摄像机对)定位为允许碰撞避免系统感测深度。在具有多个摄像机的实施例中，碰撞避免系统可执行图像处理以组合或合并图像以供碰撞避免系统进行分析。例如，由立体摄像机对所捕获的图像帧可以被合并以创建供碰撞避免系统进行分析的三维图像(例如，具有相关联深度图的图像)。作为另一个示例，可以组合由具有互补视场的多个摄像机所捕获的图像帧以产生供碰撞避免系统进行分析的组合图像。
对于每个所接收的图像帧而言，碰撞避免系统可以分析图像帧以确定图像帧的每个区域描绘可驾驶空间的相应概率(415)。在一些实施例中，碰撞避免系统能够以逐个像素为基础来确定这种概率。因此，对于从摄像机所接收的每个图像帧的每个单个像素而言，碰撞避免系统可以确定单个像素表示可驾驶空间(例如，车辆可以安全地穿过的路面)的相应概率。在其他示例中，网络系统可以确定像素组(例如，30个像素的群组)的这种概率。碰撞避免系统可以通过利用用于识别图像帧中的可驾驶空间的一个或多个机器学习模型来执行步骤415。机器学习模型可以使用广泛的训练数据来生成，所述广泛的训练数据包括事先已针对其中所描绘的可驾驶空间进行分析的大量训练图像。在至少一个示例中，由碰撞避免系统所使用的机器学习模型是卷积神经网络。
基于所确定的概率，碰撞避免系统可以将所接收的图像帧的各个区域标记为表示可驾驶空间或不可驾驶空间(420)。例如，如果特定区域表示可驾驶空间的对应概率超过某一阈值，则碰撞避免系统可以将特定区域标记为表示可驾驶空间。另一方面，如果特定区域表示可驾驶空间的对应概率低于阈值，则碰撞避免系统可以将特定区域标记为表示不可驾驶空间。
在所接收的图像帧针对可驾驶空间和不可驾驶空间被标记之后，碰撞避免系统可以针对异常或异常值来校正标记(425)。校正可以在单个图像帧的基础上执行(426)，其中针对于异常或异常值对图像帧和相关联的标记进行检查。例如，小区域(例如，单个像素或多个像素的组)可被标记为另外一致地标记为可驾驶空间的更大区域内的不可驾驶空间。碰撞避免系统可以将小区域的标记确定为异常值并更改对应的标记以校正明显的错误标记。另外，可以通过检查在与所接收的图像帧同时或大约同时记录的其他图像帧在时间基础上执行校正(427)。碰撞避免系统可以比较分配给同时或大约同时记录的多个图像帧的标记，以在图像帧的作为可驾驶或不可驾驶空间的标记区域中识别异常或异常值。如果两个同时记录的图像帧之间的标记不一致，则碰撞避免系统可以确定重新标记图像帧的一些区域。
对于在所接收的图像帧中所标记的每个不可驾驶空间的区域，碰撞避免系统可以确定对应的空间参数(430)。空间参数可以包括对于自动驾驶车辆的相对位置、与自动驾驶车辆的距离、行驶速度和行驶方向。可以基于图像帧内的不可驾驶区域的位置来确定空间参数，例如与自动驾驶车辆的相对位置和距离。机器学习模型可以基于训练数据和输入进行进一步训练，以识别在所接收的图像帧中描绘的物体以及这些物体距自动驾驶车辆的距离。空间参数，例如行驶速度和行驶方向可以通过跟踪不可驾驶空间的区域穿过由碰撞避免系统所分析的多个图像帧的移动来计算。
在步骤435处，碰撞避免系统可以确定自动车辆是否将撞击不可驾驶空间的区域的概率。该确定可以是基于与不可驾驶空间相关联的空间参数以及诸如车辆的速度、方向、加速度等的车辆数据的。如果所接收的图像帧中的不可驾驶空间中的每个的相应概率是低于阈值，则碰撞避免系统可以继续移动至从摄像机接收的下一个图像帧(410)。
另一方面，如果对所接收的图像帧的至少一个不可驾驶空间的区域所确定的撞击概率超过阈值，则碰撞避免系统生成碰撞避免信号以避免碰撞或使碰撞的影响最小化(440)。碰撞避免信号可以掩覆其他车辆控制信号，例如由车辆控制系统生成的车辆控制信号，该车辆控制系统在半自动或自动操作模式中控制自动车辆的操作。碰撞避免信号可以导致自动驾驶车辆启用其制动器。在一些示例中，碰撞避免系统还可以确定转向控制以使车辆转向远离不可驾驶空间的区域以避免即将发生的碰撞。碰撞避免系统可以进一步从自动驾驶车辆的车辆控制系统接收数据。数据可以指示车辆控制系统是否已经识别到即将发生的碰撞。碰撞避免系统可以配置为只有当数据指示车辆控制系统未检测到碰撞即将发生时才掩覆由车辆控制系统产生的车辆控制信号。在步骤440掩覆车辆控制之后，碰撞避免系统可以继续从摄像机接收图像帧以供分析。
训练数据处理系统方法
图5是描述了根据本文所描述的示例的操作示例性训练数据处理系统的示例方法的流程图。在图5下面的讨论中，可以参考关于图3所示和描述的特征和示例。例如，图3中所示的方法可以由图3的示例性训练数据处理系统300来实现和执行。
参考图3，训练数据处理系统接收训练数据(510)。训练数据可以由训练数据采集车辆(例如，图3的375)在穿过道路时进行采集。训练数据可以包括训练图像帧511和相关联的传感器数据512。每个训练图像帧511可以与在记录训练图像帧511时所捕获的一组对应传感器数据512相关联。传感器数据512可以包括LIDAR、声纳和/或雷达数据。训练数据可以进一步包括实时位置数据(例如，GPS数据)。
根据实施例，训练数据处理系统可以将适当的图像过滤器应用于所接收的训练图像帧(515)。训练数据处理系统可以实施该应用以改变所接收的训练图像帧的特征(例如，颜色、色调、对比度、曝光等)。这样做时，训练数据处理系统可以确保生成机器学习模型所使用的训练图像帧在特征方面是一致的。这可以提高使用训练图像帧所生成的机器学习模型的质量和一致性。
训练数据处理系统可以分析训练图像帧、相关联的传感器数据、位置数据和其他数据以识别训练图像帧中的可驾驶和不可驾驶空间(520)。分析可以使用各种技术进行。例如，训练数据处理系统可以使用在记录训练图像帧时所捕获的一组相关联传感器数据来识别训练图像帧中的可驾驶空间的区域(521)。这种分析可以使用例如LIDAR测量来执行。训练数据处理可以基于LIDAR测量来确定训练图像帧中对应于路面的区域。作为响应，训练数据处理系统可以将训练图像帧中的那些区域识别为可驾驶空间。另外，LIDAR测量可以进一步指示训练图像帧中对应于车辆或行人的区域。作为响应，训练数据处理系统可以将训练图像帧中的那些区域识别为不可驾驶空间。
此外，训练数据处理系统可以进一步分析诸如在记录训练图像帧时所捕获的GPS数据的实时位置数据(522)。使用实时位置数据，训练数据处理系统可以确定训练图像帧的对应于诸如建筑物、人行道、道路中线等等的映射特征的区域。训练数据处理系统可以通过查询位置或地图数据库而实现该实时位置分析。训练数据处理系统可以基于训练图像帧的特定区域对应于诸如道路中线的映射特征的确定而将训练图像帧的特定区域识别并标记为不可驾驶空间。在某些示例中，还可以通过机器学习模型的现有迭代来分析训练图像帧以识别训练图像帧中的可驾驶空间和/或不可驾驶空间(523)。现有模型的分析结果可以与其他分析的结果相结合并调和以改进机器学习模型的现有迭代。
根据实施例，训练数据处理系统组合和调和各种分析从而以编程方式将训练图像帧的区域识别为可驾驶或不可驾驶空间。可以将组合结果呈现给管理员终端以供管理员查看。进而，训练数据处理系统可以在识别训练图像帧中的可驾驶或不可驾驶空间的过程中接收来自管理员的监理输入(525)。管理员终端上的演示可以突出显示训练图像帧的特定区域，在特定区域中各种程序分析不能调和或相互冲突，因此需要管理员的监理输入。例如，与训练图像帧的其余部分相比，管理员终端上的演示可以使用不同的颜色或主题来突出显示训练图像帧的特定区域。管理员可以通过显示在管理员终端上的演示提供将特定区域识别为可驾驶或不可驾驶空间的监理输入。以这种方式，在分析训练数据以便生成用于在由车辆摄像机所捕获的图像帧中识别可驾驶空间的机器学习模型时，管理员可以提供监理输入以调和、纠正或补充由训练数据处理系统所执行的程序分析。因此，仅对于所接收的训练图像帧的一部分可以接收监理输入。在其他示例中，管理员可以负责为可驾驶空间标记整个训练图像帧。因此，管理员可以负责将足够数据点“散布”至已标记训练图像集，以使得训练数据处理系统能够生成初始机器学习模型，该初始机器学习模型随后可以利用额外的训练数据进行改进。
在步骤530处，可以基于在步骤510所接收的训练数据来生成或更新机器学习模型。在某些实施例中，机器学习模型是卷积神经网络。更进一步，机器学习模型可以包括分类器集。所生成或更新的机器学习模型可以被传送或传输到自动驾驶车辆(535)，以与部署在自动驾驶车辆上的碰撞避免系统一起使用。对应于机器学习模型的数据可以存储在自动驾驶车辆上的存储装置上以供碰撞避免系统访问。
示例性图像帧
图6示出了根据本文所描述的示例的由碰撞避免系统所接收和处理的示例性图像帧。在图6的下面的讨论中，可以参考关于图1所描述的特征和示例。例如，图6中所示的示例性图像帧可以由图1的碰撞避免系统100所分析和处理。
参照图6，示出的示例性图像帧600可以由自动驾驶车辆(例如，图1的车辆10)的一个或多个摄像机所捕获。一个或多个摄像机可以被定位成捕获描绘自动驾驶车辆前方的环境的图像帧600。碰撞避免系统可以分析图像帧600，以使用利用训练数据所生成的机器学习模型来将图像帧600的各种区域标记为表示可驾驶空间或不可驾驶空间。可以理解，图像帧600仅仅是一个图示，并且为了说明的目的而简化了图像帧600中描绘的各种特征。
如图所示，区域610描绘了铺装道路的表面。碰撞避免系统可以分析图像帧600并使用机器学习模型将区域610标记为可驾驶空间。图像帧600的区域620描绘了在铺装道路上行走的行人。碰撞避免系统可以使用机器学习模型分析图像帧600并将标记区域620标记为表示不可驾驶空间。类似地，对于描绘人行道的区域630和635以及描绘墙壁的区域640和645而言，碰撞避免系统可以将这些区域标记为不可驾驶空间。
在一些示例中，碰撞避免系统可以被配置为将图像帧600的区域识别为图像帧600的在水平线655上方的区域。由于这种区域在确定是否生成碰撞避免信号中是不重要的，所以碰撞避免系统可以忽略这种区域。此外，区域660可以对应于图像帧600中的异常。异常可以由摄像机的图像传感器的误差引起或者可由照明效果引起。在其他示例中，异常可以是道路上的小物体，其可以由碰撞避免信号安全地忽略。如上所述，碰撞避免系统最初可以通过应用机器学习模型将区域660标记为不可驾驶空间。然而，使用误差校正技术，可以检测异常并将其重新标记为可驾驶空间。以这种方式，避免碰撞系统不会不必要地产生防碰撞信号来避免撞击异常区域。
在分析图像帧600时，碰撞避免系统可以确定，基于对于对应于行人和车辆数据的不可驾驶空间的区域620所确定的空间参数(例如，行驶速度，行驶方向，加速度等)，与区域620的撞击即将发生。作为响应，碰撞避免系统可以产生碰撞避免信号以启用车辆的制动器以避免撞击行人。
硬件图
图7是示出了可以实施本文所描述的示例的计算机系统的框图。在图1的上下文中，碰撞避免系统100可以使用诸如图7所描述的计算机系统700来实现。碰撞避免系统100还可以使用结合图7所描述的多个计算机系统的组合来实现。
在一个实施例中，计算机系统700包括处理资源710、主存储器720、只读存储器(ROM)730、存储装置740以及通信接口750。计算机系统700包括至少一个处理器710以用于处理存储在用于存储可由处理器710执行的信息和指令的主存储器720中的例如由随机存取存储器(RAM)或其他动态存储装置所提供的信息。还可以使用主存储器720用于在执行要由处理器710所执行的指令期间存储临时变量或其他中间信息。计算机系统700还可以包括用于存储用于处理器710的静态信息和指令的ROM 730或其他静态存储装置。诸如磁盘或光盘的存储装置740被设置用于存储信息和指令。
通信接口750使得计算机系统700能够通过使用网络链接(无线或有线)而与一个或多个网络780(例如，蜂窝网络)进行通信。使用网络链接，计算机系统700可以与一个或多个计算装置以及一个或多个服务器进行通信。根据示例，计算机系统700接收对应于机器学习模型的模型数据781，以用于从一个或多个服务器(例如，图3的训练数据处理系统300)通过网络780来识别图像帧中的可驾驶和不可驾驶空间。可以接收模型数据781以更新存储在计算机系统700的主存储器中的现有机器学习模型721。存储在主存储器720中的可执行指令可以进一步包括对已标记图像帧执行误差校正的指令、确定对应于图像帧的标记为不可驾驶空间的区域的空间参数的指令、基于空间参数和车辆数据确定是否会发生与不可驾驶空间的区域发生撞击的指令，以及生成碰撞避免信号来控制车辆并避免即将发生的碰撞的指令。举例来说，存储在存储器720中的指令和数据可以由处理器710执行以实现图1的示例碰撞避免系统100。处理器710配置有软件和/或其它逻辑以执行一个或多个处理、步骤和例如利用如图1至图6所描述的实施例以及本申请中的其他地方所描述的其它功能。
本文描述的示例涉及使用计算机系统700来实现本文所描述的技术。根据一个示例，那些技术响应于处理器710执行包含在主存储器720中的一个或多个指令的一个或多个序列而由计算机系统700所执行。此类指令可以从诸如存储装置740的另一个机器可读介质读取到主存储器720中。包含在主存储器720中的指令序列的执行使得处理器710执行本文描述的处理步骤。在可替代实施例中，可以使用硬连线电路来代替软件指令或与软件指令结合来实现本文所述的示例。因此，所描述的示例不限于硬件电路和软件的任何特定组合。
可以设想，本文所描述的示例可以独立于其它概念、想法或系统而延伸至本文所描述的单个元件和其他概念，并且例如可以包括本申请中任何地方所引用的元件的组合。尽管这里参考附图详细描述了示例，但是应该理解，这些概念不限于那些精确的示例。如此，许多修改和变化对于本领域技术人员而言将是显而易见的。因此，这些概念的范围旨在由所附权利要求及其等同物限定。此外，可以设想，单独地或作为示例的一部分描述的特定特征可以与其他单独描述的特征或其他示例的一部分组合，即使其他特征和示例没有提及该特定特征。因此，不存在描述的组合不应该排除对于这种组合的权利。

Claims (19)

1.一种自动驾驶车辆，其包括：
多个传感器，所述传感器包括用于捕获所述自动驾驶车辆前进方向上的图像帧的摄像机；
车辆控制系统，其用于控制所述自动驾驶车辆，所述车辆控制系统配置为(i)从所述多个传感器接收传感器输入并且(ii)基于所述传感器输入生成车辆控制信号以控制所述车辆的油门、制动、转向和辅助功能；
碰撞避免系统，其独立于所述车辆控制系统进行操作，配置为执行步骤，所述步骤包含：
从所述摄像机接收图像帧；
在所接收的图像帧上执行图像分析以将所述图像帧的区域标记为描绘可驾驶空间或描绘不可驾驶空间；
至少部分地基于车辆数据确定所述自动驾驶车辆可能撞击在所述所接收的图像帧中所描绘的不可驾驶空间的区域；以及
一旦确定所述自动驾驶车辆可能撞击在所述所接收的图像帧中所描绘的不可驾驶空间的区域，则生成碰撞避免信号，其中所述碰撞避免信号使得所述自动驾驶车辆避免撞击所述不可驾驶空间的区域；
其中，所述碰撞避免信号掩覆由所述车辆控制系统所生成的所述车辆控制信号，以独立地控制所述车辆的油门、制动、转向和辅助功能以避免碰撞。
2.根据权利要求1所述的自动驾驶车辆，其中，在所述所接收的图像帧上执行图像分析包括使用机器学习图像识别模型来识别所述图像帧中所描绘的可驾驶空间或不可驾驶空间的区域。
3.根据权利要求2所述的自动驾驶车辆，其中，所述机器学习图像识别模型是卷积神经网络。
4.根据权利要求2所述的自动驾驶车辆，其中，所述机器学习图像识别模型使用包括训练图像帧的训练数据来生成。
5.根据权利要求4所述的自动驾驶车辆，其中，训练数据进一步包括传感器数据，并且其中，每个训练图像帧与同所述训练图像帧同时捕获的一组对应传感器数据相关联。
6.根据权利要求5所述的自动驾驶车辆，其中，所述传感器数据包括LIDAR测量。
7.根据权利要求4所述的自动驾驶车辆，其中，所述机器学习模型是基于从管理员接收的监理输入而生成的，所述监理输入将训练图像帧的部分识别为表示可驾驶空间或不可驾驶空间。
8.根据权利要求1所述的自动驾驶车辆，其中，在所述所接收的图像帧上执行图像分析包括：
对于所述图像帧的特定区域确定所述特定区域描绘可驾驶空间的对应概率；以及
如果描绘可驾驶空间的对应概率超过第一阈值，则将所述特定区域标记为表示可驾驶空间。
9.根据权利要求8所述的自动驾驶车辆，其中，在所述所接收的图像帧上执行图像分析进一步包括：如果描绘可驾驶空间的对应概率低于第二阈值，则将所述特定区域标记为表示不可驾驶空间。
10.根据权利要求8所述的自动驾驶车辆，所述图像分析是以逐个像素为基础进行的。
11.根据权利要求1所述的自动驾驶车辆，其中，所述车辆数据包括所述自动驾驶车辆的方向矢量、速度和加速度。
12.根据权利要求1所述的自动驾驶车辆，其中，确定所述自动驾驶车辆可能撞击所述所接收的图像帧中所描绘的不可驾驶空间的区域包括：
确定所述不可驾驶空间的区域的空间参数，包含相对于所述自动驾驶车辆的位置以及距所述自动驾驶车辆的距离；以及
基于所述不可驾驶空间的区域的所述空间参数确定与所述不可驾驶空间的区域碰撞的概率。
13.根据权利要求12所述的自动驾驶车辆，其中，所述不可驾驶空间的区域的所述空间参数还包括行进方向和行进速率。
14.根据权利要求1所述的自动驾驶车辆，其中，所述碰撞避免信号使所述自动驾驶车辆激活一个或多个制动器。
15.根据权利要求1所述的自动驾驶车辆，其中，所述碰撞避免系统和所述车辆控制系统利用包括共享存储器资源和至少一个共享处理器的共享硬件资源组。
16.根据权利要求1所述的自动驾驶车辆，其中，所述碰撞避免系统和所述车辆控制系统利用分开的硬件资源组。
17.根据权利要求16所述的自动驾驶车辆，其中所述碰撞避免信号掩覆从所述车辆的操作员接收的输入。
18.一种车辆上的碰撞避免系统，所述碰撞避免系统包括：
一个或多个处理器；以及
一个或多个存储指令的存储器资源，所述指令在由所述一个或多个处理器执行时使得所述碰撞避免系统：
从所述车辆的摄像机接收图像帧；
在所接收的图像帧上执行图像分析以将所述图像帧的区域标记为描绘可驾驶空间或描述不可驾驶空间；
至少部分地基于车辆数据确定所述车辆可能撞击在所述所接收的图像帧中所描绘的不可驾驶空间的区域；
一旦确定所述车辆可能撞击在所述所接收的图像帧中所描绘的不可驾驶空间的区域，则生成碰撞避免信号，其中所述碰撞避免信号使得所述车辆避免撞击所述不可驾驶空间的区域；以及
其中所述碰撞避免系统独立于控制所述车辆的车辆控制系统进行操作，所述车辆控制系统配置为(i)从包含摄像机的多个传感器接收传感器输入并且(ii)基于所述传感器输入生成车辆控制信号以控制所述车辆的油门、制动、转向和辅助功能，所述碰撞避免信号掩覆由所述车辆控制系统所生成的所述车辆控制信号，以独立地控制所述车辆的油门、制动、转向和辅助功能以避免碰撞。
19.一种操作车辆上的碰撞避免系统的计算机实现方法，其包括：
从所述车辆的摄像机接收图像帧；
在所接收的图像帧上执行图像分析以将所述图像帧的区域标记为描绘可驾驶空间或描述不可驾驶空间；
至少部分地基于车辆数据确定车辆可能撞击在所述所接收的图像帧中所描绘的不可驾驶空间的区域；
一旦确定所述车辆可能撞击在所述所接收的图像帧中所描绘的不可驾驶空间的区域，则生成碰撞避免信号，其中所述碰撞避免信号使得所述车辆避免撞击所述不可驾驶空间的区域；以及
其中所述碰撞避免系统独立于控制所述车辆的车辆控制系统进行操作，所述车辆控制系统配置为(i)从包含摄像机的多个传感器接收传感器输入并且(ii)基于所述传感器输入生成车辆控制信号以控制所述车辆的油门、制动、转向和辅助功能，所述碰撞避免信号掩覆由所述车辆控制系统所生成的所述车辆控制信号以独立地控制所述车辆的油门、制动、转向和辅助功能以避免碰撞。
CN201810653532.3A 2017-06-23 2018-06-22 用于自动驾驶车辆的碰撞避免系统 Active CN109117709B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/631,990 2017-06-23
US15/631,990 US10007269B1 (en) 2017-06-23 2017-06-23 Collision-avoidance system for autonomous-capable vehicle

Publications (2)

Publication Number Publication Date
CN109117709A CN109117709A (zh) 2019-01-01
CN109117709B true CN109117709B (zh) 2020-09-01

Family

ID=62623921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810653532.3A Active CN109117709B (zh) 2017-06-23 2018-06-22 用于自动驾驶车辆的碰撞避免系统

Country Status (7)

Country Link
US (3) US10007269B1 (zh)
EP (2) EP3825803B1 (zh)
JP (1) JP2019008796A (zh)
KR (1) KR101963422B1 (zh)
CN (1) CN109117709B (zh)
CA (1) CA3008091C (zh)
IL (1) IL260106B (zh)

Families Citing this family (150)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735902B1 (en) * 2014-04-09 2020-08-04 Accuware, Inc. Method and computer program for taking action based on determined movement path of mobile devices
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10007269B1 (en) * 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10891694B1 (en) * 2017-09-06 2021-01-12 State Farm Mutual Automobile Insurance Company Using vehicle mode for subrogation on a distributed ledger
US11386498B1 (en) 2017-09-06 2022-07-12 State Farm Mutual Automobile Insurance Company Using historical data for subrogation on a distributed ledger
US10872381B1 (en) 2017-09-06 2020-12-22 State Farm Mutual Automobile Insurance Company Evidence oracles
US11416942B1 (en) 2017-09-06 2022-08-16 State Farm Mutual Automobile Insurance Company Using a distributed ledger to determine fault in subrogation
US11080537B2 (en) * 2017-11-15 2021-08-03 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
US11178133B2 (en) * 2017-12-19 2021-11-16 Micron Technology, Inc. Secure vehicle control unit update
US10944950B2 (en) * 2017-12-21 2021-03-09 Texas Instruments Incorporated Transmitting functional safety statistics via transmitted video
US11328210B2 (en) 2017-12-29 2022-05-10 Micron Technology, Inc. Self-learning in distributed architecture for enhancing artificial neural network
DE112019000070T5 (de) 2018-01-07 2020-03-12 Nvidia Corporation Führen von fahrzeugen durch fahrzeugmanöver unter verwendung von modellen für maschinelles lernen
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11079764B2 (en) 2018-02-02 2021-08-03 Nvidia Corporation Safety procedure analysis for obstacle avoidance in autonomous vehicles
US11282389B2 (en) * 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance
DE112019000122T5 (de) 2018-02-27 2020-06-25 Nvidia Corporation Echtzeiterfassung von spuren und begrenzungen durch autonome fahrzeuge
WO2019178548A1 (en) 2018-03-15 2019-09-19 Nvidia Corporation Determining drivable free-space for autonomous vehicles
US10235882B1 (en) 2018-03-19 2019-03-19 Derq Inc. Early warning and collision avoidance
WO2019182974A2 (en) 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks
CN111919225B (zh) * 2018-03-27 2024-03-26 辉达公司 使用模拟环境对自主机器进行培训、测试和验证
US11550061B2 (en) 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
US10676085B2 (en) 2018-04-11 2020-06-09 Aurora Innovation, Inc. Training machine learning model based on training instances with: training instance input based on autonomous vehicle sensor data, and training instance output based on additional vehicle sensor data
US10522038B2 (en) 2018-04-19 2019-12-31 Micron Technology, Inc. Systems and methods for automatically warning nearby vehicles of potential hazards
EP3791376B1 (en) 2018-05-10 2023-11-08 !Important Safety Technologies USA, Inc. Method and system for vehicle-to-pedestrian collision avoidance
US10705208B2 (en) * 2018-06-11 2020-07-07 Augmented Radar Imaging, Inc. Vehicle location determination using synthetic aperture radar
US11966838B2 (en) 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US10457294B1 (en) * 2018-06-27 2019-10-29 Baidu Usa Llc Neural network based safety monitoring system for autonomous vehicles
CN109131277A (zh) * 2018-07-13 2019-01-04 金龙联合汽车工业（苏州）有限公司 一种自动紧急制动系统的人机协调控制系统
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US10632992B2 (en) * 2018-07-30 2020-04-28 GM Global Technology Operations LLC Autonomous vehicle that includes sensor output batching system
AU2018436279B2 (en) 2018-08-08 2023-07-13 Ocean Infinity (Portugal), S.A. System and method of operation for remotely operated vehicles for simultaneous localization and mapping
US20210309331A1 (en) * 2018-08-08 2021-10-07 Abyssal S.A. System and method of operation for remotely operated vehicles leveraging synthetic data to train machine learning models
AU2018436495B2 (en) 2018-08-08 2023-08-10 Ocean Infinity (Portugal), S.A. System and method of operation for remotely operated vehicles for automatic detection of structure integrity threats
AU2018436278B2 (en) 2018-08-08 2023-08-17 Ocean Infinity (Portugal), S.A. System and method of operation for remotely operated vehicles with improved position estimation
WO2020033967A1 (en) 2018-08-10 2020-02-13 Buffalo Automation Group Inc. Training a deep learning system for maritime applications
US10782691B2 (en) 2018-08-10 2020-09-22 Buffalo Automation Group Inc. Deep learning and intelligent sensing system integration
US10974720B2 (en) 2018-08-13 2021-04-13 Kingman Ag, Llc Vehicle sliding bumper and system for object contact detection and responsive control
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
CN109284699A (zh) * 2018-09-04 2019-01-29 广东翼卡车联网服务有限公司 一种适用车辆碰撞的深度学习方法
AU2019357615B2 (en) 2018-10-11 2023-09-14 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11648951B2 (en) 2018-10-29 2023-05-16 Motional Ad Llc Systems and methods for controlling actuators based on load characteristics and passenger comfort
US11186273B2 (en) * 2018-10-30 2021-11-30 Toyota Motor North America, Inc. Vehicle data processing systems and methods using one or more local processors
US11086319B2 (en) 2018-11-02 2021-08-10 Aurora Operations, Inc. Generating testing instances for autonomous vehicles
US11829143B2 (en) 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11209821B2 (en) 2018-11-02 2021-12-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11163312B2 (en) 2018-11-02 2021-11-02 Aurora Operations, Inc. Removable automotive LIDAR data collection POD
US11256263B2 (en) 2018-11-02 2022-02-22 Aurora Operations, Inc. Generating targeted training instances for autonomous vehicles
US11403492B2 (en) 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles
WO2020102733A1 (en) 2018-11-16 2020-05-22 Nvidia Corporation Learning to generate synthetic datasets for training neural networks
JP7469846B2 (ja) * 2018-11-20 2024-04-17 株式会社Subaru 車両制御装置
JP7086217B2 (ja) * 2018-11-28 2022-06-17 三菱電機株式会社 衝突回避学習装置及び衝突回避学習方法
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11835948B2 (en) * 2018-12-03 2023-12-05 Motional Ad Llc Systems and methods for improving vehicle operations using movable sensors
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
KR102636739B1 (ko) * 2018-12-18 2024-02-15 현대자동차주식회사 차량 및 그 제어방법
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11182916B2 (en) 2018-12-28 2021-11-23 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
US11308338B2 (en) 2018-12-28 2022-04-19 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
US11170299B2 (en) 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
JP7176415B2 (ja) * 2019-01-15 2022-11-22 トヨタ自動車株式会社 衝突前制御装置
KR102350181B1 (ko) * 2019-01-30 2022-01-11 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량에서 rnn 및 lstm을 사용하여 시간적 평활화를 수행하는 lidar 위치 추정
US10919543B2 (en) * 2019-01-30 2021-02-16 StradVision, Inc. Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route
JP7029479B2 (ja) * 2019-01-30 2022-03-03 バイドゥ ドットコム タイムス テクノロジー （ベイジン） カンパニー リミテッド 自動運転車のためのポイントクラウドゴースト効果検出システム
US10890916B2 (en) * 2019-01-30 2021-01-12 StradVision, Inc. Location-specific algorithm selection for optimized autonomous driving
US11410475B2 (en) 2019-01-31 2022-08-09 Micron Technology, Inc. Autonomous vehicle data recorders
US11373466B2 (en) 2019-01-31 2022-06-28 Micron Technology, Inc. Data recorders of autonomous vehicles
US10824151B2 (en) * 2019-01-31 2020-11-03 StradVision, Inc. Method and device for providing personalized and calibrated adaptive deep learning model for the user of an autonomous vehicle
US10997461B2 (en) * 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11520345B2 (en) 2019-02-05 2022-12-06 Nvidia Corporation Path perception diversity and redundancy in autonomous machine applications
JP7237625B2 (ja) * 2019-02-08 2023-03-13 株式会社ダイヘン 移動体、及び画像補正装置
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
CN111837125A (zh) * 2019-02-14 2020-10-27 法国圣戈班玻璃厂 提供训练数据组集合的方法、训练分类器的方法、控制车辆的方法、计算机可读的存储介质和车辆
CN109800773B (zh) * 2019-02-19 2021-01-22 北京大学 基于三维激光雷达的越野路面提取方法
CN109808588A (zh) * 2019-02-19 2019-05-28 百度在线网络技术（北京）有限公司 显示自动驾驶车辆行驶行为的方法和装置
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
EP3703029A1 (en) * 2019-02-26 2020-09-02 Ningbo Geely Automobile Research & Development Co. Ltd. Mitigating collision risk with an obscured object
CN109919067A (zh) * 2019-02-27 2019-06-21 智慧海派科技有限公司 一种影像辨识方法及安全的自动驾驶方法
WO2020182690A2 (en) * 2019-03-08 2020-09-17 Orlaco Products B.V. Method for creating a collision detection training set including ego part exclusion
JP7230596B2 (ja) * 2019-03-08 2023-03-01 マツダ株式会社 自動車用演算システム
KR102162646B1 (ko) 2019-03-11 2020-10-07 주식회사 에스더블유엠 자율주행차의 주행 제어방법
CN113811886B (zh) 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
US10992860B2 (en) * 2019-03-29 2021-04-27 Nio Usa, Inc. Dynamic seam adjustment of image overlap zones from multi-camera source images
EP3948647A4 (en) * 2019-04-01 2022-11-16 INTEL Corporation GENERATION OF AUTONOMOUS DRIVING DATA SET WITH AUTOMATIC OBJECT LABELING METHODS AND DEVICES
CN110046569B (zh) * 2019-04-12 2022-04-12 北京百度网讯科技有限公司 一种无人驾驶数据处理方法、装置及电子设备
US11472291B2 (en) * 2019-04-25 2022-10-18 Motional Ad Llc Graphical user interface for display of autonomous vehicle behaviors
GB2588983B (en) * 2019-04-25 2022-05-25 Motional Ad Llc Graphical user interface for display of autonomous vehicle behaviors
US11249184B2 (en) 2019-05-07 2022-02-15 The Charles Stark Draper Laboratory, Inc. Autonomous collision avoidance through physical layer tracking
KR102060567B1 (ko) * 2019-05-13 2019-12-30 호서대학교 산학협력단 심층신경망을 이용한 선박 주변 객체 인식 방법 및 시스템
US11772643B1 (en) * 2019-05-20 2023-10-03 Zoox, Inc. Object relevance determination
US11209824B1 (en) 2019-06-12 2021-12-28 Kingman Ag, Llc Navigation system and method for guiding an autonomous vehicle through rows of plants or markers
DE102019209292A1 (de) * 2019-06-26 2020-12-31 Robert Bosch Gmbh Verfahren zum Betreiben einer Umfeldsensorik eines Fahrzeugs und Umfeldsensorik
US10916152B2 (en) * 2019-07-01 2021-02-09 Honeywell International Inc. Collision awareness system for ground operations
JP7300331B2 (ja) * 2019-07-03 2023-06-29 株式会社日立製作所 機械学習用情報処理装置、機械学習用情報処理方法、および機械学習用情報処理プログラム
KR102281588B1 (ko) * 2019-07-08 2021-07-26 씨제이올리브네트웍스 주식회사 운송 로봇의 실내자율주행 시스템
US11447063B2 (en) * 2019-07-18 2022-09-20 GM Global Technology Operations LLC Steerable scanning and perception system with active illumination
US11487973B2 (en) * 2019-07-19 2022-11-01 UiPath, Inc. Retraining a computer vision model for robotic process automation
CN112840284A (zh) * 2019-08-13 2021-05-25 深圳鲲云信息科技有限公司 基于数据流的自动驾驶方法、装置、电子设备及存储介质
CN110472571A (zh) * 2019-08-14 2019-11-19 广州小鹏汽车科技有限公司 一种车距确定方法、装置和车辆
KR102212217B1 (ko) * 2019-08-14 2021-02-04 엘지전자 주식회사 충돌을 효과적으로 방지하는 자율 주행 차량 및 이를 제어하는 제어 장치 및 방법
US11755884B2 (en) 2019-08-20 2023-09-12 Micron Technology, Inc. Distributed machine learning with privacy protection
US11636334B2 (en) 2019-08-20 2023-04-25 Micron Technology, Inc. Machine learning with feature obfuscation
US11392796B2 (en) 2019-08-20 2022-07-19 Micron Technology, Inc. Feature dictionary for bandwidth enhancement
JP2022546320A (ja) 2019-08-29 2022-11-04 ディーイーアールキュー インコーポレイテッド 高度車載機器
US11713978B2 (en) 2019-08-31 2023-08-01 Nvidia Corporation Map creation and localization for autonomous driving applications
DE112019007681T5 (de) * 2019-09-02 2022-06-09 Mitsubishi Electric Corporation Automatische Fahrsteuerungsvorrichtung und automatisches Fahrsteuerungsverfahren
WO2021063486A1 (en) * 2019-10-01 2021-04-08 Huawei Technologies Co., Ltd. Automatic root cause analysis of failures in autonomous vehicle
JP7215390B2 (ja) 2019-10-10 2023-01-31 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
WO2021076929A1 (en) * 2019-10-18 2021-04-22 Zenosol, Corp. Uni-body multimodal mobility chassis and autonomous vehicle system
JP7327077B2 (ja) 2019-10-18 2023-08-16 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
WO2021084420A1 (en) * 2019-10-29 2021-05-06 Sony Corporation Vehicle control in geographical control zones
CN112825256A (zh) * 2019-11-20 2021-05-21 百度在线网络技术（北京）有限公司 录制语音包功能的引导方法、装置、设备和计算机存储介质
CN111027633B (zh) * 2019-12-16 2020-12-08 乐清市芮易经济信息咨询有限公司 基于大数据的自动驾驶车辆碰撞分析系统的碰撞分析方法
WO2021153049A1 (ja) 2020-01-30 2021-08-05 日立Astemo株式会社 情報処理装置
KR102246706B1 (ko) * 2020-03-16 2021-04-30 포티투닷 주식회사 자율 주행 장치 및 이상 도로 상황에서 자율 주행 장치 운용 방법
JP7464425B2 (ja) 2020-03-31 2024-04-09 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
KR102391771B1 (ko) 2020-04-02 2022-04-27 함영국 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법
US11263896B2 (en) 2020-04-06 2022-03-01 B&H Licensing Inc. Method and system for detecting jaywalking of vulnerable road users
WO2021210134A1 (ja) * 2020-04-16 2021-10-21 日本電信電話株式会社 映像配信装置、映像配信方法及びプログラム
KR102330909B1 (ko) * 2020-04-16 2021-11-25 장종환 인공지능용 영상을 제공하는 영상처리방법 및 장치와 인공지능 기기를 위한 정보제공시스템
CN111680730A (zh) * 2020-06-01 2020-09-18 中国第一汽车股份有限公司 一种地理围栏的生成方法、装置、计算机设备和存储介质
US11823458B2 (en) 2020-06-18 2023-11-21 Embedtek, LLC Object detection and tracking system
CN111860227B (zh) * 2020-06-30 2024-03-08 阿波罗智能技术(北京)有限公司 训练轨迹规划模型的方法、装置和计算机存储介质
JP2022026925A (ja) * 2020-07-31 2022-02-10 株式会社東芝 注意喚起システム、注意喚起方法及びプログラム
CN112115822B (zh) * 2020-09-04 2022-03-15 西北工业大学 一种水下移动目标智能融合感知方法
CN112156474B (zh) * 2020-09-25 2023-01-24 努比亚技术有限公司 一种载具控制方法、设备及计算机可读存储介质
CN112172670B (zh) * 2020-10-19 2022-10-04 广州优创电子有限公司 基于图像识别的后视图像显示方法及装置
CN112329670B (zh) * 2020-11-11 2021-10-19 上海伯镭智能科技有限公司 无人驾驶车辆路况不规则障碍物的识别方法、计算机程序及存储介质
CN114633743A (zh) * 2020-12-16 2022-06-17 郑州宇通客车股份有限公司 一种自动驾驶车辆及其碰撞事故检测方法和系统
KR102614256B1 (ko) 2021-02-02 2023-12-15 우석대학교 산학협력단 자율주행을 위한 3차원 벡터좌표시스템
CN117501311A (zh) * 2021-04-30 2024-02-02 前瞻机械私人有限公司 利用一个或多个摄像机生成和/或使用三维信息的系统和方法
US11875548B2 (en) * 2021-07-22 2024-01-16 GM Global Technology Operations LLC System and method for region of interest window generation for attention based perception
US20230033297A1 (en) * 2021-07-29 2023-02-02 Argo AI, LLC Complementary control system for an autonomous vehicle
US20230030815A1 (en) * 2021-07-29 2023-02-02 Argo AI, LLC Complementary control system for an autonomous vehicle
US11608084B1 (en) * 2021-08-27 2023-03-21 Motional Ad Llc Navigation with drivable area detection
KR102600238B1 (ko) * 2021-09-30 2023-11-10 서울대학교산학협력단 비-구조화된 주행 환경을 위한 자율 주행 방법 및 장치
US11851068B2 (en) * 2021-10-25 2023-12-26 Ford Global Technologies, Llc Enhanced target detection
US20230150544A1 (en) * 2021-11-18 2023-05-18 Motional Ad Llc Generating notifications indicative of unanticipated actions
WO2023212123A1 (en) * 2022-04-26 2023-11-02 Motional Ad Llc Managing efficiency of image processing
US11551459B1 (en) * 2022-06-27 2023-01-10 Plusai, Inc. Ambiguous lane detection event miner
CN114973208B (zh) * 2022-08-02 2022-11-29 所托(杭州)汽车智能设备有限公司 车辆盲区监测预警方法及相关设备
JP2024048048A (ja) * 2022-09-27 2024-04-08 トヨタ自動車株式会社 車両制御装置
CN117215316B (zh) * 2023-11-08 2024-02-13 四川大学 基于协同控制与深度学习的驾驶环境感知的方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103569009A (zh) * 2012-06-22 2014-02-12 通用汽车环球科技运作有限责任公司 用于车辆的警示系统和方法
CN104773177A (zh) * 2014-01-09 2015-07-15 株式会社理光 辅助驾驶方法和装置

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0785280B2 (ja) 1992-08-04 1995-09-13 タカタ株式会社 神経回路網による衝突予測判定システム
US7202776B2 (en) * 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
KR19980068399A (ko) * 1997-02-19 1998-10-15 김영환 차량 자율 주행 장치 및 제어 방법
US9373149B2 (en) * 2006-03-17 2016-06-21 Fatdoor, Inc. Autonomous neighborhood vehicle commerce network and community
JP2007328630A (ja) * 2006-06-08 2007-12-20 Fujitsu Ten Ltd 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8060271B2 (en) * 2008-06-06 2011-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Detecting principal directions of unknown environments
KR101002666B1 (ko) 2008-07-14 2010-12-21 삼성모바일디스플레이주식회사 박막트랜지스터, 그의 제조방법, 및 이를 포함하는유기전계발광표시장치
US8126642B2 (en) * 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
JP5258651B2 (ja) 2009-03-25 2013-08-07 株式会社東芝 物体検出装置、物体検出方法、及び、プログラム
JP5644060B2 (ja) * 2009-03-27 2014-12-24 トヨタ自動車株式会社 データ処理装置
JP2012118683A (ja) 2010-11-30 2012-06-21 Daihatsu Motor Co Ltd 歩行者認識装置
US9292471B2 (en) * 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
DE102012009555A1 (de) * 2012-05-12 2012-11-29 Daimler Ag Verfahren zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs und Fahrerassistenzsystem
DE102012208712A1 (de) * 2012-05-24 2013-11-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Vermeiden oder Abmildern einer Kollision eines Fahrzeugs mit einem Hindernis
US20130321627A1 (en) * 2012-05-31 2013-12-05 John C. Turn, JR. Road departure sensing and intelligent driving systems and methods
US9638537B2 (en) * 2012-06-21 2017-05-02 Cellepathy Inc. Interface selection in navigation guidance systems
US8972061B2 (en) * 2012-11-02 2015-03-03 Irobot Corporation Autonomous coverage robot
DE112012007124T5 (de) * 2012-11-13 2015-07-23 Toyota Jidosha Kabushiki Kaisha Fahrassistenzvorrichtung und Fahrassistenzverfahren
JP2014106685A (ja) 2012-11-27 2014-06-09 Osaka Univ 車両周辺監視装置
CN104812647B (zh) * 2012-11-29 2017-10-10 丰田自动车株式会社 驾驶辅助装置以及驾驶辅助方法
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
DE102013213171A1 (de) * 2013-07-04 2015-01-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Kraftfahrzeugs in einem automatisierten Fahrbetrieb
JP6429368B2 (ja) * 2013-08-02 2018-11-28 本田技研工業株式会社 歩車間通信システムおよび方法
DE102013013867A1 (de) * 2013-08-20 2015-03-12 Audi Ag Kraftfahrzeug und Verfahren zur Steuerung eines Kraftfahrzeugs
US9336436B1 (en) * 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
US9809219B2 (en) 2014-01-29 2017-11-07 Continental Automotive Systems, Inc. System for accommodating a pedestrian during autonomous vehicle operation
US10124800B2 (en) * 2014-05-30 2018-11-13 The Boeing Company Variably controlled ground vehicle
US9229453B1 (en) 2014-08-29 2016-01-05 GM Global Technology Operations LLC Unified motion planner for autonomous driving vehicle in avoiding the moving obstacle
CN104182756B (zh) 2014-09-05 2017-04-12 大连理工大学 一种基于单目视觉的车辆前方障碍物检测方法
US10571911B2 (en) * 2014-12-07 2020-02-25 Toyota Motor Engineering & Manufacturing North America, Inc. Mixed autonomous and manual control of a vehicle
US9959624B2 (en) * 2014-12-22 2018-05-01 Volkswagen Ag Early detection of turning condition identification using perception technology
EP3045936A1 (en) * 2015-01-13 2016-07-20 XenomatiX BVBA Surround sensing system with telecentric optics
JP5979259B2 (ja) 2015-01-20 2016-08-24 トヨタ自動車株式会社 衝突回避制御装置
KR102622571B1 (ko) * 2015-02-10 2024-01-09 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
US9902401B2 (en) * 2015-05-10 2018-02-27 Mobileye Vision Technologies Ltd. Road profile along a predicted path
US10496766B2 (en) * 2015-11-05 2019-12-03 Zoox, Inc. Simulation system and methods for autonomous vehicles
US9983591B2 (en) * 2015-11-05 2018-05-29 Ford Global Technologies, Llc Autonomous driving at intersections based on perception data
KR102137213B1 (ko) * 2015-11-16 2020-08-13 삼성전자 주식회사 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치
US10556600B2 (en) * 2015-12-09 2020-02-11 Toyota Motor Engineering & Manufacturing North America, Inc. Assessment of human driving performance using autonomous vehicles
US9672446B1 (en) * 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
US10133273B2 (en) * 2016-09-20 2018-11-20 2236008 Ontario Inc. Location specific assistance for autonomous vehicle control system
CN106553655B (zh) 2016-12-02 2019-11-15 深圳地平线机器人科技有限公司 危险车辆检测方法和系统以及包括该系统的车辆
US10012993B1 (en) * 2016-12-09 2018-07-03 Zendrive, Inc. Method and system for risk modeling in autonomous vehicles
US10259452B2 (en) * 2017-01-04 2019-04-16 International Business Machines Corporation Self-driving vehicle collision management system
US10752239B2 (en) * 2017-02-22 2020-08-25 International Business Machines Corporation Training a self-driving vehicle
US10234864B2 (en) * 2017-03-07 2019-03-19 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10095234B2 (en) * 2017-03-07 2018-10-09 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10518770B2 (en) * 2017-03-14 2019-12-31 Uatc, Llc Hierarchical motion planning for autonomous vehicles
US10324469B2 (en) * 2017-03-28 2019-06-18 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling motion of vehicle in shared environment
US10007269B1 (en) * 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
US11256983B2 (en) * 2017-07-27 2022-02-22 Waymo Llc Neural networks for vehicle trajectory planning
US11334070B2 (en) * 2017-08-10 2022-05-17 Patroness, LLC Systems and methods for predictions of state of objects for a motorized mobile system
US20200379458A1 (en) * 2017-12-13 2020-12-03 Evexia Research, Llc Autonomous safety for pedestrians
EP3842304A3 (en) * 2018-08-14 2021-09-15 Mobileye Vision Technologies Ltd. Systems and methods for navigating with safe distances
US10948915B2 (en) * 2018-08-30 2021-03-16 Intel Corporation Computer-assisted or autonomous driving vehicle incident management method and apparatus
US11104332B2 (en) * 2018-12-12 2021-08-31 Zoox, Inc. Collision avoidance system with trajectory validation
US20200211394A1 (en) * 2018-12-26 2020-07-02 Zoox, Inc. Collision avoidance system
US11182916B2 (en) * 2018-12-28 2021-11-23 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
US11170299B2 (en) * 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
CN113811886B (zh) * 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
CN114008685A (zh) * 2019-06-25 2022-02-01 辉达公司 用于自主机器应用的路口区域检测和分类
US20210026355A1 (en) * 2019-07-25 2021-01-28 Nvidia Corporation Deep neural network for segmentation of road scenes and animate object instances for autonomous driving applications
US11500385B2 (en) * 2019-09-30 2022-11-15 Zoox, Inc. Collision avoidance perception system
US20210103285A1 (en) * 2019-10-02 2021-04-08 Zoox, Inc. Collision avoidance perception system
US11726492B2 (en) * 2019-10-02 2023-08-15 Zoox, Inc. Collision avoidance perception system
KR20210050925A (ko) * 2019-10-29 2021-05-10 엘지전자 주식회사 차량 충돌 회피 장치 및 방법
US20210125036A1 (en) * 2019-10-29 2021-04-29 Nvidia Corporation Determining object orientation from an image with machine learning
US11487968B2 (en) * 2019-12-16 2022-11-01 Nvidia Corporation Neural network based facial analysis using facial landmarks and associated confidence values
US11592570B2 (en) * 2020-02-25 2023-02-28 Baidu Usa Llc Automated labeling system for autonomous driving vehicle lidar data
US11568655B2 (en) * 2020-03-26 2023-01-31 Intel Corporation Methods and devices for triggering vehicular actions based on passenger actions
US11886968B2 (en) * 2020-03-27 2024-01-30 Intel Corporation Methods and devices for detecting objects and calculating a time to contact in autonomous driving systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103569009A (zh) * 2012-06-22 2014-02-12 通用汽车环球科技运作有限责任公司 用于车辆的警示系统和方法
CN104773177A (zh) * 2014-01-09 2015-07-15 株式会社理光 辅助驾驶方法和装置

Also Published As

Publication number Publication date
IL260106B (en) 2020-09-30
KR101963422B1 (ko) 2019-03-28
US20200272164A1 (en) 2020-08-27
KR20190000843A (ko) 2019-01-03
CN109117709A (zh) 2019-01-01
US11402848B2 (en) 2022-08-02
JP2019008796A (ja) 2019-01-17
EP3825803B1 (en) 2024-03-20
US10649464B2 (en) 2020-05-12
CA3008091C (en) 2019-09-24
US10007269B1 (en) 2018-06-26
EP3418841A1 (en) 2018-12-26
EP3418841B1 (en) 2021-01-20
US20180373263A1 (en) 2018-12-27
CA3008091A1 (en) 2018-08-15
EP3825803A1 (en) 2021-05-26
IL260106A (en) 2018-11-29

Similar Documents

Publication Publication Date Title
CN109117709B (zh) 用于自动驾驶车辆的碰撞避免系统
US11312372B2 (en) Vehicle path prediction
JP7227358B2 (ja) トレーニングデータを取得するためのシステム及び方法
US20220107651A1 (en) Predicting three-dimensional features for autonomous driving
US10489686B2 (en) Object detection for an autonomous vehicle
US10997461B2 (en) Generating ground truth for machine learning from time series elements
CN111874006B (zh) 路线规划处理方法和装置
JP2013073620A (ja) ドライバ支援システムのための、道路地形を検出する方法及びシステム
EP3407251A1 (en) Method of classifying objects for a perception scene graph and system for using a scene detection schema for classifying objects in a perception scene graph (psg) in a motor vehicle
CN114072841A (zh) 根据图像使深度精准化
EP3407249A2 (en) A method and system for generating and using a perception scene graph in motor vehicle applications
JP7472832B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
US20180342065A1 (en) Method and system for generating a perception scene graph having a focus region for a motor vehicle
US20220277647A1 (en) Systems and methods for analyzing the in-lane driving behavior of a road agent external to a vehicle
EP4184452A1 (en) Vehicle light classification system
US10552692B2 (en) Color learning
US11610412B2 (en) Vehicle neural network training
Siddiqui et al. Object/Obstacles detection system for self-driving cars
US20240096109A1 (en) Automatic lane marking extraction and classification from lidar scans
JP2023084575A (ja) 点灯状態識別装置
JP2023085060A (ja) 点灯状態識別装置、点灯状態識別方法及び点灯状態識別用コンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200225

Address after: American Delaware

Applicant after: Uatc Co.,Ltd.

Address before: California, USA

Applicant before: Uber Technologies, Inc.

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Pennsylvania, USA

Patentee after: Uatc Co.,Ltd.

Country or region after: U.S.A.

Address before: Delaware USA

Patentee before: Uatc Co.,Ltd.

Country or region before: U.S.A.