CN110084091A - 用于车辆的认知映射 - Google Patents

用于车辆的认知映射 Download PDF

Info

Publication number
CN110084091A
CN110084091A CN201910068684.1A CN201910068684A CN110084091A CN 110084091 A CN110084091 A CN 110084091A CN 201910068684 A CN201910068684 A CN 201910068684A CN 110084091 A CN110084091 A CN 110084091A
Authority
CN
China
Prior art keywords
vehicle
cognitive map
image
map
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910068684.1A
Other languages
English (en)
Inventor
穆斯塔法·帕尔恰米
瓦希德·泰穆里
金塔拉斯·文森特·普斯科里奥斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110084091A publication Critical patent/CN110084091A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Transportation (AREA)
  • Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了“用于车辆的认知映射”。一种系统，包括处理器和存储器，所述存储器包括指令，所述指令由所述处理器执行以：获取车辆环境的图像，基于所述图像确定包括所述车辆环境的俯视图的认知地图，并且基于所述认知地图操作所述车辆。

Description

用于车辆的认知映射
背景技术
车辆可以被配备成以自主驾驶模式和乘员驾驶模式操作。车辆可以配备有计算装置、网络、传感器和控制器以获取有关车辆环境的信息并基于所述信息操作车辆。车辆的安全且舒适的操作可取决于基于有关车辆环境的准确且及时的信息来确定预测的车辆轨迹。例如，车辆的安全且舒适的操作可取决于当车辆在道路上运行时，获取有关车辆环境中对象的准确且及时的信息。提供有关车辆附近或周围的对象的准确且及时的信息以支持车辆的操作是一个问题。
附图说明
图1是示例性车辆的框图。
图2是交通场景的示例性图像的图示。
图3是示例性认知地图的图示。
图4是示例性卷积神经网络的图示。
图5是基于认知地图操作车辆的示例性过程的流程图。
图6是训练卷积神经网络以输出认知地图的示例性过程的流程图。
技术领域
本发明涉及一种认知地图，所述认知地图由计算装置使用来操作车辆，所述操作包括致动包括动力传动系统的车辆部件、转向和制动，以便以安全且舒适的方式将车辆从当前位置引导至目的地位置。
发明内容
一种方法，其包括获取车辆环境的图像；基于所述图像确定包括所述车辆环境的俯视图的认知地图；以及基于所述认知地图操作所述车辆。
所述车辆环境可包括道路和对象，所述对象包括其他车辆和行人。
所述方法可包括确定所述认知地图，所述认知地图包括所述对象相对于所述车辆的位置，所述对象包括其他车辆和行人中的至少一者。
所述图像可以是单目视频帧。
所述方法可包括基于利用卷积神经网络处理所述图像来确定所述车辆环境的所述认知地图。
所述方法可包括在确定所述认知地图之前，基于地面实况数据训练所述卷积神经网络。
地面实况数据可基于对象检测、按像素分割、3D对象姿态和相对距离。
训练所述卷积神经网络可基于包括在所述卷积神经网络中的预测图像。
所述预测图像可基于地面实况数据。
一种系统，其包括处理器和存储器，所述存储器包括指令，所述指令由所述处理器执行以获取车辆环境的图像，基于所述图像确定包括所述车辆环境的俯视图的认知地图，并且基于所述认知地图操作所述车辆。
所述车辆环境可包括道路和对象，所述对象包括其他车辆和行人。
所述系统可包括确定所述认知地图，所述认知地图包括所述对象相对于所述车辆的位置，所述对象包括其他车辆和行人中的至少一者。
所述图像可以是单目视频帧。
所述系统可基于利用卷积神经网络处理所述图像来确定所述车辆环境的所述认知地图。
所述系统可包括在确定所述认知地图之前，基于地面实况数据训练所述卷积神经网络。
地面实况数据可包括对象检测、按像素分割、3D对象姿态和相对距离。
训练所述卷积神经网络可基于包括在所述卷积神经网络中的预测图像。
所述预测图像可基于地面实况数据。
一种系统，其包括可操作来获取车辆环境的图像的视频传感器；可操作来操作车辆的车辆部件；处理器；以及存储器，所述存储器包括指令，所述指令由所述处理器执行以获取所述车辆环境的所述图像，基于所述图像确定包括所述车辆环境的俯视图的认知地图，并且基于所述认知地图操作所述车辆。
所述车辆环境可包括道路和对象，所述对象包括其他车辆和行人。
具体实施方式
车辆可以被配备成以自主驾驶模式和乘员驾驶模式操作。通过半自主模式或完全自主模式，我们指的是一种操作模式，其中车辆可以由作为具有传感器和控制器的车辆信息系统的一部分的计算装置驾驶。车辆可被占用或未被占用，但在任一种情况下，车辆都可在没有乘员辅助的情况下进行驾驶。出于本公开的目的，自主模式被定义为一种模式，其中车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制；在半自主模式下，一个或多个车辆计算机控制车辆推进、制动和转向中的一者或两者。在非自主车辆中，这些都不是由计算机控制的。
例如，车辆相对于地图例如根据地理坐标的位置的估计可由计算装置使用来将车辆在道路上从当前位置操作至确定的目的地。地图可以是认知地图。在本公开的上下文中的认知地图是俯视图，即车辆周围物理环境的2D表示。在车辆处于运动中(例如，在道路上操作)的示例中，认知地图可包括俯视图，即在当前车辆位置前方和在当前车辆行进方向上的道路的2D表示。当前车辆行进的方向基于当前车辆轨迹，所述当前车辆轨迹包括速度、方向、纵向加速度和侧向加速度。例如，认知地图可包括道路和对象(诸如车道、障碍物、路肩和车道标记、车辆和行人)。
在心理学领域中，认知地图是物理环境的心理表示。例如，人类和动物使用认知地图来找到它们环境周围的路。在本公开中，认知地图由计算装置使用来操作车辆，所述操作包括致动包括动力传动系统的车辆部件、转向和制动，以便以安全且舒适的方式将车辆从当前位置引导至目的地位置。例如，认知地图可由计算装置使用来基于在认知地图中车道的确定位置和其他车辆的确定位置和轨迹确定预测的车辆轨迹。认知地图可描绘从俯视图观看的对象的语义分割并且准确地示出从车辆110到每个点的距离。
本文公开一种方法，所述方法包括获取车辆环境的图像；基于所述图像确定包括所述车辆环境的俯视图的认知地图；以及基于所述认知地图操作所述车辆。所述车辆环境可包括道路和对象，所述对象包括其他车辆和行人。认知地图可包括对象(其包括其他车辆和行人中的至少一者)相对于车辆的位置。图像可以是单目视频帧。车辆环境的认知地图可基于利用卷积神经网络处理图像。卷积神经网络可在确定认知地图之前，基于地面实况数据进行训练。地面实况数据可基于对象检测、按像素分割、3D对象姿态和相对距离。
训练所述卷积神经网络可基于包括在卷积神经网络中的预测图像。所述预测图像可基于地面实况数据。神经网络学习如何将输入RGB图像转换为认知地图的估计。估计的认知地图可与认知地图的中间估计组合并且与预测图像进行比较以确定相似性。估计的组合的认知地图之间的相似性可通过计算成本函数来确定。成本函数可基于加权的交叉熵函数，所述加权的交叉熵函数基于将估计的认知地图和中间认知地图与预测图像进行比较。预测图像可基于激光雷达数据。
进一步公开了一种计算机可读介质，所述计算机可读介质存储程序指令用于执行上述方法步骤中的一些或全部。进一步公开了一种被编程用于执行上述方法步骤中的一些或全部的计算机，所述计算机包括计算机设备，所述计算机设备被编程为获取车辆环境的图像；基于所述图像确定包括所述车辆环境的俯视图的认知地图；并且基于所述认知地图操作所述车辆。所述车辆环境可包括道路和对象，所述对象包括其他车辆和行人。认知地图可包括对象(其包括其他车辆和行人中的至少一者)相对于车辆的位置。图像可以是单目视频帧。车辆环境的认知地图可基于利用卷积神经网络处理图像。卷积神经网络可在确定认知地图之前，基于地面实况数据进行训练。地面实况数据可基于对象检测、按像素分割、3D对象姿态和相对距离。
计算机可被进一步编程为基于包括在卷积神经网络中的预测图像训练卷积神经网络。所述预测图像可基于地面实况数据。预测图像可将估计的结果转换成估计的认知地图。估计的认知地图可与中间认知地图组合以确定相似性。估计的认知地图与预测图像之间的相似性可通过计算成本函数来确定。成本函数可基于加权的交叉熵函数，所述加权的交叉熵函数基于将与中间认知地图组合的估计的认知地图与预测图像进行比较。预测图像可基于激光雷达数据。
图1是车辆信息系统100的图示，所述车辆信息系统100包括可以自主(在本公开中“自主”本身意味着“完全自主”)和乘员驾驶(也称为非自主)模式操作的车辆110。车辆110还包括一个或多个计算装置115，其用于执行计算以用于在自主操作期间驾驶车辆110。计算装置115可从传感器116接收有关车辆操作的信息。
计算装置115包括诸如已知的处理器和存储器。此外，存储器包括一种或多种形式的计算机可读介质，并存储能够由处理器执行的用于进行各种操作的指令，所述各种操作包括如本文所公开的。例如，计算装置115可包括编程以操作以下中的一者或多者：车辆制动器、推进器(例如、通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110中的加速度)、转向装置、气候控件、内部灯和/或外部灯等，以及与人类操作员相反，确定计算装置115是否以及何时将控制此类操作。
计算装置115可包括一个以上的计算装置(例如，包括在车辆110中用于监测和/或控制各种车辆部件的控制器(例如，动力传动系统控制器112、制动器控制器113、转向控制器114等)等)或例如经由如下文进一步描述的车辆通信总线耦接到所述一个以上的计算装置。计算装置115通常被布置用于车辆通信网络(例如，包括车辆110中的总线，诸如控制器局域网(CAN)等)上的通信；车辆110网络可另外地或可替代地包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。
经由车辆网络，计算装置115可向车辆中的各种装置发送消息和/或从各种装置接收消息，所述各种装置例如控制器、致动器、传感器等，包括传感器116。可替代地或另外地，在计算装置115实际包括多个装置的情况下，车辆通信网络可用于在本公开中表示为计算装置115的装置之间的通信。此外，如下所述，各种控制器或感测元件(诸如传感器116)可经由车辆通信网络向计算装置115提供数据。
此外，计算装置115可被配置用于经由如下文所述的网络130通过车辆到基础设施(V到I)接口111与远程服务器计算机120(例如，云服务器)进行通信。车辆到基础设施(V到I)接口111包括允许计算装置115经由网络130(诸如无线互联网(Wi-Fi)或蜂窝网络)与远程服务器计算机120通信的硬件、固件和软件。因此，V到I接口111可包括被配置为利用各种有线和/或无线联网技术(例如，蜂窝网络、 和有线和/或无线分组网络)的处理器、存储器、收发器等。计算装置115可被配置用于通过V到I接口111使用车辆对车辆(V到V)网络，例如，根据例如基于特定基础在附近车辆110间形成或经由例如蜂窝网络或Wi-Fi通过基于基础设施的网络(包括互联网)形成的专用短程通信(DSRC)等与其他车辆进行通信。计算装置115还包括诸如已知的非易失性存储器。计算装置115可通过将信息存储在非易失性存储器中来将信息录入(即，存储)在存储器中，以用于稍后经由车辆通信网络和车辆到基础设施(V到I)接口111检索和传输到服务器计算机120或用户移动装置160。
如已经提及的，通常包括在存储在存储器中并可由计算装置115的处理器执行的指令中的是用于在没有人类操作员干预的情况下操作一个或多个车辆110部件(例如，制动、转向、推进等)的编程。使用在计算装置115中接收的数据(例如来自传感器116、服务器计算机120等的传感器数据)，计算装置115可在没有驾驶员操作车辆110的情况下进行各种确定和/或控制各种车辆110的部件和/或操作。例如，计算装置115可包括用于调节以下行为的编程：车辆110操作行为(即，车辆110操作的物理表现)，诸如速度、加速、减速、转向等；以及策略行为(即，通常以意图实现安全且有效经过路线的方式控制操作行为)，诸如车辆之间的距离和/或车辆之间的时间量、车道改变、车辆之间的最小间隙、左转弯路径最小值、到达特定位置的时间和到达以穿过十字路口的十字路口(无信号)最短时间。
如本文所用的术语控制器包括通常被编程为控制特定车辆子系统的计算装置。示例包括动力传动系统控制器112、制动器控制器113和转向控制器114。控制器可以是可能包括如本文所述的附加编程的诸如已知的电子控制单元(ECU)。控制器可通信地连接到计算装置115并从计算装置115接收指令以根据所述指令致动子系统。例如，制动控制器113可从计算装置115接收指令以操作车辆110的制动器。
用于车辆110的一个或多个控制器112、113、114可包括常规的电子控制单元(ECU)等，作为非限制性示例，包括一个或多个动力传动系统控制器112、一个或多个制动器控制器113以及一个或多个转向控制器114。控制器112、113、114中的每一个可包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可被编程并连接到车辆110通信总线(诸如控制器局域网(CAN)总线或本地互连网络(LIN)总线)以从计算机115接收指令并且基于所述指令来控制致动器。
传感器116可包括已知用于经由车辆通信总线提供数据的多种装置。例如，固定到车辆110的前保险杠(未示出)的雷达可提供从车辆110到车辆110前方的下一车辆的距离，或者设置在车辆110中的全球定位系统(GPS)传感器可提供车辆110的地理坐标。由雷达和/或其他传感器116提供的一个或多个距离和/或由GPS传感器提供的地理坐标可由计算装置115使用来自主地或半自主地操作车辆110。
车辆110通常是具有三个或更多个车轮的陆基自主车辆110(例如，客车、轻型载货汽车等)。车辆110包括一个或多个传感器116、V到I接口111、计算装置115和一个或多个控制器112、113、114。
传感器116可被编程为收集与车辆110和车辆110操作所在的环境有关的数据。以举例的方式但不受限制，传感器116可包括例如测高仪、相机、激光雷达、雷达、超声传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可用来感测车辆110正在操作所处的环境，例如，传感器116可检测诸如天气条件(降雨、外界温度等)的现象、道路坡度、道路位置(例如，使用道路边缘、车道标记等)或目标对象(诸如邻近车辆110)的位置。传感器116进一步可用于收集包括与车辆110的操作有关的动态车辆110数据的数据，诸如速度、横摆率、转向角、发动机转速、制动压力、油压、施加到车辆110中的控制器112、113、114的功率级、部件之间的连接性以及车辆110的部件的准确且及时的性能。
图2示出包括道路202和其他车辆204、206、208、210的交通场景的图像200。例如，图像200可以是由计算装置115从包括在车辆110中的视频传感器116获取的单目视频帧。单目视频帧可包括三个颜色平面，针对对应于红色、绿色和蓝色(RGB)颜色分量的共24位，每个颜色平面具有八位的位深度。图像200可包括道路202、车道标记212、障碍物224、226、228以及邻近于道路230、232的道路路肩或地形。计算装置115可使用图像200来产生包括道路202和对象的认知地图，所述对象包括其他车辆204、206、208、210、车道标记212、障碍物224、226、228以及邻近于道路230、232的道路路肩或地形，并且基于包括道路202和对象的所述认知地图来确定操作车辆110的预测轨迹。
图3是分别以白色和网格呈现以表示不同颜色的交通场景的认知地图300，其包括道路302(白色部分)和包括其他车辆304、306、308、310(网格部分)的对象。同样地，车道标记312(黑色部分)、障碍物314、316、318(上对角线)和路肩或邻近地形320、322(交叉影线)各自被呈现来表示不同颜色，其中每种不同颜色表示对象类别或类型并且在认知地图300中将各自占用单独通道或平面。例如，认知地图可包括20或更多个通道，每个通道包括属于单一类别的对象(诸如“道路”、“车辆”、“行人”、“骑行者”等)。关于认知地图300的车辆110轨迹由箭头324表示。认知地图300可通过将图像200输入被配置和训练(如下文关于图4描述)的卷积神经网络(CNN)中来创建，所述卷积神经网络(CNN)响应于输入来输出认知地图300。
计算装置115可基于认知地图300操作车辆110。操作车辆110可包括致动车辆部件(诸如动力传动系统)，经由控制器112、113、114转向和制动以基于预测的位置和轨迹来确定车辆位置和轨迹。预测的位置和轨迹可基于认知地图300来确定。例如，计算装置115可操作车辆110以遵循将车辆110定位在车道中心的预测轨迹，所述车道基于车道标记312和障碍物314确定，同时维持车辆110与其他车辆310之间的预定距离。例如，计算装置115可基于认知地图300中的对象相对于车辆110位置的距离和位置来预测可用来致动动力传动系统、转向和制动部件的车辆轨迹。
包括其他车辆304、306、308、310的对象的预测轨迹可通过将在连续时间间隔处创建的连续认知地图300中对象的位置与在连续时间间隔处获取的图像200进行比较来确定。其他车辆304、306、308、310的轨迹可通过确定在连续时间间隔处创建的连续认知地图300中的其他车辆304、306、308、310的位置，将曲线拟合到位置点并且计算等于认知地图300的2D平面中每条曲线的第一阶导数和第二阶导数的矢量来确定。第一阶导数的量值是速度，并且角度是方向。第二阶导数是平行于第一阶导数方向(纵向加速度)并且垂直于第一阶导数方向(横向加速度)的方向导数。
图4是被配置为输入图像200并输出认知地图300的示例性CNN400的图示。图像200可以是从包括在车辆110中的视频传感器116获取的单目RGB视频图像，所述单目RGB视频图像包括描绘车辆110附近的物理环境的场景。认知地图300是车辆110附近物理环境的2D表示，所述物理环境包括20或更多个通道，每个通道包括场景中存在的单一类别的对象，由相对于车辆110的类型、距离和3D姿态来识别，其中3D姿态被定义为3D空间中的对象相对于表示为角度ρ、和θ的参考帧的取向。有关包括在认知地图300中作为俯视图的对象类型、距离和3D姿态的信息可允许计算装置115通过在道路上行进并且避免碰撞来确定安全地操作车辆110的轨迹。
CNN 400是存储器中的在包括在计算装置115中的处理器上执行的程序，并且包括被配置为将图像200输入402到卷积层C1的一组十个卷积层C1-C10(3D框)。卷积层C1在卷积层C1与卷积层C2之间产生由箭头表示的中间结果406。每个卷积层C2-C10接收中间结果406并且在邻近卷积层C1-C10之间输出由箭头表示的中间结果406，从而表示中间结果406的向前传播。卷积层C1-C10各自在等于输入空间分辨率的输出空间分辨率下或在从输入空间分辨率减小的输出空间分辨率下输出中间结果406。当空间分辨率增加(如下文表1中所描述)时，中间结果的每分辨率元素的位深度增加。这针对卷积层C2-C9重复进行，这在连续低分辨率下在卷积层C2-C9之间产生由黑箭头表示的中间结果406。卷积层C1-C9可通过合并来降低分辨率，其中相邻像素分组(其例如可以是2x 2邻域)被组合以根据预定方程式形成单一像素。通过选择一组像素中的最大值(被称为“最大合并”)来组合所述一组像素可降低分辨率，同时保留中间结果406中的信息。在卷积层C1-C10之后，卷积层C10将中间结果406输出至第一反卷积层D1，所述第一反卷积层D1可对中间结果406进行反卷积和上采样以在反卷积层D1-D10中的每一个之间产生由箭头表示的中间认知地图408。反卷积是利用内核执行的卷积，所述内核至少部分地是先前用于对函数进行卷积的另一个内核的逆变，并且可以部分地逆转先前卷积的影响。例如，反卷积层D1-D10可增大中间认知地图408的空间分辨率，同时根据下文的表1减小位深度。
卷积层C10还将估计的特征映射412输出至预测图像p6，所述预测图像p6在训练CNN 400时将来自卷积层C10的估计的特征映射412与有关对象的将估计的特征映射412转换成估计的认知地图414的基于地面实况的信息组合。当训练CNN 400时，估计的认知地图414与从反卷积层D1输出的中间特征映射408组合。这通过在反卷积层D1-D2之间的中间认知地图408箭头上的“+”符号示出。将基于输入图像I的中间认知地图408与包括对象检测、按像素分割、3D对象姿态和相对距离的基于地面实况的信息进行比较用于训练卷积神经网络。
反卷积层D1-D2之间的中间认知地图408上的“+”符号还指示将中间特征映射408和预测的认知地图414与来自卷积层C7的经由跳层连接接收的跳层连接结果410组合。跳层连接结果410是经由跳层连接向前传播，作为到上采样的反卷积层D2、D4、D6、D8、D10的输入的中间结果406。跳层连接结果410可与中间特征映射408组合以通过上采样来增加中间特征映射408的分辨率以便传递到随后的反卷积层D3、D5、D7、D9。这通过反卷积层D1-D2、D3-D4、D5-D6、D7-D8和D9-D10之间的中间结果408上的“+”符号示出。跳层连接可在与接收信息的反卷积层D2、D4、D6、D8、D10相同的分辨率下向前传播跳层连接结果410。
反卷积层D1-D10包括预测图像p2-p6。预测图像p2-p6用于训练CNN 400以从图像200输入产生认知地图300。基于独立于CNN 400开发的地面实况图像来确定预测图像p2-p6。地面实况是指有关车辆110附近的物理环境的信息。因此，本上下文中的地面实况数据可包括使用包括多相机视频传感器116、激光雷达传感器116和雷达传感器116的传感器116确定的距离和姿态信息、来自GPS传感器116、INS传感器116和测距传感器116的位置数据。本上下文中的地面实况数据还可以包括与使用基于CNN的对象分类程序确定的有关对象分类的信息组合的存储在计算装置115的存储器中和/或来自服务器计算机120的地图数据。这类基于CNN的对象分类程序通常作为输入图像200接收，并且然后输出被分割成包括诸如道路、车道标记、障碍物、车道、路肩或邻近地形、包括类型和模型的其他车辆的对象以及包括行人、动物、自行车等的其他对象的区域的图像200。预测图像p2-p6组合距离信息与分割信息，以通过基于距分割对象的距离信息将估计的结果412正交地投射到2D地面平面上并且基于有关包括在预测图像p2-p6中的对象检测、按像素分割、3D对象姿态和相对距离的信息对估计的认知地图414着色来将来自卷积层C10和反卷积层D2、D4、D6和D8的估计的结果412转换成估计的认知地图414。
预测图像p2-p6用于训练CNN 400以响应于通过输出估计的认知地图414输入图像200来输出认知地图300，以与由反卷积层D1、D3、D5、D7、D9输出的中间认知地图408组合。这一组合通过反卷积层D1-D2、D3-D4、D5-D6、D7-D8和D9-D10之间的中间认知地图408上的“+”符号示出。预测图像p2-p6可基于包括应用于输入图像200的语义分割的地面实况。可使用光流技术处理在不同位置处获取的多个单目图像200，例如以确定通过语义分割检测到的距对象的距离。来自传感器116的数据可与语义分割信息组合以确定距对象的距离。一旦距对象的距离被确定并且3D形状被估计，就可以通过单应性生成俯视图，其中在输入图像200中检测到的对象的描绘基于其估计的3D形状和3D姿态被正交地投射到与地面平面或道路平行的平面上。一旦投射到表示估计的认知地图414的平面上，对象就可以保留其类别或类型，如由颜色所指示。
多个预测图像p2-p6用于训练CNN 400，其目标是每个预测图像p2-p6在适当的分辨率下与中间认知地图408组合。将估计的认知地图414与中间认知地图408组合可包括基于在中间认知地图408与估计的认知地图414之间的相似性对来自反卷积层D1、D3、D5、D7、D9的(奖励)输出进行积极地评分。通过以这种方式积极地奖励反卷积层D1、D3、D5、D7、D9，可以训练CNN 400以从反卷积层D10输出404认知地图300。一旦反卷积层D1、D3、D5、D7、D9已经被训练来输出中间认知地图408，来自预测图像p2-p6的输入就不再被需要以基于输入图像200输出404认知地图300。经训练的CNN 400将基于识别输入图像200与作为训练集的一部分处理的输入图像200之间的视觉相似性来输出404认知地图300。
中间认知地图408与估计的认知地图414之间的相似性可基于成本函数来确定，所述成本函数通过如下方程式测量中间认知地图408与估计的认知地图414的相似性：
其中W是基于每类对象的可用训练像素的数目计算的每个对象的权重，I是输入图像200，M是估计的认知地图414，并且M_Rec是中间认知地图408。交叉_熵损耗函数计算如下：
H(M，M_Rec)＝-∑i(M-Reci*log(Mi)+(-1-M-Reci)*log(1-Mi)) (2)
其中i是图像中的第i个像素。邻域相似性成本项可通过考虑认知地图预测p2-p6和300中的像素与其相邻像素之间的一致性来确定。可通过将高斯滤波器应用于估计的认知地图和地面实况的3×3像素块的交叉熵来简化邻域成本函数的计算。以这种方式应用邻域成本函数可提高训练的收敛速度并且导致产生更好的预测。
表1是卷积层402C1-C10、反卷积层404D1-D10、认知地图300(p1)和预测图像p2-p6的表，其相应的大小表示为输入RGB图像200I的高度和宽度以及位深度的分数，其中输入RGB图像的大小为WxHx3，其中每个RGB颜色平面具有8位的位深度，例如其中W＝1920，H＝1080并且位深度为24。
表1.卷积层C1-C10、反卷积层D1-D10、认知地图300(p1)和预测图像p2-p6的大小和位深度。
一旦使用基于地面实况的预测图像p2-p6进行训练，CNN 400就可以处理输入图像200以产生认知地图300，而无需输入预测图像p2-p6。卷积层C1-C10可对中间结果406进行卷积和下采样，所述中间结果406被传递到反卷积层D1-D10，以经由跳层连接结果410利用来自卷积层C1、C2、C4、C6、C7的输入对中间认知地图408进行反卷积和上采样。由CNN 400产生的认知地图300可由计算装置115使用以通过允许计算装置基于认知地图300预测车辆轨迹来操作车辆110。
在其他示例中，多个CNN 400可被训练以基于包括多个单目图像输入、激光雷达和雷达的地面实况以及通过向CNN 400添加熔合层组合的结果来确定认知地图300。时间信息可通过添加递归卷积层而被包括在CNN 400中来处理所述时间信息。从CNN 400输出的认知地图300可与来自传感器116的计算装置115可用的其他信息(包括GPS、INS和测距位置信息、激光雷达、雷达以及有关存储在计算装置115处或从服务器计算机120下载的距离和地图信息的多相机信息)组合，例如以提高认知地图300p1的准确度和距位于其中的对象的距离。
在其他示例中，在计算装置115可用的其他信息(包括GPS、INS和测距位置信息、激光雷达、雷达和有关存储在计算装置115处或从服务器计算机120下载的距离和地图信息的多相机信息)提供与认知地图300p1不一致的信息的情况下，记录的图像200连同记录的地面实况信息可用于通过提供另外的训练来更新CNN 400。重新训练的CNN 400可存储在计算装置115存储器中以供将来使用。经训练的CNN 400可重新从存储器中调用并且由计算装置115执行，以从根据例如在具有交通的道路上的车辆110的操作所需要，实时输入的图像200产生认知地图300。
图5是关于图1至图4所描述的用于基于认知地图来操作车辆的过程500的流程图。过程500可由计算装置115的处理器实现，从而从传感器116获取输入信息，并且例如经由控制器112、113、114执行命令和发出控制信号。过程500包括以所公开的顺序采取的多个步骤。过程500还包括具有更少步骤的实现方式，或者可包括以不同顺序进行的步骤。
过程500开始于步骤502，其中包括在车辆110中的计算装置115获取如上文关于图2所述的图像200。图像200可以是由包括在车辆110中的视频传感器116获取的RGB彩色视频图像。图像200可描绘车辆110附近的物理环境，包括道路202和包括其他车辆204、206、208、210的对象。
在步骤504处，计算装置115将图像200输入到经训练的CNN 400，如上文关于图4所论述。响应于输入图像200，经训练的CNN 400产生包括道路302和包括其他车辆304、306、308、310的对象的认知地图300。训练CNN 400将关于图6进行论述。
在步骤506处，计算装置115基于认知地图300操作车辆110。计算装置115可通过基于车道和包括其他车辆的对象确定预测的车辆轨迹来基于认知地图300操作车辆110。计算装置115可将认知地图300与来自多相机传感器116、激光雷达传感器116和雷达传感器116的地图数据、来自GPS、INS和测距仪的位置数据以及来自服务器计算机120的地图数据组合，以提高认知地图300的准确性。因此，基于认知地图300，计算装置115可向动力传动系统控制器112、制动器控制器113和转向控制器114中的一个或多个提供指令。例如，计算装置备可被编程为基于对象(诸如其他车辆304-310)采取关于调整或维持速度、加速度和/或转向的某些动作；认知地图300可有利地为这类动作提供比先前可用的更准确的数据。由此可通过认知地图300来提高车辆110的安全性和/或效率。在这一步骤后，过程500结束。
图6是关于图1至图4所描述的用于基于地面实况来训练CNN 400的过程600的流程图。过程600可由计算装置115的处理器实现，从而从传感器116获取输入信息，并且例如经由控制器112、113、114执行命令和发出控制信号。过程600包括以所公开的顺序采取的多个步骤。过程600还包括具有更少步骤的实现方式，或者可包括以不同顺序进行的步骤。
过程600开始于步骤602，其中包括在车辆110中的计算装置115获取并记录如上文关于图2所述的一个或多个图像200。图像200可以是由包括在车辆110中的视频传感器116获取的RGB彩色视频图像。图像200可描绘车辆110附近的物理环境，包括道路202和包括其他车辆204、206、208、210的对象。
在步骤604处，计算装置115基于对应于在步骤602处记录的图像200的对象检测、按像素分割、3D对象姿态和相对距离(其全部基于如上文关于图4所论述的记录的图像200、距离数据、位置数据和地图数据确定)记录地面实况数据。
在步骤606处，计算装置根据上文的方程式1和2中的成本函数，在构建预测图像p2-p6以训练CNN 400的同时将图像200输入至CNN 400。预测图像p2-p6被构造为包括基于对象检测、按像素分割、3D对象姿态和相对距离记录的地面实况数据。预测图像p2-p6可通过地面实况数据的单应性投射来创建并且用于将估计的结果412转换成俯视图即估计的认知地图414，所述估计的认知地图414可用于训练CNN 400以响应于输入图像200输出认知地图300，如上文关于图4所论述。通过将由反卷积层D1、D3、D5、D7和D9输出的中间认知地图806与估计的认知结果414进行比较并且反向传播成本函数的结果(如关于方程式1和2所描述)，CNN 400可被训练来响应于输入图像200输出认知地图300。
在步骤608处，输出经训练的CNN 400以存储在包括于计算装置115中的存储器处。计算装置115可重新从存储器调用经训练的CNN 400，将获取的图像200输入至经训练的CNN400并且接收认知地图300作为输出以用于操作车辆110，而不必输入地面实况数据。在这一步骤后，过程600结束。
本文所讨论的计算装置(诸如那些)通常各自包括命令，所述命令能够由诸如上面标识的那些的一个或多个计算装置执行，并且用于执行上述过程的框或步骤。例如，上面讨论的过程框可被体现为计算机可执行命令。
计算机可执行命令可从使用多种编程语言和/或技术所创建的计算机程序被编译或解释，所述多种编程语言和/或技术单独地或者组合地包括，但不限于，JavaTM、C、C++、Visual Basic、Java Script、Perl、HTML等。一般而言，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收命令，并且执行这些命令，从而执行包括本文所述的过程中的一个或多个的一个或多个过程。可使用多种计算机可读介质来将此类指令和其他数据存储在文件中并且传输此类指令和其他数据。计算装置中的文件通常是存储在计算机可读介质(诸如存储介质、随机存取存储器等)上的数据的集合。
计算机可读介质包括参与提供可由计算机读取的数据(例如，命令)的任何介质。这种介质可采取许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘以及其他持久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、任何其他具有孔图案的物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储芯片或盒式磁带，或计算机可从中读取的任何其他介质。
除非本文中作出相反的明确指示，否则权利要求中使用的所有术语旨在给出本领域技术人员理解的普通和普通含义。具体地，诸如”一个(a)"、”所述(the)"、”所述(said)”等单数冠词的使用应理解为引用所指示元素中的一个或多个，除非权利要求引用相反的明确限制。
术语“示例性”在本文中是表示示例的意义上来使用的，例如，对“示例性小部件”的引用应视为简单地指代小部件的示例。
修饰值或结果的副词“近似”意指形状、结构、测量值、值、确定结果、计算结果等可能由于材料、加工、制造、传感器测量、计算、处理时间、通信时间等而偏离准确描述的几何形状、距离、测量值、值、确定结果、计算结果等。
在附图中，相同的附图标记表示相同的元件。此外，可以改变这些元件中的一些或全部。关于本文所描述的介质、过程、系统、方法等，应当理解，虽然此类过程等的步骤已被描述为按照特定顺序的序列发生，但是此类过程可通过以本文所描述的顺序以外的顺序执行的所描述步骤来实践。还应理解，可同时执行某些步骤、可添加其他步骤，或者可省略本文描述的某些步骤。换句话讲，本文对过程的描述是为了说明某些实施例而提供的，而决不应将其理解为对要求保护的发明进行限制。
根据本发明，一种方法包括获取车辆环境的图像；基于所述图像确定包括所述车辆环境的俯视图的认知地图；以及基于所述认知地图操作所述车辆。
根据实施例，其中所述车辆环境包括道路和对象，所述对象包括其他车辆和行人。
根据实施例，本发明的进一步特征在于确定所述认知地图，所述认知地图包括所述对象相对于所述车辆的位置，所述对象包括其他车辆和行人中的至少一者。
根据实施例，所述图像是单目视频帧。
根据实施例，本发明的进一步特征在于基于利用卷积神经网络处理所述图像来确定所述车辆环境的所述认知地图。
根据实施例，本发明的进一步特征在于在确定所述认知地图之前，基于地面实况数据训练所述卷积神经网络。
根据实施例，地面实况数据基于对象检测、按像素分割、3D对象姿态和相对距离。
根据实施例，训练所述卷积神经网络基于包括在所述卷积神经网络中的预测图像。
根据实施例，所述预测图像基于地面实况数据。
根据本发明，提供一种系统，其包括处理器和存储器，所述存储器包括指令，所述指令由所述处理器执行以获取车辆环境的图像，基于所述图像确定包括所述车辆环境的俯视图的认知地图，并且基于所述认知地图操作所述车辆。
根据实施例，其中所述车辆环境包括道路和对象，所述对象包括其他车辆和行人。
根据实施例，所述认知地图包括所述对象相对于所述车辆的位置，所述对象包括其他车辆和行人中的至少一者。
根据实施例，所述图像是单目视频帧。
根据实施例，本发明的进一步特征在于基于利用卷积神经网络处理所述图像来确定所述车辆环境的所述认知地图。
根据实施例，本发明的进一步特征在于在确定所述认知地图之前，基于地面实况数据训练所述卷积神经网络。
根据实施例，地面实况数据包括对象检测、按像素分割、3D对象姿态和相对距离。
根据实施例，训练所述卷积神经网络基于包括在所述卷积神经网络中的预测图像。
根据实施例，所述预测图像基于地面实况数据。
根据本发明，提供一种系统，其具有可操作来获取车辆环境的图像的视频传感器；可操作来操作车辆的车辆部件；处理器；以及存储器，所述存储器包括指令，所述指令由所述处理器执行以获取所述车辆环境的所述图像，基于所述图像确定包括所述车辆环境的俯视图的认知地图，并且基于所述认知地图操作所述车辆。
根据实施例，其中所述车辆环境包括道路和对象，所述对象包括其他车辆和行人。

Claims (15)

1.一种方法，其包括：
获取车辆环境的图像；
基于所述图像确定包括所述车辆环境的俯视图的认知地图；以及
基于所述认知地图操作所述车辆。
2.如权利要求1所述的方法，其中所述车辆环境包括道路和对象，所述对象包括其他车辆和行人。
3.如权利要求2所述的方法，其还包括确定所述认知地图，所述认知地图包括所述对象相对于所述车辆的位置，所述对象包括其他车辆和行人中的至少一者。
4.如权利要求1所述的方法，其中所述图像是单目视频帧。
5.如权利要求1所述的方法，其还包括基于利用卷积神经网络处理所述图像来确定所述车辆环境的所述认知地图。
6.如权利要求5所述的方法，其还包括：在确定所述认知地图之前，基于地面实况数据训练所述卷积神经网络。
7.如权利要求6所述的方法，其中地面实况数据基于对象检测、按像素分割、3D对象姿态和相对距离。
8.如权利要求7所述的方法，其中训练所述卷积神经网络基于包括在所述卷积神经网络中的预测图像。
9.如权利要求8所述的方法，其中所述预测图像基于地面实况数据。
10.如权利要求9所述的方法，其中所述预测图像将估计的结果转换成估计的认知地图。
11.如权利要求10所述的方法，其中所述估计的认知地图与中间认知地图组合以确定相似性。
12.如权利要求11所述的方法，其中所述估计的认知地图与所述中间认知地图之间的所述相似性通过计算成本函数来确定。
13.如权利要求12所述的方法，其中所述成本函数基于加权的交叉熵函数，所述加权的交叉熵函数基于将所述估计的认知地图与所述中间认知地图进行比较。
14.如权利要求13所述的方法，其中所述预测图像基于激光雷达数据。
15.一种系统，其包括被编程为执行如权利要求1-14中任一项所述的方法的计算机。
CN201910068684.1A 2018-01-26 2019-01-24 用于车辆的认知映射 Pending CN110084091A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/881,228 2018-01-26
US15/881,228 US10345822B1 (en) 2018-01-26 2018-01-26 Cognitive mapping for vehicles

Publications (1)

Publication Number Publication Date
CN110084091A true CN110084091A (zh) 2019-08-02

Family

ID=67106346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910068684.1A Pending CN110084091A (zh) 2018-01-26 2019-01-24 用于车辆的认知映射

Country Status (3)

Country Link
US (1) US10345822B1 (zh)
CN (1) CN110084091A (zh)
DE (1) DE102019101938A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111959495A (zh) * 2020-06-29 2020-11-20 北京百度网讯科技有限公司 车辆的控制方法、装置及车辆

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733506B1 (en) * 2016-12-14 2020-08-04 Waymo Llc Object detection neural network
JP6796798B2 (ja) * 2017-01-23 2020-12-09 パナソニックＩｐマネジメント株式会社 イベント予測システム、イベント予測方法、プログラム、及び移動体
WO2018201097A2 (en) * 2017-04-28 2018-11-01 FLIR Belgium BVBA Video and image chart fusion systems and methods
CN107589552B (zh) 2017-10-17 2023-08-04 歌尔光学科技有限公司 光学模组组装设备
US11068724B2 (en) * 2018-10-11 2021-07-20 Baidu Usa Llc Deep learning continuous lane lines detection system for autonomous vehicles
WO2020138515A1 (ko) * 2018-12-24 2020-07-02 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법
US10635938B1 (en) * 2019-01-30 2020-04-28 StradVision, Inc. Learning method and learning device for allowing CNN having trained in virtual world to be used in real world by runtime input transformation using photo style transformation, and testing method and testing device using the same
US10762393B2 (en) * 2019-01-31 2020-09-01 StradVision, Inc. Learning method and learning device for learning automatic labeling device capable of auto-labeling image of base vehicle using images of nearby vehicles, and testing method and testing device using the same
US11150664B2 (en) * 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11341614B1 (en) * 2019-09-24 2022-05-24 Ambarella International Lp Emirror adaptable stitching
US11994866B2 (en) 2019-10-02 2024-05-28 Zoox, Inc. Collision avoidance perception system
US11726492B2 (en) * 2019-10-02 2023-08-15 Zoox, Inc. Collision avoidance perception system
CN112711249B (zh) * 2019-10-24 2023-01-03 科沃斯商用机器人有限公司 机器人定位方法、装置、智能机器人和存储介质
US11180080B2 (en) * 2019-12-13 2021-11-23 Continental Automotive Systems, Inc. Door opening aid systems and methods
CN111275249A (zh) * 2020-01-15 2020-06-12 吉利汽车研究院（宁波）有限公司 基于dqn神经网络和高精度定位的驾驶行为优化方法
US11511576B2 (en) * 2020-01-24 2022-11-29 Ford Global Technologies, Llc Remote trailer maneuver assist system
KR20210124603A (ko) * 2020-04-06 2021-10-15 현대자동차주식회사 차량의 자율 주행 제어 장치, 그를 포함한 시스템 및 그 방법
US20220084228A1 (en) * 2020-09-11 2022-03-17 Waymo Llc Estimating ground truth object keypoint labels for sensor readings
CN113312438B (zh) * 2021-03-09 2023-09-15 中南大学 融合航线提取与趋势判断的海上目标位置预测方法
DE102021209786A1 (de) 2021-09-06 2023-03-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Positionieren einer Kartendarstellung eines Umfelds eines Fahrzeugs in einer semantischen Straßenkarte
US11541910B1 (en) * 2022-01-07 2023-01-03 Plusai, Inc. Methods and apparatus for navigation of an autonomous vehicle based on a location of the autonomous vehicle relative to shouldered objects
US11840257B2 (en) * 2022-03-25 2023-12-12 Embark Trucks Inc. Lane change determination for vehicle on shoulder

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016003474A1 (en) * 2014-07-03 2016-01-07 GM Global Technology Operations LLC Vehicle cognitive radar methods and systems
US10099615B2 (en) * 2014-09-29 2018-10-16 Ambarella, Inc. All-round view monitoring system for a motor vehicle
US10133947B2 (en) * 2015-01-16 2018-11-20 Qualcomm Incorporated Object detection using location data and scale space representations of image data
CN105260699B (zh) 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
CN105488534B (zh) 2015-12-04 2018-12-07 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统
US10181195B2 (en) * 2015-12-28 2019-01-15 Facebook, Inc. Systems and methods for determining optical flow
EP3206184A1 (en) * 2016-02-11 2017-08-16 NXP USA, Inc. Apparatus, method and system for adjusting predefined calibration data for generating a perspective view
CN106125730B (zh) 2016-07-10 2019-04-30 北京工业大学 一种基于鼠脑海马空间细胞的机器人导航地图构建方法
CN106372577A (zh) 2016-08-23 2017-02-01 北京航空航天大学 一种基于深度学习的交通标志自动识别与标注方法
CN106558058B (zh) 2016-11-29 2020-10-09 北京图森未来科技有限公司 分割模型训练方法、道路分割方法、车辆控制方法及装置
US10067509B1 (en) * 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
CN107169421B (zh) 2017-04-20 2020-04-28 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
US10474908B2 (en) 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111959495A (zh) * 2020-06-29 2020-11-20 北京百度网讯科技有限公司 车辆的控制方法、装置及车辆
CN111959495B (zh) * 2020-06-29 2021-11-12 阿波罗智能技术(北京)有限公司 车辆的控制方法、装置及车辆

Also Published As

Publication number Publication date
US10345822B1 (en) 2019-07-09
DE102019101938A1 (de) 2019-08-01
US20190235520A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
CN110084091A (zh) 用于车辆的认知映射
US11312372B2 (en) Vehicle path prediction
US11776135B2 (en) Object velocity from images
US10981564B2 (en) Vehicle path planning
US11460851B2 (en) Eccentricity image fusion
JP2022539245A (ja) アクションデータに基づくトップダウンシーンの予測
CN104411559B (zh) 用于检测交通信号及其关联状态的鲁棒方法
JP2022502306A (ja) レーダ空間推定
CN110389583A (zh) 生成自动驾驶车辆的轨迹的方法
US20200020117A1 (en) Pose estimation
CN110858325A (zh) 车辆自适应学习
CN116710977B (zh) 用于构建远程机器学习模型的数据的智能车载选择的自主车辆系统
US11521494B2 (en) Vehicle eccentricity mapping
CN108216241A (zh) 确定自主驾驶车辆的控制特性
US11055859B2 (en) Eccentricity maps
US11138452B2 (en) Vehicle neural network training
US11662741B2 (en) Vehicle visual odometry
JP2019189213A (ja) 自動運転車における車線後処理
US11030774B2 (en) Vehicle object tracking
CN109895776A (zh) 车辆车道变换
CN116529561A (zh) 基于单目的对象检测的系统和方法
CN110356410A (zh) 动作调节后的车辆控制
US11663807B2 (en) Systems and methods for image based perception
US11966452B2 (en) Systems and methods for image based perception
EP4145352A1 (en) Systems and methods for training and using machine learning models and algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination