CN109813555A - 用于自主车辆中视觉位置评估的系统和方法 - Google Patents

用于自主车辆中视觉位置评估的系统和方法 Download PDF

Info

Publication number
CN109813555A
CN109813555A CN201811327994.2A CN201811327994A CN109813555A CN 109813555 A CN109813555 A CN 109813555A CN 201811327994 A CN201811327994 A CN 201811327994A CN 109813555 A CN109813555 A CN 109813555A
Authority
CN
China
Prior art keywords
vehicle
virtual camera
ground
ground model
camera image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811327994.2A
Other languages
English (en)
Inventor
G·明斯特
C·克勒索
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN109813555A publication Critical patent/CN109813555A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291Fleet control
    • G05D1/0297Fleet control by controlling means in a control room
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供用于控制车辆的系统和方法。在一个实施例中,视觉位置评估方法包括提供环境的地面模型,并在车辆处接收与环境相关的传感器数据,该传感器数据包括由联接于车辆的光学照相机获取的光学图像数据。虚拟照相机图像基于地面模型、车辆的位置以及光学照相机的位置来生成。基于虚拟照相机图像和光学图像数据确定环境中物体的位置。

Description

用于自主车辆中视觉位置评估的系统和方法
技术领域
本发明总地涉及自主车辆,并且更具体地说涉及用于确定由自主车辆检测的所检测物体的空间位置的系统和方法。
背景技术
自主车辆是能够在较少或没有用户输入的情形下感测其环境和导航的车辆。自主车辆通过使用诸如雷达、激光雷达、图像传感器之类的感测装置来这样做。自主车辆系统进一步使用来自全球定位系统(GPS)技术、导航系统、车辆对车辆通信、车辆对基础设施技术和/或线控驱动系统的信息以导航车辆。
虽然近年来导航系统中已取得了重大进展,但这些系统在许多方面仍有待改进。例如,需要用于确定在环境中检测到的物体(例如其他车辆,建筑物等)的位置的有效、快速且准确的方法。
因此,期望提供用于检测和确定由自主车辆检测的物体的位置的系统和方法。此外,从结合附图和前文技术领域和背景技术的后续具体实施方式和所附权利要求中,本发明的其它期望特征和特点会变得显而易见。
发明内容
提供用于控制第一车辆的系统和方法。在一个实施例中,视觉位置评估方法包括提供环境的地面模型并在车辆处接收与环境相关的传感器数据,该传感器数据包括由联接于车辆的光学照相机获取的光学图像数据。该方法进一步包括:利用处理器基于地面模型、车辆的位置以及光学照相机的位置生成虚拟照相机图像;以及利用处理器来基于虚拟照相机图像和光学图像数据确定环境中物体的位置。
在一个实施例中,通过经由包含到对应的多个自主车辆中的多个传感器系统获取与地面的位置相关的传感器数据来提供环境的地面模型。
在一个实施例中,确定物体的位置包括将虚拟照相机图像叠加到光学图像数据上。
在一个实施例中,确定物体的位置包括确定虚拟照相机图像中的地面模型与物体的几何表示之间的交叉点。
在一个实施例中,物体的几何表示是边界矩形。
在一个实施例中,虚拟照相机图像包括多个像素,每个像素均具有对应的预先计算的距车辆距离和地面模型上的点。
在一个实施例中,该地面模型包括世界坐标系中的二维位置数值阵列。
根据一个实施例的用于控制车辆的系统包括地面模型创建模块、传感器系统、虚拟照相机图像模块以及物体位置确定模块。地面模型创建模块、包括处理器构造成生成环境的地面模型。传感器系统构造成产生与环境相关的传感器数据,该传感器数据包括由联接于车辆的光学照相机获取的光学图像数据。虚拟照相机图像模块、包括处理器构造成基于地面模型、车辆的位置以及光学照相机的位置而生成虚拟照相机图像。物体位置确定模块、包括处理器基于虚拟照相机图像和光学图像数据确定环境中物体的位置。
在一个实施例中,经由包含到对应的多个自主车辆中的多个传感器系统基于与地面的位置相关的传感器数据来生成环境的地面模型。
在一个实施例中,通过将虚拟照相机图像叠加到光学图像数据上确定物体的位置。
在一个实施例中,通过确定虚拟照相机图像中的地面模型与物体的几何表示之间的交叉点确定物体的位置。
在一个实施例中,物体的几何表示是边界矩形。
在一个实施例中,虚拟照相机图像包括多个像素,每个像素均具有对应的预先计算的距车辆距离和地面模型上的点。
在一个实施例中,该地面模型包括世界坐标系中的二维位置数值阵列。
根据一个实施例的自主车辆包括至少一个传感器,该至少一个传感器提供传感器数据,该传感器数据包括通过联接于车辆的光学照相机获取的光学图像数据。该自主车辆进一步包括控制器,该控制器通过处理器并且基于传感器数据而基于地面模型、自主车辆的位置以及光学照相机的位置生成虚拟照相机图像,并且基于虚拟照相机图像和光学图像数据确定环境中物体的位置。
根据一个实施例,通过经由包含到对应的多个自主车辆中的多个传感器系统获取与地面的位置相关的传感器数据来生成环境的地面模型。
在一个实施例中,通过将虚拟照相机图像叠加到光学图像数据上并且确定虚拟照相机图像中的地面模型和物体的几何表示之间的相交点来确定物体的位置。
在一个实施例中,物体的几何表示是边界矩形。
在一个实施例中,虚拟照相机图像包括多个像素,每个像素均具有对应的预先计算的距车辆距离和地面模型上的点。
在一个实施例中,该地面模型包括世界坐标系中的二维位置数值阵列。
附图说明
之后会结合以下附图来描述示例性实施例,其中,类似的附图标记指代类似的元件,且附图中:
图1是说明根据各种实施例的包括视觉位置评估系统的自主车辆的功能性框图;
图2是说明具有根据各种实施例的图1中所示的一个或多个自主车辆的运输系统的功能性框图;
图3是说明与根据各种实施例的自主车辆相关联的自主驾驶系统(ADS)的功能性框图;
图4是说明根据各种实施例的自主车辆的视觉位置评估系统的数据流图;
图5是说明用于控制根据各种实施例的自主车辆的控制方法的流程图;
图6说明并且例示根据各种实施例的地面模型;
图7说明由包含到根据各种实施例的自主车辆中的照相机所检测的物体;
图8说明与图7中示出的环境相对应的虚拟照相机视域;以及
图9说明与根据各种实施例的图7和8所示示例相对应的虚拟照相机图像和实际照相机图像的组合。
具体实施方式
以下详细描述在本质上仅仅是示例性的,并不旨在限制本申请和用途。此外,并不旨在受任何上述技术领域、背景技术、发明内容或下文详述部分提供的任何明确或暗示的理论所限制。如这里所使用的是,术语“模块”个别地或以任何组合指代任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置,包括但不限于:专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、处理器(共享、专用或集群)以及执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所描述功能性的其它合适部件。
本发明的实施例在本文中可依照功能和/或逻辑方框部件和各种处理步骤予以描述。应当认识到,这些方框部件可由构造成执行特定功能的任意数量的硬件、软件和/或固件部件来实现。例如,本发明的一个实施例可采用诸如存储器元件、数字信号处理元件、逻辑元件、查询表等等的各种集成电路部件,这些集成电路部件可在一个或多个微处理器或其它控制装置的控制下执行多种功能。此外,本领域技术人员会意识到的是,本发明的实施例可结合任何数量的系统来实践,且这里描述的系统仅仅是本发明的示例性实施例。
出于简化起见,这里可能并不详细描述与系统的信号处理、数据传输、信令、控制、机器学习模型、雷达、激光雷达、图像分析以及系统(和系统的各个操作部件)的其它功能方面相关的传统技术。此外,这里包含的各个附图中所示的连接线旨在表示各种元件之间的示例功能关系和/或物理联接。应当注意到的是,在本发明的实施例中可提供许多替代或附加的功能关系或物理连接。
参照图1,大体示作100的视觉位置评估系统根据各种实施例与车辆10相关联。通常,视觉位置评估系统(或简称为“系统”)100允许基于AV 10的位置和姿势使用地面模型和虚拟照相机图像来评估AV 10附近的所检测物体的位置。
如图1中所示,车辆10通常包括底盘12、车体14、前车轮16以及后车轮18。车体14设置在底盘12上,并且基本上封围车辆10的部件。车体14和底盘12可共同地形成车架。车轮16-18各自在车体14的相应角部附近旋转地联接于底盘12。
在各种实施例中,车辆10是自主车辆,且视觉位置评估系统100包含到自主车辆10(之后称为自主车辆10)中。自主车辆10例如是自动地受控以将乘客从一个位置运送至另一个位置的车辆。车辆10在所说明的实施例中示作乘用汽车,但应意识到的是,也可使用任何其它交通工具,包括摩托车、卡车、运动型多功能车辆(SUV)、娱乐车辆(RV)、海洋船只、飞行器等等。
在一示例性实施例中,自主车辆10在汽车工程师协会(SAE)“J3016”自动驾驶级别的标准分类下与级别四或级别五自动化系统相对应。使用该术语,级别四系统指示“高自动化”,其指代这样的驾驶模式,即使人类驾驶员并未适当地响应于干预请求,专门由自动驾驶系统执行动态驾驶任务的所有方面。另一方面,级别五系统指示“全自动化”,这指代在能由人类驾驶员管理的所有道路和环境条件下由自动驾驶系统执行动态驾驶任务的所有方面。然而,应意识到的是,根据本主题的实施例并不局限于任何特定的自动化类别的分类或规定。此外,根据本实施例的系统能与可以实施本主题的任何车辆结合使用,而不管其自动化级别如何。
如图所示,自主车辆10通常包括推进系统20、变速器系统22、转向系统24、制动器系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34以及通信系统36。推进系统20在各种实施例中可包括内燃机、诸如牵引电机的电动机器和/或燃料电池推进系统。变速器系统22构造成根据可选择的速度比来将动力从推进系统20传递至车辆车轮16和18。根据各种实施例,变速器系统22可包括步进比率自动变速器、无级变速器或其它合适的变速器。
制动器系统26构造成将制动转矩提供给车辆车轮16和18。在各种实施例中,制动器系统26可包括摩擦制动器、线控制动器、诸如电动机器的再生制动系统和/或其它合适的制动系统。
转向系统24影响车辆车轮16和/或18的位置。虽然出于说明的目的示作包括方向盘25,但在本发明范围内所设想的一些实施例中,转向系统24可并不包括方向盘。
传感器系统28包括一个或多个感测装置40a-40n,这些感测装置感测自主车辆10的外部环境和/或内部环境的可观测状况(例如,一个或多个乘员的状态)。感测装置40a-40n可包括但不限于雷达(例如,长距离、中距离-短距离)、激光雷达、全球定位系统、光学照相机(例如,面向前、360度、面向后、面向侧面、立体等等)、热(例如,红外)照相机、超声波传感器、测距传感器(例如,编码器)和/或可能结合本主题的系统和方法使用的其它传感器。
致动器系统30包括一个或多个致动器装置42a-42n,这些致动器装置控制一个或多个车辆特征件,例如但不限于推进系统20、变速器系统22、转向系统24以及制动器系统26。在各种实施例中,自主车辆10还可包括图1中未说明的内部和/或外部车辆特征件,例如各种车门、后备箱以及诸如空气、音乐、照明、触摸屏部件的舱室特征(例如结合导航系统使用的那些)等等。
数据存储装置32存储用于自动地控制自主车辆10的数据。在各种实施例中,数据存储装置32存储可导航环境的限定地图。在各种实施例中,限定地图可由远程系统(参照图2进一步详细地描述)预先限定并且从该远程系统中获得。例如,限定地图可由远程系统组装并且通信至自主车辆10(无线地和/或以有线的方式)并存储在数据存储装置32中。路线信息也可以存储在数据存储装置32中,即,一组路段(在地理上与一个或多个限定地图相关联),这些路段一起限定用户从起始位置(例如,用户的当前位置)行驶至目标位置可采取的路线。例如能意识到的是,数据存储装置32可以是控制器34的一部分、与控制器34分开、或者是控制器34的一部分以及是单独系统的一部分。
控制器34包括至少一个处理器44以及计算机可读存储装置或介质46。处理器44可以是任何客户定制或市场上可购得的处理器、中央处理单元(CPU)、图形处理单元(GPU)、专用集成电路(ASIC)(例如,实施神经网络的定制ASIC)、现场可编程门阵列(FPGA)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片组的形式)、其任何组合或者通常是用于执行指令的任何装置。计算机可读存储装置或介质46可例如包括只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储器。KAM是持久或非易失性存储器,其可用于在处理器44断电的同时存储各种操作变量。计算机可读存储装置或介质46可使用诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪速存储器或能够存储数据的任何其它电、磁性、光学或组合存储器装置的多个已知存储器装置的任何一个来实施,上述数据中的一些表示由控制器34用来控制自主车辆10的可执行指令。在各种实施例中,控制器34构造成实施下文详细讨论的视觉位置评估系统。
这些指令可包括一个或多个分开的程序,每个程序均包括用于实施逻辑功能的可执行指令的有序列表。这些指令在由处理器44执行时、接收并处理来自传感器系统28的信号,执行逻辑、计算、方法和/或算法来用于自动地控制自主车辆10的部件,并且基于逻辑、计算、方法和/或算法生成控制信号,这些控制信号发送至致动器系统30,以自动地控制自主车辆10的各部件。虽然在图1中仅仅示出一个控制器34,但自主车辆10的实施例可包括任何数量的控制器34,这些控制器经由任何合适的通信介质或通信介质的组合来通信,并且协配以处理传感器信号、执行逻辑、计算、方法和/或算法,且生成控制信号来自动地控制自主车辆10的特征件。
通信系统36构造成将信息无线地通信至其它实体48以及从其它实体通信信息,这些实体例如但不限于其它车辆(“V2V”通信)、基础设施(“V2I”通信)、网络(“V2N”通信)、行人(“V2P”通信)、远程运输系统和/或用户装置(参照图2更详细地描述)。在一示例性实施例中,通信系统36是无线通信系统,该无线通信系统构造成经由使用IEEE 802.11标准的无线局域网(WLAN)或者通过使用蜂窝数据通信来进行通信。然而,诸如专用短距离通信(DSRC)信道的附加或替代的通信方法也被认为落在本发明的范围内。DSRC信道指代专门针对汽车用途设计的单向或双向短距离至中距离无线通信信道以及对应的一组协议和标准。
现参照图2,在各种实施例中,关于图1描述的自主车辆10可以适用于特定地理区域(例如,城市、学校或商业园区、购物中心、游乐园、活动中心等)中的出租车或穿梭系统的情形中,或者可以简单地由远程系统管理。例如,自主车辆10可与基于自主车辆的远程运输系统相关联。图2说明总地以50示出的操作环境的示例性实施例,该操作环境包括基于自主车辆的远程运输系统(或简称为“远程运输系统”)52,该远程运输系统与关于图1描述的一个或多个自主车辆10a-10n相关联。在各种实施例中,操作环境50(所有或其一部分可对应于图1中示出的实体48)进一步包括一个或多个用户装置54,这些用户装置经由通信网络56与自主车辆10和/或远程运输系统52通信。
通信网络56支持由操作环境50支持的装置、系统和部件之间按需求的通信(例如,经由有形通信链路和/或无线通信链路)。例如,通信网络56可包括无线载波系统60,该无线载波系统例如是蜂窝电话系统,该蜂窝电话系统包括多个发射塔(未示出)、一个或多个移动交换中心(MSC)(未示出)以及将无线载波系统60与陆地通信系统相连接所需的任何其它联网部件。每个发射塔均包括发送和接收天线以及基站,其中,来自不同发射塔的基站直接地或者经由诸如基站控制器的中间设备连接于MSC。无线载波系统60能实施任何合适的通信技术,例如包括诸如CDMA(例如,CDMA 2000)、LTE(例如,4G LTE或5G LTE)GSM/GPRS的数字技术或者其它当前或新兴的无线技术。其它发射塔/基站/MSC布置也是可能的并且可用于无线载波系统60。例如,仅仅列举一些可能的布置,基站和发射塔可共同定位在相同部位或者它们可相对于彼此远程地定位,每个基站可用于单个发射塔或者单个基站可服务各个发射塔,或者各个基站可联接于单个MSC。
除了包括无线载波系统60以外,可包括呈卫星通信系统64的形式的第二无线载波系统,以提供与自主车辆10a-10n的单向或双向通信。这可使用一个或多个通信卫星(未示出)和上行链路发射站(未示出)来进行。单向通信可例如包括卫星无线电服务,其中,节目内容(新闻、音乐等等)由发射站接收、打包上传且然后发送至卫星,该卫星将节目播送至用户。双向通信可例如包括使用卫星来中继车辆10和发射站之间的电话通信的卫星电话技术服务。卫星电话技术可附加于或替代无线载波系统60来使用。
可进一步包括陆地通信系统62,该陆地通信系统是连接于一个或多个路线电话的传统陆基电信网络,并且将无线载波系统60连接于远程运输系统52。例如,陆地通信系统62可包括公共交换电话网络(PSTN),例如用于提供硬接线电话技术、分组交换数据通信以及因特网基础设施的那种。陆地通信系统62的一个或多个区段可通过使用标准有线网络、光纤或其它光学网络、电缆网络、电源线、诸如无线局域网(WLAN)的其它无线网络或提供宽带无线接入(BWA)的网络或任何其组合来实施。此外,远程运输系统52无需经由陆地通信系统62连接,而是可包括无线电话技术设备,以使得其能与诸如无线载波系统60的无线网络直接地通信。
虽然在图2中示出仅仅一个用户装置54,但操作环境50的各实施例能支持任何数量的用户装置54,包括由一个人拥有、操作或以其它方式使用的多个用户装置54。由操作环境50支持的每个用户装置54可使用任何合适的硬件平台来实施。在这点上,用户装置54能以任何共同的规格来实现,包括但不限于:台式计算机;移动计算机(例如,平板电脑、膝上型电脑或上网本);智能电话;视频游戏装置;数字媒体播放器;家庭娱乐设备的部件;数字照相机或视频照相机;可穿戴计算装置(例如,智能手表、智能眼睛、智能服装);等等。由操作环境50支持的每个用户装置54实现为计算机实施的或基于计算机的装置,其具有执行这里描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑。例如,用户装置54包括呈可编程装置的形式的微处理器,该微处理器包括一个或多个指令,这些指令存储在内部存储器结构中并且施加以接收二进制输入来产生二进制输出。在一些实施例中,用户装置54包括GPS模块,该GPS模块能够接收GPS卫星信号并且基于那些信号生成GPS坐标。在其它实施例中,用户装置54包括蜂窝通信功能性,以使得该装置使用一个或多个蜂窝通信协议经由通信网络56来执行语音和/或数据通信,例如这所讨论的那样。在各种实施例中,用户装置54包括诸如触摸屏图形显示器的可视显示器或者其它显示器。
远程运输系统52包括一个或多个后端服务器系统(未示出),这些后端服务器系统可以是云基的、网络基的或者驻存在由远程运输系统52服务的特定校园或地理位置处。远程运输系统52能由现场提示器、自动提示器、人工智能系统或者它们的组合操控。远程运输系统52能与用户装置54和自主车辆10a-10n通信,以规划驾乘、调度自主车辆10a-10n等等。在各种实施例中,远程运输系统52存储账户信息,例如用户授权信息、车辆标识符、简档记录、生物识别数据、行为模式以及其它相关用户信息。
根据典型的使用情形工作流,远程运输系统52的注册用户会经由用户装置54产生驾乘请求。驾乘请求通常会指示乘客的期望搭乘位置(或当前GPS位置)、期望的目的地位置(其可识别预定车辆停靠站和/或用户指定的乘客目的地)以及搭乘时间。远程运输系统52接收驾乘请求、处理该请求并调度自主车辆10a-10n的选定一个(当且如果一个车辆可用时)来在指定的搭乘位置并且在合适的时刻处搭乘乘客。运输系统52还可产生适当构造的确认消息或通知并将其发送至用户装置54,以使得乘客了解车辆正在途中。
例如能意识到的是,这里公开的主题为可被认为是标准或基线自主车辆10和/或基于自主车辆的远程运输系统52提供某些增强特征和功能性。为此,自主车辆和基于自主车辆的远程运输系统可得以修改、增强或以其它方式补充,以提供下文更详细描述的附加特征。
根据各种实施例,控制器34实施如图3中所示的自主驾驶系统(ADS)70。也就是说,控制器34的合适软件和/或硬件部件(例如,处理器44和计算机可读存储装置46)用于提供结合车辆10使用的自主驾驶系统70。
在各种实施例中,自主驾驶系统70的指令可通过功能或系统来组织。例如,如图3中所示,自主驾驶系统70可包括计算机视觉系统74、定位系统76、引导系统78以及车辆控制系统80。例如能意识到的是,在各种实施例中,指令可组织到任何数量的系统中(例如,组合、进一步划分等等),因为本发明并非局限于本示例。
在各种实施例中,计算机视觉系统74合成并且处理传感器数据,并预测车辆10的环境的对象和特征的存在、位置、分类和/或路径。在各种实施例中,计算机视觉系统74能包含来自多个传感器(例如,传感器系统28)的信息,这些传感器包括但不限于照相机、激光雷达、雷达和/或任何数量的其它类型传感器。
定位系统76处理传感器数据连同其它数据一起,以确定车辆10相对于环境的位置(例如,相对于地图的本地位置、相对于道路的车道的精确位置、车辆航向等等)。例如可意识到的是,可采用各种技术来实现此种定位,例如包括同时定位和映射(SLAM)、颗粒过滤器、卡尔曼过滤器、贝叶斯过滤器等等。
引导系统78处理传感器数据连同其它数据,以确定车辆10所要遵循的路径。车辆控制系统80根据所确定的路径来产生用于控制车辆10的控制信号。
在各种实施例中,控制器34实施机器学习技术,以辅助控制器34的功能性,例如特征检测/分类、障碍物规避、路线穿越、测绘、传感器整合、地面真实情况确定等等。
在各种实施例中,视觉位置评估系统100的所有或各部分可包括在计算机视觉系统74、定位系统76、引导系统78和/或车辆控制系统80内。如上面简要提到地是,图1的视觉位置评估系统100构造成通过基于地面模型生成环境的虚拟照相机图像、然后将虚拟照相机图像叠加在由AV 10获取的实际照相机图像上来评估AV 10(例如,车辆、行人、建筑物等)附近的一个或多个所检测物体的空间位置。然后,可基于所检测物体(例如,所检测物体的边界矩形)与地面模型相交的位置来评估所检测物体的位置。
现参照图4,且继续参照图1-3,根据各种实施例的示例性视觉位置评估系统100包括地面模型创建模块410、虚拟照相机图像模块420以及物体位置确定模块430。地面模型创建模块410通常接收与车辆的环境相关的传感器数据401(例如,照相机图像、激光雷达数据或从图1的传感器28接收的任何其他传感器数据),并且作为其输出(411)具有经由能够表征AV 10附近地面的地形的任何方便数据结构表示的地面模型。在一个实施例中,例如下文进一步详细描述地是,地面模型411是相对于世界坐标系的三维空间中的点的网格或矩阵。
虚拟照相机图像模块420通常构造成利用地面模型411,并在给定AV 10(及其各种传感器)的实际位置和姿势的情况下生成与AV 10附近的预期地面地形相对应的虚拟照相机图像421。也就是说,给定AV 10的已知位置及其各种照相机的已知位置,虚拟照相机图像模块420确定地面模型411在照相机的视场内的投影(即,通过将虚拟照相机在地面模型411的虚拟空间内放置于相同位置和相同定向上)。
物体位置确定模块430通常构造成接收虚拟照相机图像421和实际照相机图像422并将它们叠加,以使得能评估所检测物体(在实际照相机图像422内)的空间位置(输出431)。在一个实施例中,例如下文进一步详细描述地是,通过评估所检测物体的边界矩形并且确定其下边缘或线段与地面模型相交的位置来确定所检测物体的评估位置。然后,使用地面模型内的一个或多个相交点(其空间位置是已知的)来确定所检测物体的评估位置。会理解地是,此种操作的计算复杂度(例如,确定矩形和网格表面的相交部)是低的,因此可以非常快速地执行以这种方式对物体位置的评估。
根据本发明的视觉位置评估系统100的各种实施例可包括嵌入在控制器34内的任何数量的子模块,这些子模块可以组合和/或进一步划分,以类似地实施这里描述的系统和方法。此外,向视觉位置评估系统100的输入可以从传感器系统28接收,从与自主车辆10相关联的其他控制模块(未示出)接收,从通信系统36接收,和/或由控制器34内的其他子模块(未示出)确定/建模。此外,这些输入还可经受预处理,例如子采样、降噪、归一化、特征提取、丢失数据减少等。
此外,上述各种模块(例如,模块410、420和430)可以实施为一个或多个机器学习模型,这些机器学习模型经历监督、无监督、半监督或强化学习并执行分类(例如,二元或多类分类)、回归、聚类、降维和/或此类任务。此类模型的示例包括但不限于人工神经网络(ANN)(例如递归神经网络(RNN)和卷积神经网络(CNN))、决策树模型(例如分类和回归树(CART))、集成学习模型(例如,提升、自举聚合、梯度推进机和随机森林)、贝叶斯网络模型(例如,朴素贝叶斯)、主成分分析(PCA)、支持向量机(SVM)、聚类模型(例如,K-最近邻、K均值、期望最大化、层次聚类等)、线性判别分析模型。在一些实施例中,训练发生在远离车辆10的系统(例如,图2中的系统52)内,并且随后下载到车辆10以在车辆10的正常操作期间使用。在其他实施例中,训练自身至少部分地在车辆10的控制器34内发生,并且该模型随后与车队中的外部系统和/或其他车辆共享(例如图2中所示)。训练数据可类似地由车辆10生成或者从外部获取,并且可在训练之前划分为训练集、验证集和测试集。
现参照图5连同之前描述的图1-4一起以及图6-9中示出的各种示例,所说明的流程图提供控制方法500,该控制方法可由根据本发明的视觉位置评估系统100执行。例如根据本发明可意识到的是,方法内的操作顺序并不限于附图中说明的按序执行,而是可根据适用并且根据本发明而以一个或多个改变的顺序执行。在各种实施例中,可将该方法安排为基于一个或多个预定事件运行,和/或该方法可在自主车辆10的运行期间持续地运行。
在各种实施例中,方法500在501处开始,其中,(例如,通过接收来自远程系统52的模型)来提供环境的地面模型。关于这一点,图6示出了示例地面模型600,该地面模型包括点601的网格或矩阵,这些点一起表征“地面”的地形(即,对应于道路、人行道的标称基线表面和通常在操作期间由AV 10观察到的其他此类表面)。
例如会意识到的是,地面模型600内的某些区域可能是未限定的(说明为图6中的区域602),因为假定建筑物、树木和其他此类结构的存在,地面的位置将不会总是已知的。此类未限定区域的存在是不成问题的,因为地面模型600主要针对表征AV 10可能行驶通过的道路。
地面模型600的分辨率(即,横向间距)可以改变,但是在一个实施例中,范围从大约0.5-1.5米。在一些实施例中,地面模型600的分辨率在10-20cm的量级上。虽然地面模型600说明为方形网格,但实施例的范围并不受此限制。地面模型600可表征为矩形元素、三角形元素或任何其他适当网格元素形状的网格。
不考虑所使用的特定分辨率,地面模型600包括一组点,这些点在世界坐标系内具有已知绝对位置(例如,对应于x、y和z坐标的2D数值阵列)。例如下文会讨论的是,这些点会之后转换为照相机的3D坐标系,并且然后投影到2D平面上以产生地面模型600的虚拟图像。
地面模型600能以各种方式生成。例如,在一个实施例中,在多个自主车辆(例如,AV 10)于正常操作过程中行驶通过环境时,通过由这些自主车辆获取的传感器数据(例如,激光雷达、雷达以及光学数据)生成地面模型600。也就是说,随着时间的推移,地面模型600可以使用由在道路上操作的一队自主车辆获取的传感器数据而随时间增添和完善。在一个实施例中,仅仅围绕自主车辆的预定区域用于表征地面模型600,例如在自主车辆行驶通过环境时在该自主车辆上居中的240×240平方米的区域。这样,AV 10可避免存储与AV 10不可能行驶通过的区域(例如,距离任何可导航空间相当远的区域)相对应的地面模型信息。
再次参照图5,在502处,在AV 10的正常操作期间,(例如,经由传感器系统28)接收与AV 10附近环境相关的传感器数据。图7说明AV 10,该AV包括光学照相机702(不失一般性的说明为顶置照相机),该光学照相机的位置和定向使得其具有视场703。因此,照相机702获取由矩形区域704表示的环境700的图像。例如在该示例中所示,使用任何可用的传感器数据(例如,光学、激光雷达和雷达数据)来由AV 10示出物体710(在该附图中说明为交通锥标)。
给定AV 10的已知位置以及照相机702相对于AV 10的已知位置和定向,在502处,生成地面模型600的虚拟照相机图像。这能以规则间隔、例如以约10Hz的采样率来执行。关于这一点,图8示出虚拟照相机802,该虚拟照相机(在地面模型600的虚拟环境内)“放置”在与图7的实际照相机702的位置和定向相对应的虚拟位置处。例如会意识到的是,由于相对于照相机702执行的任何校准程序,AV 10的位置以及照相机702相对于AV 10的位置和定向会是事先已知的。类似地,由于照相机702的焦距以及其它几何特征也是已知的,因而虚拟照相机802可构造成使得其具有视场803,该视场也基本上与实际照相机702的视场703相同。这样,可生成地面模型600的区域690的虚拟图像(804)。在一个实施例中,虚拟图像804在每个像素处包括从虚拟照相机802到地面模型600的对应网格点的计算距离。
最后,在504处,基于虚拟照相机图像804和实际照相机图像704来评估所检测物体710的位置。这能以各种方式来实现。借助非限制示例,图9示出与虚拟(图7的)虚拟图像704和(图8的)实际照相机图像804的叠加相对应的图像900。所检测物体710连同其边界矩形910一起示出。例如可观察到的是,边界矩形910的底部区域(例如,最底部线段)与点912附近的地面模型区域690相交。由于点912在地面模型600内的位置是已知的,因而能基于点912的位置来评估所检测物体710的位置。可以采用考虑到帐户边界矩形910(或任何其他边界形状)及其与地面模型区域690的几何关系的其他方法。
在一些实施例中,该系统包括这样一种能力,还关联基于位置的距离测量中的不确定性。例如,如果AV 10观察到轻微远离它的山丘,则系统将降低其相对于车辆定位的确定性水平,因为在地图空间中存在与图像空间中的相同像素相对应的多个位置。然而,如果车辆正在上坡,AV 10可能已经高度自信地了解相应的位置。
虽然在前文详细描述中已呈现了至少一个示例性实施例,但应意识到的是存在各种各样变型。还应意识到的是,示例性实施例或多个示例性实施例仅仅是示例,但并不旨在以任何方式限制本发明的范围、可适用性或构造。而是,前文详细描述会为本领域技术人员提供用于实施示例性实施例或多个示例性实施例的便利指引图。应理解的是,可对元件的功能和结构做出各种改变,而不会偏离在所附权利要求及其法律等同物中阐述的本发明范围。

Claims (10)

1.一种视觉位置评估方法,包括:
提供环境的地面模型;
在车辆处接收与所述环境相关的传感器数据,所述传感器数据包括由联接于所述车辆的光学照相机获取的光学图像数据;
利用处理器基于所述地面模型、所述车辆的位置以及所述光学照相机的位置生成虚拟照相机图像;以及
利用处理器基于所述虚拟照相机图像和所述光学图像数据确定所述环境中物体的位置。
2.根据权利要求1所述的方法,其中,提供所述环境的所述地面模型包括经由包含到对应的多个自主车辆中的多个传感器系统获取与所述地面的位置相关的传感器数据。
3.根据权利要求1所述的方法,其中,确定所述物体的位置包括将所述虚拟照相机图像叠加到所述光学图像数据上。
4.根据权利要求3所述的方法,其中,确定所述物体的位置包括确定所述虚拟照相机图像中的所述地面模型与所述物体的几何表示之间的交叉点。
5.根据权利要求4所述的方法,其中,所述物体的所述几何表示是边界矩形。
6.根据权利要求1所述的方法,其中,所述虚拟照相机图像包括多个像素,每个像素均具有对应的预先计算的距所述车辆的距离和所述地面模型上的点。
7.一种用于控制车辆的系统,包括:
地面模型创建模块,所述地面模型创建模块包括处理器且构造成生成环境的地面模型;
传感器系统,所述传感器系统构造成产生与所述环境相关的传感器数据,所述传感器数据包括由联接于所述车辆的光学照相机获取的光学图像数据;
虚拟照相机图像模块,所述虚拟照相机图像模块包括处理器且构造成基于所述地面模型、所述车辆的位置以及所述光学照相机的位置生成虚拟照相机图像;以及
物体位置确定模块,所述物体位置确定模块包括处理器且构造成基于所述虚拟照相机图像和所述光学图像数据确定所述环境中物体的位置。
8.根据权利要求7所述的系统,其中,经由包含到对应的多个自主车辆中的多个传感器系统,经由与所述地面的位置相关的传感器数据生成所述环境的所述地面模型。
9.根据权利要求7所述的系统,其中,通过将所述虚拟照相机图像叠加到所述光学图像数据上来确定所述物体的位置。
10.根据权利要求9所述的系统,其中,通过发现所述虚拟照相机图像中的所述地面模型和所述物体的几何表示之间的交叉点来确定所述物体的位置。
CN201811327994.2A 2017-11-22 2018-11-08 用于自主车辆中视觉位置评估的系统和方法 Pending CN109813555A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/820,628 US20180095475A1 (en) 2017-11-22 2017-11-22 Systems and methods for visual position estimation in autonomous vehicles
US15/820628 2017-11-22

Publications (1)

Publication Number Publication Date
CN109813555A true CN109813555A (zh) 2019-05-28

Family

ID=61757024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811327994.2A Pending CN109813555A (zh) 2017-11-22 2018-11-08 用于自主车辆中视觉位置评估的系统和方法

Country Status (3)

Country Link
US (1) US20180095475A1 (zh)
CN (1) CN109813555A (zh)
DE (1) DE102018129075A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10552691B2 (en) * 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
KR20200010640A (ko) * 2018-06-27 2020-01-31 삼성전자주식회사 모션 인식 모델을 이용한 자체 운동 추정 장치 및 방법, 모션 인식 모델 트레이닝 장치 및 방법
US10884424B2 (en) 2018-09-07 2021-01-05 GM Global Technology Operations LLC Traffic light occlusion detection for autonomous vehicle
CN110049444A (zh) * 2018-12-29 2019-07-23 中国银联股份有限公司 基于5g的定位方法以及基于5g的定位系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040201587A1 (en) * 2002-03-04 2004-10-14 Kazufumi Mizusawa Image combination/conversion apparatus
CN102714712A (zh) * 2010-01-19 2012-10-03 富士通天株式会社 图像处理设备、图像处理系统和图像处理方法
CN104093600A (zh) * 2011-11-30 2014-10-08 株式会社伊美吉内柯斯特 用于生成车辆环境的三维图像的方法和装置
CN104204847A (zh) * 2012-01-19 2014-12-10 罗伯特·博世有限公司 用于可视化车辆的周围环境的方法和装置
US20150002640A1 (en) * 2012-03-21 2015-01-01 Bayerische Motoren Werke Aktiengesellschaft Method and Device for Processing Images from Image Data
CN104658036A (zh) * 2015-01-30 2015-05-27 郑州大学 一种快速建立智能交通三维场的方法
CN105324729A (zh) * 2013-06-14 2016-02-10 罗伯特·博世有限公司 用于模型化车辆的周围环境的方法
CN106846410A (zh) * 2016-12-20 2017-06-13 北京鑫洋泉电子科技有限公司 基于三维的行车环境成像方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040201587A1 (en) * 2002-03-04 2004-10-14 Kazufumi Mizusawa Image combination/conversion apparatus
CN102714712A (zh) * 2010-01-19 2012-10-03 富士通天株式会社 图像处理设备、图像处理系统和图像处理方法
CN104093600A (zh) * 2011-11-30 2014-10-08 株式会社伊美吉内柯斯特 用于生成车辆环境的三维图像的方法和装置
CN104204847A (zh) * 2012-01-19 2014-12-10 罗伯特·博世有限公司 用于可视化车辆的周围环境的方法和装置
US20150002640A1 (en) * 2012-03-21 2015-01-01 Bayerische Motoren Werke Aktiengesellschaft Method and Device for Processing Images from Image Data
CN105324729A (zh) * 2013-06-14 2016-02-10 罗伯特·博世有限公司 用于模型化车辆的周围环境的方法
CN104658036A (zh) * 2015-01-30 2015-05-27 郑州大学 一种快速建立智能交通三维场的方法
CN106846410A (zh) * 2016-12-20 2017-06-13 北京鑫洋泉电子科技有限公司 基于三维的行车环境成像方法及装置

Also Published As

Publication number Publication date
DE102018129075A1 (de) 2019-05-23
US20180095475A1 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
CN108528458B (zh) 用于车辆尺寸预测的系统和方法
CN109466548A (zh) 用于自主车辆操作的地面参照确定
US10365650B2 (en) Methods and systems for moving object velocity determination
CN110068346B (zh) 用于自主车辆中不受保护的操纵缓解的系统和方法
CN108693876B (zh) 用于具有控制部件的车辆的目标跟踪系统及方法
CN109808700A (zh) 用于在自主车辆中映射道路干扰物体的系统和方法
CN109814520A (zh) 用于确定自主车辆的安全事件的系统和方法
CN109866778A (zh) 具有自动辅助的自主车辆操作
CN109131346A (zh) 用于预测自主车辆中的交通模式的系统和方法
CN110126825A (zh) 用于低级别前馈车辆控制策略的系统和方法
CN108761475A (zh) 用于自主车辆操作的校准验证
CN109552211A (zh) 用于自主车辆中的雷达定位的系统和方法
CN109949590A (zh) 交通信号灯状态评估
CN109552212B (zh) 用于自主车辆中的雷达定位的系统和方法
CN110126839A (zh) 用于自主车辆路径跟随器校正的系统和方法
CN108572663A (zh) 目标跟踪
CN110126837A (zh) 用于自主车辆运动规划的系统和方法
CN108574929A (zh) 用于自主驾驶系统中的车载环境中的联网场景再现和增强的方法和设备
CN110069060A (zh) 用于自动驾驶车辆中路径规划的系统和方法
CN108725446A (zh) 用于自主车辆的俯仰角补偿
CN109144049A (zh) 用于控制感测装置视场的系统和方法
CN109813555A (zh) 用于自主车辆中视觉位置评估的系统和方法
CN109808688A (zh) 针对即将到来的变道在自主车辆中调整速度的系统和方法
CN109808701A (zh) 用于自主车辆进入交通流的系统和方法
US20190026588A1 (en) Classification methods and systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190528

WD01 Invention patent application deemed withdrawn after publication