CN110920612B - 用于车辆自主控制的系统和方法 - Google Patents

用于车辆自主控制的系统和方法 Download PDF

Info

Publication number
CN110920612B
CN110920612B CN201910424666.2A CN201910424666A CN110920612B CN 110920612 B CN110920612 B CN 110920612B CN 201910424666 A CN201910424666 A CN 201910424666A CN 110920612 B CN110920612 B CN 110920612B
Authority
CN
China
Prior art keywords
vehicle
liquid
controller
actuator
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910424666.2A
Other languages
English (en)
Other versions
CN110920612A (zh
Inventor
M·穆拉德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110920612A publication Critical patent/CN110920612A/zh
Application granted granted Critical
Publication of CN110920612B publication Critical patent/CN110920612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/068Road friction coefficient
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/20Road profile
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20Ambient conditions, e.g. wind or rain
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data

Abstract

一种机动车辆,包括:被配置为控制车辆的转向、加速或换档的执行器,被配置为捕获车辆外部区域的图像的传感器,以及与执行器和传感器通信的控制器。所述控制器被配置为根据主模式和辅助模式选择性地控制所述执行器。所述控制器还被配置为检测靠近车辆的行驶表面上的液体,基于由所述传感器捕获的图像估算液体的深度,并且响应于深度超过预定阈值而以辅助模式控制所述执行器。

Description

用于车辆自主控制的系统和方法
技术领域
本发明涉及用于车辆自主控制的系统和方法。
背景技术
车辆行驶表面上的液体(例如降水)可能会为车辆的控制带来各种挑战。例如,道路上的液体会降低车辆的轮胎与行驶表面之间的摩擦系数。而且,当液体的深度过高时,例如,在积水的状况下或在非常深的水坑中,行驶表面可能变成无法令车辆在不引起车辆损坏的风险下通行。
发明内容
根据本文公开的机动车辆包括:被配置为控制车辆的转向、加速、速度或换挡的执行器,被配置为捕获车辆外部的区域的图像的传感器;以及与执行器和传感器通信的控制器。控制器被配置为根据主模式和辅助模式选择性地控制执行器。控制器还被配置为检测靠近车辆的行驶表面上的液体,以基于由传感器捕获的图像来估算液体的深度,并且响应于深度超过预定阈值而以辅助模式控制执行器。
在示例性实施方式中,控制器被配置为基于行驶表面上的液体的定位和该定位的地形数据来估算液体的深度。
在示例性实施方式中,控制器被配置为基于与液体相关联的对称线的位置来估算液体的深度。在这样的实施方式中,控制器可以被配置为基于来自传感器的信号来识别车辆外部的对象,并且基于对称线相对于车辆外部的对象的位置来估算液体的深度,其中,对象具有至少一个已知的尺寸。
在示例性实施方式中,控制器被配置为部分基于检测由传感器捕获的图像中的颜色反射来检测液体。
在示例性实施方式中,控制器还被配置为基于由传感器捕获的图像估算液体的面积,并且进一步响应于液体的面积而以辅助模式控制执行器。
在示例性实施方式中,控制器被配置为基于来自传感器的信号来识别车辆外部的对象,并且基于对象的遮挡部分估算液体的深度,其中,对象具有至少一个已知尺寸。
在示例性实施方式中,车辆还包括外部照明源。在这样的实施方式中,控制器被配置为选择性地启用外部照明源并基于由外部照明源引起的液体的反射特性来估算液体的深度。
在示例性实施方式中,主模式包括执行器的自主控制,并且辅助模式包括中断执行器的自主控制。
在示例性实施方式中,主模式包括执行器的根据默认路径的自主控制,并且辅助模式包括执行器的偏离默认路径的自主控制。在这样的实施方式中,控制器可以被配置为进一步响应于检测到的靠近液体的行人而以辅助模式控制执行器。
根据本公开的控制车辆的方法包括为车辆提供执行器、传感器和控制器,执行器被配置为控制车辆的转向、加速、速度或换档,传感器被配置为捕获车辆外部的区域的图像,控制器与执行器和传感器通信。该方法还包括经由控制器以主操作模式对执行器进行自动控制。该方法还包括经由控制器自动检测靠近车辆的行驶表面上的液体,并且经由控制器基于由传感器捕获的图像来自动估算液体的深度。该方法还包括:响应于超过预定阈值的深度,经由控制器以辅助操作模式对执行器进行自动控制。
在示例性实施方式中,自动估算液体的深度是进一步基于液体的定位和所述定位的地形数据进行的。
在示例性实施方式中,基于由传感器捕获的图像自动估算液体的深度是基于与液体相关联的对称线的位置进行的。这样的实施方式可以包括经由控制器基于来自传感器的信号来自动识别车辆外部的对象,其中,对象具有至少一个已知尺寸。在这样的实施方式中,自动估算液体的深度是基于对称线相对于车辆外部的对象的位置进行的。
在示例性实施方式中,该方法还包括经由控制器基于来自传感器的信号来自动识别车辆外部的对象,其中,对象具有至少一个已知尺寸。自动估算液体的深度是基于对象的遮挡区域进行的。
在示例性实施方式中,该方法还包括:为车辆提供外部照明源,并且响应于自动检测液体而经由控制器自动启用外部照明源。基于由传感器捕获的图像自动估算液体的深度是基于由外部照明源引起的液体的反射特性进行的。
在示例性实施方式中,以主操作模式自动控制执行器包括执行器的自主控制,并且在辅助操作模式下自动控制执行器包括中断执行器的自主控制。
在示例性实施方式中,以主操作模式对执行器进行自动控制包括执行器的根据默认路径以默认速度进行的自动控制,并且以辅助操作模式对执行器进行自动控制包括执行器的偏离默认路径或默认速度的自主控制。在这样的实施方式中,以辅助操作模式对执行器进行自动控制可以是进一步响应于检测到的接近液体的行人而进行的。
根据本文公开的实施方式提供了许多优点。例如,本公开提供了一种系统和方法,该系统和方法用于自动检测何时行驶表面不能通行或者在其他方面由于液体而不宜行驶,并且适当地对车辆进行自动控制。由此可以改善客户满意度和车辆可靠性。
根据以下结合附图对优选实施方式的详细描述,本发明的上述及其他优点和特征将变得明显。
附图说明
图1是包括根据本文公开的实施方式的自主控制式车辆的通信系统的示意图;
图2是用于根据本文公开的实施方式的车辆的自动驾驶系统(ADS)的示意性框图;
图3A和图3B是根据本文公开的实施方式的控制车辆的方法的流程图表示;
图4A、图4B和图4C示出了根据本公开的实施方式的用于确定用于确定液体深度的各种子例程。
具体实施方式
本文中描述了本发明的实施方式。然而,应当理解的是,所公开的实施方式仅仅是示例,并且其他实施方式可以采用各种替代形式。附图不一定是按比例的;一些特征可能会被放大或缩小,以示出特定部件的细节。因此,本文中公开的具体结构和功能细节不应被解释为限制性的,而仅仅是代表性的。参考任何一个附图示出和描述的各个特征可以与一个或更多个其他附图中示出的特征组合而产生未明确示出或描述的实施方式。所示特征的组合提供了用于典型应用的代表性实施方式。然而,对于特定应用或实现形式,可能需要与本文的教示一致的特征的各种组合和修改。
图1示意性地示出了包括机动车辆12的移动车辆通信和控制系统10的操作环境。车辆 12的通信和控制系统10通常包括一个或更多个无线载波系统60、陆地通信网络62、计算机 64、诸如智能电话之类的移动设备57以及远程访问中心78。
图1中示意性地示出的车辆12在所示实施方式中被描绘为乘用车,但是应当理解的是,也可以使用任何其他交通工具,包括摩托车、卡车、运动型多功能车(SUV)、休旅车(RV)、船舶、飞行器等等。车辆12包括推进系统13,推进系统13在各种实施方式中可以包括内燃发动机、诸如牵引电动机之类的电机和/或燃料电池推进系统。
车辆12还包括变速器14,变速器14被配置为根据可选择的速度比将动力从推进系统13 传递至多个车辆轮15。根据各种实施方式,变速器14可以包括有级自动变速器、无级变速器或其他适当的变速器。车辆12还包括轮制动器17,轮制动器17被配置为向车辆轮15提供制动扭矩。在各种实施方式中,轮制动器17可以包括摩擦制动器、诸如电机之类的再生制动系统和/或其他适当的制动系统。
车辆12还包括转向系统16。虽然出于说明的目的而将转向系统16描绘为包括方向盘,但是在本公开的范围内预期的一些实施方式中,转向系统16可以不包括方向盘。
车辆12包括无线通信系统28,无线通信系统28被配置为与其他车辆(“V2V”)和/或基础设施(“V2I”)进行无线通信。在示例性实施方式中,无线通信系统28被配置为经由专用短程通信(DSRC)信道进行通信。DSRC信道是指专为汽车应用而设计的单向或双向短程至中程无线通信信道以及对应的协议和标准集。然而,被配置为经由诸如IEEE 802.11和蜂窝数据通信之类的附加或替代的无线通信标准进行通信的无线通信系统也被认为在本公开的范围内。
推进系统13、变速器14、转向系统16和轮制动器17与至少一个控制器22通信或者处于至少一个控制器22的控制下。虽然出于说明的目的而将控制器22描绘为单个单元,但是控制器22可以另外包括一个或更多个其他控制器,统称为“控制器”。控制器22可以包括与各种类型的计算机可读存储设备或介质通信的微处理器或中央处理单元(CPU)。计算机可读存储设备或介质可以包括例如只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储器。KAM是可以用于在CPU断电时存储各种操作变量的持久性或非易失性存储器。计算机可读存储设备或介质可以利用许多已知存储设备中的任一存储设备来实现,已知存储设备比如为PROM(可编程只读存储器)、EPROM(电子PROM)、EEPROM(电可擦除PROM)、闪存或任何其他能够存储数据的电子、磁性、光学或组合存储设备,这些存储设备中的一些存储设备具有由控制器22在控制车辆时使用的可执行指令。
控制器22包括用于自动控制车辆中的各种执行器的自动驾驶系统(ADS)24。在示例性实施方式中,ADS24是所谓的三级自动化系统。第三级系统标志着“有条件的自动化(Conditional Automation)”,这指的是在特定驾驶模式下由自动驾驶系统实施动态驾驶任务的所有方面并且期望人类驾驶员将对干预请求进行适当响应。
根据本文公开的其他实施方式可以结合所谓的第一级或第二级自动化系统来实现。第一级系统标志着“驾驶员辅助”,这指的是在特定驾驶模式下由驾驶员辅助系统利用关于驾驶环境的信息执行转向或加速并且期望人类驾驶员实施动态驾驶任务的所有其余方面。第二级系统标志着“部分自动化”,这指的是在特定驾驶模式下由一个或更多个驾驶员辅助系统利用关于驾驶环境的信息执行转向和加速并且期望人类驾驶员实施动态驾驶任务的所有其余方面。
根据本文公开的另一些其他实施方式还可以结合所谓的第四级或第五级自动化系统来实现。第四级系统指示“高度自动化”,这指的是在特定驾驶模式下由自动驾驶系统实施动态驾驶任务的所有方面,即使人类驾驶员没有对干预请求进行适当响应。第五级系统标志着“完全自动化”,这指的是在所有能够由人类驾驶员应对的道路和环境条件下由自动驾驶系统全时实施动态驾驶任务的所有方面。
在示例性实施方式中,ADS24被配置为经由对来自多个传感器26的输入进行响应的多个执行器30来控制推进系统13、变速器14、转向系统16和轮制动器17以分别控制车辆的加速、转向和制动,而无需人为干预,所述多个传感器可以包括GPS、RADAR、LIDAR、光学相机、热像仪、超声波传感器和/或视情况而定的额外的传感器。
图1示出了可以与车辆12的无线通信系统28通信的若干联网设备。可以经由无线通信系统28与车辆12通信的联网设备中的一个联网设备是移动设备57。移动设备57的处理能力包括计算机处理能力、能够使用短程无线协议进行通信的收发器以及可视智能电话显示器 59。计算机处理能力包括呈可编程设备形式的微处理器,该微处理器包括存储在内部存储器结构中并应用于接收二进制输入以创建二进制输出的一个或更多个指令。在一些实施方式中,移动设备57包括能够接收GPS卫星信号并基于这些信号生成GPS坐标的GPS模块。在其他实施方式中,移动设备57包括蜂窝通信功能,使得移动设备57利用一个或更多个蜂窝通信协议在无线载波系统60上进行语音和/或数据通信,如本文所论述的。可视智能电话显示器 59还可以包括触摸屏图形用户界面。
无线载波系统60优选地是蜂窝电话系统,该蜂窝电话系统包括多个蜂窝塔70(仅一个蜂窝塔被示出)、一个或更多个移动交换中心(MSC)72、以及将无线载波系统60与陆地通信网络62连接所需的任何其他网络组件。每个蜂窝塔70包括发送及接收天线、以及基站,来自不同蜂窝塔的基站直接地或经由诸如基站控制器之类的中间设备连接至MSC 72。无线载波系统60可以实现任何合适的通信技术,例如包括诸如AMPS之类的模拟技术、或者诸如CDMA(例如,CDMA2000)或GSM/GPRS之类的数字技术。其他蜂窝塔/基站/MSC布置是可能的并且可以与无线载波系统60一起使用。例如,仅举几种可能的布置,基站和蜂窝塔可以共同位于同一站点或者基站和蜂窝塔可以彼此远离地定位,每个基站可以负责单个蜂窝塔或者单个基站可以服务于各个蜂窝塔,或者各个基站可以耦接至单个MSC。
除了使用无线载波系统60之外,可以使用呈卫星通信形式的第二无线载波系统来提供与车辆12的单向或双向通信。这可以使用一个或更多个通信卫星66和上行传输站67来完成。单向通信可以包括例如卫星无线电服务,其中,节目内容(新闻、音乐等)由传输站67接收,被打包以便上载,然后被发送至卫星66,卫星66向订阅者广播节目。双向通信可以例如包括使用卫星66来对车辆12与站67之间的电话通信进行中继的卫星电话服务。除了无线载波系统60之外或代替无线载波系统60,可以使用卫星电话。
陆地网络62可以是连接至一个或更多个陆线电话的常规的陆基电信网络,并且将无线载波系统60连接至远程访问中心78。例如,陆地网络62可以包括例如用于提供硬连线电话、分组交换数据通信和互联网基础设施的公共交换电话网络(PSTN)。陆地网络62的一个或更多个区段可以通过使用标准有线网络、光纤或其他光网络、有线网络、电力线、诸如无线局域网(WLAN)之类的其他无线网络、提供宽带无线接入(BWA)的网络或其任何组合来实现。此外,远程访问中心78不需要经由陆地网络62连接,而是可以包括无线电话设备,使得远程访问中心78可以直接与诸如无线载波系统60之类的无线网络通信。
虽然计算机64在图1中被示出为单个设备,但是计算机64可以包括多个能够经由私有或公共网络比如因特网来访问的计算机。每个计算机64可以用于一个或更多个目的。在示例性实施方式中,计算机64可以被配置为能够由车辆12经由无线通信系统28和无线载波60 进行访问的网络服务器。其他计算机64可以例如包括服务中心计算机,其中,无论是否通过与车辆12、远程访问中心78、移动设备57、或这些的一些组合进行通信,都可以将诊断信息和其他车辆数据从车辆12经由无线通信系统28或第三方存储库(repository)上载至服务中心计算机,或者从服务中心计算机提供车辆数据或其他信息。计算机64可以维护允许输入、去除和修改数据以及接收将数据定位在数据库内的请求的可搜索数据库和数据库管理系统。计算机64还可以用于提供诸如DNS服务之类的因特网连接或者用作使用DHCP或其他合适协议来为车辆12分配IP地址的网络地址服务器。计算机64可以与至少一个除了车辆12之外的附加车辆进行通信。车辆12和任何附加车辆可以统称为编队。
如图2所示,ADS24包括多个不同的控制系统,所述多个不同的控制系统至少包括用于确定车辆附近的检测特征或对象的存在、位置、分类和路径的感知系统32。感知系统32被配置为接收来自各种传感器,比如图1中所示的传感器26的输入,并且合成和处理传感器输入以生成用作用于ADS24的其他控制算法的输入的参数。
感知系统32包括传感器融合和预处理模块34,该传感器融合和预处理模块34处理和合成来自各种传感器26的传感器数据27。传感器融合和预处理模块34实施传感器数据27的校准,包括但不限于LIDAR至LIDAR校准、相机至LIDAR校准、LIDAR至底盘校准以及 LIDAR光束强度校准。传感器融合和预处理模块34输出预处理的传感器输出35。
分类和分割模块36接收预处理的传感器输出35并实施对象分类、图像分类、交通灯分类、对象分割、地面分割和对象跟踪过程。对象分类包括但不限于:识别和分类周围环境中的对象,这包括对交通信号和标志的识别和分类;进行RADAR融合与跟踪以考虑传感器的布置和视场(FOV);以及通过LIDAR融合拒绝误报信息以排除在城市环境中存在的许多误报信息,例如井盖、桥梁、架空树木或灯杆、以及RADAR横截面高但不影响车辆沿着车辆的路径行驶的能力的其他障碍物。由分类和分割模型36实施的额外的对象分类和跟踪过程包括但不限于自由空间检测和高级跟踪,该自由空间检测和高级跟踪对来自RADAR轨迹、 LIDAR分割、LIDAR分类、图像分类、对象形状拟合模型、语义信息、运动预测、栅格地图、静态障碍物地图和其他来源的数据进行融合以生成高质量的对象轨迹。分类和分割模块36另外利用车道关联和交通控制设备行为模型来实施交通控制设备分类和交通控制设备融合。分类和分割模块36生成包括对象识别信息的对象分类和分割输出37。
定位和映射模块40使用对象分类和分割输出37来计算参数,包括但不限于对车辆12在典型的和有挑战性的驾驶场景中的位置和取向的估算。这些有挑战性的驾驶场景包括但不限于具有许多汽车的动态环境(例如,密集交通)、具有大规模障碍物的环境(例如,道路施工或建筑工地)、丘陵、多车道道路、单车道道路、各种道路标记和建筑物或者道路标记和建筑物不足(例如,住宅区与商业区)、桥梁和立交桥(位于车辆当前路段的上方和下方)。
定位和映射模块40还包括作为通过由车辆12在操作期间实施的车载映射功能获得的扩展地图区域而收集的新数据、以及经由无线通信系统28“推送”至车辆12的映射数据。定位和映射模块40用新信息(例如,新车道标记、新建筑结构、建筑区域的添加或移除等)更新先前地图数据,同时保持未受影响的地图区域未被修改。可以生成或更新的地图数据的示例包括但不限于屈服线分类、车道边界生成、车道连接、次要和主要道路的分类、左转弯和右转弯的分类以及交叉车道创建。定位和映射模块40生成定位和映射输出41,该定位和映射输出41包括车辆12相对于检测到的障碍物和道路特征的位置和取向。
车辆测距模块46接收来自车辆传感器26的数据27并生成车辆测距输出47,该车辆测距输出47包括例如车辆航向和速度信息。绝对定位模块42接收定位和映射输出41和车辆测距信息47并且生成用于如下所述的单独计算中的车辆位置输出43。
对象预测模块38使用对象分类和分割输出37来生成参数,所述参数包括但不限于检测到的障碍物相对于车辆的位置、检测到的障碍物相对于车辆的预测路径、以及行车道相对于车辆的位置和取向。关于对象(包括行人、周围车辆和其他运动对象)的预测路径的数据被输出作为对象预测输出39并且在如下所述的单独计算中使用。
ADS24还包括观测模块44和解释模块48。观测模块44生成由解释模块48接收的观测输出45。观测模块44和解释模块48允许由远程访问中心访问。解释模块48生成解释输出49,该解释输出49包括由远程访问中心78提供的附加输入(如果有的话)。
路径规划模块50处理和合成从在线数据库或远程访问中心78接收的对象预测输出39、解释输出49和附加路由信息79,以确定在遵守交通法规并避免任何检测到的障碍物的同时保持车辆在期望路线上所遵循的车辆路径。路径规划模块50采用被配置为避开车辆附近的任何检测到的障碍物、将车辆保持在当前行车道中并且将车辆保持在期望路线上的算法。路径规划模块50输出车辆路径信息作为路径规划输出51。路径规划输出51包括基于车辆路线的命令车辆路径、相对于路线的车辆位置、行车道的位置和方向、以及任何检测到的障碍物的存在和路径。
第一控制模块52处理和合成路径规划输出51和车辆位置输出43以生成第一控制输出 53。第一控制模块52还包括在车辆操作的远程接管模式的情况下由远程访问中心78提供的路由信息79。
车辆控制模块54接收第一控制输出53以及从车辆测距仪46接收的速度和航向信息47,并且产生车辆控制输出55。车辆控制输出55包括一组执行器命令以实现来自车辆控制模块 54的命令路径,包括但不限于转向命令、换档命令、节气门命令和制动器命令。
车辆控制输出55被传送至执行器30。在示例性实施方式中,执行器30包括转向控制、换档器控制、节气门控制和制动器控制。转向控制可以例如控制如图1所示的转向系统16。换档器控制可以例如控制如图1所示的变速器14。节气门控制可以例如控制如图1所示的推进系统13。制动器控制可以例如控制如图1所示的控制轮制动器17。
在一些驾驶条件下,车辆12可能不宜根据由路径规划模块50基于标称ADS算法生成的路线行进。作为示例,当行驶表面被液体覆盖时,例如,如果水超过给定高度,则车辆行进通过液体可能导致对车辆的不良影响。此外,如果行人靠近液体,则可能希望避免快速行驶通过液体,从而避免用液体喷溅行人。
现在参照图3,其以流程图的形式示出了对根据本公开的实施方式的车辆进行控制的方法。该算法开始于框100处。
如框102处所示,车辆12由ADS24根据主操作模式控制。主模式是指ADS24对执行器30进行控制以实现由路径规划模块50确定的路线。
判定由传感器26捕获的数据是否指示预期道路细节缺失,如操作104处所示。作为非限制性示例,道路细节可以指的是车道标记、其他道路涂料或者可以在行驶表面上观察到的其他特征。缺失细节可能指示行驶表面上存在物质。在第一示例性实施方式中,响应于指示这种道路细节中的不连续性的传感器数据,可以判定这些细节缺失。在第二示例性实施方式中,响应于指示传感器数据中的未观测到的特征的存在的映射数据,可以判定这些细节缺失。
响应于操作104的判定是否定的,控制返回至框102。ADS24由此继续根据主模式控制车辆,除非并且直到检测到缺失的道路细节为止。
响应于操作104的判定是肯定的,控制进行至操作106。判定是否在行驶表面上发现反射,如操作106处所示。反射可以指示行驶表面上存在液体,例如水。在优选实施方式中,该判定包括对颜色反射的识别,从而减少基于阴影的误报识别。如何实施该判定的示例在美国专利9,090,264和美国专利公开文件2015/0363654中得到描述,这两项美国专利的全部公开内容并入本文中。然而,在其他实施方式中,可以使用其他方法来实施该判定。
响应于操作106的判定是否定的,控制返回至框102。ADS由此继续根据主模式控制车辆,除非并且直到发现反射为止。
响应于操作106的判定是肯定的,可以推断出行驶表面上存在液体。控制进行至操作108。判定是否可以估算液体的深度。在示例性实施方式中,该判定是由控制器22基于来自传感器 26的信号进行的。下面将结合图4对用于确定液体深度的各种子例程进行论述。响应于返回深度估算的有效响应的子例程中的任一子例程,判定可以是肯定的。
响应于操作108的判定是肯定的,控制进行至操作110。判定深度是否超过预定阈值,如操作110处所示。预定阈值对应于车辆不宜行进通过的水的深度。在示例性实施方式中,阈值定义为大约为6英寸至12英寸;然而,可以基于包括底盘高度、传动系类型(例如内燃、电动、燃料电池等)或其他的因素为给定车辆平台设定阈值。
响应于操作110的判定是肯定的,控制进行至框112。如在框112处所示,以辅助操作模式控制车辆。在ADS24包括第四级或第五级ADS的实施方式中,辅助操作模式可以包括在行驶表面上的液体周围偏离或在驱动通过液体之前减速。在这样的实施方式中,ADS24可以实施对象分割步骤以确定被液体覆盖的行驶表面的区域,并且随后规划围绕液体的新路径和/ 或减速。在ADS包括较低自动化水平、例如三级的实施方式中,辅助操作模式可以包括中断执行器30的自主控制并将控制返回给操作人员。除了上述那些辅助操作模式之外或者代替上述那些辅助操作模式,也可以实现其他辅助操作模式。
返回至操作110,响应于该判定是否定的,判定行人是否接近水,如操作114处所示。同样,返回至操作108,响应于该判定是否定的,控制进行至操作114。在示例性实施方式中,该判定是由控制器22基于来自传感器26的信号进行的。
响应于操作114的判定是肯定的,控制进行至框112,并且通常如上所述地将辅助模式控制车辆。因此,车辆可以避免在穿过水时喷溅行人。
响应于操作114的判定是否定的,控制返回到框102。由此当水低于预定深度并且没有检测到行人时,根据主模式控制车辆。
现在参照图3B,对估算行驶表面上的水的深度的方法进行更详细论述。在示例性实施方式中,这些方法由控制器22基于来自传感器26的信号实施。这些方法可以限定操作108的子例程,如图3所示。
在第一估算步骤中,可以基于天气数据估算水深度,如框116处所示。天气数据可以包括车辆12附近的最近天气警报、诸如洪水模式之类的历史天气数据、或任何其他相关的天气信息。天气数据可以存储在车辆12上或从远程服务器接收。控制器22可以处理天气数据以限定水的可能深度。
在第二估算步骤中,可以基于地理位置和地形数据来估算水深度,如框118处所示。在该步骤中,可以使用传感器26中的一个或更多个传感器、例如GPS传感器来确定检测到的水的地理位置。另外,例如经由车载存储器或远程存储器来访问该地理位置的地形数据。控制器22可以处理地形数据以确定地形数据与由传感器26检测到的表面之间的相对高度。由此可以基于该差异来推断水深度。
在第三估算步骤中,可以基于对象识别和特征对称来估算水深度,如框122处所示。如图4A和图4B所示,对象140可以部分地浸没在液体142中。尽管对象140出于示例性目的而被描绘为停止标志,但是对象140可以是任何的任意对象。在图4B所示的实施方式中,液体142相对平静,导致对象140的清晰反射140’。控制器22基于来自传感器26的信号例如经由分类和分割模块36实施对象识别。识别对象140,并且从对象高度数据库获得识别对象的高度H。在示例性实施方式中,对象高度数据库包括多个道路设施和其他常见的路边对象以及这些对象的典型高度。然后识别观测对象140与反射140’之间的对称线144。然后测量对称线144与对象140的顶部之间的高度H1。由此可以获得作为H与H1之间的差的液体 142的深度。
在第四估算步骤中,可以基于检测到的对象遮挡来估算水深,如框124处所示。如图4A 和4C所示,对象140部分地浸没在液体142中。在所示的实施方式中,在图4C中,液体142 例如由于液体142中的波浪或碎屑而不提供清晰的反射。控制器22实施对象识别,识别对象 140,并且获得高度H,通常如上面关于第三估算步骤所论述的那样。测量对象140的位于对象140的顶部与液体142之间的可见部分的高度H1。由此可以获得作为H与H1之间的差、即对象140的由液体142遮挡的部分的液体142的深度。
在第五估算步骤中,可以控制车载照明以便于估算,如框126处所示。在该估算步骤中,由控制器22自动打开车载照明源、例如前灯。然后可以分析所得到的反射以获得指示液体的深度的反射表面水平高度。
以上是估算深度的示例性方法,而不意在是穷举列表。在其他实施方式中,可以使用其他方法来代替上面论述的那些方法或与上面论述的那些方法结合。
可以看出,本公开提供了一种系统和方法,该系统和方法用于自动检测何时行驶表面不能通行或者在其他方面由于液体而不宜行驶,并且适当地对车辆进行自动控制。
虽然以上描述了示例性实施方式,但并不意味着这些实施方式描述了权利要求所涵盖的所有可能形式。说明书中使用的用语是描述性用语而非限制性用语,并且应当理解的是,在不脱离本公开的精神和范围的情况下,可以进行各种改变。如前所述,各种实施方式的特征可以组合以形成本公开的可能未明确描述或说明的其他示例性方面。虽然各种实施方式可以被描述为关于一个或更多个期望特性提供优于其他实施方式或优于现有技术实现形式,但是本领域普通技术人员认识到可能损害一个或更多个特征或特性以实现期望的整体系统属性,这取决于具体应用和实现形式。这些属性可以包括但不限于成本、强度、耐久性、生命周期成本、可销售性、外观、包装、尺寸、可维护性、重量、可制造性、易于组装等。因此,关于一个或更多个特性描述的实施方式相比于其他实施方式或现有技术实现形式是较不期望的不在本公开的范围之外并且对于特定应用可能是期望的。

Claims (9)

1.一种机动车辆,包括:
执行器,其配置为控制车辆的转向、加速、速度或换档;
传感器,其配置为捕获所述车辆外部区域的图像;以及
控制器,其与所述执行器和传感器通信,所述控制器配置为根据主模式和辅助模式选择性地控制所述执行器,以检测靠近车辆的行驶表面上的液体,基于由所述传感器捕获的图像估算所述液体的深度,并且响应于所述深度超过预定阈值以辅助模式控制所述执行器;其中,当所述液体提供清晰反射时,所述控制器配置为基于与所述液体相关联的对称线的位置估算所述液体的深度。
2.根据权利要求1所述的车辆,其中,所述控制器配置为基于所述行驶表面上的液体的地理位置和所述地理位置的地形数据估算所述液体的深度。
3.根据权利要求1所述的车辆,其中,所述控制器配置为基于来自所述传感器的信号识别车辆外部的对象,并且基于所述对称线相对于所述车辆外部的对象的位置估算所述液体的深度,所述对象具有至少一个已知尺寸。
4.根据权利要求1所述的车辆,其中,所述控制器配置为部分地基于检测所述传感器捕获的图像中的颜色反射检测所述液体。
5.根据权利要求1所述的车辆,其中,当所述液体不能提供清晰反射时,所述控制器配置为基于来自所述传感器的信号识别车辆外部的对象,并且基于所述对象的遮挡区域估算所述液体的深度,所述对象具有至少一个已知尺寸。
6.根据权利要求1所述的车辆,还包括外部照明源,其中,所述控制器配置为选择性地启用所述外部照明源,并基于由所述外部照明源引起的液体的反射特性估算所述液体的深度。
7.根据权利要求1所述的车辆,其中,所述主模式包括所述执行器的自主控制,并且其中,所述辅助模式包括中断所述执行器的自主控制。
8.根据权利要求1所述的车辆,其中,所述主模式包括所述执行器根据默认路径在默认速度上的自主控制,并且其中,所述辅助模式包括所述执行器偏离默认路径或默认速度的自主控制。
9.根据权利要求8所述的车辆,其中,所述控制器配置为进一步响应于检测到的靠近所述液体的行人以所述辅助模式控制所述执行器。
CN201910424666.2A 2018-09-04 2019-05-21 用于车辆自主控制的系统和方法 Active CN110920612B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/120,936 US10710593B2 (en) 2018-09-04 2018-09-04 System and method for autonomous control of a vehicle
US16/120,936 2018-09-04

Publications (2)

Publication Number Publication Date
CN110920612A CN110920612A (zh) 2020-03-27
CN110920612B true CN110920612B (zh) 2023-04-14

Family

ID=69527485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910424666.2A Active CN110920612B (zh) 2018-09-04 2019-05-21 用于车辆自主控制的系统和方法

Country Status (3)

Country Link
US (1) US10710593B2 (zh)
CN (1) CN110920612B (zh)
DE (1) DE102019112538A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7263519B2 (ja) * 2019-07-09 2023-04-24 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106573619A (zh) * 2014-08-21 2017-04-19 捷豹路虎有限公司 穿越水障碍物的车辆的自动速度控制
CN206594828U (zh) * 2017-02-28 2017-10-27 长城汽车股份有限公司 用于确定积水深度的车载系统及车辆
CN107806884A (zh) * 2016-09-09 2018-03-16 福特全球技术公司 用于车辆导航的水深检测
CN107878458A (zh) * 2016-09-30 2018-04-06 法乐第(北京)网络科技有限公司 车辆控制系统及其方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011054852A1 (de) * 2011-07-30 2013-01-31 Götting KG Verfahren zur Erfassung und Bewertung einer Ebene
GB2517788B (en) * 2013-09-03 2016-06-08 Jaguar Land Rover Ltd Water depth estimation apparatus and method
GB2524308B (en) * 2014-03-20 2017-11-22 Westcotec Ltd Flood warning road signs
US9090264B1 (en) 2014-06-12 2015-07-28 GM Global Technology Operations LLC Vision-based wet road surface detection
US20150363654A1 (en) 2014-06-12 2015-12-17 GM Global Technology Operations LLC Vision-based wet road surface detection using mirrored and real images
FR3051423B1 (fr) * 2016-05-20 2018-05-25 Compagnie Generale Des Etablissements Michelin Procede de proposition d'une vitesse de roulage
JPWO2018159259A1 (ja) * 2017-03-01 2019-12-19 パナソニックIpマネジメント株式会社 車両
US10569785B2 (en) * 2017-04-27 2020-02-25 Ford Global Technologies, Llc Road water detection
US10452072B2 (en) * 2017-05-25 2019-10-22 Ford Global Technologies, Llc Methods and apparatuses for vehicle wading safety

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106573619A (zh) * 2014-08-21 2017-04-19 捷豹路虎有限公司 穿越水障碍物的车辆的自动速度控制
CN107806884A (zh) * 2016-09-09 2018-03-16 福特全球技术公司 用于车辆导航的水深检测
CN107878458A (zh) * 2016-09-30 2018-04-06 法乐第(北京)网络科技有限公司 车辆控制系统及其方法
CN206594828U (zh) * 2017-02-28 2017-10-27 长城汽车股份有限公司 用于确定积水深度的车载系统及车辆

Also Published As

Publication number Publication date
CN110920612A (zh) 2020-03-27
US20200070837A1 (en) 2020-03-05
US10710593B2 (en) 2020-07-14
DE102019112538A1 (de) 2020-03-05

Similar Documents

Publication Publication Date Title
CN108766011B (zh) 用于自主车辆的停车评分
US10163017B2 (en) Systems and methods for vehicle signal light detection
CN111204340B (zh) 用于控制自主车辆的系统和方法
US20190026588A1 (en) Classification methods and systems
US10399600B2 (en) Diagnostic method for an actuator in an autonomous vehicle
US20190061756A1 (en) System and method for following distance adjustment for an autonomous vehicle
CN110626330B (zh) 用于检测自主车辆中的对象的系统和方法
CN111216724B (zh) 用于控制自动驾驶车辆的系统及方法
CN111532254B (zh) 用于控制自主车辆的系统和方法
US20200172106A1 (en) System and method for control of an autonomous vehicle
CN111038482B (zh) 用于车辆路径自动控制的系统和方法
US20180321678A1 (en) Notification System For Automotive Vehicle
CN110789515B (zh) 机动车辆中用于硬件验证的系统和方法
CN111319610A (zh) 用于控制自主车辆的系统和方法
US20200101979A1 (en) System and method for autonomous control of a vehicle
US20180319393A1 (en) System And Method For Collision Mitigation And Avoidance In Autonomous Vehicle
CN111038483B (zh) 用于车辆自主控制的系统和方法
CN110920612B (zh) 用于车辆自主控制的系统和方法
US20200132843A1 (en) Lidar system and control method thereof
US20190293434A1 (en) System and method for guiding users to a vehicle
CN110550039A (zh) 用于控制自动驾驶车辆的系统和方法
US20200097019A1 (en) Vision system for an automotive vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant