CN110626330B - 用于检测自主车辆中的对象的系统和方法 - Google Patents

用于检测自主车辆中的对象的系统和方法 Download PDF

Info

Publication number
CN110626330B
CN110626330B CN201910465772.5A CN201910465772A CN110626330B CN 110626330 B CN110626330 B CN 110626330B CN 201910465772 A CN201910465772 A CN 201910465772A CN 110626330 B CN110626330 B CN 110626330B
Authority
CN
China
Prior art keywords
vehicle
cabin
image
light
incident light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910465772.5A
Other languages
English (en)
Other versions
CN110626330A (zh
Inventor
M·穆拉德
E·哈特菲尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110626330A publication Critical patent/CN110626330A/zh
Application granted granted Critical
Publication of CN110626330B publication Critical patent/CN110626330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B60W10/184Conjoint control of vehicle sub-units of different type or different function including control of braking systems with wheel brakes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/30Conjoint control of vehicle sub-units of different type or different function including control of auxiliary equipment, e.g. air-conditioning compressors or oil pumps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/06Combustion engines, Gas turbines
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/08Electric propulsion units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/18Braking system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/20Steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/30Auxiliary equipments
    • B60W2710/305Auxiliary equipments target power to auxiliaries
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed
    • B60W2720/106Longitudinal acceleration

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种机动车辆,包括舱室、用来捕获该舱室图像的光学传感器、可操作来修改舱室中入射光的强度或方向的光控系统以及控制器。该控制器被配置为响应于对象检测请求而自动控制光学传感器以使用第一入射光配置捕获舱室的第一图像、控制光控系统以将舱室内的入射光的强度或方向修改为第二入射光配置、控制光学传感器以使用第二入射光配置捕获舱室的第二图像、检测第一图像和第二图像之间的阴影的变化、基于该阴影的变化推断舱室内对象的存在、并基于对象的存在执行纠正措施。

Description

用于检测自主车辆中的对象的系统和方法
背景技术
本发明涉及由自动驾驶系统控制的车辆,尤其是那些配置为在驾驶周期期间没有人为干预而自动控制车辆转向、加速和制动的车辆。
引言
现代车辆的操作变得更加自动化,即能够在越来越少的驾驶员干预下提供驾驶控制。车辆自动化已分类成多个等级,这些等级的范围从零到五,零对应于完全人为控制的无自动化,五,对应于无人控制的完全自动化。各种自动化驾驶员辅助系统,例如巡航控制、自适应巡航控制和停车辅助系统对应于较低的自动化等级,而真正的“无人驾驶”车辆对应于较高的自动化等级。
发明内容
根据本发明的机动车辆包括舱室、用于捕获舱室图像的光学传感器、可操作以修改舱室中入射光的强度或方向的光控系统以及控制器。控制器被配置为响应于对象检测请求而自动控制光学传感器以使用第一入射光配置捕获舱室的第一图像、控制光控系统以将舱室内入射光的强度或方向修改为第二入射光配置、控制光学传感器以使用第二入射光配置捕获舱室的第二图像、检测第一图像和第二图像之间的阴影的变化、基于阴影的变化推断舱室中对象的存在、并基于对象的存在执行纠正措施。
在示例性实施例中,光控系统包括设置在舱室内的内部灯,并且控制器被配置为通过选择性地打开或关闭内部灯来控制光控系统。
在示例性实施例中,舱室设置有至少一个窗户,光控系统包括具有打开位置和关闭位置的遮光帘,并且控制器被配置为通过选择性地在打开位置和关闭位置之间移动遮光帘来控制光控系统。
在示例性实施例中,光控系统包括至少一个用于控制车辆转向、加速或制动的致动器,并且控制器被配置为通过选择性地控制致动器在相对于环境光源的第一方位和相对于环境光源的第二方位之间移动车辆来控制光控系统。
在示例性实施例中,对象检测请求基于在驾驶周期之前捕获的参考舱室图像和在驾驶周期之后捕获的最终舱室图像之间的图像差异。
在示例性实施例中,纠正措施包括向用户发出警报信号。
根据本发明的检测对象对象的方法包括:提供检测空间,其中检测空间具有光学传感器以用于捕获检测空间的图像;提供光控系统,其可操作以修改检测空间内入射光的强度或方向;以及提供至少一个控制器,其与光学传感器和光控系统通信。该方法还包括通过至少一个控制器来自动控制光学传感器,以使用第一入射光配置捕获检测空间的第一图像。该方法还包括通过至少一个控制器来自动控制光控系统,以将舱室内入射光的强度或方向修改为与第一入射光配置不同的第二入射光配置。该方法还包括通过至少一个控制器来自动控制光学传感器,以使用第二入射光配置捕获检测空间的第二图像;通过至少一个控制器来自动检测第一图像和第二图像之间的阴影的变化;以及基于检测到的阴影变化,通过至少一个控制器自动发出警报信号。
在示例性实施例中,检测空间设置有至少一个窗户,光控系统包括可操作以通过该窗户修改入射光的窗户系统,并且自动控制光控系统包括控制窗户系统以修改入射光。
在示例性实施例中,自动检测阴影的变化包括对第一图像和第二图像执行图像差异算法。
在示例性实施例中,光控系统包括设置在舱室内的内部灯,并且自动控制光控系统包括选择性地打开或关闭内部灯。
在示例性实施例中,检测空间包括机动车辆的舱室。在示例性实施例中,光控系统包括至少一个用于控制车辆转向、加速或制动的致动器,并且自动控制光控系统包括选择性地控制致动器在相对于环境光源的第一方位和相对于环境光源的第二方位之间移动车辆。
根据本发明的用于机动车辆的检测系统包括用来捕获车辆的一部分的图像的光学传感器、可操作以修改舱室内入射光的强度或方向的光控系统以及控制器。控制器被配置为控制光学传感器以在驾驶周期之前捕获车辆该部分的参考图像,控制光学传感器以在驾驶周期之后捕获车辆该部分的第一图像,控制光控系统响应于不同于参考图像的第一图像而将舱室内入射光的强度或方向修改为第二入射光配置,控制光学传感器以第二入射光配置捕获舱室的第二图像,以及响应于第二图像与第一图像不同而自动发出警报。
根据本发明的实施例提供若干优点。例如,本发明提供了一种用于自动判断对象已留在车辆中的系统和方法,并且用于在做出这样的判断时采取纠正措施。
从以下结合附图对优选实施例的详细描述中,本发明的上述和其他优点和特征将变得显而易见。
附图说明
图1是根据本发明实施例的包括自主控制车辆的通信系统的示意图;
图2是根据本发明实施例的用于车辆的自动驾驶系统(ADS)的示意性框图;
图3是根据本发明实施例的控制车辆的方法的流程图;以及
图4A-4D是根据本发明实施例的车辆舱室的图像的表示。
具体实施方式
这里描述本发明的各实施例。然而,应该理解,所公开的实施例仅仅是示例,并且其他实施例可以采用各种和替代形式。这些附图并非必须是按比例绘制的;一些特征可能会被放大或缩小,以显示特定组件的细节。因此,本发明公开的特定结构和功能细节并不解释为限制,而仅仅是代表性的。参考任何一个附图说明和描述的各个特征可以与一个或多个其他附图中说明的特征组合,以产生未明确说明或描述的实施例。所说明特征的组合提供针对典型应用的代表性实施例。然而,根据本发明教示的特征的各种组合和修改对于特定应用或实施方式会是期望的。
图1示意性地说明操作环境,该操作环境包括机动车辆12的移动车辆通信和控制系统10。车辆12的通信和控制系统10通常包括一个或多个无线载波系统60、陆地通信网络62、计算机64、诸如智能电话的移动设备57和远程访问中心78。
图1中示意性示出的车辆12在所说明的实施例中示作为乘用汽车,但是应意识到,也可以使用任何其他交通工具,包括摩托车、卡车、运动型多功能车(SUV)、娱乐车辆(RV)、船舶、飞机等。车辆12包括推进系统13,该推进系统在各种实施例中可以包括内燃机、诸如牵引电机的电机和/或燃料电池推进系统。
车辆12还包括变速器14,其被配置为根据可选择的速度比将动力从推进系统13传递到多个车辆车轮15。根据各个实施例,变速器14可包括步进比率自动变速器、无级变速器或其他合适的变速器。车辆12另外包括车轮制动器17,其被配置为向车辆车轮15提供制动扭矩。在各个实施例中,车轮制动器17可包括摩擦制动器、诸如电机的再生制动系统和/或其他合适的制动系统。
车辆12另外包括转向系统16。虽然出于说明目的示作包括方向盘,但是在本发明范围内可设想的一些实施例中,转向系统16可以不包括方向盘。
车辆12包括无线通信系统28,以用于与其他车辆(“V2V”)和/或与基础设施(“V2I”)无线通信。在示例性实施例中,无线通信系统28被配置成通过专用短程通信(DSRC)信道进行通信。DSRC信道是指专门针对汽车用途的单向或双向短程至中程无线通信信道,以及相应的成组协议和标准。但是,被配置为通过附加或替代的无线通信标准(例如,IEEE802.11和蜂窝数据通信)进行通信的无线通信系统也被认为落在本发明范围内。
推进系统13、变速器14、转向系统16和车轮制动器17与至少一个控制器22通信或在该至少一个控制器的控制下。尽管出于说明目的示作单个单元,但是控制器22可以另外包括一个或多个其他控制器,统称为“控制器”。控制器22可以包括与各种类型的计算机可读存储设备或介质通信的微处理器或中央处理单元(CPU)。计算机可读存储设备或介质可包括,例如,只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储器。KAM是持久或非易失性存储器,可用于在CPU断电时存储各种操作变量。计算机可读存储设备或介质可以使用多种已知存储器设备中的任何一种来实现,诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪速存储器或能够存储数据的任何其他电、磁、光或组合存储器设备,上述中的其中一些表示由控制器22用来控制车辆的可执行指令。
控制器22包括自动驾驶系统(ADS)24,用于自动控制车辆中的各种致动器。在示例性实施例中,ADS 24是所谓的三级自动化系统。三级系统表示“有条件的自动化”,是指这样的驾驶模式,专门由自动驾驶系统执行动态驾驶任务的所有方面,且期望人类驾驶员会适当响应于干预请求。
根据本发明的其他实施例可以结合所谓的一级或二级自动化系统来实现。一级系统表示“驾驶员辅助”,是指这样的驾驶模式,由驾驶员辅助系统使用关于驾驶环境的信息来执行转向或加速,并期望人类驾驶员执行动态驾驶任务的所有剩余方面。二级系统表示“部分自动化”,是指这样的驾驶模式,专门由一个或多个驾驶员辅助系统使用关于驾驶环境的信息来执行转向和加速,并期望人类驾驶员执行动态驾驶任务的所有剩余方面。
根据本发明的其他实施例可以结合所谓的四级或五级自动化系统来实现。四级系统表示“高度自动化”,指这样的驾驶模式,即使人类驾驶员没有适当响应干预请求,自动驾驶系统能够执行动态驾驶任务的所有方面。五级系统表示“完全自动化”,是指由人类驾驶员管理的所有道路和环境条件下全部时间均由自动驾驶系统执行动态驾驶任务的所有方面。
在一示例性实施例中,ADS 24被配置成响应于来自多个传感器26的输入经由多个致动器30来控制推进系统13、变速器14、转向系统16和车轮制动器17,以分别控制车辆的加速、转向和制动而无需人类干预,其中传感器26可以适当地包括GPS、RADAR、LIDAR、光学相机、热相机、超声波传感器和/或附加传感器。
图1示出了可以与车辆12的无线通信系统28通信的若干联网装置。能够通过无线通信系统28与车辆12通信的其中一个联网装置是移动装置57。移动装置57可以包括计算机处理能力、能够使用短程无线协议通信的收发器以及可视智能电话显示器59。计算机处理能力包括可编程装置形式的微处理器,其包括一个或多个指令,这些指令存储在内部存储器结构中并应用于接收二进制输入以产生二进制输出。在一些实施例中,移动装置57包括能够接收GPS卫星信号并基于那些信号生成GPS坐标的GPS模块。在其他实施例中,如本文所讨论的,移动装置57包括蜂窝通信功能,使得移动装置57使用一个或多个蜂窝通信协议经由无线载波系统60执行语音和/或数据通信。可视智能电话显示器59还可以包括触摸屏图形用户界面。
无线载波系统60优选为蜂窝电话系统,其包括多个发射塔70(仅示出一个)、一个或多个移动交换中心(MSC)72以及连接无线载波系统60与陆地通信网络62所需的任何其他网络组件。每个发射塔70均包括发送和接收天线以及基站,其中来自不同发射塔的基站直接或通过诸如基站控制器的中间设备连接到MSC 72。无线载波系统60可以实施任何合适的通信技术,例如包括AMPS的模拟技术,或者诸如如CDMA(例如CDMA2000)的数字技术,或者GSM/GPRS的数字技术。其他发射塔/基站/MSC布置是可能的,并且可以与无线载波系统60结合使用。例如,基站和发射塔可以共同位于相同站点处或者彼此远离,每个基站可以负责单个发射塔或者单个基站可服务于各个发射塔,或者各个基站可以联接到单个MSC,这里仅列举几种可能布置。
除了使用无线载波系统60之外,可以使用呈卫星通信形式的第二无线载波系统来提供与车辆12的单向或双向通信。这可以使用一个或多个通信卫星66和上行链路发射站67来进行。单向通信可以例如包括卫星无线电服务,其中节目内容(新闻、音乐等)由发射站67接收,打包上传且然后发送到卫星66,该卫星将节目播送至用户。双向通信可以例如包括使用卫星66以在车辆12和发射站67之间中继电话通信的卫星电话服务。除了无线载波系统60之外或者代替无线载波系统60,可以使用卫星电话。
陆地网络62可以是传统的陆基电信网络,其连接到一个或多个陆线电话,并将无线载波系统60连接到远程访问中心78。例如,陆地网络62可以包括例如用于提供硬接线电话技术、分组交换数据通信和因特网基础设施的公共交换电话网(PSTN)。陆地网络62的一个或多个区段可以通过使用标准有线网络、光纤或其他光学网络、有线网络、电力线、其他无线网络(例如无线局域网(WLAN))或提供宽带无线接入(BWA)的网络或其任意组合来实施。此外,远程访问中心78不需要经由陆地网络62连接,而是可包括无线电话技术设备,以使其能与诸如无线载波系统60的无线网络直接地通信。
虽然在图1中示出的是单个装置,但是计算机64可以包括经由诸如因特网的私人或公共网络访问的多个计算机。每个计算机64可用于一个或多个目的。在示例性实施例中,计算机64可以被配置为由车辆12经由无线通信系统28和无线载波60可以访问的网络服务器。其他计算机64可以包括,例如:服务中心计算机或第三方储存库,在该服务中心计算机中,能从车辆经由无线通信系统28上载诊断信息和其他车辆数据,通过与车辆12、远程访问中心78、移动装置57或者这些的一些组合将车辆数据或其他信息提供给第三方储存库或者从第三方储存库中获取车辆数据或其他信息。计算机64可以维护可搜索数据库和数据库管理系统,其允许输入、移除和修改数据以及接收定位数据库内数据的请求。计算机64还可以用于提供诸如DNS服务的因特网连接,或者作为网络地址服务器,其中网络地址服务器使用DHCP或其他合适的协议来为车辆12分配IP地址。除了车辆12之外,计算机64可以与至少一个补充车辆通信。车辆12和任何补充车辆可以统称为车队。
如图2所示,ADS 24包括多个不同的控制系统,该控制系统包括至少包括感知系统32,用于确定车辆附近检测到的特征或对象的存在、位置、分类和路径。感知系统32被配置成接收来自诸如图1中所示的传感器26的各种传感器的输入,并合成和处理传感器输入以生成用作ADS 24的其他控制算法的输入的参数。
感知系统32包括传感器融合和预处理模块34,其处理和合成来自各种传感器26的传感器数据27。传感器融合和预处理模块34对传感器数据27进行校准,包括但不限于LIDAR到LIDAR校准、相机到LIDAR校准、LIDAR到底盘校准以及LIDAR光束强度校准。传感器融合和预处理模块34输出预处理的传感器输出35。
分类和分段模块36接收预处理的传感器输出35,并执行对象分类、图像分类、交通信号灯分类、对象分段、地面分段和对象追踪过程。对象分类包括但不限于识别和分类周围环境中的对象,包括识别和分类交通信号和标志、RADAR融合和跟踪以考虑传感器的位置和视野(FOV),以及通过LIDAR融合误报排除从而消除城市环境中存在的许多误报,例如井盖、桥梁、高架树木或灯杆以及具有高RADAR横截面但不影响车辆沿其路径行驶的能力的其他障碍物。由分类和分段模块36另外执行的对象分类和追踪过程包括但不限于自由空间检测和高级别追踪,其融合来自RADAR跟踪、LIDAR分段、LIDAR分类、图像分类、对象形状拟合模型、语义信息、运动预测、栅格地图、静态障碍地图以及其他来源的数据,以产生高质量的对象追踪。分类和分段模块36另外还利用车道关联和交通控制装置性能模型来执行交通控制设备分类和交通控制装置融合。分类和分段模块36产生包括对象识别信息的对象分类和分段输出37。
定位和地图标示模块40使用对象分类和分段输出37来计算参数,这些参数包括但不限于对车辆12在通常驾驶情境和挑战性驾驶情境中的位置和方向的估计。这些挑战性驾驶情境包括但不限于具有多辆汽车(例如,密集交通)的动态环境、具有大规模障碍物(例如,道路施工或建筑工地)的环境、山丘、多车道道路、单行道道路、各种道路标记和建筑物或缺乏道路标记和建筑物的环境(例如,住宅区与商业区)以及桥梁和高架(位于车辆当前路段的上方和下方)。
定位和地图标示模块40还包含在操作期间经由车辆12执行的车载地图标示功能获得扩展地图区域收集的新数据,以及通过无线通信系统28“推送”到车辆12的地图标示数据。定位和地图标示模块40用新的信息(例如,新的车道标记,新的建筑结构,建筑区域的添加或移除等)更新先前的地图数据,同时保持未受影响的地图区域不被修改。可以产生或更新地图数据的例子包括但不限于产出线分类、车道边界产生、车道连接、次要和主要道路分类、左转弯和右转弯分类以及交叉车道产生。定位和地图标示模块40产生定位和地图标示输出41,其包括车辆12相对于检测到的障碍物和道路特征的位置和方向。
车辆里程计模块46从车辆传感器26接收数据27,并产生车辆里程计输出47,其包括例如车辆航向和速度信息。绝对定位模块42接收定位和地图标示输出41以及车辆里程计信息47,并产生车辆位置输出43,该车辆位置输出在下文讨论的单独计算中使用。
对象预测模块38使用对象分类和分段输出37来产生参数,包括但不限于检测到的障碍物相对于车辆的位置、检测到的障碍物相对于车辆的预测路径以及交通车道相对于车辆的位置和方向。关于对象(包括行人、周围车辆和其他移动对象)的预测路径的数据输出以作为对象预测输出39,并用于如下所讨论的单独计算中。
ADS 24还包括观察模块44和解译模块48。观察模块44产生由解译模块48接收的观察输出45。观察模块44和解译模块48允许远程访问中心78访问。解译模块48产生经解译的输出49,如果有的话,包括由远程访问中心78提供的附加输入。
路径规划模块50处理并合成从在线数据库或远程访问中心78接收的对象预测输出39、经解译的输出49和附加路线信息79,以确定将车辆维持在期望路线上所要遵循的车辆路径,同时遵守交通法规并避免任何检测到的障碍物。路径规划模块50采用被配置为避开车辆附近的任何检测到的障碍物,将车辆保持在当前行车道中并且将车辆保持在期望路线上的算法。路径规划模块50输出车辆路径信息作为路径规划输出51。路径规划输出51包括基于车辆路线的指令车辆路径、相对于路线的车辆位置、交通车道的位置和方向以及任何检测到的障碍物的存在和路径。
第一控制模块52处理并合成路径规划输出51和车辆位置输出43,以产生第一控制输出53。在车辆的远程接管操作模式情形下,第一控制模块52还包括由远程访问中心78提供的路线信息79。
车辆控制模块54接收第一控制输出53以及从车辆里程计46接收的速度和航向信息47,并产生车辆控制输出55。车辆控制输出55包括一组致动器指令,以实现来自车辆控制模块54的指令路径,这些指令包括但不限于转向指令、换挡指令、油门指令和制动指令。
车辆控制输出55被传递到致动器30。在示例性实施例中,致动器30包括转向控制、换挡控制、油门控制和制动控制。转向控制可以例如控制如图1所示的转向系统16。换挡控制可以例如控制如图1所示的变速器14。油门控制可以例如控制如图1所示的推进系统13。制动控制可以例如控制如图1所示的车轮制动器17。
在自主车辆中,特别是在可由多个乘客共享的自主车辆中,可能难以确定对象是否已被乘客留下。在传统的人力驱动车辆中,驾驶员可以检查驾驶室以确保没有对象被遗忘,而自主车辆可能没有人类驾驶员。
现在参考图3和4A-4D,示出了根据本发明的控制车辆的方法。该方法开始于图3中的框100。
如框102所示,捕获了乘员舱的参考图像。参考图像指的是在开始驾驶周期之前,例如舱室内没有乘客,捕获的车辆内部图像,。图4A示出了车辆12'的乘员舱80的图示。传感器26中有一个或多个光学相机26',用于捕获乘员舱80的图像。在示例性实施例中,参考图像可以基于来自控制器22的指令由光学相机26'捕获。例如,可以基于当前车辆12中没有乘客的判断来产生该指令。
乘员舱80另外设有至少一个光控系统82。光控系统82与控制器22通信或受控制器22的控制。光控系统82可操作以修改车辆内部的光特性,例如改变乘员舱80中的入射光的强度或方向。这里所使用的入射光是指从一个或多个内部或外部光源照射到乘员表面上的光。在第一示例性实施例中,光控系统82包括设置在乘员舱80中的一个或多个内部灯,例如顶灯。在第二示例性实施例中,光控系统82包括一个或多个致动器,例如致动器30中的一个或多个,其被配置成选择性地打开或关闭与一个或多个车窗或天窗相关联的遮光帘。在第三示例性实施例中,光控系统82包括一个或多个电致变色窗,该电致变色窗被配置成选择性地增加不透明度以减少来自车辆外部的透射光。其他实施例可包括其他光控系统或以上的任何组合。
在一些实施例中,捕捉乘员舱的参考图像可以包括控制光控系统82,以在捕获图像之前提供预定义的参考光设置,例如通过关闭所有可用的遮光帘并打开乘员舱80的所有内部灯。
如框104所示,随后捕获参考图像,执行驾驶周期,例如通过搭载一名或多名乘客并将乘客运送到他们的目的地。在这种驾驶周期期间,乘客可能会将对象留在车辆中,例如图4B所示的对象84。
如框106所示,捕获乘员舱的第一乘坐后图像。可以由光学相机26'基于来自控制器22的指令捕获第一乘坐后图像。可以,例如,基于当前车辆12中没有乘客的判断来产生该指令。第一乘坐后图像具有第一入射光配置。在一些实施例中,捕获乘员舱的第一乘坐后图像可以包括控制光控系统82以复制预定义的参考光设置。因此,在这样的实施例中,第一入射光配置对应于参考光设置。在其他实施例中,第一入射光配置对应于环境光,例如来自外部光源如太阳或路灯的环境光。在图4C的图示中,基于第一入射光配置的光源,对象84将投射第一阴影86。
如框108所示,确定第一乘坐后图像和参考图像之间的图像差异。这可以通过任何合适的图像差异算法来执行。
如操作110所示,作出图像差异是否表明舱室80中留下了潜在对象的判断。在示例性实施例中,响应于第一乘坐后图像和参考图像之间的图像差异超过乘员舱80的区域中的阈值,可以判断出潜在对象被留下。然而,基于二维图像,很难确定这种差异是由于留下的对象,还是由于舱室80内的室内装饰或地毯上的污渍或变色。
如果操作110的判断是否定的,即图像差异表明没有潜在对象,则算法在框124结束。然后,该算法可以在后续驾驶周期中重复。在示例性实施例中,第一乘坐后图像可以被再次用作后续驾驶周期的参考图像。
如果操作110的判断是肯定的,则控制一个或多个车辆系统来改变入射光方向和/或强度,如框112所示。由此产生不同于第一入射光配置的第二入射光配置。在示例性实施例中,光控系统82受控以改变光的方向和/或强度,例如通过打开或关闭内部灯、打开或关闭窗户或遮光帘、或者修改一个或多个电致变色窗的不透明度。在另一个示例性实施例中,车辆致动器30由ADS 24控制,以相对于环境光源在不同的方向上重新定位车辆12,从而改变入射光在舱室80中的方向。在图4D的图示中,基于第一入射光配置的光源,对象84将投射第二阴影86'。
如框114所示,捕获乘员舱的后续的乘坐后图像。后续的乘坐后图像可以由光学相机26'基于来自控制器22的指令来捕获。如框116所示,判断后续的乘坐后图像和第一乘坐后图像之间的图像差异。这可以通过任何合适的图像差异算法来执行。
如操作118所示,作出图像差异是否表明舱室80中留下了潜在对象的判断。在示例性实施例中,响应于后续的乘坐后图像和第一乘坐后图像之间的图像差异超过阈值,可以判断出潜在对象被留下。如图4D所示,这种基于入射光变化的差异表示三维对象投射阴影,而不是色斑或变色。
响应于操作118的判断是否定的,即图像差异表明没有对象,则可以推断出乘员舱中的污点的存在并且采取纠正措施,如框120所示。在示例性实施例中,这包括通过ADS 24自动控制车辆12到达用于清洁的服务设施。也可以采取其他纠正措施。然后该算法在框124处终止。
响应于操作120的判断是肯定的,即图像差异表明有对象,则可以推断乘员舱内对象的存在,并采取纠正措施,如框122所示。在示例性实施例中,这包括自动向一个或多个最近的乘客传送警报,例如通过向乘客的移动设备传送通知、按喇叭、闪烁车灯或任何其他适当的传送警报的方式。然后该算法在框124处终止。
当然,可以对上述方式作出改变。例如,一个或多个另外的乘坐后图像可以用其他入射光配置捕获,以提供关于留在车辆中的对象的位置、形状、尺寸或其他特征的额外精准性。再例如,可以基于对象投射的阴影的长度和用于产生阴影的光源的位置的认识来计算对象的尺寸。此外,可以实施与上述方法类似的方法来检测其他检测空间中的对象,例如在车辆行李箱中,或者实际上在非汽车环境中。
可以看出,本发明提供了一种用于自动判断对象已经留在车辆中的系统和方法,并且用于在做出这样的判断时采取纠正措施。
虽然以上描述了示例性实施例,但并不意味着这些实施例描述了权利要求所包含的所有可能的形式。在说明书中使用的语言是说明性语言而不是限制性的,应当理解,可以在不脱离本发明的实质和范围的情况下可以进行各种改动。如前所述,各种实施例的特征可以被组合以形成可能没有被明确描述或示出的本发明的其他实施例。虽然可能已相对于一个或多个期望特征将各种实施例描述为提供了优于其他实施例或现有技术实施方式的优点,但是本领域普通技术人员应理解,一个或多个特征或特性可以省略以实现期望的总体系统属性,这取决于特定的应用和实现。这些属性可以包括但不限于成本、强度、耐用性、生命周期成本、可销售性、外观、包装、尺寸、可维护性、重量、可制造性、易于组装性等。因此,相对于一个或多个特征描述为比其他实施例或现有技术实施方式较不期望的实施例并不落在本发明的范围以外,其可以适用于特定应用。

Claims (6)

1.一种机动车辆,包括:
舱室;
光学传感器,用于捕获所述舱室的图像;
光控系统,可操作以修改所述舱室内的入射光的强度或方向;以及
控制器,被配置为响应于对象检测请求而自动控制所述光学传感器以使用第一入射光配置捕获所述舱室的第一图像、控制所述光控系统将所述舱室内的入射光的强度或方向修改为第二入射光配置、控制所述光学传感器以使用所述第二入射光配置捕获所述舱室的第二图像、检测所述第一图像和所述第二图像之间的阴影的变化、基于所述阴影的变化推断所述舱室内对象的存在、并基于所述对象的存在执行纠正措施。
2.根据权利要求1所述的车辆,其中所述光控系统包括设置在所述舱室内的内部灯,并且其中所述控制器被配置为通过选择性地打开或关闭所述内部灯来控制所述光控系统。
3.根据权利要求1所述的车辆,其中所述舱室设置有至少一个窗户,其中所述光控系统包括窗户系统,所述窗户系统可操作以通过所述至少一个窗户修改入射光,并且其中所述控制器被配置为通过选择性地控制所述窗户系统以修改入射光来控制所述光控系统。
4.根据权利要求1所述的车辆,其中所述光控系统包括至少一个用于控制车辆转向、加速或制动的致动器,并且其中所述控制器被配置为通过选择性地控制所述致动器在相对于环境光源的第一方位和相对于所述环境光源的第二方位之间移动车辆来控制所述光控系统。
5.根据权利要求1所述的车辆,其中所述对象检测请求是基于驾驶周期之前捕获的参考舱室图像和在驾驶周期之后捕获的周期后舱室图像之间的图像差异。
6.根据权利要求1所述的车辆,其中所述纠正措施包括向用户发出警报信号。
CN201910465772.5A 2018-06-22 2019-05-31 用于检测自主车辆中的对象的系统和方法 Active CN110626330B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/015,330 US11117594B2 (en) 2018-06-22 2018-06-22 System and method for detecting objects in an autonomous vehicle
US16/015330 2018-06-22

Publications (2)

Publication Number Publication Date
CN110626330A CN110626330A (zh) 2019-12-31
CN110626330B true CN110626330B (zh) 2023-03-28

Family

ID=68806046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910465772.5A Active CN110626330B (zh) 2018-06-22 2019-05-31 用于检测自主车辆中的对象的系统和方法

Country Status (3)

Country Link
US (1) US11117594B2 (zh)
CN (1) CN110626330B (zh)
DE (1) DE102019114707B4 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11493348B2 (en) 2017-06-23 2022-11-08 Direct Current Capital LLC Methods for executing autonomous rideshare requests
US20190095714A1 (en) * 2017-09-28 2019-03-28 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Vehicle interior lidar detection systems
US11106927B2 (en) * 2017-12-27 2021-08-31 Direct Current Capital LLC Method for monitoring an interior state of an autonomous vehicle
US10853629B2 (en) 2018-02-20 2020-12-01 Direct Current Capital LLC Method for identifying a user entering an autonomous vehicle
US11117594B2 (en) * 2018-06-22 2021-09-14 GM Global Technology Operations LLC System and method for detecting objects in an autonomous vehicle

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6919803B2 (en) * 2002-06-11 2005-07-19 Intelligent Technologies International Inc. Low power remote asset monitoring
US6910711B1 (en) * 1992-05-05 2005-06-28 Automotive Technologies International, Inc. Method for controlling deployment of an occupant protection device
US7050897B2 (en) * 1992-05-05 2006-05-23 Automotive Technologies International, Inc. Telematics system
US6856873B2 (en) * 1995-06-07 2005-02-15 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US6735506B2 (en) * 1992-05-05 2004-05-11 Automotive Technologies International, Inc. Telematics system
US8948442B2 (en) * 1982-06-18 2015-02-03 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
US6820897B2 (en) * 1992-05-05 2004-11-23 Automotive Technologies International, Inc. Vehicle object detection system and method
US6869100B2 (en) * 1992-05-05 2005-03-22 Automotive Technologies International, Inc. Method and apparatus for controlling an airbag
US6942248B2 (en) * 1992-05-05 2005-09-13 Automotive Technologies International, Inc. Occupant restraint device control system and method
US7663502B2 (en) * 1992-05-05 2010-02-16 Intelligent Technologies International, Inc. Asset system control arrangement and method
US6778672B2 (en) * 1992-05-05 2004-08-17 Automotive Technologies International Inc. Audio reception control arrangement and method for a vehicle
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US7415126B2 (en) * 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
US20080142713A1 (en) * 1992-05-05 2008-06-19 Automotive Technologies International, Inc. Vehicular Occupant Sensing Using Infrared
US7596242B2 (en) * 1995-06-07 2009-09-29 Automotive Technologies International, Inc. Image processing for vehicular applications
US9290146B2 (en) * 1992-05-05 2016-03-22 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
US7734061B2 (en) * 1995-06-07 2010-06-08 Automotive Technologies International, Inc. Optical occupant sensing techniques
US8054203B2 (en) * 1995-06-07 2011-11-08 Automotive Technologies International, Inc. Apparatus and method for determining presence of objects in a vehicle
US7738678B2 (en) * 1995-06-07 2010-06-15 Automotive Technologies International, Inc. Light modulation techniques for imaging objects in or around a vehicle
US7386372B2 (en) * 1995-06-07 2008-06-10 Automotive Technologies International, Inc. Apparatus and method for determining presence of objects in a vehicle
US20090046538A1 (en) * 1995-06-07 2009-02-19 Automotive Technologies International, Inc. Apparatus and method for Determining Presence of Objects in a Vehicle
WO2006027032A1 (en) * 2004-09-06 2006-03-16 Bayerische Motoren Werke Aktiengesellschaft Device for the detection of an object on a vehicle seat
JP4438753B2 (ja) * 2006-01-27 2010-03-24 株式会社日立製作所 車両内状態検知システム,車両内状態検知装置および方法
US20130100266A1 (en) * 2011-10-25 2013-04-25 Kenneth Edward Salsman Method and apparatus for determination of object topology
KR101841948B1 (ko) * 2015-10-02 2018-03-26 엘지전자 주식회사 차량 내 분실물 예방 서비스 제공장치, 제공방법 및 이동 단말기
WO2017087984A1 (en) * 2015-11-20 2017-05-26 Uber Technologies, Inc. Controlling autonomous vehicles in connection with transport services
US9454154B1 (en) * 2016-03-07 2016-09-27 Amazon Technologies, Inc. Incident light sensor on autonomous vehicle
JP2019174116A (ja) * 2016-08-26 2019-10-10 パナソニックIpマネジメント株式会社 画像処理システム及び方法
DE102017200607B4 (de) 2017-01-17 2024-02-15 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen eines Objekts in einem Fahrzeug
US11117594B2 (en) * 2018-06-22 2021-09-14 GM Global Technology Operations LLC System and method for detecting objects in an autonomous vehicle

Also Published As

Publication number Publication date
US20190389486A1 (en) 2019-12-26
DE102019114707A1 (de) 2019-12-24
US11117594B2 (en) 2021-09-14
DE102019114707B4 (de) 2021-12-23
CN110626330A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
US10073456B2 (en) Automated co-pilot control for autonomous vehicles
CN110626330B (zh) 用于检测自主车辆中的对象的系统和方法
CN111204340B (zh) 用于控制自主车辆的系统和方法
US20190310678A1 (en) Pedal Assembly For A Vehicle
CN110315970B (zh) 用于车辆的踏板组件
CN110789515B (zh) 机动车辆中用于硬件验证的系统和方法
US20200172106A1 (en) System and method for control of an autonomous vehicle
CN111532254B (zh) 用于控制自主车辆的系统和方法
US20190061756A1 (en) System and method for following distance adjustment for an autonomous vehicle
US11059478B2 (en) System and method for autonomous control of a vehicle
CN111216724B (zh) 用于控制自动驾驶车辆的系统及方法
US10399600B2 (en) Diagnostic method for an actuator in an autonomous vehicle
US20180321678A1 (en) Notification System For Automotive Vehicle
CN111038482B (zh) 用于车辆路径自动控制的系统和方法
CN110968091A (zh) 用于自动控制车辆的系统和方法
CN112824150A (zh) 通信预期交通工具操纵的系统和方法
CN111319610A (zh) 用于控制自主车辆的系统和方法
CN110920612B (zh) 用于车辆自主控制的系统和方法
US20180319393A1 (en) System And Method For Collision Mitigation And Avoidance In Autonomous Vehicle
US20200097019A1 (en) Vision system for an automotive vehicle
US20200183415A1 (en) System and method for control of an autonomous vehicle
CN110550039A (zh) 用于控制自动驾驶车辆的系统和方法
CN111103596A (zh) 激光雷达系统及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant