CN110712646B - 从自主模式转换到手动模式之前对车辆操作员意识的验证 - Google Patents

从自主模式转换到手动模式之前对车辆操作员意识的验证 Download PDF

Info

Publication number
CN110712646B
CN110712646B CN201910559193.7A CN201910559193A CN110712646B CN 110712646 B CN110712646 B CN 110712646B CN 201910559193 A CN201910559193 A CN 201910559193A CN 110712646 B CN110712646 B CN 110712646B
Authority
CN
China
Prior art keywords
operator
host vehicle
primary
target
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910559193.7A
Other languages
English (en)
Other versions
CN110712646A (zh
Inventor
N·曼加勒
M·H·劳尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Priority to CN202211665751.6A priority Critical patent/CN115892013A/zh
Publication of CN110712646A publication Critical patent/CN110712646A/zh
Application granted granted Critical
Publication of CN110712646B publication Critical patent/CN110712646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

用于操作车辆的系统(10)包括物体检测器(20)和操作员监视器(24)以及控制器(30)。物体检测器(20)用于检测靠近主车辆(12)的一个或多个目标(22)，所述主车辆(12)可以在自主模式(14)和手动模式(16)下操作。操作员监视器(24)用于检测主车辆(12)的操作员(18)的注视方向(26)。控制器电路(30)与物体检测器(20)和操作员监视器(24)通信。控制器电路(30)被配置为确定由物体检测器(20)检测到的每个目标(22)的分类(42)。分类(42)包括主要目标(44)和忽略目标(46)。控制器电路(30)还被配置为确定主车辆(12)的操作从自主模式(14)到手动模式(16)的切换(40)被推荐，执行操作员(18)已经比主要时间(62)更近期地注视每个主要目标(44)的验证(60)，并且响应于验证(60)而执行切换(40)。

Description

从自主模式转换到手动模式之前对车辆操作员意识的验证
技术领域
本公开总体上涉及用于操作车辆的系统，并且更具体地涉及在执行将车辆控制从自主模式切换到手动模式之前执行验证操作员已经比主要时间更近期地注视每个主要目标的系统。
背景技术
在自动车辆领域中，车辆可以在全自动模式下操作，在这种情况下人类操作员仅需要指定目的地以操作车辆。但在某些情况下，完全的自动化是不希望的，而是例如需要使车辆的速度控制是自动化的，而转向控制由人类操作员完成。
发明内容
在一个方面中，本公开提供了一种用于操作车辆的系统，所述系统包括：物体检测器，其用于检测靠近主车辆的一个或多个目标，所述主车辆能够在自主模式和手动模式下操作；操作员监视器，其用于检测所述主车辆的操作员的注视方向；以及控制器电路，其与所述物体检测器和所述操作员监视器通信，所述控制器电路被配置为确定由所述物体检测器检测到的每个目标的分类，所述分类包括主要目标和忽略目标，确定所述主车辆的操作从所述自主模式到所述手动模式的切换被推荐，执行所述操作员已经比主要时间更近期地注视每个主要目标的验证，并且响应于所述验证而执行所述切换。
在另一个方面中，本公开提供了一种用于操作车辆的控制器电路，所述控制器电路包括：第一输入端，其被配置为与用于检测靠近主车辆的一个或多个目标的物体检测器通信，所述主车辆能够在自主模式和手动模式下操作；第二输入端，其被配置为与用于检测所述主车辆的操作员的注视方向的操作员监视器通信；以及处理器，其与所述物体检测器和所述操作员监视器通信，所述处理器被配置为确定由所述物体检测器检测到的每个目标的分类，所述分类包括主要目标和忽略目标，确定所述主车辆的操作从所述自主模式到所述手动模式的切换被推荐，执行所述操作员已经比主要时间更近期地注视每个主要目标的验证，并且响应于所述验证而执行所述切换。
在又一个方面中，本公开提供了一种用于操作车辆的方法，所述方法包括：利用物体检测器检测靠近主车辆的一个或多个目标，所述主车辆能够在自主模式和手动模式下操作；利用操作员监视器检测所述主车辆的操作员的注视方向；确定由所述物体检测器检测到的每个目标的分类，所述分类包括主要目标和忽略目标；确定所述主车辆的操作从所述自主模式到所述手动模式的切换被推荐；执行所述操作员已经比主要时间更近期地注视每个主要目标的验证；以及响应于所述验证而执行所述切换。
在又一个方面中，本公开提供了一种第一设备，包括：一个或多个处理器；存储器；一个或多个程序，其存储在存储器中，所述一个或多个程序包括用于执行上述方法的指令。
在又一个方面中，本公开提供了一种非暂时性计算机可读存储介质，其包括用于由第一设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括指令，所述指令当由所述一个或多个处理器执行时，使得所述第一设备执行上述方法。
附图说明
现在将参考附图通过示例的方式描述本发明，其中：
图1是根据一个实施例的用于操作车辆的系统的图；
图2是根据一个实施例的图1的系统遇到的场景；以及
图3是根据一个实施例的操作图1的系统的方法。
具体实施方式
现在将详细参考实施例，其示例在附图中示出。在以下详细描述中，阐述了许多具体细节以便于提供对各种描述的实施例的透彻理解。然而，对于本领域普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践各种描述的实施例。在其他实例中，没有详细描述公知的方法、过程、组件、电路和网络以免不必要地模糊实施例的方面。
“一个或多个”包括由一个元素执行功能、由多于一个元素执行功能(例如，以分布式方式)、由一个元素执行若干功能、由若干元素执行若干功能或者上面的任何组合。
还应该理解的是，尽管在某些实例中，本文所使用的术语第一、第二等用于描述各种元素，但是这些元素不应受这些术语的限制。这些术语仅用于将元素彼此区分。例如，在不脱离各种描述的实施例的范围的情况下，第一触点可以被称为第二触点，并且类似地，第二触点可以被称为第一触点。第一触点和第二触点两者都是触点，但是它们不是相同的触点。
对本文各种描述的实施例的描述中所使用的术语仅用于描述实施例，而不旨在是限制性的。如在对各种描述的实施例的描述和所附权利要求书中所使用的，除非上下文另有明确指示，否则单数形式的“一(a)”、“一个(an)”和“该(the)”旨在也包括复数形式。还应该理解的是，如本文所使用的术语“和/或”指代并包含相关联的所列项目中的一个或多个项目的所有可能的组合。还应该理解的是，当在本说明书中使用时，术语“包括(includes)”、“包括(including)”、“包含(comprises)”和/或“包含(comprising)”指定存在所陈述的特征、整体、步骤、操作、元素和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元素、组件和/或其组。
如本文所使用的，术语“如果”取决于上下文可选地被解释为表示“当……时”或“在……时”或“响应于确定……”或“响应于检测到……”。类似地，短语“如果确定了……”或“如果[陈述的条件或事件]被检测到”取决于上下文可选地被解释为表示“在确定……时”或“响应于确定……”或“在检测到[陈述的条件或事件]时”或“响应于检测到[陈述的条件或事件]”。
图1示出了用于操作车辆(例如，主车辆12)的系统10的非限制性示例。主车辆12可以被表征为自动车辆。如本文所使用的，术语自动车辆用于表征可以在自主模式14(即，全自动模式)下操作的车辆，其中主车辆12的人类操作员(下文称为操作员18)可以仅仅指定目的地以操作主车辆12。然而，完全的自动化不是全部时间的要求。例如，自主模式14可以包括当仅主车辆12的速度控制是自动化的但是转向是由操作员18控制时的情况。如下面将更详细解释的，当主车辆12从自主模式14转换到手动模式16时，发现本文所描述的系统10的独特优点中的一些，其中自动化的程度或水平可以仅仅是向通常控制主车辆12的转向、加速器和制动器的人类操作员提供听觉或视觉警告。
系统10包括物体检测器20，该物体检测器20可以包含或包括相机、雷达、激光雷达、超声换能器或其任何组合中的一个或多个实例。物体检测器20的一个功能是物体检测器20用于检测靠近主车辆12(例如，在100米内)的一个或多个目标22(例如，其他车辆、行人、交通信号)。用于处理来自形成物体检测器20的设备的信息以检测目标22的方法和算法对于自动车辆领域技术人员是公知的。虽然形成物体检测器20的各种设备被示出为主车辆12的一部分(例如，安装在主车辆12上)，但是这不是要求。应该设想到的是，诸如安装在杆或交通信号上的交通观察相机之类的车外设备可以向主车辆12提供信息或图像。如先前所提到的，主车辆12可以在自主模式和手动模式下操作。
系统10包括操作员监视器24，该操作员监视器24用于检测主车辆12的操作员18的注视方向26，以及其他可能的用途和功能。操作员监视器24可以由红外(IR)和/或可见光内部相机、雷达和/或超声换能器中的一个或多个实例组成或形成。如本文所使用的，注视方向26被表征为操作员18正在看向的主车辆12的内部或外部的地方。例如，向前看向在主车辆12前面的另一车辆，看向主车辆12的后视镜或侧视镜以观察在主车辆12后面或旁边的另一车辆，或者进行必要的头部或眼部移动以检查在主车辆12的旁边且部分在主车辆12后面的所谓的盲点。用于处理来自形成操作员监视器24的设备的信息以检测朝向主车辆12的内部或外部的某物的注视方向26的方法和算法对于驾驶员监视领域技术人员是公知的。
系统10包括控制器电路30，该控制器电路30经由第一输入端36与物体检测器20通信、经由第二输入端38与操作员监视器24通信并且与车辆控制28通信，该车辆控制28允许对主车辆12的转向、制动器和加速器(但不限于此)进行自动操作和手动操作。如本领域技术人员将认识到的，通信可以是经由电线、光纤的或者是无线通信。如应对本领域技术人员来说显而易见的，控制器电路30(下文有时称为控制器30)可以包括处理器32的一个或多个实例，例如，微处理器或其他控制电路(例如，包括用于处理数据的专用集成电路(ASIC)的模拟和/或数字控制电路)的一个或多个实例。尽管本文所描述的系统10通常关于具有控制器30的单个实例来描述，但是应该认识到的是，控制器30的功能可以在控制器的若干实例之间共享或分布，控制器的每个实例被配置用于某些特定任务。此后，对于被配置用于某物的控制器30的任何参考也被解释为暗示处理器32也可以被配置用于相同的事物。还应该认识到的是，在控制器30的任一实例中可以存在处理器的多个实例。控制器30可以包括存储器34(即，非暂时性计算机可读存储介质)，该存储器34包括非易失性存储器，例如，用于存储一个或多个例程、阈值和捕获的数据的电可擦除可编程只读存储器(EEPROM)。存储器34可以是处理器32的一部分，或者是控制器30的一部分，或者与控制器30分开(例如，存储在云中的远程存储器)。如本文所描述的，一个或多个例程可以由控制器30或处理器32执行，以执行用于基于由控制器30接收的信号来确定目标22的各种实例的相对位置以及操作员18的注视方向26的步骤。
图2示出了主车辆12可能遇到的场景38的非限制性示例。当诸如主车辆12之类的自动车辆正在自主模式14下操作时，在主车辆12的操作应该从自主模式14转换到手动模式的情况下已经观察到该情况。这种情况的示例包括但不限于：形成物体检测器20的设备中的一个或多个的故障或损坏，或者在主车辆12的可用的行驶路径与数字地图中所指示的道路的配置不对应的情况下接近建筑区域或事故现场。当系统10检测到推荐从自主模式14到手动模式16的转换(下文有时称为切换40(图1))的情况时，本文所描述的系统10验证操作员18在完成切换40之前意识到目标22的存在。如本文所使用的，切换40被表征为由系统10发起，并且不应与操作员18进行的接管控制(其中操作员18发起从自主模式14到手动模式16的转换)混淆。
为此，控制器30被配置为确定由物体检测器20检测到的每个目标22的分类42。分类42的选项包括但不限于主要目标44和忽略目标46。通过示例而非限制的方式，被分类为主要目标44的目标22的实例可以是交通信号48(图2)、停止标志(未示出)或者行人50，或者在主车辆12的行驶路径54上移动的或者朝向或穿过主车辆12的行驶路径54移动的和/或在主车辆12七十五米(75m)以内的另一车辆52。即，目标22的被分配主要目标44的分类42的实例是目标22的这些实例：系统10(即，控制器30或处理器32)已经认为其是在完成从自主模式14到手动模式16的切换40之前操作员18应该意识到的(即，看到的)某物。
相比之下，目标22的被分配忽略目标46的分类42的实例是目标22的这些实例：系统10(即，控制器30或处理器32)已经认为其是在完成从自主模式14到手动模式16的切换40之前操作员18不需要看到的某物。通过示例而非限制的方式，目标22的被分类为忽略目标46的实例可以是在与主车辆12相反的方向上行驶并且已经在主车辆12后面或已经经过主车辆12的对向车辆56，或者在主车辆12的行驶路径之外的静止物体(例如，在路肩上的垃圾容器58)。目标22中的哪个应该被分类为忽略目标46的一种可能的一般定义是目标22的不移动的且不在主车辆的行驶路径或道路中的那些实例。
当主车辆12正在自主模式14下操作时，可以持续地或周期性地完成对目标22的每个实例的跟踪并确定目标22的每个实例的分类42。当系统10确定推荐将主车辆的操作从自主模式切换40到手动模式时，系统10(即，控制器30或处理器32)被配置为执行这样的验证60：操作员18已经比主要时间62(例如，三秒(3s))更近期地注视目标22的已经被分配主要目标44的分类42的每个实例。即，验证60是检查操作员18的注视方向26已经指向主要目标中的每一个，以及检查自从注视主目标中的每一个以来的时间64小于主要时间62。响应于验证60的这样的肯定结果：已经比主要时间62更近期地看向或注视主要目标中的每一个，控制器30执行切换40。
可以预期的是，将存在验证60具有否定结果时的实例，即，操作员18未在比主要时间62更长的时间内看向主要目标中的一个或多个。图2示出了当前在操作员18所谓的盲点中的比主车辆12行驶得更快的通行车辆66。该通行车辆66比主车辆12行驶得更快和/或该通行车辆66近期已经加速到比主车辆12更快的速度可以作为通行车辆66旨在改变车道进入主车辆12的行驶路径54的指示。即使通行车辆66以与主车辆12相同的速度行驶，操作员18也需要在采取对主车辆12进行手动控制之前意识到通行车辆66的存在以避免主车辆12朝向通行车辆66突然变道。因此，控制器30可以被配置为将通行车辆分类为主要目标44，因此通行车辆66的存在很可能是在完成切换40之前操作员18应该意识到的某物。然而，在该非限制性示例中，操作员18未在比主要时间62更长的时间内显示出朝向通行车辆66的注视方向26。
响应于这种预期，系统10可以包括操作员18可感知的警报设备68，该警报设备68经由输出端70与控制器电路30通信。警报设备68可以包含或包括但不限于仪表盘上的可重新配置的显示器或平视显示器、输出诸如“执行视觉扫描”之类的语音通知的扬声器、位于吸引操作员18的注意的位置的灯的布置或其任何组合。警报设备被配置为可以由控制器30操作以向操作员18指示需要由操作员18看到的例如朝向主要目标44的实例的方向。由警报设备68传达给操作员18的信息可以包括但不限于到目标的具体方向和距离、仅方向、360度的部分中的哪个部分，例如，位于未比主要时间更近期地被注视的一个或多个主要目标处的象限(例如，左前方、右后方等)。
应该设想到的是，可能存在目标22的相比主要目标不那么重要但是比忽略目标更重要的实例。例如，图2示出了以与主车辆12本质上相同的速度行驶的跟随车辆72。虽然操作员18不应该忽略跟随车辆72，但是操作员18可能不需要像注视目标的在主车辆12前方或紧邻主车辆12的实例一样频繁地注视跟随车辆。因此，分类42可以包括次要目标74。通过进一步的示例性区分的方式，主要目标44的实例可以是靠近主车辆12移动的另一车辆或者在主车辆12的行驶路径54中的或者朝向主车辆12的行驶路径54移动的行人50，并且次要目标74的实例可以是没有靠近主车辆移动(即，以相同的速度和方向移动，或者远离主车辆12移动)的另一车辆。由于次要目标74可能不需要像主目标44的实例一样经常地被查看或注视，所以验证60可以包括或被配置为验证操作员18已经比次要时间76(例如，5秒)更近期地注视次要目标的每个实例，其中次要时间76比主要时间62更长。
应该设想到的是，对目标22的一些实例的分类42可能需要比从物体检测器20可以获得的信息更多的信息，和/或可能被阻挡或以其他方式被妨碍的从物体检测器20到某个物体的视线。因此，系统10可以包括数字地图78，该数字地图78指示主要目标44和/或靠近主车辆12的次要目标74的实例的位置。通过示例而非限制的方式，数字地图78中描绘的目标22的实例可以包括交通信号48或停止标志(未示出)，和/或限定诸如悬崖之类的不可驶入区域的边界。
当难以确定操作员18的注视方向26(因为例如操作员戴着墨镜)，和/或存在主目标44的彼此太靠近以至于难以区分查看主目标的每个实例必需的注视方向26的改变的实例时，可能出现状况。因此，作为对监视注视方向26的附加或替代，验证60可以包括操作员18已经比扫描时间82更近期地执行围绕主车辆12的视觉扫描80。如果不能检测或区分注视方向26，则可以跟踪操作员18的头部的移动以确定操作员18已经执行了视觉扫描80。对完成视觉扫描80的要求可以包括看向后视镜和侧视镜，对主车辆前方区域的一般扫描，以及用于指示已经检查盲点的足够的头部移动。
图3示出了用于操作车辆(例如，主车辆12)的方法100的非限制性示例。
步骤105(在自主模式下操作主车辆)可以包括操作员18仅指定或输入目的地，并且控制器30通过操作车辆控制28来控制主车辆12以在自主模式14下将主车辆12“驾驶”到目的地。主车辆12还可以在手动模式16下操作，其中操作员18手动控制车辆控制28的转向、制动器和加速器中的一个或多个。如将在以下描述中变得显而易见的，方法100的一个方面是在完成从自主模式14到手动模式16的转换之前验证操作员18意识到相关物体靠近主车辆12。
步骤110(检测(多个)目标)可以包括利用物体检测器20检测靠近主车辆12的一个或多个目标22。控制器30可以被配置或编程为处理来自物体检测器20的一个或多个信号以检测和/或跟踪一个或多个目标22。
步骤115(访问数字地图)可以包括访问数字地图78，该数字地图78指示主要目标44和/或靠近主车辆12的次要目标74的一个或多个实例。数字地图78可以存储在主车辆12上的存储器34中，或者可以存储在云中并且从主车辆12远程访问。
步骤120(检测(多个)注视方向)可以包括利用操作员监视器24检测主车辆12的操作员18的注视方向26。注视方向26可以由相对于主车辆的纵轴的方位角以及相对于纵轴的仰角或相对于重力的水平来表征。
步骤125(对(多个)目标进行分类)可以包括确定对由物体检测器20检测到的每个目标22的分类42。分类42的值或类型可以包括但不限于主要目标44、次要目标74和忽略目标46。分类42可以基于但不限于目标的相对位置(例如，在主车辆12的前方、旁边或后面，在主车辆的行驶路径54以内、附近或外部)和/或相对移动(例如，朝向或远离主车辆12)。分类42还可以考虑对目标22(例如，交通信号48、行人50、其他车辆52或诸如垃圾容器58之类的静止物体)的识别。
步骤130(推荐切换？)可以包括确定因为例如形成物体检测器20的设备中的一个或多个已经发生故障或已经被损坏而推荐将主车辆12的操作从自主模式14切换40到手动模式16。
步骤135(注视(多个)主要目标<主要时间？)可以包括确定操作员18已经比主要时间62更近期地注视主要目标44中的每个实例。即，自从操作员18看向或注视目标22的被分类为主要目标44的每个实例以来，已经过去了短于主要时间62。
步骤140(注视(多个)次要目标<次要时间？)是可选步骤，该步骤140可以包括确定操作员18已经比次要时间76更近期地注视每个次要目标74，其中次要时间76比主要时间62更长。
步骤145(视觉扫描<扫描时间？)是可选步骤，该步骤145可以包括确定操作员18已经比扫描时间82更近期地执行围绕主车辆12的视觉扫描80。
步骤150(操作员意识验证？)可以包括执行由步骤135、140和145执行的测试已经通过或至少执行了这些步骤的验证60。如果确认了验证60，则方法前进到步骤160以执行切换40。否则，如果步骤135、140和145中的一个或多个未通过，则方法100前进到步骤155以激活警报设备68。除了步骤135、140和145中的一个或多个之外，验证60可以包括确认操作员18已经抓住或触摸控制主车辆的转向的方向盘，并且操作员的脚被合适地放置以操作主车辆12的制动器和加速器。
步骤155(操作警报设备)可以包括操作警报设备以向操作员18指示：朝向未比主要时间62更近期地被注视的一个或多个主要目标44的方向，和/或朝向未比次要时间76更近期地被注视的一个或多个次要目标74的方向，和/或未比扫描时间82更近期地执行视觉扫描80。
步骤160(执行切换？)可以包括响应于验证，通过使车辆控制28的自动控制停止和/或提供手动模式16被使用的某种指示来执行切换40。该指示可以是从扬声器发出的语音消息(例如，“使用手动驾驶”或“终止自动驾驶”)和/或照亮主车辆12的仪表盘上的指示器。
步骤165(安全停止主车辆)可以包括维持在自主模式14下的操作，直到控制器30可以将主车辆12转向到路肩并停止，或者走出口匝道并找到合适的停车位置。如果操作员18由于某种原因不能满意地在视觉上扫描主车辆12周围的区域以准备采取对主车辆12的手动控制，则可以采取该步骤。
步骤170(在手动模式下操作主车辆)可以包括操作员18继续操作车辆控制28，直到可以恢复在自主模式14下操作主车辆的情况为止。
本文所描述的是第一设备30，该第一设备30包括一个或多个处理器32；存储器34；和存储在存储器34中的一个或多个程序105-170。一个或多个程序105-170包括用于执行方法100的全部或部分的指令。另外，本文所描述的是非暂时性计算机可读存储介质34，该非暂时性计算机可读存储介质34包括用于由第一设备30的一个或多个处理器32执行的一个或多个程序105-170，该一个或多个程序105-170包括指令，该指令当由一个或多个处理器32执行时，使得第一设备30执行方法100的全部或部分。
因此，提供了系统10、用于系统10的控制器30以及操作系统10的方法100。系统10和方法100用于确定当出于各种原因建议将操作从自主模式14转换到手动模式16时，操作员准备好采取对主车辆12的手动控制。
虽然已经关于本发明的优选实施例描述了本发明，但是不旨在将本发明限制于此，而是仅以在所附权利要求书中阐述的程度限制本发明。

Claims (17)

1.一种用于操作车辆的系统，所述系统包括：
物体检测器，其用于检测靠近主车辆的一个或多个目标，所述主车辆能够在自主模式和手动模式下操作；
操作员监视器，其用于检测所述主车辆的操作员的注视方向；以及
控制器电路，其与所述物体检测器和所述操作员监视器通信，所述控制器电路被配置为确定由所述物体检测器检测到的每个目标的分类，所述分类包括主要目标和忽略目标，确定所述主车辆的操作从所述自主模式到所述手动模式的切换被推荐，执行所述操作员已经比主要时间更近期地注视每个主要目标的验证，并且响应于所述验证而执行所述切换。
2.根据权利要求1所述的系统，其中所述系统包括警报设备，所述警报设备可操作以向所述操作员指示朝向尚未比所述主要时间更近期地被注视的一个或多个主要目标的方向。
3.根据权利要求1所述的系统，其中所述分类包括次要目标，并且所述验证包括所述操作员已经比次要时间更近期地注视每个次要目标，所述次要时间比所述主要时间更长。
4.根据权利要求1-3中任一项所述的系统，其中所述系统包括指示靠近所述主车辆的主要目标的数字地图。
5.根据权利要求1-3中任一项所述的系统，其中验证包括所述操作员已经比扫描时间更近期地执行围绕所述主车辆的视觉扫描。
6.一种用于操作车辆的控制器电路，所述控制器电路包括：
第一输入端，其被配置为与用于检测靠近主车辆的一个或多个目标的物体检测器通信，所述主车辆能够在自主模式和手动模式下操作；
第二输入端，其被配置为与用于检测所述主车辆的操作员的注视方向的操作员监视器通信；以及
处理器，其与所述物体检测器和所述操作员监视器通信，所述处理器被配置为确定由所述物体检测器检测到的每个目标的分类，所述分类包括主要目标和忽略目标，确定所述主车辆的操作从所述自主模式到所述手动模式的切换被推荐，执行所述操作员已经比主要时间更近期地注视每个主要目标的验证，并且响应于所述验证而执行所述切换。
7.根据权利要求6所述的控制器电路，其中所述控制器电路包括：
输出端，其被配置为与警报设备通信，所述警报设备可操作以向所述操作员指示朝向尚未比所述主要时间更近期地被注视的一个或多个主要目标的方向。
8.根据权利要求6所述的控制器电路，其中所述分类包括次要目标，并且所述验证包括所述操作员已经比次要时间更近期地注视每个次要目标，所述次要时间比所述主要时间更长。
9.根据权利要求6-8中任一项所述的控制器电路，其中所述控制器电路包括指示靠近所述主车辆的主要目标的数字地图。
10.根据权利要求6-8中任一项所述的控制器电路，其中验证包括所述操作员已经比扫描时间更近期地执行围绕所述主车辆的视觉扫描。
11.一种用于操作车辆的方法，所述方法包括：
利用物体检测器检测靠近主车辆的一个或多个目标，所述主车辆能够在自主模式和手动模式下操作；
利用操作员监视器检测所述主车辆的操作员的注视方向；
确定由所述物体检测器检测到的每个目标的分类，所述分类包括主要目标和忽略目标；
确定所述主车辆的操作从所述自主模式到所述手动模式的切换被推荐；
执行所述操作员已经比主要时间更近期地注视每个主要目标的验证；以及
响应于所述验证而执行所述切换。
12.根据权利要求11所述的方法，其中所述方法包括操作警报设备以向所述操作员指示朝向尚未比所述主要时间更近期地被注视的一个或多个主要目标的方向。
13.根据权利要求11所述的方法，其中所述分类包括次要目标，并且执行所述验证包括所述操作员已经比次要时间更近期地注视每个次要目标，所述次要时间比所述主要时间更长。
14.根据权利要求11-13中任一项所述的方法，其中所述方法包括：
访问指示靠近所述主车辆的主要目标的数字地图。
15.根据权利要求11-13中任一项所述的方法，其中所述方法包括：
验证所述操作员已经比扫描时间更近期地执行围绕所述主车辆的视觉扫描。
16.一种第一设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其存储在存储器中，所述一个或多个程序包括用于执行权利要求11-15中任一项所述的方法的指令。
17.一种非暂时性计算机可读存储介质，其包括用于由第一设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括指令，所述指令当由所述一个或多个处理器执行时，使得所述第一设备执行权利要求11-15中任一项所述的方法。
CN201910559193.7A 2018-06-27 2019-06-26 从自主模式转换到手动模式之前对车辆操作员意识的验证 Active CN110712646B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211665751.6A CN115892013A (zh) 2018-06-27 2019-06-26 用于操作车辆的系统、控制电路、方法、设备和存储介质

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862690491P 2018-06-27 2018-06-27
US62/690,491 2018-06-27
US16/021,623 2018-06-28
US16/021,623 US10656647B2 (en) 2018-06-27 2018-06-28 Verification of vehicle operator awareness before transition from autonomous-mode to manual-mode

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211665751.6A Division CN115892013A (zh) 2018-06-27 2019-06-26 用于操作车辆的系统、控制电路、方法、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110712646A CN110712646A (zh) 2020-01-21
CN110712646B true CN110712646B (zh) 2023-01-10

Family

ID=67107342

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211665751.6A Pending CN115892013A (zh) 2018-06-27 2019-06-26 用于操作车辆的系统、控制电路、方法、设备和存储介质
CN201910559193.7A Active CN110712646B (zh) 2018-06-27 2019-06-26 从自主模式转换到手动模式之前对车辆操作员意识的验证

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202211665751.6A Pending CN115892013A (zh) 2018-06-27 2019-06-26 用于操作车辆的系统、控制电路、方法、设备和存储介质

Country Status (3)

Country Link
US (1) US10656647B2 (zh)
EP (1) EP3597503B1 (zh)
CN (2) CN115892013A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11144052B2 (en) * 2018-12-07 2021-10-12 Toyota Research Institute, Inc. Readiness and identification by gaze and/or gesture pattern detection
US11157235B2 (en) 2020-03-10 2021-10-26 Aptiv Technologies Limited System and method for veryifying audible and/or visual notifications
US11912307B2 (en) * 2020-03-18 2024-02-27 Waymo Llc Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
KR20210134127A (ko) * 2020-04-29 2021-11-09 현대자동차주식회사 자율 주행 제어 방법 및 장치
KR20210152095A (ko) * 2020-06-05 2021-12-15 현대자동차주식회사 자율 주행 제어 방법 및 장치
US20220204042A1 (en) * 2020-12-27 2022-06-30 Hyundai Mobis Co., Ltd. Driver management system and method of operating same
DE102022104585B4 (de) * 2022-02-25 2023-11-30 Bayerische Motoren Werke Aktiengesellschaft Fahrsystem mit absicherung der automatisierten querführung im hands-off-fahrbetrieb, entsprechendes verfahren und entsprechende software

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1897774A1 (en) * 2006-09-08 2008-03-12 Ford Global Technologies, LLC An active safety system for a vehicle and a method for operation in an active safety system

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6281806B1 (en) * 2000-10-12 2001-08-28 Ford Global Technologies, Inc. Driver road hazard warning and illumination system
DE10059313A1 (de) * 2000-11-29 2002-06-13 Bosch Gmbh Robert Anordnung und Verfahren zur Überwachung des Umfelds eines Fahrzeugs
WO2006087002A1 (de) * 2005-02-18 2006-08-24 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zum verbringen eines kraftfahrzeugs in eine zielposition
JP2006327527A (ja) * 2005-05-30 2006-12-07 Honda Motor Co Ltd 車両の走行安全装置
JP5269755B2 (ja) * 2009-12-10 2013-08-21 株式会社日立製作所 人横断支援車両システム及び人横断支援方法
DE102010009889A1 (de) * 2010-03-02 2011-09-08 GM Global Technology Operations LLC , (n. d. Ges. d. Staates Delaware) Vorrichtung zur Vermeidung einer Kollision einer schwenkbaren Fahrzeugklappe
JP5696701B2 (ja) * 2012-08-31 2015-04-08 株式会社デンソー 対歩行者報知装置
US9234618B1 (en) * 2012-09-27 2016-01-12 Google Inc. Characterizing optically reflective features via hyper-spectral sensor
US9097800B1 (en) * 2012-10-11 2015-08-04 Google Inc. Solid object detection system using laser and radar sensor fusion
US8818609B1 (en) * 2012-11-15 2014-08-26 Google Inc. Using geometric features and history information to detect features such as car exhaust in point maps
US9092986B2 (en) * 2013-02-04 2015-07-28 Magna Electronics Inc. Vehicular vision system
US9342074B2 (en) * 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
US9254846B2 (en) * 2013-05-03 2016-02-09 Google Inc. Predictive reasoning for controlling speed of a vehicle
US9145139B2 (en) * 2013-06-24 2015-09-29 Google Inc. Use of environmental information to aid image processing for autonomous vehicles
US9080866B1 (en) * 2013-06-26 2015-07-14 Google Inc. Methods and systems for detection of reflective markers at long range
US9286520B1 (en) * 2013-07-16 2016-03-15 Google Inc. Real-time road flare detection using templates and appropriate color spaces
US9707942B2 (en) * 2013-12-06 2017-07-18 Elwha Llc Systems and methods for determining a robotic status of a driving vehicle
US9164507B2 (en) * 2013-12-06 2015-10-20 Elwha Llc Systems and methods for modeling driving behavior of vehicles
JP6137001B2 (ja) * 2014-03-14 2017-05-31 株式会社デンソー 車載装置
JP6149824B2 (ja) * 2014-08-22 2017-06-21 トヨタ自動車株式会社 車載装置、車載装置の制御方法及び車載装置の制御プログラム
US9764736B2 (en) * 2015-08-14 2017-09-19 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle operation relative to unexpected dynamic objects
US9915951B2 (en) * 2015-12-27 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Detection of overhanging objects
US10059346B2 (en) * 2016-06-07 2018-08-28 Ford Global Technologies, Llc Driver competency during autonomous handoff
US10209708B2 (en) * 2016-07-28 2019-02-19 Lytx, Inc. Determining driver engagement with autonomous vehicle
US10640117B2 (en) * 2016-08-17 2020-05-05 Allstate Insurance Company Driving cues and coaching
KR101896790B1 (ko) 2016-11-08 2018-10-18 현대자동차주식회사 운전자 집중도 판정 장치, 그를 포함한 시스템 및 그 방법
KR20180070401A (ko) 2016-12-16 2018-06-26 현대자동차주식회사 자율주행차량의 운전 제어권 이양을 판단하는 시스템 및 방법
KR102064223B1 (ko) * 2017-07-12 2020-02-11 엘지전자 주식회사 차량용 주행 시스템 및 차량
US10546202B2 (en) * 2017-12-14 2020-01-28 Toyota Research Institute, Inc. Proving hypotheses for a vehicle using optimal experiment design
US10780890B2 (en) * 2018-01-03 2020-09-22 Toyota Research Institute, Inc. Vehicle systems and methods for detecting and mitigating an incapacitated driver

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1897774A1 (en) * 2006-09-08 2008-03-12 Ford Global Technologies, LLC An active safety system for a vehicle and a method for operation in an active safety system

Also Published As

Publication number Publication date
EP3597503B1 (en) 2021-02-24
CN115892013A (zh) 2023-04-04
US20200004244A1 (en) 2020-01-02
EP3597503A1 (en) 2020-01-22
CN110712646A (zh) 2020-01-21
US10656647B2 (en) 2020-05-19

Similar Documents

Publication Publication Date Title
CN110712646B (zh) 从自主模式转换到手动模式之前对车辆操作员意识的验证
CN107787282B (zh) 用于自动化车辆的具有可变辅助的认知驾驶员辅助
US9589464B2 (en) Vehicular headlight warning system
CN107810127B (zh) 用于自动化车辆的利用可变警报的认知型驾驶员辅助
CN108454631B (zh) 信息处理装置、信息处理方法以及记录介质
US9649936B2 (en) In-vehicle device, control method of in-vehicle device, and computer-readable storage medium
US9586525B2 (en) Camera-assisted blind spot detection
US9952058B2 (en) Driver visibility detection system and method for detecting driver visibility
US10232772B2 (en) Driver assistance system
US20220122462A1 (en) Vehicle control device
US9020747B2 (en) Method for recognizing a turn-off maneuver
CN112771592B (zh) 用于警告机动车的驾驶员的方法、控制设备及机动车
CN110497919B (zh) 自动车辆从自主模式转换到手动模式的物体位置历史回放
CN111196217A (zh) 车辆辅助系统
JP2019096117A (ja) 車両の制御装置
US20240042928A1 (en) Vehicle notification control device and vehicle notification control method
CN110606091B (zh) 在物体离开主车辆的道路之后的物体跟踪
JP2021149319A (ja) 表示制御装置、表示制御方法およびプログラム
JP7015665B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2012118870A (ja) 運転支援装置
JP7484959B2 (ja) 車両用報知制御装置及び車両用報知制御方法
JP7480801B2 (ja) 車両用報知制御装置及び車両用報知制御方法
US11195029B2 (en) Driver assistance system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201214

Address after: Massachusetts, USA

Applicant after: Dynamic ad Co.,Ltd.

Address before: michigan

Applicant before: Delphi Technologies, LLC

GR01 Patent grant
GR01 Patent grant