CN114080341A - 联系远程操作员的技术 - Google Patents

联系远程操作员的技术 Download PDF

Info

Publication number
CN114080341A
CN114080341A CN202080047089.0A CN202080047089A CN114080341A CN 114080341 A CN114080341 A CN 114080341A CN 202080047089 A CN202080047089 A CN 202080047089A CN 114080341 A CN114080341 A CN 114080341A
Authority
CN
China
Prior art keywords
vehicle
autonomous vehicle
travel
remote operator
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080047089.0A
Other languages
English (en)
Inventor
R·高格纳
M·J·戈德曼
P·奥里奇奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoox Inc
Original Assignee
Zoox Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/457,289 external-priority patent/US11209822B2/en
Priority claimed from US16/457,341 external-priority patent/US11275370B2/en
Application filed by Zoox Inc filed Critical Zoox Inc
Publication of CN114080341A publication Critical patent/CN114080341A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/085Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18159Traversing an intersection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0021Planning or execution of driving tasks specially adapted for travel time
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/04Vehicle stop
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/01Occupants other than the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/408Traffic behavior, e.g. swarm
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种自动驾驶车辆及其操作方法。它预见了以下步骤:使自动驾驶车辆沿着路线导航;接收由一个或多个传感器产生的传感器数据;至少部分地基于传感器数据确定自动驾驶车辆的前进受到物体的阻碍;至少部分基于物体的行进收到阻碍,确定是否联系远程操作员;从与远程操作员相关联的一个或多个计算设备接收与通过物体导航相关联的指令,该指令包括被配置为改变与该物体相关联的策略的信息;并且至少部分地基于指令使自动驾驶车辆通过物体导航。这允许车辆通过远程操作员的远程协助克服困难的交通情况。

Description

联系远程操作员的技术
相关申请的交叉引用
本申请要求于2019年6月28日提交的标题为“联系远程操作员的技术”的美国专利申请第16/457289号的优先权,和于2019年6月28日提交的标题为“使用远程操作员指令的车辆导航技术”的美国专利申请第16/457341号的优先权,其全部内容在此引入作为参考。
背景技术
自动驾驶车辆可沿指定路线或在路径点之间导航。例如,当控制系统从用户设备接收到在一个位置拾取用户并提供到目的地位置的运输的请求时,自动驾驶车辆可以从控制系统接收从拾取位置导航到目的地位置的指令。然而,在一些情况下,自动驾驶车辆导航到拾取位置或目的地位置的行进可以被停止,例如被另一车辆停止。这可能导致问题,例如延迟自动驾驶车辆或导致自动驾驶车辆阻塞交通流。
附图说明
参照附图对说明书的具体细节进行描述。在附图中,参考标号的最左边数字标识参考标号在其中首次出现的图。在不同的附图中使用相同的参考标号表示相似或相同的部件或特征。
图1A是根据本公开的实施例的示例性环境,其包括自动驾驶车辆,该自动驾驶车辆确定何时联系远程操作员。
图1B是根据本公开的实施例的现在包括从远程操作员接收指令的自动驾驶车辆的示例环境。
图2是根据本公开的实施例的示例性环境,其包括自动驾驶车辆,该自动驾驶车辆至少部分地基于在交通中被卡住的自动驾驶车辆来确定不联系远程操作员。
图3是根据本公开的实施例的示例性环境,其包括自动驾驶车辆,该自动驾驶车辆至少部分地基于由于交通信号灯而被阻碍的自动驾驶车辆的行进来确定不联系远程操作员。
图4示出了根据本公开的实施例的用于实现在此描述的技术的示例系统的框图。
图5是根据本公开的实施例的示例性远程操作系统体系结构的框图。
图6是根据本公开的实施例的第一示例性用户界面,示出了为物体让路的自动驾驶车辆。
图7是根据本公开的实施例的第二示例性用户界面,示出了为物体让路的自动驾驶车辆。
图8描述了根据本公开的实施例的用于确定是否联系远程操作员的示例性过程。
图9描述了根据本公开的实施例的使用来自远程操作员的指令导航自动驾驶车辆的示例性过程。
具体实施方式
如上所述,自动驾驶车辆可以沿着指定路线或在路径点之间导航,例如通过从拾取位置导航到目的地位置。然而,在一些情况下,自动驾驶车辆的行进可能受到阻碍。对于第一示例,自动驾驶车辆可以存储表示策略的数据,该数据指示自动驾驶车辆让路给在自动驾驶车辆之前到达交叉路口的其他车辆。如果自动驾驶车辆在交叉路口让路于另一车辆,在另一车辆由于一个或多个原因不移动的情况下(例如,另一车辆在自动驾驶车辆由于障碍物或狭窄道路而移动之前不能沿路线导航),则自动驾驶车辆的行进可能受到阻碍。对于第二示例,自动驾驶车辆可以设置与另一车辆相关联的交互,其中该交互导致自动驾驶车辆跟随另一车辆。如果另一车辆停止,诸如停车或故障,那么自动驾驶车辆的行进可能受到阻碍。
因此,本申请描述了用于确定何时联系远程操作员的技术以及用于使用从远程操作员接收的指令导航自动驾驶车辆的技术。例如,当自动驾驶车辆的行进受到阻碍时,自动驾驶车辆可以确定行进已经受到阻碍的时间量。然后自动驾驶车辆可以确定时间量是否满足(例如,等于或大于)阈值时间量。阈值时间量可以包括,但不限于,3秒,30秒,1分钟,3分钟,和/或任何其他时间段。如果自动驾驶车辆确定时间量不满足(例如,小于)阈值时间量,则自动驾驶车辆可以确定不联系远程操作员。然而,如果自动驾驶车辆确定时间量满足阈值时间量,则自动驾驶车辆可以确定自动驾驶车辆的行进是否由于干预条件而受到阻碍和/或物体的行进是否受到阻碍。
对于第一示例,自动驾驶车辆可以确定自动驾驶车辆的行进是否由于交通而受到阻碍。在一些情况下,自动驾驶车辆可以至少部分地基于确定除了自动驾驶车辆所让路的车辆之外的另一车辆的行进是否也受到阻碍来做出确定。例如,当自动驾驶车辆沿多车道道路导航时,自动驾驶车辆可以确定另一车道中的另一车辆的行进是否也受到阻碍。如果自动驾驶车辆确定另一车辆的行进也受到阻碍,则自动驾驶车辆可以确定交通已经导致自动驾驶车辆的行进受到阻碍。因此,自动驾驶车辆可以确定不联系远程操作员。然而,如果自动驾驶车辆确定另一车辆的行进没有受到阻碍和/或没有与自动驾驶车辆相邻的另一车辆,则自动驾驶车辆可以确定交通没有导致自动驾驶车辆的行进受到阻碍。因此,自动驾驶车辆可以确定联系远程操作员。
对于第二示例,自动驾驶车辆可以确定自动驾驶车辆的行进是否由于交通信号灯而受到阻碍。在一些情况下,自动驾驶车辆可以使用传感器数据来确定交通信号灯是否导致自动驾驶车辆的行进受到阻碍。另外,或者可选地,在一些情况下,自动驾驶车辆可以使用地图数据来确定交通信号灯是否导致自动驾驶车辆的行进受到阻碍。在任一情况下,如果自动驾驶车辆确定交通信号灯使自动驾驶车辆的行进受到阻碍,则自动驾驶车辆可以确定不联系远程操作员。然而,如果自动驾驶车辆确定交通信号灯不妨碍自动驾驶车辆的行进,则自动驾驶车辆可以确定联系远程操作员。
当确定联系远程操作员时,自动驾驶车辆可以向与远程操作员相关联的一个或多个计算设备发送传感器数据。传感器数据可以包括但不限于图像数据,光检测和测距(LIDAR)数据,雷达数据和/或表示自动驾驶车辆周围环境的其他类型的传感器数据。在一些情况下,自动驾驶车辆可以进一步向一个或多个计算设备发送指示哪个(多个)物体(例如,车辆,行人,标志,建筑设备等)导致自动驾驶车辆的行进受到阻碍的数据。例如,如果自动驾驶车辆正让路于另一车辆,则数据可以指示自动驾驶车辆当前正让路于其他车辆。在一些情况下,自动驾驶车辆可以向一个或多个计算设备发送数据,该数据指示自动驾驶车辆的行进被阻止的时间量和/或自动驾驶车辆已经让路于物体的时间量。
一个或多个计算设备可以从自动驾驶车辆接收传感器数据,并且作为响应,显示包括由传感器数据表示的内容(例如,图像,视频等)的用户界面。另外,所述一个或多个计算设备可以显示指示哪个(哪些)物体导致自动驾驶车辆的行进受到阻碍的图形元素。例如,用户界面可以显示指示自动驾驶车辆正让路于物体的图形元素。然后,远程操作员可以使用一个或多个计算设备向自动驾驶车辆发送指令,其中指令指示自动驾驶车辆如何行进。在至少一些示例中,这样的指令可以包括忽略和/或改变策略的指令(例如,忽略对环境中所选择的物体的让路指令)。
对于第一示例,以及如果自动驾驶车辆在交叉路口让路于物体,如果所述物体由于一个或多个原因而不移动,那么该指令可以使自动驾驶车辆不再让路于物体和/或使自动驾驶车辆暂时停止跟随(和/或改变)一个或多个策略。该一个或多个策略可以包括,但不限于,向到达交叉路口的自动驾驶车辆之前的车辆让路的第一策略,在道路车道中行进的第二策略,和/或一个或多个附加策略。在一些情况下,暂时停止跟随一个或多个策略可以包括在一段时间内停止跟随一个或多个策略。该一段时间可以包括,但不限于,5秒,10秒,30秒,1分钟和/或另一时间段。另外,或者可替换地,在一些情况下,暂时停止跟随一个或多个策略可以包括停止跟随一个或多个策略,直到自动驾驶车辆导航到给定位置、导航给定距离、导航到自主车辆将不再让路于物体的位置,和/或类似情况。无论如何,使用指令,自动驾驶车辆可以确定不再让路于对象和/或确定暂时停止跟随一个或多个策略。因此,自主车辆可以再次开始导航到一个位置。
对于第二示例,如果自动驾驶车辆正让路于自动驾驶车辆具有当前交互作用的另一车辆,诸如“跟随”,那么该指令可以使自动驾驶车辆改变与其他车辆的交互作用。例如,该指令可以使交互作用从“跟随”变成“不要跟随”。另外,在一些情况下,该指令可以使自动驾驶车辆暂时停止跟随一个或多个策略。例如,所述指令可使自动驾驶车辆暂时停止跟随第二策略,所述第二策略包括在道路车道中行进,使得自动驾驶车辆可围绕另一车辆导航。使用所述指令,自动驾驶车辆可以改变交互和/或确定暂时停止跟随一个或多个策略。因此,自动驾驶车辆可以再次开始导航到一个位置。
在一些情况下,一旦自动驾驶车辆在接收到指令之后开始导航,则自动驾驶车辆可以确定再次让路于该物体。例如,自动驾驶车辆可以确定再次跟随一个或多个策略,或者将与物体的交互改变回到原始交互设置。自动驾驶车辆可以至少部分地基于物体的运动做出确定。
对于第一示例,自动驾驶车辆可以确定与物体相关联的速度已经改变。例如,速度可以从每小时0英里变化到每小时大于0英里的速度。至少部分地基于速度的变化,自动驾驶车辆可以确定物体开始移动。因此,自动驾驶车辆可以确定再次让路于物体和/或将与一个或多个物体的交互改变回“跟随”。另外,在一些情况下,自动驾驶车辆可以再次联系远程操作员。
对于第二示例,当自动驾驶车辆最初让路于物体时,物体最初可能已经移动,但是,物体可能已经保留在给定区域中。例如,物体可以包括在给定区域内来回移动的施工车辆(例如,反铲,铺路机等)。在这样的示例中,由远程操作员发送的指令可以包括期望保留物体的物体周围的指定区域。如果物体移动到指定区域之外,则自动驾驶车辆可以确定再次让路于物体。另外,自动驾驶车辆可以再次联系远程操作员。
虽然上述示例包括使用策略和/或交互来确定自动驾驶车辆的行进受到阻碍,但是在其他情况下,自动驾驶车辆的行进可以基于一个或多个其他因素受到阻碍。对于第一示例,自动驾驶车辆可以基于识别特定类型的物体来确定行进受到阻碍。例如,特定类型的物体可以包括以低速导航的拖拉机和/或街道清洁器。因此,当特定类型的物体沿着自动驾驶车辆的路线定位时,可以阻止自动驾驶车辆的行进。对于第二示例,自动驾驶车辆可以基于识别特定类型的情景来确定行进受到阻碍。该方案可以包括,但不限于,另一车辆并入自动驾驶车辆的驱动车道,另一车辆以低于阈值速度的速度(以下将描述)导航,沿自动驾驶车辆的路线发生的事故等。
上述示例将自动驾驶车辆描述为确定自动驾驶车辆的“进展”是否受到阻碍。在一些情况下,自动驾驶车辆可以至少部分地基于确定自动驾驶车辆已经停止在某一位置(例如,自动驾驶车辆的速度是每小时零英里)来确定行进已经受到阻碍。另外,或者可选地,在一些情况下,自动驾驶车辆可以至少部分地基于确定自动驾驶车辆仅在给定的时间量内导航给定的距离来确定行进已经受到阻碍。例如,自动驾驶车辆可以至少部分地基于确定自动驾驶车辆正在导航1英尺/秒,1英尺/5秒,1英尺/分钟等类似情况来确定行进已经受到阻碍。另外,或者可选地,在一些情况下,自动驾驶车辆可以至少部分地基于确定自动驾驶车辆的当前速度低于阈值速度来确定行进已经受到阻碍。阈值速度可以包括,但不限于,每小时半英里,每小时一英里,和/或任何其他速度。
另外,技术可以向远程操作员提供关于自动驾驶车辆处的情况的上下文信息,以便远程操作员可以向自动驾驶车辆提供指导。一种远程操作系统可以包括位于远程操作中心的一个或多个远程操作员,所述远程操作员可以是人类远程操作员。在一些示例中,一个或多个远程操作员可能不是人类,例如,他们可能是利用人工智能,机器学习和/或其他决策策略的计算机系统。在一些示例中,远程操作员可经由可包括远程操作员界面的用户界面与自动驾驶车辆车队中的一个或多个自动驾驶车辆交互。远程操作员界面可以包括一个或多个显示器,其被配置为向远程操作员提供与自动驾驶车辆的操作相关的数据。例如,显示器可以被配置为显示与从自动驾驶车辆接收的传感器数据相关的内容,与道路网络相关的内容,和/或附加的内容或信息,以便于向自动驾驶车辆提供帮助。
另外地或可选地,远程操作员界面还可以包括远程操作员输入设备,该远程操作员输入设备被配置为允许远程操作员向一个或多个自动驾驶车辆提供信息,例如,以向自动驾驶车辆提供指导的远程操作指令的形式。远程操作员输入设备可以包括触摸屏,触针,鼠标,拨号器,小键盘,麦克风,触感屏幕和/或手势输入系统中的一个或多个,所述手势输入系统被配置为将远程操作员执行的手势转换为远程操作员界面的输入命令。如在此更详细地解释的,远程操作系统可以向一个或多个自动驾驶车辆提供指导,以避免,绕过或通过事件,例如当自动驾驶车辆的行进受到阻碍时。
这里描述的技术可以以多种方式实现。下面将参考以下附图提供示例性实施方式。尽管在车辆的上下文中讨论,但是这里描述的方法,装置和系统可以应用于各种系统。
图1A是根据本公开的实施例的示例性环境100,其包括自动驾驶车辆102(1)-(2),用于确定何时联系远程操作员。例如,第一自动驾驶车辆102(1)可以沿着路线104导航。在导航时,第一自动驾驶车辆102(1)可能遇到也沿路线104导航的车辆106。因此,第一自动驾驶车辆102(1)可以使用由第一自动驾驶车辆102(1)的一个或多个传感器生成的传感器数据108来识别车辆106。另外,由于车辆106位于第一自动驾驶车辆102(1)的前面,并且在与第一自动驾驶车辆102(1)相同的行驶车道中,第一自动驾驶车辆102(1)可以将与车辆106的交互设置为“跟随”,其由交互数据110表示。
然而,当第一自动驾驶车辆102(1)沿着路线104和跟随车辆106导航时,车辆106可能由于一个或多个原因而停止。例如,车辆106可能发生故障,导致车辆106至少部分地阻塞道路,如图1A的示例所示。因此,由于第一自动驾驶车辆102(1)跟随车辆106,因此第一自动驾驶车辆102(1)也可以在沿着路线104的位置112停止。这可以使第一自动驾驶车辆102(1)确定第一自动驾驶车辆102(1)的行进已经受到阻碍。
当行进受到阻碍时,第一自动驾驶车辆102(1)可以确定行进受到阻碍的时间量满足阈值时间量。第一自动驾驶车辆102(1)可以进一步确定该行进是否由于干预条件(例如交通,交通信号灯等)而受到阻碍。在图1A的示例中,第一自动驾驶车辆102(1)可以确定没有由于干预条件而阻碍行进。因为时间量满足阈值时间量,并且因为行进没有由于干预条件而受到阻碍,所以第一自动驾驶车辆102(1)可以确定联系远程操作员。
为了联系远程操作员,第一自动驾驶车辆102(1)可以向与远程操作员相关联的远程操作员系统114发送传感器数据108的至少一部分。例如,第一自动驾驶车辆102(1)可以将至少表示车辆106的传感器数据108(例如,图像数据)和/或任何由此衍生的数据(例如,检测,分类,控制数据等)发送到远程操作员系统114。在一些情况下,第一自动驾驶车辆102(1)还可以向远程操作员系统114发送指示符数据116,该指示符数据116指示由于车辆106和/或当前与车辆106的交互包括“跟随”而妨碍了行进。远程操作员可以使用从第一自动驾驶车辆102(1)接收的数据来向第一自动驾驶车辆102(1)提供指导,这在图1B的示例中描述。
另外,在图1A的示例中,第二自动驾驶车辆102(2)可以沿着路线118导航。在导航时,第二自动驾驶车辆102(2)可能遇到交叉路口,这使得第二自动驾驶车辆102(2)停止在位置120。另外,第二自动驾驶车辆102(2)可以使用由第二自动驾驶车辆102(2)的一个或多个传感器生成的传感器数据122来识别车辆124在第二自动驾驶车辆102(2)之前到达交叉路口。同样地,并且至少部分地基于由策略数据126表示的策略,第二自动驾驶车辆102(2)可以确定在交叉路口让路于车辆124。
然而,沿着路线128导航的车辆124可能不能沿着路线128行进,直到第二自动驾驶车辆102(2)沿着路线118导航之后。这是因为,至少部分地基于第二自动驾驶车辆102(2)的宽度130和沿着路线128的驱动包络的宽度132,第二自动驾驶车辆102(2)至少部分地阻碍车辆124的路线128。因此,在车辆124沿路线128导航之前,车辆124可以继续等待第二自动驾驶车辆102(2)沿路线118导航。因为第二自动驾驶车辆102(2)正让路于车辆124,所以第二自动驾驶车辆102(2)的行进可在位置120处受到阻碍。
当行进受到阻碍时,第二自动驾驶车辆102(2)可以确定行进受到阻碍的时间量满足阈值时间量。第二自动驾驶车辆102(2)可以进一步确定该行进是否由于干预条件(例如交通,交通信号灯等)而受到阻碍。在图1A的示例中,第二自动驾驶车辆102(2)可以确定由于干预条件而没有阻碍该行进。因为该时间量满足该阈值时间量,并且因为该行进没有由于干预条件而受到阻碍,所以第二自动驾驶车辆102(2)可以确定联系远程操作员。
为了联系远程操作员,第二自动驾驶车辆102(2)可以向与远程操作员相关联的远程操作员系统114发送传感器数据122的至少一部分(和/或从其衍生的任何数据)。例如,第二自动驾驶车辆102(2)可以将至少表示车辆124的传感器数据122(例如,图像数据)发送到远程操作员系统114。在一些情况下,第二自动驾驶车辆102(2)还可以向远程操作员系统114发送指示符数据134,该指示符数据134指示由于车辆124而阻碍了行进和/或第二自动驾驶车辆102(2)当前正让路于车辆124。然而,在一些情况下,第二自动驾驶车辆102(2)可以向远程操作系统114发送策略数据126,该策略数据126指示导致第二自动驾驶车辆102(2)让路于车辆124的策略。然后,远程操作员可以使用从第二自动驾驶车辆102(2)接收的数据来向第二自动驾驶车辆102(2)提供指导,这在图1B的示例中描述。
图1B是根据本公开的实施例,现在包括自动驾驶车辆102(1)-(2)的示例性环境100,自动驾驶车辆102(1)-(2)从远程操作员接收指令。例如,远程操作员可经由可包括远程操作员界面的用户界面与自动驾驶车辆102(1)-(2)交互。远程操作员界面可以包括一个或多个显示器,其被配置为向远程操作员提供与自动驾驶车辆102(1)-(2)的操作相关的数据。例如,显示器可以被配置为显示与从第一自动驾驶车辆102(1)接收的传感器数据108相关的内容(例如,图像)。另外,显示器可以被配置为显示与从第二自动驾驶车辆102(2)接收的传感器数据122相关的内容(例如,图像)。
在一些情况下,显示器还可以被配置为显示与导致自动驾驶车辆102(1)-(2)的行进受到阻碍的物体相关的内容。例如,显示器可以使用指示符数据116以示出指示是车辆106导致第一自动驾驶车辆102(1)的行进受到阻碍的图形元素。另外,显示器可以使用指示符数据134来示出图形元素,该图形元素指示是车辆124引起了第二自动驾驶车辆124的行进受到阻碍。如这里所述,图形元素可以包括,但不限于,围绕物体的边界框,遮蔽物体,描述物体的文本,和/或可以指示关于物体的信息的任何其他图形元素。
远程操作员界面还可以包括远程操作员输入设备,该远程操作员输入设备被配置为允许远程操作员例如以向自动驾驶车辆102(1)-(2)提供指导的远程操作指令的形式向自动驾驶车辆102(1)-(2)提供信息。例如,远程操作员可以为第一自动驾驶车辆102(1)提供由指令数据136表示的指令。该指令可以指示第一自动驾驶车辆102(1)将与车辆106的交互从“跟随”改变成“不要跟随”。在一些情况下,该指令还可以指示第一自动驾驶车辆102(1)可以暂时停止跟随一个或多个策略(和/或暂时改变这样的策略),诸如规定第一自动驾驶车辆102(1)将保持道路车道的策略,以便第一自动驾驶车辆102(1)围绕车辆106导航。
第一自动驾驶车辆102(1)可以从远程操作系统114接收指令数据136。使用指令数据136,第一自动驾驶车辆102(1)可以更新与车辆106的交互以指示“不要跟随。另外,在一些情况下,第一自动驾驶车辆102(1)可以暂时停止跟随(或改变)一个或多个策略。因此,并且至少部分地基于指令,第一自动驾驶车辆102(1)可以确定绕过车辆106的路线138。在绕过车辆106之后,第一自动驾驶车辆102(1)可以再次沿着第一自动驾驶车辆102(1)的路线104导航。
在一些情况下,当沿着路线138导航以绕过车辆106时,第一自动驾驶车辆102(1)可以确定车辆106是否开始移动。例如,第一自动驾驶车辆102(1)可以使用传感器数据108来确定车辆106的速度是否从零英里/小时改变到大于零英里/小时的速度。在一些情况下,如果第一自动驾驶车辆102(1)确定车辆106开始移动,则第一自动驾驶车辆102(1)可以停止沿路线138导航。另外,第一自动驾驶车辆102(1)可以再次更新与车辆106的交互以包括“跟随”,从而返回到车辆的标称操作行为。
另外地或可选地,在一些情况下,来自远程操作员系统114的指令可以指示车辆106周围的区域140。在这种情况下,当沿着路线138导航以绕过车辆106时,第一自动驾驶车辆102(1)可以确定车辆106是否移动到区域140之外。例如,第一自动驾驶车辆102(1)可以使用传感器数据108来确定车辆106的至少一部分是否移动到区域140的外部。如果第一自动驾驶车辆102(1)确定车辆106移动到区域140的外部,则第一自动驾驶车辆102(1)可以停止沿路线138导航。另外,第一自动驾驶车辆102(1)可以再次更新与车辆106的交互以包括“跟随”。
另外,远程操作员可以为第二自动驾驶车辆102(2)提供由指令数据142表示的指令。该指令可以指示第二自动驾驶车辆102(2)将停止为车辆124让路。在一些情况下,指令可以进一步指示第二自动驾驶车辆102(2)可以暂时停止跟随(或改变)一个或多个策略,诸如指定第二自动驾驶车辆102(2)将让路于在第二自动驾驶车辆102(2)之前到达交叉路口的车辆的策略。
第二自动驾驶车辆102(2)可以从远程操作系统114接收指令数据142。使用指令数据142,第二自动驾驶车辆102(2)可以确定在交叉路口不再为车辆124让路。另外,在一些情况下,第二自动驾驶车辆102(2)可以暂时停止跟随一个或多个策略。同样地,并且至少部分地基于指令,第二自动驾驶车辆102(2)可以在车辆124开始沿着路线128导航之前开始沿着路线118导航,以便为车辆124提供沿着路线128导航的空间。如图1B的示例所示,在第二自动驾驶车辆102(2)开始沿着路线118导航之后,车辆124然后可以开始沿着路线128导航。
虽然图1A的示例基于车辆106将第一自动驾驶车辆102(1)的行进描述为受到阻碍,在其他示例中,第一自动驾驶车辆102(1)在跟随停止之后,第一自动驾驶车辆102(1)的行进可能由于其他原因而停止。例如,第一自动驾驶车辆102(1)可以分析传感器数据108,并且基于该分析,第一自动驾驶车辆102(1)可以确定车辆106包括特定类型的物体。基于该确定,第一自动驾驶车辆102(1)可以确定行进受到阻碍。对于第二示例,第一自动驾驶车辆102(1)可以分析传感器数据108,并且基于该分析,第一自动驾驶车辆102(1)可以确定车辆106的速度低于阈值速度。基于该确定,第一自动驾驶车辆102(1)可以确定行进受到阻碍。
图2是根据本公开的实施例的示例性环境200,其包括自动驾驶车辆202,该自动驾驶车辆202至少部分地基于自动驾驶车辆202在交通中被卡住而确定不联系远程操作员。例如,自动驾驶车辆202可以沿着包括多于一个车道的道路上的路线204导航。在一些情况下,自动驾驶车辆202可以使用传感器数据和/或地图数据来确定道路包括多于两个的车道。对于第一示例,自动驾驶车辆202可以分析传感器数据以识别道路上指示在相同方向上的多个车道的标记。对于第二示例,自动驾驶车辆202可以分析传感器数据以识别紧邻自动驾驶车辆202并沿与自动驾驶车辆202相同的方向导航的另一车辆。对于第三示例,地图数据可以指示道路包括多个车道。
另外,其他车辆206(1)-(11)可分别沿路线208(1)-(11)导航。在导航时,自动驾驶车辆202和车辆206(1)-(11)可能在交通中被卡住。例如,自动驾驶车辆202的行进可以在沿着路线204的位置处受到阻碍。至少部分地基于被阻止的行进,自动驾驶车辆202可以确定是否联系远程操作员。
例如,自动驾驶车辆202可以确定行进已经被阻止了一个阈值时间量。然后自动驾驶车辆202可以确定该行进是否由于交通而受到阻碍。在一些情况下,为了确定该行进是否由于交通而受到阻碍,自动驾驶车辆202可以确定位于自动驾驶车辆202附近和/或位于自动驾驶车辆202所跟随的车辆206(10)附近的至少一个其他车辆的行进也受到阻碍。
例如,自动驾驶车辆202可以在第一道路车道210(1)中导航。自动驾驶车辆202可以确定车辆206(2)的行进位于第二道路车道210(2)中,位于第二道路车道210(2)中的车辆206(6)的行进,位于第二道路车道210(2)中的车辆206(9)的行进,位于第三道路车道210(3)中的车辆206(4)的行进,位于第三道路车道210(3)中的车辆206(7)的行进和/或位于第三道路车道210(3)中的车辆206(11)的行进也受到阻碍。至少部分地基于所述确定,自动驾驶车辆202可以确定由于交通而阻碍了所述行进。因此,自动驾驶车辆202可以确定即使自动驾驶车辆202的行进已经被阻止了阈值时间量,也不与远程操作员联系。
图3是根据本公开的实施例的示例性环境300,其包括自动驾驶车辆302,该自动驾驶车辆302至少部分地基于由于交通信号灯304而被阻碍的自动驾驶车辆302的行进来确定不联系远程操作员。例如,自动驾驶车辆302可以沿着路线306导航。另外,其他车辆308(1)-(4)可分别沿路线310(1)-(4)导航。在导航时,自动驾驶车辆302的行进可以至少部分地基于自动驾驶车辆302让路于同样停止的车辆308(1)而被阻止。例如,由于交通信号灯304是红色的,车辆308(1)可以被停止。至少部分地基于被阻止的行进,自动驾驶车辆302可以确定是否联系远程操作员。
例如,自动驾驶车辆302可以确定行进已经被阻止了一个阈值时间量。然后自动驾驶车辆302可以确定是否由于交通信号灯304而阻碍了行进。在一些情况下,为了确定该行进是否由于交通信号灯304而停止,自动驾驶车辆302可以分析由自动驾驶车辆302产生的传感器数据。至少部分基于该分析,自动驾驶车辆302可以识别交通信号灯304并确定交通信号灯304当前是红色的。因此,自动驾驶车辆302可以确定由于交通信号灯304而阻碍了行进。在一些情况下,由于交通信号灯304阻碍了行进,所以自动驾驶车辆302可以确定即使行进被阻碍了阈值时间量也不与远程操作员联系。
在类似的示例中,然而,如果这样的环境300没有交通信号灯,自动驾驶车辆302可以基于指示如何行进通过四通停止的一般实践或法律来推理如何行进(例如,基于接近顺序和/或向右行进的车辆的让路)。在这样的示例中,如果自动驾驶车辆302已经向另一车辆(例如,车辆308(4))让路(根据策略)超过或等于阈值时间量的时间段,则自动驾驶车辆302可以向远程操作员发送信号以进行指导。
图4示出了根据本公开的实施例的用于实现在此描述的技术的示例性系统400的框图。在至少一个示例中,系统400可以包括车辆402(其可以表示和/或类似于第一自动驾驶车辆102(1),第二自动驾驶车辆102(2),自动驾驶车辆202和/或自动驾驶车辆302)。车辆402可以包括车辆计算设备404,一个或多个传感器系统406,一个或多个发射器408,一个或多个通信连接件410,至少一个直接连接件412和一个或多个驱动模块414。
车辆计算设备404可以包括一个或多个处理器416和与一个或多个处理器416通信耦合的存储器418。在所示的示例中,车辆402是自动驾驶车辆。然而,车辆402可以是任何其他类型的车辆(例如,手动驱动车辆,半自动驾驶车辆等),或具有至少一个图像捕获设备的任何其他系统。在所示实施例中,车辆计算设备404的存储器418存储定位组件420,感知组件422,规划组件424,行进组件426,条件组件428,远程操作员组件430,一个或多个系统控制器432和一个或多个地图434。虽然为了说明的目的,在图4中被描绘为驻留在存储器418中,可以设想,定位组件420,感知组件422,规划组件424,行进组件426,条件组件428,远程操作员组件430,一个或多个系统控制器432,和/或一个或多个地图434可以附加地或可选地可由车辆402访问(例如,存储在远离车辆402的存储器上或可由远离车辆402的存储器访问)。
在至少一个示例中,定位组件420可以包括接收来自传感器系统406的传感器数据436的功能(其可以表示,和/或类似于传感器数据108和/或传感器数据122,并且确定车辆402的位置和/或取向(例如,x-,y-,z-位置,侧滚,俯仰或偏航中的一个或多个)。例如,定位组件420可以包括和/或请求/接收环境的地图,并且可以连续地确定地图内车辆402的位置和/或方位。在一些情况下,定位组件420可以利用SLAM(同时定位和映射),CLAMS(校准,定位和映射,同时),相对SLAM,束调整,非线性最小二乘优化等,以接收图像数据,LIDAR数据,雷达数据,IMU数据,GPS数据,车轮编码器数据等,从而精确地确定车辆402的位置。在一些情况下,定位组件420可以向车辆402的各个组件提供数据,以确定车辆402的初始位置,从而产生候选轨迹,如这里所讨论的。
在一些情况下,感知组件422可以包括执行物体检测,分割和/或分类的功能。在一些情况下,感知组件422可提供经处理的传感器数据436,其指示接近车辆402的物体的存在和/或将该物体分类为物体类型(例如,车辆,步行者,骑行者,动物,建筑物,树木,路面,路边石,人行道,未知等)。在另外的和/或可替换的示例中,感知组件422可以提供处理后的传感器数据436,该传感器数据436指示与被检测的物体和/或该物体所处的环境相关联的一个或多个特性。在一些情况下,与物体相关联的特性可以包括,但不限于,x-位置(全球位置),y位置(全球位置),z位置(全球位置),取向(例如,辊,纵摇,偏航),物体类型(例如,分类),物体的速度,物体的加速度,物体的范围(大小),与环境相关的特性可以包括,但不限于,环境中另一个物体的存在,环境中另一个物体的状态,一天中的时间,一周中的一天,季节,天气状况,黑暗/光线的指示等。
通常,规划组件424可以确定车辆402跟随通过环境的路径。例如,规划组件424可以确定各种路线和轨迹以及各种级别的细节。例如,规划组件424可以确定从第一位置(例如,当前位置)到第二位置(例如,目标位置)行进的路线。为了这个讨论的目的,路线可以是在两个位置之间行进的路线点序列。作为非限制性示例,路线点包括街道,交叉路口,全球定位系统(GPS)坐标等。此外,规划组件424可以生成用于沿着从第一位置到第二位置的路线的至少一部分引导车辆402的指令。在至少一个示例中,规划组件424可以确定如何将车辆402从路线点序列中的第一路线点引导到路线点序列中的第二路线点。在一些情况下,指令可以是轨迹,或者是轨迹的一部分。在一些情况下,根据滚动时域技术,可以基本上同时生成多个轨迹(例如,在技术公差内),其中选择多个轨迹中的一个以供车辆402导航。
在至少一个示例中,规划组件424可以确定与位置相关联的拾取位置。如本文所用,拾取位置可以是车辆402可以停下来拾取乘客的位置(例如,与调度请求相关联的地址或位置)的阈值距离内的特定位置(例如,停车位、装载区、地面的一部分等)。在至少一个示例中,规划组件424可以至少部分地基于确定用户身份(例如,通过图像识别来确定或从用户设备接收作为指示的信息,如这里所讨论的)来确定拾取位置。到达拾取位置,到达目的地位置,乘客进入车辆,以及接收“开始驾驶”命令是可用于基于事件的数据记录的事件的附加示例。
在一些情况下,规划组件424还可以包括确定车辆402何时将让路于诸如其他车辆之类的物体的功能。例如,规划组件424可以使用策略数据438来确定车辆402何时将让路于该物体。策略数据438可以表示车辆402在导航时要跟随的一个或多个策略。一个或多个策略可以包括,但不限于,向到达车辆402之前的交叉路口的其他车辆让路的策略,在道路车道中行进的策略,如何改变车道的策略,如何停止的策略,车辆402不应追尾的策略等。这样,当其他车辆在车辆402之前到达交叉路口时,规划组件424可以确定车辆402将让路于另一车辆。另外,当两个其他车辆到达车辆402之前的交叉路口时,规划组件424可以确定该车辆将让路于两个其他车辆。
在一些情况下,规划组件424还可以包括确定车辆402和诸如车辆之类的物体之间的相互作用的功能。例如,规划组件424可以使用交互数据440来确定车辆402和物体之间的交互。交互数据440可以表示一个或多个交互,诸如,但不限于,跟踪沿着车辆402的轨迹定位的物体的交互,不跟随不沿着车辆402的轨迹定位的物体的交互,向车辆402所跟随的物体让路的交互和/或类似作用。在一些情况下,跟随可以包括改变车辆402的纵向控制(例如,速度和/或加速度)来保持车辆402和物体之间的最小距离,其中最小距离可以至少部分地基于车辆402和物体之间的相对距离和/或速度。如此,当其他车辆位于车辆402的轨迹中时,规划组件424可以确定车辆402将跟随另一车辆。
在一些情况下,规划组件424还可以包括生成指示符数据442的功能,其中指示符数据442表示车辆402当前让路于的物体和/或车辆402跟随的物体。在一些情况下,每当感知组件确定车辆402正让路于物体时和/或每次规划组件424确定车辆402正跟随物体时,规划组件424可以生成指示符数据442。在其他情况下,当车辆402确定联系远程操作员时,规划组件424可以生成指示符数据442。
在一些情况下,规划组件424包括使用由远程操作员系统114发送的指令数据446以确定如何导航车辆402的功能。对于第一示例,指令数据446可以表示停止向物体让路的指令。至少部分地基于指令数据446,规划组件424可以使车辆402停止让路于物体和/或确定用于导航车辆402的路线。对于第二示例,指令数据446可以表示在暂时停止跟随一个或多个策略的指令。至少部分基于指令数据446,规划组件424可以使车辆402暂时停止跟随一个或多个策略和/或确定用于导航车辆402的路线。对于第三示例,指令数据446可以表示将与物体的交互从“跟随”改变为“不再跟随”的指令。至少部分地基于指令数据446,规划组件424可以使车辆402改变与物体的交互和/或确定用于围绕物体导航的路线。
行进组件426可以包括确定车辆402的行进何时受到阻碍的功能。在一些情况下,当车辆402不移动时(例如,车辆402的速度为零英里/小时),行进组件426可以确定车辆402的行进已经受到阻碍。另外,或者可替换地,在一些情况下,当车辆402仅在给定的时间量内导航给定的距离时,行进组件426可以确定车辆402的行进已经受到阻碍。另外,或者可选地,在一些情况下,当车辆402的当前速度低于阈值速度时,行进组件426可以确定车辆402的行进已经受到阻碍。
行进组件426可以包括确定车辆402的行进何时被物体阻碍的功能。在一些情况下,当车辆402识别位于环境中的特定类型的物体时,行进组件426可以确定车辆402的行进可能受到阻碍。在一些情况下,当车辆402识别出在场景中正在发生的特定情况时,行进组件426可以确定车辆402的行进可能受到阻碍。该场景可以包括,但不限于,另一辆车辆并入车辆402的行驶车道,另一辆车辆以低于阈值速度(下面将描述)的速度航行,沿车辆402的路线发生的事故,和/或类似情况。
在一些情况下,行进组件426还可以包括确定车辆402的行进何时被阻止一个阈值时间量的功能,该阈值时间量可以由阈值数据444表示。另外,或者可选地,在一些情况下,行进组件426可以包括确定车辆402何时让路于物体达阈值时间量的功能。如本文所述,阈值时间量可以包括,但不限于,3秒,30秒,1分钟,3分钟,和/或任何其他时间段。
条件组件428可以包括确定何时一个或多个干预条件导致车辆402的行进受到阻碍的功能。如本文所述,干预条件可以包括但不限于,车辆402在交通中被卡住,车辆402由于交通信号灯而受到阻碍,和/或类似情况。
远程操作员组件430可以包括确定何时联系远程操作员的功能。在一些情况下,当车辆402的行进已经被阻止了阈值时间量时,远程操作员组件430确定联系远程操作员。在一些情况下,当车辆402的行进已经被阻止了阈值时间量并且没有发生导致车辆402的行进被阻止的干预条件时,远程操作员组件430确定联系远程操作员。然而,在一些情况下,当车辆的行进被特定类型的物体或特定场景阻碍时,远程操作员组件430确定联系远程操作员。在任一情况下,在确定联系远程操作员之后,远程操作员组件430可以包括使车辆402向远程操作员系统114发送传感器数据436的至少一部分的功能。另外,在一些情况下,远程操作员组件430可以包括使车辆402向远程操作员系统114发送指示符数据442的功能。
在至少一个示例中,车辆计算设备404可包括一个或多个系统控制器432,其可被配置为控制车辆402的转向,推进,制动,安全,发射器,通信和其他系统。这些系统控制器432可以与驱动模块212和/或车辆402的其他组件的相应系统通信和/或控制它们。
存储器418还可以包括一个或多个地图434,所述地图434可以由车辆402用于在环境中导航。为了讨论的目的,地图可以是以二维,三维或N维建模的任意数量的数据结构,其能够提供关于环境的信息,诸如但不限于拓扑结构(例如交叉路口),街道,山区,道路,地形和一般环境。在一些情况下,地图可包括但不限于:纹理信息(例如,颜色信息(例如,RGB颜色信息,Lab颜色信息,HSV/HSL颜色信息等)),强度信息(例如,LIDAR信息,雷达信息等);空间信息(例如,投影到网格上的图像数据,单独的“面元”(例如,与单独的颜色和/或强度相关联的多边形)),反射率信息(例如,镜面反射信息,逆向反射信息,BRDF信息,BSSRDF信息等)。在一个示例中,地图可以包括环境的三维网格。在一些情况下,地图可以平铺格式存储,使得地图的各个平铺表示环境的离散部分,并且可以根据需要加载到工作存储器中。在至少一个示例中,一个或多个地图434可以包括至少一个地图(例如,图像和/或网格)。在一些示例中,可以至少部分地基于地图434来控制车辆402。也就是说,地图434可以与定位组件420,感知组件422和/或规划组件424结合使用,以确定车辆402的位置,识别环境中的实体,和/或生成路线和/或轨迹,以在环境中导航。
在一些情况下,这里讨论的一些或所有组件的方面可以包括任何模型,算法和/或机器学习算法。例如,在一些情况下,存储器418中的组件可以实现为神经网络。如本文所述,示例性神经网络是生物启发算法,其使输入数据通过一系列连接的层以产生输出。神经网络中的每个层也可以包括另一个神经网络,或者可以包括任意数量的层(无论卷积还是非卷积)。正如在本公开的上下文中可以理解的,神经网络可以利用机器学习,其可以是指至少部分地基于所学习的参数生成输出的这样的大类算法。
虽然在神经网络的上下文中讨论,但是根据本公开,可以使用任何类型的机器学习。例如,机器学习算法可以包括:但不限于,回归算法(例如,普通最小二乘回归(OLSR),线性回归,逻辑回归,逐步回归,多元自适应回归样条(MARS),局部估计的散点图平滑(LOESS)),基于示例的算法(例如,脊回归,最小绝对收缩和选择算子(LASSO),弹性网,最小角度回归(LARS)),决策树算法(例如,分类和回归树(CART),迭代二分器2(ID2),卡方自动交互检测(CHAID),决定树桩,条件决定树),贝叶斯算法(例如,纯天然贝叶斯,高斯自然贝叶斯,多项式自然贝叶斯,平均一依赖估计器(AODE),贝叶斯置信网络(BNN),贝叶斯网络),聚类算法(例如,k-装置,k-介质,期望最大化(EM),分层聚类),关联规则学习算法(例如,感知器,反向繁殖,霍普菲尔网络,径向基函数网络(RBFN)),深度学习算法(例如,深波尔兹曼机(DBM),深度信任网络(DBN),卷积神经网络(CNN),堆叠的自动编码器),降维算法(例如,主成分分析(PCA),主成分回归(PCR),偏最小二乘回归(PLSR),萨蒙映射,多维定标(MDS),投影追踪,线性判别分析(LDA),混合判别分析(MDA),二次判别分析(QDA),灵活判别分析(FDA),集成算法(例如,Boosting,自展输入引导式聚合(袋翻法),AdaBoost,堆叠泛化(混合),梯度升压机(GBM),梯度升压回归树(GBRT),随机森林,SVM(支持向量机),监督学习,非监督学习,半监督学习等。
体系结构的其他示例包括神经网络,诸如ResNet70,ResNet101,VGG,DenseNet,PointNet等。
如上所述,在至少一个示例中,传感器系统406可以包括激光雷达传感器,雷达传感器,超声波换能器,声纳传感器,位置传感器(例如,GPS,指南针,等),惯性传感器(例如惯性测量单元(IMU)、加速度计、磁力计、陀螺仪等)、相机(例如RGB、IR、强度、深度、飞行时间等)、麦克风、车轮编码器、环境传感器(例如,温度传感器、湿度传感器、光传感器、压力传感器等)等。传感器系统406可包括这些或其他类型传感器中的每一个的多个示例。例如,LIDAR传感器可以包括位于车辆402的角部,前部,后部,侧部和/或顶部的各个LIDAR传感器。作为另一个示例,相机传感器可以包括布置在车辆402的外部和/或内部周围的不同位置处的多个相机。传感器系统406可以向车辆计算设备404提供输入。附加地或可选地,传感器系统406可以在预定时间段的流逝之后,在一个或多个条件发生时,以接近实时的方式等通过一个或多个网络450以特定的频率将传感器数据436发送到控制系统448。
如上所述,车辆402还可以包括用于发射光和/或声音的一个或多个发射器408。在这个示例中,发射器408包括与车辆402的乘客通信的内部音频和视频发射器。作为示例而非限制,内部发射器可包括扬声器,灯,标志,显示屏,触摸屏,触觉发射器(例如,振动和/或力反馈),机械致动器(例如,安全带张紧器,座椅定位器,头枕定位器等)等。在这个示例中,发射器408还包括外部发射器。作为示例而非限制,在该示例中,外部发射器包括用于发出行驶方向信号的灯或车辆动作的其他指示器(例如,指示灯,标志,灯阵列等)和一个或多个音频发射器(例如,扬声器,扬声器阵列,喇叭等),以与行人或其他附近的车辆可听地通信,其中一个或多个包括声束转向技术。
车辆402还可以包括一个或多个通信连接件410,其使得能够在车辆402和一个或多个其他本地或远程计算设备之间进行通信。例如,通信连接件410可以促进与车辆402和/或驱动模块414上的其他本地计算设备的通信。而且,通信连接件410可以允许车辆402与其他附近的计算设备(例如,其他附近的车辆,交通信号等)通信。通信连接件410还使车辆402能够与远程操作计算设备(例如远程操作员系统114)或其他远程服务通信。
通信连接件410可以包括物理和/或逻辑接口,用于将车辆计算设备404连接到另一计算设备或网络,诸如网络450。例如,通信连接件410能够实现基于Wi-Fi的通信,诸如经由由IEEE 802.11标准定义的频率,短距离无线频率,诸如
Figure BDA0003435097070000201
蜂窝通信(例如,2G,2G,4G,4G1TE,5G等)或使相应计算设备能够与其他计算设备接口的任何适当的有线或无线通信协议。
在至少一个示例中,车辆402可以包括一个或多个驱动模块414。在一些情况下,车辆402可以具有单个驱动模块414。在至少一个示例中,如果车辆402具有多个驱动模块414,则单独的驱动模块414可以定位在车辆402的相对端部(例如,前部和后部等)上。在至少一个示例中,驱动模块414可以包括一个或多个传感器系统,以检测驱动模块414的状况和/或车辆402的周围环境。作为示例而非限制,传感器系统406可以包括一个或多个车轮编码器(例如,旋转编码器),用于感测驱动模块的车轮的旋转,惯性传感器(例如,惯性测量单元,加速度计,陀螺仪,磁力计,等)以测量驱动模块的取向和加速度,照相机或其他图像传感器,以声学方式检测驱动模块周围的实体的超声波传感器,激光雷达传感器,雷达传感器等。一些传感器,例如车轮编码器,对于驱动模块414可能是唯一的。在一些情况下,驱动模块414上的传感器系统406可以叠加或补充车辆402的相应系统(例如,传感器系统406)。
驱动模块414可以包括许多车辆系统,包括高压电池,驱动车辆402的马达,将来自电池的直流电转换成交流电以供其他车辆系统使用的逆变器,包括转向马达和转向齿条(可以是电动的)的转向系统,包括液压或电动致动器的制动系统,包括液压和/或气动部件的悬架系统,用于分配制动力以减轻牵引力损失和维持控制的稳定性控制系统,HVAC系统,照明(例如,照明,例如照射车辆外部周围的头灯/尾灯),以及一个或多个其他系统(例如,冷却系统,安全系统,车载充电系统,其他电子部件,例如DC/DC转换器,高压接头,高压电缆,充电系统,充电端口等)。另外,驱动模块414可包括驱动模块控制器,其可从传感器系统406接收并预处理传感器数据436,并控制各种车辆系统的操作。在一些情况下,驱动模块控制器可以包括一个或多个处理器和与所述一个或多个处理器通信耦合的存储器。存储器可以存储一个或多个模块以执行驱动模块414的各种功能。此外,驱动模块414还包括一个或多个通信连接件,一个或多个通信连接件使得各个驱动模块能够与一个或多个其他本地或远程计算设备进行通信。
在至少一个示例中,直接连接件412可以提供物理接口以将一个或多个驱动模块414与车辆402的车身连接。例如,直接连接件412可以允许能量,流体,空气,数据等在驱动模块414和车辆402之间传输。在一些情况下,直接连接件412还可以将驱动模块414可释放地固定到车辆402的车身上。
如图4进一步所示,控制系统448可包括处理器452,通信连接件454和存储器456。车辆402的处理器416和/或控制系统448的处理器452(和/或这里所述的其他处理器)可以是能够执行指令以处理数据和执行这里所述的操作的任何合适的处理器。作为示例而非限制,处理器416和452可以包括一个或多个中央处理单元(CPU),图形处理单元(GPU),或处理电子数据以将该电子数据转换为可存储在寄存器和/或存储器中的其他电子数据的任何其他设备或设备的一部分。在一些情况下,集成电路(例如,ASIC等),门阵列(例如,FPGA等)以及其他硬件设备也可以被认为是处理器,只要它们被配置为实现编码指令。
存储器418和存储器456(和/或本文所述的其他存储器)是非暂时性计算机可读介质的示例。存储器418和存储器456可以存储操作系统和一个或多个软件应用程序,指令,程序和/或数据,以实现这里描述的方法和属于各个系统的功能。在各种实施方式中,存储器可以使用任何适当的存储器技术来实现,诸如静态随机存取存储器(SRAM),同步动态RAM(SDRAM),非易失性/闪存存储器,或能够存储信息的任何其他类型的存储器。这里描述的体系结构,系统和各个元件可以包括许多其他的逻辑,程序和物理部件,其中在附图中示出的仅仅是与这里的讨论相关的示例。
应当注意,虽然图4示出为分布式系统,但是在可供选择的示例中,车辆402的组件可以与控制系统448相关联和/或控制系统448的组件可以与车辆402相关联。也就是说,车辆402可以执行与控制系统448相关联的一个或多个功能,反之亦然。
图5示出了包括车辆车队502和远程操作员系统114的示例性体系结构500。示例性的车辆车队502包括一个或多个车辆(例如,车辆402),至少一些车辆通过车辆的通信连接件通信地耦合到远程操作员系统114。与远程操作员系统114相关联的远程操作接收器504和远程操作发射器506可以通信地耦合到车辆的相应通信连接。例如,车辆402可以经由通信连接件410发送通信信号,该通信信号由远程操作接收器504接收。在一些示例中,通信信号可以包括,例如,传感器数据436,指示器数据442,操作状态数据,和/或来自车辆402m的一个或多个部件的任何数据和/或输出。在一些示例中,传感器数据436可以包括原始传感器数据和/或处理过的传感器数据,诸如操作状态数据的子集,诸如传感器数据的表示(例如,边界框)。在一些示例中,通信信号可以包括上述操作状态数据的子集和/或任何其他衍生数据(规划控制等)。在一些示例中,来自车辆402的通信信号可以包括对远程操作员系统114的帮助请求。
如图5所示,场景感知引擎(“SAE”)508可以从车辆402获得通信信号,并将它们的至少一个子集中继到远程操作界面510。SAE 508可以附加地或可选地获得经由远程操作界面510产生的信号,并将它们中继到远程操作网络512和/或经由远程操作发射器506将它们的至少一个子集发送到车辆车队502的一个或多个车辆。SAE 508可以附加地或可选地从远程操作网络512获得信号,并将它们的至少一个子集中继到远程操作界面510和/或远程操作发射器506。在一些示例中,远程操作界面510可以直接与车辆车队502通信。
在一些示例中,SAE 508可以在与包括远程操作界面510的设备分开的设备上实现。例如,SAE 508可以包括网关设备和应用编程接口(“API”)或类似的接口。在一些示例中,SAE 508包括应用程序接口和/或模型,例如,FSM,ANN和/或DAG。在一些实施例中,SAE508被配置成确定从这里讨论的一个或多个元件(例如,车辆402、车辆车队502和/或其他远程操作界面)和/或输入选项接收的数据的呈现配置以呈现给远程操作员以为一辆或多辆车辆提供指导(例如,选择显示的按钮以确认车辆确定的轨迹的选项)。
在一些实施例中,远程操作接收器504可以经由SAE 508通信地耦合到远程操作界面510,并且在一些示例中,远程操作员514能够访问经由远程操作界面510从车辆402接收的通信信号中的传感器数据436,指示器数据442,操作状态数据和/或任何其他数据。在一些示例中,远程操作员514能够经由输入设备选择性地访问传感器数据436,指示器数据442,操作状态数据和/或其他数据,并且经由一个或多个显示器查看所选择的数据。在一些示例中,这种选择性访问可以包括经由远程操作发射器506从车辆402发送对数据的请求。在一些示例中,SAE 508可以经由远程操作界面510向远程操作员514呈现数据的子集或表示。作为非限制性的示例,SAE 508可以创建简化的图形表示,边界框,指示方位的箭头以及物体的速度,表示物体的图标,传感器数据的着色,或数据的其他表示,这可以简化远程操作员514的解释。
在所示的示例中,远程操作员系统114还包括远程操作网络512,其被配置为提供两个或多个远程操作界面510和相应的远程操作员514之间的通信,和/或与远程操作数据516的通信。例如,远程操作员系统114可以包括多个远程操作界面510和相应的远程操作员514,并且远程操作员514可以经由远程操作网络512彼此通信,以便于和/或协调提供给车辆车队502的引导。在一些示例中,远程操作员514被分配给来自车辆车队502的每个车辆,并且在一些示例中,远程操作员514可以被分配给车辆车队502的多于一个的车辆。在一些示例中,可以将多于一个的远程操作员514分配给单个车辆。在一些实施例中,远程操作员514可以不被分配给车辆车队502的特定车辆,而是可以至少部分地基于,例如,与车辆遭遇该事件相关联的紧急程度,向已经遭遇某些类型事件的车辆和/或向车辆提供指导。在一些示例中,与由远程操作员514提供的事件和/或指导相关联的数据可以由远程操作员系统114存储,例如,存储在远程操作数据516的存储器中,和/或由其他远程操作员514访问。
在一些示例中,远程操作数据516可由远程操作员514例如经由远程操作界面510访问,以用于向车辆402提供指导。例如,远程操作数据516可以包括与道路网络相关的全球和/或本地地图数据,与道路网络相关的事件,和/或由于例如交通量,天气状况,建筑区域和/或特殊事件而与道路网络相关的行进状况。在一些实施例中,远程操作数据516可以包括与车辆车队502的一个或多个车辆相关联的数据,例如,维护和服务信息,和/或操作历史,包括例如与车辆402相关联的事件历史,路线历史,占用历史和与车辆402相关联的其他类型的数据。
在一些示例中,远程操作员514和/或远程操作界面510可以与认证信息518相关联。例如,为了激活远程操作界面510处的会话,远程操作员系统114可以要求远程操作员514使用认证信息518进行认证。在一些示例中,认证信息518可以是特定远程操作界面510固有的。在一些示例中,请求对操作状态数据(例如,某些事件)和/或特定远程操作选项的特定排列提供帮助可能需要具有升高的认证信息518(例如,具有更大许可的认证信息)的远程操作界面510进行解析。例如,如果远程操作人员514在远程操作界面510选择会影响整个车辆车队502而不是仅仅一辆车的动作,则该动作可以被发送到具有与之相关联的升高的认证信息的第二远程操作界面510,以进行确认,修改和/或拒绝。与升高的认证信息级别相关联的请求和/或操作状态数据可用于确定中继该请求的远程操作界面510。在一些示例中,SAE 508可以将与升高级别的认证信息相关联的请求和/或操作状态数据中继到多个远程操作界面510,而不是单个远程操作界面510。
图6是根据本公开的实施例的第一示例性用户界面602,其示出了为物体而让路的车辆402。如图所示,用户界面602包括四个部分604(1)-(4),示出关于车辆402所处环境的信息。例如,用户界面602的第一部分604(1)包括第一视频,该第一视频被呈现为如同从车辆402上方拍摄,用户界面602的第二部分604(2)包括第二视频,该第二视频被呈现为如同从车辆402的一侧拍摄,用户界面602的第三部分604(3)包括由车辆402的第一摄像机捕获的第三视频,并且用户界面602的第四部分604(4)包括由车辆402的第二摄像机捕获的第四视频。虽然图6的示例将用户界面602示出为包括四个部分604(1)-(4),但是在其他示例中,用户界面602可以包括任意数量的部分。
如图所示,用户界面602的部分604(1)-(2)包括车辆402的表示。在一些情况下,用户界面602的一个或多个部分604(1)-(2)可以包括指示车辆402的图形元素。图形元素可以包括,但不限于,围绕车辆402的边界框,车辆402的阴影,描述车辆402的文本,和/或可以指示车辆402的任何其他类型的图形元素。这样,远程操作员514可以容易地识别车辆402在环境中的位置。
另外,用户界面602的部分604(1)-(4)包括车辆402为其让路的物体606的表示,该物体606包括至少部分地停放在图6的示例中的交叉路口内的起重机。在一些情况下,用户界面602的一个或多个部分604(1)-(4)可以包括指示物体606的图形元素。图形元素可以包括,但不限于,围绕物体606的边界框,物体606的阴影,描述物体606的文本,和/或可以指示物体606的任何其他类型的图形元素。这样,远程操作员514可以容易地识别车辆402为其让路的物体606。
在一些情况下,远程操作员514可以使用用户界面602选择物体606。然后,远程操作员514可以使用用户界面602来提供关于车辆402如何行进的指令。例如,远程操作员514可以使用用户界面602来指示车辆402不再让路于物体606。这是因为,在图6的示例中,物体606至少部分地停放在交叉路口内,这样就阻塞了车辆402的路线。因此,为了在物体606周围导航,车辆402可能必须停止让路于物体606。
车辆402可以从远程操作员系统114接收指令,并根据指令进行。例如,车辆402可以确定停止让路于物体606和/或确定暂时停止跟随关于物体606的一个或多个策略。然后,车辆402可以基于关于位于环境内的其他物体的一个或多个策略来确定如何进行导航。例如,如果车辆402没有为另一个物体让路,则车辆402可以选择路线,使得车辆402围绕物体606导航。然后,车辆402可以开始沿着所选择的路线导航。然而,如果车辆402仍然让路于另一个物体,那么车辆402可以在行进之前继续让路于其他物体。
例如,在一些情况下,车辆402可以让路于一个以上的物体。例如,车辆402还可以让路于位于交叉路口内的第二物体608。在这样的示例中,用户界面602可以包括指示第二物体608的图形元素。在一些情况下,指示物体606的图形元素可以不同于指示第二物体608的图形元素。例如,指示物体606的图形元素可以告知远程操作员514车辆402当前正为物体606让路,并且指示第二物体608的图形元素可以告知远程操作员514车辆402以后将为第二物体608让路(例如,如果第二物体608仍然位于交叉路口内)。
图7是根据本公开的实施例的第一示例性用户界面702,其示出车辆402为物体让路。如图所示,用户界面702包括四个部分704(1)-(4),示出了关于车辆402所处环境的信息。例如,用户界面702的第一部分704(1)包括来自车辆402上方的第一视频,用户界面702的第二部分704(2)包括来自车辆402一侧的第二视频,用户界面702的第三部分704(3)包括由车辆402的第一摄像机捕获的第三视频,用户界面702的第四部分704(4)包括由车辆402的第二摄像机捕获的第四视频。虽然图7的示例示出用户界面702包括四个部分704(1)-(4),但是在其他示例中,用户界面702可以包括任意数量的部分。
如图所示,用户界面702的部分704(1)-(2)包括车辆402的表示。在一些情况下,用户界面702的一个或多个部分704(1)-(2)可以包括指示车辆402的图形元素。图形元素可以包括,但不限于,围绕车辆402的边界框,车辆402的阴影,描述车辆402的文本,和/或可以指示车辆402的任何其他类型的图形元素。这样,远程操作员514可以容易地识别车辆402在环境中的位置。
另外,用户界面702的部分704(1)-(3)包括车辆402为其让路的物体706的表示,在图7的示例中,该物体706包括试图导航经过车辆402的移动卡车。在一些情况下,用户界面702的一个或多个部分704(1)-(3)可以包括指示物体706的图形元素。图形元素可以包括,但不限于,围绕物体706的边界框,物体706的阴影,描述物体706的文本,和/或可以指示物体706的任何其他类型的图形元素。这样,远程操作员514可以容易地识别车辆402为其让路的物体706。
在图7的示例中,车辆402可以让路于物体706。然而,试图在靠近车辆402的车道中导航的物体706可能不能导航,因为物体708阻塞了物体706所使用的车道的至少一部分。这样,物体706可以停止在交叉路口,并等待车辆402移动,以便物体706围绕物体708导航。另外,车辆402可以被停止并为物体706让路,使得车辆402将不行进,直到物体706导航通过交叉路口。
这样,在一些情况下,远程操作员514可以使用用户界面702选择物体706。然后,远程操作员514可以使用用户界面702来提供关于车辆402如何行进的指令。例如,远程操作员514可以使用用户界面702来指示车辆402不再让路于物体706。这样,即使当物体706仍然位于交叉路口内时,车辆402也可以开始导航。一旦车辆402开始导航,则物体706也将开始围绕物体708导航。
图8-9示出了根据本公开的实施例的示例性过程。这些过程被示出为逻辑流程图,其中的每个操作表示可在硬件,软件或其组合中实现的一系列操作。在软件的上下文中,所述操作表示存储在一个或多个计算机可读存储介质上的计算机可执行指令,可执行指令当由一个或多个处理器执行时,执行所述操作。通常,计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程,程序,物体,组件,数据结构等。描述操作的顺序并不意欲被解释为限制,并且任何数量的操作可以以任何顺序和/或并行方式组合以实现该过程。
图8描述了根据本公开的实施例的用于确定是否联系远程操作员的示例性过程800。在操作802,过程800可以包括使自动驾驶车辆沿着路线导航。例如,车辆402可以从控制系统448接收指令,其中指令使车辆402沿着从第一位置到第二位置的路线导航。至少部分地基于指令,车辆402可以开始沿着从第一位置到第二位置的路线导航。
在操作804,过程800可以包括确定自动驾驶车辆的行进在沿着路线的位置处受到阻碍。例如,车辆402可以确定车辆402的行进在沿着路线的位置处受到阻碍。在一些情况下,车辆402可以基于确定车辆在阈值时间段内正让路于物体来做出确定。在一些情况下,车辆402可以基于确定在车辆402周围正在发生特定场景来做出确定。然而,在一些情况下,车辆402可以基于确定特定类型的物体位于车辆402附近来做出确定。
在操作806,过程800可以包括确定自动驾驶车辆的行进被阻碍的时间量。例如,车辆402可以确定车辆402的行进受到阻碍的时间量。
在操作808,过程800可以包括确定时间量是否满足阈值。例如,车辆402可以确定时间量是否满足(例如,等于或大于)阈值。如果在操作808,时间量不满足阈值,那么在操作810,过程800可以包括确定不联系远程操作员。例如,如果车辆402确定时间量不满足(例如,如果低于)阈值,则车辆402可以确定不联系远程操作员514。另外,车辆402可以重复操作802-808。
然而,如果在操作808,时间量满足阈值,那么在操作812,过程800可以包括确定是否已经发生了干预条件。例如,车辆402可以确定干预条件是否导致行进收到阻碍。在一些情况下,当车辆402在交通中被卡住时车辆402可以确定发生了干预条件。在一些情况下,当车辆402在交通信号灯处停止时,车辆402可以确定干预条件已经发生。
如果在操作812中发生了干预条件,则过程800可以确定不联系远程操作员。例如,如果车辆402确定发生了干预条件,则车辆402可以确定不联系远程操作员514。
然而,如果在操作812,没有出现干预条件,那么在操作814,过程800可以包括确定联系远程操作员。例如,如果车辆402确定没有发生干预条件,则车辆402可以确定联系远程操作员514。另外,车辆402可以向远程操作员系统114发送传感器数据436和/或指示器数据442。然后,远程操作员514可以使用传感器数据436和/或指示器数据442来确定车辆402应该怎样行进。
在操作818,过程800可以包括从系统接收与导航相关联的指令。例如,车辆402可以从远程操作员系统114接收指令数据446,其中指令数据446表示与导航车辆402相关联的指令。对于第一示例,指令数据446可以包括指令,以暂时停止跟随与让路于到达车辆402之前的交叉路口的物体相关联的策略。对于第二示例,指令数据446可以包括改变与物体的交互,从“跟随”变为“不要跟随”的指令。在任一示例中,车辆402可以停止让路于物体。
在操作820,过程800可以包括使自动驾驶车辆导航。例如,至少部分基于指令数据446,车辆402可以开始导航。在一些情况下,车辆402开始导航,因为车辆402不再让路于物体。在一些情况下,车辆402开始导航,因为车辆不再跟随物体。然而,在一些情况下,车辆402开始沿着车辆的原始路线导航。
图9描述了根据本公开的实施例,使用来自远程操作员的指令来导航自动驾驶车辆的示例性过程900。在操作902,过程900可以包括使用一个或多个传感器产生传感器数据。例如,车辆402可以使用传感器系统406来生成传感器数据436。车辆402可以在围绕环境导航的同时生成传感器数据436。
在操作904中,过程900可以包括确定自动驾驶车辆的行进受到阻碍。例如,车辆402可以确定车辆402的行进受到阻碍。在一些情况下,车辆402可以基于确定车辆在阈值时间段内正让路于物体来做出确定。在一些情况下,车辆402可以基于确定在车辆402周围正在发生特定场景来做出确定。然而,在一些情况下,车辆402可以基于确定特定类型的物体位于车辆402附近来做出确定。
在操作906,过程900可以包括将传感器数据的至少一部分发送到远程操作员系统(和/或从中衍生的数据)。例如,车辆402可以将传感器数据436的至少一部分发送到远程操作员系统114。传感器数据436的至少一部分可以至少表示导致行进受阻的物体。在一些情况下,车辆402至少部分地基于确定车辆402的行进已经被阻止了阈值时间量来发送传感器数据436的至少一部分。
在操作908,过程900可以包括向远程操作员系统发送自动驾驶车辆的行进被阻碍到物体的指示。例如,车辆402可以向远程操作员系统114发送指示符数据442,其中指示符数据442指示车辆402的行进被阻碍到物体。在一些情况下,指示符数据442还可以指示车辆402被阻碍到物体的时间量。
在操作910,过程800可以包括从远程操作员系统接收与导航相关联的指令。例如,车辆402可以从远程操作员系统114接收指令数据446,其中指令数据446表示与导航车辆402相关联的指令。对于第一示例,指令数据446可以包括指令,以暂时停止跟随与让路于到达车辆402之前的交叉路口的物体相关联的策略。对于第二示例,指令数据446可以包括改变与物体的交互,从“跟随”变为“不要跟随”的指令。在任一示例中,车辆402可以停止让路于物体。
在操作912,过程900可以包括使自动驾驶车辆导航到第二位置。例如,至少部分基于指令数据446,车辆402可以开始导航到第二位置。在一些情况下,车辆402开始导航,因为车辆402不再让路于物体。在一些情况下,车辆402开始导航,因为车辆不再跟随物体。然而,在一些情况下,车辆402开始沿着车辆的原始路线导航。
在操作914,过程900可以包括确定在导航到第二位置时是否发生干预条件。例如,车辆402可以使用传感器数据436来确定在开始导航到第二位置之后是否发生了干预条件。在一些情况下,干预条件可以包括开始移动的物体。在一些情况下,干预条件可以包括物体移动到与物体相关联的指定区域之外。
如果在操作914中发生了干预条件,那么在操作916中,过程900可以包括使自动驾驶车辆停止导航到第二位置。例如,如果车辆402确定发生了干预条件,则车辆402可以停止导航到第二位置。在一些情况下,车辆402可以停止。在一些情况下,车辆402可以从“不跟随”改变至“跟随”而改变与物体的交互。
然而,如果在操作914,干预条件不发生,那么在操作918,过程900可以包括使自动驾驶车辆继续导航到第二位置。例如,如果车辆402确定没有发生干预条件,则车辆402将继续导航到第二位置。
示例条款
A:自动驾驶车辆,包括:一个或多个网络组件;一个或多个传感器;一个或多个处理器;以及存储指令的存储器,指令当由所述一个或多个处理器执行时对自动驾驶车辆进行配置以执行包括以下步骤的操作:使自动驾驶车辆沿路线导航;接收由一个或多个传感器产生的传感器数据;至少部分地基于传感器数据确定:自动驾驶车辆的行进受到物体的阻碍;至少部分地基于行进被物体阻碍来确定是否联系远程操作员;从与远程操作员相关联的一个或多个计算设备接收与通过物体导航相关联的指令,所述指令包括被配置为改变与物体相关联的策略的信息;以及至少部分地基于指令,使自动驾驶车辆通过物体导航。
B:如在段落A中所述的自动驾驶车辆,所述操作还包括使用一个或多个网络组件向一个或多个计算设备发送:所述传感器数据的至少一部分;以及物体妨碍自动驾驶车辆的行进的指示。
C:如在段落A或B中任一段所述的自动驾驶车辆,其中确定自动驾驶车辆的行进被物体阻碍的步骤包括:至少部分地基于传感器数据来确定自动驾驶车辆正让路于物体达阈值时间段。
D:如在段落A-C中任一段所述的自动驾驶车辆,其中确定自动驾驶车辆的行进被物体阻碍的步骤包括:至少部分地基于传感器数据确定物体包括一种类型的物体;以及确定物体沿着所述路线定位。
E:如在段落A-D中任一段所述的自动驾驶车辆,其中确定自动驾驶车辆的行进受到阻碍的步骤包括:至少部分地基于传感器数据确定场景正在发生,所述场景包括以下至少之一:物体的速度低于阈值速度;或者物体从第一行驶车道切换到第二行驶车道,其中自动驾驶车辆在第二行驶车道中导航。
F:如在段落A-E中任一段所述的自动驾驶车辆,所述操作还包括:确定是否正在发生干预条件,所述干预条件包括以下至少之一:自动驾驶车辆被堵在交通中;或者自动驾驶车辆在交通信号灯处停止,并且其中确定是否联系远程操作员还至少部分地基于确定是否正在发生干预条件。
G:一种方法,包括:接收由自动驾驶车辆的一个或多个传感器生成的传感器数据;至少部分地基于传感器数据来确定自动驾驶车辆的行进受到物体的阻碍;至少部分地基于自动驾驶车辆的行进被物体阻碍,确定是否联系远程操作员;以及从远程操作员接收一个或多个指令,指令被配置为使自动驾驶车辆改变关于物体的策略。
H:如在段落G中所述的方法,还包括以下至少之一:向与远程操作员相关联的一个或多个计算设备发送至少一部分传感器数据;或者向一个或多个计算设备指示物体。
I:如在段落G或H中任一段所述的方法,其中确定自动驾驶车辆的行进被物体阻碍的步骤包括:至少部分地基于传感器数据来确定自动驾驶车辆正让路于物体达阈值时间段。
J:如在段落G-I中任一段所述的方法,其中确定自动驾驶车辆的行进受到物体的阻碍的步骤包括:至少部分地基于传感器数据确定物体包括一种类型的物体;以及确定物体沿着路线定位。
K:如在段落G-J中任一段所述的方法,其中确定自动驾驶车辆的行进受到阻碍的步骤包括:至少部分地基于传感器数据确定场景正在发生,场景包括以下至少之一:物体的速度低于阈值速度;或者物体从第一行驶车道切换到第二行驶车道,其中自动驾驶车辆在第二行驶车道中导航。
L:如在段落G-K中任一段所述的方法,还包括:确定是否正在发生干预条件,干预条件包括以下至少之一:自动驾驶车辆被堵在交通中;或者自动驾驶车辆在交通信号灯处停止,并且其中确定是否联系远程操作员还至少部分地基于确定是否正在发生干预条件。
M:如在段落G-L中任一段所述的方法,还包括向与远程操作员相关联的一个或多个计算设备发送策略数据,策略数据指示使自动驾驶车辆的行进受到物体阻碍的策略。
N:如在段落G-M中任一段所述的方法,还包括:从与远程操作员相关联的一个或多个计算设备接收指令,以暂时停止跟随物体的策略;以及暂时停止跟随物体的策略。
O:一种存储指令的非暂时性计算机可读介质,指令当由一个或多个处理器执行时导致一个或多个计算设备执行操作,操作包括:接收由自动驾驶车辆的一个或多个传感器生成的传感器数据;至少部分地基于传感器数据来确定物体已经导致自动驾驶车辆的行进受到阻碍;至少部分地基于物体使自动驾驶车辆的行进受到阻碍,确定是否联系远程操作员;以及从远程操作员接收被配置为使自动驾驶车辆改变与物体相关联的一个或多个策略的指令。
P:如在段落O中所述的非暂时性计算机可读介质,该操作还包括发送以下中的至少一个:向与远程操作员相关联的一个或多个计算设备发送传感器数据的至少一部分;或者向一个或多个计算设备指示物体。
Q:如在段落O或P中任一段所述的非暂时性计算机可读介质,其中确定物体已经导致自动驾驶车辆的行进受到阻碍的步骤包括至少部分地基于传感器数据来确定自动驾驶车辆正让路于物体达阈值时间段。
R:如在段落O-Q中任一段所述的非暂时性计算机可读介质,其中确定物体已经导致自动驾驶车辆的行进受到阻碍的步骤包括:至少部分地基于传感器数据来确定物体包括一种类型的物体;以及确定物体沿着路线定位。
S:如在段落O-R中任一段所述的非暂时性计算机可读介质,其中确定物体已经导致自动驾驶车辆的行进受到阻碍的步骤包括:至少部分地基于传感器数据,确定正在发生,场景包括以下至少一项:物体的速度低于阈值速度;或者物体从第一车道切换到第二车道,其中自动驾驶车辆正在第二车道中行驶。
T:如在段落O-S中任一段所述的非暂时性计算机可读介质,该操作还包括:确定是否正在发生干预条件,干预条件包括以下至少之一:自动驾驶车辆被堵在交通中;或者自动驾驶车辆在交通信号灯处停止,并且其中确定是否联系远程操作员还至少部分地基于确定是否正在发生干预条件。
U:一种自动驾驶车辆,包括:传感器;一个或多个处理器;以及存储指令的存储器,指令当由一个或多个处理器执行时对自动驾驶车辆进行配置以执行包括以下步骤的操作:在第一位置从传感器接收传感器数据;至少部分地基于传感器数据来确定自动驾驶车辆的行进受到物体的阻碍;将传感器数据的至少一部分发送到与远程操作员相关联的一个或多个计算设备;发送自动驾驶车辆的行进被物体阻碍的指示;接收与导航自动驾驶车辆相关联的指令;以及至少部分地基于指令,使得自动驾驶车辆开始沿着路线从第一位置导航到第二位置。
V:如在段落U中所述的自动驾驶车辆,该操作还包括:当导航到第二位置时,确定物体开始移动;以及至少部分地基于确定物体开始移动,使得自动驾驶车辆让路于物体。
W:如在段落U或V中任一段所述的自动驾驶车辆,该操作还包括:从一个或多个计算设备接收围绕物体的区域的附加指示;当导航到第二位置时,确定物体位于该区域之外;以及至少部分地基于物体位于该区域之外,使自动驾驶车辆让路于物体。
X:如在段落U-W中任一段所述的自动驾驶车辆,该操作还包括:存储表示与导航自动驾驶车辆相关联的一个或多个策略的数据,一个或多个策略包括以下中的至少一个:向到达自动驾驶车辆之前的交叉路口的物体让路的第一策略;或者在导航时停留在行驶车道中的第二策略;以及至少部分地基于指令,决定暂时放弃跟随一个或多个政策中的至少一个。
Y:如在段落U-X中任一段所述的自动驾驶车辆,该操作还包括:设置与物体相关联的第一动作,第一动作跟随物体;以及至少部分地基于指令,设置与物体相关联的第二动作,第二动作将停止跟随物体。
Z:如在段落U-Y中任一段所述的自动驾驶车辆,该操作还包括:至少部分地基于指令确定暂时停止对物体的让路;以及确定,至少部分地基于一个或多个策略,是否让路于一个或多个其他物体,并且其中使自动驾驶车辆开始沿路线从第一位置导航到第二位置至少部分地基于确定是否让路于一个或多个其他物体。
AA:一种方法,包括:从车辆上的传感器接收传感器数据;至少部分地基于传感器数据确定车辆沿路线的行进受到环境中的物体的阻碍;确定是否联系远程操作员;至少部分地基于确定是否联系远程操作员,传送以下中的一个或多个:传感器数据的至少一部分,与物体相关联的传感器数据的表示,或向与远程操作员相关联的一个或多个计算设备发送物体妨碍到行进的指示;从一个或多个计算设备接收改变与物体相关联的策略的指令;以及至少部分地基于指令,使自动驾驶车辆导航到一个位置。
AB:如在段落AA中所述的方法,其中:指示包括标识车辆正让路于物体的数据;并且改变策略包括指示车辆停止让路于物体。
AC:如在段落AA或AB中任一段所述的方法,还包括:当导航到该位置时,确定该物体开始移动;以及至少部分地基于确定物体开始移动,使得车辆让路于物体。
AD:如在段落AA-AC中任一段所述的方法,还包括:从一个或多个计算设备接收围绕物体的区域;当导航到位置时,确定物体位于区域之外;以及至少部分地基于物体位于区域之外,使车辆让路于物体。
AE:如在段落AA-AD中任一段所述的方法,其中策略包括以下至少一个:向到达车辆前方交叉路口的物体让路的第一策略,或者在导航时停留在行驶车道中的第二策略,并且其中改变策略包括确定暂时放弃跟随第一策略或第二策略中的至少一个。
AF:如在段落AA-AE中任一段所述的方法,还包括,在导航到该位置之后,确定再次跟随第一或第二策略。
AG:如在段落AA-AF中任一段所述的方法,还包括:设置与物体相关联的第一动作,第一动作跟随物体,其中改变策略包括设置与物体相关联的第二动作,第二动作停止跟随物体。
AH:如在段落AA-AG中任一段所述的方法,还包括至少部分地基于行进来确定是否阻止自动驾驶车辆行进到另一物体。
AI:存储指令的一个或多个非暂时性计算机可读介质,指令当由一个或多个处理器执行时,使一个或多个计算设备执行以下操作:从车辆上的传感器接收传感器数据;至少部分地基于传感器数据,确定物体已经导致车辆被阻止导航到位置;将传感器数据的至少一部分发送到与远程操作员相关联的一个或多个计算设备;从一个或多个计算设备接收改变关于物体的策略的指令;以及至少部分地基于指令,使车辆导航到该位置。
AJ:如在段落AI中所述的一个或多个非暂时性计算机可读介质,该操作还包括向一个或多个计算设备发送物体已经导致自动驾驶车辆被阻止导航到位置的指示。
AK:如在段落AI或AJ中任一段所述的一个或多个非暂时性计算机可读介质,该操作还包括:当导航到位置时,确定物体开始移动;以及至少部分地基于确定物体开始移动,使车辆忽略指令。
AL:如在段落AI-AK中任一段所述的一个或多个非暂时性计算机可读介质,该操作还包括:从一个或多个计算设备接收与物体相关联的区域;当导航到位置时,确定物体位于区域之外;以及至少部分地基于物体位于区域之外,使自动驾驶车辆忽略指令。
AM:如在段落AI-A1中任一段所述的一个或多个非暂时性计算机可读介质,其中策略包括以下中的一个或多个:向到达自动驾驶车辆之前的交叉路口的物体让路的第一策略,或者在导航时停留在行驶车道中的第二策略,并且操作还包括,至少部分地基于指令,决定暂时放弃跟随一个或多个政策中的至少一个。
AN:如在段落AI-AM中任一段所述的一个或多个非暂时性计算机可读介质,该操作还包括:设置与物体相关联的第一动作,第一动作跟随物体;以及至少部分地基于指令,设置与物体相关联的第二动作,第二动作停止跟随物体。
结论
虽然已经描述了本文技术的一个或多个示例,但是其各种改变,添加,置换和等同物也包括在本文技术的范围内。
在实施例的描述中,参考附图已构成本发明一部分,这些附图以图解的方式示出了所要求保护的主题的具体实施例。应当理解,可以使用其他示例,并且可以进行改变或修改,诸如结构改变。这样的示例,改变或修改不一定偏离关于所要求保护的主题的范围。虽然这里的步骤可以以一定的顺序呈现,但是在一些情况下,可以改变该顺序,以便在不改变系统和方法的功能的情况下,以不同的时间或不同的顺序提供某些输入。所公开的过程也可以以不同的顺序执行。另外,这里的各种计算不需要按照所公开的顺序来执行,并且可以容易地实现使用计算的可选顺序的其他示例。除了被重新排序之外,还可以将计算分解为具有相同结果的子计算。

Claims (15)

1.一种自动驾驶车辆,包括:
一个或多个网络组件;
一个或多个传感器;
一个或多个处理器;以及
存储指令的存储器,所述指令当由所述一个或多个处理器执行时对所述自动驾驶车辆进行配置以执行以下操作:
使所述自动驾驶车辆沿路线导航;
接收由所述一个或多个传感器产生的传感器数据;
至少部分地基于所述传感器数据确定所述自动驾驶车辆的行进被物体阻碍;
至少部分地基于所述行进被物体阻碍来确定是否联系远程操作员;
从与所述远程操作员相关联的一个或多个计算设备接收与通过所述物体导航相关联的指令,所述指令包括被配置为改变与所述物体相关联的策略的信息;以及
至少部分地基于所述指令使所述自动驾驶车辆通过所述物体导航。
2.根据权利要求1所述的自动驾驶车辆,所述操作还包括使用所述一个或多个网络组件发送:
至少一部分传感器数据到所述一个或多个计算设备;以及
物体妨碍所述自动驾驶车辆的行进的指示。
3.根据权利要求1或2所述的自动驾驶车辆,其中,确定所述自动驾驶车辆的行进被所述物体阻碍的步骤包括:至少部分地基于所述传感器数据来确定所述自动驾驶车辆正让路于所述物体达阈值时间段。
4.根据权利要求1-3中任一项所述的自动驾驶车辆,其中,所述确定自动驾驶车辆的行进被所述物体阻碍的步骤包括:
至少部分地基于所述传感器数据,确定所述物体包括一种类型的物体;以及
确定所述物体沿着所述路线定位。
5.根据权利要求1-4中任一项所述的自动驾驶车辆,其中,确定所述自动驾驶车辆的行进受到阻碍的步骤包括:至少部分地基于所述传感器数据确定场景正在发生,所述场景包括以下至少一个:
所述物体的速度低于阈值速度;或
所述物体从第一行驶车道切换到第二行驶车道,其中所述自动驾驶车辆在所述第二行驶车道中导航。
6.根据权利要求1-5中任一项所述的自动驾驶车辆,所述操作还包括:
确定是否正在发生干预条件,所述干预条件包括以下至少一个:
所述自动驾驶车辆被堵在交通中;或
所述自动驾驶车辆停在交通信号灯处,
并且其中,确定是否联系所述远程操作员还至少部分地基于所述确定是否正在发生所述干预条件。
7.一种方法,包括:
接收由自动驾驶车辆的一个或多个传感器产生的传感器数据;
至少部分地基于所述传感器数据来确定所述自动驾驶车辆的行进受到物体的阻碍;
至少部分地基于所述自动驾驶车辆的行进被所述物体阻碍,确定是否联系远程操作员;以及
从远程操作员接收一个或多个指令,所述指令被配置为使自动驾驶车辆改变关于物体的策略。
8.根据权利要求7所述的方法,还包括发送以下中的至少一个:
至少一部分传感器数据到与远程操作员相关联的一个或多个计算设备;或者向所述一个或多个计算设备指示所述物体。
9.根据权利要求7或8所述的方法,其中,所述确定自动驾驶车辆的行进被所述物体阻碍的步骤包括:至少部分地基于所述传感器数据来确定所述自动驾驶车辆正让路于所述物体达阈值时间段。
10.根据权利要求7-9中任一项所述的方法,其中,确定所述自动驾驶车辆的行进被所述物体阻碍的步骤包括:
至少部分地基于所述传感器数据,确定所述物体包括一种类型的物体;以及
确定所述物体沿着所述路线定位。
11.根据权利要求7-10中任一项所述的方法,其中,确定所述自动驾驶车辆的行进受到阻碍的步骤包括:至少部分地基于所述传感器数据确定场景正在发生,所述场景包括以下至少一个:
所述物体的速度低于阈值速度;或
所述物体从第一行驶车道切换到第二行驶车道,其中所述自动驾驶车辆在所述第二行驶车道中导航。
12.根据权利要求7-11中任一项所述的方法,还包括:
确定是否正在发生干预条件,所述干预条件包括以下至少一个:
所述自动驾驶车辆被堵在交通中;或
自动驾驶车辆停在交通信号灯处,
并且其中,确定是否联系所述远程操作员还至少部分地基于确定是否正在发生所述干预条件。
13.根据权利要求7-12中任一项所述的方法,还包括向与所述远程操作员相关联的一个或多个计算设备发送策略数据,所述策略数据指示导致所述自动驾驶车辆的行进被所述物体阻碍的策略。
14.根据权利要求13所述的方法,还包括:
从与所述远程操作员相关联的一个或多个计算设备接收指令,以暂时停止跟随所述物体的策略;以及
确定暂时停止跟随所述物体的策略。
15.一种存储指令的非暂时性计算机可读介质,所述指令当由一个或多个处理器执行时使所述一个或多个处理器执行根据权利要求7-14中任一项所述的方法。
CN202080047089.0A 2019-06-28 2020-06-24 联系远程操作员的技术 Pending CN114080341A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16/457,289 US11209822B2 (en) 2019-06-28 2019-06-28 Techniques for contacting a teleoperator
US16/457,341 2019-06-28
US16/457,341 US11275370B2 (en) 2019-06-28 2019-06-28 Techniques for navigating vehicles using teleoperator instructions
US16/457,289 2019-06-28
PCT/US2020/039397 WO2020264007A1 (en) 2019-06-28 2020-06-24 Techniques for contacting a teleoperator

Publications (1)

Publication Number Publication Date
CN114080341A true CN114080341A (zh) 2022-02-22

Family

ID=71528120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080047089.0A Pending CN114080341A (zh) 2019-06-28 2020-06-24 联系远程操作员的技术

Country Status (4)

Country Link
EP (1) EP3990328A1 (zh)
JP (1) JP2022539557A (zh)
CN (1) CN114080341A (zh)
WO (1) WO2020264007A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11851091B2 (en) * 2021-09-14 2023-12-26 Motional Ad Llc Immobility detection within situational context
US11845454B2 (en) 2021-09-14 2023-12-19 Motional Ad Llc Operational envelope detection with situational assessment

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10459440B2 (en) * 2016-01-04 2019-10-29 GM Global Technology Operations LLC System and method for remotely assisting autonomous vehicle operation
US20170285637A1 (en) * 2016-03-31 2017-10-05 GM Global Technology Operations LLC Driving assistance methods and systems
US20180224850A1 (en) * 2017-02-08 2018-08-09 Uber Technologies, Inc. Autonomous vehicle control system implementing teleassistance
US10518770B2 (en) * 2017-03-14 2019-12-31 Uatc, Llc Hierarchical motion planning for autonomous vehicles

Also Published As

Publication number Publication date
JP2022539557A (ja) 2022-09-12
EP3990328A1 (en) 2022-05-04
WO2020264007A1 (en) 2020-12-30

Similar Documents

Publication Publication Date Title
CN112752988B (zh) 雷达空间估计
US20220363256A1 (en) Trajectory modifications based on a collision zone
CN112752950B (zh) 修改与地图数据相关联的地图元素
US11209822B2 (en) Techniques for contacting a teleoperator
US11554790B2 (en) Trajectory classification
US11275370B2 (en) Techniques for navigating vehicles using teleoperator instructions
CN114127655B (zh) 封闭车道检测
US11513519B1 (en) Sharing occlusion data
EP3991000B1 (en) Vehicle control and guidance
US11584389B2 (en) Teleoperations for collaborative vehicle guidance
US20210347383A1 (en) Trajectories with intent
US11353874B2 (en) Lane handling for merge prior to turn
JP2022527072A (ja) 属性に基づく歩行者の予測
WO2020264144A1 (en) Remote vehicle guidance
US20210325880A1 (en) Collaborative vehicle guidance
US20230036371A1 (en) Lane classification for improved vehicle handling
US11353877B2 (en) Blocked region guidance
US20230067887A1 (en) Techniques for detecting road blockages and generating alternative routes
US20220379889A1 (en) Vehicle deceleration planning
CN117616355A (zh) 用于全双工系统中的a-csi-rs的qcl确定
CN116670000A (zh) 横向安全区域
CN114080341A (zh) 联系远程操作员的技术
CN115443233A (zh) 针对协作车辆引导的遥操作
US11753036B1 (en) Energy consumption control systems and methods for vehicles
CN115515835A (zh) 轨迹分类

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination