CN110869866A - 车辆与远程操作系统之间的交互 - Google Patents
车辆与远程操作系统之间的交互 Download PDFInfo
- Publication number
- CN110869866A CN110869866A CN201880045452.8A CN201880045452A CN110869866A CN 110869866 A CN110869866 A CN 110869866A CN 201880045452 A CN201880045452 A CN 201880045452A CN 110869866 A CN110869866 A CN 110869866A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- unmanned vehicle
- remote
- operating
- remote operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title description 35
- 238000004891 communication Methods 0.000 claims abstract description 138
- 238000000034 method Methods 0.000 claims abstract description 114
- 238000013500 data storage Methods 0.000 claims abstract description 9
- 238000010276 construction Methods 0.000 claims description 41
- 230000033001 locomotion Effects 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 15
- 241001465754 Metazoa Species 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 55
- 230000003068 static effect Effects 0.000 description 37
- 230000006399 behavior Effects 0.000 description 23
- 238000013459 approach Methods 0.000 description 16
- 230000015654 memory Effects 0.000 description 14
- 238000003860 storage Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000033228 biological regulation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000010813 municipal solid waste Substances 0.000 description 3
- 230000002040 relaxant effect Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000037361 pathway Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000002269 spontaneous effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 1
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- YPJRHEKCFKOVRT-UHFFFAOYSA-N lerociclib Chemical compound C1CN(C(C)C)CCN1C(C=N1)=CC=C1NC1=NC=C(C=C2N3C4(CCCCC4)CNC2=O)C3=N1 YPJRHEKCFKOVRT-UHFFFAOYSA-N 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013486 operation strategy Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
一种用于操作无人驾驶车辆的方法可包括在无人驾驶车辆处接收与无人驾驶车辆的操作有关的传感器信号以及来自道路网络数据存储装置的道路网络数据。所述方法还可包括:确定无人驾驶车辆根据轨迹在其中行进的行车通道;以及根据从第一地理方位到第二地理方位的路径,使无人驾驶车辆自主地横越道路网络。所述方法还可包括:确定已经发生与路径相关联的事件;以及向远程操作系统发送通信信号,所述通信信号包括对指导的请求以及传感器数据和道路网络数据中的一个或多个。所述方法可包括在无人驾驶车辆处接收来自远程操作系统的远程操作信号,使得车辆控制器至少部分地基于远程操作信号来确定修正的轨迹。
Description
要求优先权
本PCT国际专利申请要求于2017年7月7日提交的美国专利申请No.15/644,267和于2017年7月7日提交的美国专利申请No.15/644,310的优先权权益,上述两个申请的公开内容通过引用并入本文。
背景技术
车辆可用于在不同地方之间运送人员。正常的驾驶程序可包括在车道界限内操纵车辆、在道路转弯处操纵、以及安全通过交叉路口还有遵守交通法规。然而,在沿着两个地方之间的路线在道路上经过时,车辆可能会遇到中断正常驾驶程序的事件,例如本质上无法预测、构成安全隐患或需要对自发视觉提示或指引(例如由警务人员或建筑工人指挥交通所提供的手势信号)做出响应的事件。在一些情况下,由于事件的性质以及对行进时间不利影响的潜在可能,需要避开此类事件。
附图说明
参照附图描述具体实施方式。在附图中,附图标记的最左边的数字标识该附图标记首次出现的附图。不同附图中的相同附图标记表示相似或相同的项目。
图1是示例性车辆沿道路网络的道路行进所通过的示例性环境的示意图。
图2是包括示例性车辆系统架构和远程操作系统的框图。
图3是示例性远程操作系统架构的框图。
图4是示例性远程操作系统界面的示意性立体图。
图5A是示例性用户界面(UI),其促进了在示例性静态物体在道路中的第一示例性事件场景中远程操作者与示例性车辆之间的交互。
图5B是在图5A所示的事件场景中在远程操作者与车辆之间的示例性交互期间促进远程操作者与示例性车辆之间交互的示例性UI。
图6A是示例性UI,其促进了在示例性动态物体在道路中的第二示例性事件场景中远程操作者与示例性车辆之间的交互。
图6B是在图6A所示的事件场景中在远程操作者与车辆之间的示例性交互期间促进远程操作者与示例性车辆之间交互的示例性UI。
图7A是示例性UI,其促进了在车辆遇到了包括道路中的示例性静态物体和动态物体二者的示例性施工区的第三示例性事件场景中远程操作者与示例性车辆之间的交互。
图7B是在图7A所示的事件场景中在远程操作者与车辆之间的示例性交互期间促进远程操作者与示例性车辆之间交互的示例性UI。
图8A是示例性UI,其促进了在示例性静态物体在道路中的第四示例性事件场景中远程操作者与示例性车辆之间的交互。
图8B是在图8A所示的事件场景中在远程操作者与车辆之间的示例性交互期间促进远程操作者与示例性车辆之间交互的示例性UI。
图9A是示例性UI,其促进了在示例性车辆遇到部分停在道路中的另一车辆以及同样在道路中的潜在动态物体时远程操作者与示例性车辆之间的交互。
图9B是在图9A所示的事件场景中在远程操作者与车辆之间的示例性交互期间促进远程操作者与示例性车辆之间交互的示例性UI。
图9C是在图9A和图9B所示的事件场景中在远程操作者和车辆之间的示例性交互期间促进远程操作者与示例性车辆之间交互的示例性UI。
图10是示例性道路网络的示意性俯视图,该示例性道路网络包括在相应第一地理区域和在第二地理区域的相应目的地之间的途中的多个示例性车辆。
图11是用于在示例性行车通道中操作无人驾驶车辆的示例性过程的流程图。
图12是用于在相应的第一地理区域和第二地理区域中根据示例性第一和第二操作模式来操作无人驾驶车辆的示例性过程的流程图。
图13是根据第二操作模式用于操作无人驾驶车辆的车队的至少一个无人驾驶车辆的子集的示例性过程的流程图。
图14是用于根据确定的指导级别来操作无人驾驶车辆的示例性过程的流程图。
图15是用于根据由远程操作者提供的改变指导级别来操作无人驾驶车辆的示例性过程的流程图。
图16是用于根据由远程操作者提供的改变指导级别来操作多个无人驾驶车辆的示例性过程的流程图。
具体实施方式
根据从第一方位到第二方位处目的地的路线在道路网络的道路上行进的车辆可能会遇到沿着路线的事件,这些事件本质上是不可预测的、构成安全问题或需要对例如来自警察或建筑工人的自发视觉提示或指引做出响应。在这种情况下,例如由于与事件相关的潜在安全问题或缺乏足够的信息来继续沿路线行进,沿路线自动行进并遇到此类事件的无人驾驶车辆可能会降低其行进速度或停车。
本公开总体上旨在促进诸如无人驾驶车辆之类的车辆与远程定位的远程操作系统之间的交互。在一些示例中,车辆可以是双向车辆,并且通常可以在所有方向上以相同的性能特性操作,例如,使得当在第一方向上行进时,车辆的第一端是车辆的前端,并且使得当在相反的第二方向上行进时,第一端成为车辆的后端。在一些示例中,当无人驾驶车辆遇到事件时,远程操作系统可以向无人驾驶车辆提供指导和信息,从而无人驾驶车辆将能够避开、操纵绕过和/或经过与事件相关联的区域。无人驾驶车辆可以被配置为将通信信号发送到远程定位的远程操作系统,并且至少部分地基于通信信号,该远程操作系统可以向无人驾驶车辆提供指导,包括用于评估和/或由无人驾驶车辆执行指令、提议的行为或操纵,和/或帮助无人驾驶车辆经过与事件关联的区域的信息。在一些示例中,无人驾驶车辆和远程操作系统可以被配置为彼此协作,使得无人驾驶车辆将能够克服所述事件。例如,在遇到事件时,无人驾驶车辆可以请求指导。代替简单地指示无人驾驶车辆如何导航事件,远程操作系统可以提供与该请求有关的指导,并且无人驾驶车辆可以至少部分地基于该指导来确定克服该事件的操作过程。在一些示例中,无人驾驶车辆可以将提议的操纵和/或行为发送给远程操作者,并且至少部分地基于该提议,远程操作者可以确认或拒绝该提议。
在一些示例中,一种用于操作包括车辆控制器的无人驾驶车辆的方法,可以包括在无人驾驶车辆处接收传感器信号,所述传感器信号包括来自与该无人驾驶车辆相关联的一个或多个传感器的传感器数据,其中该传感器数据与无人驾驶车辆的操作相关。该方法还可包括从道路网络数据存储装置接收道路网络数据,该道路网络数据至少部分地基于无人驾驶车辆的方位。该方法可以进一步包括在无人驾驶车辆处确定行车通道,在该行车通道内无人驾驶车辆根据轨迹行进。行车通道可以包括虚拟边界,并且可以至少部分地基于传感器数据和/或道路网络数据。该方法还可包括使无人驾驶车辆根据从第一地理方位到不同于第一地理方位的第二地理方位的路径自主地横越/穿越道路网络。该方法还可以包括确定已经发生了与路径相关联的事件,以及将通信信号从无人驾驶车辆发送到远程操作系统。通信信号可以包括请求来自远程操作系统的指导和传感器数据、道路网络数据或两者,尽管可以预期来自车辆系统的一个或多个模块的任何数据和/或输出。该方法还可以包括在无人驾驶车辆处接收来自远程操作系统的远程操作信号。例如,远程操作信号可以包括用于改变行车通道的虚拟边界的指导,以使得车辆控制器确定修正的轨迹。例如,所述改变被配置为导致避开事件、绕行事件或通过事件。在一些示例中,远程操作信号可以提供指导以使车辆控制器将虚拟边界改变最小量,该最小量仍然允许无人驾驶车辆横越事件。
在一些示例中,无人驾驶车辆可通过至少部分地基于行车通道改变后的虚拟边界而在无人驾驶车辆处同时或基本同时地(在技术能力内)产生多个修正的轨迹来自主地横越道路网络。在一些示例中,每个修正轨迹可以与置信水平(confidence level)相关联,并且该方法可以进一步包括从多个修正轨迹中选择具有最高置信水平的修正轨迹,并且根据选择的修正轨迹来操作无人驾驶车辆。置信水平可以至少部分地基于车辆可以横越路径的一部分的概率。例如,置信水平可以与使用特定轨迹将导致无人驾驶车辆能够成功地操纵经过与事件相关联的路径的一部分的概率相关联。
在一些示例中,可以关于与无人驾驶车辆能够成功地操纵经过第一地理方位和第二地理方位之间的路径的一部分的概率相关联的置信水平来识别事件。例如,如果置信水平低于阈值置信水平,则它可以指示事件的发生,该事件可以导致开始从无人驾驶车辆到远程操作系统的包括指导请求的通信信号传输。在一些示例中,该远程操作系统可以至少部分地基于例如传感器数据和/或与无人驾驶车辆相关联的其它信息来推断和/或确定该请求。在一些示例中,确定事件已经发生可以包括确定与车辆在沿着该路径的方位处所依据的轨迹相关联的置信水平小于阈值置信水平。
例如,事件可以包括以下中的一项或多项:与路径的一部分相关联的活动,当车辆接近沿着至少部分地在行车通道内的路径的物体(例如,人、动物、车辆、或其它静态或动态物体)时沿着至少部分地在行车通道内的路径的物体,或者当车辆接近物体时以朝向行车通道的轨迹移动的物体。在一些示例中,该事件可以指示物体进入行车通道的预测运动,从而导致置信水平下降到阈值置信水平以下。在一些示例中,识别事件可以包括确定行车通道中存在的物体的分类和/或预测具有朝向行车通道的轨迹的物体的运动。在这样的事件中,与车辆在与事件相关联的方位处根据其轨迹成功通过事件相关联的置信水平可以低于阈值置信水平。这样的情况可能导致发起来自无人驾驶车辆的通信信号的传输,包括请求来自远程操作系统的指导。
本公开总体上还针对用于协助操作无人驾驶车辆的远程操作系统。无人驾驶车辆可以包括车辆控制器,并且可以被配置为根据与第一操作参数相关联的第一操作模式经由所述车辆控制器沿着道路网络根据从第一地理方位到与第一地理方位分离的目的地的路径而自主地操作。远程操作系统可以包括远程操作接收器,所述远程操作接收器被配置为接收与从与无人驾驶车辆相关联的一个或多个传感器接收的传感器信号相关联的传感器数据。传感器数据可以与无人驾驶车辆的操作有关。远程操作系统还可以包括远程操作界面,所述远程操作界面被配置为便于至少部分地基于与从与无人驾驶车辆相关联的一个或多个传感器接收的传感器信号相关联的传感器数据来确定无人驾驶车辆在第二地理区域中。远程操作界面还可以被配置为有助于将第二地理区域分类为与车辆控制器将根据与第二操作参数相关联的第二操作模式来操作无人驾驶车辆的区域相对应。第二操作参数中的一个或多个可以不同于对应的第一操作参数。远程操作系统还可以包括配置为向无人驾驶车辆发送远程操作信号的远程操作发射器。远程操作信号可以向车辆控制器提供指导,以在第二地理区域中操作时从第一操作模式切换到第二操作模式。
本公开还总体上涉及一种方法,所述方法用于操作包括车辆控制器的无人驾驶车辆,并根据与第一操作参数相关联的第一操作模式经由车辆控制器沿着道路网络根据从第一地理方位到与第一地理方位分离的目的地的路径而自主地操作所述无人驾驶车辆。所述方法可以包括:经由远离无人驾驶车辆定位的远程操作接收器、经由另一实体、和/或经由无人驾驶车辆接收指示与沿路径定位的第二地理区域相关联的事件的发生的通信信号。该方法可以附加地或可替代地包括:由与远程操作接收器通信的远程操作者查看与从与无人驾驶车辆相关联的一个或多个传感器接收的传感器信号相关联的传感器数据。在一些示例中,传感器数据可以与无人驾驶车辆的操作有关。该方法还可以包括经由所述另一实体和/或远程操作者将第二地理区域分类为与车辆控制器根据与第二操作参数相关联的第二操作模式来操作无人驾驶车辆的区域相对应。在一些示例中,第二操作参数中的至少一个可以与对应的第一操作参数不同。该方法可以进一步包括经由远程操作发射器向无人驾驶车辆发送远程操作信号。在一些示例中,远程操作信号可以向车辆控制器提供指导,以在第二地理区域中操作时从第一操作模式切换到第二操作模式。在一些示例中,远程操作信号可以提供表示第二地理区域的虚拟边界的指导。第二操作参数可包括第二性能参数、第二车辆操作策略、第二车辆操作法则和第二车辆操作规则中的一个或多个。在一些示例中,第二地理区域可以对应于施工区、学校区、洪水区、事故区、游行区、特殊事件区以及与慢速交通状况相关联的区域中的一个或多个。在一些示例中,远程操作信号可以提供包括以下一种或多种的指导,使无人驾驶车辆忽略该事件中的至少一项、增加或减少物体类别的概率(例如,在学校区中,增加小物体是儿童的概率)、改变车辆在其中操作的行车通道的虚拟边界、以及根据行进速度限制(例如,降低最大行进速度)来操作无人驾驶车辆。该方法的一些示例可以包括向多个无人驾驶车辆发送远程操作信号。在一些示例中,远程操作信号可以包括用于根据第二操作模式来操作第二地理区域中的多个无人驾驶车辆中的至少一些的指导。
本公开总体上还针对一种其上存储有计算机可执行指令的计算机可读存储介质,当由计算机执行该计算机可执行指令时,该计算机可执行指令使计算机协助操作无人驾驶车辆的车队的多个无人驾驶车辆的至少一个子集。子集中的每个无人驾驶车辆可以包括车辆控制器,并且可以沿着道路网络根据从相应第一地理方位到与第一地理方位分离的相应目的地的相应路径经由车辆控制器根据与第一操作参数相关联的第一操作模式自主地操作。协助操作多个车辆的至少一个子集可以使计算机向该子集的每个无人驾驶车辆发送远程操作信号。远程操作信号可以向相应车辆控制器提供指导以从第一操作模式切换到第二操作模式。第二操作模式可以与第二操作参数相关联,第二操作参数包括第二性能参数、第二车辆操作策略、第二车辆操作法则或第二车辆操作规则中的一个或多个。第二操作参数中的至少一个可以不同于对应的第一操作参数。
本公开总体上还针对一种用于改变无人驾驶车辆的车队中的多个无人驾驶车辆的至少一个子集的操作的方法。子集中的每个无人驾驶车辆可以包括车辆控制器,并且可以沿着道路网络根据从相应第一地理方位到与第一地理方位分离的相应目的地的相应路径经由车辆控制器根据与第一操作参数相关联的第一操作模式自主地操作。该方法可以包括经由与远程操作者通信并远离无人驾驶车辆定位的远程操作发射器向该子集中的每个无人驾驶车辆发送远程操作信号。远程操作信号可以向相应车辆控制器提供指导以从第一操作模式切换到第二操作模式。第二操作模式可以与第二操作参数相关联,所述第二操作参数包括第二性能参数、第二车辆操作策略、第二车辆操作法则和第二车辆操作规则中的一个或多个。第二操作参数中的至少一个可以不同于对应的第一操作参数。在一些示例中,所述指导可以包括在预定的时间段内从第一操作模式切换到第二操作模式,并且之后返回到第一操作模式。
第二操作参数可以包括以下一项或多项:降低无人驾驶车辆的能量消耗、设置最大操作速度、防止无人驾驶车辆双向操作、改变自主操作所需的阈值置信水平、改变在第二地理区域中自主操作所需的阈值置信水平、更改无人驾驶车辆使用的物体分类模型或物体预测模型中的至少一个、或放宽与遵守交通法规相关联的车辆操作策略。
在一些示例中,这样的远程操作信号还可以包括用于致动无人驾驶车辆的车队中的至少一部分无人驾驶车辆的一个或多个系统或子系统的命令。作为非限制性示例,第二操作模式可以与打开大灯、关闭内部照明、控制音频信号的音量、将音频和/或可见光图案中继到每个无人驾驶车辆的内部或外部、打开或关闭一个或多个传感器(例如激光雷达、雷达、相机、IMU等)或类似传感器相关联。
在一些示例中,到子集的每个无人驾驶车辆的远程操作信号可以包括对相应的车辆控制器的指导,以至少部分地基于存在与道路网络相关联的事件来避开第二地理区域。例如,第二地理区域可以对应于施工区、学校区、洪水区、事故区、游行区、特殊事件区或与交通缓慢状况相关联的区域中的一个或多个。在这样的示例中,经由相应的车辆控制器来操作子集的每个无人驾驶车辆可以包括根据与至少一个区域相对应的第二操作模式来操作每个无人驾驶车辆。在一些示例中,该指导可以包括在第二地理区域中操作时从第一操作模式切换到第二操作模式。
该无人驾驶车辆的子集可以包括以下一种或多种:载有至少一个乘员的无人驾驶车辆、没有乘员的无人驾驶车辆、包括电量低于阈值充电水平的至少一个电池的无人驾驶车辆、以及被配置为确定与道路网络相关联的状况状态的无人驾驶车辆。具有这些不同示例特性中的一个或多个的车辆可以被不同地操作以考虑或利用一个或多个特性。例如,具有相对低电池电量但没有乘员的车辆可采用在起点和目的地之间具有较短距离的路径以减少电池使用,即使沿着较短路径的交通状况可能会导致较长持续时间的行程,如果车辆被占用,则可能不太理想。
在一些示例中,该方法可以包括:经由远离无人驾驶车辆定位的远程操作接收器接收来自子集中的至少一个无人驾驶车辆的通信信号,该通信信号指示事件的发生。指示事件发生的通信信号可以包括指示存在于行进通道中或以轨迹朝向行进通道移动的物体的分类的通信信号。在一些这样的示例中,向车辆控制器发送提供指导远程操作信号以从第一操作模式切换到第二操作模式的远程操作信号可以包括发送对改变物体的分类或忽略物体中的至少一个提供指导的远程操作信号。
本公开总体上还针对用于协助操作无人驾驶车辆的远程操作系统。无人驾驶车辆可以包括车辆控制器,并且可以被配置为沿着道路网络根据从第一地理方位到与第一地理方位分离的目的地的路径经由车辆控制器自主地操作。远程操作系统可以包括被配置为从无人驾驶车辆接收通信信号的远程操作接收器。通信信号可以包括来自与无人驾驶车辆相关联的一个或多个传感器的传感器数据的至少一部分。传感器数据的至少一部分可以与无人驾驶车辆的操作有关。通信信号还可以包括指示与路径相关联的事件的发生的数据。指示事件发生的数据可以包括指示与路径相关联的置信水平小于阈值置信水平的数据。远程操作系统可以进一步包括远程操作界面,该远程操作界面被配置为便于查看传感器数据的至少一部分和指示事件发生的数据,并至少部分地基于传感器数据的至少一部分或指示事件发生的数据中的至少一个来确定提供无人驾驶车辆的指导级别。远程操作系统还可以包括被配置为向无人驾驶车辆发送远程操作信号的远程操作发射器。远程操作信号可以包括用于根据所确定的指导级别来操作无人驾驶车辆的指导。无人驾驶车辆可以被配置为至少部分地基于远程操作信号来经由车辆控制器来操纵以避开事件、绕行事件或通过事件中的至少一项。
本文描述的技术和系统可以以多种方式来实施。下面参考附图提供示例性实施方式。
图1是示例性车辆102行进通过的示例性环境100的示意图。示例性环境100包括道路网络104,该道路网络包括多个示例性道路106,该示例性道路106具有由中线或双黄线112隔开的两对108的车道110,其中,一对110的车道110中的每条车道110由车道分界线114和车道边界线116限定。示例性道路106还包括位于道路106的相对侧上的路肩118。图1还示出了与包括诸如房屋或建筑物的结构122的出发地点相关联的示例性地理方位120,以及还包括诸如房屋或建筑物的结构126的示例性目的地124。道路网络104提供了许多道路106,它们定义了地理方位120和目的地124之间的路径,并且图1示出了示例性道路106的一部分的放大图。道路网络104可以包括多个特征,例如弯道、带有十字路口的交叉路口,人行横道、交通标志、交通信号灯、铁路交叉路口、交通环岛、方向箭头等。
如图1所示,示例性车辆102可以根据从地理方位120到目的地124的路径经由道路网络104行进通过示例性环境100。出于说明的目的,车辆102可以是无人驾驶车辆,例如被配置为根据美国国家公路交通安全管理局发布的5级分类操作的自动驾驶车辆,其描述了一种能够在整个行程中执行所有安全关键功能的车辆,而驾驶员(或乘员)不希望在任何时候对该车辆进行控制。在那种情况下,由于车辆102可以被配置为控制从行程的开始到结束的所有功能,包括所有停车功能,因此它可以不包括驾驶员。这仅是示例,并且本文描述的系统和方法可以被结合到任何地面、空中或水上交通工具中,包括从需要在所有时候由驾驶员手动控制的交通工具到那些部分或完全自主控制的交通工具。
图1所示的示例性车辆102为如下一种汽车,其具有四个车轮128以及用于每个车轮128的相应轮胎。可以设想其它类型和构造的车辆,例如货车、运动型多用途车、跨界车、卡车,公共车、农用车辆和施工车辆。车辆102可以由一个或多个内燃机、一个或多个电动机、氢动力、其任何组合和/或任何其它合适的动力源提供动力。另外,尽管示例性车辆102具有四个车轮128,但是本文描述的系统和方法可以结合到具有更少或更多数量的车轮、轮胎和/或履带的车辆中。示例性车辆102具有四轮转向,并且可以在所有方向上大体以相同的性能特性进行操作,例如,使得车辆102的第一端130在沿第一方向132行进时是车辆102的前端,以及使得第一端130在相反的第二方向134上行进时成为车辆102的后端,如图1所示。类似地,车辆102的第二端136在沿第二方向134行进时是车辆102的前端,以及使得第二端136在沿相反的第一方向132行进时成为车辆102的后端。这种配置在本文中可以被称为“双向”。这些示例性双向特性可以促进更大的机动性,例如,在狭小空间或拥挤的环境中,例如停车场和市区。
在图1所示的示例中,车辆102可以使用各种传感器和车辆控制器来沿着路径经由道路网络104自主地操作通过环境100,如本文中更详细地解释的。例如,车辆控制器可以被配置为确定由车辆102可以在其中行进的虚拟边界140限定的行车通道138。例如,行车通道138可具有在车辆102的宽度方向上的可变通道宽度142和在车辆102的行进方向上延伸的可变通道长度144。在一些示例中,行车通道138的虚拟边界140可以至少部分地基于从与车辆102相关联的传感器接收的传感器数据和/或车辆102经由道路网络数据存储装置接收的道路网络数据来确定,如本文中更详细地解释的。尽管未在图1中示出,指示物体的这种传感器数据可以在这样的通道中被表示为凹入或移除的部分。在一些示例中,车辆102可以在行车通道138内沿着驾驶线路146行进。
在一些示例中,车辆102可以自主操作,直到车辆102沿着道路106遇到事件为止,该事件可以请求例如来自远离车辆102定位的远程操作系统148的协助。例如,车辆102可能遇到与路径的一部分相关联的施工区,并且在施工区附近的交通可能在建筑工人的指引下,该建筑工人提供针对交通以使施工区周围机动的指令。部分由于这类事件的不可预测性,车辆102可以向远程操作系统148请求远程协助。在一些示例中,车辆102可以是通过通信网络与远程操作系统148通信的车队的一部分,如在此更详细地解释的。
在一些示例中,例如如图1所示,远程操作系统140可以包括一个或多个远程操作者150,其可以是位于远程操作中心152的人类远程操作者。在一些示例中,远程操作者150中的一者或多者可以不是人类。例如,它们可以是利用人工智能、机器学习和/或其它决策策略的计算机系统。在所示的示例中,远程操作者150可以经由远程操作者界面154与车队中的一个或多个车辆102交互。远程操作者界面154可以包括一个或多个显示器156,其被配置为向远程操作者150提供与对车辆102、车队子集、和/或车队进行操作相关的数据。例如,显示器156可以被配置为示出与从车辆102接收的传感器信号有关的数据、与道路网络104有关的数据和/或有助于向车辆102提供协助的附加数据或信息。另外,远程操作者界面154还可包括远程操作者输入装置158,该远程操作者输入装置158被配置为允许远程操作者150例如以向车辆102提供指导的远程操作信号的形式向车辆102中的一个或多个提供信息。远程操作者输入装置158可以包括触敏屏幕、手写笔、鼠标、转盘、小键盘和/或手势输入系统中的一个或多个,所述手势输入系统被配置为将由远程操作者150执行的手势转换为用于远程操作者界面154的输入命令。如本文中更详细地解释的,远程操作系统148可以为一个或多个车辆102提供指导以避开、操纵绕过或经过所述事件。
图2是包括车辆系统202的示例性架构200的框图,该车辆系统用于对如下系统的操作进行控制,所述系统提供与车辆102的操作相关联的数据,并且控制车辆102的操作。
在各种实施方式中,可以使用包括一个处理器的单处理器系统或包括多个处理器(例如,两个、四个、八个或另一合适数量)的多处理器系统来实施架构200。处理器可以是能够执行指令的任何合适的处理器。例如,在各种实施方式中,处理器可以是实施各种指令集架构(ISA)(例如x86、PowerPC、SPARC或MIPS ISA)中任一种或任何其它合适ISA的通用或嵌入式处理器。在多处理器系统中,每个处理器可以共同地但非必需地实施同一ISA。在一些示例中,处理器可以包括中央处理单元(CPU)、图形处理单元(GPU)或其组合。
示例性架构200可以包括被配置为存储可执行指令/模块、数据和/或处理器可访问的数据项的非暂时性计算机可读介质。在各种实施方式中,可以使用任何合适的存储器技术(例如静态随机存取存储器(SRAM)、同步动态RAM(SDRAM)、非易失性/闪存类型的存储器或任何其它类型的存储器)来实施非暂时性计算机可读介质。在所示的实施方式中,实施所需功能(例如上述功能)的程序指令和数据被示出为存储在非暂时性计算机可读存储器内。在其它实施方式中,程序指令和/或数据可以在不同类型的计算机可访问介质(例如非暂时性介质)上或在与非暂时性计算机可读介质分开的类似介质上接收、发送或存储。一般而言,非暂时性计算机可读存储器可以包括储存介质或存储器介质,例如经由I/O接口耦接到架构200的闪存(例如,固态存储器)、磁或光介质(例如,磁盘)。经由非暂时性计算机可读介质存储的程序指令和数据可以通过传输介质或诸如电、电磁或数字信号之类的信号来传输,这些信号可以经由诸如网络和/或无线链路之类的通信介质来传送,例如可以通过网络接口来实施。
在一些实施方式中,I/O接口可以被配置为协调处理器、非暂时性计算机可读介质与任何外围装置、网络接口或其它外围接口(诸如输入/输出装置)之间的I/O通信量(traffic)。在一些实施方式中,I/O接口可以执行任何必要的协议、定时或其它数据转换,以将来自一个组件(例如,非暂时性计算机可读介质)的数据信号转换成适合于另一组件(例如,处理器)使用的格式。在一些实施方式中,I/O接口可以包括对通过各种类型的外围总线附接的装置的支持,该外围总线例如是外围组件互连(PCI)总线标准或通用串行总线(USB)标准的变体。在一些实施方式中,例如,可以将I/O接口的功能分成两个或更多个单独的组件,例如北桥和南桥。而且,在一些实施方式中,可以将I/O接口(诸如到非临时性计算机可读介质的接口)的一些或全部功能直接合并到处理器中。
在图2所示的示例性架构200中,示例性车辆系统202包括多个传感器204,例如,其被配置为感测车辆102通过环境100的运动,感测环境数据,例如环境温度、压力和湿度,和/或感测处于车辆102周围的环境100中的物体。在一些示例中,传感器204可以包括被配置为识别地图上的方位的传感器。传感器204可以包括例如一个或多个光检测和测距传感器(LIDAR)、一个或多个相机(例如,RGB相机、强度(灰度)相机、红外相机、深度相机、立体相机等)、一个或多个无线电检测和测距传感器(RADAR)、一个或多个声音导航和测距传感器(SONAR)、一个或多个用于感测环境100中声音(例如来自执法和紧急车辆的警报器)的麦克风、以及与车辆102的操作有关的其它传感器。其它传感器可以包括速度传感器、与内燃机和/或电动机的操作有关的传感器、与轮胎有关以检测轮胎温度、轮胎压力和胎面深度的传感器、和/或用于检测制动温度和/或磨损的与制动器相关的传感器,以及在具有再生制动的车辆中,用于检测与再生制动系统的操作有关的参数的传感器。传感器204还可以包括例如惯性测量单元(IMU)、加速计和陀螺仪。传感器204可以被配置为经由例如输入/输出(I/O)接口208向车辆系统202提供代表感测到的物体和信号的传感器数据206。可以设想其它类型的传感器和传感器数据。
示例性车辆系统202还包括方位系统210,其被配置为从传感器204和/或外部源接收方位信息,包括位置和方向数据(例如,本地位置或本地姿态),并经由I/O接口208向车辆系统202的其它部分提供方位数据212。外部源可以包括全球卫星,用于促进全球定位系统(GPS)和/或无线网络的操作,该无线网络用于通信和接收与车辆方位有关的信息,例如地图数据。方位系统210还可包括被配置为协助车辆102导航的传感器,诸如用于感测车轮128的旋转的车轮编码器,诸如陀螺仪和/或加速度计、磁力计的惯性导航传感器,和/或用于获取针对视觉测距或视觉惯性导航的图像数据的相机。
示例性车辆系统202还包括计划器214、物体数据计算器216、物体分类器218、碰撞预测器系统220、运动学计算器222和安全系统致动器224中的一个或多个。车辆系统202可以配置为访问一个或多个数据存储装置,所述数据存储装置包括但不限于物体类型数据存储装置226。物体类型数据存储装置226可以包括表示与在环境100中检测到的物体的物体分类相关联的物体类型的数据。
图2所示的示例性车辆系统202还包括车辆控制器228,其被配置为接收车辆控制数据230,并且基于车辆控制数据230与驱动系统232(例如,转向系统、推进系统、悬架系统和/或制动系统)通信以控制车辆102的操作。例如,车辆控制数据230可以从从传感器204中的一个或多个以及从计划器214、物体数据计算器216、物体分类器218、碰撞预测器系统220、运动学计算器222和安全系统致动器224中的一个或多个接收的数据得出,并且控制驱动系统232的操作,从而执行车辆102的操作和操纵。
在一些示例中,计划器214可以被配置为例如使用表示车辆102在环境100中的方位的数据和可被包含在方位数据212中的其它数据(诸如本地姿态数据)来生成表示车辆102的轨迹的数据。在一些示例中,计划器214还可以被配置为确定预测要由车辆102执行的投影轨迹。在一些示例中,可以将计划器214配置为计算与物体在环境100中的预测运动相关联的数据,并且可以确定与物体的预测运动相关联的预测物体路径。在一些示例中,物体路径可以包括预测的物体路径。在一些示例中,物体路径可以包括预测的物体轨迹。在一些示例中,计划器214可以被配置为预测多于单个预测的物体轨迹。例如,计划器214可以被配置为基于例如与物体相关联的预测位置、轨迹和/或速度的概率确定或多峰分布来预测多个物体轨迹。
在一些示例中,物体数据计算器216可以被配置为提供表示例如在围绕车辆102的环境100中物体的姿势(例如,位置和定向)、与物体关联的物体轨迹(例如,一段时间(例如5秒)内物体的历史位置,速度、加速度和/或前进方向)、以及与物体关联的物体分类(例如,行人、车辆、骑车者等)中的一个或多个的数据。例如,物体数据计算器216可以被配置为接收从一个或多个传感器204接收的传感器信号形式的数据,并确定表示物体的环境100中的位置和/或定向、物体轨迹和物体分类中的一个或多个的数据。
在一些示例中,物体分类器218可以被配置为访问来自物体类型数据存储装置226的数据,该物体类型数据存储装置226可以被配置为存储表示物体类型的数据,诸如例如物体分类的种类、物体分类的子类和/或物体分类的子集。在一些示例中,物体分类器218可以被配置为分析表示物体轨迹的数据和表示物体分类的数据以及表示物体类型的数据,并且至少部分地基于物体轨迹和分类数据来确定物体类型。例如,具有“汽车”的物体分类的检测到的物体可以具有“轿车”、“轿跑车”,“掀背车”、“运动型多用途车”、“皮卡车”或“小型货车”的物体类型。物体类型可以包括附加的子类、名称或子集。例如,停放的“轿车”如果移动的话可能具有“静态”或“动态”的附加子类名称。在一些示例中,这样的物体分类器还可基于传感器数据或物体类型的一部分中的一个或多个来确定预测的物体行为。
在一些示例中,碰撞预测器系统220可以被配置为使用表示物体类型、预测的物体行为的数据、表示物体的轨迹的数据和/或表示车辆102的轨迹的数据以预测车辆102与物体之间的碰撞。
在一些示例中,运动学计算器222可以被配置为确定表示与环境100中的物体的运动相关联的一个或多个标量和/或矢量的数据,包括但不限于速率、速度、加速度、动量、本地姿势和/或力。来自运动学计算器222的数据可用于计算其它数据,包括但不限于表示物体与车辆102之间的撞击的估计时间的数据以及表示物体与车辆102之间的距离的数据。在一些示例中,计划器214可以使用运动学计算器222产生的数据来估计预测的物体数据。例如,计划器214可以使用与物体相关联的当前标量和/或矢量来确定环境100中的其它物体(例如,汽车、摩托车、行人、骑手、和动物)与在未警报或未受控制状态下相比在警报或受控状态下移动的可能性。例如,运动学计算器222可以被配置为估计其它物体正在运动的可能性,好像它们以可预测的方式被控制和/或表现出来,或者它们是否未被控制和/或以不可预测的方式表现,例如,通过观察物体随时间推移以及相对于环境100中其它物体的运动。例如,如果物体不规则地运动或没有表现出适应环境100中其它物体的存在或运动,这可以表示物体不受控制或以不可预测的方式移动。这可以基于随时间接收的传感器数据来推断,该传感器数据可以用于估计或预测物体相对于车辆102的当前或未来轨迹的未来方位。
在一些示例中,安全系统致动器224可以被配置成当碰撞预测器220预测到碰撞和/或其它安全相关事件(诸如,例如车辆102的紧急操纵,诸如硬制动或急加速)的发生时激活自动驾驶车辆102的一个或多个安全系统。安全系统致动器224可以被配置为激活内部安全系统(例如,包括安全带预紧器和/或安全气囊)、外部安全系统(例如,包括警告声和/或警告灯)、被配置为执行紧急操纵以避免碰撞的驱动系统、和/或其任何组合。例如,驱动系统232可以接收如下数据,所述数据用于使车辆102的转向系统改变车辆102的行进方向、并且使车辆102的推进系统改变车辆102的速度以将车辆102的轨迹从初始轨迹改变至避免碰撞的轨迹。
车辆系统202可以根据以下示例进行操作。表示环境100中的车辆102的轨迹的数据可被车辆控制器228接收。可以计算与车辆102周围的环境100中的物体相关联的物体数据。来自其中一个或多个传感器204的传感器数据206可以用于计算物体数据。物体数据可以包括表示物体在环境100中的方位的数据,与物体相关联的物体轨道(例如物体是静止还是运动的)以及与物体相关联的物体分类,例如该物体是否为另一辆车、行人、骑手、动物或静止物体。在一些示例中,基于物体数据的物体数据计算器216可以用于确定表示环境100中物体方位的数据、表示物体是否在移动的数据以及表示与物体相关联的分类的数据。
在一些示例中,计划器214可以使用物体数据例如基于表示物体方位的数据来确定环境中物体的预测路径,并且可以处理该数据以生成表示预测物体路径的数据。可以基于表示物体是否正在移动的数据、表示物体的分类的数据和/或表示物体的类型的数据来确定表示物体的类型的数据。没有运动的行人、运动的车辆和交通标志、车道标志或消防栓(都不运动)是具有相关联运动数据的物体类型的示例。
在一些示例中,碰撞预测器系统220可以用于基于物体类型、物体是否在移动、车辆102的轨迹、由计划器214获得的物体的预测路径来预测车辆102与环境100中的物体之间的碰撞。例如,可以部分基于物体类型来预测碰撞,这是由于物体移动,物体的轨迹与车辆102的轨迹潜在冲突,以及该物体的物体分类表明该物体可能是碰撞威胁。在一些示例中,这样的碰撞预测还可以基于预测的物体行为。在一些示例中,物体的每个分类或子分类可以具有对应的关联行为。作为非限制性示例,自行车的预测行为将以具有最大速度的相对直线行进。
在一些示例中,安全系统致动器224可以被配置为当预测到碰撞时致动车辆102的安全系统的一个或多个部分。例如,安全系统致动器224可以经由车辆控制器228激活一个或多个内部安全系统、一个或多个外部安全系统以及驱动系统232的一个或多个组件(例如,转向系统、推进系统、和/或制动系统)。在一些示例中,车辆控制器228可确定内部安全系统将基于环境100中物体的一些行为而被激活,并且车辆控制数据230可包括被配置为使车辆控制器228激活内部安全系统、外部安全系统和驱动系统232的一项或多项功能的信息。
如图2所示,示例性车辆系统202还包括网络接口234,其被配置为在车辆102和远程操作系统148之间提供通信链路。例如,网络接口234可以被配置为允许在车辆102、耦接到网络的其它装置(诸如其它计算机系统)、车队中的其它车辆102、和/或与远程操作系统148之间交换数据。例如,网络接口234可以使众多车辆和/或远程操作系统之间实现无线通信。在各种实施方式中,网络接口234可以支持经由无线通用数据网络(例如,Wi-Fi网络)的通信。例如,网络接口234可以支持经由诸如例如蜂窝通信网络、卫星网络等的电信网络的通信。
在各种实施方式中,本文所示的参数值和其它数据可以被包括在一个或多个数据存储装置中,并且可以与未描述的其它信息组合,或者可以被不同地划分为更多、更少或不同的数据结构。在一些实施方式中,数据存储装置可以物理地位于一个存储器中或者可以分布在两个或更多个存储器之间。
本领域技术人员将理解,示例性架构200仅仅是说明性的,而并不旨在限制本公开的范围。特别地,计算系统和装置可以包括能执行所指示的功能的硬件或软件的任何组合,包括计算机、网络装置、互联网设施、平板计算机、PDA、无线电话、寻呼机等。架构200也可以是连接到未图示的其它装置,或者替代地可以作为独立系统操作。另外,在一些实施方式中,由所图示的组件提供的功能可以在更少的组件中组合或分布在附加的组件中。类似地,在一些实施方式中,可能不提供一些所示组件的功能和/或其它附加功能可能是可用的。
本领域的技术人员还将理解,尽管示出了各种项目在使用时被储存在存储器或储存装置中,但是出于存储器管理和数据完整性的目的,可以在存储器和其它储存装置之间传送这些项目或它们的一部分。替代地,在其它实施方式中,一些或全部软件组件可以在另一装置上的存储器中执行并与所示的架构200通信。一些或全部系统组件或数据结构也可以被储存(例如,作为指令或结构化数据)在非暂时性计算机可访问介质或便携式物品上,以通过合适的驱动器读取,上文描述了各种示例。在一些实施方式中,可以将储存在与架构200分离的计算机可访问介质上的指令经由传输介质或经由诸如无线链路之类的通信介质传送的诸如电、电磁或数字信号之类的信号传输至架构200。各种实施方式可以进一步包括在计算机可访问介质上接收、发送或储存根据前述描述实施的指令和/或数据。相应地,本文描述的技术可以与其它控制系统配置一起实践。下面讨论关于车辆102的模块的操作的附加信息。
图3示出了示例性架构300,其包括车队302和示例性远程操作系统148。示例性车队302包括多个车辆102,至少一些车辆102例如经由车辆102的相应网络接口234、以及远程操作接收器304和与远程操作系统148相关联的远程操作发射器306通信地耦接至远程操作系统148。例如,车辆102可以经由网络接口234发送通信信号,该通信信号由远程操作接收器304接收。在一些示例中,通信信号可以包括例如来自与车辆102相关联的一个或多个传感器产生的传感器信号的传感器数据,和/或来自道路网络数据存储装置的道路网络数据。在一些示例中,传感器数据可以包括原始传感器数据或处理后的传感器数据,并且道路网络数据可以包括与同车辆102的操作相关联的区域的全局或本地地图有关的数据。在一些示例中,通信信号可以包括与车辆102及其系统的当前状态相关联的数据,诸如例如车辆的当前位置、当前速度、当前路径和/或轨迹、当前占用率,其一个或多个电池的充电水平、和/或其传感器和驱动系统的操作状态。在一些示例中,来自车辆102的通信信号可以包括对来自远程操作系统148的信息的请求。这样的信息可以例如包括以例如关于物体、道路网络104、道路106、全局地图、本地地图的信息的形式来协助车辆148的操作、关于车辆操作和操纵的协作和/或车辆102提出的信息和/或行为的确认。
如图3所示,远程操作接收器304可以通信地耦接到远程操作界面154,并且在一些示例中,远程操作者150可以能够访问传感器数据、道路网络数据和/或经由远程操作界面154从车辆102接收到的通信信号中的任何其它数据。在一些示例中,远程操作者150可以能够经由输入装置158选择性访问传感器数据、道路网络数据和/或其它数据,并经由显示器156(参见图1和图4)中的一个或多个观察所选择的数据。在一些示例中,显示器156可以显示简单的图形表示、动画、边界框、指示物体的方位和/或速度的箭头、表示物体的图标、传感器数据的颜色和/或数据的其它表示,这些可以简化由远程操作者150的解释。
在所示的示例中,远程操作系统148还包括远程操作网络308,该远程操作网络308配置为在两个或多个远程操作界面154与相应的远程操作者150之间提供通信,和/或与远程操作数据310进行通信。例如,远程操作系统148可以包括多个远程操作界面154和相应的远程操作者150,并且远程操作者150可以经由远程操作网络308彼此通信,以促进和/或协调提供给车队302的车辆102的引导。在一些示例中,可能会有远程操作者150分配给每个车辆102,并且在一些示例中,可能会将远程操作者150分配给车队302中的多于单个车辆102。在一些示例中,可能会有一个以上的远程操作者150分配给单个车辆102。在一些示例中,远程操作者150可能没有分配给车队302的特定车辆102,而是可替代基于与车辆遭遇事件相关的紧急程度而向已遇到特定类型事件的车辆102和/或向车辆102提供指导。在一些示例中,与远程操作者150提供的事件和/或指导相关联的数据可以由远程操作系统148储存,例如,储存在用于远程操作数据310的储存装置中,和/或由其它远程操作者150访问。
在一些示例中,远程操作数据310可以例如经由远程操作界面154由远程操作者150访问,以用于向车辆102提供指导。例如,远程操作数据310可以包括与道路网络104相关的全局和/或本地地图数据、与道路网络104相关联的事件和/或与道路网络104相关联的行进条件,例如由于交通量、天气状况、施工区和/或特殊事件。在一些示例中,远程操作数据310可以包括与车队302中的一辆或多辆车辆102相关联的数据,诸如,例如维护和服务信息、和/或操作历史,例如包括与车辆102相关联的事件历史、路径历史、占用历史以及与车辆102相关联的其它类型的数据。
图4示出了示例性远程操作界面154。所示示例包括三个显示器156A、156B和156C,所述显示器被配置为向远程操作者150提供与车队302的一个或多个车辆102的操作有关的数据。例如,显示器156A、156B和156C可被配置为示出与从车辆102接收的通信信号有关的数据、与道路网络104有关的数据和/或有助于向车辆102提供协助的附加数据或信息。在一些示例中,不同的显示器156可以被配置为示出与一个或多个车辆102有关的不同信息。在一些示例中,这样的内容可以被呈现为动画或图形表示、传感器数据的着色、传感器数据的抽象概念(例如边界框)等等,因此就有关事件而言信息会容易明显。
例如,显示器156A可以被配置为示出车辆102中的一个或多个在其中行进的地理区域的俯视地图视图400。在一些示例中,地图视图400可以补充有与车辆102和/或地图视图400中所示的地理区域中的操作状况有关的信息。在一些示例中,地图视图400可以采用分屏视图形式,例如,显示器156A的一部分显示了俯视地图视图,而显示器156A的另一部分显示了例如与远程操作者界面154相关联的远程操作者150监视的车队302子集的状态相关数据。可以设想其它类型的视图。
在一些示例中,显示器156B可以被配置为示出状况视图402,该状况视图402描绘了例如从车辆102远景的视角来看的视图。诸如该视图可以为远程操作者150提供车辆102正在经历的状况或事件相对更直观的视图。在一些示例中,状况视图402可以采取现场(实时)视频馈送和实时传感器视图中的一个或多个的形式,以提供通过车辆102的传感器感测到的物体和周围环境的描绘。在一些示例中,传感器视图可以向远程操作者150提供与传感器是否正在检测周围环境中的所有相关物体有关的信息。在一些示例中,状况视图402可以采取分屏视图的形式,其中显示器156B的一部分示出了实时视频馈送,而显示器156B的另一部分示出了实时传感器视图。可以考虑其它类型的视图和/或表示(例如,诸如本文所述的那些)。
显示器156C可以被配置为显示车队视图404,该车队视图404描绘例如俯视地图视图,该俯视地图视图示出了车队302的一个或多个车辆102的方位以及与车队302的状态和/或所示地理区域有关的其它信息,诸如,例如交通相关信息和/或事件相关信息。在一些示例中,车队视图404可以示出车队302中的一个或多个车辆102的起点、目的地和/或路径。在一些示例中,车队视图404可以采取分屏视图的形式,例如,显示器156C的一部分显示俯视地图视图,而显示器156C的另一部分显示例如由与远程操作者界面154相关联的远程操作者所监视的车队302的子集的状态相关数据。
尽管以建议显示器可以是三个单独的显示器156的方式描述了显示器156A、156B和156C,但是它们可以集成到单个显示器156中,或者可以包括更少或更多的显示器156。在一些示例中,显示器156可被重新配置以显示不同的信息、不同格式的信息、不同布置的信息和/或不同细节级别的信息。例如,所显示的信息和/或所显示的信息的布置可以由与远程操作者界面154相关联的远程操作者150定制。在一些示例中,远程操作系统148可以被配置为根据默认设置自动示出所显示的信息,所述默认设置基于例如与最迫切需要来自远程操作者150指导的车辆102相关联的状况和/或状态,以最直观的布置和/或细节水平提供例如最有用的信息。
另外,图4中所示的示例性远程操作者界面154还包括远程操作者输入装置158,该远程操作者输入装置158被配置为允许远程操作者150以例如向车辆102提供指导的远程操作信号的形式向一辆或多辆车辆102提供信息。远程操作者输入装置158可以包括一个触敏屏幕、手写笔、鼠标、转盘、小键盘和/或手势输入系统中的一个或多个,其配置为将远程操作者150执行的手势转换为用于远程操作者界面154的输入命令。输入装置158可以包括分屏,该分屏提供远程操作者150可以用来向车辆102提供不同类型的信息的不同的触敏区域。例如,分屏的不同区域可以向远程操作者150提供有不同类型的信息,并且可以促进远程操作者的如下能力,即向车辆102提供指令、与车辆102协作和/或确认信息和/或由车辆102执行的提议行为。例如,输入装置158的一部分可以提供车队302的不同车辆102的菜单,以便于远程操作者选择为其提供指导的车辆102。输入装置158的其它部分可以包括交互式显示器和/或用于向所选择的车辆102提供指导的选项,如本文中更详细地解释的。
图5A是说明性用户界面(UI)500A,其促进在示例性静态物体在道路上的第一示例性事件场景中远程操作者150与示例性车辆102之间的交互。可以经由显示器156A、156B和156C中的一个或多个来显示示例性UI 500A。图5中所示的示例性UI 500A包括车辆选择区502,所述车辆选择区提供了多个选择器504,用于选择车队302中的多个车辆102之一,围绕该多个车辆102显示与其操作有关的信息。在所示的示例中,车辆选择区502包括选择器504A、504B、504C、504D和504E,用于选择分别指定为AV 001、AV 002、AV 003、AV 004或AV005的车辆之一。如图5A所示,如由与AV 001相对应的选择器504A的阴影所指示的,显示的信息与AV 001有关。
在诸如所示的一些示例中,选择器504均包括状态快照506A、506B、506C、506D和506E,其提供与相应车辆102的状态有关的信息。例如,状态快照506A和506B指示AV 001和AV 002是“途中”,表示它们当前位于相应行程的起点和目的地之间。状态快照506C和506D指示AV 003和AV 004正在“漫游”,指示它们在没有定义目的地的情况下正在道路网络104上行进。示例性状态快照506E指示AV005当前正在“绘图”,指示AV 005当前正在收集与本地地图数据和/或全局地图数据有关的数据。在一些示例中,状态快照506还可包括充电指示器508、占用指示器510和车辆速度指示器512。充电指示器508可示出车辆102的一个或多个电池中剩余的电量水平。示例性占用指示器510可以示出车辆102具有四个座位,描绘为正方形,其中一个座位被占用,如阴影正方形所示。状态快照506的一些示例还可以包括行程状态栏514,该行程状态栏514提供对已经完成的车辆102的计划行程的量的指示。图5A中所示的图标的形式为示例性的,并且可以设想具有其它形式的图标。状态快照506中示出的信息是示例性的,并且可以示出附加或其它信息。
图5A中所示的示例性UI 500A还包括查看器选择器栏516,其包括视图选择器图标518A、518B、518C和518D,所述视图选择器图标允许远程操作者选择UI 500A中示出的视图类型。在所示的示例中,如果选择了视图选择器图标518A,则其可以为远程操作者150提供界面,以针对UI 500A所示的信息设置偏好(例如,默认偏好)。在图5A中选择的如由围绕视图选择器图标518B的阴影框520所指示的视图选择器图标518B向远程操作者150提供了所选择的车辆102的视图,例如,如图5A所示。如果选择了视图选择器图标518C,则可以向远程操作者150提供地图的视图,该地图示出了与车队302中的一个或多个车辆102的操作相关的区域中的道路网络104。如果选择了视图选择器图标518D,则可以促进配置由UI 500A所示的信息和/或信息的布置。尽管在图6A至图9C中示出了所选择的车辆102的三维表示,但是在一些示例中,传感器数据、操作状态数据和/或远程操作数据的任何排列都可以在UI中呈现,无论是默认、设置和/或远程操作者输入(例如,经由选择视图选择器图标)。
例如,如图5A中所示,已经选择了视图选择器图标518B,并且UI 500A包括激活观察区522,其提供经由选择器504A选择的车辆102的实时模拟(或动画)立体图。在所示的示例中,激活观察区522显示了动画,所述动画描绘了车辆102遇到道路106中的物体524。远程操作者150可以使用激活观察区522以监视在远程操作者150经由远程操作者界面154与车辆102交互之前、期间和/或之后所选择车辆102(即在该示例中为AV 001)的操作以及远程操作者与所选择车辆102的交互。例如,车辆102可以向远程操作系统148发送通信信号,包括来自与车辆102相关联的一个或多个传感器的传感器信号和/或请求来自远程操作系统148的指导和/或信息。至少部分地基于所述通信信号,激活观察区522提供车辆102和相关环境的实时立体图。在一些示例中,激活观察区522可以显示传感器数据、操作状态数据和/或远程操作数据的任何排列。在一些示例中,如本文所讨论的,所显示的排列可以被确定为默认、设置和/或远程操作者输入。
图5A中所示的示例性UI 500A还包括俯视观察区526,其提供与激活观察区522中所示的视图相对应的动画俯视图。这为远程操作者150提供了替代视图,该替代视图可以在俯视图可以促进远程操作者与车辆102交互的状况中协助远程操作者150。
图5A中所示的示例性UI 500A还包括视频观察区528。在一些示例中,视频观察区528可以提供来自与车辆102相关联的视频相机的实时视频视图。在一些示例中,本文讨论的为“实时”的任何数据可以附加地或替代地包括实时数据和/或历史数据。这可以帮助远程操作者150快速理解车辆102遇到的状况。示例性视频观察区528还包括视图选择器530,其促进远程操作者选择与车辆102相关联的视频相机之一。例如,车辆102可以包括从车辆102的前部、侧面和后部中的一个或多个角度提供视图的相机,并且视图选择器530可允许选择其中一个相机来提供实时视频。在所示示例中,已经选择了与前置相机相对应的选择器控件532,并且视频观察区528显示了来自车辆102的前置视频相机的视图。
图5A中所示的示例性UI 500A还包括交互栏534,其可以提供远程操作者150如何与车辆102交互的指示。例如,交互栏534可以包括用于指示远程操作者150是否与车辆102交互的图标,这可以通过使“接合”图标高亮进行描绘。如果远程操作者150通过识别车辆102应避开的区域来与车辆102通信,则可以高亮“避开区域”图标。如果远程操作者150通过改变行车通道138与车辆102通信,则“行车通道”图标可以被高亮。可以预期其它附加或替代图标和/或相关信息。
图5A中所示的示例性UI 500A还包括警报栏536,警报栏536被配置为提供车辆102的置信水平(例如,如由车辆系统202确定的)和/或车辆102遇到的事件的指示。例如,如图5A中所示,警报栏536指示车辆102具有35%的置信水平,如显示“系统置信35%”的警报栏536所表示的,并且车辆102已经遇到静态物体524,并且车辆102具有物体524在行车通道138中并且它是静态物体的100%的置信水平。可以构想其它形式和类型的警报。在一些示例中,低于阈值置信水平(例如,90%、85%或75%)的车辆置信水平可以导致车辆102通过向远程操作系统148发送通信信号来向远程操作系统148通知车辆102的状态。远程操作系统148.可以考虑其它阈值置信水平。在一些示例中,例如,如图所示,激活观察区522、俯视观察区526或视频观察区528中的一个或多个可包括警报图标538,该警报图标538可包括感叹号。
在一些示例中,UI 500A可以包括颜色编码的信息。例如,警报可以用红色描绘,行车通道138可以用绿色描绘,而物体可以用粉色或红色描绘。可以考虑其它颜色编码的组合。
图5A示出了在第一示例性事件场景中的示例性车辆102,其中示例性静态物体524在道路106中。在一些示例中,当车辆102接近物体524时,与车辆102相关联的传感器204(图2)可检测物体524。一旦被检测到,计划器214、物体数据计算器216、物体分类器218、碰撞预测器系统220和运动学计算器222(图2)中的一个或多个可以用于确定物体524的方位、对物体524进行分类、确定物体524是静态还是动态,并且如果物体是动态的,则预测物体524的可能轨迹。当车辆102接近物体524时,这些系统中的一个或多个可用于计算与车辆102在无需远程操作系统148协助的情况下将能够成功操纵经过物体524的概率相关联的置信水平。当所述置信水平下降到阈值最小置信水平以下时,则车辆102可以减慢其速度或停止,并使用其网络接口234(图2)向远程操作系统148发送通信信号,该通信信号提供传感器数据和请求来自远程操作系统148的指导。在一些示例中,该请求可以由远程操作系统148至少部分地基于例如与车辆102相关联的传感器数据和/或其它信息(例如其速度、置信水平和/或其它操纵的变化,所述操纵可能指示需要来自远程操作系统148的指导)而被推断和/或确定。在一些示例中,可以至少部分地基于车辆102的方位和/或对该方位处发生的事件的了解来推断和/或确定该请求。远程操作系统148的远程操作接收器304(图3)可以接收通信信号,该状况可以由远程操作者150经由远程操作界面154来评估(有或没有经由远程操作网络308访问远程操作数据310),并且例如,如本文所述,远程操作者150可以经由提供指导的远程操作发射器306向车辆102发送远程操作信号。
在图5A所示的示例中,车辆102接近物体524,例如,在其侧面上的垃圾桶,直到行车通道138与物体524重叠,在该点处置信水平下降到阈值置信水平以下。车辆102将包括指导请求的通信信号发送到远程操作系统148,例如,如本文所述。在所示示例中,警报图标538显示在UI 500A的激活观察区522和俯视观察区中,以将远程操作者的注意力吸引到物体524。远程操作者150可以使用远程操作者界面154来提供所请求的指导。
图5B是示例性UI 500B,其被配置为促进在图5A所示的示例性事件场景中远程操作者150与示例性车辆102之间的交互。在所示的示例中,远程操作者150已选择视图选择器图标518B,因此UI 500B显示与车辆102有关的信息。例如,激活观察区522示出了车辆102在其接近物体524时的动画立体图。俯视观察区526示出了车辆102在其接近物体524时的动画俯视图,而视频观察区528示出了在车辆102前方的物体524的实时视频相机视图。在一些示例中,远程操作者150可以通过选择视图选择器530的按钮532中的不同按钮来选择来自另一不同相机的实时视频馈送。
图5B所示的UI 500B示出示例性远程操作者150与车辆102的交互。示例性交互栏534指示远程操作者150与车辆102接合,如阴影的“接合”图标所示,以及指示远程操作者150正在改变行车通道138的边界140,通过“行车通道”图标被阴影化而描绘。例如,远程操作者150已经跨越车道分界线114将行车通道138的边界140扩展到第二车道110。在一些示例中,远程操作者150可以使用远程操作输入装置158(图4)来实现这一点,所述远程操作输入装置可涉及使用触敏屏幕、手写笔、鼠标、转盘、小键盘和/或手势输入系统中的一种或多种。基于远程操作者150的输入,远程操作系统148可以经由远程操作发射器306(图3)将远程操作信号发送到车辆102。在所示的示例中,车辆102可以以与远程操作信号一致的方式扩展其行车通道138的边界140,例如,如图5B所示。在行车通道138的扩展时,车辆102可以例如至少部分地基于行车通道138的改变后的边界140而经由车辆系统202(图2)生成多个修正的轨迹(例如,在技术能力内同时或基本同时)。在所示示例中,警报栏536显示高于阈值置信水平的修正后的置信水平(“系统置信95%”)。在一些示例中,车辆102可以针对修正轨迹中的每一条轨迹计算置信水平,并且车辆102可以从多个修正轨迹中选择具有最高置信水平的修正轨迹。至少部分地基于所选择的修正轨迹,车辆102可以确定修正的驾驶线路146,用于操纵绕过物体524。此后,车辆控制器228(图2)可配置为根据修正后的驾驶线路146(例如,如图5B中所示)操作车辆102,并操纵绕过物体524。
在一些示例中,来自车辆102的通信信号可以包括用于操纵绕过物体524的提议的驾驶线路146,并且远程操作系统148可以评估提议的驾驶线路146并确定提议的修正的驾驶线路146是可接受还是不可接受。如果可接受,则远程操作系统148可以发送包括表示对车辆102提议的修正后的驾驶线路146的批准的指示的远程操作信号。如果不可接受,则远程操作系统148可以确定替代的提议驾驶线路,并向车辆发送远程操作信号,所述远程操作信号包括拒绝由车辆102提出的修正的驾驶线路146以及替代的提议驾驶线路,以用于由车辆102评估和可能执行。
在一些示例中,远程操作界面154可以配置为允许远程操作者150向远程操作系统148和/或车队302的其它车辆102通知道路106中的物体524。例如,远程操作界面154可以促进识别与物体524相关联的方位和信息(例如,其分类和/或它是静态还是动态的),以供远程操作系统148和/或车队302的其它车辆102使用。该信息可以导致车辆102避开与物体524相关联的区域,或者可以为遇到物体524的车辆102和/或在车辆遇到物体524时协助车辆102的远程操作者提供指导。在一些示例中,随着时间从最初遇到物体524开始流逝,远程操作系统148可以降低与物体524有关信息相关联的置信水平,例如,直到另一车辆102确认物体524留在道路106中或物体524不再在道路106中。
图6A是示例性UI 600A,用于示出第二示例性事件场景中的示例性车辆102,其中示例性动态物体602在道路106中。在所示示例中,动态物体602是狗。当车辆102接近动态物体602时,与车辆102相关联的传感器204可以检测物体602,并且一旦检测到,车辆102可以确定动态物体602的方位、对动态物体602进行分类和/或预测动态物体602的可能轨迹。随着车辆102接近动态物体602,车辆102可以计算与车辆102例如在没有来自远程操作系统148帮助的情况下将能够成功操纵经过动态物体602的概率相关联的置信水平。当置信水平下降到阈值最小置信水平以下时,车辆102可减慢其速度或停止,并使用其网络接口234将通信信号发送到远程操作系统148,以提供传感器数据以及请求来自远程操作系统148的指导。在一些示例中,该请求可例如如上所述由远程操作系统148推断和/或确定。远程操作系统148可以接收通信信号,该状况可以由远程操作者150经由远程操作界面154来评估,并且远程操作者150可以经由提供指导的远程操作发射器306向车辆102发送远程操作信号,例如,如本文所描述。
在一些示例中,警报栏536可以示出已经检测到动态物体602,以及例如如图6A所示与该检测相关联的置信水平。UI 600A还可通过在场景的一个或多个视图中包括一个或多个箭头604来提供动态物体602是动态的指示。在一些示例中,箭头604可以提供动态物体602的预测轨迹的指示,所述预测轨迹例如基于动态物体的类型和/或分类和/或其先前和/或当前轨迹。
图6B是示例性UI 600B,其被配置为促进在图6A所示的示例性事件场景中远程操作者150与示例性车辆102之间的交互。在所示的示例中,示例性交互栏534指示远程操作者150与车辆102接合,由阴影的“接合”图标所描绘,并且指示远程操作者150正在改变行车通道138的边界140,通过“驾驶通道”图标被阴影化所描绘。例如,远程操作者150已经跨越车道分界线114将行车通道138的边界140扩展到第二车道110。在一些示例中,远程操作者150可以使用远程操作输入装置158来实现这一点。基于远程操作者150的输入,远程操作系统148可以经由远程操作发射器306向车辆102发送远程操作信号。在所示的示例中,车辆102可以以与远程操作信号一致的方式扩展其行车通道138的边界140,例如,如图6B所示。在行车通道138扩展时,车辆102可以至少部分地基于行车通道138的改变后的边界140来生成多个修正的轨迹。车辆102可以针对修正轨迹中的每一条轨迹计算置信水平,并且车辆102可以从多个修正轨迹中选择具有最高置信水平的修正轨迹。至少部分地基于所选择的修正轨迹,车辆102可以确定用于操纵绕过动态物体602的修正驾驶线路146。此后,车辆控制器228可以被配置为根据例如如图6B所示修正的驾驶线路146来操作车辆102,并操纵绕过动态物体602。
然而,在一些示例中,远程操作者150可以确定不同的行为过程。例如,图6A和图6B中所示的动态物体602是无人看管的动物(例如,没有栓皮带并且不受人控制的运动的狗)。无人看管的动物的未来运动可能是特别不可预测的,并且因此,例如如图6B所示扩展了行车通道138的边界140可能不可接受。例如,扩展行车通道138的边界140可能不会导致置信水平增加到阈值置信水平以上。因此,在一些这样的示例中,远程操作者150可以发送远程操作信号,该远程操作信号为车辆102提供指导,以激励动物将自身从道路106上移走。例如,该指导可以采取针对车辆控制器228的提议的形式,使车辆102缓慢向前移动例如预定距离并停止。这种运动可以激励动物离开道路106。可替代地,或另外,该指导可以包括提议车辆102发出声音警报和/或激活照明以提供视觉警报。一些车辆102可以包括扬声器(或其它形式的噪声发生器)和照明装置,并且车辆102可以激活扬声器和/或照明装置,这可以激励动物离开道路106,之后,取决于动物是否已经离开道路106,车辆102可以返回至其原始驾驶线路146或类似轨迹。
图7A是示出第三事件场景的示例性UI 700A,其中车辆102已经遇到示例性施工区702,该示例性施工区702包括道路106中的示例性静态物体704和示例性动态物体706二者。在所示示例中,静态物体704是交通锥筒,并且动态物体706是人。当车辆102接近施工区702时,与车辆102相关联的传感器204可以检测静态物体704和/或动态物体706,并且一旦被检测到,车辆102可以确定静态物体704和动态物体706的方位、对其进行分类和/或预测动态物体706的可能轨迹。当车辆102接近施工区702时,车辆102可以计算与车辆102例如在没有远程操作系统148帮助的情况下将能够成功地操纵通过施工区的概率相关联的置信水平。随着置信水平下降到阈值最小置信水平以下,车辆102可减慢其速度或停止,并使用其网络接口234发送通信信号到远程操作系统148,以提供传感器数据和请求来自远程操作系统148的指导。在一些示例中,该请求可以通过远程操作系统148推断和/或确定。远程操作系统148可以接收通信信号,该情况可以由远程操作者150经由远程操作界面154进行评估,并且远程操作者150可以经由提供指导的远程操作发射器306向车辆102发送远程操作信号。
在图7A中所示的示例中,UI 700A的警报栏536为远程操作者150指示车辆102已经到达施工区,并且指示存在与该施工区相关联的至少一个静态物体和至少一个动态物体,并且此外,指示与那些标识中的每个标识相关联的置信水平为100%。警报栏536还通过显示“系统置信35%”来指示车辆102的置信水平为35%。在所示的示例中,一个或多个箭头708可以提供动态物体706的预测轨迹的指示,所述预测轨迹例如基于动态物体的类型和/或分类和/或其先前和/或当前轨迹。
图7B是示例性UI 700B,其被配置为促进远程操作者150与示例性车辆102之间的交互,以便克服图7中所示的示例性施工区702。在所示的示例中,第二车辆710在第二车道110中接近车辆102,因此使得危险有可能越过分界线114以操纵绕过施工区,在该示例中,该分界线是双黄线。示例性交互栏534指示远程操作者150与车辆102接合,由阴影化的“接合”图标所描绘,并且指示远程操作者150正在改变行车通道138的边界140,通过“行车通道”图标被阴影化所描绘。如图所示,远程操作者150已经将行车通道138的边界140扩展到在分界线114的与车辆102相同一侧上道路106的路肩712,以避开驶来的第二车辆710并允许车辆102操纵经过路肩712中不存在的施工区702。在一些示例中,远程操作者150可以使用例如如上所述的远程操作输入装置158来完成此操作。基于远程操作者的输入,远程操作系统148可以经由远程操作发射器306向车辆102发送远程操作信号。在所示的示例中,车辆102已经以与远程操作信号一致的方式扩展了其行车通道138的边界140,例如,如图7B所示。在行车通道138扩展时,车辆102可以至少部分地基于行车通道138的改变后的边界140来生成多个修正的轨迹。车辆102可以针对修正轨迹中的每一条轨迹计算修正的置信水平,并且可以从所述多个修正轨迹中选择具有最高置信水平的修正轨迹。在所示的示例中,警报栏536通过显示“系统置信95%”来指示车辆102的修正后的置信水平为95%。至少部分地基于所选择的修正轨迹,车辆102可以确定修正驾驶线路146,以用于操纵经过包括静态物体704和动态物体706的施工区702。此后,车辆控制器228可配置为根据例如图7B中所示修正后的驾驶线路146操作车辆102并操纵经过施工区702。
在一些示例中,远程操作者150能够使用视频观察区528中所示的实时视频馈送,以向诸如施工区702的区域中的车辆102提供指导。例如,在施工区中可能会出现一名或多名建筑工人或交通警察来引导通过或绕过施工区的交通。在一些这样的示例中,车辆102可以将通信信号发送到包括实时视频信号的远程操作系统148,远程操作者150可以经由视频观察区528来观看所述实时视频信号。尽管在所示的示例中,视频观察区528是受限至示例性UI 700A和700B的右上角,但是在一些示例中,远程操作者150可能能够对UI 700A和700B重新配置,使得视频观察区528占据显示器的较大部分。通过观看实时视频,远程操作者可能能够看到指挥交通的人并向车辆102发送远程操作信号,从而提供指导以遵守指挥交通的人的方向,使得车辆控制器228能操纵车辆102通过或绕过施工区。
图8A是示出了第四事件场景的示例性UI 800A,其中车辆102已经在道路106中遇到示例性静态物体802。在所示示例中,静态物体802是垃圾(例如,纸球或其它片材材料)。当车辆102接近静态物体802时,与车辆102相关联的传感器204可以检测静态物体802,并且车辆102可以确定静态物体802的方位并将其分类。随着车辆102接近静态物体802,车辆102可以计算置信水平,由于道路106中的静态物体802,该置信水平可以下降到阈值最小置信水平以下。结果,车辆102可减慢其速度或停止,并使用其网络接口234向远程操作系统148发送通信信号,该通信信号提供传感器数据和请求来自远程操作系统148的指导。该请求可以例如如上所述由远程操作系统148推断或确定。远程操作系统148可以接收通信信号,该情况可以由远程操作者150经由远程操作界面154来评估,并且远程操作者150可以经由提供指导的远程操作发射器306向车辆102发送远程操作信号,例如,如本文所描述。
图8B所示的示例性UI 800B示出了示例性远程操作者150与车辆102的交互以解决图8A和图8B所示的静态物体802。示例性的交互栏534指示远程操作者150与车辆102接合,由阴影化的“接合”图标所描绘。然而,远程操作者150能够从由车辆102接收的通信信号确定静态物体802是不必避开的垃圾。如此,远程操作者150可以向车辆102发送远程操作信号,以提供提议忽略静态物体802的指导。基于该提议,车辆102可以维持其原始驾驶线路146,或者可以仅对其进行稍微调整而不改变行车通道138的边界,并根据原始驾驶路线146继续经由车辆控制器228进行操纵。
图9A至图9C示出了示例性UI 900A至900C,所述示例性UI示出了第五事件场景,在该第五事件场景中,车辆102已经遇到了路边修理,该路边修理包括示例性静态物体902和示例性动态物体904二者,其至少部分地处在道路106中的车道110A中。在示出的示例中,静态物体902是汽车,而动态物体904是进行修理的人,在该示例中,修理者是更换轮胎。当车辆102接近静态物体902和动态物体904时,与车辆102相关联的传感器204可检测它们之一或两者,并且车辆102可以确定静态物体902和动态物体904的方位、对其进行分类、和/或预测动态物体904的可能轨迹。随着车辆102的接近,它可以计算与车辆102能够成功操纵经过静态物体902和动态物体904的概率相关联的置信水平。当置信水平下降到阈值最小置信水平以下时,车辆102可减慢其速度或停止,并使用其网络接口234将通信信号发送到远程操作系统148,以提供传感器数据和请求来自远程操作系统148的指导。如上所述,该请求可以由远程操作系统148推断和/或确定。远程操作系统148可以接收通信信号,该状况可以由远程操作者150经由远程操作界面154来评估,并且远程操作者150可以经由提供指导的远程操作发射器306向车辆102发送远程操作信号。
在图9A所示的示例中,UI 900A的警报栏536为远程操作者150指示车辆102已经到达道路106中的至少一个静态物体和至少一个动态物体,它们阻挡了车辆102的驾驶线路146,并且指示与那些标识中的每个标识相关联的置信水平为100%。在所示示例中,一个或多个箭头906可提供动态物体904的预测轨迹的指示,所述预测轨迹例如基于动态物体的类型和/或分类和/或其先前和/或当前轨迹。在该示例中,动态物体904是跪在汽车轮胎旁边的人,并且因此,该人不太可能进一步移入道路106中。在图9A所示的示例性UI 900A中,激活观察区522将场景描绘为示意性立体动画,并且视频观察区528提供静态物体902和动态物体904的实时视频。在一些状况下,对于远程操作者150而言可更容易地通过观看视频观察区528以更快和/或更准确地确定车辆102遇到的事件的性质。这可能导致远程操作者150能够更快和/或更准确地向车辆102提供指导。
图9B示出了示例性UI 900B,其提供了远程操作者150向车辆102提供指导的示例。示例性交互栏534指示了远程操作者150与车辆102接合(由阴影化的“接合”图标描绘),并且指示该远程操作者150标识车辆102要避开的区域,通过“避开区域”图标被阴影化所描绘。如图所示,远程操作者150已使用远程操作输入装置在静态物体902和动态物体904周围竖立虚拟墙908,以通知车辆102避免进入由虚拟墙908界定的区域。
参照图9C示出示例性UI 900C,其基于由图9B中所示的虚拟墙908界定的区域来提供修正的行车通道138。在所示的示例中,远程操作者150已跨越车道分界线114将行车通道138的边界140扩展到第二车道110。在一些示例中,远程操作者150可以使用例如如上所述的远程操作输入装置158完成此操作。基于远程操作者的输入,远程操作系统148可以经由远程操作发射器306向车辆102发送远程操作信号。在所示的示例中,车辆102可以以与行车通道138一致的方式扩展其行车通道138的边界140,例如,如图9C所示。在行车通道138扩展时,车辆102可以至少部分地基于行车通道138的改变后的边界140来生成多个修正的轨迹。车辆102可以针对修正轨迹中的每一条轨迹计算置信水平,并且可以从多个修正轨迹中选择具有最高置信水平的修正轨迹。至少部分地基于所选择的修正轨迹,车辆102可以确定修正的驾驶线路146,以用于操纵经过静态物体902和动态物体904。此后,车辆控制器228可以被配置为根据例如如图9C所示修正后的驾驶线路146操作车辆并且操纵经过所述事件。
图10是示例性道路网络1000的示意性俯视图,该示例性道路网络1000包括在相应第一地理方位120A-120C与第二地理区域处的相应目的地124A-124C之间的途中的三个示例性车辆102A-102C。例如,示出了第一车辆102A沿着第一地理方位120A和目的地124A之间的计划路径1002A行进。第二相应车辆102B和第三相应车辆102C各自沿着相应的第一地理方位120B和120C与相应的目的地124B和124C之间的相应计划路径1002B和1002C行进。在示出的示例中,第一计划路径1002A经过事故区1004,这可能产生缓慢的交通状况和独特的驾驶情况,例如车道关闭和汇合交通。第二计划路径1002B穿过学校区1006,该学校区可以呈现独特的驾驶情况,例如学校区限速、人行横道和指挥交通的人。第三计划路径1002C穿过施工区1008,该施工区还可以呈现独特的驾驶状况,例如变道和指挥交通的人。
示例性第一车辆102A可根据第一路径1002A沿着道路网络1000经由车辆控制器228根据与第一操作参数相关联的第一操作模式正常操作。在一些示例中,远程操作系统148可经由远程操作接收器304、经由另一实体(例如,与导航或交通信息有关的实体)或除第一车辆102A之外的车辆102中的至少一个接收通信信号,所述通信信号指示与沿着第一路径1002A定位的第二地理区域相关联的事件的发生。在该示例中,事件是示例性事故区1004。类似地,远程操作系统148可以经由远程操作接收器304、经由另一实体或除第二车辆102B和第三车辆102C之外的车辆102中的至少一个来接收通信信号,所述通信信号指示与沿着第二路径1002B和第三路径1002C定位的相应第二地理区域相关联的相应事件的发生。在所示的示例中,相应的事件是学校区1006和施工区1008。与远程操作接收器304通信的远程操作者150可以评估与通信信号相关联的数据,并对与事故区1004、学校区1006和/或施工区1008相关联的地理区域分类为与相应区相对应,在所述相应区中,相应第一车辆102A、第二车辆102B和第三车辆102C的各车辆控制器228根据与第二操作参数相关联的相应第二操作模式操作相应的车辆,其中第二操作参数中的至少一个不同于对应的第一操作参数。例如,当第一车辆102A在事故区1004附近时用于操作第一车辆102A的第二操作参数可以包括以较低的速度操作、向远程操作系统148发送信号,从而远程操作系统148可以提供指导,以例如当第一车辆102A通过事故区1004时协助第一车辆102A,从而第一车辆102A可以改变车道和/或遵守指导事故区1004附近交通的人给出的指令。当第二车辆102B在学校区1006附近时用于操作第二车辆102B的第二操作参数可以包括以较慢的速度操作、向远程操作系统148发送信号,从而远程操作系统148可以提供指导,以例如当第二车辆102B通过学校区1006时协助第二车辆102B,从而第二车辆102B能在人行横道有人时停下用于行人通过和/或遵守指导学校区1006交通的人给出的指令。类似地,当第三车辆102C处于施工区1008附近用于操作第三车辆102C的第二操作参数可包括以较低的速度操作并向远程操作系统148发送信号,从而远程操作系统148可提供指导,以例如在第三车辆102C通过施工区1008时协助第三车辆102C,从而第三车辆102C可以改变车道和/或遵守指挥施工区1008附近交通的人给出的指令。在一些示例中,远程操作系统148可以经由远程操作发射器306向车辆102A-102C发送远程操作信号,以向车辆102A-102C的相应车辆控制器228提供指导,以在相应的第二地理区域中操作时从第一操作模式切换到第二操作模式。在一些示例中,第二操作参数可以包括改变后的性能参数(例如,速度、加速度、制动率和转向输入率)、改变后的车辆操作策略(例如,用于控制车辆的与安全有关的准则)、改变后的车辆操作法则或车辆操作规则中的一个或多个。
尽管关于图10描述的示例性事件包括事故区、学校区和施工区,但是其它与地理方位有关的区域也是可以考虑的。例如,其它事件可能与洪水区、游行区、特殊事件区、和/或与交通缓慢相关联的区域,例如车辆被驾驶进入明亮阳光的区域或诸如雨或雪的天气状况影响交通流率的区域。
如本文前面所提到的,道路网络数据可以包括与同车辆102的操作相关联的区域的全局或本地地图有关的数据。在一些示例中,本地和/或全局地图可以被配置为通过另一方使用与沿车辆102行进的路径定位的地理区域相关联的事件的任何发生有关的任何信息来更新。例如,警察局可以提供信息来设置在某个区域中操作的策略/法规,建筑工人可以提供要纳入本地和/或全局地图的项目范围,等等。
在一些示例中,远程操作系统148可被配置为向车队302的所有车辆102或车辆102的子集发送提供指导的远程操作信号。例如,远程操作系统148可被配置为向车辆102的至少子集发送提供指导的远程操作信号,以将操作从包括第一操作参数的第一操作模式切换到包括第二操作参数的第二操作模式,第二操作参数中的至少一个不同于对应的第一操作参数。例如,第二操作参数可以包括第二性能参数、第二车辆操作策略、第二车辆操作法则和第二车辆操作规则中的一个或多个。在一些示例中,指导可以包括在预定的时间段内从第一操作模式切换到第二操作模式,然后返回到第一操作模式。在一些示例中,第二操作参数可以包括以下一项或多项:减少车辆102的能量消耗、设置最大操作速度、防止车辆102双向操作、改变自主操作所需的阈值置信水平、改变在限定的地理区域内进行自主操作所需的阈值置信水平、更改车辆使用的物体分类模型或物体预测模型中的至少一种、以及放宽与遵守交通法规相关联的车辆操作策略。
在一些示例中,针对子集的每个车辆102的远程操作信号可以向相应的车辆控制器228提供指导,以至少部分地基于与道路网络104相关联的事件的存在来避开地理区域,例如如前所述。例如,地理区域可以对应于施工区、学校区、洪水区、事故区、游行区、特殊事件区以及与交通缓慢的状况相关联的区域中的一个或多个,并且远程操作信号可以包括用于根据与区域中的至少一个区域相对应的第二操作模式来操作子集中的每个车辆102的指导。
车辆102的子集可以包括载有至少一个乘员的车辆102、不具有乘员的车辆、包括至少一个电量低于阈值充电水平的电池的车辆、以及配置为确定与道路网络104相关联的状况状态的车辆中的一个或多个。例如,如果车辆102载有至少一个乘员,则车辆102可以在有利于在较短距离的路径上进行短距离和/或舒适行进的模式下操作,这可能对于具有至少一个低于阈值充电水平的电池的车辆而言会是优选的。用于确定与道路网络相关联的状况的状态的车辆102可以根据如下模式操作,所述模式偏爱于以特定速度在道路网络104的选定道路106上行进以便确定所选择道路的状态。
图11至图16是示例性过程的流程图,其被示为逻辑流程图中的框图的集合,所述框图表示可以以硬件、软件或其组合来实施的一系列操作。在软件的上下文中,框图代表存储在一个或多个计算机可读存储介质上的计算机可执行指令,当由一个或多个处理器执行时,计算机可执行指令执行所陈述的操作。总体而言,计算机可执行指令包括执行特定功能或实施特定抽象数据类型的例程、程序、对象、组件、数据结构等。描述操作的顺序不旨在被理解为限制,并且可以以任何顺序和/或并行地组合任意数量所描述的框图以实施所述过程。
图11是用于操作包括车辆控制器的无人驾驶车辆的示例性过程1100的流程图。在1102处,示例性过程1100可以包括从道路网络数据存储装置接收道路网络数据。道路网络数据可以至少部分地基于无人驾驶车辆的方位。在一些示例中,这可以包括可以由无人驾驶车辆和/或由远程操作系统存储和/或更新的全局和/或本地地图数据。
在1104处,示例性过程1100可以包括在无人驾驶车辆处接收传感器信号,所述传感器信号包括来自与无人驾驶车辆相关联的一个或多个传感器的传感器数据。在一些示例中,传感器数据可以与无人驾驶车辆的操作有关。例如,传感器数据可以包括与无人驾驶车辆正在行进通过的环境相关联的传感器信号。
在1106处,示例性过程1100可以包括在无人驾驶车辆处确定无人驾驶车辆根据轨迹在其内行进的行车通道。例如,行车通道可以包括虚拟边界和/或可以至少部分地基于传感器数据或道路网络数据中的一个或多个。
示例性过程1100在1108处可以进一步包括使无人驾驶车辆根据从第一地理方位到不同于第一地理方位的第二地理方位的路径自主地横越道路网络。例如,无人驾驶车辆可以在没有驾驶员的帮助下沿着路径在起点到目的地之间行进。在一些示例中,跟随1108,该过程可以包括例如返回至1102并重复1102至1108,直到确定了与该路径相关联的事件为止,如下所概述。
在1110处,示例性过程1100可以包括确定已经发生了与路径相关联的事件。如本文所解释的,事件可以是沿路径的任何条件,其可能导致无人驾驶车辆的置信水平下降到阈值置信水平以下。
在1112处,示例性过程1100可以包括将通信信号从无人驾驶车辆发送到远程操作系统。例如,通信信号可以包括请求来自远程操作系统的指导以及传感器数据或道路网络数据中的至少一个。
在1114处,示例性过程1100还可包括在无人驾驶车辆处接收来自远程操作系统的远程操作信号。例如,远程操作信号可以包括用于改变行车通道的虚拟边界的指导,以使得车辆控制器确定修正的轨迹。例如,车辆控制器可以至少部分地基于行进通道的改变后的虚拟边界,例如同时地或基本同时地(在技术能力内)生成多个修正的轨迹。每个修正轨迹可以与置信水平相关联,并且示例性过程1100可以进一步包括从多个修正轨迹中选择具有最高置信水平的修正轨迹,并且无人驾驶车辆可以根据选择的修正轨迹而操作。
图12是用于操作无人驾驶车辆的示例性过程1200的流程图,该无人驾驶车辆包括车辆控制器并且沿着道路网络根据从第一地理方位到与第一地理方位分离的目的地的路径经由车辆控制器根据与第一操作参数相关联的第一操作模式自主地操作。在1202处,示例性过程1200可以包括:经由远离无人驾驶车辆而定位的远程操作接收器、经由另一实体或无人驾驶车辆中的至少一个来接收通信信号,该通信信号指示与沿着路径定位的第二地理区域相关联的事件的发生。
在1204处,示例性过程1200可以包括由与远程操作接收器通信的远程操作者查看传感器数据,所述传感器数据与从与无人驾驶车辆相关联的一个或多个传感器接收的传感器信号相关联。例如,传感器数据可以与无人驾驶车辆的操作有关。
示例性过程1200在1206处可以包括:经由另一实体或远程操作者中的至少一个,将第二地理区域分类为对应于如下区域,在所述区域中,车辆控制器根据与第二操作参数相关联的第二操作模式操作无人驾驶车辆。在一些示例中,例如,如本文所讨论的,第二操作参数中的一个或多个可以与对应的第一操作参数不同。
在1208处,示例性过程1200还可以包括经由远程操作发射器向无人驾驶车辆发送远程操作信号。远程操作信号可以向车辆控制器提供指导,以在第二地理区域中操作时从第一操作模式切换到第二操作模式。第二操作参数可以包括第二性能参数、第二车辆操作策略、第二车辆操作法则或第二车辆操作规则中的至少一个。第二地理区域可以对应于施工区、学校区、洪水区、事故区、游行区、特殊事件区或与慢速交通状况相关联的区域中的一个或多个。
图13是用于改变无人驾驶车辆的车队中的多个无人驾驶车辆的至少一个子集的操作的示例性过程1300的流程图。子集中的每个无人驾驶车辆可以包括车辆控制器,并且可以沿着道路网络根据从相应第一地理方位到与第一地理方位分离的相应目的地的相应路径经由车辆控制器根据与第一操作参数相关联的第一操作模式自主地操作。在1302处,示例性过程1300可以包括根据第一操作模式来操作无人驾驶车辆的车队中的多个无人驾驶车辆。在1304处,示例性过程1300可以包括经由与远程操作者通信并远离于无人驾驶车辆定位的远程操作发射器向该子集的每个无人驾驶车辆发送远程操作信号,该远程操作信号为相应的车辆控制器提供指导,以从第一操作模式切换到第二操作模式。在一些示例中,第二操作模式可以与第二操作参数相关联,第二操作参数包括第二性能参数、第二车辆操作策略、第二车辆操作法则和第二车辆操作规则中的一个或多个,并且第二操作参数中的至少一个可以与对应的第一操作参数不同。在1306处,示例性过程1300可以包括根据第二操作模式来操作无人驾驶车辆的车队中的无人驾驶车辆的子集。
图14是用于操作无人驾驶车辆的示例性过程1400的流程图,其中无人驾驶车辆包括车辆控制器,并沿着道路网络根据从第一地理方位到与第一地理方位分离的目的地的路径经由车辆控制器自主地操作。在1402处,示例性过程1400可以包括经由远离无人驾驶车辆定位的远程操作接收器接收来自无人驾驶车辆的通信信号。通信信号可以包括来自与无人驾驶车辆的操作相关联的一个或多个传感器的传感器数据。通信信号还可以包括指示发生与路径相关联的事件的数据,其中,指示事件发生的数据包括指示与路径相关联的置信水平小于阈值置信水平的数据。
在1404处,示例性过程1400还可以包括经由与远程操作接收器通信的远程操作者来查看传感器数据和指示事件发生的数据。在1406处,示例性过程1400可以包括经由远程操作者至少部分地基于传感器数据和指示事件发生的数据中的一个或多个来确定用于提供无人驾驶车辆的指导级别。在一些示例中,指导级别可以涉及远程操作者是否向无人驾驶车辆提供指令、是否与无人驾驶车辆协作,例如交易信息和/或提议的行为,或确认从无人驾驶车辆接收的信息和/或由无人驾驶车辆提议的行为。
在1408处,示例性过程1400可以进一步包括经由远程操作发射器向无人驾驶车辆发送远程操作信号。远程操作信号可以包括用于根据所确定的指导级别来对无人驾驶车辆进行操作的指导,从而车辆控制器操纵无人驾驶车辆以避开事件、绕行事件或通过事件中的至少一项。在1410处,示例性过程1400还可以包括经由车辆控制器控制无人驾驶车辆的操纵,以避开、绕行和/或通过事件。
在一些示例中,事件可以包括阻碍路径的一部分完成的物体,并且发送远程操作信号可以包括发送包括供车辆控制器使用以避开物体的提议轨迹的远程操作信号,以允许车辆控制器操纵无人驾驶车辆经过物体。在一些示例中,远程操作信号可以包括远程操作信号形式的指导,其提供提议的物体的重新分类和/或确认物体的分类。这样的重新分类可以导致物体的不同的预测轨迹,这可以将置信水平增加到无人驾驶车辆可以沿着其原始驾驶线路和/或轨迹继续的水平。在一些示例中,来自无人驾驶车辆的通信信号可以包括与物体的分类有关的数据,并且远程操作信号可以提议忽略物体以允许车辆控制器操纵无人驾驶车辆经过物体。例如,如果物体是不会造成安全或操作问题的垃圾或小棍子,则无人驾驶车辆可简单地不会试图避开该物体。在一些示例中,来自无人驾驶车辆的通信信号可以包括用于通过物体并完成路径的一部分的提议轨迹。在这样的示例中,远程操作信号可以确认或拒绝提议的轨迹,并且因此,远程操作系统可以仅授权无人驾驶车辆提议的轨迹。在一些示例中,当远程操作信号拒绝提议的轨迹时,远程操作信号还可以为车辆控制器提供可替代的提议轨迹,以使无人驾驶车辆操纵通过所述物体。
在一些示例中,来自无人驾驶车辆的通信信号可以包括发出声音警告的提议、激活灯以提供视觉警告的提议和/或使无人驾驶车辆缓慢向前移动的提议。在这样的示例中,远程操作信号可以接受或拒绝提议中的至少一个。例如,物体可能是行车通道内无人看管的动物,这将导致无人驾驶车辆减速或停车。无人驾驶车辆可以使用声音警告和/或激活灯来激励动物离开道路,和/或车辆可以缓慢向前推进以激励动物离开道路。
在一些示例中,事件可以包括防止路径的一部分完成的操作规则,并且远程操作信号可以提出对操作规则的修改以允许车辆控制器操纵无人驾驶车辆通过事件。例如,道路可以包括路肩,并且路肩的使用将使无人驾驶车辆能够行进经过物体。然而,无人驾驶车辆的操作规则可能会防止无人驾驶使用所述路肩。在一些此类状况下,远程操作信号会提议使用路肩。
在一些示例中,该事件可能是无人驾驶车辆缺少足以完成路径的一部分的信息,并且远程操作信号可以提供足以允许车辆控制器操纵无人驾驶车辆经过该事件的信息。例如,无人驾驶车辆可能不能识别和/或分类物体,并且远程操作信号可以识别或分类物体,使得无人驾驶车辆能够采取合适的行为。可替代地,远程操作信号可以为车辆控制器提供提议的轨迹,以操纵无人驾驶车辆经过所述事件。
在一些示例中,来自无人驾驶车辆的通信信号可以包括物体到无人驾驶车辆的路径中的预测轨迹。在一些这样的情况下,远程操作信号可以改变预测的轨迹,使得车辆控制器操纵无人驾驶车辆经过物体。
图15是用于操作无人驾驶车辆的示例性过程1500的流程图。无人驾驶车辆可以包括车辆控制器,并且可以沿着道路网络根据从第一地理方位到与第一地理方位分离的目的地的路径经由车辆控制器自主地操作。在1502处,示例性过程1500可以包括:经由远离无人驾驶车辆定位的远程操作接收器接收来自无人驾驶车辆的第一通信信号。第一通信信号可以包括来自与无人驾驶车辆相关联的一个或多个传感器的与无人驾驶车辆的操作有关的第一传感器数据。第一通信信号还可以包括指示与路径相关联的第一事件的发生的数据。所述第一事件可以包括第一特征,所述第一特征包括无人驾驶车辆先前未遇到的至少一个特征或无人驾驶车辆先前遇到的少于阈值出现次数的至少一个特征。第一通信信号还可包括请求对通过事件并沿着路径继续的指导。
在1504处,示例性过程1500还可以包括经由与远程操作接收器通信的远程操作者来查看与从无人驾驶车辆接收的第一通信信号相关联的数据。例如,远程操作者可以使用远程操作界面来促进该查看。
在1506处,示例性过程1500还可以包括经由远程操作者至少部分地基于与第一通信信号相关联的数据来确定用于提供无人驾驶车辆的第一指导级别。例如,第一指导级别可以涉及远程操作者是否向无人驾驶车辆提供指令,是否与无人驾驶车辆协作,例如交易信息和/或提议的行为,或确认从无人驾驶车辆接收的信息和/或由无人驾驶车辆提议的行为。
在1508处,示例性过程1500可以包括经由远程操作发射器向无人驾驶车辆发送第一远程操作信号。第一远程操作信号可以包括第一指导级别,使得车辆控制器操纵无人驾驶车辆根据第一指导级别通过第一事件并沿着路径继续。
在1510处,示例性过程1500还可包括经由远程操作接收器从无人驾驶车辆接收第二通信信号。第二通信信号可以包括来自与无人驾驶车辆相关联的一个或多个传感器的与无人驾驶车辆的操作有关的第二传感器数据。第二通信信号还可包括指示与路径相关联的第二事件的发生的数据。第二事件可以包括第二特征,其中第二特征包括与第一特征中的至少一个共同的至少一个第二特征。第二通信信号还可包括对与第二事件有关的信息或用于通过第二事件并沿着路径继续的提议行为中的至少一个的请求。
在1512处,示例性过程1500还可以包括经由与远程操作接收器通信的远程操作者来查看与从无人驾驶车辆接收的第二通信信号相关联的数据。在1514处,示例性过程1500还可以包括经由远程操作者至少部分地基于与第二通信信号相关联的数据来确定用于提供无人驾驶车辆的第二指导级别。
在1516处,示例性过程1500还可以包括经由远程操作发射器向无人驾驶车辆发送第二远程操作信号。在一些示例中,第二远程操作信号可以包括第二指导级别,并且第二指导级别可以包括与第二事件有关的信息或提议的第二行为中的至少一个,从而车辆控制器至少部分地基于与第二事件有关的信息或提议的第二行为中的至少一个来操纵无人驾驶车辆经过第二事件并沿着路径继续。
在过程1500的一些示例中,该过程还可包括在包括事件响应模型的机器学习引擎中接收与第一通信信号相关联的数据和/或与第二通信信号相关联的数据。在一些这样的示例中,可以至少部分地基于与第一通信信号相关联的数据、与第二通信信号相关联的数据、第一指导级别和/或第二指导级别来更新事件响应模型。以该示例性方式,过程1500可以随着时间而改善所述更新。例如,过程1500还可包括至少部分地基于更新的事件响应模型将第一指导级别转换为第二指导级别。
图16是用于操作多个无人驾驶车辆的示例性过程1600的流程图。无人驾驶车辆可以各自包括车辆控制器,并且可以沿着道路网络根据从第一地理方位到与第一地理方位分离的目的地的路径经由车辆控制器自主地操作。
在1602处,示例性过程1600可包括经由远离多个无人驾驶车辆中的第一个定位的远程操作接收器接收来自第一无人驾驶车辆的第一通信信号,该第一通信信号指示沿着与第一无人驾驶车辆相关联的路径发生与道路网络相关联的第一事件。所述第一事件可以包括第一特征,并且所述第一通信信号可以包括请求经过所述事件并沿着所述路径继续的指导。
在1604处,示例性过程1600可以包括经由与远程操作接收器通信的第一远程操作者来查看与从第一无人驾驶车辆接收的第一通信信号相关联的数据。在1606处,示例性过程1600还可包括:经由第一远程操作者,至少部分地基于与第一通信信号相关联的数据中的至少一个,来确定用于提供第一无人驾驶车辆的第一指导级别,以及在1608处,经由远程操作发射器向第一无人驾驶车辆发送第一远程操作信号,其中第一远程操作信号包括第一指导级别。
在1610处,示例性过程1600还可以包括经由远程操作接收器从多个无人驾驶车辆中的第二无人驾驶车辆接收第二通信信号,该第二通信信号指示沿着与第二无人驾驶车辆相关联的路径发生与道路网络相关联的第二事件。第二事件可以包括第二特征,其中第二特征包括与第一特征中的至少一个共同的至少一个第二特征,并且第二通信信号可以包括对与第二事件有关的信息和/或用于经过第二事件并沿着路径继续的提议行为的请求。
在1612处,示例性过程1600还可包括:经由与远程操作接收器通信的远程操作者,查看与从第二无人驾驶车辆接收的第二通信信号相关联的数据,并在1614处,经由远程操作者至少部分基于与第一事件相关联的数据和与第二通信信号相关联的数据确定提供第二无人驾驶车辆的第二指导级别。
在1616处,示例性过程1600还可以包括经由远程操作发射器向第二无人驾驶车辆发送第二远程操作信号。在一些示例中,第二远程操作信号可以包括第二指导级别,其中第二指导级别包括与第二事件有关的信息和/或提议的第二行为,从而车辆控制器至少部分地基于与第二事件有关的信息或提议的第二行为中的至少一个操纵第二无人驾驶车辆经过第二事件并沿着路径继续。
应当理解,本文提出的主题可以实施为计算机过程、计算机控制的设备、计算系统或诸如计算机可读存储介质之类的制品。尽管本文描述的主题是在可包括在一个或多个计算装置上执行的硬件和/或软件层的模块的一般上下文中呈现的,但是本领域技术人员将认识到,可以结合其它类型的程序模块来执行其它实施方式。总体而言,软件模块包括例程、程序、组件、数据结构以及执行特定任务或实施特定抽象数据类型的其它类型的结构。在一些示例中,可以采用任何数量的模块(硬件和/或软件),并且由一个或多个模块采用的本文所述的技术可以由更多或更少数量的模块采用。
本领域的技术人员还将意识到,本文描述的主题的各方面可以在本文描述之外的其它计算机系统配置上实践或与之结合,所述计算机系统配置包括多处理器系统、基于微处理器或可编程的消费电子产品、小型计算机、大型计算机、手持计算机、移动电话装置、平板计算装置、专用硬件装置、网络设施等。
尽管本文以计算机结构特征、方法学行为和计算机可读介质专用的语言描述了本发明的主题,但应理解,所附权利要求书中限定的发明不必受限于本文描述的特定特征、行为或介质。相反,特定的特征、行为和介质作为实施权利要求中所陈述的主题的示例性形式而被公开。
以上描述的主题仅通过示例性的方式提供,并且不应被解释为限制性的。此外,要求保护的主题不限于解决在本公开的任何部分中指出的任何或所有缺点的实施方式。可以在不遵循所图示和描述的示例和应用并且不脱离在所附权利要求中阐述的本发明的精神和范围的情况下,对本文所述的主题进行各种修改和改变。
示例性条款
A.一种用于操作包括车辆控制器的无人驾驶车辆的示例性方法,该方法包括:
在无人驾驶车辆处接收传感器信号,所述传感器信号包括来自与无人驾驶车辆相关联的一个或多个传感器的传感器数据,所述传感器数据与无人驾驶车辆的操作有关;
接收来自道路网络数据存储装置的道路网络数据,所述道路网络数据至少部分地基于无人驾驶车辆的方位;
在无人驾驶车辆处确定无人驾驶车辆根据轨迹在其中行进的行车通道,所述行车通道包括虚拟边界并且至少部分地基于传感器数据或道路网络数据中的至少一个;
使无人驾驶车辆根据从第一地理方位到不同于第一地理方位的第二地理方位的路径自主地横越道路网络;
确定已经发生与所述路径相关联的事件;
至少部分地基于确定所述事件已经发生,从无人驾驶车辆向远程操作系统发送通信信号,所述通信信号包括请求来自远程操作系统的指导以及部分传感器数据和道路网络数据中的一个或多个;
在无人驾驶车辆处接收来自远程操作系统的远程操作信号;以及
由无人驾驶车辆的控制器至少部分地基于远程操作信号确定修正的轨迹。
B.示例A的方法,其中,远程操作信号包括用于改变行车通道的虚拟边界以创建改变后的虚拟边界的指导,并且其中,使无人驾驶车辆自主地横越道路网络包括至少部分地基于行车通道的改变后的虚拟边界在无人驾驶车辆处同时生成多个修正轨迹,每个修正轨迹与置信水平相关联,并且该方法还包括:
从多个修正轨迹中选择具有最高置信水平的修正轨迹;以及
根据所选择的修正轨迹操作无人驾驶车辆。
C.示例A或示例B的方法,其中事件包括与路径的一部分相关联的活动、至少部分在行车通道内的物体、至少部分在行车通道内或以朝向行车通道的轨迹移动的动物、或至少部分在行车通道内或朝向行车通道移动的人中的至少一种。
D.示例A至示例C中任一项的方法,其中确定事件已经发生包括确定与所述轨迹相关联的置信水平小于阈值置信水平,并且其中所述置信水平至少部分地基于无人驾驶车辆能够自主横越路径的一部分的概率。
E.示例A至示例D中任一项的方法,其中在无人驾驶车辆处接收远程操作信号包括接收针对无人驾驶车辆以缓慢向前移动、发出声音警告或激活照明以提供视觉警告中的至少一项的指导。
F.示例A至示例E中任一项的方法,其中,所述指导包括虚拟边界的改变,并且该改变被配置为避开事件、绕行事件或通过事件。
G.根据示例A至示例F中任一项的方法,其中,所述轨迹选自至少部分基于所述行车通道在无人驾驶车辆处同时产生的多个替代轨迹,每个替代轨迹与置信水平相关联,并且其中该轨迹具有替代轨迹的最高置信水平。
H.示例A至示例G中任一项的方法,其中,该事件指示物体进入行车通道的预测运动;并且在无人驾驶车辆处接收远程操作信号包括接收对改变物体的预测运动提供指导的远程操作信号。
I.示例A至示例H中任一项的方法,其中,确定事件已经发生包括确定行车通道中存在的物体的分类或预测具有朝向行车通道的轨迹的物体运动中的至少一个,以及
其中,在无人驾驶车辆处接收远程操作信号包括接收对改变物体的分类或忽略物体中的至少一个的指导。
J.一种用于协助操作无人驾驶车辆的示例性远程操作系统,该无人驾驶车辆包括车辆控制器,并且配置为根据与第一操作参数相关联的第一操作模式经由车辆控制器沿着道路网络根据从第一地理方位到与第一地理方位分离的目的地的路径自主地操作,该远程操作系统包括:
远程操作接收器,其配置成接收传感器数据,所述传感器数据与从与无人驾驶车辆相关联的一个或多个传感器接收的传感器信号相关联,所述传感器数据与无人驾驶车辆的操作有关;
远程操作界面,配置用于促进:
至少部分地基于与从与无人驾驶车辆相关联的一个或多个传感器接收的传感器信号相关联的传感器数据来确定无人驾驶车辆在第二地理区域中;以及
将第二地理区域分类为对应于车辆控制器将根据与第二操作参数相关联的第二操作模式来操作无人驾驶车辆的区域,其中,第二操作参数中的至少一个不同于对应的第一操作参数;以及
远程操作发射器,其被配置为向无人驾驶车辆发送远程操作信号,所述远程操作信号向车辆控制器提供指导以在第二地理区域中操作时从第一操作模式切换到第二操作模式。
K.示例J的远程操作系统,其中,第二操作参数包括第二性能参数、第二车辆操作策略、第二车辆操作法则或第二车辆操作规则中的至少一个。
L.示例J或示例K的远程操作系统,其中第二地理区域对应于施工区、学校区、洪水区、事故区、游行区、特殊事件区或与缓慢交通状况相关联的区域中的至少一个。
M.示例J至示例L中任一项的远程操作系统,其中,车辆控制器被配置为使无人驾驶车辆在行车通道的虚拟边界内操作,所述行车通道具有通道宽度和在无人驾驶车辆的行进方向上延伸的通道长度,并且其中提供指导的远程操作信号使车辆控制器改变虚拟边界,从而车辆控制器确定针对绕行第二地理区域或经过第二地理区域中至少一项的修正轨迹。
N.示例J至示例M中任一项的远程操作系统,其中,传感器信号包括指示将无人驾驶车辆附近环境中存在的物体分类为属于对应于一区域的一组物体的传感器信号,并且远程操作信号包括用于改变物体的分类或忽略物体中至少一项的指导。
O.示例J至示例N中任一项的远程操作系统,其中,远程操作信号包括用于根据第二操作模式来操作第二地理区域中的多个无人驾驶车辆中的至少一些的指导。
P.在其上存储有计算机可执行指令的示例性计算机可读存储介质,当所述计算机可执行指令由计算机执行时,使计算机执行以下操作:
协助操作无人驾驶车辆的车队中的多个无人驾驶车辆中的至少一个子集,该子集中的每个无人驾驶车辆包括车辆控制器,并根据与第一操作参数相关联的第一操作模式经由车辆控制器沿着道路网络根据从相应的第一地理方位到与该第一地理方位分离的相应目的地的相应路径而自主地操作,其中,协助操作所述多个车辆的至少一个子集包括使计算机进行以下操作:
向该子集中的每个无人驾驶车辆发送远程操作信号,所述远程操作信号向相应的车辆控制器提供指导以从第一操作模式切换到第二操作模式,
其中第二操作模式与第二操作参数相关联,所述第二操作参数包括第二性能参数、第二车辆操作策略、第二车辆操作法则或第二车辆操作规则中的至少一个,并且
其中,第二操作参数中的至少一个不同于对应的第一操作参数。
Q.示例P的计算机可读存储介质,其中,将远程操作信号发送到子集的每个无人驾驶车辆包括:向相应的车辆控制器提供指导,以至少部分地基于存在与道路网络相关联的事件来避开第二地理区域,并且其中第二地理区域对应于施工区、学校区、洪水区、事故区、游行区、特殊事件区或与缓慢交通状况相关联的区域中的至少一个,以及经由相应的车辆控制器来操作子集的每个无人驾驶车辆包括根据与其中至少一个区域相对应的第二操作模式来操作每个无人驾驶车辆。
R.示例P或示例Q的计算机可读存储介质,其中,无人驾驶车辆的子集包括以下至少之一:
载有至少一名乘员的无人驾驶车辆;
无乘员的无人驾驶车辆;
无人驾驶车辆,其包括至少一个电池,其电量低于阈值充电水平;或者
无人驾驶车辆,其被配置为确定与道路网络相关联的状况的状态。
S.示例P至示例R中任一项的计算机可读存储介质,其中,第二操作参数包括以下至少一项:减少无人驾驶车辆的能量消耗、设置最大操作速度、防止无人驾驶车辆双向操作、更改自主操作所需的阈值置信水平、更改第二地理区域中自主操作所需的阈值置信水平、改变无人驾驶车辆使用的物体分类模型或物体预测模型中的至少一种、或放宽与遵守交通法规相关联的车辆操作策略。
T.示例P至示例S中任一项的计算机可读存储介质,其中,经由车辆控制器根据与第一操作参数相关联的第一操作模式而自动操作包括:在沿着路径的行车通道内自主驾驶所述无人驾驶车辆,所述行车通道包括虚拟边界,所述虚拟边界包括可变行车通道宽度和在无人驾驶车辆的行进方向上延伸的可变行车通道长度,并且向车辆控制器发送提供指导的远程操作信号以从第一操作模式切换为第二操作模式包括发送如下远程操作信号,所述远程操作信号包括用于改变行车通道的虚拟边界的指导,以使得车辆控制器确定修正的轨迹。
U.一种用于协助操作无人驾驶车辆的示例性远程操作系统,该无人驾驶车辆包括车辆控制器,并配置为经由车辆控制器沿着道路网络根据从第一地理方位到与第一地理方位分离的目的地的路径自主地操作,该远程操作系统包括:
远程操作接收器,其被配置为接收来自无人驾驶车辆的通信信号,所述通信信号包括:
来自与无人驾驶车辆相关联的一个或多个传感器的传感器数据的至少一部分,所述传感器数据的至少一部分与无人驾驶车辆的操作有关;以及
指示与该路径相关联的事件的发生的数据,其中,指示该事件的发生的数据包括指示与该路径相关联的置信水平小于阈值置信水平的数据;
远程操作界面,其配置用于促进:
查看所述传感器数据的至少一部分和指示事件发生的数据;
以及
至少部分地基于传感器数据的至少一部分或指示事件发生的数据中的至少之一,确定提供无人驾驶车辆的指导级别;以及
远程操作发射器,其被配置为向无人驾驶车辆发送远程操作信号,该远程操作信号包括根据所确定的指导级别来操作无人驾驶车辆的指导,
其中,无人驾驶车辆被配置为至少部分地基于远程操作信号,经由车辆控制器来操纵以实现避开事件、绕行事件或通过事件中的至少一项。
V.示例U的远程操作系统,其中事件包括阻碍完成路径的一部分的物体,并且远程操作信号包括提供提议轨迹的信号,所述提议轨迹供车辆控制器使用以避开物体而允许操纵无人驾驶车辆经过所述物体。
W.示例U或示例V的远程操作系统,其中事件包括阻碍完成路径的一部分的物体,并且远程操作信号包括如下信号,所述信号提供物体的提议重新分类或确认物体分类的至少其中之一。
X.根据示例U至示例W中任一项所述的远程操作系统,其中,所述事件包括阻碍完成道路的一部分的物体,其中,来自无人驾驶车辆的通信信号包括与所述物体的分类有关的数据,并且其中远程操作信号包括如下信号,所述信号提议忽略该物体以允许车辆控制器操纵无人驾驶车辆经过该物体。
Y.示例U至示例X中任一项的远程操作系统,其中,所述事件包括阻碍完成道路的一部分的物体,其中,来自无人驾驶车辆的通信信号包括用于通过所述物体并完成所述路径的所述部分的提议轨迹,并且其中远程操作信号包括确认或拒绝所提议的轨迹的信号。
Z.示例U至示例Y中任一项的远程操作系统,其中,远程操作信号包括如下信号,所述信号拒绝提议的轨迹并且为车辆控制器提供可替代的提议轨迹以操纵无人驾驶车辆经过物体。
AA.示例U至示例Z中任一项的远程操作系统,其中事件包括阻碍完成路径的一部分的物体,其中来自无人驾驶车辆的通信信号包括发出声音警告的提议、激活灯以提供视觉警告的提议、或使无人驾驶车辆缓慢向前移动的提议中的至少一个,并且其中,远程操作信号包括接受其中至少一项提议或拒绝其中至少一项提议的至少其中之一的信号。
BB.示例U至示例AA中任一项的远程操作系统,其中该事件包括阻止完成路径的一部分的操作规则,并且其中远程操作信号包括如下信号,所述信号提议对操作规则进行修改以允许车辆控制器操纵无人驾驶车辆经过所述事件。
CC.示例U至示例BB中任一项的远程操作系统,其中事件包括缺少足以完成路径的一部分的信息,并且其中远程操作信号包括如下信号,所述信号提供足以允许车辆控制器操纵无人驾驶车辆经过所述事件的信息。
DD.示例U至示例CC中任一项的远程操作系统,其中,远程操作信号包括如下信号,所述信号为车辆控制器提供提议轨迹以操纵无人驾驶车辆经过所述事件。
EE.示例U至示例DD中任一项的远程操作系统,其中来自无人驾驶车辆的通信信号包括物体进入无人驾驶车辆的路径的预测轨迹,并且其中远程操作信号包括改变预测轨迹的信号,从而车辆控制器操纵无人驾驶车辆经过所述物体。
FF.一种用于操作无人驾驶车辆的示例性方法,该无人驾驶车辆包括车辆控制器并且被配置为根据从第一地理方位到与第一地理方位分离的目的地的路径经由车辆控制器沿着道路网络自主地操作,该方法包括:
在远离无人驾驶车辆的远程操作接收器处接收来自无人驾驶车辆的第一通信信号,所述第一通信信号包括:
来自与无人驾驶车辆相关联的一个或多个传感器的第一传感器数据,第一传感器数据与无人驾驶车辆的操作有关;以及
指示与该路径相关联的第一事件的发生的数据,所述第一事件包括第一特性,所述第一特性包括无人驾驶车辆先前未遇到的至少一个特征或无人驾驶车辆先前遇到的少于阈值出现次数的至少一个特征,并且其中,所述第一通信信号包括对经过所述事件并沿着所述路径继续的指导的请求;
经由与所述远程操作接收器通信的远程操作系统,查看与从无人驾驶车辆接收的第一通信信号相关联的数据;
经由远程操作系统,至少部分地基于与第一通信信号相关联的数据,确定用于提供无人驾驶车辆的第一指导级别;
经由远程操作发射器向无人驾驶车辆发送第一远程操作信号,所述第一远程操作信号包括第一指导级别,使得车辆控制器根据第一指导级别操纵无人驾驶车辆通过第一事件并沿着路径继续;
经由远程操作接收器接收来自无人驾驶车辆的第二通信信号,所述第二通信信号包括:
来自与无人驾驶车辆相关联的一个或多个传感器的第二传感器数据,所述第二传感器数据与无人驾驶车辆的操作有关;以及
指示与路径相关联的第二事件的发生的数据,第二事件包括第二特征,其中第二特征包括与第一特征中的至少一个共同的至少一个第二特征,并且其中第二通信信号包括对与第二事件有关的信息或为通过第二事件并沿路径继续的提议行为中的至少一项的请求;
经由与远程操作接收器通信的远程操作者,查看与从无人驾驶车辆接收的第二通信信号相关联的数据;
经由远程操作系统,至少部分地基于与第二通信信号相关联的数据,确定用于提供无人驾驶车辆的第二指导级别;以及
经由远程操作发射器向无人驾驶车辆发送第二远程操作信号,其中第二远程操作信号包括第二指导级别,第二指导级别包括与第二事件有关的信息或提议的第二行为中的至少一个;以及
至少部分地基于与第二事件有关的信息或提议的第二行为中的至少一个经由车辆控制器操纵无人驾驶车辆通过第二事件并沿着路径继续。
GG.示例FF的方法,其中第一指导级别包括提供给无人驾驶车辆的指令,并且第二指导级别包括与无人驾驶车辆的协作。
HH.示例FF或示例GG的方法,还包括:在包括事件响应模型的机器学习引擎中,接收与第一通信信号相关联的数据或与第二通信信号相关联的数据中的至少一个;以及
至少部分地基于与第一通信信号相关联的数据、与第二通信信号相关联的数据、第一指导级别或第二指导级别中的至少一个来更新事件响应模型。
II.示例FF至示例HH中任一项的方法,还包括至少部分地基于更新后的事件响应模型将第一指导级别转换为第二指导级别。
JJ.示例FF至示例II中任一项的方法,还包括经由远程操作系统执行事件响应模型。
KK.示例FF至示例JJ中任一项的方法,其中第一事件包括以下至少一项:无人驾驶车辆的路径中的物体、具有朝向无人驾驶车辆的路径的投影轨迹的物体、阻止无人驾驶车辆沿着路径前进的操作规则、或者缺乏足够的信息来沿着路径前进,并且
其中,第一指导级别包括以下至少一项:为无人驾驶车辆提供避开物体的提议轨迹,从而使无人驾驶车辆沿路径继续;对物体进行重新分类,以使无人驾驶车辆沿路径继续;改变物体的投影轨迹以使无人驾驶车辆沿着路径继续;指示无人驾驶车辆执行以下至少其中之一:发出声音警报、激活照明以提供视觉警告、朝着物体缓慢向前移动、调整操作规则以使无人驾驶车辆沿路径继续、或提供足以使无人驾驶车辆沿路径继续的信息。
LL.示例FF至示例KK中任一项的方法,其中,第二事件包括以下至少一项:无人驾驶车辆的路径中的物体、具有朝向无人驾驶车辆的路径的投影轨迹的物体、防止无人驾驶车辆沿着路径前进的操作规则、或者缺乏足够的信息来沿着路径前进,并且
其中,第二指导级别包括以下至少一项:扩展无人驾驶车辆在其中前进的行车通道,从而使无人驾驶车辆避开物体并沿路径继续;提出修正轨迹,所述修正轨迹避开物体从而使无人驾驶车辆在避开物体之后沿路径继续;提议对物体进行重新分类,从而使无人驾驶车辆沿着该路径继续;提议物体更改的投影轨迹,从而使无人驾驶车辆沿着该路径继续,或者对与第二事件相关联的区域重新分类,从而使无人驾驶车辆沿着该路径继续。
MM.示例FF至示例LL中任一项的方法,还包括:在远程操作接收器处从接收来自无人驾驶车辆的第三通信信号,所述第三通信信号指示与该路径相关联的第三事件的发生,所述第三事件包括第三特征,其中,第三特征包括与第一特征中的至少一个或第二特征中的至少一个共同的至少一个第三特征,并且其中第三通信信号包括用于通过第三事件并沿着路径继续的提议的第三行为;
经由与所述远程操作接收器通信的远程操作系统,查看与所述第三通信信号相关联的数据;
经由远程操作系统至少部分地基于与第三通信信号相关联的数据确定提供给无人驾驶车辆的第三指导级别;以及
经由远程操作发射器向无人驾驶车辆发送第三远程操作信号,第三远程操作信号包括第三指导级别,第三指导级别包括接受提议的第三行为,从而车辆控制器根据提议的第三行为操纵无人驾驶车辆通过第三事件并沿着路径继续。
NN.其上存储有计算机可执行指令的示例性计算机可读存储介质,所述计算机可执行指令在由计算机执行时使计算机:
协助操作多个无人驾驶车辆,无人驾驶车辆各自包括车辆控制器,并且被配置为根据从第一地理方位到与第一地理方位分离的目的地的路径经由车辆控制器沿着道路网络自主地操作,其中协助操作多个无人驾驶车辆包括使计算机执行以下操作:
接收来自第一无人驾驶车辆的第一通信信号,所述第一通信信号指示沿着与第一无人驾驶车辆相关联的路径发生与道路网络相关联的第一事件,该第一事件包括第一特征,并且其中第一通信信号包括对用于通过事件并沿路径继续的指导的请求;
便于查看与从第一无人驾驶车辆接收的第一通信信号相关联的数据;
便于至少部分地基于与第一通信信号相关联的数据中的至少一个来确定用于提供第一无人驾驶车辆的第一指导级别;
向所述第一无人驾驶车辆发送第一远程操作信号,所述第一远程操作信号包括所述第一指导级别,使得所述车辆控制器根据所述第一指导级别操纵所述第一无人驾驶车辆通过所述第一事件并沿着所述路径继续;
接收来自多个无人驾驶车辆中的第二无人驾驶车辆的第二通信信号,所述第二通信信号指示沿着与第二无人驾驶车辆相关联的路径发生与道路网络相关联的第二事件,该第二事件包括第二特征,其中第二特征包括与第一特征中的至少一个共同的至少一个第二特征,并且其中第二通信信号包括针对与第二事件有关的信息或用于通过第二事件并沿着路径继续的提议行为中的至少一个的请求;
便于查看与从第二无人驾驶车辆接收的第二通信信号相关联的数据;
便于至少部分地基于与第一事件相关联的数据和与第二通信信号相关联的数据来确定用于提供第二无人驾驶车辆的第二指导级别;以及
向第二无人驾驶车辆发送第二远程操作信号,第二远程操作信号包括第二指导级别,并且第二指导级别包括与第二事件有关的信息或提议的第二行为中的至少一个。
Claims (15)
1.一种用于操作无人驾驶车辆的方法,所述无人驾驶车辆包括车辆控制器,所述方法包括:
在无人驾驶车辆处接收传感器信号,所述传感器信号包括来自与无人驾驶车辆相关联的一个或多个传感器的传感器数据,所述传感器数据与无人驾驶车辆的操作有关;
接收来自道路网络数据存储装置的道路网络数据,所述道路网络数据至少部分地基于无人驾驶车辆的方位;
在无人驾驶车辆处确定无人驾驶车辆根据轨迹在其中行进的行车通道,所述行车通道包括虚拟边界并且至少部分地基于传感器数据或道路网络数据中的至少一个;
使无人驾驶车辆根据从第一地理方位到不同于第一地理方位的第二地理方位的路径自主地横越道路网络;
确定已经发生与所述路径相关联的事件;
至少部分地基于确定所述事件已经发生,从无人驾驶车辆向远程操作系统发送通信信号,所述通信信号包括请求来自远程操作系统的指导以及部分传感器数据和道路网络数据中的一个或多个;
在无人驾驶车辆处接收来自远程操作系统的远程操作信号;以及
由无人驾驶车辆的控制器至少部分地基于远程操作信号确定修正的轨迹。
2.根据权利要求1所述的方法,其特征在于,远程操作信号包括用于改变行车通道的虚拟边界以创建改变后的虚拟边界的指导,并且其中,使无人驾驶车辆自主地横越道路网络包括至少部分地基于行车通道的改变后的虚拟边界在无人驾驶车辆处同时生成多个修正轨迹,每个修正轨迹与置信水平相关联,并且所述方法还包括:
从多个修正轨迹中选择具有最高置信水平的修正轨迹;以及
根据所选择的修正轨迹操作无人驾驶车辆。
3.根据权利要求1所述的方法,其特征在于,所述事件包括与路径的一部分相关联的活动、至少部分在行车通道内的物体、至少部分在行车通道内或以朝向行车通道的轨迹移动的动物、或至少部分在行车通道内或朝向行车通道移动的人中的至少一种。
4.根据权利要求1所述的方法,其特征在于,确定事件已经发生包括确定与所述轨迹相关联的置信水平小于阈值置信水平,并且其中所述置信水平至少部分地基于无人驾驶车辆能够自主横越路径的一部分的概率。
5.根据权利要求1所述的方法,其特征在于,在无人驾驶车辆处接收远程操作信号包括接收针对无人驾驶车辆以缓慢向前移动、发出声音警告或激活照明以提供视觉警告中的至少一项的指导。
6.根据权利要求5所述的方法,其特征在于,所述指导包括虚拟边界的改变,并且所述改变被配置为避开所述事件、绕行所述事件或通过所述事件。
7.根据权利要求1所述的方法,其特征在于,所述轨迹选自至少部分基于所述行车通道在无人驾驶车辆处同时产生的多个替代轨迹,每个替代轨迹与置信水平相关联,并且其中该轨迹具有替代轨迹的最高置信水平。
8.根据权利要求1所述的方法,其特征在于,所述事件指示物体进入行车通道的预测运动,并且在无人驾驶车辆处接收远程操作信号包括接收对改变物体的预测运动提供指导的远程操作信号。
9.根据权利要求1所述的方法,其特征在于,确定事件已经发生包括确定行车通道中存在的物体的分类或预测具有朝向行车通道的轨迹的物体运动中的至少之一,以及
其中,在无人驾驶车辆处接收远程操作信号包括接收对改变物体的分类或忽略物体中的至少一个的指导。
10.一种用于协助操作无人驾驶车辆的远程操作系统,所述无人驾驶车辆包括车辆控制器,并且配置为根据与第一操作参数相关联的第一操作模式经由车辆控制器沿着道路网络根据从第一地理方位到与第一地理方位分离的目的地的路径自主地操作,所述远程操作系统包括:
远程操作接收器,其配置成接收传感器数据,所述传感器数据与从与无人驾驶车辆相关联的一个或多个传感器接收的传感器信号相关联,所述传感器数据与无人驾驶车辆的操作有关;
远程操作界面,其配置用于促进:
至少部分地基于与从与无人驾驶车辆相关联的一个或多个传感器接收的传感器信号相关联的传感器数据来确定无人驾驶车辆在第二地理区域中;以及
将第二地理区域分类为对应于车辆控制器将根据与第二操作参数相关联的第二操作模式在其中操作无人驾驶车辆的区域,其中,第二操作参数中的至少一个不同于对应的第一操作参数;以及
远程操作发射器,其被配置为向无人驾驶车辆发送远程操作信号,所述远程操作信号向车辆控制器提供指导以在第二地理区域中操作时从第一操作模式切换到第二操作模式。
11.根据权利要求10所述的远程操作系统,其特征在于,所述第二操作参数包括第二性能参数、第二车辆操作策略、第二车辆操作法则或第二车辆操作规则中的至少一个。
12.根据权利要求10所述的远程操作系统,其特征在于,所述第二地理区域对应于施工区、学校区、洪水区、事故区、游行区、特殊事件区或与缓慢交通状况相关联的区域中的至少一个。
13.根据权利要求10所述的远程操作系统,其特征在于,所述车辆控制器被配置为使无人驾驶车辆在行车通道的虚拟边界内操作,所述行车通道具有通道宽度和在无人驾驶车辆的行进方向上延伸的通道长度,并且其中提供指导的远程操作信号使车辆控制器改变虚拟边界,从而车辆控制器确定针对绕行第二地理区域或经过第二地理区域中至少一项的修正轨迹。
14.根据权利要求10所述的远程操作系统,其特征在于,所述传感器信号包括指示将无人驾驶车辆附近环境中存在的物体分类为属于对应于一区域的一组物体的传感器信号,并且所述远程操作信号包括用于改变物体的分类或忽略物体中至少一项的指导。
15.根据权利要求10所述的远程操作系统,其特征在于,所述远程操作信号包括用于根据第二操作模式来操作第二地理区域中的多个无人驾驶车辆中的至少一些的指导。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/644,267 US10386836B2 (en) | 2017-07-07 | 2017-07-07 | Interactions between vehicle and teleoperations system |
US15/644,310 | 2017-07-07 | ||
US15/644,310 US10606259B2 (en) | 2017-07-07 | 2017-07-07 | Interactions between vehicle and teleoperations system |
US15/644,267 | 2017-07-07 | ||
PCT/US2018/040599 WO2019010128A1 (en) | 2017-07-07 | 2018-07-02 | INTERACTIONS BETWEEN A VEHICLE AND A TELEOPERATION SYSTEM |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110869866A true CN110869866A (zh) | 2020-03-06 |
CN110869866B CN110869866B (zh) | 2024-09-06 |
Family
ID=63080511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880045452.8A Active CN110869866B (zh) | 2017-07-07 | 2018-07-02 | 车辆与远程操作系统之间的交互 |
Country Status (4)
Country | Link |
---|---|
EP (2) | EP3649525B1 (zh) |
JP (2) | JP7136881B2 (zh) |
CN (1) | CN110869866B (zh) |
WO (1) | WO2019010128A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111547065A (zh) * | 2020-05-07 | 2020-08-18 | 新石器慧通(北京)科技有限公司 | 一种无人车辆远程控制器控制方法、控制器及控制系统 |
CN113379478A (zh) * | 2020-03-10 | 2021-09-10 | 丰田自动车株式会社 | 信息处理装置、信息处理系统以及信息处理方法 |
CN113778067A (zh) * | 2020-06-09 | 2021-12-10 | 宝马股份公司 | 驾驶车辆的方法 |
JP2022040060A (ja) * | 2020-08-27 | 2022-03-10 | ネイバーラボス コーポレーション | ロボット管制方法及びシステム |
CN114162137A (zh) * | 2020-09-10 | 2022-03-11 | 华为技术有限公司 | 自动驾驶方法及装置 |
US11733708B2 (en) * | 2019-08-23 | 2023-08-22 | Toyota Jidosha Kabushiki Kaisha | Autonomous driving system |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11556124B2 (en) | 2018-12-28 | 2023-01-17 | Beijing Voyager Technology Co., Ltd | System and method for updating vehicle operation based on remote intervention |
US11720094B2 (en) | 2018-12-28 | 2023-08-08 | Beijing Voyager Technology Co., Ltd. | System and method for remote intervention of vehicles |
CN109709966B (zh) * | 2019-01-15 | 2021-12-07 | 阿波罗智能技术(北京)有限公司 | 用于无人车的控制方法和装置 |
DE102019202107B3 (de) * | 2019-02-18 | 2020-04-23 | Zf Friedrichshafen Ag | Kollisionsvermeidung einer autonomen Landmaschine |
JP7220386B2 (ja) * | 2020-12-02 | 2023-02-10 | パナソニックIpマネジメント株式会社 | 車両、及び、制御装置 |
CN112700668B (zh) * | 2020-12-22 | 2022-08-02 | 北京百度网讯科技有限公司 | 自动驾驶的远程控制方法、自动驾驶车辆及云端设备 |
CN114973736A (zh) * | 2022-05-30 | 2022-08-30 | 东风汽车集团股份有限公司 | 基于虚拟仿真的远程驾驶监控系统 |
JP7496447B2 (ja) | 2022-09-12 | 2024-06-06 | ソフトバンク株式会社 | 監視支援システム、監視支援装置の制御方法、及び監視支援装置の制御プログラム |
DE102022125794A1 (de) | 2022-10-06 | 2024-04-11 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit fahrzeugexternen Sensorinformationen für einen Fernsteuerer, sowie elektronisches Fernsteuerungssystem |
WO2024177845A1 (en) * | 2023-02-23 | 2024-08-29 | Tusimple, Inc. | Autonomous vehicle control based on hand signal intent detection |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040090117A1 (en) * | 2000-07-26 | 2004-05-13 | Ingo Dudeck | Automatic brake and steering system and method for a vehicle |
US9008890B1 (en) * | 2013-03-15 | 2015-04-14 | Google Inc. | Augmented trajectories for autonomous vehicles |
US20150314780A1 (en) * | 2014-04-30 | 2015-11-05 | Here Global B.V. | Mode Transition for an Autonomous Vehicle |
CN106458218A (zh) * | 2014-03-04 | 2017-02-22 | 谷歌公司 | 报告并且与其它车辆共享道路事件数据 |
US20170123419A1 (en) * | 2015-11-04 | 2017-05-04 | Zoox, Inc. | Machine-learning systems and techniques to optimize teleoperation and/or planner decisions |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9465388B1 (en) * | 2014-03-03 | 2016-10-11 | Google Inc. | Remote assistance for an autonomous vehicle in low confidence situations |
WO2017014012A1 (ja) | 2015-07-22 | 2017-01-26 | 本田技研工業株式会社 | 経路生成装置、経路生成方法、および経路生成プログラム |
-
2018
- 2018-07-02 JP JP2020500149A patent/JP7136881B2/ja active Active
- 2018-07-02 EP EP18749660.9A patent/EP3649525B1/en active Active
- 2018-07-02 CN CN201880045452.8A patent/CN110869866B/zh active Active
- 2018-07-02 EP EP21192991.4A patent/EP3936966B1/en active Active
- 2018-07-02 WO PCT/US2018/040599 patent/WO2019010128A1/en unknown
-
2022
- 2022-09-01 JP JP2022139243A patent/JP7433391B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040090117A1 (en) * | 2000-07-26 | 2004-05-13 | Ingo Dudeck | Automatic brake and steering system and method for a vehicle |
US9008890B1 (en) * | 2013-03-15 | 2015-04-14 | Google Inc. | Augmented trajectories for autonomous vehicles |
CN106458218A (zh) * | 2014-03-04 | 2017-02-22 | 谷歌公司 | 报告并且与其它车辆共享道路事件数据 |
US20150314780A1 (en) * | 2014-04-30 | 2015-11-05 | Here Global B.V. | Mode Transition for an Autonomous Vehicle |
US20170123419A1 (en) * | 2015-11-04 | 2017-05-04 | Zoox, Inc. | Machine-learning systems and techniques to optimize teleoperation and/or planner decisions |
WO2017079474A2 (en) * | 2015-11-04 | 2017-05-11 | Zoox, Inc. | Machine-learning systems and techniques to optimize teleoperation and/or planner decisions |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11733708B2 (en) * | 2019-08-23 | 2023-08-22 | Toyota Jidosha Kabushiki Kaisha | Autonomous driving system |
CN113379478A (zh) * | 2020-03-10 | 2021-09-10 | 丰田自动车株式会社 | 信息处理装置、信息处理系统以及信息处理方法 |
CN111547065A (zh) * | 2020-05-07 | 2020-08-18 | 新石器慧通(北京)科技有限公司 | 一种无人车辆远程控制器控制方法、控制器及控制系统 |
CN111547065B (zh) * | 2020-05-07 | 2022-01-11 | 新石器慧通(北京)科技有限公司 | 一种无人车辆远程控制器控制方法、控制器及控制系统 |
CN113778067A (zh) * | 2020-06-09 | 2021-12-10 | 宝马股份公司 | 驾驶车辆的方法 |
JP2022040060A (ja) * | 2020-08-27 | 2022-03-10 | ネイバーラボス コーポレーション | ロボット管制方法及びシステム |
JP7370362B2 (ja) | 2020-08-27 | 2023-10-27 | ネイバーラボス コーポレーション | ロボット管制方法及びシステム |
US12072701B2 (en) | 2020-08-27 | 2024-08-27 | Naver Labs Corporation | Control method and system for robot |
CN114162137A (zh) * | 2020-09-10 | 2022-03-11 | 华为技术有限公司 | 自动驾驶方法及装置 |
WO2022052872A1 (zh) * | 2020-09-10 | 2022-03-17 | 华为技术有限公司 | 自动驾驶方法及装置 |
CN114162137B (zh) * | 2020-09-10 | 2024-09-24 | 华为技术有限公司 | 自动驾驶方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3936966A1 (en) | 2022-01-12 |
WO2019010128A8 (en) | 2020-01-09 |
EP3649525A1 (en) | 2020-05-13 |
JP7136881B2 (ja) | 2022-09-13 |
EP3936966B1 (en) | 2023-05-03 |
EP3649525B1 (en) | 2021-09-22 |
JP2022164868A (ja) | 2022-10-27 |
JP7433391B2 (ja) | 2024-02-19 |
JP2020526832A (ja) | 2020-08-31 |
CN110869866B (zh) | 2024-09-06 |
WO2019010128A1 (en) | 2019-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11809178B2 (en) | Interactions between vehicle and teleoperations system | |
JP7433391B2 (ja) | 車両とテレオペレーションシステムとの間の対話 | |
US10386836B2 (en) | Interactions between vehicle and teleoperations system | |
US11366471B2 (en) | Teleoperator situational awareness | |
US11532167B2 (en) | State machine for obstacle avoidance | |
US11878683B1 (en) | Automated system and method for modeling the behavior of vehicles and other agents | |
EP3444159B1 (en) | Multi-modal switching on a collision mitigation system | |
US11427191B2 (en) | Obstacle avoidance action | |
US10816987B2 (en) | Responsive vehicle control | |
CN113968216B (zh) | 一种车辆碰撞检测方法、装置及计算机可读存储介质 | |
WO2020097011A2 (en) | Vehicle trajectory modification for following | |
CN112204634A (zh) | 驱动包络确定 | |
KR20190030199A (ko) | 차량들의 감독 제어 | |
US20190054922A1 (en) | Systems and methods for automatically passing vehicles | |
US11657714B2 (en) | Enhanced travel modes for vehicles | |
CN114435393B (zh) | 用于自主驾驶系统的对轨道智能体的行为预测 | |
CN114651286A (zh) | 避障动作 | |
CN112829762A (zh) | 一种车辆行驶速度生成方法以及相关设备 | |
CN115443233A (zh) | 针对协作车辆引导的遥操作 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |