CN114730188B - 自主运载工具的安全性保证远程驾驶 - Google Patents

自主运载工具的安全性保证远程驾驶 Download PDF

Info

Publication number
CN114730188B
CN114730188B CN202080079159.0A CN202080079159A CN114730188B CN 114730188 B CN114730188 B CN 114730188B CN 202080079159 A CN202080079159 A CN 202080079159A CN 114730188 B CN114730188 B CN 114730188B
Authority
CN
China
Prior art keywords
virtual
vehicle
route
virtual path
virtual vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080079159.0A
Other languages
English (en)
Other versions
CN114730188A (zh
Inventor
C·奥斯塔弗尤
T·阿吉亚尔
A·柯巴施
D·伊尔斯特鲁普
S·哈加里博马纳哈利
谭启展
T·塞弗-普利萨特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan North America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan North America Inc filed Critical Nissan North America Inc
Publication of CN114730188A publication Critical patent/CN114730188A/zh
Application granted granted Critical
Publication of CN114730188B publication Critical patent/CN114730188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244—Optic
    • G05D1/2245—Optic providing the operator with a purely computer-generated representation of the environment of the vehicle, e.g. virtual reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/227—Handing over between remote control and on-board control; Handing over between remote control arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/20—Specific applications of the controlled vehicles for transportation
    • G05D2105/22—Specific applications of the controlled vehicles for transportation of humans
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00—Specific environments of the controlled vehicles
    • G05D2107/10—Outdoor regulated spaces
    • G05D2107/13—Spaces reserved for vehicle traffic, e.g. roads, regulated airspace or regulated waters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

用于行驶通过运输网络的设备进行方法，该方法包括：生成显示，该显示包括通过运输网络的路线辅助的起始地点周围的地理区域和起始地点处的虚拟运载工具；以及使用虚拟运载工具形成用于路线辅助的虚拟路径。虚拟路径包括第一部分和第二部分，第一部分是通过在自主运载工具(AV)处于起始地点时使虚拟运载工具从所述起始地点前进而获得的，第二部分是通过在虚拟运载工具离开起始地点之后从虚拟运载工具起通过地理区域到路线辅助的停止地点或结束地点进行外推而获得的。

Description

自主运载工具的安全性保证远程驾驶
技术领域
本申请涉及自主运载工具，包括用于支持自主运载工具通过运输网络的行驶的方法、设备、系统和非暂时性计算机可读介质。
背景技术
增加的自主运载工具使用创造了更高效地移动乘客和货物通过运输网络的潜力。此外，自主运载工具的使用可以得到改善的运载工具安全性和在运载工具之间的更有效的通信。然而，自主运载工具可能遇到在没有辅助的情况下无法处理的行驶通过运输网络的状况。
发明内容
本文公开了用于在对自主运载工具的远程支持期间进行安全性保证的方面、特征、要素和实现。
所公开的实现的方面是一种用于行驶通过运输网络的设备，包括：通信装置；以及处理器，所述处理器与所述通信装置连接并且被配置为进行方法。所述方法包括：生成显示，所述显示包括用于使自主运载工具即AV通过所述运输网络的路线辅助的起始地点周围的地理区域以及所述起始地点处的虚拟运载工具；使用所述虚拟运载工具形成用于所述路线辅助的虚拟路径，所述虚拟路径包括：第一部分，所述第一部分是通过在所述AV处于所述起始地点时使所述虚拟运载工具从所述起始地点前进而获得的；以及第二部分，所述第二部分是通过在所述虚拟运载工具离开所述起始地点之后从所述虚拟运载工具起朝向所述路线辅助的停止地点或结束地点进行外推而获得的；以及在所述虚拟运载工具朝向所述结束地点前进时(即，正在形成所述第二部分时)，经由所述通信装置将沿着所述虚拟路径的点连续地发送到所述AV的轨迹规划器，其中，所述轨迹规划器生成符合所述虚拟路径的针对所述AV的路线。
所公开的实现的方面是一种用于行驶通过运输网络的系统，包括：通信装置以及处理器，所述处理器与所述通信装置连接并且被配置为进行方法。所述方法包括：经由所述通信装置发送针对AV的通过所述运输网络的路线辅助的请求，其中，所述请求包括所述路线辅助的起始地点；以及连续地接收沿着用于所述路线辅助的虚拟路径的点，所述虚拟路径通过以下步骤创建：生成显示，所述显示包括所述起始地点周围的地理区域和所述起始地点处的虚拟运载工具；以及使用所述虚拟运载工具形成所述虚拟路径，所述虚拟路径包括：第一部分，所述第一部分是通过在所述AV处于所述起始地点时使所述虚拟运载工具从所述起始地点前进而获得的；以及第二部分，所述第二部分是通过在所述虚拟运载工具离开所述起始地点之后从所述虚拟运载工具起通过所述地理区域到所述路线辅助的停止地点或结束地点进行外推而获得的。在所述虚拟运载工具前进通过所述地理区域时经由所述通信装置连续地接收沿着所述虚拟路径的所述点。所述设备还包括轨迹规划器，用于在避开附近的静态或动态对象时使用所述点来生成符合所述虚拟路径的针对所述AV的路线；以及轨迹跟随器，用于生成所述AV的控制输入，以在所述虚拟运载工具前进通过所述地理区域时跟随所述路线。
所公开的实现的方面是一种用于行驶通过运输网络的自主运载工具即AV，包括：通信装置；以及一个或多于一个处理器，其与所述通信装置连接并且实现轨迹规划器和轨迹跟随器。所述轨迹规划器被配置为：通过所述通信装置连续地接收沿着通过所述运输网络的路线辅助用的虚拟路径的点，所述虚拟路径通过以下步骤创建：生成显示，所述显示包括所述路线辅助的起始地点周围的地理区域和所述起始地点处的虚拟运载工具；以及使用所述虚拟运载工具形成所述虚拟路径。所述虚拟路径包括：第一部分，所述第一部分是通过在所述AV处于所述起始地点时使所述虚拟运载工具从所述起始地点前进而获得的；以及第二部分，所述第二部分是通过在所述虚拟运载工具离开所述起始地点之后从所述虚拟运载工具起通过所述地理区域到所述路线辅助的停止地点或结束地点进行外推而获得的。所述轨迹规划器在所述虚拟运载工具前进通过所述地理区域时经由所述通信装置连续地接收沿着所述虚拟路径的所述点。所述轨迹规划器也被配置为使用点来生成符合所述虚拟路径的针对所述AV的路线。所述轨迹跟随器被配置为生成所述AV的控制输入，以在避开附近的静态或动态对象时并且在所述虚拟运载工具形成所述虚拟路径的所述第二部分时跟随所述路线。
在以下实施例的详细说明、所附权利要求书和附图中公开了本公开的这些和其他方面。
附图说明
当结合附图阅读时，所公开的技术从以下详细说明中最好地理解。需要强调的是，根据惯例，附图的各种特征可能不是按比例的。相反，为清楚起见，各种特征的尺寸可以任意扩大或缩小。此外，除非另有说明，否则相同的附图标记在整个附图中指代相同的要素。
图1是可以实现本文所公开的方面、特征和要素的运载工具的一部分的示例的图。
图2是可以实现本文所公开的方面、特征和要素的运载工具运输和通信系统的一部分的示例的图。
图3是根据本公开的实现的用于行驶通过运输网络的系统的图。
图4A至4F是使用虚拟运载工具模拟形成虚拟路径的图。
图5A至5F是展示用于远程支持的显示以及符合避开外部对象的虚拟路径的针对AV的路线的屏幕截图。
图6A至6E是展示用于远程支持的显示以及符合与外部对象发生干扰的虚拟路径的针对AV的路线的屏幕截图。
图7是示出符合与外部对象发生干扰的虚拟路径的针对AV的替代路线的图。
具体实施方式
诸如自主运载工具或半自主运载工具等的运载工具可以穿过运载工具运输网络的一部分。半自主运载工具可以是包括高级驾驶员辅助系统(ADAS)的运载工具。ADAS可以自动化、适配和/或增强运载工具系统以实现安全性和更好的驾驶，以诸如规避和/或校正驾驶员错误等。自主运载工具和半自主运载工具在本文中可以统称为自主运载工具(AV)。运载工具运输网络可以包括一个或多于一个不可导航区域，诸如建筑物等；一个或多于一个部分可导航区域，诸如停放区域(例如，停车场、停放空间等)等；一个或多于一个可导航区域，诸如道路(其包括车道、中心线、交叉路口等)等；或其组合。
运载工具可以包括一个或多于一个传感器。穿过运载工具运输网络可以包括传感器生成或捕获传感器数据，诸如与运载工具的操作环境或其一部分相对应的数据等。例如，传感器数据可以包括与一个或多于一个外部对象(或简称为对象)相对应的信息。
外部对象可以是静态对象。静态对象是静止的并且预期在接下来的几秒内不移动的对象。静态对象的示例包括没有骑车者的自行车、冷藏运载工具(cold vehicle)、空运载工具、路标、墙壁、建筑物、坑洞等。
外部对象可以是停止对象。停止对象是静止的但可能在任何时间移动的对象。停止对象的示例包括停止在交通信号灯处的运载工具和其中具有乘员(例如，驾驶员)的在道路一侧的运载工具。在一些实现中，停止对象被认为是静态对象。
外部对象可以是动态(即，移动)对象，诸如行人、远程运载工具、摩托车、自行车等。动态对象可以是迎面而来的(朝向运载工具的)，或者可以在与运载工具相同的方向上移动。动态对象可以相对于运载工具纵向或横向移动。静态对象可以变成动态对象，并且反之动态对象也可以变成静态对象。
穿过运载工具运输网络(例如，在运载工具运输网络内驾驶)可被认为是机器人行为。也就是说，可以预料运载工具对某些情形(例如，交通或道路情形)的可预测响应。例如，交通情形的观察者可以预料运载工具在接下来的几秒内的响应将是什么。也就是说，例如，虽然驾驶环境(即，运载工具运输网络、行车道)可能是动态的，但是可以预测/预料诸如由运载工具(即，由人驾驶、远程操作等)等对道路状况的响应。
因为穿过运载工具运输网络受到道路规则(例如，向左转的运载工具必须让路于迎面而来的交通、运载工具必须在车道标记之间驾驶)、社会惯例(例如，在stop(停止)标志处，向右侧的驾驶员让行)和物理限制(例如，静止对象不会立即横向移动到运载工具的通行权中)管理，因此可以预测(一个或多于一个)响应。
然而，AV可能在行驶期间遇到无法通过使用其传感器和预测技术完全解决的状况或状况的组合。也就是说，例如，可能发生可能导致AV的不自然(例如，不舒适的、刺耳的等)驾驶行为或瘫痪(例如，AV的算法无法解决所感知和/或预测的碰撞以及/或者无法对所感知和/或预测的碰撞做出反应)的状况。AV可能需要穿过未绘制成地图的地理区域、未标记的地理区域或者既未标记又未绘制成地图的地理区域。AV可能需要由于施工而修改其现有路径，这将诸如通过轧过路缘或移出车道等而违反AV的编程。在这种实例和其他实例下，AV可以请求远程辅助。远程辅助使得能够从起始点(通常在AV请求辅助时)到结束点(通常在AV通行返回到其不再需要辅助的区域之后(例如，在障碍物之后进入运载工具运输区域的已标记的、绘制成地图的部分等))进行运载工具的实时控制。
这种远程辅助(在本文中也称为遥操作)需要高带宽、低延迟通信以用于运载工具的实时控制。不幸的是，对于AV可能遇到的所有状况，不能确保具有这些特性的通信。另一替代方案是利用远程操作者来手动绘制发送到AV以被执行的路径。这种形式的遥操作可能非常慢，因为手动绘制路径的一部分，运载工具执行该部分，然后绘制下一部分，等等。
期望在保证AV的安全性的同时能够使得在不需要低延迟、高带宽通信的情况下进行实时远程驾驶的远程辅助。根据本公开的实现描述了远程辅助，由此基于由AV产生的图像、对象和可驾驶区域来实时控制虚拟运载工具。虚拟运载工具可以形成、跟踪或以其他方式生成连续发送到AV的虚拟路径。AV可以使用安全性保证用的可用车载感测来基本上跟随虚拟路径。以这种方式，远程操作者能够基本上实时地远程驾驶，同时系统能够缓和关于控制回路的延迟问题和与带宽限制相关的安全性问题。所描述的基本上实时的遥操作可以限制为最大AV速率，该最大AV速率取决于例如通信速率和潜在的其他因素。
为了更详细地描述本文中的教示的一些实现，首先参考可实现本发明的环境。
图1是可以实现本文所公开的方面、特征和要素的运载工具100的一部分的示例的图。运载工具100包括底盘102、动力总成104、控制器114、轮132/134/136/138，并且可以包括运载工具的任何其他元件或元件的组合。尽管为了简单起见，运载工具100被示为包括四个轮132/134/136/138，但是可以使用诸如推动器或踏步板等的任何其它推进装置。在图1中，在诸如动力总成104、控制器114和轮132/134/136/138等的元件之间互连的线指示诸如数据或控制信号等的信息、诸如电力或扭矩等的动力、或者信息和动力这两者可以在相应元件之间通信。例如，控制器114可以从动力总成104接收动力，并且可以与动力总成104、轮132/134/136/138或这两者进行通信以控制运载工具100，这可以包括对运载工具100进行加速、减速、转向或以其它方式进行控制。
动力总成104包括动力源106、变速器108、转向单元110、运载工具致动器112，并且可以包括动力总成的任何其他元件(诸如悬架、驱动轴、轮轴或排气系统等)或元件的组合。尽管单独示出，但是轮132/134/136/138可以包括在动力总成104中。
动力源106可以是可操作地提供诸如电能、热能或动能等的能量的任何装置或装置组合。例如，动力源106包括诸如内燃机、电动马达、或内燃机和电动马达的组合等的引擎，并且可操作地向轮132/134/136/138中的一个或多于一个提供动能作为原动力。在一些实施例中，动力源106包括潜在能量单元，诸如一个或多于一个干电池(诸如镍镉(NiCd)电池、镍锌(NiZn)电池、镍氢(NiMH)电池、锂离子(Li离子)电池等)、太阳能电池、燃料电池或能够提供能量的任何其它装置等。
变速器108从动力源106接收诸如动能等的能量，并且将能量发送至轮132/134/136/138以提供原动力。变速器108可以由控制器114、运载工具致动器112或这两者控制。转向单元110可以由控制器114、运载工具致动器112或这两者控制，并且控制轮132/134/136/138以使运载工具转向。运载工具致动器112可以接收来自控制器114的信号，并且可以致动或控制动力源106、变速器108、转向单元110或其任何组合以操作运载工具100。
在所示实施例中，控制器114包括定位单元116、电子通信单元118、处理器120、存储器122、用户接口124、传感器126和电子通信接口128。尽管被示为单个单元，但控制器114的任意一个或多于一个元件可以集成到任意数量的单独物理单元中。例如，用户接口124和处理器120可以集成在第一物理单元中，并且存储器122可以集成在第二物理单元中。尽管在图1中未示出，但控制器114可以包括诸如电池等的动力源。尽管被示为单独元件，但是定位单元116、电子通信单元118、处理器120、存储器122、用户接口124、传感器126、电子通信接口128或其任何组合可以集成在一个或多于一个电子单元、电路或芯片中。
在一些实施例中，处理器120包括现有的或随后开发的能够操纵或处理信号或其它信息的任何装置或装置组合，例如光学处理器、量子处理器、分子处理器或其组合。处理器120可以包括一个或多于一个专用处理器、一个或多于一个数字信号处理器、一个或多于一个微处理器、一个或多于一个控制器、一个或多于一个微控制器、一个或多于一个集成电路、一个或多于一个专用集成电路、一个或多于一个现场可编程门阵列、一个或多于一个可编程逻辑阵列、一个或多于一个可编程逻辑控制器、一个或多于一个状态机或其任何组合。处理器120可以可操作地与定位单元116、存储器122、电子通信接口128、电子通信单元118、用户接口124、传感器126、动力总成104或其任何组合耦接。例如，处理器可以可操作地经由通信总线130与存储器122耦接。
处理器120可以被配置为执行指令。这样的指令可以包括用于远程操作的指令，该指令可以用于从远程地点(包括操作中心)操作运载工具100。用于远程操作的指令可以存储在运载工具100中或者从外部源(诸如交通管理中心或服务器计算装置等，该服务器计算装置可以包括基于云的服务器计算装置)接收。下面更详细地描述远程操作。
存储器122可以包括任何有形的非暂时性计算机可用或计算机可读介质，其例如能够包含、存储、通信或运输机器可读指令或与其相关联的任何信息以供处理器120或结合处理器120使用。存储器122可以包括例如一个或多于一个固态驱动器、一个或多于一个存储卡、一个或多于一个可移除介质、一个或多于一个只读存储器(ROM)、一个或多于一个随机存取存储器(RAM)、一个或多于一个寄存器、一个或多于一个低功耗双倍数据率(LPDDR)存储器、一个或多于一个高速缓存存储器、一个或多于一个盘(包括硬盘、软盘或光盘)、磁卡或光卡、或适合存储电子信息的任何类型的非暂时性介质或其任何组合。
电子通信接口128可以是能够与有线或无线电子通信介质140相互连接的无线天线(如图所示)、有线通信端口、光通信端口或任何其它有线或无线单元。
电子通信单元118可被配置为经由有线或无线电子通信介质140(诸如经由电子通信接口128等)来发送或接收信号。尽管在图1中没有明确示出，但电子通信单元118被配置为经由任何有线或无线通信介质(诸如射频(RF)、紫外光(UV)、可见光、光纤、有线线路或其组合等)来进行发送、接收或这两者。尽管图1示出单个电子通信单元118和单个电子通信接口128，但是可以使用任意数量的通信单元和任意数量的通信接口。在一些实施例中，电子通信单元118可以包括专用短距离通信(DSRC)单元、无线安全性单元(WSU)、IEEE 802.11p(WiFi-P)或其组合。
定位单元116可以确定运载工具100的地理位置信息，包括但不限于经度、纬度、高度、行驶方向或速率。例如，定位单元包括全球定位系统(GPS)单元，诸如启用广域增强系统(WAAS)的美国国家海洋电子协会(NMEA)单元、无线电三角测量单元或其组合等。定位单元116可以用于获得表示例如运载工具100的当前航向、运载工具100在二维或三维中的当前位置、运载工具100的当前角定向或其组合的信息。
用户接口124可以包括能够被人用作接口的任何单元，包括虚拟键盘、物理键盘、触摸板、显示器、触摸屏、扬声器、麦克风、摄像机、传感器和打印机中的任一个。如图所示，用户接口124可以可操作地与处理器120或者与控制器114的任何其它元件耦接。尽管被示为单个单元，但是用户接口124可以包括一个或多于一个物理单元。例如，用户接口124包括用于与人进行音频通信的音频接口、以及用于与人进行基于视觉和触摸的通信的触摸显示器。
传感器126可以包括能够可操作地提供可用于控制运载工具的信息的一个或多于一个传感器(诸如传感器阵列等)。传感器126可以提供与运载工具的当前操作特性或其周围环境有关的信息。传感器126例如包括可操作地报告与运载工具100的当前动态情形的某些方面有关的信息的速率传感器、加速度传感器、转向角传感器、牵引力相关传感器、制动相关传感器、或者任何传感器或传感器组合。
在一些实施例中，传感器126包括可操作地获得与运载工具100周围的物理环境有关的信息的传感器。例如，一个或多于一个传感器检测道路几何形状和障碍物(诸如固定障碍物、运载工具、骑车者和行人等)。传感器126可以是或者可以包括现在已知的或随后开发的一个或多于一个摄像机、激光感测系统、红外感测系统、声感测系统或者任何其它合适类型的车载环境感测装置或装置组合。可以组合传感器126和定位单元116。
尽管在图1中没有单独示出，但是运载工具100可以包括轨迹控制器。例如，控制器114可以包括轨迹控制器。轨迹控制器可以可操作地获得用于描述运载工具100的当前状态和针对运载工具100所规划的路线的信息，并基于该信息来确定和优化运载工具100的轨迹。在一些实施例中，轨迹控制器输出可操作地控制运载工具100以使得运载工具100跟随轨迹控制器所确定的轨迹的信号。例如，轨迹控制器的输出可以是优化轨迹，该优化轨迹可被供给至动力总成104、轮132/134/136/138或这两者。优化轨迹可以是诸如转向角的集合等的控制输入，其中各转向角与时间点或位置相对应。优化轨迹可以是一个或多于一个路径、线路、曲线或其组合。以下关于图3更加详细地描述轨迹控制器。
轮132/134/136/138中的一个或多于一个轮可以是：在转向单元110的控制下枢转至转向角的转向轮；在变速器108的控制下扭转以推动运载工具100的推动轮；或者对运载工具100进行转向和推动的转向推动轮。
运载工具可以包括图1中未示出的单元或元件，诸如壳体、蓝牙
Figure BDA0003642200390000101
模块、调频(FM)无线电单元、近场通信(NFC)模块、液晶显示器(LCD)显示单元、有机发光二极管(OLED)显示单元、扬声器或其任何组合。
图2是可以实现本文所公开的方面、特征和要素的运载工具运输和通信系统200的一部分的示例的图。运载工具运输和通信系统200包括运载工具202(诸如图1中所示的运载工具100等)和一个或多于一个外部对象(诸如外部对象206等)，该外部对象可以包括任何形式的运输工具(诸如图1中所示的运载工具100等)、行人、骑车者以及任何形式的构造物(诸如建筑物等)。运载工具202可以经由运输网络208的一个或多于一个部分行驶，并且可以经由电子通信网络212中的一个或多于一个与外部对象206通信。尽管未在图2中明确示出，但是运载工具可以穿过未明确或完全包括在运输网络中的区域，诸如越野区域等。在一些实施例中，运输网络208可以包括可用于检测运载工具在运输网络208上的移动的一个或多于一个运载工具检测传感器210(诸如感应回路传感器等)。
电子通信网络212可以是多址系统，其提供在运载工具202、外部对象206和操作中心230之间的通信，诸如语音通信、数据通信、视频通信、消息通信或其组合等。例如，运载工具202或外部对象206可以经由电子通信网络212从操作中心230接收信息，诸如表示运输网络208的信息等。
操作中心230包括控制器设备232，该控制器设备232包括图1所示的控制器114的一些或全部特征。控制器设备232可以监视和协调运载工具(包括自主运载工具)的移动。控制器设备232可以监视运载工具(诸如运载工具202等)和外部对象(诸如外部对象206等)的状态或状况。控制器设备232可以接收运载工具数据和基础设施数据，这些数据包括以下中的任意一个：运载工具速度；运载工具地点；运载工具操作状态；运载工具目的地；运载工具路线；运载工具传感器数据；外部对象速度；外部对象地点；外部对象操作状态；外部对象目的地；外部对象路线；以及外部对象传感器数据。
此外，控制器设备232可以建立对一个或多于一个运载工具(诸如运载工具202等)或外部对象(诸如外部对象206等)的远程控制。以这种方式，控制器设备232可以从远程地点遥操作运载工具或外部对象。控制器设备232可以经由无线通信链路(诸如无线通信链路226等)或有线通信链路(诸如有线通信链路228等)与运载工具、外部对象或计算装置(诸如运载工具运输和通信系统200内的运载工具202、外部对象206或任何其他装置等)交换(发送或接收)状态数据。
在一些实施例中，运载工具202或外部对象206经由有线通信链路228、无线通信链路214/216/224或者任何数量或类型的有线或无线通信链路的组合进行通信。例如，如图所示，运载工具202或外部对象206经由地面无线通信链路214、经由非地面无线通信链路216或经由其组合进行通信。在一些实现中，地面无线通信链路214包括以太网链路、串行链路、蓝牙链路、红外(IR)链路、紫外(UV)链路或能够进行电子通信的任何链路。
诸如运载工具202等的运载工具或诸如外部对象206等的外部对象可以与其他运载工具、外部对象或操作中心230进行通信。例如，主运载工具或对象运载工具202可以经由直接通信链路224或经由电子通信网络212从操作中心230接收一个或多于一个自动化运载工具间消息，诸如基本安全性消息(BSM)等。例如，操作中心230可以将消息广播到在限定的广播范围(诸如三百米等)内的主运载工具，或者广播到限定的地理区域。在一些实施例中，运载工具202经由第三方(诸如信号中继器(未示出)或其他远程运载工具(未示出)等)接收消息。在一些实施例中，运载工具202或外部对象206基于限定的间隔(诸如一百毫秒等)周期性地发送一个或多于一个自动化运载工具间消息。
运载工具202可以经由接入点218与电子通信网络212进行通信。可以包括计算装置的接入点218被配置为经由有线通信链路220或无线通信链路214与运载工具202、电子通信网络212、操作中心230或其组合进行通信。例如，接入点218是基站、基站收发信台(BTS)、节点B、增强型节点B(eNode-B)、家庭节点B(HNode-B)、无线路由器、有线路由器、集线器、中继器、交换机或任何类似的有线或无线装置。尽管被示为单个单元，但是接入点可以包括任意数量的互连元件。
运载工具202可以经由卫星222或其他非地面通信装置与电子通信网络212进行通信。可以包括计算装置的卫星222可以被配置为经由一个或多于一个通信链路216/234与运载工具202、电子通信网络212、操作中心230或其组合进行通信。尽管被示为单个单元，但是卫星可以包括任意数量的互连元件。
电子通信网络212可以是被配置为提供语音、数据或任何其他类型的电子通信的任何类型的网络。例如，电子通信网络212包括局域网(LAN)、广域网(WAN)、虚拟专用网络(VPN)、移动或蜂窝电话网络、互联网或任何其他电子通信系统。电子通信网络212可以使用通信协议，诸如传输控制协议(TCP)、用户数据报协议(UDP)、互联网协议(IP)、实时传输协议(RTP)、超文本传输协议(HTTP)或其组合等。尽管被示为单个单元，但是电子通信网络可以包括任意数量的互连元件。
运载工具202可以经由电子通信网络212、接入点218或卫星222与操作中心230进行通信。操作中心230可以包括一个或多于一个计算装置，该计算装置能够交换(发送或接收)来自运载工具(诸如运载工具202等)的数据；来自外部对象(其包括外部对象206)的数据；或来自运载工具运输和通信系统200内的任何计算装置的数据。
在一些实施例中，运载工具202识别运输网络208的一部分或状况。例如，运载工具202可以包括一个或多于一个车载传感器204(诸如图1所示的传感器126等)，该车载传感器204包括速率传感器、轮速传感器、照相机、陀螺仪、光学传感器、激光传感器、雷达传感器、声波传感器或者能够确定或识别运输网络208的部分或状况的任何其他传感器或装置或其组合。
运载工具202可以使用经由电子通信网络212通信的信息(诸如表示运输网络208的信息、由一个或多于一个车载传感器204识别的信息或其组合等)穿过运输网络208的一个或多于一个部分。外部对象206可以能够进行上面关于运载工具202所描述的所有或一些通信和动作。
为了简单起见，图2示出作为主运载工具的运载工具202、外部对象206、运输网络208、电子通信网络212和操作中心230。然而，可以使用任意数量的运载工具、网络或计算装置。在一些实施例中，运载工具运输和通信系统200包括图2中未示出的装置、单元或元件。
尽管运载工具202被示为经由电子通信网络212与操作中心230进行通信，但是运载工具202(和外部对象206)可以经由任意数量的直接或间接通信链路与操作中心230进行通信。例如，运载工具202或外部对象206可以经由直接通信链路(诸如蓝牙通信链路等)与操作中心230进行通信。尽管为了简单起见，图2示出运输网络208中的一个和电子通信网络212中的一个，但是可以使用任意数量的网络或通信装置。
外部对象206在图2中被示为第二远程运载工具。外部对象不限于其他运载工具。外部对象可以是具有向操作中心230发送数据的能力的其他对象或任何基础设施元素，例如栅栏、标志、建筑物等。通信到操作中心230的数据可以是例如来自基础设施元件的传感器数据。
图3是根据本文教导的实现的用于行驶通过运输网络的系统300的图。图3示出系统300的组件的一个示例，但是如下所述，其他组件也是可能的。如图所示的系统300包括远程支持300A和AV 300B。在示例中，远程支持300A可以由操作中心230实现。AV 300B可以由诸如AV 100或AV 202等的任何自主或半自主运载工具实现。远程支持300A可以向AV 300B供给路线辅助。
系统300包括通信装置和处理器。系统300可以包括多于一个通信装置、多于一个处理器或这两者。例如，系统300的远程支持300A可以包括处理器或其他计算装置(诸如图2所示的控制器设备232等)。远程支持300A可以包括与处理器连接并且能够通过例如电子通信网络212与运载工具运输和通信系统200的元件进行通信的任何有线或无线通信装置。例如，远程支持300A可以包括处理器(诸如上面关于图1所描述的处理器120等)和通信装置(诸如也在上面关于图1所描述的电子通信单元118等)。
系统300的远程支持300A包括远程支持显示302、人机接口304和可以由通信装置和处理器实现的虚拟AV模拟器306。处理器可以进行包括生成显示302的方法。显示302包括用于使AV通过运输网络(诸如关于图2所描述的运输网络208等)的路线辅助的起始地点周围的地理区域。显示302还包括起始地点处的虚拟运载工具。如下面更详细地讨论的，可以通过从AV接收图像、并且将从该图像导出的对象和可驾驶区域包括在显示302中来生成显示302。可以通过针对AV接收到通过运输网络的路线辅助的请求来启用(即，开始、发起)远程支持300A。
该请求可以由通信装置例如从AV或AV的操作者或乘客接收。该请求可以包括起始地点。可替代地，在接收到该请求的时刻或之后不久(例如，在来自AV的数据的下一采样间隔)，可以从AV检索到起始地点作为AV的目前位置。该请求可以可选地包括路线辅助的结束地点。可替代地或附加地，结束地点可以由通信装置诸如在路线辅助期间等所接收到的其他消息、信号或通信来识别。结束地点可以由远程支持300A确定。例如，该请求可以包括对通过运输网络208的未绘制成地图的部分的路线辅助的请求，并且可以包括未绘制成地图的部分毗邻(例如，进入)运输网络208的绘制成地图的部分处的地点(即，起始地点)。结束地点可以由远程支持300A确定为运输网络208的毗邻(例如，离开)未绘制成地图的部分的另一绘制成地图的部分。
该方法还可以包括使用虚拟运载工具形成用于路线辅助的虚拟路径。可以参考图4A至4F更详细地描述形成虚拟路径，其中图4A至4F是模拟使用虚拟运载工具形成虚拟路径的图。
在图4A中，虚拟运载工具402在起始地点400处(在图4D和4E中最佳示出)。在该示例中，AV 404与虚拟运载工具402共同定位在起始地点400处，但是AV 404可以从显示中省略。无论是否显示AV 404，虚拟运载工具402都期望在起始地点400处处于与AV 404相同的姿势。左边界和右边界沿着虚拟运载工具402的左侧和右侧横向延伸。左边界和右边界可以距AV 404的左侧和右侧限定距离。该限定距离可以基于AV 404距可能的外部对象的期望间隙。例如，停放的运载工具的门可以打开。由于轿厢门的最大尺寸约为1米，因此虚拟运载工具402与左边界和右边界中的各个边界之间的限定距离可以是1米。限定距离可以基于驾驶员或操作者间隔容忍度(spacing tolerance)。限定距离可以变化，以诸如考虑外部对象的存在等。例如，当显示302中不存在外部对象时，限定距离可以是第一值，并且当显示302中存在外部对象时，限定距离可以是小于第一值的第二值。左边界和右边界可以与虚拟运载工具402(并且因此与AV 404)间隔开不同的距离(例如，在AV 404的一侧存在外部对象而另一侧不存在外部对象的情况下、或者在AV 404的相对侧上存在导致两个不同的限定距离的两个不同的外部对象的情况下)。
可以使用多于一个左边界和多于一个右边界。如图4A至4F的示例中所示，左边界和右边界包括左内边界406A和右内边界406B以及左外边界408A和右外边界408B。左内边界406A和右内边界406B与AV 404相距第一距离，并且左外边界408A和右外边界408B与AV 404相距大于第一距离的第二距离。第一距离和第二距离可以符合上述可能的限定距离中的一个或多于一个。例如，第一距离可以基于驾驶员或操作者间隔容忍度(例如，驾驶员或操作者在通过附近的外部对象的情况下的舒适水平)，而第二距离基于轿厢门的最大尺寸。以这种方式，例如，左内边界406A和右内边界408A可以限定软界限，并且左外边界406B和右外边界408B可以限定硬界限。硬界限使得：如果下面讨论的路线412跨过硬界限，则可能与另一对象的碰撞。另一方面，软界限使得：如果路线412跨过软界限，则AV的所产生的运动可能是非法的和/或不舒适的，但是碰撞是不太可能的。
通过使虚拟运载工具402从AV 404的起始地点400前进来获得虚拟路径410的第一部分。这可以通过参考图4B至4D看出。在图4B中，虚拟运载工具402从起始地点400前进。此时，AV 404可以保持在起始地点400处。如图4C所示，虚拟运载工具402进一步前进，从而延伸虚拟路径410的第一部分的长度，并且变得与处于起始地点400处的AV 404更间隔开。虚拟路径410的第一部分可以通过在使虚拟运载工具402前进期间记录虚拟运载工具402所采取的路径来获得。可以以限定的间隔进行记录。除了各个点处的位置之外，记录路径还可以包括记录虚拟运载工具402的姿势。
根据期望的路线辅助，在虚拟运载工具402离开起始地点400之后，根据从虚拟运载工具402起通过AV 404所在的地理区域进行外推来获得虚拟路径410的第二部分。虚拟路径410的第二部分可以从第一部分的结束延伸到路线辅助的停止地点或结束地点。停止地点是在行驶到结束地点时的临时停止，诸如交叉路口或其他临时停止等。在一些情况下，考虑到虚拟运载工具(诸如虚拟运载工具402等)的姿势和速度，该第二部分可以基于到静止位置(即，停止地点或结束地点)的(例如，恒定的)减速。可以以与用于记录虚拟运载工具402的路径以获得虚拟路径410的第一部分的限定间隔相同的限定间隔来进行根据虚拟运载工具402的外推，使得各个外推的起始是虚拟运载工具402在当前点处的姿势。
在某个点，并且如图4D所示，包括所记录的(即，第一)和所外推的(即，第二)部分的虚拟路径足够长以供AV 404跟随。当虚拟路径满足(例如，包括、符合、等于等)限定量时，虚拟路径可能足够长。限定量可以是虚拟运载工具沿着虚拟路径行驶所花费的距离、时间量、或这些值的组合。限定量可以随着虚拟运载工具402的模拟速率、加速度和/或减速度而变化。例如，限定量可以随着速率更高而减小，并且随着速率更慢而增加。
为了控制虚拟运载工具402，远程支持300A可以包括模拟器，该模拟器包括被配置为从用户接收定义虚拟路径410的输入的接口，该模拟器将与虚拟路径410相对应的输出提供给处理器以用于生成显示，诸如显示302等。用户可以位于远程支持300A的地点处。返回参考图3，接口可以包括向虚拟AV模拟器306提供输入的人机接口304。人机接口304可以包括提供输入信号以模拟虚拟运载工具402的方向变化以及启动、停止、加速和减速的组件。例如，人机接口304可以包括方向盘(如示例所示)或操纵杆以控制虚拟运载工具402的方向。人机接口304可以包括用于使虚拟运载工具402启动和加速的加速踏板。人机接口304可以包括用于使虚拟运载工具402减速和停止的制动踏板。人机接口304可以包括可选组件，诸如离合器、换挡器等。关于运载工具100所描述的其他部组件可以结合到人机接口304中。
人机接口304通过任何有线或无线连接将与用户的控制相对应的输入信号连续地发送到虚拟AV模拟器306。输入信号可以持续(continuously)发送。输入信号可以周期性地发送(诸如每1ms或以某个其他速率等)。虚拟AV模拟器306使用人机接口304从用户接收定义虚拟路径410的输入。来自虚拟AV模拟器306的输出与虚拟路径410相对应(例如，作为定位点)。当虚拟运载工具前进通过地理区域时，远程支持300A例如经由通信装置将沿着虚拟路径410的点连续地发送到AV的轨迹规划器。再次参考图3，并且如下面更详细讨论的，轨迹规划器308使用来自虚拟AV模拟器306的输入，并且生成符合虚拟路径410的针对AV(诸如AV404等)的路线。连续地(continually)发送点可以包括周期性地发送点。本文所描述的点和其他地点可以被识别为GPS坐标、三维(3D)笛卡尔坐标等。
以这种方式，生成诸如显示302等的显示。在图4A至4F的示例中，生成显示包括生成AV 404在起始地点400处的表示，并且连续地更新虚拟运载工具402和虚拟路径410的表示，该虚拟路径410从AV 404延伸到虚拟运载工具402的当前地点(例如，基于所记录的虚拟运载工具402数据的第一部分)，并且从虚拟运载工具402延伸到虚拟路径410的结束(例如，基于外推点的第二部分，该外推点基于虚拟运载工具402在当前地点处的姿势)。当虚拟运载工具402前进通过地理区域时，连续地更新显示中的虚拟运载工具402的表示。如下所述，来自AV的与路线相关的传感器数据对远程支持300A而言也是可用的，使得在AV 404相对于虚拟路径410(例如，沿着虚拟路径410的行驶方向)在虚拟运载工具402之后沿着路线前进时，在显示302内也连续地更新AV 404的表示。
在图4A至4F的各图中通过示例示出由轨迹规划器308针对AV所生成的符合虚拟路径410的路线412。如在图4E和4F中可以更清楚地看到的，路线412由使用虚拟路径410计算出的轨迹形成。关于系统300的AV 300B的描述更详细地说明了这一点。
再次参考图3，系统300的AV 300B可以包括轨迹规划器308、轨迹跟随器310、AV感知和世界模型312、运载工具控制系统314和原始AV传感器316，其中各自可以至少部分地由通信装置和处理器来实现。诸如处理器120等的处理器可以经由通信装置发送通过运输网络的路线辅助的请求。发送到远程支持300A的请求可以包括起始地点，或者可以如上述关于远程支持300A的描述那样随后发送起始地点。图3的轨迹规划器308和轨迹跟随器310可以一起实现上面关于图1所描述的轨迹控制器，以响应于请求而远程控制或辅助AV 300B。
AV 300B的轨迹规划器308可以通过通信装置连续地接收沿着虚拟路径(诸如虚拟路径410等)的点，以用于通过运输网络的路线辅助。轨迹规划器308可以使用这些点针对AV300B生成符合虚拟路径的路线，诸如路线412等。路线可以包括AV 300B的轨迹。例如，轨迹规划器308确定接下来几秒的轨迹。因此，并且在接下来的几秒是接下来6秒(即，6秒的前瞻时间)的示例中，轨迹规划器308从AV的现有(或当前)地点确定该AV在接下来的6秒中的轨迹和地点。如利用图4E和4F中的示例可以看出，可以针对地理区域或运输网络的与AV 300B(诸如AV 404等)的现有地点和虚拟运载工具(诸如虚拟运载工具402等)之间的虚拟路径相对应的部分生成轨迹或路线412。另外，可以针对地理区域或运输网络的延伸超出虚拟运载工具(诸如虚拟运载工具402等)的现有地点的部分生成轨迹或路线412。例如，轨迹规划器308可以使用虚拟路径的点作为输入，以若干时间间隔(例如，每四分之一秒或一些其他时间间隔)确定(例如，预测、计算等)AV的预期地点。路线可以包括基于当前所感知的横向和纵向约束而生成的期望/平滑轨迹。在示例中，轨迹规划器308使用模型预测控制(MPC)方法来生成轨迹。
轨迹规划器308可以接收除虚拟路径410之外的输入以生成路线412。例如，轨迹规划器308可以从AV感知和世界模型312接收输入，如下面更详细所描述的。轨迹规划器308可以接收与如何生成路线412、如何使用轨迹跟随器310生成控制输入或这两者相关的以指令或规则形式的输入。指令或规则可以经由一个或多于一个通信装置从虚拟AV模拟器306发送。下面参考图5A至7描述指令或规则的示例。
轨迹跟随器310被配置为生成对AV 300B的控制输入，以在虚拟路径410(例如，其第二部分)正在形成的同时跟随路线412。在这种情形下，虚拟运载工具402将前进通过地理区域(即，如显示(诸如显示302等)上所示)。控制输入可以被提供给运载工具300B的运载工具控制系统314。运载工具控制系统314可以包括运载工具300B的用于控制运载工具300B的启动、停止、加速、减速和方向的组件(诸如关于图1所描述的动力总成104的组件等)。
对轨迹跟随器310的输入包括来自轨迹规划器308的路线(诸如路线412等)。对轨迹跟随器310的输入还可以包括来自虚拟AV模拟器306的指令或规则、或者来自如下面更详细描述的AV感知和世界模型312的输入。
一旦运载工具控制系统314从轨迹跟随器310接收到控制输入，AV 300B就开始移动，这由图3中的虚线箭头表示。AV传感器(诸如传感器126等)监视在移动期间AV 300B的周围的环境，这由图3中的原始AV传感器316表示。将原始AV传感器数据发信号通知到AV感知和世界模型312。
如本文所实现的AV感知和世界模型312(也称为世界模型312)可以包括具有对AV300B的行为的限定约束的使用原始AV传感器数据的不同方式，以向远程支持300A提供输入，在轨迹规划器308处生成路线，并且在轨迹跟随器310处生成控制输入以跟随路线。在一个示例中，世界模型312接收传感器数据并基于传感器数据维护世界对象，并且预测感知对象的未来行为。
世界模型312从原始AV传感器316(诸如从图1的传感器126等)接收传感器数据，并且根据该传感器数据确定(例如，转换为、检测等)对象。也就是说，例如，世界模型312根据所接收到的传感器数据来确定道路用户和其他对象。例如，世界模型312可以将从光检测和测距(LiDAR)传感器(即，传感器126的示例)接收到的点云转换为对象。可以将来自若干传感器的传感器数据融合在一起，以确定对象(例如，猜测对象的身份)。对象的示例包括自行车、行人、运载工具等。
世界模型312可以接收传感器信息，该传感器信息使得世界模型312能够计算和维护至少一些所检测到的对象的附加信息。例如，世界模型312可以维护至少一些所确定的对象的状态。例如，对象的状态可以包括速度、姿势、几何形状(诸如宽度、高度和深度等)、分类(例如，自行车、大型卡车、行人、道路标志等)和地点中的零个或多于零个。因此，对象的状态包括离散状态信息(例如，分类)和连续状态信息(例如，姿势和速度)。
世界模型312还可以接收诸如高清晰度(HD)地图数据等的输入。HD地图数据是来自可由AV 300B使用的高清晰度(即，高精度)地图的数据。HD地图数据可以包括与运载工具运输网络相关的到几厘米内的准确信息。例如，HD地图数据可以包括与道路车道、道路分隔、交通信号、交通标志和限速等相关的细节。
使用世界模型312的输入，世界模型312可以融合传感器信息，跟踪对象，维护至少一些动态对象的假设列表(例如，对象A可能正在直行、向右转或向左转)，创建和维护各个假设的预测轨迹，并且维护各个假设的似然估计(例如，考虑到对象姿势/速度和轨迹姿势/速度，对象A以90％的概率直行)。姿势可以由坐标(x，y，z)、滚转角、俯仰角和/或横摆角来定义。由世界模型312维护的对象可以包括静态对象、动态对象或这两者。
如上所述，来自世界模型312的输入可以在轨迹规划器308中使用，以(考虑初始状态、期望动作和具有预测轨迹的至少一些被跟踪对象)生成避免碰撞的舒适路线(例如，避免过度加速、过度减速和突然的方向变化的轨迹、路径等)。例如，轨迹规划器308可以接收来自虚拟AV模拟器306的虚拟路线的点、由世界模型312维护的对象(和相应的状态信息)以及来自世界模型312的外部对象的预测轨迹和似然性。轨迹规划器308可以使用至少一些所接收到的信息来确定轨迹(诸如上面关于路线412所描述的轨迹等)。
如上所述，对轨迹跟随器310的输入包括来自轨迹规划器308的路线(诸如路线412等)。轨迹跟随器310负责计算致动器命令，使得AV 300B可以准确地跟随路线。在一些示例中，世界模型312可以通过直接提供原始AV感知而与轨迹跟随器310直接协作，以使轨迹跟随器310计算紧急致动器命令，使得在将AV 300B保持在由轨迹规划器308计算出的最外可驾驶极限内的同时，AV 300B可以避开最后一秒检测到的对象。例如，当自行车突然向左转弯时，AV 300B可能正在使用该路线经过该自行车。考虑到来自轨迹跟随器310的这种可能性的替代路线可以由检测到这种变化的传感器数据触发，从而确定新的控制输入。
AV 300B的世界模型312可以经由系统300的(一个或多于一个)通信装置从AV300B发送与AV 300B周围的环境相关的图像，其中该图像用于生成显示(诸如显示302等)。图5A至6E示出这种显示的示例，其中图5A至5F是展示用于远程支持的显示以及符合避开外部对象的虚拟路径的针对AV的路线的屏幕截图，并且图6A至6E是展示用于远程支持的显示和符合与外部对象发生干扰的虚拟路径的针对AV的路线的屏幕截图。
在图5A至6E中的各个图中，虚拟运载工具402将形成虚拟路线以用于对AV 404的远程支持。为了清楚起见，仅在图5A和6A中标记了左内边界406A、左外边界408A、右内边界406B和右外边界408B。
首先参考图5A至5F，左边界406A、408A中的一个或多于一个与右边界406b、408b中的一个或多于一个可以一起形成虚拟路径(诸如虚拟路径410等)的隧道(tunnel)。当虚拟运载工具402行驶通过地理区域时，其避开外部对象，诸如运载工具502、标志或塔架(pylon)504、树和灌木506以及栅栏508等。如果将针对AV 404生成的路线(诸如路线412等)约束到隧道，则AV 404不太可能具有任何碰撞。如果发生未预期事件(诸如当AV 404正在经过图5D至5F中的运载工具502时，外部对象在该运载工具502前方穿过等)，则轨迹规划器308和轨迹跟随器310的应急规划以及来自世界模型312的输入可用于安全性保证。
如上所述，远程支持300A的虚拟AV模拟器306可以经由系统300的一个或多于一个通信装置将规则或指令发送到AV(诸如AV 404等)。规则或指令可以在包括应急状况的远程支持下修改轨迹规划器308和轨迹跟随器310的操作。
例如，可以发送指令或规则，以在轨迹规划器308处生成路线412时或跟随路线412时(诸如在轨迹跟随器310处生成控制输入时等)忽视或忽略404B的一个或多于一个传感器。
轨迹控制基于(例如，取决于)传感器数据。然而，观察和/或预测不确定性可能与传感器数据和/或传感器数据的处理相关联。由于传感器数据本身、分类不确定性、假设(意图)不确定性、实际判断、遮挡、不确定性的其他原因或其组合，可能出现观察或预测不确定性。例如，关于传感器数据，传感器数据可能受到天气状况、传感器的准确性和/或传感器中的故障的影响。远程支持300A可以用于识别数据与观察不一致的一个或多于一个传感器，其中，远程支持300A具有用户随时间对显示302进行观察的益处，该观察是部分地使用AV300B或AV 404的传感器来生成。相反，并且在一些情形下，传感器的数据不存在错误。然而，特定传感器可以产生如下传感器数据，如果在轨迹控制中使用该传感器数据，则将导致远程支持300A不意图的轨迹。例如，可能有必要在远程支持期间驶过路缘，从而导致在其他情况下将阻止AV这样做的传感器输出。来自虚拟AV模拟器306的指令可以导致轨迹控制(轨迹规划器308、轨迹跟随器310或这两者)忽略所确定的路线的一部分的输入。无论传感器是否错误，针对路线辅助的至少一部分忽略传感器都可能是期望的。
来自虚拟AV模拟器306的规则或指令可以用于使用虚拟路径410确定路线412。例如，与如何生成路线412相关的指令或规则可能需要轨迹规划器308生成将AV 300B、404约束到由左边界和右边界(诸如内边界406A、406B、或外边界408A、408B或其某种组合)形成的隧道的路线412。如从图5A至5F可以看出，在虚拟路径410不与任何外部对象(诸如运载工具502、标志或塔架504以及树和灌木506等)发生干扰的情况下，使路线412符合虚拟路径410的这种约束不存在任何问题。
现在参考图6A至6E，示出了当虚拟路径410与外部对象(这里是塔架602)发生干扰时，将路线412约束到由左边界和右边界形成的隧道的该指令或规则如何影响对外部对象的处理。如从图6A至6C可以看出，虚拟运载工具402迎面接近塔架602。因此，虚拟路径迎面接近塔架602。当AV 404沿着隧道内的路线前进时，AV 404的前向传感器(其可以是传感器126中的一个)检测到塔架602的存在。出于说明性目的示出了从AV 404的前部延伸的前向传感器的范围604(为了清楚起见，仅在图6C中标记)。将原始AV传感器316所进行的检测供给至世界模型312，该世界模型312可用于轨迹规划器308和轨迹跟随器310这两者。
因为AV 404保持被约束到隧道，并且如从比较图6C与图6B以及比较图6D与图6B和6C可以看出的，随着AV 404的轨迹控制使AV 404在跟随路线时减速，虚拟运载工具402和AV404之间的间距逐渐增加。在图6D中，虚拟运载工具402和塔架602发生干扰(接触、接合等)，使得虚拟运载工具402在地图中覆盖塔架602。在图6E中，虚拟运载工具402以及因此的虚拟路径经过塔架602，并且不再看到AV 404，这是因为AV 404已经沿着符合隧道的路线停止。
作为规则或指令的一部分，可以从虚拟AV模拟器306发送由于不完整的路线辅助而将发生的事情(例如，AV无法到达路线辅助的结束地点、或无法解析路线、或无法前进到路线中的下一点)。例如，响应于在使虚拟运载工具前进通过地理区域时AV在地理区域内落后于虚拟运载工具限定量、或者在虚拟运载工具前进通过地理区域时AV停止，可以将AV的当前地点定义为路线辅助的新起始地点。然后，虚拟运载工具可以在显示内重新定位到新的起始地点，以再次开始路线辅助。
图7中示出符合虚拟路径的路线的替代示例，该图7是示出与外部对象发生干扰的符合虚拟路径704的针对AV 404的替代路线的图，在该示例中，该外部对象是运载工具702。虚拟路径704被部分地示为虚线并且部分地示为实线。具体地，虚拟路径704的在AV 404与虚拟路径704的第一点710之间的段是虚线，虚拟路径704的在虚拟路径704的第二点712与虚拟运载工具402之间的段也是虚线。虚拟路径704的在第一点710与第二点712之间的段被示为具有左边界706和右边界708，该段形成虚拟路径704的隧道(为清楚起见，仅示出了隧道的一部分)。在该示例中，规则或指令使得AV 404能够经过隧道的外部，以避开外部对象(即，当以符合虚拟路径704的方式生成路线时，该路线不被约束于隧道)。
在图7中，对于虚拟路径704的在AV 404与虚拟路径704的第一点710之间的段，由轨迹规划器308生成的路线714保持在隧道的边界706、708内。在该示例中，轨迹跟随器310生成用于运载工具控制系统314的控制输入，使得针对该段，路线714与虚拟路径704一致。响应于虚拟运载工具402在形成虚拟路径704期间与对象(这里是运载工具702)发生干扰，规则或指令能够使得或要求轨迹规划器308生成路线714，以在点710处离开或偏离虚拟路径704并在点712处返回到虚拟路径704从而避开该对象。附加地或可替代地，规则可以包括关于是在AV 404的左侧还是在AV 404的右侧经过外部对象的规则。
虚拟AV模拟器306可以向轨迹规划器308提供规则或指令，以在检测到干扰对象时通过离开并返回到虚拟路径704来允许或要求路线714符合虚拟路径704。当AV 404(例如，使用来自世界模型312的输入)检测到运载工具702在虚拟路径704的隧道内、并且因此如果路线714保持在隧道内则会与AV 404的轨迹发生干扰时，轨迹规划器308可以将虚拟路径704解释为在哪一侧经过对象的指示符。
在一些情况下，轨迹规划器308可以分析从虚拟AV模拟器306获得的虚拟路径704的多对点中的各对的多个同伦(homotopy)。可以针对同伦与在不存在远程支持300A的情况下也使用的加速、减速、速率、转弯半径等的限制的符合性来分析同伦。针对路线714可以选择在避开其他对象的同时满足这些限制的同伦。
在图7中，不管轨迹规划器308如何规划用以避开对象的轨迹，所规划的轨迹都由路线714的在第一点710和第二点712之间的长短虚线段示出，该轨迹形成同伦路径，在本文中也称为同伦。轨迹跟随器310生成对运载工具控制系统314的控制输入，以沿着包括在路线714中的同伦跟随。总之，提供给轨迹规划器308的规则可以用于生成偏离隧道、但相对于虚拟路径和(一个或多于一个)任何干扰对象是同伦的路线。
一旦AV 404到达虚拟路径704的第二点712(即，在经过运载工具702之后)，针对虚拟路径704的在第二点712与地理区域内的虚拟运载工具402的当前地点之间的段，由轨迹规划器308生成的路线714保持在隧道的边界706、708内。在该示例中，轨迹跟随器310生成用于运载工具控制系统314的控制输入，使得针对该段，路线714与虚拟路径704一致。
本文的教导使得能够在远程支持期间在无需高带宽通信的情况下基本上实时地进行轨迹控制。例如，轨迹跟随器310可以生成用于AV 300B的控制输入，以在使用虚拟运载工具正在形成虚拟路径的第二部分的同时基本上实时地跟随路线。该实时控制可以使得AV300B能够以与虚拟路径的第二部分正在形成时的虚拟运载工具基本上相同的速率(诸如高达诸如25mph等的最大速率等)跟随路线。
如本文所使用的，术语“驾驶员”或“操作者”可以互换使用。如本文所使用的，术语“制动”或“减速”可以互换使用。如本文所使用的，术语“计算机”或“计算装置”包括能够进行本文所公开的任何方法或其任何一个或多于一个部分的任何单元或单元的组合。
如本文所使用的，术语“指令”可以包括用于进行本文所公开的任何方法或其任意一个或多于一个部分的指示或表达，并且可以以硬件、软件或其任何组合来实现。例如，指令可以被实现为存储在存储器中的信息(诸如计算机程序等)，该指令可以由处理器执行以进行如本文所述的各个方法、算法、方面或其组合中的任一者。在一些实现中，指令或其一部分可实现为专用处理器或电路，该专用处理器或电路可以包括用于执行如本文中所描述的方法、算法、方面或其组合中的任一者的专用硬件。在一些实现中，指令的一部分可以跨单个装置上或多个装置上的多个处理器分布，这些装置可以直接通信或跨网络(诸如局域网、广域网、互联网或其组合等)通信。
如本文所使用的，术语“示例”、“实施例”、“实现”、“方面”、“特征”或“要素”指示用作示例、实例或说明。除非另有明确说明，否则任何示例、实施例、实现、方面、特征或要素独立于各个其他示例、实施例、实现、方面、特征或要素，并且可以与任何其他示例、实施例、实现、方面、特征或要素组合使用。
如本文所使用的，术语“确定”和“识别”或其任何变型包括使用本文所示出和描述的装置中的一个或多于一个装置以任何方式选择、查明、计算、查找、接收、确定、建立、获得或以其他方式识别或确定。
如本文所使用的，术语“或”旨在表示包含性的“或”而不是排他性的“或”。也就是说，除非另有说明或上下文另有明确指示，否则“X包括A或B”旨在指示其自然的包含性排列中的任一者。如果X包括A；X包括B；或者X包括A和B这两者，则在前述任一情况下满足“X包括A或B”。另外，本申请和所附权利要求书中所使用的冠词“a”和“an”通常应被解释为表示“一个或多于一个”，除非另有说明或从上下文中清楚地指向单数形式。
此外，为了简化说明，尽管本文的附图和描述可以包括操作或阶段的序列或系列，但是本文所公开的方法的要素可以以各种顺序发生或同时发生。附加地，本文所公开的方法的要素可以与本文未明确呈现和描述的其他要素一起发生。此外，并非需要本文所描述的方法的所有要素来实现根据本公开的方法。尽管本文以特定组合描述了方面、特征和要素，但是各个方面、特征或要素可以独立地使用，或者以与其他方面、特征和/或要素的各种组合或以不具有其他方面、特征和/或要素的各种组合来使用。
虽然已经结合某些实施例描述了所公开的技术，但是应当理解，所公开的技术不限于所公开的实施例，而是相反，旨在覆盖包括在所附权利要求书的范围内的各种修改和等同布置，该范围应被赋予法律许可的最广泛的解释，以涵盖所有这样的修改和等同布置。

Claims (20)

1.一种用于行驶通过运输网络的设备，包括：
通信装置；以及
处理器，所述处理器与所述通信装置连接并且被配置为进行方法，所述方法包括：
生成显示，所述显示包括用于使自主运载工具即AV通过所述运输网络的路线辅助的起始地点周围的地理区域以及所述起始地点处的虚拟运载工具；
使用所述虚拟运载工具形成用于所述路线辅助的虚拟路径，包括：
通过在所述AV在所述显示中保持在所述起始地点处时使所述虚拟运载工具从所述起始地点前进，形成所述虚拟路径的第一部分；以及
通过在所述虚拟运载工具离开所述起始地点之后从所述虚拟运载工具起通过所述地理区域到所述路线辅助的停止地点或结束地点进行外推，形成所述虚拟路径的第二部分；以及
在所述虚拟运载工具前进通过所述地理区域时，经由所述通信装置将沿着所述虚拟路径的点连续地发送到所述AV的轨迹规划器，其中，所述轨迹规划器生成符合所述虚拟路径的针对所述AV的路线，以及其中，形成所述第二部分至少部分地发生在所述AV相对于所述虚拟运载工具的行驶方向在所述虚拟运载工具之后沿着所述路线前进时。
2.根据权利要求1所述的设备，其中，所述方法包括：
针对所述AV，接收通过所述运输网络的所述路线辅助的请求，其中，所述请求包括所述起始地点。
3.根据权利要求1所述的设备，其中，
所述虚拟路径包括用于形成隧道的左边界和右边界，以及其中，针对所述AV的路线被约束为保持在所述隧道内。
4.根据权利要求1所述的设备，其中，
所述路线包括相对于所述虚拟路径的偏离，该偏离在所述虚拟路径的两个点之间是同伦的。
5.根据权利要求1所述的设备，其中，所述方法还包括：
经由所述通信装置向所述轨迹规划器发送与如何使用所述虚拟路径生成所述路线相关的指令。
6.根据权利要求1所述的设备，其中，所述方法还包括：
经由所述通信装置向所述AV发送指令以在跟随所述路线时忽视所述AV的一个或多于一个传感器。
7.根据权利要求1所述的设备，其中，生成所述显示包括：
生成所述AV在所述起始地点处的表示，其中，所述虚拟运载工具具有与所述起始地点处的所述AV相同的姿势；
连续地更新所述虚拟运载工具和所述虚拟路径的表示，所述虚拟路径从所述AV延伸到所述虚拟运载工具的当前地点，并且从所述虚拟运载工具延伸到所述虚拟路径的结束；以及
响应于所述虚拟路径从所述起始地点起具有限定距离，
在所述AV相对于所述虚拟运载工具的行驶方向在所述虚拟运载工具之后沿着所述路线前进时，连续地更新所述AV的所述表示。
8.根据权利要求1所述的设备，还包括：
模拟器，所述模拟器包括接口，所述接口被配置为从用户接收定义所述虚拟路径的输入，所述模拟器将与所述虚拟路径相对应的输出提供给所述处理器以用于生成所述显示。
9.根据权利要求1所述的设备，其中，所述方法还包括：
响应于在使所述虚拟运载工具前进通过所述地理区域时所述AV在所述地理区域内落后于所述虚拟运载工具限定量，将所述AV的当前地点定义为所述路线辅助的新的起始地点。
10.根据权利要求1所述的设备，其中，所述方法还包括：
响应于在所述虚拟运载工具前进通过所述地理区域时所述AV停止，将所述AV的当前地点定义为所述路线辅助的新的起始地点。
11.根据权利要求1所述的设备，其中，生成所述显示包括：
接收来自所述AV的图像；以及
将从所述图像导出的对象和可驾驶区域包括在所述显示中。
12.一种用于行驶通过运输网络的系统，包括：
通信装置；
处理器，所述处理器与所述通信装置连接并且被配置为进行方法，所述方法包括：
经由所述通信装置发送针对自主运载工具即AV的通过所述运输网络的路线辅助的请求；以及
连续地接收沿着用于所述路线辅助的虚拟路径的点，所述虚拟路径通过以下步骤创建：
生成显示，所述显示包括所述路线辅助的起始地点周围的地理区域和所述起始地点处的虚拟运载工具；以及
使用所述虚拟运载工具形成所述虚拟路径，包括：
通过在所述AV在所述显示中保持在所述起始地点处时使所述虚拟运载工具从所述起始地点前进，形成所述虚拟路径的第一部分；以及
通过在所述虚拟运载工具离开所述起始地点之后从所述虚拟运载工具起通过所述地理区域到所述路线辅助的停止地点或结束地点进行外推，形成所述虚拟路径的第二部分，其中连续地接收所述点包括：在所述虚拟运载工具前进通过所述地理区域时经由所述通信装置连续地接收沿着所述虚拟路径的所述点；
轨迹规划器，用于使用所述点来生成符合所述虚拟路径的针对所述AV的路线；以及
轨迹跟随器，用于生成所述AV的控制输入，以在所述虚拟运载工具前进通过所述地理区域时跟随所述路线，其中，形成所述第二部分至少部分地发生在所述AV相对于所述虚拟运载工具的行驶方向在所述虚拟运载工具之后沿着所述路线前进时。
13.根据权利要求12所述的系统，其中，所述方法还包括：
经由所述通信装置接收与如何生成所述路线以及如何生成所述控制输入其中至少之一相关的规则。
14.根据权利要求13所述的系统，其中，所述虚拟路径包括用于形成隧道的左边界和右边界，以及其中，所述规则要求所述轨迹规划器生成将所述AV约束到所述隧道的所述路线。
15.根据权利要求13所述的系统，其中，所述规则要求所述轨迹跟随器在忽略所述AV的至少一个传感器的同时，生成所述控制输入。
16.根据权利要求13所述的系统，其中，响应于所述虚拟运载工具在形成所述虚拟路径期间与对象发生干扰，所述规则要求所述轨迹规划器生成所述路线以在所述虚拟路径的两个点之间偏离到所述虚拟路径的左侧或右侧从而避开所述对象，所述路线中的偏离相对于所述虚拟路径是同伦的。
17.根据权利要求12所述的系统，其中，所述方法还包括：
经由所述通信装置发送来自所述AV的与所述AV周围的环境相关的图像，其中，所述图像用于生成所述显示。
18.根据权利要求12所述的系统，其中，
所述轨迹跟随器生成所述AV的控制输入，以在形成所述虚拟路径的所述第二部分的同时基本上实时地跟随所述路线。
19.根据权利要求18所述的系统，其中，
所述控制输入使所述AV以与形成所述虚拟路径的所述第二部分基本上相同的速率跟随所述路线。
20.一种用于行驶通过运输网络的自主运载工具即AV，包括：
通信装置；以及
一个或多于一个处理器，其与所述通信装置连接并且被配置为进行方法，所述方法包括：
通过所述通信装置连续地接收沿着通过所述运输网络的路线辅助用的虚拟路径的点，所述虚拟路径通过以下步骤创建：
生成显示，所述显示包括所述路线辅助的起始地点周围的地理区域和所述起始地点处的虚拟运载工具；以及
使用所述虚拟运载工具形成所述虚拟路径，包括：
通过在所述AV处于所述起始地点时使所述虚拟运载工具从所述起始地点前进，形成所述虚拟路径的第一部分；以及
通过在所述虚拟运载工具离开所述起始地点之后从所述虚拟运载工具起通过所述地理区域到所述路线辅助的停止地点或结束地点进行外推，形成所述虚拟路径的第二部分，其中连续地接收所述点包括：在所述虚拟运载工具前进通过所述地理区域时经由所述通信装置连续地接收沿着所述虚拟路径的所述点；
使用所述点来生成符合所述虚拟路径的针对所述AV的路线；以及
生成所述AV的控制输入，以在所述虚拟运载工具形成所述虚拟路径的所述第二部分时相对于所述虚拟运载工具的行驶方向使所述AV在所述虚拟运载工具之后沿着所述路线前进。
CN202080079159.0A 2019-11-14 2020-10-15 自主运载工具的安全性保证远程驾驶 Active CN114730188B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/683,685 2019-11-14
US16/683,685 US11274936B2 (en) 2019-11-14 2019-11-14 Safety-assured remote driving for autonomous vehicles
PCT/US2020/055765 WO2021096631A1 (en) 2019-11-14 2020-10-15 Safety-assured remote driving for autonomous vehicles

Publications (2)

Publication Number Publication Date
CN114730188A CN114730188A (zh) 2022-07-08
CN114730188B true CN114730188B (zh) 2023-03-07

Family

ID=75909920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080079159.0A Active CN114730188B (zh) 2019-11-14 2020-10-15 自主运载工具的安全性保证远程驾驶

Country Status (6)

Country Link
US (1) US11274936B2 (zh)
EP (1) EP4058864A4 (zh)
JP (1) JP7194867B2 (zh)
CN (1) CN114730188B (zh)
BR (1) BR112022008961A2 (zh)
WO (1) WO2021096631A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11718300B2 (en) * 2019-02-27 2023-08-08 Zf Automotive Germany Gmbh Method and control unit for a system for controlling a motor vehicle
US11753023B2 (en) * 2020-01-19 2023-09-12 Mitsubishi Electric Research Laboratories, Inc. Adaptive control of autonomous or semi-autonomous vehicle
JP7355049B2 (ja) * 2021-03-03 2023-10-03 トヨタ自動車株式会社 車両制御方法、車両制御システム、及び情報処理装置
JP7431779B2 (ja) 2021-07-19 2024-02-15 Ｌｉｎｅヤフー株式会社 情報処理装置、情報処理方法、およびプログラム
US20230099791A1 (en) * 2021-09-30 2023-03-30 International Business Machines Corporation Digital twin based binaural audio echolocation
US12091049B2 (en) 2022-02-10 2024-09-17 Waymo Llc Methods and systems for automatic problematic maneuver detection and adapted motion planning

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009156000A1 (en) 2008-06-25 2009-12-30 Tomtom International B.V. Navigation apparatus and method of detection that a parking facility is sought
US8094001B2 (en) 2008-12-15 2012-01-10 Delphi Technologies, Inc. Vehicle lane departure warning system and method
US9008890B1 (en) 2013-03-15 2015-04-14 Google Inc. Augmented trajectories for autonomous vehicles
US9997077B2 (en) 2014-09-04 2018-06-12 Honda Motor Co., Ltd. Vehicle operation assistance
JP5866594B1 (ja) * 2015-07-31 2016-02-17 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
US10386835B2 (en) 2016-01-04 2019-08-20 GM Global Technology Operations LLC System and method for externally interfacing with an autonomous vehicle
JP6341389B2 (ja) 2016-03-11 2018-06-13 パナソニックＩｐマネジメント株式会社 送信装置、受信装置、送信方法、受信方法、通信システム
US10048080B2 (en) * 2016-03-22 2018-08-14 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle virtual reality navigation system
CN109074728A (zh) 2016-04-28 2018-12-21 住友电气工业株式会社 推荐行驶速度提供程序、行驶支持系统、车辆控制设备和自动行驶车辆
US10591912B2 (en) * 2016-11-30 2020-03-17 Nissan North America, Inc. Autonomous vehicle remote support mapping interface
US20180224850A1 (en) * 2017-02-08 2018-08-09 Uber Technologies, Inc. Autonomous vehicle control system implementing teleassistance
CN107719369B (zh) * 2017-09-14 2019-05-10 北京智行者科技有限公司 自动驾驶纵向控制方法、装置及具有其的无人驾驶车辆
US10514697B2 (en) * 2017-09-15 2019-12-24 GM Global Technology Operations LLC Vehicle remote assistance mode
US11014238B2 (en) * 2017-11-27 2021-05-25 Amazon Technologies, Inc. Dynamic navigation of autonomous vehicle with safety infrastructure
US11249474B2 (en) * 2017-12-07 2022-02-15 Phantom Auto Inc. Safety of autonomous vehicles using a virtual augmented support environment
US11986963B2 (en) * 2018-03-05 2024-05-21 The Regents Of The University Of Colorado Augmented reality coordination of human-robot interaction
US20190286151A1 (en) * 2018-03-14 2019-09-19 GM Global Technology Operations LLC Automated driving systems and control logic for cloud-based scenario planning of autonomous vehicles
CN108983818B (zh) * 2018-08-10 2021-05-11 电子科技大学 基于虚拟结构的无人机队形变换方法

Also Published As

Publication number Publication date
EP4058864A1 (en) 2022-09-21
US20210148726A1 (en) 2021-05-20
US11274936B2 (en) 2022-03-15
CN114730188A (zh) 2022-07-08
BR112022008961A2 (pt) 2022-08-02
WO2021096631A1 (en) 2021-05-20
JP7194867B2 (ja) 2022-12-22
JP2022550622A (ja) 2022-12-02
EP4058864A4 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
CN112368662B (zh) 用于自主运载工具操作管理的定向调整动作
CN114730188B (zh) 自主运载工具的安全性保证远程驾驶
JP6540826B2 (ja) 車両道路網の走行に用いられる予測車両情報の生成方法及び装置
CN110431037B (zh) 包括运用部分可观察马尔可夫决策过程模型示例的自主车辆操作管理
CN110603497B (zh) 自主车辆操作管理控制的自主车辆和方法
CN110325928B (zh) 自主车辆运行管理
EP3580104B1 (en) Autonomous vehicle operational management blocking monitoring
JP6902676B2 (ja) 自律走行車の意思決定のための交通ネットワークインフラストラクチャ
JP6716792B2 (ja) 自律走行車が問題状況に対処するための解決データの生成
CN112868031B (zh) 具有视觉显著性感知控制的自主运载工具操作管理
CN111902782A (zh) 集中式共享自主运载工具操作管理
US11215985B2 (en) Pathfinding assistance system for teleoperation
JP2024516404A (ja) インテリジェントペダル車線変更支援
US20170247028A1 (en) Vehicle operation based on converging time
JP2024526845A (ja) 車両意思決定及び交通管理のためのコンピューティングフレームワーク
JP7462837B2 (ja) 低信頼度の物体検出条件における車両動作のための注釈及びマッピング
US20240329633A1 (en) Displaying an Overlay Including a Projected Path of a Vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240428

Address after: Kanagawa Prefecture, Japan

Patentee after: NISSAN MOTOR Co.,Ltd.

Country or region after: Japan

Address before: Tennessee USA

Patentee before: NISSAN NORTH AMERICA, Inc.

Country or region before: U.S.A.

TR01 Transfer of patent right