CN111976648A - 用于远程操作车辆的方法和设备 - Google Patents

Abstract

一种用于远程操作车辆(11)的方法(10)，其特征在于以下特征：登记(1)可用的操作员(12)；接收(2)关于所述车辆(11)的数据；将根据所述数据从所述可用的操作员(12)中选择的操作员(12)通知给(3)所述车辆(11)；注明(4)在所选择的操作员(12)中优选的操作员(12)；保留通信资源；请求(5)所述优选的操作员(12)与所述车辆(11)的通信单元(13)连接(6)并且借助所述通信单元(13)接管(7)所述车辆(11)的控制功能(14)。

Description

用于远程操作车辆的方法和设备

技术领域

本发明涉及一种用于远程操作车辆的方法。此外，本发明还涉及一种 相应的设备、一种相应的计算机程序以及一种相应的存储介质。

背景技术

根据现有技术的(部分)自主车辆目前仍具有车辆引导接口(“驾驶员 工位”)，以及这些车辆目前仍以有驾驶能力的、被授权引导车辆的人员作 为车辆乘员为前提，车辆乘员在必要时可以接管车辆的引导。视自动化程 度和技术进步程度而定，计划在未来局部地或对于整个行驶路段放弃在紧 急情况下需要车辆内的有驾驶能力的驾驶员进行接管的必要性。为了能够 避免系统不确定性或系统不足，在这种背景下，多个研究项目都致力于所谓的远程操作驾驶(英：teleoperated driving，ToD)。在ToD中，在应对(部 分)自主驾驶系统中的技术不足或应对具有挑战性的场景(例如，通过替 代路线和非常规行驶路径或路线进行改道等)时，可以由控制中心(Leitstelle) 中的外部操作人员(即所谓的操作员)以远程控制的方式暂时地支持和/或 完全地接管驾驶任务和/或车辆。为此，车辆与控制中心(或其操作员)通 过低延迟且高数据速率的移动无线电网络彼此连接。

US 9494935 B2公开用于自主乘用车的远程操作的计算机设备、系统和 方法。当自主车辆遭遇不适合自主操作的不期望周围环境时(例如道路施 工现场或障碍物)，车辆传感器可以检测关于车辆和不期望周围环境的数据， 所述数据包括图像、雷达数据和激光雷达数据等。可以将所检测的数据发 送至远程操作员。远程操作员可以手动地远程操作车辆或者向自主车辆提 供指令，所述指令应由不同的车辆系统实施。可以对发送至远程操作员的 所检测的数据进行优化，以便节省带宽，其方式是：例如发送所检测的数 据的有限子集。

根据US 9767369 B2的车辆可以接收车辆的周围环境的一个或多个图 像。该车辆还可以得到周围环境地图。该车辆还可以将图像中的至少一个 特征与地图中的一个或多个特征进行比较。该车辆还可在一个或多个图像 中辨识相应于地图的如下部分的确定区域：该部分位于与一个或多个特征 相距阈值间隔的位置处。该车辆还可以压缩一个或多个图像或传感器信号， 以便在拍摄区域中拍摄相比于给定区域更少量的细节。该车辆还可以将经 压缩的图像提供给远程系统，以及响应于此地，从远程系统接收操作指令。

根据US 9,465,388 B1的系统和方法，使得当在运行中对车辆的信任度 较低时或者当出于技术问题、技术缺陷或外部情况的需要时，该自主车辆 能够向远程操作员请求帮助。一种示例性方法包括以第一自主模式运行自 主车辆。该方法还可以包括辨识以下情况：在该情况中，在第一自主模式 下的自主运行的信任水平低于阈值水平。该方法还可以包括：向远程助手 发送支持请求，其中，该请求包括传感器数据，该传感器数据表示自主车辆的周围环境的一部分。附加地，该方法可以包括从远程助手接收响应， 其中，该响应说明第二自主运行模式。该方法还可以实现：根据远程助手 的响应，使自主车辆以第二自主运行模式工作。

US 9,720,410 B2公开用于在预确定情况下远程支持自主车辆的另一方 法。

发明内容

本发明提出一种用于远程操作车辆的方法、一种相应的设备、一种相 应的计算机程序以及一种相应的机器可读的存储介质。

该解决方案的优点在于开启以下可能性：将用于远程操作驾驶的操作 员(优化地)分配给请求或已经使用这些服务的自动化车辆，以及动态地 切换这些操作员。为此，检测并评估现有的通信资源和ToD服务提供商(英： service provider)，以便可以确保高效地使用这些资源。通过使用冗余的传 输路径和在ToD服务提供商之间的调解(Vermittlung)，可以确保较低的延 迟，这能够实现ToD服务提供商的无缝切换。由此，即使在困难的边界条 件下也能够执行远程操作的驾驶，或者可以通过对可用ToD服务提供商的相应分配而同时操作尽可能多的车辆。考虑到车辆与操作员之间的驾驶运 行所需的和现有的资源，以及考虑到已经受控的车辆在不同服务提供商之 间的转交，使用调度器(Dispatcher)来进行初始调解。

通过在说明书中列出的措施，能够对上面说明的基本构思进行扩展和 改善。因此可以设置，服务公司分别运行一个或多个(本地分布的或以能 力导向和以任务为导向的)控制中心，通过(自动化的、人工的或二者组 合的)控制中心调度员来分配控制中心的操作员。调度员管理其控制中心 的所有资源和能力，并将这些资源和能力连同其可用性一起报告给(一个 或多个)调度器服务。视公司的规模(控制中心的数量)而定，尤其当在 车队运营商运行其自身的控制中心网络时，也可以实现公司内部的调度器 功能。以这种方式实现可扩展的ToD解决方案，通过使用调度器服务(在 使用集中式的或结合分布式或分级构造的调度器架构的情况下)，这种ToD 解决方案可以时间高效地、按照需求地处理多个车辆的同时ToD请求。在 此通过分析、管理和合作使用不同传输路径、现有ToD服务提供商资源、ToD操作员、必要的ToD支持以及ToD资格，将ToD请求和ToD操作员 结合在一起。

根据另一方面可以设置，为了将控制功能从第一操作员转交(英： handover)给第二操作员，第二操作员向第一操作员请求控制功能，其中， 仅当第二操作员完全接管控制功能时，移交才完成。这种实施方式的优点 在于：即使在持续的驾驶操作期间，也能够实现操作员的无缝切换，以便 能够根据所需的ToD驾驶情况、危险等级和地点知识来使用具有相应授权 等级(适合性)的匹配的操作员。

附图说明

在附图中示出本发明的实施例，并在以下说明中详细阐述。附图示出：

图1示意性地示出与云连接的车辆；

图2示出基础设施的方框图；

图3示出方法的流程图。

具体实施方式

图1阐明在下文中详细提出的解决方案的基本构思：如果自动化车辆 (11)处于无法独自应对的情况或(例如借助其车辆诊断系统)识别到系 统退化而需要支持，则该自动化车辆向所谓的调度器(20)发送辅助请求。 调度器(20)评估由车辆(11)传递的故障原因，或者根据存在的车辆数 据、故障数据或传感器数据来分析车辆(11)的情况，并将请求传输给ToD 服务提供商，该ToD服务提供商具有所需的操作员资源和能力，以便在(例 如由于缺陷)而无法再使车辆(11)继续保持在运行中的情况下，将车辆 (11)重新置于常规驾驶运行中或将车辆带到运行安全的状态(safe state) 中。

为此，车辆(11)最晚在启动自动化驾驶功能时获得由调度器(20) 传输的排名列表。出于安全原因，在此使用冗余的基本原理，其方式是： 例如使用多个列表和调度器服务中心。也可以存在多个如下列表：根据故 障紧急性来使用这些列表，以便在紧急情况下有针对性地建立直接连接。 例如还根据车辆位置和调度器的可用性来定期地更新这些列表。

如果在驾驶运行期间车辆(11)处于未详细指定的状态，或者如果通 过车辆确定技术不足或需要远程支持，则该车辆向这些列表中的第一调度 器(20)发送请求：将驾驶功能传输至属于ToD服务提供商的操作员(12)。

这种请求通常包括以下信息：

· 车辆(11)的周围环境，例如车辆的位置和由车辆识别的对象，

· 计划的路线或相关的运行模式，

· 车辆类型、车辆制造商或车辆配置，

· 通过车辆(11)或调度器(20)以风险分析的方式(例如再潜在风 险和时间窗方面)求取的紧急性，其中，至少应致力于过渡到安全 状态，

· 通信质量或传输信道的分类，

· 通过车辆(11)识别到的可能的故障或期望服务的类型和规模，

· 必要时，安装在车辆(11)中的各个部件(13，14)的软件版本和 硬件版本，所述软件版本和硬件版本对于ToD功能性是必要的或者 能够对ToD功能性产生影响。

在对传输信道进行分类(标准化)时，以及在随之确定传输信道对于 根据本发明的方法的适合性时，期望的是关于延迟、带宽、有效数据吞吐 量(取决于误码率)和传输介质在整个应用领域中的网络覆盖的信息。也 可以相应地使用传输信道的在车辆中求取的服务质量。

图2在整体上阐明根据本发明的基础设施。作为其核心部件，调度器 (20)在由ToD服务提供商(18)提供的操作员(12)与通过车辆(11) 所需的ToD资源之间调解请求。根据ToD服务提供商(18)的许多不同操 作员(12)的(能够通过现有的资源和能力能够确定的)适合性，将不同 的车辆(11)分配给ToD服务提供商的许多不同的操作员，这能够实现最 佳负荷率。为此，ToD服务提供商(18)以定期的间隔或变化将以下状态 信息发送给调度器(20)：

· 所支持的驾驶情况，

· 所支持的风险等级，

· 现有的地点知识，

· 具有相应能力的当前可用的操作员(12)，

· 当前存在的合适的设备，或

· 所支持的车辆类型。

调度器(20)对从车辆(11)向ToD服务提供商(18)及其合适的操 作员(12)的ToD请求的转交进行调解。调度器(20)还可以在持续的驾 驶操作期间实现ToD服务提供商(18)之间的转交以及操作员(12)之间 的转交，以便即使在远程操作运动车辆(11)时也能够实现无缝切换并且 使延迟最小化。出于安全原因，优选在使用冗余传输路径的情况下进行所有操作。此外，调度器(20)通过在所有当前参与者之间进行协调来控制 传输信道的协作使用。为了评估传输容量，期望的是对传输信道进行分类。 此外，建议根据控制功能(14)的类型确定所需的资源。由此能够求取： 控制究竟是否能够执行或者甚至是否能够同时进行多个控制。在辨识出即 将发生的控制功能所需的传输资源之后，在考虑诸如技术(延迟)、带宽和 冗余(功能安全性)的特征的情况下，可以通过调度器跨系统地(例如在 使用公共数据库的情况下)保留这些传输资源，并且将这些资源分配给车 辆(11)和ToD服务提供商(18)，以便实施驾驶操作或驾驶功能。

根据以上提及的特性和操作员(12)的可用性或训练，对于ToD操作 而言，要么整个驾驶操作能够实时地(英：realtime)直至特定速度地进行， 要么仅能够准许单个动作，或者必要时仅能够传递车辆的轨迹(11)或仅 能够监控传感器信息。根据以上提及的特性和操作员(12)的可用性或训 练，不同车辆的不同ToD操作能够根据优先级同时地或仅按顺序通过调度 器实现。

在此描述的所有动作均应在考虑功能安全性(FuSi)的情况下进行。 对所执行的动作(例如在航空中借助所谓的黑匣子实行的)的记录应在车 辆(11)中或附加地在ToD服务提供商(18)中进行。

现在附加地参照图3在车辆(11)与ToD操作员(12)耦合的情况下 阐述调度器(20)的常规工作原理：

1.所有可用的ToD服务提供商(18)将对于它们可用的信息发送给调 度器(20)。例如考虑到相应的容量、带有报价的服务(Leistung)以及在 其中提供服务的地区(过程1-图3)。

2.车辆(11)中的通信单元(13)收集信息并将这些信息发送给调度 器(20)。在此可以考虑传输线路的类型和数量，这包括传输线路的类别、 当前情况(速度、位置、路线、流程干扰的类型、对驾驶情况的紧急性的 估计等)、服务合同信息、车辆类型以及硬件版本和软件版本(过程2-图3)。

3.调度器(20)将列表发送给车辆(11)(过程3-图3)，所述列表具 有：匹配的授权等级的合适且可用的操作员(12)；相应充足的与车辆协调 的传输资源及其成本。

4.由车辆乘员自动地(基于所存储的选择标准)或手动地通过所传输 的选择列表来选择操作员(12)(过程4-图3)。

5.调度器(20)在考虑到技术(延迟)、带宽和冗余(功能安全性)的 情况下保留控制类型所需的传输资源。

6.调度器(20)将接管请求(英：request)发送给操作员(过程5-图 3)。

7.操作员(12)接受任务并与车辆连接(过程6-图3)。

8.操作员(12)根据允许的授权等级和传输质量接管车辆的监控功能 或控制功能(14)(过程7-图3)。

在服务提供商(18)之间的转交(例如因为车辆(11)识别到服务提 供商(18)的新管辖区域的切换)可以如下进行：

1.如果远程控制的车辆(11)确定车辆离开或已经离开当前操作员/ToD 服务提供商(18)的管辖区域，则车辆(11)中的通信单元(13)将带有 对于驾驶情况重要相关信息的ToD请求发送给调度器(20)。

2.调度器(20)将具有可能的操作员(12)的列表(包括成本)发送 给车辆(11)。当前的ToD操作员(12)获悉该列表并且可以根据情况拒绝 当前时刻的切换。

3.具有其通信单元(13)和ToD系统的车辆(11)独立地选择相应的 新服务提供商(18)，或者请求车辆乘员选择新服务提供商(18)。如果未 及时地根据驾驶情况进行选择，则ToD操作员(12)可以进行选择或者可 以请求ToD操作员(12)将车辆(11)置于安全状态。对调度器(20)进 行相应的反馈。

4.接下来，调度器(20)与操作员(12)通信并通知操作员即将发生 的切换。

5.第一操作员(12)将ToD驾驶运行所需的所有数据传输给第二操作 员(12)。

6.第二操作员(12)与车辆(11)连接并且(必要时与第一操作员(12) 电话交流)熟悉驾驶情况。

7.当第二操作员(12)准备就绪进行接管时，第二操作员向第一操作 员(12)发送控制的最终转交请求，第一操作员必须确认该请求。因此， 在确认之后，第二操作员象也征性地接管该职责。

8.第一操作员(12)还可以在一定时间内证实第二操作员(12)已经 掌握情况，然后终止与车辆(11)的连接。由此可以重新释放其资源。如 果第二操作员(12)没有成功掌握情况，则可以将重新接管的请求发送回 第一操作员。第一操作员必须确认该请求。因此，由第二操作员将职责象 征性地传输回第一操作员(12)，因此第一操作员(必要时在服务质量方面 作出牺牲或在经受更高资源消耗的情况下)再次接管控制，调度器(20)(根 据以下阐明的方法)调解新的第三操作员(12)，或者如果第一操作员(12) 不再掌握当前的驾驶情况，则第一操作员(例如通过停车)将使车辆(11) 置于安全状态。

ToD操作员(12)之间的转交(例如因为ToD操作员(12)无法完成 其当前任务，例如因为操作员不具有必要的授权等级(资格等级)，或者因 为车辆离开ToD操作员的管辖区域)按照如下方式进行：

1.ToD操作员(12)控制车辆(11)然而无法继续该控制，这例如因 为为此需要更高的资格，或者因为ToD操作员不能独立地解决问题，或者 因为该ToD操作员确定车辆离开其管辖区域。

2.ToD操作员(12)发起操作员(12)或服务提供商(18)的切换， 其方式是：在具体说明新的第二操作员(12)的或提供商(18)的必要的 支持和资格的情况下，ToD操作员将与此有关的请求要么通过车辆(11) 发送回调度器(20)以便进行确认和转发，要么将与此有关的请求根据存 在的服务合同直接发送给调度器(20)以便重新授予ToD任务。

出于安全原因，第一ToD操作员(12)也可以通过在第一ToD操作员 (12)附近指定直接适合的第二ToD操作员(12)来请求切换。后者的请 求可以直接进行，或者可以通过服务提供商(18)的控制中心调度器(21) 进一步调解。调度器相应地获悉请求并在两个操作员之间进行调解。

3.其他过程相应于上述用于服务提供商(18)之间的转交的步骤4至 9。

在特殊情况下应注意行为。例如，如果两个部分自动化的或完全自主 的车辆(11)(例如在狭窄的道路上相遇时)相互阻挡，则可以通过以下方 式化解该阻挡(英：deadlock)：两个车辆(11)发送ToD请求，操作员(12) 彼此建立通信并化解该情况。例如可以通过以下方式与另外的操作员(12) 建立通信：第一操作员(12)(例如在说明另外的车辆(11)的登记号码的 情况下)通过调度器(20)发送通信请求。

在缺乏可用ToD操作员(12)或在传输信道或其他资源超负荷的情况 下，有必要对等待队列(与从呼叫中心已知的“等待队列”相似)中的请 求进行管理。鉴于即将采取的干预的范围和开销或者取决于所获得服务的 类型(高级、标准、基本、经济等)，在发生危险时(例如在高速公路上或 紧急情况下)，例如可能会与到达顺序不同地延迟处理请求，以便基于各个 车辆(11)的位置通过策略行为来化解交通拥堵。

为了节省ToD服务提供商中的传输带宽和资源(18)，可以在预给定的 边界条件下捆绑(传输)资源。也可以在同一位置部分自动化地重新使用 最近执行的驾驶操作。这例如适用于以下情况：(例如在由于事故导致的交 通堵塞的情况下)成功地绕开通过另一远程操作的车辆(11)已经克服的 障碍，并且由于环境和系统特性的原因，处于相同情况中的后继车辆之一 需要相同的支持。因此，例如可以由ToD操作员(12)在远程控制驾驶期 间对轨迹进行记录，并将其提供给其他ToD操作员(12)或部分自动跟随 的车辆(11)。一种适合的方式是：请求将多个车辆(11)排成一列(排) 以进行捆绑请求，然后，所有这些车辆都应遵循相同的轨迹，以便绕开危 险情况。

Claims (11)

1.一种用于远程操作车辆(11)的方法(10)，其特征在于以下特征：

登记(1)可用的操作员(12)，

接收(2)关于所述车辆(11)的数据，

将根据所述数据从可用的操作员(12)中选择的操作员(12)通知给(3)所述车辆(11)，

注明(4)在所选择的操作员(12)中优选的操作员(12)，

保留通信资源，

请求(5)所述优选的操作员(12)与所述车辆(11)的通信单元(13)连接(6)，并且请求所述优选的操作员借助所述通信单元(13)接管(7)所述车辆(11)的控制功能(14)。

2.根据权利要求1所述的方法(10)，其特征在于以下特征：

在登记所述操作员(12)时分别注明服务范围，

此外根据相应的服务范围选择所述操作员(12)。

3.根据权利要求2所述的方法(10)，其特征在于，所述服务范围包括以下中的至少一个：

自动调解(15)所述车辆(11)的远程操作，

手动调解(16)所述车辆(11)的远程操作，或

在紧急的交通情况下能够按照优先级调解(17)所述车辆(11)的远程操作。

4.根据权利要求3所述的方法(10)，其特征在于以下特征：

所述操作员(12)分别属于服务公司(18)，

所述服务公司(18)运行一个或多个控制中心(19)，

对所述控制中心(19)的操作员(12)进行分配。

5.根据权利要求4所述的方法(10)，其特征在于，根据以下标准中的至少一个来对所述控制中心(19)的操作员(12)进行分配：

所述车辆(11)的紧急情况，

所述控制中心与待控制的车辆(11)的兼容性，

所述控制中心对所述待控制的车辆(11)的访问权限，

所述操作员的能力(12)，

所述控制中心(19)的负荷率，或

ToD任务的可能的捆绑与部分自动化。

6.根据权利要求4或5所述的方法(10)，其特征在于以下特征：

通过所述服务公司(18)记录由所述操作员(12)在给定的交通情况中执行的所述车辆(11)的驾驶操作，

如果在远程操作期间重复所述交通情况，则能够通过操作员(12)再现(22)所记录的驾驶操作，

能够手动地或部分自动化地给所述车辆(11)提出可能的解决方案轨迹。

7.根据权利要求4、5或6所述的方法(10)，其特征在于以下特征：

能够请求所述车辆(11)加入车辆队列，

能够由所述操作员手动地或部分自动化地给所述车辆队列提出可能的解决方案轨迹，或

所述车辆队列由操作员直接控制。

8.根据权利要求1至7中任一项所述的方法(10)，其特征在于以下特征：

在将所述控制功能(14)从第一操作员(12)计划转交给第二操作员(12)时，通知所述第一操作员(12)和所述第二操作员(12)，

所述第二操作员(12)向所述第一操作员(12)请求所述控制功能(14)，

当所述第二操作员(12)完全接管所述控制功能(14)时，所述转交完成。

9.一种计算机程序，所述计算机程序设置用于根据权利要求1至8中任一项所述的方法(10)。

10.一种机器可读的存储介质，在所述机器可读的存储介质上存储有根据权利要求9所述的计算机程序。

11.一种设备(20)，所述设备设置用于实施根据权利要求1至8中任一项所述的方法(10)。

Images