CN113448322A

CN113448322A - 用于车辆的远程操作方法和系统以及存储介质和电子设备

Info

Publication number: CN113448322A
Application number: CN202010221549.9A
Authority: CN
Inventors: J·海蒂格; 雷文辉; 严冬; 杨胜胜
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2020-03-26
Filing date: 2020-03-26
Publication date: 2021-09-28

Abstract

本公开涉及一种用于车辆的远程操作方法，其特征在于，该远程操作方法包括：‑接收来自车辆的车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息，其中，所述描述性信息能够由车辆基于所述车辆周围物体的传感器数据确定；‑基于所述车辆位置信息获取与所述车辆相关联的电子地图、尤其是高清地图；‑根据所述描述性信息和所述电子地图生成概念地图；‑显示所述概念地图。另外，本公开涉及相应的用于车辆的远程操作系统、计算机可读的存储介质以及电子设备。

Description

用于车辆的远程操作方法和系统以及存储介质和电子设备

技术领域

本公开涉及远程操作技术，特别是涉及用于车辆的远程操作方法和用于车辆的远程操作系统以及存储介质和电子设备。

背景技术

目前，越来越多地采用远程操作技术来控制车辆。尤其是例如在车辆的自主系统发生故障时或者例如在人类驾驶员无法操作车辆时，采用远程操作技术来接管对车辆的控制。

虚拟现实(VR)技术可改善远程操作。与2D观景相比，当采用3D立体可视化时，可以为用户提供更佳的临场感和交互能力，并且这种显示形式提供更为身临其境的沉浸式体验。

当车辆开到特定地点时，通过VR技术，人们可以感受到所有实时的车辆周围信息，例如行人、车辆、建筑和一些非预期情景。这些优点在用于自动驾驶的基于VR的远程操作中是显而易见的。

但是，基于VR的远程操作具有如下缺点：

当前使用在远程操作中的VR技术基于由摄像机、尤其是球型VR摄像机和其他传感器采集的实时数据。这对所有这些传感器的配置结构有很高的要求，从而VR性能对于不同的感知配置结构变化非常大。

另一方面，由于上传到远程操作终端需要足够的网络带宽和低延时，实时数据传输受到很大束缚。

而且，摄像机的监控范围有限，其无法捕捉车辆周围的完整信息。例如，当在车辆前方存在很高的树时，现有的传感器无法精确地感知树木的高度。这样的信息缺失会对远程操作造成不利影响。

发明内容

有鉴于此，本公开提供了用于车辆的远程操作系统和用于远程操作车辆的方法，其可减少或甚至消除现有技术中的上述缺点。

根据本公开的第一方面，提供了一种用于车辆的远程操作方法，其包括：

-接收来自车辆的车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息，其中，所述描述性信息能够由车辆基于所述车辆周围物体的传感器数据确定；

-基于所述车辆位置信息获取与所述车辆相关联的电子地图、尤其是高清地图；

-根据所述描述性信息和所述电子地图生成概念地图；

-显示所述概念地图。

因此，由于在远程操作终端与车辆之间传输车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息，所以无需从车辆向远程操作终端传输车辆周围物体的图像和视频，从而避免大量数据传输。因此，不仅节省传输数据空间，而且提高传输效率。而且，由于在显示装置上显示的是概念地图，因此无需在车辆上安装特殊的、专用传感器，如用于三维成像的球型VR摄像机，仅使用车辆上的常规传感器、如标准摄像机即可。因此，根据本公开的用于车辆的远程操作方法有利于远程操作，提高车辆与远程操作者之间的交互能力。

优选地，所述描述性信息可以为文本信息，和/或所述描述性信息可以包括关于所述车辆周围物体的位置、几何形状和尺寸的信息。这些措施可以进一步缩减传输数据的大小，从而节省传输数据空间并且提高传输效率。

优选地，所述车辆周围物体可以是在车辆行驶路径上的障碍物。因此，不必传输车辆周围的所有物体的传感器数据。该措施也可以进一步缩减传输数据的大小，从而节省传输数据空间并且提高传输效率。

优选地，在根据所述描述性信息和所述电子地图生成概念地图时，可以根据所述描述性信息将所述车辆周围物体动态地渲染在所述电子地图中。由此可以简单地且顺畅地产生反映车辆周围环境的假想地图、尤其是三维假想地图，即概念地图。

优选地，在根据所述描述性信息将所述车辆周围物体动态地渲染在所述电子地图中时，可以根据所述车辆周围物体的描述性信息搜索在电子地图中的对应物体，并在电子地图的相应位置中添加该对应物体，和/或可以根据所述车辆周围物体的描述性信息生成所述车辆周围物体的对应模型、尤其是对应框架，并在电子地图的相应位置中添加该对应模型。该措施可以进一步简单地且顺畅地产生反映车辆周围环境的假想地图、尤其是三维假想地图，即概念地图。

优选地，在接收来自车辆的车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息之前，可以与车辆建立通信连接；和/或可以命令车辆确定并传输所述描述性信息。

优选地，在显示所述概念地图之后，可以接收用户输入并根据所述用户输入向车辆发送操作信号。

根据本公开的第二方面，提供了一种用于车辆的远程操作系统，其包括：

显示装置、尤其是虚拟现实眼镜和/或一个或多个平视显示器，和

用于车辆的远程操作装置，其包括：

-接收模块，其被配置为接收来自车辆的车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息，其中，所述描述性信息能够由车辆基于所述车辆周围物体的传感器数据确定；

-获取模块，其被配置为基于所述车辆位置信息获取与所述车辆相关联的电子地图、尤其是高清地图；

-生成模块，其被配置为根据所述描述性信息和所述电子地图生成概念地图；

-显示模块，其被配置为将所述概念地图显示在显示装置上。

在本公开的第三方面中，本公开提供了一种计算机可读的存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行以实现前面所述的按照第一方面的方法。

在本公开的第四方面中，本公开提供了一种电子设备，其可包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述计算机程序被处理器执行以实现前面所述的按照第一方面的方法。

根据本公开的第二至四方面的用于车辆的远程操作系统、计算机可读的存储介质以及电子设备也相应地带来与根据本公开的第一方面的用于车辆的远程操作方法相同的优点，在此不再赘述。

总之，通过根据本公开的用于车辆的远程操作方法和用于车辆的远程操作系统，可以使用车辆上的标准摄像机来实现VR显示，而无需球型VR摄像机。而且，无需将特定障碍物的图像和视频上传，从而避免大量数据传输。由此，不仅可以节省传输数据空间，而且可以提高传输效率。因此，根据本公开的用于车辆的远程操作方法和用于车辆的远程操作系统有利于远程操作，提高车辆与远程操作者之间的交互能力。

附图说明

为使本公开的上述目的、特征和优点能够更为明显易懂，下面结合附图对本公开的具体实施方式做详细的说明。在所述附图中，相同的附图标记表示相同的部件，其中：

图1示出应用用于车辆的远程操作系统的一个示例的示意图；

图2示出根据本公开的用于车辆的远程操作系统的一个实施例的结构框图；

图3示出根据本公开的用于车辆的远程操作方法的一个实施例的流程图。

具体实施方式

在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。

本公开旨在一种用于车辆的远程操作终端，远程操作者可使用该远程操作终端远程控制车辆。该远程操作终端可设计成用于车辆的远程操作系统，以便例如在车辆的自主系统发生故障时或者例如在人类驾驶员无法操作车辆时接管对车辆的控制。如图1所示，车辆10可通过网络40与远程操作系统20通信，远程操作者30可通过远程操作系统20控制车辆10。

就此而言，在本公开的范围内，车辆是能够感测环境并且在没有人为输入的情况下导航的车辆。车辆可以使用各种传感器检测周围环境，并且车辆的控制系统可以使用由传感器提供的数据来适当地导航和操纵车辆。例如，车辆可以配备有固定相机，所述固定相机相对于车辆在位置和定向上是固定的，以向可能需要在某些情况下(例如，在车辆的自主系统故障期间或在车辆的驾驶员变得无法操作车辆时)接管对车辆的控制的远程操作者提供实时信息馈送。

图2示出根据本公开的用于车辆的远程操作系统20的一个实施例的结构框图。该远程操作系统20包括显示装置100和用于车辆的远程操作装置200。

通过在显示装置100上显示的信息，远程操作者可以知晓车辆10的周围情况。显示装置100可以实施为如图1所示的远程操作者30所佩戴的虚拟现实眼镜。附加或替代于此，显示装置100也可以实施为一个或多个平视显示器。所述平视显示器可以组合成环绕远程操作者的屏幕，从而可以使远程操作者获得更佳的身临其境感。

通过远程操作装置200可接收信息并变换所接收的信息以输出信息。该远程操作装置200可实施为任意类型的计算装置、计算电路或任意类型的处理器或能够执行存储在存储器中的一系列指令的处理电路。该远程操作装置200可包括多个处理器和/或多核中央处理单元(CPU)并且可包括任意类型的处理器，诸如微处理器、数字信号处理器、微控制器等。该远程操作装置200还可包括存储器以存储数据和/或算法以执行一系列指令。

该远程操作装置200可包括接收模块201、获取模块202、生成模块203和显示模块204。

接收模块201可被配置为接收来自车辆10的车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息。

所述描述性信息是非图像形式的信息。这也意味着，所述描述性信息是非视频形式的信息。所述描述性信息尤其可以是文本信息。所述描述性信息可以包括关于所述车辆周围物体的位置、几何形状和尺寸的信息。所述描述性信息也可以包括关于所述车辆周围物体的类型(例如人、树、车等)的信息。替选于此，所述描述性信息是关于所述车辆周围物体的位置、几何形状和尺寸的信息，或者是关于所述车辆周围物体的位置、几何形状和尺寸以及类型的信息。

就此而言，在本公开的范围内，位置可以是绝对位置，也可以是相对位置。位置例如可以使用坐标系表示或使用经纬度表示。

另外，所述描述性信息能够由车辆基于所述车辆周围物体的传感器数据确定。如上所述，车辆可以通过其自身的传感器获取关于车辆周围物体的传感器数据并能够基于这些传感器数据确定所述描述性信息。在本公开的范围内，车辆自身的传感器可以仅包括标准传感器、如常规摄像机，而不必包括特殊的、专用传感器，如用于三维成像的球型VR摄像机。

所述车辆周围物体尤其可以是在车辆行驶路径上的障碍物，而不必包括车辆周围的所有物体。

获取模块202可被配置为基于所述车辆位置信息获取与所述车辆相关联的电子地图、尤其是高清地图。

例如，所述电子地图可以原本就存储在远程操作系统20中，或者可以从其他信息源进行下载获得。

生成模块203可被配置为根据所述描述性信息和所述电子地图生成概念地图。

所述概念地图是反映车辆周围环境的假想地图、尤其是三维假想地图。在根据所述描述性信息和所述电子地图生成概念地图时，生成模块203可以根据关于车辆周围物体的描述性信息将相应的车辆周围物体动态地渲染在所述电子地图中。在根据所述描述性信息将所述车辆周围物体动态地渲染在所述电子地图中时，生成模块203可以根据所述车辆周围物体的描述性信息搜索在电子地图中的对应物体，并在电子地图的相应位置中添加该对应物体，和/或根据所述车辆周围物体的描述性信息生成所述车辆周围物体的对应模型、尤其是对应框架，并在电子地图的相应位置中添加该对应模型。这还将在下文详细论述。

显示模块204可被配置为将所述概念地图显示在显示装置100上。

另外，该用于车辆的远程操作装置200还可包括通信模块205，其可被配置为与车辆例如经由网络建立通信连接。当然，远程操作装置200也可能一直与车辆保持通信连接，从而不必建立通信连接。该用于车辆的远程操作装置200还可包括命令模块206，其可被配置为命令车辆确定并传输关于车辆周围物体的描述性信息。

另外，用于车辆的远程操作系统20可包括输入装置300、尤其是遥控器。当然，还可远程操作者可以例如经由触摸、语音控制和手势控制等进行输入。与此相关地，用于车辆的远程操作装置200还可包括操作模块207，其可配置为接收来自所述输入装置300的用户输入并根据所述用户输入向车辆10发送操作信号。

以下将结合图1和图3详细描述根据本公开的用于车辆的远程操作系统20的工作方式。图3示出根据本公开的用于车辆的远程操作方法的一个实施例的流程图。

在图1的示例中，车辆10例如由于自主系统发生故障或者由于人类驾驶员无法对其操作而需要经由远程操作系统20由远程操作者30控制。

为此，在步骤SP中，可在远程操作系统20与车辆10之间经由网路40建立通信。

在此，车辆10可通过其自身的摄像头获取车辆周围物体的图像并且可对这些数据进行处理，从而得到关于车辆周围物体的描述性信息。在该示例中，车辆10检测到在其行驶路径上的树木50作为车辆周围物体，并且可基于该树木的图像确定树木的位置、几何形状和尺寸以及可选的类型。车辆10可以自动地确定关于车辆周围物体的描述性信息并传输给远程操作系统20。也可能的是，远程操作系统20命令车辆10确定并传输所述关于车辆周围物体的描述性信息。

在步骤S1中，远程操作系统20可接收来自车辆10的车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息。所述描述性信息优选以文本形式从车辆10传送到远程操作系统20。

在步骤S2中，远程操作系统20可基于所述车辆位置信息获取与所述车辆相关联的电子地图、尤其是高清地图。远程操作系统20可以从自身存储的电子地图中调取相关电子地图，或者可以从其他数据源下载相关电子地图。

在步骤S3中，远程操作系统20可根据所述描述性信息和相关电子地图生成概念地图。此时，根据所述描述性信息将所述车辆周围物体动态地渲染在所述电子地图中。在该示例中，远程操作系统20根据树木50的位置、几何形状和尺寸将树木50渲染在电子地图中。

按照一种实施方式，远程操作系统20可根据树木50的位置、几何形状和尺寸在电子地图中搜索与树木50对应的对应物体，并在电子地图的相应位置中添加该对应物体。在图1的示例中，由于车辆10没有安装专门的VR摄像机，因此车辆10的传感器的检测范围有限。车辆10上的标准摄像机可以检测到树木50的部分信息，但是无法知晓树木50的完整信息，例如无法知晓整树木50的整个高度。因此，远程操作系统20接收到的是树木50的不完整信息。在渲染时，如果在电子地图中的相应位置处搜索到树木501，即可将搜索到的树木501添加或覆盖到电子地图中或者说将搜索到的树木501再次覆盖在电子地图中，因而可在例如VR眼镜中看到完整的树木501。这种方式尤其适用于静态物体、例如建筑物等。

按照另一种实施方式，远程操作系统20可根据所述车辆周围物体的描述性信息生成所述车辆周围物体的对应模型、尤其是对应框架，并在电子地图的相应位置中添加该对应模型。例如，远程操作系统20可用一个三维框架代表树木50，将其添加或覆盖到电子地图中。在这种情况下，远程操作者30并不能知晓代表树木50的三维框架是什么物体，但是远程操作者30可以了解到在此存在物体或者说障碍物。由此也可以使远程操作者30得知在该相应位置存在阻碍车辆行驶的物体或者说障碍物。

在步骤S4中，远程操作系统20可将所述概念地图显示在显示装置上、尤其是显示在远程操作者30所佩戴的VR眼镜上。

在步骤S5中，远程操作者30可基于在显示装置上显示的概念地图利用输入装置进行输入。远程操作系统20可接收该用户输入并根据所述用户输入向车辆发送操作信号，由此操作车辆。

因此，根据本公开，在车辆上使用标准传感器来检测物体或行驶路径上的障碍物，并且不必传输物体或障碍物的特定图像。然后，在远程操作系统处将物体或障碍物的描述性信息与电子地图相结合，通过在远程操作系统中进行渲染和在远程操作者的VR眼镜中进行显示，产生概念地图。由此方便远程操作者对车辆进行控制。

在本公开的范围内，表述“和/或”在本文中使用的含义为，包括该表述之前和之后列出的组件中的至少一个。而且，表述“连接/联接”使用的含义为，包括与另一个组件的直接连接，或通过另一个组件而间接连接。本文中的单数形式也包括复数形式，除非在措辞中特别提及。而且，本文中使用的涉及“包括”或“包含”的组件、步骤、操作和元件的含义为，存在或添加至少一个其他的组件、步骤、操作和元件。

应理解的是，本文中所用的术语“车辆”或“车辆的”或其他类似术语通常包括机动车辆，如包括运动型多用途车辆(SUV)、大客车、大货车、各种商用车辆的乘用车辆，包括各种舟艇、船舶的船只，航空器等，并包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆和其他替代性的燃料车辆(例如，源于除了石油之外的来源的燃料)。在此，混合动力车辆为具有两种或更多种动力源的车辆，例如汽油动力和电力动力两者的车辆。

应理解的是，“网络”是指能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或另一种通信连接(硬接线、无线或硬接线或无线的任何组合)向计算机传递或提供信息时，计算机适当地将连接视为传输介质。传输介质可以包括网络和/或数据链路，其可以用于以计算机可执行指令或数据结构的形式携带期望的程序代码手段并且可以由通用或专用计算机存取。上述组合也应当包括在计算机可读介质的范围内。“通信”可以是根据一种或多种合适的协议、一种或多种标准和/或一种或多种规范的无线通信。所述通信可以基于根据电气和电子工程师协会(IEEE)802.11标准的一种或多种Wi-Fi技术。

此外，本公开还涉及一种计算机可读的存储介质，所述计算机可读的存储介质上存储有上面所述的根据本公开的用于车辆的远程操作方法。

计算机可读的存储介质可以是可保留和存储用于由指令执行设备使用的指令的有形设备。计算机可读的存储介质可以是，例如但不限于，电子存储设备、磁存储设备、光学存储设备、电磁存储设备、半导体存储设备或上述的任何合适的组合。

计算机可读的存储介质可以是机器可读的或者计算机可读的。因此，一些实施例中计算机可读的存储介质包括数据载体，所述数据载体具有可执行的指令，所述可执行的指令能够与可编程的计算机系统或者可编程的硬件组件这样配合作用，使得实施在此描述的方法中的一种方法。因此，一种实施例是一种数据载体、一种数字存储介质或者一种计算机可读储存介质，在该数据载体上记录有用于实施在此描述的方法中的一种方法的程序。

本公开还涉及一种电子设备，其包括存储器、处理器及存储在存储器上并可在处理器上运行的上面所述的根据本公开的用于车辆的远程操作方法。

本领域技术人员能够理解，任何包括存储器和处理器并能执行程序的设备都属于本文所称的电子设备，其包括但不限于：手机、笔记本电脑、台式电脑、掌上电脑(PDA)、便携式导航装置、车载式导航装置、平板电脑(PAD)、便携式多媒体播放器、智能手表、可穿戴设备等。

本发明还可以是计算机程序产品。计算机程序产品可以包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质。

计算机可读程序指令可以完全在用户的计算机上执行、部分地在用户的计算机上执行、作为独立的软件包执行、部分地在用户的计算机上并且部分地在远程计算机上执行或者完全在远程计算机或服务器上执行。在一些实施例中，包括例如可编程逻辑电路系统、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路系统可以通过利用个性化电子电路系统的计算机可读程序指令的状态信息来执行计算机可读程序指令，以便执行本发明的各方面。

在本申请文件中公开的特征不仅可以单独地而且可以以任意组合的方式对于实施例在不同的设计方案方面的实现来说是重要的并且可以被实现。本发明不限于所示的实施例，而是包括或者延及可落入所附权利要求书的有效范围内的所有技术上的等效物。

Claims

1.一种用于车辆的远程操作方法，其特征在于，该远程操作方法包括：

-根据所述描述性信息和所述电子地图生成概念地图；

-显示所述概念地图。

2.根据权利要求1所述的远程操作方法，其特征在于，所述描述性信息为文本信息，和/或所述描述性信息包括关于所述车辆周围物体的位置、几何形状和尺寸的信息。

3.根据权利要求1或2所述的远程操作方法，其特征在于，所述车辆周围物体是在车辆行驶路径上的障碍物。

4.根据权利要求1至3之一所述的远程操作方法，其特征在于，在根据所述描述性信息和所述电子地图生成概念地图时，

根据所述描述性信息将所述车辆周围物体动态地渲染在所述电子地图中。

5.根据权利要求4所述的远程操作方法，其特征在于，在根据所述描述性信息将所述车辆周围物体动态地渲染在所述电子地图中时，

根据所述车辆周围物体的描述性信息搜索在电子地图中的对应物体，并在电子地图的相应位置中添加该对应物体，和/或

根据所述车辆周围物体的描述性信息生成所述车辆周围物体的对应模型、尤其是对应框架，并在电子地图的相应位置中添加该对应模型。

6.根据权利要求1至5之一所述的远程操作方法，其特征在于，该远程操作方法还包括：在接收来自车辆的车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息之前，

-与车辆建立通信连接；和/或

-命令车辆确定并传输所述描述性信息。

7.根据权利要求1至6之一所述的远程操作方法，其特征在于，该远程操作方法还包括：在显示所述概念地图之后，

-接收用户输入并根据所述用户输入向车辆发送操作信号。

8.一种用于车辆的远程操作系统(20)，其特征在于，该远程操作系统(20)包括：

显示装置(100)、尤其是虚拟现实眼镜和/或一个或多个平视显示器，和

用于车辆的远程操作装置(200)，其包括：

-接收模块(201)，其被配置为接收来自车辆的车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息，其中，所述描述性信息能够由车辆基于所述车辆周围物体的传感器数据确定；

-获取模块(202)，其被配置为基于所述车辆位置信息获取与所述车辆相关联的电子地图、尤其是高清地图；

-生成模块(203)，其被配置为根据所述描述性信息和所述电子地图生成概念地图；

-显示模块(204)，其被配置为将所述概念地图显示在显示装置(100)上。

9.根据权利要求8所述的远程操作系统，其特征在于，所述描述性信息为文本信息，和/或所述描述性信息是关于所述车辆周围物体的位置、几何形状和尺寸的信息，和/或所述车辆周围物体是在车辆行驶路径上的障碍物。

10.根据权利要求8或9所述的远程操作系统，其特征在于，所述生成模块(203)被配置为，在根据所述描述性信息和所述电子地图生成概念地图时，

11.根据权利要求10所述的远程操作系统，其特征在于，所述生成模块(203)被配置为，在根据所述描述性信息将所述车辆周围物体动态地渲染在所述电子地图中时，

12.根据权利要求8至11之一所述的远程操作系统，其特征在于，所述用于车辆的远程操作装置还包括：

通信模块(205)，其被配置为与车辆建立通信连接；和/或

命令模块(206)，其被配置为命令车辆确定并传输所述描述性信息。

13.根据权利要求8至12之一所述的远程操作系统，其特征在于，所述远程操作系统还包括输入装置(300)、尤其是遥控器，

所述用于车辆的远程操作装置还包括：

操作模块(207)，其配置为接收来自所述输入装置的用户输入并根据所述用户输入向车辆发送操作信号。

14.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行以实现根据权利要求1至7中任一项所述的方法。

15.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行以实现根据权利要求1至7中任一项所述的方法。