CN113348125A - 用于辅助用户遥控机动车辆的方法、计算机程序产品、遥控装置以及用于机动车辆的驾驶员辅助系统 - Google Patents

Abstract

本发明涉及一种借助遥控装置(3)辅助用户遥控机动车辆(2)的方法，其中根据借助机动车辆(2)的至少一个环境传感器(5、6、7、8)提供的传感器数据(14)，借助遥控装置(3)提供并显示从确定的视角(19)的机动车辆(2)的环境(9)的至少一个部分(20)的第一环境图像(13)。在这种情况下，确定的视角(19)从多个可选择的视角(19)中选择，作为与至少一个环境传感器(5、6、7、8)的位置无关的视角(19)，这取决于由用户实现并通过遥控装置(3)检测的用户输入。

Description

用于辅助用户遥控机动车辆的方法、计算机程序产品、遥控装 置以及用于机动车辆的驾驶员辅助系统

技术领域

本发明涉及一种用于借助遥控装置辅助用户遥控机动车辆的方法，其中根据借助机动车辆的至少一个环境传感器提供的传感器数据，从确定的视角提供机动车辆的环境的至少一个部分的环境图像，并且借助遥控装置显示第一环境图像。本发明还包括用于机动车辆的计算机程序产品、遥控装置以及驾驶员辅助系统。

背景技术

现有技术中已知用于遥控机动车辆的各种遥控系统。首先，这里存在各自系统，其中为了遥控机动车辆，用户必须位于机动车辆的预定附近，特别是使得机动车辆相对于用户处于可视范围内。这种系统主要用于由机动车辆自动执行的停车过程，其中机动车辆外部的用户可以通过遥控启动和监控这种自动停车过程。

在这方面，US2016/0096549A1描述了一种用于遥控带有拖车的机动车辆的方法。在这种情况下，用户可以通过遥控机动车辆/拖车装置以遥控方式驾驶。为此，可以通过遥控提供相应的控制元件，特别还作为这种控制元件的虚拟显示，以便遥控例如加速踏板、制动踏板、变速杆等。此外，在这种情况下，还可以向用户显示机动车辆的360度全方位视图系统的视频流。

此外，DE102009041587A1描述了一种用于辅助驾驶员监控机动车辆的自主停车过程的方法，其中监控用户同样可以在自主停车过程中位于机动车辆外部。在这种情况下，借助于机动车辆的至少一个相机，可以获得关于机动车辆环境区域的图像数据，并且这些图像数据或从其计算的图像数据可被传送到用户的遥控器用于显示。如果提供多个相机，用户可以通过遥控器选择多个相机中的一个，然后通过遥控器向用户显示所选相机的图像数据。可替代地，不同相机的视图也可以通过遥控器以预定的时间间隔自动显示给用户。另一替代是通过遥控器从鸟瞰的视角向驾驶员显示机动车辆的环境区域。

此外，还有遥控系统，其中用户不必位于机动车辆的预定附近，而是也可以远离机动车辆，例如在不同的城市，甚至在不同的国家。例如，Mark Harris于2018年1月10日在https://spectrum.ieee.org/cars-that-think/transportation/self-driving/ces-2018-pha ntom-auto-demonstrates-first-remotecontrolled-car-on-public-roads下发表的文章“CES 2018:Phantom Auto-shows-First-Remote-Controlled-Car-on-Public-road”中描述了这样的系统。在这种情况下，由机动车辆相机记录的环境的视频也可以作为直播流显示给通过遥控控制机动车辆的远程用户。

准确地说，在最后提到的情况下，即在用户可以非常远离要遥控的机动车辆的情况下，对于用户必须从远处遥控该机动车辆的情况，向用户提供关于机动车辆环境的全面信息是特别重要的。

此外，一般来说，从现有技术中已经知道以高自动化水平行驶的机动车辆。在这种情况下，同时正在测试各种自主水平的机动车辆。然而，可以预见的是，至少在不久的将来，5级自主水平即驾驶员或监控人员不再需要存在的水平将不是可实现的。因此，目前，即使是具有非常高自主水平的机动车辆也可能遇到需要用户手动交互的情况。这些情况可能构成关键操作，例如高速公路出口、合并车道、事故、为紧急服务车辆提供走廊、道路工程，或者更简单的驾驶员接管，以便在停车位或多层停车场停车。这种由自动驾驶机动车辆的用户进行的手动接管也允许由用户执行的机动车辆的控制被远程实现。在这种情况下，当机动车辆处于静止或慢速行驶时，例如在停车操作期间，这种接管可能是必要的，但另一方面，当机动车辆快速行驶时，例如在高速公路上，这种接管也是非常关键的情况。因此，希望使这种接管对用户来说尽可能容易，并且总体上尽可能安全。

发明内容

因此，本发明的目的是提供一种用于借助于遥控装置来辅助用户遥控机动车辆的方法、计算机程序产品、遥控装置以及用于机动车辆的驾驶员辅助系统，允许机动车辆外部且位于远处的用户尽可能安全地遥控机动车辆。

这个目的是通过具有根据相应独立权利要求的特征的用于帮助用户遥控机动车辆的方法、计算机程序产品、遥控装置以及驾驶员辅助系统来实现的。本发明的有利配置是从属权利要求、说明书和附图的主题。

在根据本发明的用于借助遥控装置辅助用户遥控机动车辆的方法中，根据借助机动车辆的至少一个环境传感器提供的传感器数据，从确定的视角提供机动车辆的至少一个部分的环境的第一环境图像，并且借助遥控装置来显示其。此外，根据由用户实现并通过遥控装置检测的用户输入，从多个可选的视角中选择确定的视角作为与至少一个环境传感器的位置无关的视角。

换句话说，可由用户通过遥控装置选择的并且可从其向用户显示机动车辆环境的相应环境图像的视角不限于由机动车辆的一个或多个环境传感器的位置提供的视角，而是例如原则上可以在三维空间中自由选择。然后，可以通过已知方法从由至少一个环境传感器提供的传感器数据计算来自所选视角的环境的视图或表示。结果，有利地为用户提供了关于机动车辆环境的视角选择的显著更大灵活性，由此精确地结合遥控系统，其中用户必须在非常关键的驾驶情况下从远处遥控机动车辆，在某些情况下，安全性可以大大增加，因为视角选择的显著更大灵活性，可以向用户显示的是环境图像，其可以由用户以适合于情况要求的方式选择，并且在这种情况下不限于限定数量的预定视角，特别是由机动车辆传感器的位置预定的视角。

在这种情况下，机动车辆的遥控可以理解为意味着由机动车辆自动执行的功能的远程激活和机动车辆的手动遥控驾驶。优选地，要遥控的机动车辆是自动驾驶的机动车辆，特别是在自主水平二、三或四时。优选地，用户对机动车辆的遥控仅在接管情况下发生，也就是说，当当前驾驶的机动车辆自动请求用户接管驾驶功能时。引言中描述的情况可能就是这种情况。

关于本发明，在机动车辆的遥控期间，用户不必位于机动车辆的预定附近，而是可以与机动车辆相距任意距离。此外，机动车辆不必在用户的视觉范围内。在这种情况下，机动车辆和遥控装置之间的通信原则上可以由任何任意的通信标准实现，优选地由移动无线电标准实现。目前，主要是移动无线电标准4G或LTE(长期演进)尤其是高级LTE特别适合这种情况。目前，因此有可能实现最高的数据传输速率，并因此最小化延迟。然而，在未来，也有可能使用其他进一步改进的移动无线电标准，例如计划中的移动无线电标准5G或用于机动车辆和遥控装置之间数据传输的其他标准。

此外，遥控装置可以采取任意形式。它可以配置为例如移动设备，例如智能手机或一些其他移动通信设备，或者非移动通信设备，例如用户的台式计算机或家用计算机。为了显示至少一个第一环境图像，遥控装置包括至少一个显示设备或显示器。

至少一个环境传感器优选实施为至少一个相机。然而，对于环境检测和提供传感器数据，可替代地或另外，也可以使用其他类型的传感器，例如LIDAR(光检测和测距)传感器和/或雷达传感器和/或超声波传感器及其任意组合。

为了使用户能够从任何期望的选定视角来表示环境，优选的是，如稍后将更详细描述，能够基于检测到的传感器数据来提供机动车辆周围的3D全方位视图。这可以通过单个环境传感器或多个环境传感器来实现。举例来说，360度相机和/或360度LIDAR传感器可以安装在机动车辆的车顶上，以便以三百六十度角检测机动车辆周围的环境。然而，优选的是，使用多个环境传感器来提供传感器数据，特别是布置在机动车辆周围的外部的多个相机，例如车辆前部的前相机、车辆后部的后相机以及例如机动车辆左外后视镜区域中的左后视镜相机和机动车辆右外后视镜区域中的右后视镜相机。这些相机中的相应一个优选地实施为广角相机，特别是鱼眼相机。相应的相机可以设计成提供在水平方向上具有180度孔径角的视场。这种布置还使得有可能在机动车辆周围以三百六十度角检测机动车辆的环境，并且在此基础上，通过合并和融合分配给公共检测时间步骤的各个相机的相机图像数据来产生机动车辆周围的3D全方位视图。

在这种情况下，视角可以首先被分配视点，特别是虚拟视点，从该视点可以观察环境，以及观察方向。此外，独立于至少一个环境传感器的位置的视角应该被理解为是指其分配的视点也可以不同于至少一个环境传感器的位置的视角。举例来说，用户因此也可以选择与各个机动车辆相机记录环境的视角不对应的视角。

此外，检测到的用于选择视角的用户输入可以构成仅用于选择视角的用户输入。换句话说，用户可以选择或改变视角，而不必为此目的通过遥控改变机动车辆本身的位置和/或定向。机动车辆坐标系内确定的视角因此可以通过用户输入来选择或改变。

在本发明的一有利配置中，根据选择的视角，确定定义的投影表面上的观察窗并且计算第一环境图像作为机动车辆周围的3D全方位视图的一部分，所述3D全方位视图能够根据定义的投影表面上的确定观察窗从传感器数据提供，使得第一环境图像表示从选择的视角看位于观察窗内的环境的部分。

在这点上，例如，从选择的视角来看，提供的传感器数据可被投影到定义的投影表面上，结果，环境图像可以有利地被提供为在确定的观察窗内围绕机动车辆可提供的整个3D全方位视图的一部分。投影表面可以构成平面，例如该平面垂直于车辆的竖直轴线延伸，并且相对于车辆的竖直轴线位于机动车辆的下方。这种投影表面特别适合于从鸟瞰视角或在机动车辆的平面图中表示环境。

然而，特别有利的是，投影表面构成弯曲表面。例如，投影表面可以以半球形或壳形的方式实现。此外，投影表面可被提供为由圆形平面和围绕该平面延伸的壳形表面制成的组合。这提供了显著更高程度的灵活性，因为以这种方式原则上可以在三维空间中的任何任意位置选择视角，并且从选择的视角可以提供环境的三维图像作为3D全方位视图的一部分。

例如，分配给确定的视角的虚拟视点可以在一条或多条预定线上或在三维空间中自由选择。因此，借助于由遥控装置检测到的用户输入，用户可以自由选择视角并任意改变它，特别是动态地和连续地。因此，原则上，无数不同的视角尤其是无限数量的视角可以适于各自情况的方式被适当地选择。

特别地，在这种情况下，分配给确定的视角的虚拟视点在机动车辆内部以及在机动车辆外部是可选择的。因此，可以选择例如坐在机动车辆中的驾驶员对环境的视角，也可以选择机动车辆外部所需的许多视角，比如位于机动车辆旁边、后面、前面或上面的观察者。因此，有利地为用户提供了使机动车辆检测到的环境信息能够全面显示给用户的可能性。

在本发明的另一有利配置中，在第一环境图像中，从所选视角来表示机动车辆的机动车辆表示的至少一部分。所述机动车辆表示可以例如以2D位图图像的形式或者替代地作为计算机生成的三维机动车辆模型来提供。因此，用户的真实感显著提高。然而，首先用户由此可以将第一环境图像中表示的环境和位于所述环境中的物体直接与机动车辆的位置相关，并且显著更好地记录例如距离、尺寸关系、当前行进方向等，结果，安全性可以进一步提高。

在本发明的另一有利配置中，第一环境图像由机动车辆从传感器数据计算出，并传送到遥控装置。这具有的主要优点是，由此可以节省遥控装置方面的计算能力，这使得例如作为移动设备的遥控装置的配置特别紧凑。此外，这种配置具有的主要优点是，通过这种方式，要从机动车辆传送到遥控装置的数据可以减少到最小，因为通过这种方式，只有环境图像的图像数据被传送到遥控装置，而不是例如位于确定的观察窗之外的传感器数据或环境数据，如上所述。这使得从机动车辆到遥控装置的数据通信明显更快。因此，可以将延迟降低到最小。在这种情况下，有利的是，用于选择视角的用户输入作为例如相应的选择信息从遥控装置传送到机动车辆，所述用户输入通过遥控装置检测。后者然后可以根据选择的视角，基于检测到的传感器数据相应地计算环境图像，并将其传送到遥控装置。这个过程在这里特别连续地重复，使得来自所选视角的重复更新的第一环境图像以实时视频的形式在遥控装置上显示给用户。

在本发明的另一有利配置中，传感器数据从机动车辆传送到遥控装置，并且第一环境图像由遥控装置根据传感器数据计算。这使得有可能同时计算和显示来自不同视角的环境图像，这将在后面更详细地解释，例如根据传送到遥控装置的传感器数据。原则上，还可以想到，也可以直接基于传感器数据在机动车辆中计算这些不同的环境图像，也就是说从不同的视角，并且将它们传送到遥控装置，但机动车辆中的计算能力通常受到严重限制，特别是由于机动车辆中仅有的有限结构空间。相比之下，这种限制不适用于遥控装置，其例如也可以体现为具有高计算能力的家用计算机。因此，例如，除了来自用户选择的视角的第一环境图像之外，因此有可能同时从其他视角表示另外的环境图像，而这不需要机动车辆方面的更多计算能力。在这种情况下，也没有必要将用于选择视角的用户输入以选择信息的形式传送到机动车辆，所述用户输入由遥控装置检测。

在本发明的一特别有利配置中，根据机动车辆和遥控装置之间的通信连接的类型和/或机动车辆和遥控装置之间的数据传输的带宽和/或数据传输速率来确定第一环境图像是由机动车辆还是由遥控装置根据传感器数据计算。换句话说，上述两种变型可以根据机动车辆和遥控装置之间的通信连接的当前连接质量，以由情况控制的方式实现。由于至少机动车辆移动，因此通信连接有时可能更好或更差。例如，如果高数据传输速率当前可用，则由机动车辆检测到的整个原始传感器数据可被传送到遥控装置，其根据这些传感器数据计算第一环境图像，并且优选地计算从其他视角的其他环境图像，并且将它们显示给用户。相比之下，如果机动车辆和遥控装置之间的通信连接当前很差或者只有非常低的数据传输速率可用，则机动车辆可以基于检测到的传感器数据并根据用户选择的视角来计算第一环境图像，并且可以将其传送到遥控装置，由此可以极大地减少要传送的数据量。因此，在机动车辆和遥控装置之间的数据传输和通信能够有利地适应当前的通信连接质量。

因此，在本发明的另一特别有利配置中，如果机动车辆和遥控装置之间的通信连接的带宽和/或通信连接的数据传输速率低于预定极限值，则由机动车辆根据传感器数据计算第一环境图像并传送到遥控装置，并且如果机动车辆和遥控装置之间的通信连接的带宽和/或通信连接的数据传输速率不低于预定极限值，则传感器数据被传送到遥控装置，并且由遥控装置根据传感器数据计算第一环境图像。

如已经提到，特别有利的是，根据传感器数据，借助于遥控装置，从第二视角提供至少一个第二环境图像并与第一环境图像同时显示。因此，有利的是，可以从不同的视角同时向用户呈现环境图像。因此，可以在相应的给定时间点向用户提供更全面的环境信息。在这种情况下，分配给第二环境图像的视角同样可以由用户选择或改变，或者被固定地规定。举例来说，除了具有由用户选择的视角的第一环境图像之外，来自机动车辆的鸟瞰视角和机动车辆环境的平面视图图像可被表示为第二环境图像，和/或来自驾驶员视角等的另一第二环境图像。这里对配置可能性没有限制。举例来说，在同时表示多个环境图像的情况下，也可以从一开始就由用户通过配置菜单预先设置分配给分别显示的环境图像的视角。对于每个单独的环境图像，用户然后例如也可以在任何时候再次改变设置的视角。

如已经描述，进一步优选的是，根据本发明的另一有利配置，执行或能够独立于遥控装置和机动车辆之间的距离执行机动车辆的遥控。因此，用户不需要位于机动车辆的预定附近，而是为了遥控机动车辆，可以位于独立于机动车辆位置的用户位置。准确地说，结合这种远程控制，向用户提供全面环境信息是特别重要的，因为在某些情况下，用户根本不能直接看到车辆及其环境，特别是与用户位于机动车辆的预定附近的其他远程控制系统相比，使得机动车辆也总是在用户的可视范围内。本发明可以有利地提供关于机动车辆环境的这种全面信息提供，这显著提高了准确关于与距离无关的这种遥控系统的安全性。

此外，本发明还涉及一种计算机程序产品，包括指令，所述指令在由电子控制装置的处理器执行时使得所述处理器执行根据本发明或其实施例之一的方法。

此外，本发明还涉及一种用于帮助用户遥控机动车辆的遥控装置，其中该遥控装置设计成从确定的视角显示机动车辆环境的至少一个部分的环境图像，所述环境图像是根据借助于机动车辆的至少一个环境传感器提供的传感器数据来提供的。此外，遥控装置设计成检测由用户实现的用户输入，并且根据检测到的用户输入，从多个可选的视角中选择确定的视角作为与至少一个环境传感器的位置无关的视角。

此外，本发明还包括一种用于机动车辆的驾驶员辅助系统，用于通过遥控装置来辅助用户遥控机动车辆，其中驾驶员辅助系统设计成根据通过机动车辆的至少一个环境传感器提供的传感器数据，从确定的视角提供机动车辆环境的至少一个部分的第一环境图像，并将所述环境图像传送到遥控装置以显示第一环境图像。此外，驾驶员辅助系统设计成从遥控装置接收选择信息，其取决于由用户实现并借助遥控装置检测的用户输入，并且根据接收的选择信息，从多个可选的视角中选择确定的视角作为与至少一个环境传感器的位置无关的视角。

关于根据本发明的方法及其实施例提到的优点以相同的方式应用于根据本发明的计算机程序产品、根据本发明的遥控装置和根据本发明的驾驶员辅助系统。此外，结合根据本发明的方法描述的优选实施例使得能够通过进一步的相应配置来开发根据本发明的计算机程序产品、根据本发明的遥控装置和根据本发明的驾驶员辅助系统。

此外，本发明还应该被认为包括机动车辆，其包括根据本发明或其配置之一的驾驶员辅助系统。因此，本发明还包括一种包括遥控装置和机动车辆的系统，其中该系统设计用于执行根据本发明或其实施例之一的方法。

附图说明

这里，在附图中:

图1示出了根据本发明一示例性实施例的包括机动车辆和遥控装置的遥控系统的示意图；

图2示出了根据本发明一示例性实施例的从机动车辆提供的传感器数据提供机动车辆周围的3D全方位视图以及根据选择的视角计算环境图像的示意图；以及

图3示出了根据本发明一示例性实施例的遥控装置的示意图。

具体实施方式

图1示出了根据本发明一示例性实施例的遥控系统1的示意图，该遥控系统包括机动车辆2和遥控装置3。在这种情况下，机动车辆2具有驾驶员辅助系统4，其包括至少一个环境传感器，在该示例中为四个相机5、6、7、8，即例如前相机5、后相机6、左后视镜相机7和右后视镜相机8。这些相机5、6、7、8中的每个可以配置为广角相机。因此，这些相机5、6、7、8中的每个可以检测到非常大的视场。总的来说，机动车辆2的环境9因此可被完全检测，也就是说以围绕机动车辆2的三百六十度角。基于这些检测的传感器数据，可以从确定的视角计算机动车辆2的环境9的至少一部分的环境图像并将其显示在遥控装置3上，这将参照图3进行更具体的描述。

有利地，用户然后可以自由选择这些视角中的每个。因此，这种自由选择的视角有利地独立于各个相机5、6、7、8的位置。换句话说，可以选择与各个相机5、6、7、8的视角不相对应的视角。为了能够选择期望的视角，遥控装置3可以具有相应的输入装置。通过后者，用户做出的视角选择可被遥控装置3检测。

然后，有许多可能性用于基于检测到的传感器数据来计算环境图像。该计算一方面可以由车辆实现，另一方面也可以由遥控装置3执行。在下面描述的示例中，机动车辆2和遥控装置3都设计用于基于检测到的传感器数据计算环境图像。为此，驾驶员辅助系统4具有控制装置10，其设计成基于传感器数据根据预定义的视角来计算环境图像。另一方面，在该示例中，遥控装置3还具有相应的控制装置11，其同样设计成基于来自所提供的传感器数据的给定视角来计算环境图像。

如果要由机动车辆计算环境图像，则用于定义期望视角的用户输入可以作为相应的选择信息12传送到机动车辆2，特别是机动车辆2的控制装置10，所述用户输入由遥控装置3检测。基于由相机5、6、7、8在相应的时间步骤中提供的图像数据，控制装置10然后从确定的视角计算环境图像13，并且在相应的时间步骤中将该环境图像(在此用13表示)又传送到遥控装置3，其显示传送的环境图像13。在相应的时间步骤中，控制装置10可以基于传感器数据从用户选择的相同视角重复计算环境图像13，直到从遥控装置3接收到指定不同视角的新选择信息12。机动车辆2的控制装置10然后可以根据新指定的视角相应地计算环境图像13，并将所述环境图像传送到遥控装置3。

另一方面，如上所述，环境图像13的这种计算也可以由遥控装置3本身执行。在这种情况下，选择信息12不需要从遥控装置3传送到机动车辆2。相反，在相应的时间步骤中，机动车辆2的控制装置10将由相机5、6、7、8检测到的图像数据，特别是作为原始传感器数据14，传送到遥控装置3。此外，甚至其他环境和/或机动车辆数据比如环境地图、当前机动车辆位置、当前行驶速度或其他数据也可以从机动车辆传送到遥控装置。后者然后根据用户选择的视角计算环境图像13，并显示所述环境图像。

这里特别有利的是，根据机动车辆2和遥控装置3之间的通信连接目前有多好来确定环境图像13是由机动车辆2还是由遥控装置3来计算。举例来说，如果非常高的带宽当前可用于数据传输和/或如果高数据传输速率当前是可能的，那么优选的是，机动车辆2特别是控制装置10将原始相机数据14传送到遥控装置3，并且由遥控装置3执行环境图像13的计算。这具有的主要优点在于，遥控装置3的计算能力不受结构空间的限制，例如机动车2的控制装置10的情况。这有利地使得基于传送到遥控装置3的原始相机数据14，不仅可以根据用户选择的视角显示单个环境图像13，而且例如还可以从其他视角计算甚至其他环境图像并同时显示它们。

另一方面，如果高带宽当前不可用于数据通信和/或如果只有低数据传输速率是可能的，则优选的是机动车辆2本身根据用户指定的视角计算环境图像13的计算，并将计算的环境图像13传送到遥控装置3，然后遥控装置3显示它。这具有的优点在于，从机动车辆2到遥控装置3的环境图像13的通信所产生的数据量明显小于传送整个原始相机数据14时的数据量。因此，即使在低数据传输速率下，数据传输也能快速进行。

此外，在遥控装置3方面，用户通过遥控装置3输入的遥控命令15也可以从遥控装置3传送到机动车辆2，特别是又传送到执行所述命令的控制装置10。这种遥控命令尤其构成对机动车辆2的驱动命令，尤其用于控制机动车辆2的转向和/或控制机动车辆2的加速和/或制动。特别地，在通过遥控装置3遥控机动车辆2的过程中，用户因此被额外地提供了关于机动车辆2的环境9的全面环境信息，这显著增加了机动车辆2的遥控过程中的安全性。

图2示出了基于所提供的传感器数据计算环境图像的示意图，作为机动车辆2周围的三D全方位视图的一部分。具体而言，图2示出了投影表面，其在该示例中实施为球形或壳形投影表面15，以及作为机动车辆表示17的示例的机动车辆2的三维模型。由机动车辆相机5、6、7、8检测到的环境9的图像可被合并且投影到该球体16的表面上。此外，确定的观察窗18被定义，其取决于所选的视角19的位置，其在这里由分配给视角19的虚拟视点来表示。因此，在该示例中，视角19被选择成从机动车辆2的后面提供机动车辆2的视图，该机动车辆在此由机动车辆模型或通常的机动车辆表示17表示。这样，可以从所选的视角19提供表示环境20的第一部分的环境图像，所述第一部分位于观察窗内。在图3中可以看到来自不同视角的示例性环境图像。

特别地，图3在此详细示出了根据本发明一示例性实施例的遥控装置3的示意图。遥控装置3可以具有操作元件21，在此仅通过示例示出了操作元件21中的方向盘，并且用户可以通过该方向盘以遥控方式驾驶机动车辆2。在这种情况下，这种方向盘或操作元件21通常不需要被提供为具体对象，而是也可以被表示为显示设备和/或触摸屏上的虚拟表示。此外，遥控装置3还提供输入可能性，这些可能性在此同样没有明确示出，并且通过这些可能性，用户可以选择通过遥控装置3表示机动车辆2的环境9的视角。遥控装置3具有用于表示该环境图像的至少一个显示设备。

在该示例中提供了三个显示设备22。在这种情况下，相应的显示设备22显示相应的环境图像13a、13b、13c。可替代地，这些环境图像13a、13b、13c也可以显示在公共显示设备22上，例如一个接一个地、一个叠一个地等。显示的环境图像13a、13b、13c中的至少一个从用户指定的视角19显示。在这种情况下，其他两个环境图像可以同样从用户主动选择的视角和/或从预定义的视角显示。在该示例中，第一环境图像13a示出了机动车2的环境9的一部分20，该部分20在此又被表示为相应的机动车表示17，其视角19的指定视点位于机动车2或机动车模型17的外部。第二环境图像13b从其指定视点位于机动车辆2或机动车辆模型17内部的视角示出了环境9的部分20。在第三环境图像13c的情况下，位于观察窗18中的机动车环境9的部分20从鸟瞰视角来表示，也就是说，视角19的视点位于机动车2或机动车表示17的正上方。举例来说，第一环境图像13a的视角可以由用户以任何期望的方式自由选择和修改。另外，两个环境图像13b、13c可以作为预定视角显示给用户。这是特别有利的，因为根据第三环境图像13c的鸟瞰视角通常向用户提供全面环境信息。根据第二环境图像13b的视角是特别有利的，因为这模拟了坐在机动车辆2中的驾驶员的视角，这是根据实现远程控制的用户特别熟悉的表示类型。然后，所提供的该环境信息还由第一环境图像13a补充，该第一环境图像13a的视角19可由用户自己自由选择。关于当前对于用户来说针对遥控目的特别有意义但不能从其他两个表示中收集的环境信息，用户则可以相应地通过视角19的适当选择能够通过所述第一环境图像显示所述信息。

因此，如果车辆处于没有人帮助而无法离开的情况下，例如不包括在程序中的不可预见的交通情况，例如窄巷子，则有可能在自主车辆的遥控期间显著提高安全性。借助鱼眼相机，可以特别简单地创建360度全方位视图。这有利地使得实现遥控的用户(遥控操作者)能够选择任意期望的视角，从而显著简化遥控操作者的导航，准确地说是在特别关键的驾驶情况下。准确地说，由于可以采用任何任意的观察者位置，例如在机动车辆的上方或后方，遥控操作者可以显著更好地评估当前情况，这使得遥控显著更加简单，从而更加安全。因此，遥控操作者最终有可能完全360度感知遥控机动车辆。此外，遥控操作者可以将虚拟视点移动到机动车辆内部以及外部的任何优选观察位置，这显著简化了机动车辆在事故情况下的导航或者机动车辆2在停车操纵期间的导航。

Claims (15)

1.一种通过遥控装置(3)辅助用户遥控机动车辆(2)的方法，包括以下步骤:

-根据借助于机动车辆(2)的至少一个环境传感器(5、6、7、8)提供的传感器数据(14)，从确定的视角(19)提供机动车辆(2)的环境(9)的至少一个部分(20)的第一环境图像(13)；

-通过遥控装置(3)显示第一环境图像(13)，

其特征在于以下步骤:

-根据由用户实现并通过遥控装置(3)检测的用户输入，从多个可选择的视角(19)中选择确定的视角(19)作为与至少一个环境传感器(5、6、7、8)的位置无关的视角(19)。

2.根据权利要求1所述的方法，

其特征在于，

根据选择的视角(19)，确定限定的投影表面(16)上的观察窗(18),并且计算所述第一环境图像(13、13a)作为机动车辆(2)周围的3D全方位视图的一部分，所述3D全方位视图能够根据所述传感器数据(14)提供，取决于限定的投影表面(16)上的确定的观察窗(18),使得第一环境图像(13、13a)表示从选择的视角(19)看位于观察窗内的环境(9)的部分(20)。

3.根据权利要求2所述的方法，

其特征在于，

所述投影表面(16)构成弯曲表面(16)。

4.根据前述权利要求中任一项所述的方法，其特征在于，

分配给确定的视角(19)的虚拟视点(19)可在一条或多条预定线上或三维空间中自由选择。

5.根据前述权利要求中任一项所述的方法，其特征在于，

分配给确定的视角(19)的虚拟视点(19)可在机动车辆(2)内部和机动车辆(2)外部选择。

6.根据前述权利要求中任一项所述的方法，其特征在于，

在所述第一环境图像(13、13a)中，从选择的视角(19)表示机动车辆(2)的机动车辆表示(17)的至少一部分。

7.根据前述权利要求中任一项所述的方法，

其特征在于，

所述第一环境图像(13、13a)由机动车辆(2)从传感器数据(14)计算，并传送到遥控装置(3)。

8.根据前述权利要求中任一项所述的方法，

其特征在于，

所述传感器数据(14)从机动车辆(2)传送到遥控装置(3)，并且由遥控装置(3)根据传感器数据(14)计算第一环境图像(13、13a)。

9.根据前述权利要求中任一项所述的方法，

其特征在于，

根据机动车辆(2)和遥控装置(3)之间的通信连接的类型和/或机动车辆(2)和遥控装置(3)之间的数据传输的带宽和/或数据传输速率来确定所述第一环境图像(13、13a)是由机动车辆(2)还是由遥控装置(3)从传感器数据(14)计算。

10.根据权利要求8所述的方法，

其特征在于，

如果机动车辆(2)和遥控装置(3)之间的通信连接的带宽和/或通信连接的数据传输速率低于预定极限值，则机动车辆(2)从传感器数据(14)计算第一环境图像(13、13a)并将其传送到遥控装置(3)，并且如果机动车辆(2)和遥控装置(3)之间的通信连接的带宽和/或通信连接的数据传输速率不低于预定极限值，则传感器数据(14)被传送到遥控装置(3)并且第一环境图像(13、13a)由遥控装置(3)从传感器数据(14)计算。

11.根据前述权利要求中任一项所述的方法，

其特征在于，

根据传感器数据(14)，借助于遥控装置(3)从第二视角(19)提供至少一个第二环境图像(13b、13c)并与所述第一环境图像(13、13a)同时显示。

12.根据前述权利要求中任一项所述的方法，

其特征在于，

机动车辆(2)的遥控独立于遥控装置(3)和机动车辆(2)之间的距离来执行。

13.计算机程序产品，包括指令，所述指令在由电子控制装置(10、11)的处理器执行时使得所述处理器执行根据前述权利要求中任一项所述的方法。

14.用于帮助遥控机动车辆(2)的遥控装置(3)，其中遥控装置(3)设计成从确定的视角(19)显示机动车辆(2)的环境(9)的至少一个部分(20)的环境图像(13、13a)，所述环境图像根据借助于机动车辆(2)的至少一个环境传感器(5、6、7、8)提供的传感器数据(14)来提供，

其特征在于，

所述遥控装置(3)设计成检测用户的用户输入，并且根据检测到的用户输入，从多个可选的视角(19)中选择确定的视角(19)作为与至少一个环境传感器(5、6、7、8)的位置无关的视角(19)。

15.用于机动车辆(2)的驾驶员辅助系统(4)，其用于借助遥控装置(3)来辅助用户遥控机动车辆(2),其中驾驶员辅助系统(4)设计成根据借助机动车辆(2)的至少一个环境传感器(5、6、7、8)提供的传感器数据(14)来从确定的视角(19)提供机动车辆(2)的环境(9)的至少一个部分的第一环境图像(13、13a)，并将所述环境图像传送到遥控装置(3)以显示第一环境图像(13)；

其特征在于，

所述驾驶员辅助系统(4)设计成从遥控装置(3)接收选择信息，其取决于由用户实现并借助遥控装置(3)检测的用户输入，并且根据接收的选择信息，从多个可选的视角(19)中选择确定的视角(19)作为与至少一个环境传感器(5、6、7、8)的位置无关的视角(19)。

Images