CN115891835A - 确定车辆周围的物体的设备和方法 - Google Patents

Abstract

确定车辆周围的物体的设备和方法。用于确定车辆周围的物体的设备包括：传感器单元，所述传感器单元包括至少一个雷达传感器，所述至少一个雷达传感器被布置和适配成获得所述车辆的外部环境的雷达图像数据以确定所述车辆周围的物体；以及处理单元，所述处理单元被适配成处理所述雷达图像数据以获得所述车辆的外部环境的俯视图图像，该俯视图图像指示所述车辆相对于所确定的物体的相对位置。

Description

确定车辆周围的物体的设备和方法

技术领域

本公开涉及确定车辆周围的物体的设备和方法。

背景技术

例如数码相机的数字成像设备被用于汽车应用中，以向车辆的驾驶员提供图像或馈送自主驾驶单元。对于驻车应用，通常使用鸟瞰图来帮助驾驶员引导他们的车辆。简单的解决方案使用超声波传感器来将障碍物显示为简单的距离环。这种表示有时难以解释并且对于眼睛来说不是令人愉快的。

另一种技术是使用来自多个相机传感器的数据和处理设备上的算法来组合相机的图像，并且将它们投影到某个投影表面，例如虚拟地平面。然后，使用另一投影来生成环境的顶视图(或来自另一角度的视图)以将其显示在显示设备上以支持驾驶员。这些俯视图看起来是友好的并且提供大量信息，然而，相机系统和对应的相机以及处理设备是昂贵的。

然而，在假定一平面世界的情况下，如果地面上方的物体被变换到路面上，则相机图像到表面的投影可能导致失真伪影。可以使用更复杂的算法来恢复场景的3D结构，但是这些算法需要更多的计算时间并且可能增加处理设备的价格。

因此，需要一种确定车辆周围物体的改进的设备和方法。本公开的目的是提供确定车辆周围的物体的这种改进的设备和方法。

发明内容

在一个方面，本公开涉及一种确定车辆周围的物体的设备。该设备包括传感器单元，该传感器单元包括至少一个雷达传感器。例如，雷达传感器可以布置在车辆上并且被适配成获得车辆的外部环境的雷达图像数据，以确定车辆周围的物体。该设备还包括处理单元，该处理单元被适配成处理所获得的雷达图像数据以生成车辆的外部环境的俯视图图像，该俯视图图像指示车辆相对于所确定的物体的相对位置。在车辆的俯视图中，所生成的图像对人眼是可见的。

所生成的俯视图像显示在显示单元上。显示单元可以是车辆的一部分，特别是乘客舱中驾驶员或车辆乘客可见的显示单元。附加地或另选地，可以例如经由通信网络发送俯视图图像，以显示到便携式设备(诸如移动电话)的显示单元。

在一实施方式中，如下面将描述的，其他获得的信息可以附加地呈现给车辆的驾驶员。

该设备包括雷达传感器，雷达传感器也可以被称为雷达设备。雷达传感器被适配成获得雷达图像数据。传感器单元可以包括超过一个雷达传感器，例如两个或更多个雷达传感器，每个雷达传感器覆盖外部环境的一部分。

该设备还包括处理单元，该处理单元也可以被称为处理器或处理设备，其适配成处理从一个或更多个雷达传感器获得的雷达图像数据，并且生成车辆的外部环境的俯视图，所述俯视图指示车辆相对于所确定的物体的相对位置。

车辆的俯视图图像也可以被称为车辆的鸟瞰图。外部环境也可以被称为车辆的环境。特别地，图像可以表示车辆自身的俯视图和在车辆的外部环境中检测到的目标物体。可以通过使用适合于图像和/或坐标变换的计算机实现算法处理雷达图像数据来获得俯视图图像。

由此，呈现了一种特别用户友好的设备，该设备可以向车辆的驾驶员或乘客显示车辆周围的物体，以例如不与所述物体碰撞。

根据一实施方式，所述传感器单元还包括与所述雷达传感器不同的至少一个其他传感器，所述至少一个其他传感器被适配成获得所述车辆的外部环境的其他传感器数据。其中，处理单元还被适配成处理所获得的其他传感器数据，以通过将从一个或更多个雷达传感器获得的雷达数据与由一个或更多个其他传感器获得的数据进行组合来在视觉上增强要显示在显示单元上的车辆的外部环境的俯视图图像。这样，可以在俯视图图像上显示指示与外部环境和/或车辆相关联的一个或更多个参数(诸如使检测到的物体突出显示)的附加信息。

在这种情况下，在视觉上增强意味着例如向图像提供附加的、特别是可见的信息，特别是不能仅仅是从雷达图像数据获得的这种信息。

在一实施方式中，其他传感器中的至少一个可以是相机，其可以被布置在车辆上并且被配置为监测车辆的外部环境。相机可以例如是CCD或CMOS相机。

在另一实施方式中，一个或更多个其他传感器可以布置在车辆的外部环境中的物体上，所述物体诸如是道路上或附近的灯柱、建筑物或路桩。例如，一个或更多个其他传感器可以经由通信网络将与其附接到的物体和/或该物体的外部环境相关联的数据传送到车辆的处理单元。由一个或更多个传感器传送的信息可用于增强显示给驾驶员的俯视图图像。

此外，传感器单元的传感器、雷达传感器和其他传感器可以形成传感器通信网络，例如以物联网(IoT)的构造。因此，传感器单元的传感器可以布置在车辆上和/或目标物体上的位置处，并且还将获得的数据传送到设备的处理单元以生成要显示给驾驶员的俯视图图像。

在一实施方式中，传感器可以是雷达传感器，特别是与车辆上的雷达传感器不同的雷达传感器。在该示例中，传感器可以布置在车辆的外部环境中的物体上，诸如在停车区域中的障碍物上。

在实施方式中，可以对传感器数据进行处理以按照生成的图像包含被来自相机的真实世界图像数据覆盖的示意性雷达图像数据的方式来增强俯视图图像。

在另一实施方式中，可以对传感器数据进行处理以按照利用来自相机的数据来校正和/或验证从雷达图像数据获得的图像的方式在视觉上增强图像。特别地，来自其他传感器的其他传感器数据可以用于雷达图像数据的几何校正。

根据一实施方式，雷达传感器被布置和适配成获得车辆的外部环境的多普勒数据。其中，处理单元还被适配成处理所获得的多普勒数据以在视觉上增强要在显示单元上显示的俯视图像。

多普勒数据可以例如用于获得测量结果，例如距车辆外部环境中的物体的距离。

根据一实施方式，处理单元还被适配成处理其他数据。其他数据不同于雷达图像数据，不同于其他传感器数据并且不同于多普勒数据。其中，处理单元被适配成处理其他数据以在视觉上增强车辆外部环境的俯视图像。

在一实施方式中，其他数据可以例如是存储在存储部中的地图数据或导航数据。

在另一实施方式中，其他数据可以是例如测距数据或出于其他目的累积在车辆中的数据。

根据一实施方式，所述处理单元还被适配成处理从所述车辆的外部环境的多个扫描获得的雷达图像数据，以生成要在所述显示单元上显示的所述俯视图图像。

在一实施方式中，从两个或更多个扫描获得的雷达图像数据可以用于校正一组或更多组雷达图像数据中的错误。可以在预定时间量内采集两个或更多个扫描。

在一实施方式中，来自一个或更多个扫描的雷达图像数据可以与其他传感器数据和/或其他数据(诸如测距数据)一起用于识别静止物体。

根据一实施方式，处理单元还被适配成使用机器学习在视觉上增强俯视图图像。

增强可以是对图像分辨率的改善、对图像中的噪声的滤波和/或对视觉质量的改善，诸如颜色校正等。

根据一实施方式，处理单元还被适配成使用图像增强算法在视觉上增强要在显示单元上显示的俯视图图像。

在一实施方式中，图像增强算法可以用于生成外部环境的自然外观图像，特别是在不使用与雷达传感器不同的传感器的情况下。这样的增强算法的示例是Cycle Gan。

根据一实施方式，处理单元还被适配成处理所获得的雷达图像数据和/或所获得的其他传感器数据和/或所获得的多普勒数据和/或其他数据，以确定车辆的外部环境中的未占用空间并使其在要在显示单元上显示的俯视图图像中在视觉上突出显示。

未占用空间是车辆外部环境中没有物体或障碍物的空间，特别是对于车辆行驶而言安全的空间。未占用空间可以特别是停车位。

根据一实施方式，处理单元还被适配成确定未占用空间是否大到足以容纳车辆。

因此，处理单元被配置成处理所获得的雷达图像数据和/或所获得的其他传感器数据和/或所获得的多普勒数据和/或其他数据以确定未占用空间的大小和/或尺寸。

此外，处理单元能够访问或了解车辆数据，诸如长度、宽度、转弯半径等，并且被配置为基于车辆数据来计算车辆是否适应于未占用空间。

根据一实施方式，处理单元还被适配成处理所获得的雷达图像数据和/或所获得的其他传感器数据和/或所获得的多普勒数据和/或其他数据，以在所生成的、要在显示单元上显示的俯视图图像上确定和视觉突出显示车辆的外部环境中的物体。

这种背景下的突出显示意味着通过例如以不同颜色显示所述物体和/或显示消息来引起驾驶员的注意。突出显示还可以包括发出警报。

在一实施方式中，处理单元被适配成确定物体的高度并使其在视觉上突出显示。

在另一实施方式中，处理单元被适配成在所生成的图像上确定物体是移动的还是静止的并使其在视觉上突出显示。

物体可以例如是另一汽车(特别是移动和/或静止的汽车)、障碍物(特别是这样的障碍物，在该障碍物中，车辆是不安全的或不被允许行驶，诸如人行道或道路边界)。

在一实施方式中，处理单元被适配成确定车辆路径中的特定物体，并且特别是通过通知驾驶员将该问题突出显示给驾驶员。

通过增强图像和/或突出显示图像中的某些物体，所确定的物体和/或外部环境可以对驾驶员更好地可见。

根据一实施方式，所述设备还包括自主驾驶单元，所述自主驾驶单元在通信上联接到所述处理单元，并且被适配成基于所述处理单元的输入来控制所述车辆的移动。

在一实施方式中，自主驾驶单元可以使用所获得的雷达图像数据和/或所获得的其他传感器数据和/或所获得的多普勒数据和/或其他数据来控制和/或调整车辆的移动，特别是针对停车操纵、引导通过施工区或在慢速交通状况(例如，停停走走)中。因此，自主驾驶单元可以特别地被配置为将车辆定位在未占用空间中。

因此，车辆可以特别安全地执行自主驾驶功能。

在另一实施方式中，所获得的数据和图像随时间累积并存储。基于该存储的信息，可以对深度网络结构进行馈送。所述网络结构可以生成停车信息作为由一个基本网络结构支持的多个功能和生成相同环境的不同信息的应用特定头部中的一个。

在另一方面，本公开涉及确定车辆周围的物体的计算机实现方法。其中，该方法包括获得车辆外部环境的雷达图像数据的步骤。

该方法还包括以下步骤：处理雷达图像数据以生成车辆的外部环境的图像，指示车辆相对于确定的物体的相对位置。在车辆的俯视图中，图像是人眼可视的。所生成的俯视图图像被显示在显示单元上。

根据一实施方式，该方法还包括获得车辆外部环境的其他传感器数据的步骤。该方法还包括处理其他传感器数据以在视觉上增强要在显示单元上显示的俯视图图像的步骤。

根据一实施方式，该方法还包括获得车辆外部环境的多普勒数据的步骤。该方法还包括处理多普勒数据以在视觉上增强要在显示单元上显示的俯视图图像的步骤。

根据一实施方式，该方法还包括处理其他数据以在视觉上增强要在显示单元上显示的俯视图图像的步骤。

根据一实施方式，该方法还包括处理来自多个扫描的雷达图像数据以生成图像的步骤。

根据一实施方式，该方法还包括使用机器学习来在视觉上增强要在显示单元上显示的俯视图图像的步骤。

根据一实施方式，该方法还包括使用图像增强算法在视觉上增强要在显示单元上显示的俯视图图像的步骤。

根据一实施方式，该方法还包括以下步骤：处理所获得的雷达图像数据以确定车辆的外部环境中的未占用空间并使其在要在显示单元上显示的俯视图图像中在视觉上突出显示。

根据一实施方式，该方法还包括以下步骤：处理雷达图像数据以确定车辆的外部环境中的物体并使其在要在显示单元中显示的俯视图图像中在视觉上突出显示。

根据一实施方式，该方法还包括基于处理单元的输入来控制车辆的移动的步骤。

如本文中所描述的设备的实施方式尤其适合于执行如本文中所描述的方法的若干或所有步骤。同样，如本文中所描述的方法可执行如本文中所描述的设备的一些或全部功能。

如本文中所描述的设备的实施方式可进一步包括至少一个存储器单元及至少一个非暂时性数据存储装置。非暂时性数据存储装置和/或存储器单元可包括用于指示计算机执行如本文所述的方法的若干或所有步骤或方面的计算机程序。

在另一方面，本公开涉及一种车辆，所述车辆包括根据本文描述的实施方式中的一个的确定车辆周围的物体的设备。

根据一实施方式，车辆是自主驾驶车辆。

在另一方面中，本发明涉及一种非暂时性计算机可读介质，其包括用于执行本文中所描述的方法的若干或所有步骤或方面的指令。计算机可读介质可以被配置为：光学介质，诸如压缩光盘(CD)或数字通用光盘(DVD)；磁性介质，诸如硬盘驱动器(HDD)；固态驱动器(SSD)；只读存储器(ROM)，诸如闪存；等等。此外，计算机可读介质可以被配置为可经由诸如互联网连接的数据连接访问的数据存储。计算机可读介质可以例如是在线数据存储库或云存储装置。

本公开还涉及用于指示计算机执行本文描述的方法的若干或所有步骤或方面的计算机程序。

对于方法、车辆和非暂时性计算机可读介质的实施方式的细节，参照如参考设备描述的实施方式。

通过如本文所述的实施方式，可以生成车辆的外部环境的俯视图图像，以通过在显示单元上示出环境的俯视图图像表示来支持驻车和其他应用。

雷达传感器可以提供360°的视场覆盖。另选地，可以使用多个雷达传感器。与距离环超声波传感器表示相比，图像可以看起来更好。该设备可以比摄像机带系统(camerabelt system)便宜得多。目前，雷达传感器在许多汽车上是可用的，因此可以以较低的成本提供该功能。最后，雷达可以更准确地表示距离，因为它可以直接测量距离并且不需要基于投影表面假设来工作。

附图说明

在本文中结合以下附图描述了本公开的示例性实施方式和功能，附图示意性地示出：

图1是车辆和确定车辆周围的物体的设备的俯视图的实施方式；

图2是确定车辆周围的物体的方法的流程图；以及

图3示出了通过确定车辆周围的物体的设备和方法的实施方式获得的图像。

在附图中，相同的附图标记表示相同或相似的特征。

具体实施方式

图1示出了车辆1和确定车辆1的周围物体100的设备10的俯视图的实施方式。

设备10包括雷达传感器12，雷达传感器12被布置和适配成获得车辆1的外部环境100的雷达图像数据以确定车辆周围的物体。雷达传感器可以是传感器单元(未示出)的一部分。设备10还包括处理单元14，处理单元14被适配成处理雷达图像数据以生成车辆1的外部环境100的俯视图图像，该俯视图图像在车辆的俯视图中是人眼可见的，并且指示车辆相对于所确定的物体的相对位置。俯视图图像由处理单元14显示在显示单元(未示出)上。

设备10还包括传感器16，传感器16被布置并适配成获得车辆1的外部环境100的其他传感器数据，其中，处理单元14还被适配成处理其他传感器数据以在视觉上增强图像。传感器16可以是传感器单元(未示出)的一部分。

雷达传感器12被布置和适配成获得车辆1的外部环境100的多普勒数据，并且处理单元14还被适配成处理多普勒数据以在视觉上增强图像。

处理单元14还被适配成处理其他数据以在视觉上增强图像。

处理单元14还被适配成处理来自多个扫描的雷达图像数据以生成图像。

处理单元14还被适配成使用机器学习和图像增强算法来在视觉上增强图像。

处理单元14还被适配成处理雷达图像数据以确定和突出显示图像中的车辆1的外部环境100中的未占用空间200。

处理单元14还被适配成处理雷达图像数据以确定未占用空间200是否大到足以容纳车辆1。

处理单元14还被适配成处理雷达图像数据以确定和突出显示图像中的车辆1的外部环境100中的物体300。

设备10还包括自主驾驶单元18，其被适配成基于处理单元14的输入来控制车辆1的移动。

为了简单起见，设备10、雷达传感器12、其他传感器16、处理单元14和自主驾驶单元18在图1中被示出为包括在车辆的车顶上。然而，设备10、雷达传感器12、其他传感器16、处理单元14和自主驾驶单元18可以包括在车辆中或车辆上的任何地方。

图2描绘了确定车辆周围的物体的方法1000的流程图。

在第一步骤1100中，获得车辆的外部环境的雷达图像数据以确定车辆周围的物体。

在下一步骤1200中，处理雷达图像数据以生成外部环境的俯视图图像，所述俯视图图像指示车辆相对于所确定的物体的相对位置。

在另一步骤1300中，获得车辆的外部环境的其他传感器数据。

在下一步骤1400中，处理其他传感器数据以在视觉上增强俯视图图像。

在另一步骤1500中，获得车辆的外部环境的多普勒数据。

在下一步骤1600中，处理多普勒数据以在视觉上增强俯视图图像。

在下一步骤1700中，处理其他数据以在视觉上增强俯视图图像。

在另一步骤1800中，处理来自多个扫描的雷达图像数据以获得俯视图图像。

在另一步骤1900中，使用机器学习在视觉上增强俯视图图像。

在另一步骤2000中，使用图像增强算法在视觉上增强俯视图图像。

在另一步骤2100中，处理雷达图像数据以确定和突出显示图像中的车辆的外部环境中的未占用空间。

在另一步骤2200中，处理雷达图像数据以确定并突出显示俯视图图像中的车辆的外部环境中的物体。

在最后的步骤2300中，基于处理单元的输入来控制车辆的移动。

在另一步骤(未示出)中，在显示单元上显示所生成的俯视图图像。

可以以不同的顺序处理所有步骤。方法1000自身可以连续地重复。

图3描绘了通过确定车辆1周围的物体的装置和方法的实施方式获得的俯视图图像5000。

如从俯视图图像5000可见，车辆1在图片的中心。在车辆1的外部环境100中，未占用空间200和物体300在视觉上突出显示。

该俯视图图像5000可以在便携式设备和/或车辆的显示单元上显示给车辆的驾驶员。

附图标记列表

1     车辆

10    设备

12    雷达

14    处理单元

16    其他传感器

18    自主驾驶单元

100   车辆的外部环境

200   未占用空间

300   物体

1000  方法

1100  方法步骤

1200  方法步骤

1300  方法步骤

1400  方法步骤

1500  方法步骤

1600  方法步骤

1700  方法步骤

1800  方法步骤

1900  方法步骤

2000  方法步骤

2100  方法步骤

2200  方法步骤

2300  方法步骤

5000  俯视图图像

Claims (15)

1.一种确定车辆周围的物体的设备，所述设备包括：

传感器单元，所述传感器单元包括至少一个雷达传感器，所述至少一个雷达传感器被布置和适配成获得所述车辆的外部环境的雷达图像数据，以确定所述车辆周围的物体；以及

处理单元，所述处理单元被适配成处理所述雷达图像数据以生成所述车辆的所述外部环境的俯视图图像，所述俯视图图像指示所述车辆相对于所确定的物体的相对位置，

其中，所生成的俯视图图像被显示在显示单元上。

2.根据权利要求1所述的设备，其中，所述传感器单元包括：

一个或更多个传感器，所述一个或更多个传感器被布置和适配成获得所述车辆的所述外部环境的其他传感器数据，并且

其中，所述处理单元被适配成处理所述其他传感器数据以在视觉上增强要在所述显示单元上显示的所述俯视图图像。

3.根据权利要求1或2所述的设备，

其中，所述至少一个雷达传感器被布置和适配成获得所述车辆的所述外部环境的多普勒数据，并且

其中，所述处理单元被适配成处理所述多普勒数据以在视觉上增强要在所述显示单元上显示的所述俯视图图像。

4.根据权利要求1至3中任一项所述的设备，其中，所述处理单元被适配成处理从多个扫描获得的雷达图像数据，以生成要在所述显示单元上显示的所述俯视图图像。

5.根据权利要求1至4中任一项所述的设备，其中，所述处理单元被适配成使用机器学习算法和图像增强算法中的至少一者来处理所述雷达图像数据和所述其他传感器数据中的至少一者，以在视觉上增强要在所述显示单元上显示的所述俯视图图像。

6.根据权利要求1至5中任一项所述的设备，其中，所述处理单元被适配成处理所述雷达图像数据以在所生成的、要在所述显示单元上显示的所述俯视图图像上确定并突出显示所述车辆的所述外部环境中的未占用空间和一个或更多个物体中的至少一者。

7.根据权利要求6所述的设备，其中，所述处理单元被适配成处理所述雷达图像数据以确定检测到的未占用空间的尺寸，并且基于所确定的尺寸来确定所述未占用空间是否大到足以容纳所述车辆。

8.根据权利要求7所述的设备，所述设备还包括自主驾驶单元，所述自主驾驶单元在通信上联接到所述处理单元并且被配置为基于从所述处理单元接收到的输入来控制所述车辆的移动，其中，所述自主驾驶单元被配置为在从所述处理单元接收到指示检测到的未占用空间大到足以容纳所述车辆的输入时，将所述车辆定位在所述检测到的未占用空间中。

9.一种确定车辆周围的物体的计算机实现方法，所述计算机实现方法包括以下步骤：

借助于包括至少一个雷达传感器的传感器单元来获得所述车辆的外部环境的雷达图像数据，以确定所述车辆周围的物体；

借助于处理单元处理所述雷达图像数据以生成所述车辆的所述外部环境的俯视图图像，所述俯视图图像指示所述车辆相对于所确定的物体的相对位置；以及

在显示单元上显示所生成的俯视图图像。

10.根据权利要求9所述的计算机实现方法，所述计算机实现方法还包括以下步骤：

借助于包括一个或更多个传感器的所述传感器单元获得所述车辆的所述外部环境的其他传感器数据，并且处理所述其他传感器数据以在视觉上增强要在所述显示单元上显示的所述俯视图图像。

11.根据权利要求9或10所述的计算机实现方法，所述计算机实现方法还包括以下步骤：

获得所述车辆的所述外部环境的多普勒数据，并且处理所述多普勒数据以在视觉上增强要在所述显示单元上显示的所述俯视图图像。

12.根据权利要求9至11中任一项所述的计算机实现方法，所述计算机实现方法还包括以下步骤：

处理来自多个扫描的雷达图像数据以生成要在所述显示单元上显示的所述俯视图图像。

13.根据权利要求9至12中任一项所述的计算机实现方法，所述计算机实现方法还包括以下步骤：

使用机器学习算法和图像增强算法中的至少一者来处理所述雷达图像数据和所述其他传感器数据中的至少一者，以在视觉上增强要在所述显示单元上显示的所述俯视图图像。

14.根据权利要求9至13中任一项所述的计算机实现方法，所述计算机实现方法还包括以下步骤：

处理所述雷达图像数据以在所生成的、要在所述显示单元上显示的所述俯视图图像中确定和突出显示所述车辆的所述外部环境中的未占用空间和一个或更多个物体中的至少一者。

15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括执行根据权利要求9至14中任一项所述的计算机实现方法的指令。

Images