CN111373411A - 用于确定与对象的间距的方法、设备和计算机程序 - Google Patents

Abstract

本发明涉及一种用于确定与对象的间距的方法（20），该方法包括如下步骤：检测至少两个图像（12a、12b），其中为了检测所述至少两个图像其中的至少一个第一图像（12b），使用布置在摄像机前面的偏振滤波器（13）。借助于机器学习系统（11）依据所检测到的至少两个图像其中的第二图像（12b）来确定所述间距，其中该机器学习系统（11）在确定所述间距期间也使用所检测到的所述至少两个图像其中的第一图像（12a），以便在确定所述间距时不考虑在所检测到的所述至少两个图像（12a、12b）之一中的反射。本发明还涉及用于实施该方法（20）的设备和计算机程序以及机器可读存储元件（16），在其上存储有该计算机程序。

Description

用于确定与对象的间距的方法、设备和计算机程序

技术领域

本发明涉及一种用于确定与对象的间距的方法。本发明同样涉及一种分别被设立为实施该方法的计算机程序和设备。

背景技术

DE 102011081384 B4公开了一种用于确定间距的方法，该方法具有如下步骤：确定在车辆的头灯的辐射特性的变化与该辐射特性的变化对图像的图像区域产生的影响之间的时间偏移。基于该时间偏移，确定与在车辆环境中的通过该图像区域所成像的对象的间距。

DE 102011005368 A1公开了一种用于利用视频摄像机来对车辆进行操纵和/或对车辆进行停放的驾驶员辅助系统。确定具有处在车辆的周围环境中的对象的视频图像并且利用其它所确定的信息（例如与该对象的间距）来使该视频图像丰富。

发明内容

本发明的优点

与此相对地，具有独立权利要求1的特征的方法和具有独立权利要求6的特征的设备具有如下优点：依据所检测到的图像来实现对与对象的间隔的更可靠的确定，其中该确定没有受到反射的负面影响。对象在光滑的或进行映照的表面上的反射可能导致：仅仅依据图像来进行的测距提供了错误结果。因而，该方法和该设备构成一种用于执行更鲁棒且更可靠的测距的简单且成本低廉的可能性，其中该测距并不受反射所影响或误导。另一优点是：由于机器学习系统而无需研发复杂的图像处理算法，这些图像处理算法首要地探测图像中的对象，其次地从该图像中确定其所属的间距或所属的深度信息并且在此相对于反射鲁棒。该机器学习系统通过所提供的训练数据独立地发展方法学，以便确定与对象的间距并且也在所检测到的图像中识别反射并且相对应地考虑到所述反射。这导致：该方法和该设备在确定间距期间不受反射所误导并且因此更可靠地确定间距。

在第一方面，本发明涉及一种用于确定与对象的间距的方法。该方法包括如下步骤：

- 检测至少两个图像。为了检测所述至少两个图像其中的至少一个第一图像，使用布置在摄像机前面的偏振滤波器。

- 借助于机器学习系统依据所检测到的所述至少两个图像其中的第二图像来确定间距。该机器学习系统在确定间距期间也使用所检测到的所述至少两个图像其中的第一图像，以便在确定间距时不考虑在所检测到的所述至少两个图像之一中的反射。

“确定与对象的间距”可以被理解为：确定在可预先给定的参考点与该对象之间的间距、尤其是距离。优选地，该参考点对应于摄像机所处的位置。但是，该参考点也可以处在摄像机前面或后面。应注意：该方法与该参考点的位置无关，因为可以根据所选择的参考点而定地适当地训练该机器学习系统。反射可以被理解为对象的出现的任何类型的镜像。示例性地，由于反射表面而可能出现在下文用术语反射来表示的对象的镜像或者该镜像的失真和/或扭曲。

所检测到的所述至少两个图像要么可以同时地要么可以紧接着相继地尤其是在可预先给定的时间点被检测。这些图像也可以借助于多个不同地定位的摄像机来检测。

按照该方法的优点是：通过所检测到的被不同地滤波的至少两个图像来将足以使反射并不影响间距确定的信息提供给该机器学习系统。例如，所检测到的图像之一是以未经滤波的方式所检测的，而另一图像是以用偏振滤波器进行滤波的方式所检测的，或者两者都是以用偏振滤波器进行滤波的方式所检测的，其中偏振滤波器分别具有偏振平面的不同的取向。

特别有利的是：该机器学习系统被训练为使得该机器学习系统依据所检测到的所述至少两个图像其中的第二图像来确定间距。在该实施方式中，该机器学习系统还可以被训练为使得该机器学习系统依据所检测到的所述至少两个图像其中的第一图像而在确定间距时不考虑反射。

按照该方法的优点是：通过训练机器学习系统，该机器学习系统独立地学习间距确定。因而，不必为此研发复杂的算法以便解决该复杂的图像处理任务。此外，被训练的机器学习系统在运行时与用于依据所检测到的图像进行测距的传统的图像处理算法相比而言计算更高效或更快速。因为对机器学习系统的训练等同于鉴于每方面来对机器学习系统的优化，而且机器学习系统、尤其是神经网络还可以通过在机器学习系统中的计算操作的链接来实现更高的效率。

特别有利的是：该机器学习系统附加地被训练成：依据所检测到的所述至少两个图像其中的第二图像来确定对象分类并且在确定该对象分类时依据所检测到的所述至少两个图像其中的第一图像而不考虑反射。还有利的是：机器学习系统在确定间距时也确定对象分类。

这具有如下优点：在该机器学习系统的处理步骤之内，除了测距之外，也执行对象分类，由此从所检测到的图像中可以同时提取多个信息。

同样特别有利的是：在可预先给定的一个接一个的时间点分别检测至少两个图像并且附加地对该机器学习系统进行训练，以便确定光流，而且也对该机器学习系统进行训练，使得在确定该光流时不考虑反射。此外，该机器学习系统依据在可预先给定的一个接一个的时间点所检测到的图像来确定光流。

该光流可以被理解为参量、尤其是矢量，该参量表征了在图像中的点的运动，例如该点相对于所选择的基准点的方向和/或速度。有利的是：该光流的基准点和确定间距的参考点处在同一位置。

有利的是：所检测到的图像被存储并且该机器学习系统借助于所存储的、所检测到的图像来再学习。这具有如下优点：利用所检测到的图像来进一步改善用于确定间距的方法，以便实现间距测量的更高的精度。

有利的是：根据确定间距的结果来操控执行器。该执行器可以是至少部分自主的机器，诸如机器人或车辆。还有利的是：该机器学习系统是深度神经网络、尤其是“卷积神经网络（Convolutional Neural Network）”或“递归神经网络（Recurrent NeuralNetwork）”。

在另一方面，本发明涉及一种设备，该设备被设立为实施根据本发明的第一方面的方法。该设备包括如下特征：至少一个用于检测所述至少两个图像的摄像机；和至少一个偏振滤波器。该偏振滤波器布置在该摄像机前面并且被使用用于检测所述至少两个图像其中的第一图像。该设备也包括该机器学习系统。

有利的是：该设备也包括执行器，尤其是至少部分自主的机器、诸如机器人或车辆。还有利的是：该机器学习系统是深度神经网络、尤其是“卷积神经网络（ConvolutionalNeural Network）”或“递归神经网络（Recurrent Neural Network）”。

该设备的优点是：借助于偏振滤波器、尤其是线性的偏振滤波器将未偏振的反射滤出，使得所检测到的图像是至少部分地无反射的图像。因此，借助于该机器学习系统可以执行精确的间距确定，该间距确定不受反射所影响。

有利的是：使用多个不同的偏振滤波器，并且该摄像机分别借助于这些不同的偏振滤波器之一来检测经滤波的图像。在这方面有利的是：由于多个分别利用不同的偏振滤波器而不同地偏振滤波的图像而存在如下图像，该图像是以偏振滤波器的适合取向所记录的，使得该图像是无反射的图像或者该图像的片段是无反射的。由此，多个不同地滤波的图像可供使用，由此可以附加地提高间距确定的精度和可靠性。

同样有利的是：这些偏振滤波器之一的偏振平面与其它偏振滤波器的偏振平面不同地取向。

还有利的是：该偏振滤波器包括一个接一个地布置的多个偏振滤波器，其中这些一个接一个地布置的偏振滤波器的偏振平面之一并不垂直于这些一个接一个地布置的偏振滤波器的相应的那些偏振平面。优点是：经偏振滤波的图像可包含更强烈地被减少的反射。

在该设备的一个扩展方案中，该偏振滤波器是圆偏振滤波器。这具有如下优点：圆偏振滤波器具有更高的与通常使用的数字摄像机的兼容性，这些数字摄像机例如具有自动对焦或者自动化的曝光计。

特别有利的是：该偏振滤波器附加地包括色彩滤波器。在这种情况下的优点是：偏振滤波器通常增强地将光的蓝色部分滤出，因为该蓝色部分由于光在大气中的散射而强烈未偏振。因此，通过该色彩滤波器可以抑制蓝色部分的被增强的减少并且保持图像的色彩中性。

在另一方面，本发明涉及一种计算机程序，该计算机程序被设立为实施上文提到的方法之一，即该计算机程序包括如下指令，当该计算机程序在计算机上运行时，所述指令促使该计算机来实施上文提到的方法之一连同其所有步骤。本发明还涉及一种机器可读存储元件，在其上存储有该计算机程序。

附图说明

本发明的实施例在随附的附图中示出并且在随后的描述中进一步予以阐述。在此：

图1示出了用于确定与对象的间距的设备的示意图；和

图2示出了用于确定与对象的间距的方法的实施方式的示意图。

具体实施方式

图1示出了用于依据所检测到的图像可靠且鲁棒地确定与对象的间距的示例性的设备（10）的示意图。对间距的确定不受不期望的反射、尤其是镜像所影响。

设备（10）包括机器学习系统（11），该机器学习系统依据所检测到的至少两个图像（12a、12b）来确定与对象的间距。优选地，机器学习系统（11）是“卷积神经网络（Convolutional Neural Network）”。利用布置在摄像机前面的偏振滤波器（13）来检测所检测到的至少两个图像其中的至少一个图像（12b）。借助于偏振滤波器（13），可以抑制在光滑的或进行映照的表面上、诸如在窗或水表面上的不期望的反射。由此导致：所检测到的图像（12a、12b）被不同地滤波。紧接着由机器学习系统（11）利用在下文提到的方法来将不同的经滤波的图像（12a、12b）用于确定间距。机器学习系统（11）依据两个不同地滤波的图像来识别反射并且在确定间距时不考虑该反射。

说法“与对象的间距”可以被理解为：机器学习系统（11）确定在参考点与对象之间的间距。该参考点例如可以是摄像机的位置。替选地或附加地，可以使用多个不同地放置的摄像机来检测这些图像。为此，该参考点必须与此相应地被选择。也可设想的是：该参考点位于摄像机前面或后面或侧面，例如当摄像机放置于车辆的挡风玻璃上时，该参考点可以被选择得靠近保险杠。

依据所检测到的第一图像（12a），机器学习系统（11）可以确定与对象的间距。机器学习系统（11）使用所检测到的另一图像（12b），以便在确定间距时不考虑在这些图像中的反射。因为通过另一图像（12b）可以给机器学习系统（11）提供其它信息，使得机器学习系统（11）可以识别出在所使用的图像（12a、12b）中的反射。这具有如下有利效果：该反射不被纳入到对间距的确定并且借此可以避免间距确定的错误结果。

可选地，在机器学习系统（11）已经确定了该间隔之后，机器学习系统（11）的结果可以被设备（10）的控制单元使用，以便根据该结果来确定控制参量（14）。控制参量（14）可以被用于控制执行器（17）。执行器（17）例如可以是至少部分自主的机器，尤其是机器人或车辆。示例性地，利用控制参量（14）可以执行该至少部分自主的机器的停放过程。替选地，执行器（17）也可以根据控制参量（14）适当地对偏振滤波器（13）的偏振平面的取向进行再调准，使得可以用另一不同地滤波的图像来检查机器学习系统（11）的结果。

可选地，机器学习系统（11）也可以生成间隔图像。该间隔图像可以是如下图像，在该图像中以叠加在所检测到的图像（12a、12b）之一的片段上的方式来输出机器学习系统（11）的所确定的信息、例如与对象的间距。例如，在这种情况下，可以给每个像素分别分配所确定的信息之一。

在设备（10）的一个替选的实施方式中，机器学习系统（11）获得多个所检测到的图像（12a、12b），其中这些图像全部都是借助于不同的偏振滤波器所检测的。也就是说，这些偏振滤波器的偏振平面与其它偏振滤波器的偏振平面不同地取向，使得不同地被滤波的图像可以被检测并且被使用用于间距确定。

设备（10）还包括计算单元（15）和存储元件（16），在该存储元件上存储有计算机程序。该计算机程序可包括如下指令，这些指令引起：当例如在计算单元（15）上执行该计算机程序时，下文提到的方法的实施方式之一被实施。

图2示出了用于依据所检测到的图像（12a、12b）来确定与对象的间隔的方法（20）的实施方式的示意图。

该方法（20）以步骤21来开始。在步骤21中，向设备（10）的机器学习系统（11）提供例如来自数据库中的训练数据组。该训练数据组例如可包含多个训练图像，这些训练图像可以分别是真实的所检测到的图像或者可以是由计算机生成的图像。这些训练图像可能有反射或没有反射。优选地，多个图像可以分别表示相同场景，但是这些图像分别不同地被滤波，优选地利用图1中的偏振滤波器（13）来滤波。优选地，借助于间距值来对训练数据加标签并且训练数据优选地有在训练图像中是否存在反射的附注。这些训练图像的间距值可以借助于“ground truth（地面真值）”方法来确定。接下来可以利用这些标签，以便在忽略反射的情况下更有针对性地为了间距确定而训练机器学习系统（11）。

在已向机器学习系统（11）提供了训练数据组之后，机器学习系统（11）被训练为使得该机器学习系统根据所检测到的图像并且在考虑所检测到的其它图像的情况下确定与在所检测到的图像中的对象的间隔。所检测到的其它图像尤其是借助于偏振滤波器或者借助于偏振滤波器的不同地取向的偏振平面来滤波的图像。在此，该机器学习系统也可以被训练为使得该机器学习系统依据另外提供的图像而并不为了确定与对象的间隔而考虑在这些图像中的反射。优选地，为了训练机器学习系统（11），使用梯度下降法来确定机器学习系统（11）的参数值。该梯度下降法可以被应用于成本函数。该成本函数可取决于机器学习系统（11）的参数而且优选地取决于所使用的训练数据的标签。

可选地，机器学习系统（11）此外也可以在步骤21中被训练为使得机器学习系统（11）可以依据所提供的图像来确定对象探测、尤其是对象分类。优选地，为此附加地或替选地用表征对象类别的标签来对这些训练图像加标签。在这种情况下，机器学习系统（11）同样可以被训练为使得机器学习系统（11）在考虑其它图像、尤其是借助于偏振滤波器来滤波的图像的情况下并不为了对象探测而考虑在这些图像中的反射。

在步骤21结束了之后，接着是步骤22。在步骤22中，检测至少两个图像，尤其是在可预先给定的时间点检测至少两个图像。所述至少两个图像其中的第一图像借助于布置在摄像机前面的偏振滤波器以经滤波的方式来检测。优选地，该偏振滤波器具有偏振平面的与被用于检测该训练数据组的图像的偏振滤波器相同的取向。这具有如下有利效果：所检测到的图像类似于机器学习系统（11）的训练图像地被检测，由此可以实现：对与对象的间距进行的确定的更高精度。

紧接着，机器学习系统（11）依据所检测到的至少两个图像之一来确定与对象的间距。所检测到的其它图像、尤其是借助于偏振滤波器来滤波的图像在借助于该机器学习系统来确定与对象的间距期间被使用，使得在这两个图像之一中的反射不被考虑用于确定与对象的间距。

在该方法（20）的一个替选的或附加的实施方式中，其中机器学习系统（11）也已被训练用于对象探测、尤其是对象分类，可以在步骤22中依据所检测到的图像（12a、12b）也确定对象探测。在这种情况下的有利效果是：通过不同的经滤波地检测到的图像，在这些图像中的反射可以被确定并且借助于机器学习系统（11）不在对象探测的确定中予以考虑。由此可以实现更可靠的对象探测，因为例如路人在陈列橱窗中的反射可能导致错误的对象探测或分类。

可选地，在步骤22结束了之后，接着是步骤23。在步骤23中，可以根据机器学习系统（11）的结果来确定用于控制执行器（17）的控制参量（14）。示例性地，执行器（17）、尤其是至少部分自主的机器、如机器人或车辆可以根据该控制参量来实施运动或行驶机动动作。

在该方法（20）的另一替选的实施方式中，机器学习系统（11）也可以在步骤21中被训练为使得机器学习系统（11）可以依据在不同的可预先给定的一个接一个的时间点所检测到的图像的序列来确定光流。应注意：机器学习系统（11）为此必须同样被训练成：在这些图像中的反射不被考虑用于确定该光流。优选地，附加地或替选地用表征该光流的标签来对用于训练机器学习系统（11）的训练图像加标签。可选地，借助于该被训练的机器学习系统（11），可以在步骤22中根据多个不同的所检测到的如下图像来确定对象的光流，其中这些图像是在可预先给定的时间点检测到的。

可选地，步骤21也可以一直多次相继被重复，直至达到间距测量的可预先给定的足够高的精度。

借此，该方法（20）结束。

Claims (13)

1.一种用于确定与对象的间距的方法（20），所述方法包括：

- 检测至少两个图像（12a、12b）；

其中为了检测所述至少两个图像其中的第一图像（12b），使用布置在摄像机前面的偏振滤波器（13）；和

- 借助于机器学习系统（11）依据所检测到的所述至少两个图像其中的第二图像（12b）来确定所述间距，

其中所述机器学习系统（11）在确定所述间距期间也使用所检测到的所述至少两个图像其中的第一图像（12a），以便在确定所述间距时不考虑在所检测到的所述至少两个图像（12a、12b）之一中的反射。

2.根据权利要求1所述的方法，其中所述机器学习系统（11）被训练为使得所述机器学习系统（11）依据所检测到的所述至少两个图像其中的第二图像（12b）来确定所述间距，

其中所述机器学习系统（11）还被训练为使得所述机器学习系统（11）依据所检测到的所述至少两个图像其中的第一图像（12b）而在确定所述间距时不考虑所述反射。

3.根据上述权利要求之一所述的方法，其中所述机器学习系统（11）附加地被训练成：依据所检测到的所述至少两个图像其中的第二图像（12a）来确定对象分类并且在确定所述对象分类时依据所检测到的所述至少两个图像其中的第一图像（12b）而不考虑所述反射，

其中所述机器学习系统（11）在确定所述间距时也确定对象分类。

4.根据上述权利要求之一所述的方法，其中在可预先给定的一个接一个的时间点分别检测至少两个图像（12a、12b），

其中所述机器学习系统（11）附加地被训练，以便确定光流并且也在确定所述光流时不考虑所述反射，

其中所述机器学习系统（11）依据在可预先给定的一个接一个的时间点所检测到的图像来确定光流。

5.根据上述权利要求之一所述的方法，其中所检测到的图像（12a、12b）被存储并且所述机器学习系统借助于所存储的、所检测到的图像（12a、12b）来再学习。

6.一种设备（10），所述设备被设立为实施根据权利要求1至5之一所述的方法，所述设备包括：

- 至少一个用于检测至少两个图像（12a、12b）的摄像机和至少一个偏振滤波器（13），

其中所述偏振滤波器（13）布置在所述摄像机前面并且被使用用于检测所述至少两个图像其中的第一图像（12b）；以及

- 机器学习系统（11）。

7.根据权利要求6所述的设备，其中使用多个不同的偏振滤波器，

其中所述摄像机分别借助于所述不同的偏振滤波器之一来检测图像。

8.根据权利要求7所述的设备，其中所述偏振滤波器之一的偏振平面与其它偏振滤波器的偏振平面不同地取向。

9.根据权利要求6至8之一所述的设备，其中所述偏振滤波器（13）包括一个接一个地布置的多个偏振滤波器，

其中所述一个接一个地布置的偏振滤波器的偏振平面并不以垂直于所述一个接一个地布置的偏振滤波器的相应的偏振平面的方式来布置。

10.根据权利要求6至8之一所述的设备，其中所述偏振滤波器(13）是圆偏振滤波器。

11.根据权利要求6至10之一所述的设备，其中所述偏振滤波器（13）附加地包括色彩滤波器。

12.一种计算机程序，所述计算机程序包括如下指令，当在计算机上执行所述计算机程序时，所述指令促使所述计算机来实施根据权利要求1至5之一所述的方法。

13.一种机器可读存储元件（16），在所述机器可读存储元件上存储有根据权利要求12所述的计算机程序。

Images