CN111033565B

CN111033565B - 用于对流矢量假设进行可信度检验的方法和设备

Info

Publication number: CN111033565B
Application number: CN201880054430.8A
Authority: CN
Inventors: S·西蒙
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2017-08-22
Filing date: 2018-07-25
Publication date: 2024-02-13
Anticipated expiration: 2038-07-25
Also published as: KR102580056B1; DE102017214614A1; JP2020531997A; WO2019038008A1; US11195287B2; US20200250838A1; CN111033565A; EP3673459A1; KR20200040849A; JP6891339B2

Abstract

本发明涉及用于对流矢量假设进行可信度检验的一种设备和一种方法。在此基于特征(4)在第一图像(1)与第二图像(2)之间的运动来求取属于该特征(4)的预测矢量(12)，其中，所述第二图像(2)是图像序列(20)中的在所述第一图像(1)之后的图像；产生属于所述特征(4)的假设矢量(13)，该假设矢量描述所述特征(4)在所述第二图像(2)与第三图像(3)之间的推测运动，其中，所述第三图像(3)是图像序列(20)中的在所述第二图像(2)之后的图像；基于所述预测矢量(12)与所述假设矢量(13)之间的差异来计算所述预测矢量(12)与所述假设矢量(13)之间的相似度；基于所计算的相似度来评估所述假设矢量(13)的可信度，其中，评估所述假设矢量(13)是否描述所述特征(4)在所述第二图像(2)与所述第三图像(3)之间的实际运动。

Description

用于对流矢量假设进行可信度检验的方法和设备

技术领域

本发明涉及用于对流矢量假设进行可信度检验的一种方法和一种设备。

背景技术

在光流(OF)中，通过确定第一图像中的坐标与第二图像中的坐标之间的配属关系(Zuordnung)来在时间方向上形成对应关系。于是，这种对应关系说明3D场景中的点到2D图像中的投影如何从旧坐标继续运动至新坐标。

在此，图像中的运动可以是通过场景点的运动或通过摄像机的运动引起的，或同时通过这两者引起。

光流已经用于不同产品(例如用于驾驶辅助系统)。

发明内容

根据本发明的用于对流矢量假设进行可信度检验的方法包括：基于特征在第一图像与第二图像之间的运动来求取属于该特征的预测矢量，其中，第二图像是图像序列中的在第一图像之后的图像；产生属于该特征的假设矢量，该假设矢量描述该特征在第二图像与第三图像之间的推测运动，其中，第三图像是图像序列中的在第二图像之后的图像；基于预测矢量与假设矢量之间的差异来计算预测矢量与假设矢量之间的相似度；基于所计算的相似度来评估假设矢量的可信度，其中，评估假设矢量是否描述特征在第二图像与第三图像之间的实际运动。

根据本发明的用于对流矢量假设进行可信度检验的设备包括计算单元，该计算单元设置用于：基于特征在第一图像与第二图像之间的运动来求取属于该特征的预测矢量，其中，第二图像是图像序列中的在第一图像之后的图像；产生属于该特征的假设矢量，该假设矢量描述该特征在第二图像与第三图像之间的推测运动，其中，第三图像是图像序列中的在第二图像之后的图像；基于预测矢量与假设矢量之间的差异来计算预测矢量与假设矢量之间的相似度；基于所计算的相似度来评估假设矢量的可信度，其中，评估：假设矢量是否描述特征在第二图像与第三图像之间的实际运动。

第一图像、第二图像、第三图像是图像序列的图像。图像序列在此例如是视频序列。在此优选地，首先第一图像，然后第二图像，然后第三图像按时间顺序地出现在图像序列中。

所述特征是图像中所映射的特征。特征的映射在此尤其限于单个像素或一组像素。通过特征在图像之间的运动反映出对象在由图像表示的周围环境中的运动和/或摄像机的运动(通过该摄像机检测所述图像)。

在求取属于该特征的预测矢量时，检测特征在第一图像与第二图像之间的运动。因此，检测特征在两个图像之间的位置变化，并由此推断出特征的未来预期的位置变化。可以通过如下矢量描述该运动：该矢量将第一图像中的运动的起点与第二图像中的运动的终点连接起来。尤其在由摄像机已经检测的图像序列中，对象通常在各个图像之间连续地运动。这意味着，对象的运动在方向上或速度上不会突然发生改变。因此，可以通过特征在第一图像与第二图像之间的运动来估计该特征如何在第二图像与第三图像之间运动。通过预测矢量来描述该运动。在此，预测矢量在最简单的情况下等于描述特征在第一图像与第二图像之间的运动的运动矢量。优选地，在求取预测矢量中还纳入其他信息。因此，例如可以检测摄像机的运动，并且可以将该运动适当地添加至运动矢量，以便由此求取预测矢量。因此，该预测器描述特征在第二图像与第三图像之间的预期运动。

适当地添加摄像机的运动例如可以理解为：首先将特征在第一图像与第二图像之间的运动分解成第一部分和第二部分，该第一部分通过对象的连续运动所引起，该第二部分通过摄像机的运动所引起。可以单独地对这两个部分进行预测。因此，例如可以假设对象按照目前所观察的运动(例如以在空间中不变的速度或以在空间中不变的加速度)继续运动。对于摄像机的运动必要时甚至可以存在如下测量：所述测量例如来自其他传感器(例如车辆里程计和/或惯性传感装置)或由摄像机图像获得，其中，由多个矢量确定自身运动。然后例如可以通过组合(例如相加)这两个部分(即，用于对象的运动预测的第一部分和用于摄像机的运动的第二部分)来形成特征在第二图像与第三图像之间的运动的预测。在此，第二部分可以被测量，这可以导致与通过简单延拓(Fortschreibung)来进行预测相比更高的准确性。

在产生属于该特征的假设矢量时，建立特征如何在第二图像与第三图像之间运动的推测。为此，例如对第三图像进行如下分析：与所寻找的为其产生假设矢量的特征相似的特征位于第三图像中的何处。如此例如可以分析：具有相似颜色特性的像素位于第二图像和第三图像中的何处。在此，尤其也可以考虑以下要求：应该给图像的每个特征分配至多一个流矢量。假设矢量是如下流矢量：该流矢量被视为属于该特征的正确的流矢量。然而在此仍存在假设矢量所基于的分析不正确的可能性。因此谈及的是假设矢量，这是因为首先仅建立假设。

在计算预测矢量与假设矢量之间的相似度时，尤其可以计算描述相似度的关联成本。在此，高关联成本描述低的相似度，并且低关联成本描述高相似度。因此，借助相似度提供指示器，该指示器能够实现以下估计：特征在第一图像与第二图像之间的运动是否在公差的范畴内相应于特征在第二图像与第三图像之间的运动，因此，该特征按照假设矢量运动。在假设对象运动在方向上或速度上不会突然改变的情况下可以认为，假设矢量在公差的范畴内相应于预测矢量。以这种方式，如果针对的是描述特征在第二图像与第三图像之间的实际运动的假设矢量计算相似度，换句话说，如果假设矢量基于正确的假设，则得出高相似度并且必要时得出低关联成本。如果建立错误的假设(例如因为在第三图像中由于颜色相似性而将像素或像素的组合错误地视为为其产生假设矢量的特征)，则会得出低相似度并且必要时得出高关联成本，因为通过预测矢量定义了：按照预期，所考虑的特征在公差的范畴内应映射在第三图像中的何处。

预测矢量与假设矢量之间的差异尤其通过它们的长度和/或定向上的差异来定义。通过长度描述特征在图像序列中的运动速度。通过定向描述特征在图像序列中的运动轨迹。因此通过基于矢量的长度和/或定向的差异，特别简单地描述属于该特征的对象相对于检测图像的摄像机的实际运动。在此，尤其有利的是单独地考虑长度和定向，因为长度和定向在图像序列的变化过程中的改变可以基于不同的假设。

在评估假设矢量的可信度时，在计算相似度时，相比于预测矢量与假设矢量之间的相似性较低的情况，当预测矢量与假设矢量之间的相似性较高时将可信度评估得更高。可信度描述：假设矢量所基于的流矢量假设是否被视为正确的。在此，如果相似度高，则可以认为流矢量假设是正确的，即假设矢量具有高可信度。如果相似度低，则相应地可以认为流矢量假设是错误的，即假设矢量具有低可信度。

在最简单的情况下，仅基于相似程度评估可信度。然而也能够结合其他验证方法，所述其他验证方法通过替代途径实现可信度的评估。因此，例如可能发生：通过根据本发明的方法将可信度分级为高，但并行地通过竞争性评估降低可信度。

如果多个竞争性假设矢量可供用于特征点的运动，则可以选择如下假设矢量：如果所述假设矢量低于或不超过阈值，则所述假设矢量关于给定的预测矢量导致最高相似度或最低关联成本。替代地，可以根据分别求取的相似度或分别求取的关联成本来将假设矢量按顺序排序，以便例如求取N个最可信的假设矢量。

通过根据本发明的方法和根据本发明的设备能够实现，提高在评估流矢量假设时的稳健性。因此，能够产生具有特别高可靠性的流场。

在此，根据本发明的设备设置用于实施根据本发明的方法。

从属权利要求示出本发明的优选扩展方案。

有利的是在循环中实施该方法，其中，在当前的循环运行中，将如下信息分配给特征的假设矢量：该信息基于在之前的循环运行中被分配给特征的假设矢量的信息。因此，除了通过假设矢量描述的特征在图像序列中的运动之外，还可以传输跨越图像序列的其他信息。图像的与假设矢量相关联的信息尤其可以用于评估后续图像的假设矢量的可信度。也可以将以下信息分配给特征：所述信息描述通过该特征映射的对象的特性。在此尤其有利的是，将在第一循环运行中被分级为可信的假设矢量与相关联的信息一起作为流矢量纳入到流场中，并且在随后的第二循环运行中，从流场中读取第二循环运行的特征的作为预测矢量的假设矢量与相关联的信息。

此外有利的是，分配给假设矢量的信息是关联检查的结果，其中，在各个循环运行中实施关联检查，其中，如果预测矢量与假设矢量之间的相似度超过预给定的程度，则在关联检查中将特征的预测矢量与假设矢量视为彼此相关联，并且在各个循环运行中还基于如下情况来对假设矢量的可信度进行评估：是否在一个或多个之前的循环运行中已经将特征的预测矢量和假设矢量视为彼此相关联。通过以下方式来考虑假设矢量的先前历史(Vorgeschichte)：还基于是否在一个或多个之前的循环运行中已经将特征的预测矢量和假设矢量视为彼此相关联来评估假设矢量的可信度。该假设矢量的先前历史也被称为假设矢量的年龄(Alter)。如果已将特征的预测矢量与假设矢量在彼此相继的循环运行中多次视为彼此相关联，则假设矢量具有高的年龄。尤其可以将彼此相继的循环运行(在这些彼此相继的循环运行中已经将特征的预测矢量与假设矢量视为彼此相关联)的数量作为年龄属性分配给假设矢量作为信息。通过考虑假设矢量的先前历史可以以高可靠性确定可信度。因此，对特征的运动的评估附加地纳入到可信度的评估中，这由图像序列的多个之前的图像得出。因此，仅在以下情况将假设矢量视为特别可信：相关联的特征(已经为该特征创建所述假设)在彼此相继的循环运行中持续地具有低关联成本。以这种方式对假设进行历史评估，这是特别可靠的。

也有利的是，分配给假设矢量的信息描述属于该特征的对象的对象类别。因此，尤其使如下信息与特征相关联：该信息说明与假设矢量相关联的特征表示确定对象类别的对象。在此，例如使如下概率值与特征相关联：该概率值描述该特征表示确定对象类别的对象的概率。在此，优选将概率值分配给流场中的特征。在此，对象类别尤其描述通过特征映射哪种对象。在此，尤其在对象类别中汇总如下对象：该对象在预定义的说明的范畴内具有相似的运动特性。尤其可以考虑将对象类别用于评估假设矢量的可信度，以便例如定义预测矢量与假设矢量之间的相似度，这种相似度至少必须存在，以积极地评估假设矢量的可信度。因此，尤其如果分配给特征的对象类别是第一对象类别(例如包括“人员”类型的对象)，则将相似度的阈值置于第一值。此外，如果分配给特征的对象类别是第二对象类别(例如包括“车辆”类型的对象)，则将相似度的阈值置于第二值。第一值小于第二值。仅当不超过阈值的情况下才将可信度评估得较高。以这种方式，在示例性的对象类别“人员”和“车辆”中例如考虑到：相比于人员，预期车辆在图像序列中的运动中的连续性更高。

也有利的是，在计算预测矢量与假设矢量之间的相似度时，相比于相对于预测矢量的在纵向方向上的偏差，将相对于预测矢量的在正交方向上的偏差评估得更严格，或者相比于相对于假设矢量的在纵向方向上的偏差，将相对于假设矢量的在正交方向上的偏差评估得更严格。更严格的评估意味着对所计算的相似度的影响更大。由此考虑到以下情况：在将对象的沿直线以相同步长运动的3D点投影到图像中之后，该3D点通常不会以相同大小的步长运动。相反，当该点更靠近摄像机时，图像中的步长较大，并且当该点更远离摄像机时，则步长则较小。

此外有利的是，由描述反向流的流场求取预测矢量，和/或，由描述正向流/>的流场求取假设矢量。在这种预测矢量和/或假设矢量的计算中，预测矢量(作为反向流)在第二个图像的图像位置处结束，而假设矢量(作为正向流)在该图像位置处开始，由此即已经隐含地给出预测矢量与假设矢量之间的分配，而不必首先求取该分配。因此，在产生流场的范畴内进行反向流和正向流的这种计算，因为这对于流场的分析处理是必需的。因此，可以基于可用数据以低的附加计算开销来实现一个或多个流矢量假设的附加可信度检验。

也有利的是，在计算相似度时对预测矢量进行匹配，通过该匹配来补偿在检测第一图像与检测第二图像之间的摄像机运动，和/或，补偿在检测第二图像与检测第三图像之间的摄像机运动。因此，可以避免图像中的特征的位置的如下改变被纳入到相似度的计算中并使其失真：这种改变不是由所属的对象的自身运动引起的。

此外有利的是，借助预给定的函数由预测矢量与假设矢量之间的差异求取相似度，其中，通过该预给定的函数尤其对预测矢量与假设矢量之间的差异进行加权。因此，可以几何地计算预测矢量与假设矢量之间的相似度，并将该相似度转换为用于相似度的简单数字值。在此，尤其如此对差异进行加权，使得小的差异导致特别高的相似度并且必要时导致特别低的关联成本，并且使得大的差异导致特别低的相似度并且必要时导致特别高的关联成本。尤其以非线性的方式相对于相似度进行加权。

此外有利的是，在计算相似度时借助差矢量来求取差异，通过由预测矢量与假设矢量形成差来产生该差矢量。这种差矢量是易于计算的参数，该参数描述预测矢量与假设矢量之间的相似性。优选地，将预测矢量和假设矢量分别分解为第一部分和第二部分，该第一部分通过对象的运动引起，该第二部分通过摄像机的运动引起，因此有利的是，仅根据通过对象的运动引起的部分来求取差矢量。

此外有利的是，在计算相似度时借助差矢量的两个矢量分量来求取差异，其中，尤其对两个矢量分量进行不同的加权。因此对差异进行不同的评估，该评估取决于在哪个方向上存在预测矢量与假设矢量之间的偏差。因此，相比于纵向于假设矢量的定向的偏差(替代地，纵向于预测矢量的定向的偏差)，尤其正交于假设矢量的定向的偏差(替代地，正交于预测矢量的定向的偏差)具有更高的权重并且更强地纳入相似度。以这种方式例如能够实现：相比于在正交方向上的偏差，不同地、尤其不太严格地评估在纵向方向上的偏差。由此例如可以考虑以下事实：在将沿直线以相同大小的步长运动的3D点投影到图像中之后，该3D点通常不以相同大小的步长在该图像中运动。相反地，当该点更靠近摄像机时，图像中的步长较大，而当该点更远离摄像机时，图像中的步长较小。

此外有利地是，在产生属于该特征的假设矢量时，产生多个属于该特征的假设矢量，并且对于所述假设矢量中的每个计算相似度和评估可信度。因此，可以实现待优选的假设矢量的有利的选择。尤其基于可信度选择假设矢量中的一个。因此，优选将具有最高可信度的假设矢量视为如下假设矢量：该假设矢量描述特征在第二图像与第三图像之间的实际运动。然而在此也可能的是：如果所有的假设矢量的可信度例如低于预给定的阈值，则可以不采纳所有假设矢量，因为所属的相似度太低。

附图说明

以下参考附图详细地描述本发明的实施例。在附图中示出：

图1示出示例性的图像序列的图示；

图2示出示例性的预测矢量和示例性的假设矢量的图示；

图3示出导致不同关联成本的预测矢量和假设矢量的图示；

图4示出用于对关联成本进行加权的示例性的函数；

图5示出用于对流矢量假设进行可信度检验的设备。

具体实施方式

图1示出示例性的图像序列20。图像序列20包括第一图像1、第二图像2和第三图像3。在所示出的示例性的图像序列20中，第二图像2直接跟在第一图像1之后，并且第三图像3直接跟在第二图像2之后。然而，在各个图像之间也可以存在图像序列20中的其他图像。图像序列20是由摄像机41所检测的视频序列。

由摄像机41已经检测到如下对象：该对象在图像1、2、3中作为相应图像1、2、3的特征4示出。因此，在所示的图像序列20中，特征4从左下向右上地运动通过由视频序列示出的图像。在图1中，特征在此仅位于相应图像1、2、3的借助实线示出的位置处。通过虚线示出特征4在其余图像中的位置。因此，在第一图像1中，特征4位于第一位置5处。在第二图像2中，特征4位于第二位置6处。在第三图像3中，特征4位于第三位置7处。特征4在此尤其限于少数量的像素。

此外，在图1中示出两个属于特征4的流矢量10、11。第一流矢量10描述特征4在第一图像1与第二图像2之间的运动。第二流矢量11描述特征4在第二图像2与第三图像3之间的运动。

借助图像分析由第二图像2和第三图像3求取第二流矢量11。这通过产生或建立流矢量假设来实现。借助流矢量假设产生假设矢量13。因此，第二流矢量11相应于假设矢量13。在此，可能发生：在图像分析时导致错误的结果。在图像分析时可能存在如下问题：相比于在第二图像2中示出的特征4，在第三图像3中示出的特征4可能属于不同的对象。在这种情况下虽然已经求取了假设矢量13，但是该假设矢量不是正确的流矢量，因为该假设矢量不描述特征4在图像序列20中的运动，而是将不同特征的位置连接起来。因此，不确定第二流矢量11是否是正确的流矢量。所以提出流矢量假设。因此，将在产生流矢量假设时计算的流矢量称为假设矢量13。因为没有最终确定该假设矢量是否是正确的流矢量，所以通过假设矢量13描述特征4在第二图像2与第三图像3之间的推测运动。

在正向流与反向流之间进行区分，其中，以此表示：参考像素位于哪个图像中，以及在哪个图像中搜索了对应关系(Korrespondenz)(搜索方向)。如果将结果提供为流场(以矩阵结构)，则借助搜索方向通常还确定流场保存在哪个坐标系中。在此，流场是由流矢量构成的如下场：在该场中输入对于一对两个图像得出的所有的或至少所有计算的流矢量。附加地，也可以分别给流矢量分配属性。

在此，对于正向流，在之前的图像中搜索参考像素，并且在当前的图像中搜索对应关系。将结果保存在之前的图像的坐标中。对于反向流，在当前的图像中搜索参考像素，在之前的图像中搜索对应关系。将结果保存在当前的图像的坐标中。然而，在这两种情况下，都以相同的方式确定相应的流矢量10、11的流矢量分量的符号，更确切地说，在图像中向右运动时水平分量为正，在图像中向下运动时垂直分量为正。

如果假设矢量13在过去的时间步骤中已经具有在方向上和量值上“匹配于”所观察的流矢量假设的前过程，则流矢量假设的信任度以及因此假设矢量13的可信度会增加。在此，基于以下假设：属于特征4的对象由于其质量而“缓慢地”运动，并且摄像机41同样缓慢地运动，因为摄像机与负载质量的对象(例如车辆)刚性地相连。实际上，在图像平面中不会发生突然的方向变化。在此，前提是摄像机41的时间采样率足够高。

因此进行预测器的求取，该预测器通过预测矢量12描述特征4在第一图像1与第二图像2之间的运动，其中，第二图像2是图像序列20中的在第一图像1之后的图像。因此，在图1所示的示例中，预测矢量12相应于第一流矢量12。

第一至第三图像1、2、3已经由摄像机41所拍摄。在此，在第一时刻t₁拍摄第一图像1，在第二时刻t₂拍摄第二图像2，并且在第三时间t₃拍摄第三图像3。彼此相继地拍摄图像1、2、3，其中t₁<t₂<t₃，但并非强制性地依次紧接地拍摄(即，在它们之间还可以拍摄其他图像)。图像1、2、3之间的时间间隔无须是恒定的。这意味着商q通常也可以不等于1：

作为预测例如可以使用在时刻t₁与t₂之间已经存在的光流场。这优选以反向流的形式存在，因为反向流具有以下优点：从共同的时刻t₂起，预测矢量12已经存在于正确的坐标系中，也就是说，不再必须进行换算(转换)。因此，由描述反向流的流场求取预测矢量12。

还可以以其他方式产生用于预测的流场，例如，在使用三维场景模型的情况下以及在假设摄像机在所考虑的时间点上的位置的情况下，然后可以由此计算出预期的流场。

以下示例性地从最简单的情况出发，即，对于提供预测不必造成特别的耗费，并且预测由旧的流场组成或由旧的流场产生。可选地，对预测流场以及因此对预测流场中定义的流矢量以一个因子进行缩放，以便使流矢量以及因此将预测矢量12置于预期的长度。在此有利的是将用于缩放流矢量的因子选择为等于商q。

该预测支持确定时刻t₂与t₃之间的下一流场。因此，这两个流场共同地具有时刻t₂：第一流场的流矢量在此结束，第二流场的流矢量在此开始。因此进一步有利的是，时刻t₂与t₃之间的待确定的流场首先是正向流。可以通过添加分配给时刻t₄的另一图像(其中t₄>t₃)来继续该图像的序列。

然后，时刻t₂与t₃之间的流场可以用作预测器，并且可以支持时刻t₃与t₄之间的流场下一确定，依此类推。在此，由时刻t₂与t₃之间的流场读取相应的预测矢量12。

对于每个流矢量假设，以及因此对于每个假设矢量13执行关联检查，其中，将假设(即假设矢量13)与相应的预测(即预测矢量12)在定向与长度方面进行比较。因此，基于预测矢量12与假设矢量13之间的差异来计算关联成本，其中，该关联成本说明预测矢量12与假设矢量13之间的相似度。在此，高关联成本描述低的相似度，并且低关联成本描述高相似度。因此，基于预测矢量12与假设矢量13之间的差异来实现预测矢量12与假设矢量13之间的相似度的计算。

在计算关联成本时，可选地对预测矢量12进行匹配，通过该匹配来补偿在检测第一图像1与检测第二图像2之间的摄像机运动，和/或补偿在检测第二图像2与检测第三图像3之间的摄像机运动。为此，例如借助传感装置或图像分析处理来检测摄像机运动的变化，并求取在相应像素处的由此引起的运动变化，并将该运动变化加到第一流矢量10中以求取预测矢量12。

将预测矢量12和假设矢量13考虑为“关联的”或“级联的”的，因为它们看起来是相互匹配的。这种特性提高对借此确定的流矢量假设的信任度，并且可以作为品质度量或品质属性附加到相应的流矢量上。因此提高流矢量假设的可信度。在关联检查中，如果特征4的预测矢量12与假设矢量13之间的相似度超过预给定的程度，即，如果关联成本低于预给定的程度，则将特征的预测矢量12与假设矢量13视为彼此相关联。如果将特征的预测矢量12与假设矢量13视为彼此相关联，则将这作为信息分配给假设矢量13。

如果在该方法的后续进程中使用假设矢量13(例如在基于特征4在第二图像2与第三图像3之间的运动产生属于特征4的预测矢量12时)，则可以考虑将该信息用于在该方法的后续进程中评估可信度。因此，在这种情况下，基于是否在一个或多个之前的循环运行中已经将特征4的预测矢量12与假设矢量13视为彼此相关联，进行假设矢量13的可信度的评估。

如果该关联检查在时间上多次相继地成功，则这种确认可以相应地追溯到很久以前。在此谈及的是流矢量或假设矢量13的年龄，其中，借助该年龄表示不中断的成功的关联检查的数量。如此形成的年龄本身又表示如下品质属性：该品质属性可以作为数字表示并附加到相应的流矢量上。

在循环中实施该方法，由此可能发生属于特征4的流矢量的老化。在此，如果关联成本的计算表明预测矢量12与假设矢量13之间的相似度大于预给定程度，和/或不存在具有更高相似度的替代的假设矢量，则在当前循环运行中将特征4的假设矢量13与预测矢量12考虑为彼此相关联。如果在当前循环运行中已经将特征4的假设矢量13与预测矢量12考虑为彼此相关联，则附加地提高在当前循环运行之后的循环运行中的流矢量假设的可信度。

因此也可以谈及级联(即使没有明确存储为级联)。如此形成的年龄可以用作质量标准，以便滤出良好的流矢量或消除异常值。借助阈值“年龄>1”已经可以消除大多数异常值。随着更高的阈值，分离甚至也会变得更好，但随着阈值的增大，直至新的假设矢量13(没有前过程)首次达到阈值的等待时间(在图像数量的意义上)当然也会增加。

此外，如果在相应的特征4处成功地实现关联检查，则得出以下有意义的可能性：借助流场从图像至图像地继续传输其他信息。例如，从时刻t₂已经可以给第二图像2设置标签信息(例如语义分割)，该标签信息对于每个特征4说明相应的像素以何种概率属于确定的对象类别(例如行人、汽车、自行车、建筑物、街道、路缘、人行道、护栏、交通标志、植被等)。可以借助所属的假设矢量13(从t₂到t₃)传递这些信息。因此，然后这些信息到达正确的坐标。因此，使如下信息与特征4相关联：该信息说明流矢量假设所属的特征4表示确定对象类别的对象。

如果关联检查成功，则信息或属性的这种传递尤其有意义，因为此后会出现时间上一致且物理上可信的行为。于是正确传递的可能性很高，并且随后还正确地分配附加信息。

以下描述用于关联检查和计算相似度的优选可能性。在此求取关联的关联成本，其中，关联成本由正交部分和纵向部分组成。在此借助差矢量21的两个矢量分量22、23来求取关联成本所基于的差异。第一矢量分量22在此描述正交部分，而第二矢量分量22在此描述纵向部分。根据定义，矢量分量22、23彼此垂直。

在图2中示例性地示出预测矢量12与假设矢量13之间的关系。因此，在图2中示出第一流矢量10。该第一流矢量描述特征4在第一位置5与第二位置6之间的运动。特征4的该运动在第一图像1与第二图像2之间进行。由第一图像1与第二图像2之间的运动并因此基于第一流矢量10来求取预测矢量12。在此，预测矢量12等于第一流矢量10。这是基于以下假设：特征4在恒定的运动的情况下在第三图像3中必须位于理论位置8处。

在图2中示出的示例中，此外通过图像分析来计算假设矢量13。因此建立如下流矢量假设：特征4在第二图像2与第三图像3之间已运动至第三位置7。这通过假设矢量13来描述。如果已经存在流场，则由流场求取假设矢量。流场在此优选描述正向流。为了评估流矢量假设(以及因此假设矢量13)是否可信，现在计算关联成本。为此，由假设矢量13与预测矢量12之间的差来计算差矢量21。在一种简单的情况下，该差异等于差矢量21的量值。其中，将该量值的值直接视为关联成本的值。

然而在此处描述的实施方式中，借助差矢量21的矢量分量22、23求取关联成本所基于的差异。正交部分(即垂直于假设矢量13的第一矢量分量22)表示与定向的偏差的程度，其中，将假设矢量13的定向用作参考定向。替代地，也可以将预测矢量12的定向用作参考。纵向部分(即第二矢量分量23以及因此平行于假设矢量13的第二矢量分量23)测量在参考矢量的方向上或相反方向上的偏差。因此清楚地测量假设矢量13相对于预测矢量12的延长或缩短，其中，对于这两种情况通常设立不同的标准。

如果参考矢量相应于零矢量，则不定义定向。对于这种情况有意义的是进行特殊处理。

然后，例如在标准的意义上，将关联成本的正交部分与纵向部分(两者均不为负)进行组合。在此也可以对所述部分进行加权，但在该实施例中没有使用这种加权。

然而在该实施例中，对正交部分进行评估时应比对纵向部分进行评估时设立更严格的标准，因为正交偏差只能通过对象的方向改变或摄像机的旋转来阐述，而纵向部分附加地还会通过对象接近或远离摄像机而改变。因此，可以在预给定的间隔内大规模地评估纵向变化，其方式是：由此不产生关联成本。以这种方式对两个矢量分量22、23进行不同的加权。

关联成本是预测矢量12与假设矢量13之间的差异的度量。在图3中示出预测矢量12与假设矢量13的示例性组合。因此，如果预测矢量12和假设矢量13相同，则关联成本等于零。在图3的最左侧示出如下示例：在该示例中，预测矢量12与假设矢量13彼此相似，并且产生低关联成本。在图3的中间示出如下示例：在该示例中，预测矢量12与假设矢量13彼此不相似，并且产生高关联成本。此外，在图3的右侧示出如下示例：在该示例中，不存在预测矢量12，因此无法计算关联成本。

为了将预测矢量12与假设矢量13之间的所求取的差异转换成关联成本，借助预给定的函数由预测矢量与假设矢量之间的差异来求取关联成本。在此，可以通过预给定的函数来对预测矢量与假设矢量之间的差异进行加权。在此，该函数尤其是如下函数：该函数取决于第一矢量分量22的量值和第二矢量分量23的量值。

然后可以映射关联成本，以便例如借助非线性函数将关联成本转化成更有用的形式。在图4中示例性地示出这种非线性函数。该非线性函数是分段线性的并且在带符号的值上映射非负的关联成本，以下将带符号的值称为权重。该函数的值可以是值连续的或值离散的。在此的构思是，通过增加正权重来提升“好的流矢量假设”(即具有低关联成本的流矢量假设)的价值，而同时降低具有高关联成本的流矢量假设的权重。在第一轴线30上示出关联成本，在第二轴31上示出权重。在中性点32处，权重从正权重转换为负权重。

在图4中，两个轴线区段具有不同的斜率并且相交于一点。在此，交点位于横坐标轴上。该交点被称为中性点32并且代表特定的点：在中性点处加成的权重恰好为零，并且因此与(对其不存在预测)的流矢量假设中的权重一样大。借助该带符号的权重的概念可以毫无问题地考虑实践中的以下重要情况：对于单个或多个或有时所有的流矢量假设，不存在预测。

可以将加成的权重加到已经存在的权重上，流矢量假设由于在此未详细示出的原因已经可以设有所述已经存在的权重。替代对权重相加，也能够考虑其他解决方案。

可以将关联成本或其映射(例如根据非线性映射)与一个或多个阈值进行比较，以便将值范围映射到小数量的替代值上。线性或非线性量化的这一步骤可以具有二元的结果或多于二元的结果。

在二元决策的情况下，这可以直接相应于拒绝或接受流矢量假设。因此，基于所计算的关联成本并且因此基于所计算的相似度，评估流矢量假设和所属的假设矢量13的可信度。

如果存在多于两个的替代值可用(例如4个)，则可以具有以下解释：

0：预测与流矢量假设相矛盾，因此拒绝流矢量假设并且因此拒绝假设矢量13。

1：预测与流矢量假设彼此不是很好地一致，但仍在公差的范畴内。在进一步处理中不信任流矢量假设和假设矢量13。

2：预测与流矢量假设很好地一致，因此可以正常地继续使用流矢量假设和假设矢量13。

3：预测和流矢量假设很好地一致甚至相同，因此流矢量假设和假设矢量13可以用于特殊目的。

通过上述值1至4来描述流矢量假设的可信度，并且因此描述所属的假设矢量13的可信度。可以看出，相比于当关联成本说明第二相似度，当关联成本说明第一相似度时将可信度评估得更高，其中，第一相似度大于第二相似度。因此，如果预测与流矢量假设相互不矛盾，则将可信度评估为较高。如果预测与流矢量假设相互矛盾，则将可信度评估为较低。由关联成本得出预测与流矢量假设是否相互矛盾。

通常，在产生属于特征4的假设矢量13时，产生多个属于特征4的假设矢量。在这种情况下，对于假设矢量13中的每个计算相似度和评估可信度。因此，对于属于特征4的假设矢量13中的每个计算关联成本，该关联成本描述相应的假设矢量13与预测矢量12的相似度。在评估各个假设矢量13的可信度时，给假设矢量13中的每个分配以上所述的值1至4中的一个。在此，优选选择属于特征4的假设矢量13中的如下假设矢量用于进一步处理(例如在流场中纳入以下假设矢量)：该假设矢量已经被分配有最大值。

通常，因此选择属于特征4的假设矢量13中的如下假设矢量用于进一步处理：该假设矢量在评估可信度时具有最高的可信度。因此，基于预给定的初始值，根据关联成本以及因此根据所属的相似度，对于每个假设矢量13提高或降低其可信度。在此，在高相似度和低关联成本时提高可信度。相应地，在低相似度和高关联成本时降低可信度。可信度的变化的程度在此例如可以取决于关联成本。如果已经评估可信度，则选择属于特征4的假设矢量13中的如下假设矢量用于进一步的处理(例如在流场中纳入如下假设矢量)：该假设矢量根据可信度评估具有最高的可信度。

流矢量假设与预测的比较结果可以是品质度量，可以将品质度量编码为附加信息(此处具有2位)并进行存储、传递或进一步处理。

特别有利的是对这种品质度量进行时间上的聚类。为此，对于每个流矢量，例如给在关联检查中求取的品质度量“分配”(例如添加)流矢量的属性。这种属性例如可以是已经提及的年龄：品质度量在这种情况下是二元的，并且可以进行相加，直至达到最大可表示的年龄。对于多元信号进行时间上的聚类也是有意义的。但是这种属性不再能够直接解读为年龄。

因此，根据本发明显著改善针对异常值的稳健性。光流中的异常值是错误的对应分配，其例如可能在场景中的结构重复时出现。

借助根据本发明的流矢量假设与预测的比较，优选那些表现与预期相符的流矢量假设，并且有效地抑制那些表现不相符的异常假设。此外，获得时间上的一致性的度量作为附加信息，并且借助流矢量及时进一步传输该附加信息。

该传输路线也可用于其他信息。

用于评估流矢量假设和用于传输属性的构思既可以用于不密集的光流(稀疏光流)，也可以用于密集的光流，在不密集的光流中仅对于少量优秀的像素求取其运动，在密集的光流中对于每个像素或大部分像素求取其运动。

这种属性的一个示例是流矢量的“年龄”。这例如可以是根据与相应的预测的比较的连续成功的确认的数量，并且因此表示品质度量或信任度度量。

因此，将光流预测用于流矢量假设的可信度检验或不可信度检验，例如用于消除错误的对应关系(异常值)，或用于提升通过预测确认的对应关系的价值，或用于降低通过预测不确认的对应关系的价值。

此外，进行预测矢量与假设矢量之间的关联检查，同时产生评估。

在此，在关联检查中将检查分为检查与定向的偏差以及见着沿着定向的偏差。这在必要时借助对部分的加权组合来实现。

可以允许在预确定的间隔内的沿着定向的偏差。在此，取决于假设矢量13(沿定向)比预测矢量12长还是短，进行不同的处理。

优选将预测实现为反向流，同时将流假设实现为正向流。此外，针对流矢量的时间一致性(结合通过预测馈入的先前历史)构造度量(例如作为年龄属性)。还在接口上提供(借助关联检查产生或确认或调整的)属性，并且随时间传输任何属性，例如根据关联检查分别将所述属性附加到流矢量上。

优选地，使用参数来匹配预测，以便例如考虑不同的时间间隔或路段，或补偿摄像机的自身运动。

图5示出用于对流矢量假设进行可信度检验的设备。该设备包括计算单元40，该计算单元设置用于实施之前所述的方法。在此，借助摄像机41提供图像1、2、3。然而应指出，也可以借助替代的源(例如借助存储介质)来提供图像1、2、3。

除了以上书面公开内容之外，明确地参考图1至图4的公开内容。

Claims

1.一种用于对流矢量假设进行可信度检验的方法，所述方法包括：

基于特征(4)在第一图像(1)与第二图像(2)之间的运动来求取属于所述特征(4)的预测矢量(12)，其中，所述第二图像(2)是图像序列(20)中的在所述第一图像(1)之后的图像，

产生属于所述特征(4)的假设矢量(13)，所述假设矢量描述所述特征(4)在所述第二图像(2)与第三图像(3)之间的推测运动，其中，所述第三图像(3)是图像序列(20)中的在所述第二图像(2)之后的图像，

基于所述预测矢量(12)与所述假设矢量(13)之间的差异来计算所述预测矢量(12)与所述假设矢量(13)之间的相似度，其中，在计算所述预测矢量(12)与所述假设矢量(13)之间的相似度时，相比于相对于所述预测矢量(12)的在纵向方向上的偏差，将相对于所述预测矢量(12)的在正交方向上的偏差评估得更严格，或者相比于相对于所述假设矢量(13)的在纵向方向上的偏差，将相对于所述假设矢量(13)的在正交方向上的偏差评估得更严格，

基于所计算的相似度来评估所述假设矢量(13)的可信度，其中，评估所述假设矢量(13)是否描述所述特征(4)在所述第二图像(2)与所述第三图像(3)之间的实际运动，

其特征在于，

在计算所述相似度时，借助差矢量(21)求取所述差异，通过由所述预测矢量(12)与所述假设矢量(13)形成差来产生所述差矢量，其中，借助所述差矢量(21)的两个矢量分量(22，23)来求取所述差异，其中，对所述两个矢量分量(22，23)进行不同的加权。

2.根据权利要求1所述的方法，其特征在于，在循环中实施所述方法，其中，在当前的循环运行中将以下信息分配给所述特征(4)的所述假设矢量(13)：所述信息基于在之前的循环运行中被分配给所述特征(4)的假设矢量(13)的信息。

3.根据权利要求2所述的方法，其特征在于，被分配给所述假设矢量(13)的信息是关联检查的结果，其中，

在每个循环运行中实施所述关联检查，其中，如果所述预测矢量(12)与所述假设矢量(13)之间的相似度超过预给定的程度，则在所述关联检查中将所述特征(4)的所述预测矢量(12)与所述假设矢量(13)视为彼此相关联，并且

此外，在每个循环运行中基于以下情况来对所述假设矢量(13)的可信度进行评估：是否在一个或多个之前的循环运行中已经将所述特征(4)的所述预测矢量(12)与所述假设矢量(13)视为彼此相关联。

4.根据权利要求2所述的方法，其特征在于，被分配给所述假设矢量(13)的信息描述属于所述特征(4)的对象的对象类别。

5.根据以上权利要求中任一项所述的方法，其特征在于，由描述反向流的流场求取所述预测矢量(12)，和/或，由描述正向流的流场求取所述假设矢量(13)。

6.根据以上权利要求中任一项所述的方法，其特征在于，在计算所述相似度时对所述预测矢量(12)进行匹配，通过所述匹配补偿在检测所述第一图像(1)与检测所述第二图像(2)之间的摄像机运动，和/或补偿在检测所述第二图像(2)与检测所述第三图像(3)之间的摄像机运动。

7.根据以上权利要求中任一项所述的方法，其特征在于，借助预给定的函数由所述预测矢量(12)与所述假设矢量(13)之间的差异来求取所述相似度，其中，通过所述预给定的函数尤其对所述预测矢量(12)与所述假设矢量(13)之间的差异进行加权。

8.根据以上权利要求中任一项所述的方法，其特征在于，在产生属于所述特征(4)的假设矢量(13)时，产生属于所述特征(4)的多个假设矢量，对于所述假设矢量(13)中的每个计算相似度并且评估可信度。

9.一种用于对流矢量假设进行可信度检验的设备，所述设备包括计算单元(40)，所述计算单元设置用于：

其特征在于，

所述计算单元(40)设置用于，在计算所述相似度时，借助差矢量(21)求取所述差异，通过由所述预测矢量(12)与所述假设矢量(13)形成差来产生所述差矢量，其中，借助所述差矢量(21)的两个矢量分量(22，23)来求取所述差异，其中，对所述两个矢量分量(22，23)进行不同的加权。