CN110944895A - 用于根据由车辆的摄像机所拍摄的图像序列来求取光流的方法和设备 - Google Patents

Abstract

本发明涉及一种用于根据由车辆(100)的摄像机(104)所拍摄的图像序列来求取光流的方法(400)。在此，接收至少一个输入信号(108)并且接收表示图像序列的图像信号(106)，该至少一个输入信号表示在使用车辆(100)的至少一个传感器(110)的情况下所识别的车辆周围环境和/或车辆(100)的行驶情况和/或光流的先前求取的结果。在使用输入信号(108)的情况下确定时间差值。在使用图像信号(106)的情况下选择图像序列的至少两个单个图像，所述至少两个单个图像以所述时间差值彼此偏移。最后，探测所述单个图像中的一致的像素，以便在使用一致的像素的情况下求取光流。

Description

用于根据由车辆的摄像机所拍摄的图像序列来求取光流的方 法和设备

背景技术

本发明基于根据独立权利要求的类别的一种方法或一种设备。本发明的主题也是一种计算机程序。

现代车辆出于驾驶员辅助或自主驾驶的目的而可以配备有视频摄像机。例如可以处理由视频摄像机所拍摄的图像序列，以便计算光流。

发明内容

在这种背景下，借助所提出的方案提供根据独立权利要求的一种用于根据由车辆的摄像机所拍摄的图像序列来求取光流的方法、一种使用该方法的设备以及最后提出一种相应的计算机程序。通过在从属权利要求中列举的措施能够实现在独立权利要求中说明的设备的有利扩展方案和改善方案。

提出一种根据由车辆的摄像机所拍摄的图像序列来求取光流的方法，其中，该方法包括以下步骤：

接收至少一个输入信号并且接收表示图像序列的图像信号，该至少一个输入信号表示在使用至少一个车辆的传感器的情况下所识别的车辆周围环境和/或车辆的行驶状态和/或光流的先前求取的结果；

在使用输入信号的情况下确定时间差值；

在使用图像信号的情况下选择所述图像序列的至少两个单个图像，所述至少两个单个图像以所述时间差值彼此偏移；

探测所述单个图像中的一致的像素，以便在使用所述一致的像素的情况下求取光流。

光流可以理解为对如下图像平面中的像素运动的描述：所述图像平面处于图像序列的两个单个图像之间或立体摄像机的左图像与右图像之间。在此，光流取决于单个图像之间的相应时间间隔。传感器例如可以涉及摄像机、加速度传感器、方向盘旋转传感器、车轮旋转传感器、雷达传感器、激光雷达传感器、超声传感器、GPS传感器、光传感器或雨水传感器。行驶情况可以理解为通过确定的车辆参数(例如速度、加速度、俯仰率或侧倾率)所表征的车辆状态。输入信号例如可以通过与车辆的驾驶员辅助功能或与光流的先前计算的直接或间接反馈来生成。输入信号例如可以涉及相关信号或独立信号或者至少一个相关信号和一个独立信号的组合。例如，相关信号由于其反馈而导致如下调节回路：在该调节回路中，在时刻t的光流结果影响在时刻t+Δt的结果。时间差值可以理解为尤其在毫秒范围内的时间段。图像序列可以理解为至少两个单个图像的序列。像素可以理解为单个图像的图像元素。像素在两个单个图像之间的运动可以被求取作为表示光流的流向量。例如可以以至少一个流场的形式来求取多个像素在两个单个图像之间的运动，所述流场分别由多个流向量构成。在此，流向量的长度可以相同或不同。

所提出的方案基于以下认知：可以在情况相关的可变时基方面求取由车辆摄像机所拍摄的图像序列的光流。

与常规方法(在常规方法中，不管所拍摄的场景内容和摄像机的自身运动如何，都使用固定的时间差来计算光流)不同，借助所提出的方案，可以通过根据一定数量的确定输入信号选择摄像机图像之间的时间偏移来防止：在具有高动态性的场景中产生光流损失。同时，在具有很少变化的场景和摄像机姿态中进行自身运动估计的情况下，可以充分利用潜在精度(Genauigkeitspotenzial)。因此，取决于情况相关地，使用动态时间差替代静态时间差导致尽可能最佳的流数据。

根据一种实施方式，在确定的步骤中，如果输入信号表示车辆的识别到的自动紧急制动，或者附加地或替代地，如果输入信号表示车辆的超过阈值的俯仰率，则可以通过减小初始值来确定时间差值。由此可以防止在具有高动态性的行驶情况中的光流损失。

在此，在确定的步骤中，可以通过将初始值减半来确定时间差值。由此，可以借助特别小的计算开销来减小时间差值。

根据另一实施方式，在确定的步骤中可以使用输入信号，以便根据车辆的侧倾率或者附加地或替代地根据车辆与至少一个另外的车辆之间的相对速度来确定时间差值。由此可以避免在摇摆的车辆或摇摆的摄像机的情况下的光流损失，并且例如即使在较低的相对速度的情况下也可以确保足够精确地扫描单个图像。

该方法可以包括以下步骤：在使用时间差值的情况下改变摄像机的图像帧率(Bildwiederholrate)，以便接收图像信号。由此，可以借助与时间差值相关的图像帧率来拍摄图像序列的单个图像。

特别有利的是，在改变的步骤中如此改变图像帧率，使得图像序列的单个图像以所述时间差值彼此偏移。由此可以将用于求取光流的计算开销保持得尽可能低。

也有利的是：在探测的步骤中搜索单个图像的部分区段，以便探测一致的像素。所述部分区段可以理解为搜索窗口，该搜索窗口描述初始点周围的局部限界的搜索区域。由此可以避免在完整的单个图像中搜索像素的一致性。因此，一方面可以减少资源消耗，并且另一方面可以确保对一致性的唯一明确的探测。此外，由此可以根据图像中的对象的运动以及摄像机的自身运动，将关于图像内容的运动的几何先验知识包括在内，该图像内容的运动通常被向上限制。

根据另一实施方式，在确定的步骤中，可以在使用输入信号的情况下确定与所述时间差值不同的至少一个另外的时间差值。在选择的步骤中，可以选择图像序列的至少两个另外的单个图像，所述至少两个另外的单个图像以所述另外的时间差值彼此偏移。因此，在探测的步骤中，可以在所述的另外的单个图像中探测一致的另外的像素，以便在使用所述一致的另外的像素的情况下求取光流。由此，可以在给定的场景中在不同流场中求取光流，所述不同流场分别具有不同的时基。

在此，可以在分析处理的步骤中分析处理所述单个图像，以便在车辆周围环境的第一区域中求取光流，并且可以使用所述另外的单个图像来在车辆周围环境的第二区域中求取光流。由此，可以在车辆周围环境的不同区域中(分别具有匹配于相应区域的不同时基)同时求取光流。

该方法例如可以以软件实现或以硬件实现或以软件与硬件的混合形式(例如在控制设备中)实现。

在此提出的方案还提供一种设备，该设备构造用于在相应的装置中执行、操控或实现在此提出的方法的变型方案的步骤。通过本发明的设备形式的实施变型方案也可以快速和高效地解决本发明所基于的任务。

为此，所述设备可以具有：至少一个用于处理信号或数据的计算单元；至少一个用于存储信号或数据的存储单元；至少一个至传感器或执行器的接口，其用于从传感器读取传感器信号或用于将数据或控制信号输出至执行器；和/或至少一个通信接口，其用于读取或输出嵌入到通信协议中的数据。所述计算单元例如可以是信号处理器、微控制器等，其中，所述存储单元可以是闪存、EPROM或磁性存储单元。所述通信接口可以构造用于无线地和/或有线地读取或输出数据，其中，可以读取或输出有线数据的通信接口例如可以电学地或光学地从相应的数据传输线路中读取所述数据或将所述数据输出到相应的数据传输线路中。

在本文中，设备可以理解为电设备，该电设备处理传感器信号并且根据所述传感器信号输出控制和/或数据信号。所述设备可以具有可以以硬件形式和/或软件形式构造的接口。在硬件形式的构造中，所述接口例如可以是所谓的系统专用集成电路的一部分，该部分包含所述设备的各种各样的功能。然而也可以实现，所述接口是独立的集成电路或至少部分地由分立的构件组成。在软件形式的构造中，所述接口可以是软件模块，所述软件模块例如和另外的软件模块一起存在于微控制器上。

在一个有利的构型中，通过所述设备进行车辆的控制。为此，所述设备例如可以访问传感器信号(例如加速度信号、压力信号、转向角信号或环境传感器信号)。这种操控通过车辆的执行器(例如制动执行器或转向执行器)或发动机控制设备进行。

也有利的是一种具有程序代码的计算机程序产品或计算机程序，所述程序代码能够存储在机器可读的载体或存储介质上(例如半导体存储器、硬盘存储器或光学存储器)并且用于当所述程序产品或计算机程序在计算机或设备上实施时，执行、实现和/或操控根据以上实施方式中任一项所述的方法的步骤。

附图说明

本发明的实施例在附图中示出并且在之后的描述中进一步阐述。

图1示出具有根据一种实施例的设备的车辆的示意图；

图2示出图1中的设备的示意图；

图3示出用于描述根据一种实施例的方法的流程的方框图；

图4示出根据一种实施例的方法的流程图；

图5示出由图1中的摄像机所拍摄的两个单个图像中的光流的示意图；

图6示出由图1中的摄像机所拍摄的两个单个图像中的光流的示意图；

图7示出由图1中的摄像机所拍摄的两个单个图像中的光流的示意图；

图8示出由图1中的摄像机所拍摄的两个单个图像中的光流的示意图；

图9示出由图1中的摄像机所拍摄的两个单个图像中的光流的示意图；

图10示出由图1中的摄像机所拍摄的两个单个图像中的光流的示意图。

在本发明的有利实施例的以下描述中，对于在不同附图中示出的并且以相似的方式起作用的元素使用相同或相似的附图标记，其中，省去对这些元素的重复描述。

具体实施方式

图1示出具有根据一种实施例的设备102的车辆100的示意图。设备102与车辆100的摄像机104连接。摄像机104构造用于将图像信号106传输给设备102，该图像信号表示车辆100的车辆周围环境的多个单个图像构成的图像序列。此外，设备102通过合适的接口接收至少一个输入信号108，该至少一个输入信号在图1中仅示例性地由车辆100的轮速传感器110提供，并且因此表示车辆100的轮速或速度。根据该实施例，输入信号108涉及在使用车辆100的不同传感器的情况下提供的信号，所述信号用于识别车辆100的车辆周围环境或行驶情况，这例如在下文中进一步描述。替代地或附加地，输入信号108还表示来自摄像机104的图像数据的先前分析处理的缓存数据。设备102构造用于在使用输入信号108的情况下确定时间差，以便根据图像序列来求取光流。设备102从图像序列中选择至少两个单个图像(这两个单个图像的时间间隔等于之前确定的时间差)，并且该设备在这些单个图像中搜索一致的像素。设备102根据所述一致的像素来求取图像序列的光流，并且以相应的流数据112的形式提供所述图像序列的光流。所述流数据112例如由车辆100的控制设备分析处理，以便操控不同的驾驶员辅助功能。

根据一种实施例，设备102构造用于在使用根据输入信号108所确定的时间差的情况下改变摄像机104的图像帧率，也就是说，时间上的图像帧率能够可变地调节。在此，设备102尤其如此匹配图像帧率，使得由图像信号106所表示的图像序列的单个图像彼此具有相应于所述时间差的时间间隔。为了求取光流而有利的是：已经存储一定数量的过去的视频图像，并且独立地访问这些图像中的每个。

因此，通过动态地匹配时间差，可以在求取光流时可以考虑车辆100的不同情况。

时间间隔越大，则图像中的运动就越大，但是分配对应的像素就越困难。在时间间隔较大的情况下，例如可以在车辆100静止的情况下识别到缓慢运动的对象(例如行人)。在车辆100在多车道的行车道上(例如在高速公路上)与其他车辆一起沿相同方向运动的场景中，可以由光流检测其他车辆，而背景运动可能不再能够被识别到。附加地，流向量的大小以及因此其信噪比(SNR)通常随着时间间隔的增大而增大，这例如在自身运动估计时是有利的。

时间间隔越小，则检测到具有大自身速度的对象的可能性越高。这也适用于摄像机104的位置(例如通过平移或旋转)以较高的速度而改变的情况。在具有高动态性的行驶场景中(例如强制动、急转弯或在不平坦的地面上行驶)，设备102以有利的方式选择较短的时间间隔。因此，可以防止光流的损失。在下文中将更详细地描述用于选择一个或多个不同时间差以求取光流的不同标准或用于推导出时间差的规则。

图2示出图1中的设备102的示意图。设备102包括接收单元210，该接收单元用于接收所述输入信号108或多个不同的输入信号108以及图像信号106。在分析处理单元220中对输入信号108进行分析处理，以便确定表示时间差的时间差值；以及在分析处理单元中对图像信号106进行分析处理，以便选择通过图像信号106所表示的图像序列的至少两个单个图像，这两个单个图像以所述时间差值彼此偏移。此外，分析处理单元220构造用于在以所述时间差值彼此偏移的单个图像中搜索一致的像素，并且根据这些像素来求取图像序列的光流。在此，例如仅检查单个图像的重要相关的部分区段以寻找一致的像素，以便将计算开销保持得尽可能小。作为该分析处理的结果，分析处理单元220输出流数据112用于进一步处理。

图3示出用于描述根据一种实施例的方法的流程的方框图。在图3中所示的流程例如相应于通过之前根据图1和2所述的设备所实施的方法的流程。

示出表示独立的输入信号的方框302以及表示相关的输入信号的方框304。在方框306中分析处理所述相关的和独立的输入信号，并且使用所述相关的和独立的输入信号来确定最佳的时间差Δt_1...n。在另一方框308中计算图像I_t与图像I_t-Δt之间的光流。在此，“t”通常表示当前的图像，并且t-Δt表示之前的图像。例如在方框310中由车辆的不同测量程序或功能对计算的结果进行再处理。测量程序的结果以及光流的统计数据又可以被用作输入信号。在此，通过间接反馈将测量程序的结果输入到方框306中，而通过直接反馈将在方框308执行的计算的结果(例如以统计数据的形式)输入到方框306中。这种直接反馈或间接反馈通过虚线表示。

独立输入信号例如表示以下信息：

-例如借助分类来探测行人、骑自行车的人、车辆或其它对象；

-(立体)深度信息；

-车辆的自身运动，其例如通过外部的运动传感器(例如加速度传感器、方向盘转动传感器或车轮转动传感器)来求取；

-车辆的自身运动，其通过图像信息(例如通过图像相关性、但不根据光流)来求取；

-车辆的自身运动，其通过外部的传感器(例如雷达传感器、激光雷达传感器、超声传感器、GPS传感器、光传感器或雨水传感器)来求取；

-基于图像的车道识别；

-校准结果的可用精度、例如摄像机的内部参数(例如焦距或图像中心点)、关于世界坐标的外部参数、相对的外部参数(两个摄像机的相对关系)或感兴趣区域；

-曝光控制；

-盲区识别(Blindheitserkennung)；

-交通标志识别(在识别到速度限制时，使车辆自动地制动)。

相关的输入信号例如表示如下信息：

-来自光流的先前计算的统计数据；

-基于流的自身运动估计；

-基于流的对象探测；

-基于流的表面估计。

融合的输入信号例如是：

-基于视差和光流的、用于关键的重新分类的立体对象的自动紧急制动功能的AEB信号；

-预填充信号(Prefill-Signal)，其用于使制动器准备就绪用于快速触发紧急制动。

这种方法能够实现：取决于情况地确定一个或多个用于计算光流的最佳时间差。在此，该最佳时间差被定义为最长可能时间，在考虑随后的测量程序的要求的情况下，在该最长可能时间中确保光流的可用性。因此，最佳时间差例如在高动态情况中很短，以便可以接收图像内容的高频变化。相反，在连续的、缓慢的直线行驶中，较长的时间差则更好地适用于执行更精确的自身运动估计。

在资源有限的情况下，不应计算所有可能的光流，而是仅应计算那些根据输入信号被估计为特别有意义的(vielversprechend)光流。以这种方式，可以减少计算时间和硬件资源。其结果是，更多的时间被保留用于其他计算，热量产生更少并且可以使用更便宜的硬件。

所需的时间差Δt_1...i的数量可以按如下方式确定：

在此，所包含的元素和运算符定义如下：

a具有k个元素的输入值向量

W j×k的权重矩阵，其用于对输入值进行加权，其中j是期望条件的数量

I具有k个1的向量，其用于对Wa逐行求和

t具有j个值的向量，其为相应的行分配定义的时间差用于计算流

thresh(α,T_l,T_u)将阈值向量T_l和T_u逐元素地用于α，并且返回二进制向量，如果T_l,i<α_i<T_u,i，则在该二进制向量中元素是1，否则元素是0

o哈达玛积(逐元素地相乘)

unique(y)返回向量y中所有不为零的唯一元素

对于连续的输入信号，例如以如下方式计算光流。

例如，如果速度大于90km/h，则应借助Δt＝33ms来计算流，否则应借助Δt＝66ms。但是，如果在图像中存在至少一个识别到的车辆，则应附加地借助Δt＝200ms来计算流，但是前提是俯仰率小于1.5°/s。由此得出：

其中

α₁＝[0,250](速度)

α₂∈{0,1}(二进制的值：已经识别到车辆：是/否)

α₃＝[-∞,∞](俯仰率，理论上向上和向下不受限制)

权重矩阵应两次分析处理用于速度的两个条件(对于大于和小于90km/h的情况，权重矩阵的前两行)，因此该权重矩阵被选择如下。第三行表示在第三条件下应考虑对象的存在和俯仰率：

阈值选择如下：

例如，速度是α₁＝115km/h。已经识别到其他车辆，因此α₂＝1。当前的俯仰率为α₃＝-0.7°.7。

如果现在使用阈值功能range((Wa)I,T_l,T_u)，则结果为：

表达式range((Wa)I,T_l,T_u)现在提供具有0和1的向量，该向量表示是否满足W的相应列的条件。在该示例中，不满足速度处于0至90km/h之间的条件。速度大于90km/h的条件为真，并且存在俯仰率较低的车辆也为真。

通过逐元素地与t相乘，现在将相应的时间差分配给具有1的那些向量项：

在最后的步骤中，去除现在向量中的重复项和零，并且返回时间集合：

用于二进制输入信号的计算示例：

如果使用二进制输入信号，则得到一些简化。下阈值例如减小到至少所需信号的数量。

目标：在自动或手动制动的情况下，Δt＝33ms，否则Δt＝66ms。由此得到：

其中

α₁∈{0,1}(自动制动：是/否)

α₂∈{0,1}(手动制动：是/否)

所述权重矩阵应仅包含两个条件：

1.非零元素的和是否大于或等于1？

2.非零元素的和是否小于1？

例如，在实施自动紧急制动并且驾驶员没有手动制动的情况下，权重矩阵和输入信号的乘积得出以下结果：

如此选择阈值，使得这些条件中的至少一个必须为真(阈值为0.5)。附加地，上阈值是无穷的，使得不存在条件为真的最大数量。

阈值的分析处理提供如下结果：

在与时间差向量的逐元素相乘的情况下，仅得到一个不为零的值：

在最后的步骤中，现在移除向量中的重复项并且返回时间集合：

作为数学符号的替代，也可以考虑逻辑符号。核心思想在于，通过逻辑运算来关联输入参量。如果涉及非二进制的输入参量，则应附加地定义下阈值和上阈值，并且然后使阈值的结果与逻辑运算关联。

目标是：将光流的时间差匹配于行车道情况并且匹配于最后一个光流的统计数据。

给出行车道平坦度的连续信号(0表示非常平坦的行车道，1表示非常不平坦的行车道)。

α₁＝[0,1]

以及给出流向量的数量，该数量已经达到最大长度31个像素(这意味着：时间差过长)。

α₂＝[0,M]

首先，将连续的输入参量转换成二进制值：

其中，示例值为a₁＝0，3 und a₂＝634

得出具有二进制值的如下向量：

一种能够想到的逻辑符号例如列出如下(在该逻辑符情况下，两个输入参量在第一种情况下相与(&)，并且在第二种情况下相或(I)，而在第三种情况下两个条件都失败)：

因此，在具体情况下得出以下值：

Δt₁＝33ms(0&1)＝0

Δt₂＝66ms(0|1)＝1

Δt₃＝100ms(1&0)＝0

并且

Δt＝{66ms}

图4示出根据一种实施例的方法400的流程图。用于求取光流的方法400例如可以由之前根据图1至3所述的设备来实施。在此，在步骤410中接收输入信号和图像信号。在步骤420中，在使用输入信号的情况下确定时间差值。在另一步骤430中，在使用图像信号的情况下选择图像序列的至少两个单个图像，所述至少两个单个图像以所述时间差值彼此偏移。在步骤440中，在单个图像中探测一致的像素并且将其用于求取光流。

图5示出由图1中的摄像机所拍摄的两个单个图像500、502中的光流的示意图。单个图像500、502分别示出横穿行车道504的儿童506。为了更好地进行比较，单个图像500、502被并排示出，其中，左单个图像500示出在时间差为Δt＝66ms(t-4到t-3)情况下的光流，并且右单个图像502示出在时间差为Δt＝33ms(t-3到t-2)情况下的光流。两个流场都是可用的。流向量的数量大致相等。单个图像500中的流向量的长度大约是单个图像502中的流向量的一半。

光流由单个图像500、502中的阴影区域示意性示出。

图6示出由图1中的摄像机所拍摄的在两个单个图像600、602中的光流的示意图。所示出的是比在图5中的光流晚一个时间步长的光流。左单个图像600示出在Δt＝66ms(t-2到t)情况下的光流。在右单个图像602中示出在Δt＝33ms(t-1到t)情况下的光流。例如由图6可以看出，在时间差过大的情况下，对象上的光流缺失。及时切换到较短的时间差得到明显改善的特性。

图7示出由图1中的摄像机所拍摄的在两个单个图像700、702中的光流的示意图。所示出的是在车辆俯仰率高的情况下对行车道504的拍摄。在左单个图像700的流场(Δt＝66ms)中，由于处于搜索范围以外的过大流向量而缺少图像的下部。右单个图像702的流场(Δt＝33ms)完整地存在。通过较短的流向量来说明在可视化中的更稀疏的视觉印象。

图8示出由图1中的摄像机所拍摄的在单个图像800中的光流的示意图。光流在图8所示的单个图像800中集中在图像中心。在单个图像800的时间上的边缘区域中，由于车辆的强烈侧倾运动而缺少光流。

图9示出由图1中的摄像机所拍摄的在单个图像900中的光流的示意图。单个图像900示出具有在本车辆前面行驶的车辆904的道路902。道路902上的流向量大，而前面行驶的车辆904上的流向量很短。分配给前面行驶的车辆904的具有较大时间差的另一流场在此导致：对这两个车辆之间的相对速度的更准确计算。

图10示出由图1中的摄像机所拍摄的在两个单个图像1000、1002中的光流的示意图。例如从图10中可以看出，在确定的图像区域中缺少光流，使得可以认为车辆的自身运动是过高的。

例如，从左单个图像1000已知如下流场：该流场在对儿童假人紧急制动期间产生。与流场的这种先前计算相比，在下一图像1002中，在儿童假人所处的图像中心位置处缺少流结果。在此，不涉及长度为零的流向量，而是涉及不存在流测量的探测。因此可以推断出：对象的相对运动对于光流的搜索区域来说太大。在这种情况下，根据在此所述的本发明的一种实施例，将所述搜索区域划分为两个具有不同时间差的流场。

下面描述所提出的方案的不同应用情况。

例如，在对儿童假人紧急制动期间，光流可能在某些情况下在近区域中消失。这存在两个原因。

首先，通过本车接近图像中的相对较小的儿童假人，儿童假人总是进一步向下移动。因此，所产生的流向量越来越强地指向下方。

为此，在触发紧急制动之后产生车辆的俯仰运动，车辆的俯仰运动在竖直方向上移动整个图像内容。在初始俯冲(Einnicken)之后产生向上的反向运动，该反向运动使假人上的流向量更长，直至该流向量不再匹配在由于技术原因而强烈限界的搜索范围内，由此，儿童假人上的流探测失败。通过将图像之间的时间差减半(例如从66到33ms)，可以显著改善流结果。然而，通常不期望在33ms的基础上执行所有测量。因此，例如仅在自动紧急制动的情况下根据相应的紧急制动信号来执行这种时基的切换。在此，紧急制动信号基于以下对象的情况分析：所述对象已经通过对视差和流的分析处理识别到并且已经借助分类器确认、例如通过基于图像的重新分类而被识别为对于制动重要相关的对象(例如汽车、载重货车、行人或骑自行车的人)。

例如，独立于光流地来计算车辆的基于图像的俯仰率。如果该俯仰率非常大，则缩短时基，从而补偿运动的高动态性。

尤其在高车辆(例如载重货车)的情况下，在不平整的行车道上(例如由于坑洼)可能导致很高的侧倾率。这导致图像边缘的流场崩溃，这是因为光流离开搜索区域。然而，在图像的中间还找到以下流：由该流也可以估计侧倾率。在这种情况下，例如根据侧倾率和搜索区域的已知大小来求取用于计算光流的最大的有意义时间差。

如果车辆传感器并且独立于光流所确定的摄像机旋转提供小的结果，并且如果车辆的速度同时很低，则可以推断出平稳的行驶。在这种情况下，例如延长时基，以便提高基于流的自身运动估计的准确度。

在高速公路行驶期间，基于车轮转速传感器的高速是已知的。同时通过分类器独立于光流地识别在本车辆前面和旁边的其它车辆。在这种情况下，例如确定短时间差Δt₁用于计算行车道上的光流，以便进行自身运动估计和表面估计。附加地，能够推导出较长的第二时间差Δt₂，借助其非常准确地基于流估计本车辆与前面行驶的车辆之间的相对速度。

在挂入倒车挡的情况下，可以推断出进行泊车操作。在此例如设置平均值作为光流的时基，这同时确保自身运动估计的足够精度以及直到达到该光结果的足够短的延迟时间。

当基于图像的、与光流相关的表面估计预测到不平坦的行车道时，则例如选择较短的时间差，以便拦截高动态特性。然而，如果同时激活用于补偿不平坦表面的行驶机构的自适应操控(也称为Magic Carpev：魔术毯)，则时间差又被相应地延长。

如果一个实施例包括第一特征与第二特征之间的“和/或”连接，则这可以解读为，该实施例根据一种实施方式不仅具有第一特征而且具有第二特征，并且根据另一实施方式要么仅具有第一特征要么仅具有第二特征。

Claims (12)

1.一种用于根据由车辆(100)的摄像机(104)所拍摄的图像序列来求取光流的方法(400)，其中，所述方法(400)包括以下步骤：

接收(410)至少一个输入信号(108)并且接收表示所述图像序列的图像信号(106)，所述至少一个输入信号表示在使用所述车辆(100)的至少一个传感器(110)的情况下所识别的车辆周围环境和/或所述车辆(100)的行驶情况和/或所述光流的先前求取的结果；

在使用所述输入信号(108)的情况下确定(420)时间差值(Δt)；

在使用所述图像信号(106)的情况下选择(430)所述图像序列的至少两个单个图像(502；602；702；900)，所述至少两个单个图像以所述时间差值(Δt)彼此偏移；

探测(440)所述单个图像(502；602；702；900)中的一致的像素，以便在使用所述一致的像素的情况下求取所述光流。

2.根据权利要求1所述的方法(400)，在所述方法中，在所述确定(420)的步骤中，如果所述输入信号(108)表示所述车辆(100)的识别到的自动紧急制动和/或所述车辆(100)超过阈值的俯仰率，则通过减小初始值来确定所述时间差值(Δt)。

3.根据权利要求2所述的方法(400)，在所述方法中，在所述确定(420)的步骤中，通过减半所述初始值来确定所述时间差值(Δt)。

4.根据以上权利要求中任一项所述的方法(400)，在所述方法中，在所述确定(420)的步骤中使用所述输入信号(108)，以便根据所述车辆(100)的侧倾率和/或所述车辆(100)与至少一个另外的车辆之间的相对速度来确定所述时间差值(Δt)。

5.根据以上权利要求中任一项所述的方法(400)，所述方法具有如下步骤：在使用所述时间差值(Δt)的情况下改变所述摄像机(104)的图像帧率，以便接收所述图像信号(106)。

6.根据权利要求5所述的方法(400)，在所述方法中，在所述改变的步骤中，如此改变所述图像帧率，使得所述图像序列的所述单个图像(502；602；702；900)以所述时间差值(Δt)彼此偏移。

7.根据以上权利要求中任一项所述的方法(400)，在所述方法中，在所述探测(440)的步骤中，搜索所述单个图像(502；602；702；900)的部分区段，以便探测所述一致的像素。

8.根据以上权利要求中任一项所述的方法(400)，在所述方法中，在所述确定(420)的步骤中，在使用所述输入信号(108)的情况下确定与所述时间差值(Δt)不同的至少一个另外的时间差值，其中，在所述选择(430)的步骤中，选择所述图像序列的至少两个另外的单个图像，所述至少两个另外的单个图像以所述另外的时间差值彼此偏移，其中，在所述探测(440)的步骤中，在所述另外的单个图像中探测一致的另外的像素，以便在使用所述一致的另外的像素的情况下求取所述光流。

9.根据权利要求8所述的方法(400)，在所述方法中，在所述分析处理的步骤中，对所述单个图像(502；602；702；900)进行分析处理，以便在所述车辆周围环境的第一区域(902)中求取所述光流，并且使用所述另外的单个图像，以便在所述车辆周围环境的第二区域(904)中求取所述光流。

10.一种具有单元(210，220)的设备(102)，所述单元构造用于实施和/或操控根据权利要求1至9中任一项所述的方法(400)。

11.一种计算机程序，所述计算机程序构造用于实施和/或操控根据权利要求1至9中任一项所述的方法(400)。

12.一种机器可读的存储介质，在所述存储介质上存储有根据权利要求11所述的计算机程序。

Images