CN107452016B - 用于处理图像数据的方法和设备和用于车辆的驾驶员辅助系统 - Google Patents

Abstract

本发明涉及一种用于处理图像数据(104)的方法。所述方法包括如下步骤：作为第一图像数据与先前图像数据之间的对应求取的结果确定对应数据，所述第一图像数据代表基于由摄像机(106)在第一时刻检测的图像数据(104)的数据，所述先前图像数据代表基于由所述摄像机(106)在先前时刻检测的图像数据(104)的数据。在所述确定步骤中，基于在使用所述对应数据的情况下执行的自身运动估计来确定深度数据。在所述求取步骤中，在使用所述深度数据和所传输的融合数据的情况下求取融合数据，其中，所述融合数据包括基于所述图像数据的深度信息。

Description

用于处理图像数据的方法和设备和用于车辆的驾驶员辅助 系统

技术领域

本发明涉及一种设备或一种方法。本发明的主题也是一种计算机程序。

背景技术

车辆的驾驶员辅助系统可以使用由摄像机检测的数据。为此，所述数据可以在使用前通过驾驶员辅助系统预处理，例如压缩。

发明内容

在这种背景下，借助在此介绍的方案，提出一种用于处理图像数据的方法、和一种使用所述方法的设备、一种车辆辅助系统以及最后提出一种相应的计算机程序。通过根据本发明的措施，可以说明所述设备的有利的扩展方案和改善方案。

可以例如与基于摄像机的驾驶员辅助系统结合或与具有摄像机的其他系统——例如移动机器人——结合使用所描述的方案。

基于摄像机的信息获取典型的特征在于信息的快速压缩。在此，原始的测量信号例如可以是光流场(Flussfeld)(optical flow map：光流场图)或视差图(stereo disparity map：立体视差图)。压缩的结果例如是棒状像素(Stixel)或对象盒(Objektbox)(bounding box：包围盒)。跟踪和必要时的融合然后在更高的层面上实现。

早期的压缩具有历史和架构原因。那么例如可以以在现场可编程门阵列(FPGA)和ASIC上的可管理的资源开销计算光流并且产生密集的结果场(每图像的高数据量)。

尤其当在通用目的处理器上执行所述其他的分析处理和处理时，瓶颈示出其他的分析处理和处理。在必要的压缩中，信息的一大部分丢失。

所述早期的信息压缩也阻止了新的功能的发展，因为用于存在的功能的架构是优化的。

可以使用名为“占用栅格(Occupancy Grid)”的占用网格，所述占用网格适合用于支持也可以来自多个传感器的多个测量的融合。例如经常在机器人技术中使用所述占用网格，例如用于路线规划。坐标系统经常相应于(俯视的)地图。

在“3D点云”(point clouds)中，单个这种3D点示出世界点的一个3D测量，对于所述世界点，必要时也可以说明测试不可靠性。经常通过内插借助点云示出表面。出于开销原因，在嵌入式系统上，这种点云大多仅非常单薄(稀疏)地描绘真实的3D世界，因为大的点云的管理和使用对计算平台提出了很高的要求。

在此描述的方案在没有占用栅格和3D点云的情况下也成立。替代地，提出一种在像素网格上的特殊的融合，借助所述融合，可以高效地应对在成本有利的嵌入式系统上的高数据密度。

一种用于处理图像数据的方法包括以下步骤：

作为第一图像数据与先前图像数据之间的对应求取的结果确定对应数据，所述第一图像数据代表基于由摄像机在第一时刻检测的图像数据的数据，所述先前图像数据代表基于由摄像机在先前时刻检测的图像数据的数据；

基于在使用所述对应数据的情况下执行的自身运动估计来确定深度数据；

在使用深度数据和所传输的融合数据的情况下求取融合数据，其中，所述融合数据包括基于图像数据的深度信息。

待处理的图像数据可以涉及由至少一个摄像机提供的图像数据。可以将摄像机理解为图像检测设备，所述图像检测设备可以在相继的时刻提供描绘所述图像检测设备的周围环境的图像数据。第一图像数据以及先前图像数据可以分别涉及直接由摄像机提供的数据或涉及已经预处理的数据。先前时刻可以在时间上位于第一时刻前。因此，先前图像数据可以涉及存储的图像数据。对应求取可以包括对应分析。对应数据可以包括第一图像数据中和先前图像数据中的关于彼此对应的特征——例如彼此对应的像点(也称为像素)——的信息。对应数据可以包括关于如下内容的信息：在第一图像数据和在先前图像数据中的对应的像点的位置如何彼此移位。在执行自身运动估计的情况下，可以在使用图像数据中的对应特征的情况下识别在图像数据中描绘的对象。在此，关于对应特征的为此必需的信息可以在对应数据中包含。深度数据可以示出深度图像。深度数据的确定可以在两个步骤中实现。首先可以执行自运动(Egomotion)——即自身运动(Eigenbewegung)——的确定。为此，不需要所有对应(Korrespondenz)，而小的读取(Auslese)是足够的。接下来，对于所有像素执行深度数据的确定，对于所述所有像素存在对应数据。对于单目摄像机(Mono-Kamera)的应用情况，可以执行自身运动估计用于确定深度数据。自身运动估计可以理解为在运动的单目摄像机的情况下确定两个摄像机位置(6个参数，从所述6个参数中可以确定5个参数，即除了尺度(Maβstab)以外的所有参数)的相对定向。在立体摄像机中，在固定的立体布置中，一般已知相对定向和尺度。如果尽管如此应该估计相对定向，可以替代自身运动估计执行在线校准。只要相对定向和摄像机间距是已知的，可以通过三角测量将找到的对应换算成深度。

通过与所传输的融合数据的融合，可以改善深度数据的质量。融合例如可以包括平均值求取(Mittelwertbildung)。因此，所述深度信息可以代表深度图像。

根据一种实施方式，通过所述方法，借助光流在像素网格中执行深度测量的融合。

这通过无缝的包括或具有更大的时间间距的附加光流场的融合能够实现图像检测的高有效范围。所述间距例如可以为2T、4T或8T，其中T可以示出时间步长(Zeitschritt)。还通过测量不可靠性的降低在所有距离范围中实现高的精度。如果使用两个摄像机，此外，可以执行系统行为从立体到单目的无缝过渡，例如如果两个摄像机中的一个受到干扰或不可以使用。在基于视频的驾驶员辅助系统中，仅必需较小的开发开销，因为不同的摄像机系统构型(例如单眼系统、立体系统、多摄像机系统)可以在用于基础信号处理的在此描述的统一的概念上构造。

根据一种实施方式，所描述的方案基于像素网格上的信息的富集(Anreicherung)。在此，显著地改善测量的质量和精度(与单个测量相比)。所述富集与之后的压缩无关地实现并且可以大量平行地例如在FPGA或ASIC平台上执行。

为此，在预定义的时间或在可变的时间进行融合，所述融合加权地将测量结果的旧的图像和一个或多个新的图像结合。例如可以在每个时间步长进行融合。但是不一定必需的是：在每个固定的时间步长T之后执行所述融合。时间间距绝对也可以是不规律的，例如2T，当之间缺少光流场(例如因为计算单元忙于其他事情)或甚至1.2739T并且在下次0.9864T。根据一种实施方式，摄像机也可以不以固定的时间基础运行，而是例如在一段固定行驶的路径之后触发或读取。因此，也可以在与时间基础无关的时刻执行所述融合。在以下描述的实施例中，仅仅以简单起见，假定固定的时间间距T。

一方面支持用于一个或多个先前图像的光流以及可选地支持立体视差(同样优选密集的)，并且另一方面既支持单目摄像机系统又支持立体或甚至多摄像机系统。光流可以是密集的，即尽可能对于每个像素存在。但是，有利地，替代整体密集，光流可以仅仅是区域性密集的。例如不必要的并且也不可以良好实现的是，确定蓝色的天空上的光流。仅当足够的纹理存在时，才可以有意义地确定光流。哪里不存在足够的纹理，则可以放弃光流。立体视差同样可以是整体或区域性密集的。

根据一种实施方式，所提及的方法包括以下步骤：作为在先前的求取步骤中求取的融合数据和对应数据的传输的结果确定所传输的融合数据。通过所述传输，可以考虑从先前步骤开始实现的运动，使得可以将在求取步骤中所传输的融合数据直接与深度数据融合。

在确定对应数据的步骤中，可以确定光流矢量作为对应数据。在此，光流矢量可以分配给第一图像数据的像点并且附加地或替代地分配给先前图像数据的像点。在此，对应通常具有子像素精度，即不精确地从像点中心至像点中心示出，而是至少在两个图像中的一个图像中不位于网格上的中心处。通常，全像素运动同样是允许的。因此也可以给出对应，所述对应精确地从像点中心到像点中心上示出。有利地，可以动用已知的方法用于光流矢量的确定，。

在确定深度数据的步骤中，可以确定深度值作为深度数据。深度值可以分配给第一图像数据的像点并且附加地或替代地分配给先前图像数据的像点。深度值示出重要的信息，可以使用所述重要的信息例如用于在驾驶员辅助系统或移动机器人领域中的应用。

在求取步骤中，在使用深度数据与所传输的融合数据之间的平均值求取的情况下，例如可以求取融合数据。可以借助简单的求平均执行这种平均值求取。

对于不存在所传输的融合数据的情况，在求取步骤中求取的融合数据可以相应于深度数据。这例如在初始化系统时提供。

如果不存在深度数据，融合数据可以相应于所传输的融合数据。这例如当不再提供新的图像数据时提供。

在求取融合数据的步骤中，可以检查深度数据与所传输的融合数据之间的一致性。根据一致性的检查的结果，可以执行或中断深度数据与所传输的融合数据之间的融合。以这种方式，当待融合的数据之间存在不一致性时，可以避免失真。

可以扩展所述方法，其方式为：例如在使用第一图像数据和在其他先前时刻检测的图像数据的情况下确定其他对应数据并且使用所述其他对应数据用于其他深度数据的确定，然后，可以将所述其他深度数据与最先提及的深度数据和所传输的融合数据融合，以便求取融合数据。以这种方式，可以进一步提高融合数据的精度和质量。

因此，所述方法可以包括至少一个如下步骤：作为第一图像数据与其他先前图像数据之间的对应求取的结果确定其他对应数据，所述其他先前图像数据代表基于由摄像机在其他先前时刻检测的图像数据的数据。相应地，所述方法可以包括至少一个如下步骤：基于在使用其他对应数据的情况下执行的自身运动估计来确定其他深度数据。在所述求取步骤中，还可以在使用其他深度数据的情况下求取融合数据。

根据一种实施方式，所述方法可以包括如下步骤：作为第一图像数据与第二图像数据之间的对应求取的结果确定立体对应数据。第二图像数据可以代表基于由其他摄像机在第一时刻检测的图像数据的数据。在所述确定步骤中，可以基于在使用立体对应数据的情况下执行的三角测量确定立体深度数据，所述立体深度数据代表深度数据和/或尺度。通过所述尺度，可以描绘驶过的路径。在所述求取步骤中，还可以在使用立体深度数据和/或尺度的情况下求取融合数据。以这种方式，可以在融合数据的求取中考虑例如立体摄像机系统的其他摄像机的图像数据。根据一种实施方式，将尺度理解为换算因子，以便可以将深度数据例如从单位1/s(TTC)换算到米制的间距中。单目系统不可以自己确定所述尺度。示例：在从正在行驶的机车中接收的视频序列中，借助图像中的运动不能确定：是否涉及模型铁路或真实的机车。只有当从外部提供尺度信息时，例如在两次图像接收之间的行驶过的路径(米)或摄像机在轨道上的高度，才可以实现米制的深度数据的说明。尺度也可以来自立体摄像机，其间距已知(基础宽度)。

所述方法例如可以包括如下步骤：在使用至少一个摄像机的情况下检测图像数据。附加地或替代地，所述方法可以包括如下步骤：在用于车辆的驾驶员辅助系统中或在用于移动机器人的控制装置中使用融合数据。以这种方式，将所述方法加入到总系统中。

所述方法例如可以以软件或硬件或以软件与硬件的混合形式例如在控制装置中实现。

在此提出的方案还提出一种设备，所述设备构造用于在相应装置中执行、操控或实现在此提出的方法的变型方案的步骤。通过以一种设备的形式的本发明的所述实施变型方案也可以快速并且高效地解决本发明所基于的任务。

为此，所述设备可以具有至少一个用于处理信号或数据的计算单元、至少一个用于存储信号或数据的存储单元、至少一个至传感器或执行器的用于从传感器读取传感器信号或用于将数据或控制信号输出给执行器的执行器和/或至少一个用于读取或输出数据的通信接口，所述数据嵌入到通信协议中。所述计算单元例如可以是信号处理器、微控制器等，其中，所述存储单元可以是闪存、EPROM或磁存储单元。所述通信接口可以构造用于无线地和/或有线地读取或输出数据，其中，可以读取或输出有线数据的通信接口可以例如电地或光学地从相应的数据传输线路中读取所述数据或将所述数据输出到相应的数据传输线路中。

用于处理图像数据的相应装置具有以下特征：

确定装置，所述确定装置构造用于，作为第一图像数据与先前图像数据之间的对应求取的结果确定对应数据，所述第一图像数据代表基于由摄像机在第一时刻检测的图像数据的数据，所述先前图像数据代表基于由摄像机在先前时刻检测的图像数据的数据；

确定装置，所述确定装置构造用于基于在使用对应数据的情况下执行的自身运动估计来确定深度数据；

求取装置，所述求取装置构造用于在使用深度数据和所传输的融合数据的情况下求取融合数据，其中，所述融合数据包括基于图像数据的深度信息。

车辆具有至少一个摄像机、提及的用于处理至少一个摄像机的图像数据的设备以及驾驶员辅助系统。所述驾驶员辅助系统构造用于在使用由所述设备提供的融合数据的情况下实施驾驶员辅助功能。

对于移动机器人的应用情况，移动机器人同样可以包括摄像机和所提及的设备。可以在所述情况下，例如可以由用于控制机器人的功能或运动的装置使用所述融合数据。

还有利的是，一种计算机程序产品或具有程序代码的计算机程序，所述程序代码可以在机器可读的载体或存储介质(例如半导体存储器、硬盘存储器或光学存储器)上存储并且尤其当程序产品或程序在计算机或设备上运行时，使用所述程序代码用于执行、实现和/或操控根据前面所描述的实施方式的方法的步骤。

附图说明

在此所介绍的方案的实施例在附图中示出并且在以下描述中进一步阐述。附图示出：

图1具有根据一种实施例的用于处理图像数据的设备的车辆的示意性图示；

图2根据一种实施例的用于处理图像数据的方法的流程图；

图3根据一种实施例的用于处理图像数据的设备的框图；

图4根据一种实施例的用于处理图像数据的设备的框图；

图5根据一种实施例的用于处理图像数据的设备的框图。

具体实施方式

在本发明的有利实施方式中的以下描述中，对于在不同附图中示出的并且类似作用的元件使用相同的或类似的附图标记，其中，放弃这些元件的重复的描述。

图1示出一种具有根据一种实施方式的用于处理车辆100的摄像机106的图像数据104的设备102的车辆100。设备102构造用于通过接口接收摄像机106的图像数据104并且在使用图像数据104的情况下产生并且提供融合数据108。根据一种实施例，融合数据108代表深度图像，所述深度图像在使用在不同时刻由摄像机106检测的图像数据104的情况下已求取。

设备102构造用于通过另一接口将融合数据108提供给车辆100的另一设备110、例如车辆100的驾驶员辅助系统110。

融合数据108例如可以由驾驶员辅助系统110使用用于车辆100的驾驶任务的解决。

根据一种替代的实施例，图1示出移动机器人100。在这种情况下，由设备102提供的融合数据108可以由机器人100的控制装置110使用用于实施移动机器人100的功能。移动机器人100也可以涉及高度自动化的车辆。

如果存在多于一个摄像机106，设备102可以构造用于使用多个摄像机106的图像数据104，以便求取融合数据108。

图2示出根据一种实施方式的用于处理图像数据的方法的流程图。例如可以在使用借助图1描述的用于处理图像数据的设备的情况下实施所述方法。

在步骤220中，作为第一图像数据与先前图像数据之间的对应求取的结果确定对应数据。在此，第一图像数据基于由摄像机在第一时刻检测的图像数据。先前图像数据基于由摄像机在先前时刻检测的图像数据。在此，根据一种实施方式，确定光流矢量作为对应数据。在此，光流矢量可以分配给第一图像数据的像点。附加地或替代地，光流矢量可以分配给先前图像数据的像点。

在步骤222中，基于对应数据确定深度数据。为此，在使用对应数据的情况下，执行自身运动估计。在此，可以确定深度值作为深度数据。在此，如此确定的深度值可以分配给第一图像数据的像点和/或先前图像数据的像点。

在步骤224中，在使用深度数据和所传输的融合数据的情况下，求取融合数据。在此，通过深度数据和所传输的融合数据的融合，求取融合数据。

在可选的步骤226中，由在先前的求取步骤中求取的融合数据以及对应数据来确定所传输的融合数据。

可以不断地重复地实施步骤220、222、224、226。以这种方式，在随后的轮次(Durchgang)中，第一图像数据相应于先前图像数据。

根据一种实施例，在步骤220中，对于第一图像数据和/或先前图像数据的每个像点或一定数量的像点，确定光流矢量。在此，不必要的是：对于每个像点说明一个光流矢量。即允许存在“空隙”。因此，对于第一图像数据和/或先前图像数据的每个像点或至少一定数量的像点，对应数据包括各一个光流矢量。

根据一种实施例，在步骤222中，对于第一图像数据和/或先前图像数据的每个像点，确定深度值。因此，对于第一图像数据和/或先前图像数据的每个像点，深度数据包括各一个深度值。

根据一种实施例，在步骤224中，对于第一图像数据和/或先前图像数据的每个像点，确定深度值。因此，对于第一图像数据和/或先前图像数据的每个像点，融合数据包括各一个深度值。

根据一种实施例，在步骤226中，将对于每个像点读取的融合数据的坐标传输到接下来的图像数据——例如第一图像数据——的坐标上。

图3示出根据一种实施例的用于处理图像数据的设备102的框图。在此，可以涉及一种借助图1所描述的设备的实施例。

根据所述实施例，设置用于提供图像数据104的第一摄像机106和用于提供图像数据304的第二摄像机306。根据所述实施例，设备102构造用于通过适合的接口接收并且处理摄像机106、306的图像数据104、304。

设备102具有多个存储装置330、332、334、336、338，在所述存储装置中存储有摄像机106的在不同时刻检测的图像数据104。存储装置330、332、334、336、338在此仅示例性地选择。根据所述实施例，在时间上相继的时刻之间，例如存在持续时间T。替代地，在时间上相继的时刻之间可以存在其他预给定的或可变的持续时间。

在存储装置330中，由第一摄像机106当前或最后提供的图像数据104作为第一图像数据340存储。根据所述实施例，第一图像数据340也以I_L(t)标记。

在存储装置332中，由摄像机106在第一先前时刻所提供的图像数据104作为第一先前图像数据342存储。根据所述实施例，第一先前图像数据342也以I_L(t-T)标记。

在存储装置334中，由摄像机106在第二先前时刻所提供的图像数据104作为第二先前图像数据344存储。根据所述实施例，第二先前图像数据344也以I_L(t-2T)标记。

在存储装置336中，由摄像机106在第三先前时刻所提供的图像数据104作为第三先前图像数据346存储。根据所述实施例，第三先前图像数据346也以I_L(t-3T)标记。

在存储装置338中，由摄像机106在第四先前时刻所提供的图像数据104作为第四先前图像数据存储。根据所述实施例，第四先前图像数据也以I_L(t-4T)标记。

在当前时间步长结束之后，将第一图像数据340移交给存储装置332，将第一先前图像数据342移交给存储装置334，将第二先前图像数据344移交给存储装置336并且将第三先前图像数据346移交给存储装置338。

设备102还具有另一存储装置350，所述另一存储装置构造用于存储由第二摄像机306当前或最后提供的图像数据304作为第二图像数据。

根据一种实施例，摄像机106、306涉及左侧摄像机106和右侧摄像机306。在此，示出不同新旧的图像数据340、342、344、346以及连接，在所述连接中间进行用于对应求取(Korrespondenzbildung)的计算。

在此，在图3中示出更一般性的实施例。之后，借助在图4中示出的更简单的示例阐述重要的细节并且最后借助图5进一步详细描述所述更一般性的示例。

在图3中示出的系统包含两个摄像机106、306。在此，例如可以涉及具有朝向车辆的前方方向的左侧摄像机106和右侧摄像机306的立体驾驶员辅助系统。摄像机106、306提供各一个当前图像104、304，所述当前图像也以I_L(t)和I_R(t)标记，其中，t代表当前时刻(最新图像)。图像I_L(t-n·T)来自较早的时刻并且已在存储器330、332、334、336、338中保存，其中，n＝1,2,3…。替代将原始图像保存为图像数据340、342、344、346，也可以将进一步处理的图像数据(Feature-Bilder：特征图像)保存为图像数据340、342、344、346。

在所述实施例中，不由右侧摄像机306保存旧图像。

框图中的(带箭头尖端的)箭头代表连接，数据340、342、344、346在所述连接上传输或在存储器中——例如在环形缓冲存储器中准备好。

另外，在图3中，标出四个分别在一侧以小圆圈结束的连接。在这些“连接”中的每个上，执行对应分析(Korrespondenzanalyse)。在左侧摄像机106的不同的旧图像之间的三个连接上，对应分析分别涉及光流算法(optical flow)。结果分别是每像素的光流矢量(Flussvektoren pro Pixel)。

所述小圆圈分别显示，结果应该相对于哪个图像存在。在此，所有小圆圈位于当前左侧图像处，所述当前左侧图像通过第一图像数据340代表。也就是说，对于所述图像中的每个像素，求取所述每个像素在相应的先前图像中来自何处。对对应的搜寻即在反方向(反向光流)上实现。

具有小圆圈的第四连接在当前左侧摄像机图像与右侧摄像机图像之间存在，所述当前左侧摄像机图像通过第一图像数据340代表，所述右侧摄像机图像通过第二图像数据350代表，其中，也在此搜寻相对于当前左侧图像的结果。在所述第四连接上，形成在此由摄像机106、306构成的摄像机对之间的所谓的立体对应。在此，结果是每像素的视差矢量。在校准过的立体系统中，视差矢量的第二分量是零并且可以忽略，即剩余每像素的一维视差值。

图4示出根据一种实施例的用于处理图像数据104的设备102的框图。在此，可以涉及借助图1所描述的设备的实施例。

如借助图3所描述的那样，设备102包括用于存储第一图像数据340的存储装置330，所述第一图像数据示出由在此唯一的摄像机106当前或最后提供的图像数据104。第一图像数据340又也以I_L(t)标记。设备102还包括已经借助图3所描述的用于存储先前图像数据342的存储装置332，所述先前图像数据代表由摄像机106在先前时刻提供的图像数据104。先前图像数据342又也以I_L(t-T)标记。

根据所述实施例，设备102还包括三个确定装置460、462、464和求取装置466。确定装置460构造用于在第一图像数据340与先前图像数据342之间形成对应并且提供通过这种对应求取而确定的对应数据470。确定装置462构造用于在使用对应数据470的情况下执行自身运动估计并且基于所述自身运动估计提供深度数据472。求取装置466构造用于在使用深度数据472和所传输的融合数据474的情况下求取并且提供融合数据476。根据所述实施例，所传输的融合数据474由确定装置464提供。确定装置464构造用于在使用由求取装置466提供的融合数据474和由确定装置460提供的对应数据470的情况下确定所传输的融合数据474。

因此，在图4中，示出设备102的简化框图，其中，仅考虑已经借助图3描述的左侧摄像机106。在通过第一图像数据340代表的新摄像机图像与通过先前图像数据342代表的先前摄像机图像之间计算通过对应数据470代表的对应(Corresp)。基于所述对应，在使用确定装置462的情况下，计算(EM&D)自运动(Egomotion)和深度(Depth)。将在此作为深度数据472存在的结果与较早的结果融合，所述较早的结果首先扭曲成当前图像的像素网格。为此，使用确定装置464。

为了阐述其他细节，首先，考虑借助图4示出的更简单的实施例，所述实施例也可以视为来自借助图3示出的示例的局部。

借助确定装置460，也称为“对应”(Corresp)，在此标记为对应求取，(必要时预处理的)图像数据340h(t)和342h(t-T)通过双箭头进入到所述对应求取中。

接下来，在确定装置462——也标记为“EM&D(Egomotion&Depth)”——中执行自身运动估计并且对每个像素确定深度。为此，根据一种实施例，使用所谓的“运动恢复结构”(Structure from Motion)方法。

在单目摄像机106中，明显地，可以由身运动(3个旋转角和3维平移矢量)的六个参数仅确定五个参数(3个旋转角和平移的方向)，即尺度(行进的路段)首先保持未知或可以可选地从其他源——例如由GPS接收器或车轮传感器(测距法)——得到。

但是，也可以实现并且没有问题的是，其他处理尽管首先执行未知的尺度。为此，将标记为“深度”的中间结果优选表示为每像素的TTC或倒数1/每像素的TTC，其中，TTC(Time to Collision：至碰撞的时间)代表一个时间，例如代表在摄像机与情景之间的未改变的相对运动中经过的时间，直到观察的世界点穿过设想的平面，所述设想的平面延伸穿过摄像机106的投影中心并且与其主轴(光轴)垂直。

出于数值原因，替代TTC，也乐于使用倒数1/TTC。TTC的单位例如可以用“秒”或通过“一定数量的摄像机图像(Frames：帧)”说明。

接下来，一般性地讨论“深度”。因此，可以意指空间上的距离或时间差或所述两个参量中的一个的任意的非线性函数(例如倒数)。

到此为止，本领域技术人员已知所使用的概念和方法。接下来，进一步描述在此描述的方案的核心构思。在此，基本上涉及在图4中示出的框图中的方框，所述方框涉及确定装置464和求取装置466。

首先，为此描述像素网格中的融合的第一变型方案。

根据所述实施例，求取装置466构造用于实施称为“融合”的融合算法。

即将通过深度数据472代表的具有所描述的每个像素的内容的“深度图像”递交给融合算法。

可选地，为每像素，也一起提供关于每像素的测量不可靠性的信息。所述信息可以作为图像存在，或作为计算规定。所述计算规定需要更少的存储空间和更少的传输带宽。测量不可靠性例如可以用在相应的深度值方面的标准差说明。

在像素网格中的在求取装置466中执行的融合的在此所描述的第一变型方案的特征在于，提前在确定装置460中如此计算通过深度数据472代表的深度，使得通过深度数据472代表的深度图像在两个图像中的较旧图像的图像坐标中存在，所述两个图形通过图像数据340、342代表。

可以理解为，像素的深度值分配给在两个原始图像中的较旧的图像中的相同位置处的相应的像素，所述两个原始图像通过图像数据340、342代表。

在根据图4的简化的框图中，没有其他结果，而是仅进行(必要时具有测量不可靠性的)现在求取的深度图像472与融合存储器的通过所传输的融合数据474代表的内容之间的融合，所述融合存储器通过确定装置464示出。所述内容474涉及用于先前时间步长的融合的结果，现在首先将所述结果在方框464中从旧像素坐标传输(扭曲)到当前像素坐标上，因为图像情景在所述中间时间中改变，也就是说基本上逐像素地移位，其中，通过光流场已知这种逐像素移位，所述光流场通过对应数据470代表。如上面已经说明的那样，在此，不必须涉及整数的逐像素移位，而是一般也出现逐子像素(subpixelweise)移位，使得然后可选地在Warping(扭曲)时使用内插。

为此，使用对应数据470作为在确定装置460中执行的对应求取的已经存在的结果。

对于在确定装置464中执行的扭曲步骤——也称为传输步骤，可以想象如在橡胶布(Gummituch)上的图像，所述图像通过以下方式变形(verzerren)：借助所属的光流矢量将橡胶布的每个点移位，所属的光流矢量通过对应数据470提供。

有利的是，在扭曲时也执行内插。因此这是基于以下事实：像素上的移位一般不是整数的，而是具有小数点后的部分。即当借助在求取装置466中执行的融合应该达到尽可能高的精度时，内插是可取的。

在在确定装置464中执行的扭曲之后，所传输的融合数据474的图像坐标已经被带到当前的状态，但是内容、即所传输的融合数据474的深度值还没有。所述内容还与先前时刻有关。

这在所述第一方案中也是如此希望的，因为同样如此计算深度数据472的新深度值，使得因此所述深度值是兼容的，即也分配给先前时刻。

如果以测量不可靠性处理，那么对于所述测量不可靠性同样执行扭曲。这可以类似于深度值在确定装置464中的扭曲来实现。在所述步骤中，有利地考虑，扭曲自身导致测量不可靠性的提高。这可以通过以下事实来说明：测量“变旧”(altert)！对此的原因例如是在用于扭曲所使用的光流场的确定时的不可靠性以及可能的数据“变旧”，因为自从上一个测量发生以后，情景可能已经变化。可能在最简单的情况下通过所有测量不可靠性的恒定的加法修正(konstante additive Korrektur)来提高测量不可靠性。

现在，可以进行通过深度数据472和所传输的融合数据474代表的深度值的融合，其中，可以将新的测量472和旧的(扭曲过的)结果474汇集。所述在求取装置466中执行的融合逐个像素地实现，并且与其他数据无关。逐个像素执行的融合即可以平行地并且彼此无关地来执行并且在此非常简单。

要考虑四个可能的情况。在此，前三个情况是几乎不重要的，但是第四种情况是感兴趣的并且重要的。

对于第一种情况，在相应的像素上，既不存在旧的也不存在新的结果。即也不存在融合的结果。换言之，深度数据472和所传输的融合数据474对于相应的像素都不包含所分配的深度值。这意味着，新求取的融合数据476对于相应的像素不包含深度值。

对于第二种情况，存在新的结果，但是不存在旧的结果。接受新的结果为融合过的结果，同样接受新的结果的测量不可靠性。换言之，深度数据472对于相应的像素包含所分配的深度值，但是所传输的融合数据474不包含。这意味着，新求取的融合数据476对于相应的像素包含通过深度数据472对于相应的像素提供的深度值。

对于第三种情况，存在旧的结果，但是不存在新的结果。接受旧的结果为融合的结果，同样接受旧的结果的(在此期间由于变旧而升高的)测量不可靠性。换言之，深度数据472对于相应的像素不包含所分配的深度值，相反地，所传输的融合数据474包含。这意味着，新求取的融合数据476对于相应的像素包含通过所传输的融合数据474对于相应的像素提供的深度值。

对于第四种情况，既存在旧的也存在新的结果。首先检查：这些结果是否是一致的或矛盾的。在矛盾的情况下，不接受两个结果中的任一个，或替代地接受较新的结果或替代地接受具有较小的测量不可靠性的结果。与以具有两个测量不可靠性中的较小的测量不可靠性解释的结果相比，如果两个结果彼此相差更远，则存在矛盾。在相反的情况下(一致的结果)，进行融合。在此，优选执行对于本领域技术人员已知的方差加权平均。在此，也融合测量不可靠性。换言之，在所述第四种情况下，深度数据472和所传输的融合数据474都对于相应的像素包含所分配的深度值。这意味着，只要深度值彼此一致，则新求取的融合数据476对于相应的像素包含深度值，所述深度值由在深度数据472和所传输的融合数据474中分配给相应的像素的深度值的融合——例如求平均而得出。

最后，例如在使用确定装置464的情况下，将在融合数据474中包含的融合过的深度值从先前时刻传输到当前时刻。为此，决定性的是：两个时间步长之间的自身运动，所述自身运动例如在使用确定装置460的情况下已经被估计并且因此即存在并且可以被使用。

如果自身运动由纯平移(无旋转)构成，深度值的更新(Fortschreibung)是特别简单的。然后仅仅应用加法修正，所述加法修正对于所有深度值一致。在此，概念“加法修正”也包括负号。在向前行驶和向前指向的摄像机(最重要的情况)的情况下，负号是适用的。

如果自身运动除了平移之外还包含旋转，那么为了更新深度值需要三维空间中的旋转。为此，存在对于本领域技术人员已知的多个可行方案和简化方案。最大可能的简化方案由放弃所述修正得出。这当旋转角很小时可以是完全合理的，这是在快速向前行驶的车辆时的情况。

现在描述像素网格中的融合的第二变型方案。

像素网格中的融合的第二变型方案的特征在于，如此提前计算深度，使得通过深度数据472代表的深度图像在通过图像数据340、342代表的两个图像中的较新的图像的坐标中存在。可以如下理解，像素的深度值分配给在两个原始图像中的比通过第一图像数据340代表的原始图像更新的原始图像中的相同位置处的相应的像素。

相应地，即也在新的坐标系中执行在求取装置466中执行的融合。

为此必要的是，在两个步骤中，准备在图4中通过确定装置464代表的融合存储器的以融合数据476的形式的待融合内容。一个步骤是上面所描述的扭曲。第二个步骤是同样上面所描述的将融合数据476的深度值从先前时刻传输到当前时刻，其中，在此，所述融合存储器的深度值待传输。也可以将两个步骤的顺序反过来。

在所述准备之后，可以实现所传输的融合数据474与深度数据472之间的融合。

两种变型方案从开销方面和从结果方面都是可比较的。

图5示出根据一种实施例的用于处理图像数据104的设备102。在此，可以涉及借助图1描述的设备的实施例。

如已经借助图3和图4所描述的那样，设备102包括存储装置330、332、334、336、338以及确定装置460、462、464和求取装置466。

仅仅示例性地，设备102包括相应于确定装置460实施的两个其他的确定装置560、561以及相应于确定装置462实施的两个其他的确定装置562、563。

如借助图4所描述的那样，确定装置560构造用于构造第一图像数据340与第四先前图像数据548之间的对应并且提供通过这种对应求取确定的对应数据570。

如借助图4所描述的那样，确定装置561构造用于构造第一图像数据340与第二先前图像数据344之间的对应并且提供通过这种对应求取确定的对应数据571。

如借助图4所描述的那样，确定装置562构造用于在使用对应数据570的情况下执行自身运动估计并且基于所述自身运动估计提供深度数据572。

如借助图4所描述的那样，确定装置563构造用于在使用对应数据571的情况下执行自身运动估计并且基于所述自身运动估计提供深度数据573。

根据所述实施方式，求取装置466构造用于在使用深度数据472、572、573和所传输的融合数据474的情况下求取并且提供融合数据476。

根据所述实施方式，如借助图4所描述的那样，由确定装置464提供所传输的融合数据474。

根据一种实施方式，设备102还包括两个其他确定装置580、582。

确定装置580构造用于构造基于由第一摄像机106提供的数据的第一图像数据340与基于由第二摄像机106提供的数据的第二图像数据584之间的对应，并且提供通过这种对应求取580确定的立体对应数据586。在此，第一图像数据340和第二图像数据584代表在彼此相应的时刻检测的数据。

确定装置582构造用于在使用立体对应数据586的情况下执行三角测量并且基于所述三角测量提供包括深度数据和/或尺度的立体深度数据588。

根据所述实施方式，求取装置466构造用于还在使用通过立体深度数据588提供的立体深度数据和/或尺度的情况下求取融合数据。

因此，根据所述实施例，将以深度数据472、572、573以及立体深度数据588形式的四个深度测量与以所传输的融合数据474形式的更新的较早的结果彼此融合。在此，所使用的深度测量的数量以及为了确定深度测量而使用的图像数据340、342、344、548、584仅示例性地被选择并且可以相应于设备102的期望的应用领域进行匹配。

对于在图5中示出的更复杂的实施例，推荐借助图4所描述的两种变型方案，因为在其中不存在共同的较旧的时刻，但是存在共同的较新的时刻，所有四个新的深度图像测量与所述共同的较新的时刻有关。

在图5中示出的更复杂的实施例中，包含有图3中的已知的框图。同样包含有图4中的框图。

图5中的框图总共包含通过确定装置460、560、561、580示出的四个方框“对应”(Corresp)，在所述确定装置中分别进行对应求取。在此，在左侧将光流确定三次，即在时间方向上具有不同时间间距T、2T、3T的对应求取，并且在右侧时间同步地在左侧摄像机106与右侧摄像机306之间的空间方向上——对于立体情况——将对应求取执行一次。

在“对应”方框之后，分别再次连接通过确定装置462、562、563示出的自身运动和深度确定。在此，确定装置582示出“D&S”方框(Depth&Scale-Block：深度和尺度方框)，所述方框提供深度图像并且根据一种实施例附加地也提供尺度。一般地，自身运动估计在方框582中不是必需的，因为立体摄像机对(Stereo-Kamerapaar)一般机械上彼此固定。通常，尺度由两个摄像机106、306(基础宽度)之间的已知的固定的间距得出。可以在在求取装置466中执行的融合内直接继续使用所述尺度或将所述尺度与由其他源头构成的尺度——如上面所描述的那样——融合。

与借助图4描述的实施例不同，替代一个输入图像，通过求取装置466示出的融合方框现在具有四个输入图像。四个输入图像通过图像数据340、342、344、548代表。但是，融合的原理保持与上面所描述的一样。如果对于一个像素存在多个测量可用，那么如此融合所述多个测量。为此优选地，也在此执行方差加权平均，所述方差加权平均对于本领域技术人员是已知的。

可选地，也可以逐个步骤地实现所述融合，即例如第一和第二测量的融合、中间结果与第三测量的融合、另一中间结果与第四测量的融合。

优选地在此，在确定装置464中执行的扭曲步骤也使用图像I_L(t)与I_L(t-T)之间的对应求取的通过对应数据470代表的结果。

像素网格中的所描述的融合示出系统中的中心接口，参与的传感器——在此摄像机106、306——将其数据104、304馈入到所述中心接口并且在所述中心接口处使用其他算法。

例如可以由驾驶员辅助系统或信息系统使用所提供的融合数据476，所述驾驶员辅助系统或信息系统具有在有效范围和精度方面的更高的要求。可以使用基础信号处理的所描述的统一的概念用于所有摄像机系统(单目摄像机、立体摄像机、双重单目摄像机、多摄像机)。

如果一种实施例包括第一特征与第二特征之间的“和/或”连接，那么可以如此理解，所述实施例根据一种实施方式既具有第一特征也具有第二特征并且根据另一种实施例要么仅具有第一特征要么仅具有第二特征。

Claims (12)

1.一种用于处理图像数据（104；304）的方法，其中，所述方法包括以下步骤：作为第一图像数据（340）与先前数据（342）之间的对应求取的结果确定（220）对应数据（470），所述第一图像数据（340）代表基于由摄像机（106）在第一时刻检测的图像数据（104）的数据，所述先前数据（342）代表基于由所述摄像机（106）在先前时刻检测的图像数据（104）的数据；基于在使用所述对应数据（470）的情况下执行的自身运动估计来确定（222）深度数据（472）；在使用所述深度数据（472）和所传输的融合数据（474）的情况下求取（224）融合数据（476），其中，所述融合数据（476）包括基于所述图像数据（340，342）的深度信息，其中，在求取（224）所述融合数据（476）的步骤中，如果不存在所传输的融合数据（474），则所述融合数据（476）相应于所述深度数据（472），如果不存在深度数据（472），则所述融合数据（476）相应于所传输的融合数据（474）。

2.根据权利要求1所述的方法，所述方法具有如下步骤：作为在先前的求取所述融合数据（476）的步骤中所求取的融合数据（476）和所述对应数据（470）的传输的结果确定（226）所传输的融合数据（474）。

3.根据权利要求1或2所述的方法，其中，在确定（220）所述对应数据（470）的步骤中，确定光流矢量作为所述对应数据（470），所述光流矢量分配给所述第一图像数据（340）的像点和/或所述先前图像数据（342）的像点。

4.根据权利要求1或2所述的方法，其中，在确定（222）深度数据（472）的步骤中，确定深度值作为所述深度数据（472），所述深度值分配给所述第一图像数据（340）的像点和/或所述先前图像数据（342）的像点。

5.根据权利要求1或2所述的方法，其中，在求取（224）所述融合数据（476）的步骤中，在使用所述深度数据（472）与所传输的融合数据（474）之间的平均值求取的情况下，求取所述融合数据（476）。

6.根据权利要求1或2所述的方法，其中，在求取（224）所述融合数据（476）的步骤中，检查所述深度数据（472）与所传输的融合数据（474）之间的一致性。

7.根据权利要求1或2所述的方法，所述方法具有至少一个如下步骤：作为所述第一图像数据（340）与其他先前图像数据（344；548）之间的对应求取的结果确定（220）其他对应数据（570，571），其中，所述先前数据（344；548）代表基于由所述摄像机（106）在其他先前时刻检测的图像数据（104）的数据，并且所述方法具有至少一个如下步骤：基于在使用所述其他对应数据（570，571）的情况下所执行的自身运动估计来确定（222）其他深度数据（572，573），其中，在求取（224）所述融合数据（476）的步骤中，还在使用所述其他深度数据（572，573）的情况下求取所述融合数据（476）。

8.根据权利要求1或2所述的方法，所述方法具有如下步骤：作为所述第一图像数据（340）与第二图像数据（584）之间的对应求取的结果确定立体对应数据（586），其中，所述第二图像数据（584）代表基于由另一摄像机（306）在所述第一时刻检测的图像数据（304）的数据，并且所述方法具有如下步骤：基于在使用所述立体对应数据（586）的情况下执行的三角测量确定立体深度数据（588），所述立体深度数据代表深度数据和/或尺度，其中，在求取（224）所述融合数据（476）的步骤中，还在使用所述立体深度数据（588）的情况下求取所述融合数据（476）。

9.根据权利要求1或2所述的方法，所述方法具有如下步骤：在使用至少一个摄像机（106）的情况下检测所述图像数据（104；304），和/或，所述方法具有如下步骤：在用于车辆（100）的驾驶员辅助系统（110）中或在用于移动机器人的控制装置中使用所述融合数据（476）。

10.一种用于处理图像数据（104；304）的设备，其中，所述设备具有以下特征：确定装置，所述确定装置构造用于作为第一图像数据（340）与先前图像数据（342）之间的对应求取的结果确定对应数据（470），所述第一图像数据（340）代表基于由摄像机（106）在第一时刻检测的数据（104）的数据，所述先前图像数据（342）代表基于由所述摄像机（106）在先前时刻检测的图像数据（104）的数据；

确定装置，所述确定装置构造用于基于在使用所述对应数据（470）的情况下执行的自身运动估计来确定深度数据（472）；求取装置，所述求取装置构造用于在使用所述深度数据（472）与所传输的融合数据（474）的情况下求取融合数据（476），其中，所述融合数据（476）包括基于所述图像数据（340，342）的深度信息，其中，如果不存在所传输的融合数据（474），则所述融合数据（476）相应于所述深度数据（472），如果不存在深度数据（472），则所述融合数据（476）相应于所传输的融合数据（474）。

11.一种车辆，其具有至少一个摄像机（106）、根据权利要求10所述的用于处理所述至少一个摄像机（106）的图像数据（104；304）的设备以及驾驶员辅助系统（110），所述驾驶员辅助系统（110）构造用于在使用由所述设备提供的融合数据（476）的情况下实施驾驶员辅助功能。

12.一种机器可读的存储介质，在其上存储有计算机程序，所述计算机程序设置用于实施根据权利要求1至9中任一项所述的方法。