CN116802688A

CN116802688A - 用于图像内对应分析的设备和方法

Info

Publication number: CN116802688A
Application number: CN202280012814.XA
Authority: CN
Inventors: 马克·舒尔策; 约阿希姆·伊尔菲尔德; 托瓦尔德·里格尔
Original assignee: Reykenischen Fox Co ltd
Current assignee: Reykenischen Fox Co ltd
Priority date: 2021-02-01
Filing date: 2022-01-31
Publication date: 2023-09-22
Also published as: DE102021102233A1; DE102021102233B4; KR20230137937A; IL304533A; EP4285327A1; WO2022162216A1; CA3206206A1; JP2024507089A

Abstract

本发明涉及一种设备和方法，利用该设备和方法可以特别低噪声和有效地进行图像数据的对应分析。为此，从单张图像中选择图像区域，并且分别利用空间窗口中的偶数和奇数卷积核生成多个一维信号，并对卷积结果的差值进行非线性处理，并累积形成对应函数，然后对其进行评估。

Description

用于图像内对应分析的设备和方法

技术领域

本发明总体上涉及图像数据的分析。本发明尤其涉及一种设备，通过该设备可以识别和定位多个图像中的对应图像元素。这尤其也是立体摄影测量的基础，在立体摄影测量中，根据对应图像元素的定位确定这些被成像的元素在空间中的位置。

背景技术

早在1838年就开始尝试立体摄影，查尔斯-惠斯通(CharlesWheatstone)爵士使用一面镜子来产生两幅略有不同的摄制图像而不是简单地拍照。通过分别用左眼观看左侧图像和用右眼观看右侧图像，就能获得所记录场景的空间印象。在第一次世界大战期间，人们首次使用了大量的空中侦察图像组合，并对其进行了立体观测评估。

等式(1)中的关系称为立体法线公式。它们描述了视差δ和深度坐标Z之间根据基线B(即左右相机之间的距离)和焦距f的关系。通过Z和图像中的坐标(x',y')，可以根据射线定理得到在空间中属于Z的侧边坐标X和Y。X,Y,Z代表被摄物体的位置和形状。这些数据的集合在下文中称为“三维数据”，并且是本发明应用的一种可能用途。

通过立体相机的事先校准，基线和焦距是充分已知的。确定所记录物体空间的深度坐标图(从而确定三维数据)的一种可能性是，例如，在输入图像中找到许多均匀分布的点对应，并计算这些对应的视差。三维数据的空间分辨率由对应点的网格大小决定。人工评估非常耗时，且无法满足精度要求。

机器空间视觉的目标是自动进行对应分析，即以最小的测量误差自动、准确地识别点对应，从而精确地确定视差。根据视差又可以计算出三维数据。目前的应用要求计算出的三维数据具有高分辨率和精确度，并能实时进行低能耗的高效计算。目前使用的用于对应分析的方法和设备不能或只能部分满足这些要求。例如，许多方法存在的一个问题是，为了可靠地识别对应，需要对大的图像区域进行耗费内存和计算力的处理，这使得使用快速专用硬件难以实现，并减慢了创建三维数据的速度。

许多技术应用都是基于人类视觉研究中获得的经验。人类的空间视觉基于两个未经校准的单透镜，其参数随着运行时间发生变化。尽管人类能够稍微改变双眼的焦距，但仍有可能在背光、雾和降水等不同条件下在空间上进行观看。然而，人类的空间视觉是通过什么过程工作的尚不得而知。至少，生物学和医学研究表明，人类的立体视觉基于对人眼接收到的光信号的空间频率在多个空间频率尺度的处理：

Mayhew,J.E.和Frisby,J.P.,1976,“Rivalrous texture stereograms”,Nature,264(5581):53-56。

Marr,D.和Poggio,T.,1979,“A computational theory of human stereovision”,Proceedings of the Royal Society of London B:Biological Sciences,204(1156):301-328。

这两个来源描述了在多个空间频率范围和一个窗口中对相位信息的独立计算。对于精确信号处理而言，这种方式的缺点是无法最佳解决高空间分辨率和高空间频率分辨率之间的原则性矛盾。由各个空间频率范围的相位信号组合而成的视差信号是有噪声的。通过对输入图像进行上游低通滤波可降低噪声，但在此过程中也会去除信号信息。

在另一篇文章(Marcelja,S.,1980,“Mathematical description of theresponses of simple cortical cells”,J.Opt.Soc.Am.,70(11):1297-1300)中，将视觉皮层中神经元的灵敏度特性细节描述为Gabor函数，从而描述了用于对应分析的灵敏度窗口特性。

除了立体摄影测量，还有其他方法从多幅图像中提取深度信息。US 2013/0266210Al描述了一种确定场景深度信息的方法，在该方法中通过不同相机参数拍摄至少两幅场景图像，并在每个场景中选择图像区块。第一种方法使用多个不同的正交滤波器为每个图像区块计算多个复响应，其中每个复响应具有幅值和相位，并在相应图像区块中为每个正交滤波器分配复响应加权。加权由复响应的相位关系决定，并且场景的深度测量由加权复响应的组合决定。根据一个实施形式，为不同图像区块的深度估计值分配置信度，作为深度评价可靠性的估计值。例如，图像区域中通过自适应频谱掩蔽被分配权重1的像素数量可用作置信度。

一般来说，滤波运算也可用于各种图像评估方法，其中图像或图像区域利用卷积核卷积，以便进一步处理以这种方式获得的数据。例如，US 2015/0146915 Al描述了一种物体识别方法，其中首先用卷积核对图像数据进行卷积，然后用阈值滤波器对卷积后的图像进行处理。通过阈值滤波器，可能不包含与物体识别相关信息的像素被屏蔽，以加快进一步处理速度。

计算机视觉

自动化对应分析通常使用两幅或多幅数字图像，例如由左右数码相机(以下简称立体相机)拍摄的数字图像。理想情况下，如果忽略成像、数字化和量化误差(如果两台相机成像同一物体，且两台相机均可看到该物体的相同部分)，则假定这对立体图像除水平偏移外完全相同。如果相对的定向，即两台相机相对于彼此的位置(例如基线B)通过之前的校准已知，则通过使用对极几何和对极线，将对应分析简化为沿着数字图像中对极线投影的一维搜索。然而，在未校准的一般情况下，对极线横向和会聚地穿过图像空间。为了避免这种情况，必须通过校正来创建无y视差的立体图像对。因此，真正的立体相机表现与立体法线情况类似，并且所有的对极线平行。由于为了提高效率，不应该在垂直于扫描方向的子像素区域进行搜索，因此需要高的校正质量，公差小于0.5px。

在文献中，对应分析分为三类不同的方法，即基于区域的方法、基于特征的方法或基于相位的方法。

基于区域的方法是目前最大的一类。在这种方法中，将立体相机左侧数字图像中包含强度值的m×n大小的窗口与立体相机右侧数字图像中相同大小的窗口的值进行比较，并通过成本函数(例如绝对差异总和(SAD)、平方差异总和(SSD)或互信息(MI))进行评估。然后在这些区域差异评估的基础上，进行对应分析。该领域的著名算法有交叉相关法(例如，Marsha J.Hannah，“Computer Matching of Areas in Stereo Images”，斯坦福大学博士论文，1974年，以及Nishihara,H.K.、1984,“PRISM:A Practical Real-Time ImagingStereo Matcher”,Massachusetts Institute of Technology)和半全局匹配(Hirschmüller,H.,2005,“Accurate and efficient stereo processing by semi-globalmatching and mutual information”,Proceedings of the 2005IEEE Computer SocietyConference on Computer Vision and Pattern Recognition)。交叉相关法的缺点是，空间窗口内的点被同等加权，并以与对极线的方向无关的方式进行分析，即使要检测的视差信息沿对极线定向。因此，无法达到最佳信噪比(S/N)。

目前，基于特征的方法在生成高密度三维数据方面没有发挥作用，因为所需的突出点往往分布不均，而且只是零星出现(例如，只出现在立体相机所成像物体的角和边缘)。它们将数字图像中m×n窗口的一个或多个特性(如梯度、方向)归纳到描述符中，并将这些特征，通常是整个图像中的全局特征与其他特征点进行比较。这些环境特征虽然通常计算量很大，但通常具有强度、尺度和旋转不变性，因此在全局范围内几乎是唯一的。由于这种全局唯一性和高计算时间，基于特征的方法主要用于图像记录/定向，例如建立立体图像对的相对定向(同形，Homographie)。

目前已知的基于相位的方法较少，尽管可以认为人类视觉可以归因于这种方法。在这些方法中，左右图像中信号的相位信息被用来通过相位差尽可能精确地计算视差。对随机点立体图的研究表明，人类视觉不能基于强度的比较(Julesz,B.,1960,“Binoculardepth perception of computer-generated patterns(计算机生成图案的双眼深度知觉)”，Bell System Technical Journal)。进一步的工作发展了关于基于人类心理物理学的对应分析理论(Marr,D.和Poggio,T.,1979,“A computational theory of humanstereo vision”,Proceedings of the Royal Society of London B:BiologicalSciences,204(1156):301-328)。这种方法基于不同局部分辨率的LoG(“高斯的拉普拉斯”)的过零，并试图通过从粗到细的策略来减少异常值。Mayhew和Frisby的实验(Mayhew,J.E.和Frisby,J.P.,1981,“Psychophysical and computational studies towards a theoryof human stereopsis”,Artificial Intelligence,17(1):349-385)表明，仅靠过零无法解释人类的视觉感知。作者认为，用滤波器卷积后的信号峰值也是立体视觉所必需的。Weng指出(Weng,J.J.,1993,“Image matching using the windowed fourier phase”,International Journal of Computer Vision,11(3):211-236，以下简称“Weng(1993)”)，由于通道较少，过零结果太不稳定，建议使用加窗傅里叶相位(WFP)作为“匹配基元”。WFP是多个改进的加窗傅立叶变换(WFT)的组合，其中由单个WFT确定的相位被平均化。然而，单个空间频率和相位不能纯频谱探测，因此信噪比不是最佳的。另一种基于LoG过零的方法(T.Mouats和N.Aouf，“Multimodal stereo correspondence based on phase congruencyand edge histogram descriptor”，International Conference on InformationFusion，2013)在进行视差分析之前也使用了低通滤波，因此也无法获得最佳信噪比，这将在后面详细说明。

基于相位的对应分析技术概述

左右(彩色)相机的图像信号可以分别用Y信号(Y_Image)、灰度信号或亮度信号以及颜色信号U和V来表示。图像分辨率和对比度是对应分析及其测量精度的重要标准。因此，主要使用分辨率高于U和V的Y信号(Y_Image)。因此，两个高分辨率Y_Image通道彼此逐行比较。对Y_Image的考虑也同样适用于U和V通道。

两台相机对同一物体进行成像。假设相机将物体空间理想化地映射到图像空间，则两台相机的相应部分图像相等(YR_Image-YL_Image＝0)。然而，在实际条件下，会出现公差或差异：

·相机对物体的观察角度不同。这将导致不同的透视(投影畸变)、遮挡(渐晕)和不同的反射行为(朗伯辐射，Lambert’scherStrahler)。

·相机噪声(例如数码相机传感器中的噪声)，以及PRNU(像素响应不均匀性)和DSNU(暗信号不均匀性)。

·数字化误差和量化误差。

·不同镜头造成的不同OTF(光学传递函数)，以及图像角部中修正造成的对比度损失(尤其是广角镜头的桶形失真)。

频率ω信号的傅里叶级数分解产生实部和虚部。具有余弦信号的实部(“eyen”)描述傅里叶级数的偶数部分，具有正弦信号的虚部(“odd”)描述奇数部分。带通滤波的行信号对YL_Signal和YR_Signal中的相移或视差δ是根据等式(2)中所示的现有技术计算得出的(Jepson，A.D.和Jenkin，M.R.M.，1989，“The fast computation of disparity from phase differences”，IEEE Computer Society Conference on ComputerVi sion and Pattern Recognition)。

YL_cos、YL_sin、YR_cos和YR_sin是YL_Signal和YR_Signal分别与余弦函数或正弦函数卷积的结果。根据公式(3)可得出视差δ，其中YL₀·YR₀的振幅乘积被消去(kürzen)。

(3)

然而，根据公式(3)计算有一些缺点：

·一个信号对的YL_Signal和YR_Signal各需要两个卷积积分(正弦、余弦)。对于一个确定的空间频率ω，每个视差值δ需要4次卷积运算。等式(3)的分子和分母分别需要两个乘法运算和一个高字宽加法运算。与乘积相比，视差非常小，因此需要较高的动态范围：舍入误差会产生噪声。这将导致实时实施的高加工耗费。

·高空间分辨率(小空间窗口)和高空间频率分辨率(仅一个空间频率)之间的基本矛盾导致信号质量差。根据现有技术对不同空间频率的多次测量进行平均带来了改善，但并非最佳。

因此，需要减少处理工作量，显著提高信号质量，特别是信噪比S/N。这就产生了以下目标：

·定义最佳对应函数，其在空间范围(Ortsbereich)中足够小的测量窗口的界限内、以及在空间频率范围中同样足够小的测量窗口内，将视差信息合并为一个统一信号，从而避免根据现有技术对每个空间频率单独使用加窗傅里叶变换(WFT)计算的相位的信号误差。根据δ得到的最佳对应函数(SSD(δ))的这种解称为组视差函数(SSD'(δ)/SSD”(δ))。

·利用相机基线B矢量方向上的视差信息和利用不依赖于相机基线B矢量方向上的视差的附加信息分开计算的置信度函数来分开获得最佳对应函数。置信度函数用于在多个候选项的情况下选择正确的视差，而不会因为影响组视差函数而增加视差测量的噪声。

·进行模型计算以确定最佳卷积核的曲线，目的是以最少的卷积运算次数和低噪声计算组视差函数。

·实现组视差函数的自适应行为，目的是根据窗口内的当前图像内容，控制空间频率范围内的高效有效传递函数，使有效噪声带宽基于图像信号傅里叶级数内的分别最强的振幅。根据1949年的Wiener,N.,“Extrapolation,Interpolation,and Smoothing ofStationary Time Series:With Engineering Applications”，麻省理工学院出版社(以下简称“Wiener(1949)”)，产生了近似于最佳滤波器的行为。

·使用高分辨率相机数据和未失真视差信息进行对应分析，无需事先进行低通滤波。在对应分析后对三维数据进行低通滤波，或在对应分析后对这些三维数据所基于的视差测量结果集进行低通滤波，以改善噪声。

·通过轮廓(Profile)控制组视差函数的最佳传递函数，以匹配图像的功率谱。

·通过校准光轴的共面性条件以及在运行时监测和修正立体图像对的相对位移(视动眼球震颤)，最小化由于对极几何(y视差)的扰动而产生的噪声。

发明内容

因此，本发明的目的是提供一种设备和方法，利用其可以特别低噪声、高效率地实现图像数据内的对应分析，并改进上述各点。通过独立权利要求的主题解决了这一目的。在各从属权利要求中给出了有利的设计方案。

为了解决上述问题，提供了一种对应分析器，用于确定两幅数字单张图像中相应图像元素的视差。这种用于确定视差δ，从而确定两个数字单张图像中相应图像元素的位移的对应分析器包括计算装置，该计算装置被设置用于从两个单张图像中分别选择图像区域，其中一个单张图像的图像区域被选择为参考图像区域，并且在另一个单张图像中选择搜索图像区域序列。参考图像区域和搜索图像区域优选大致位于一条对极线上，因此搜索图像区域的视差是该搜索图像区域与参考图像区域在对极线上的距离。搜索图像区域及其视差的集合代表了视差范围，对应分析器将在其中寻找对应关系。

与其他方法不同的是，来自图像区域的与视差确定相关的信息被合并到一个统一的对应函数中，该对应函数评估来自优选矩形空间窗口、即来自图像区域和优选矩形的、包括多个空间频率的空间频率窗口的信息。这样做的好处是，不需要像其他方法那样，先在有噪声的情况下提取单个空间频率，然后为每个空间频率测量视差，再在有噪声的情况下内插这些测量值。空间窗口大小、空间频率窗口大小和提供单张图像的相机的光学传递函数之间的关系将在下文中详细说明。

对应函数SSD(δ_p)是由进一步加工成信号的图像区域数据形成的，这些信号又与特殊形成的卷积核进行卷积。下文将详细解释这两种方法。分别利用参考图像区域与具有视差δ_p的搜索图像区域的配对来确定位置δ_p处的SSD(δ_p)的值。因此，计算装置进一步设置用于

-从参考图像区域生成多个v_max信号YL_Signal,v，并从搜索图像区域分别生成多个v_max信号YR_Signal,v，以及

-将参考图像区域的多个信号YL_Signal,v与存储在存储器中的基本上偶数和基本上奇数的空间窗口中的卷积核进行卷积，其中偶数卷积核包括不同空间频率的多个偶谐函数(gerade harmonische Funktion)的加权和，奇数卷积核包括不同空间频率的多个奇谐函数(ungerade harmonische Funktion)的加权和，

-对于每个搜索图像区域，将信号YR_Signal,v与存储在存储器中的空间窗口中的卷积核、或者说这些卷积核进行卷积，以及

-对于每对信号YL_Signal,v和YR_Signal,v形成各个相应卷积结果的差值。

以这种方式形成对应函数，并选择卷积核，以便在位置δ_p处的对应函数的局部极值给出该位置处可能的对应关系。或者，也可以直接确定对应函数的一阶导数，该导数的零位置表示这种可能的对应关系。因此，计算装置进一步设置用于

-对于每个搜索图像区域，对卷积结果的差值进行非线性处理，并将其累加为对应函数SSD(δ_p)在位置δ_p处的函数值，或者根据卷积结果的差值确定对应函数SSD(δ_p)关于δ_p在位置δ_p处的一阶导数SSD'(δ_p)，从而形成对应函数SSD(δ_p)在位置δ_p处的函数值或其导数，其中δ_p表示参考图像与搜索图像的距离，以及

-确定对应函数SSD(δ_p)的局部极值或对应函数SSD(δ_p)的导数SSD'(δ_p)的过零点，以及

-将其中一个局部极值或其中一个过零点的位置δ_p作为视差δ输出。

优选还能以比搜索图像区域的有限集更精细的分辨率，即在一个位置δ_p确定和输出视差，这被称为视差的亚像素精确值，并且为此可以使用相邻搜索图像区域的信息。一种优选的可能性是计算δ_p附近的组视差SSD'(δ_p)/SSD”(δ_p)，以确定视差值的亚像素精确份额。

例如，输出可以是视差图中的条目形式，其中确定的视差与相应参考图像区域的位置相对应。输出通常被理解为提供数值供进一步处理或显示。例如，进一步处理可包括确定物体的距离。进一步处理还可包括如下所述的各种数据过滤。

数字单张图像的对应分析通常是伴随噪声和公差的过程，例如在将单张图像表示为具有有限分辨率(例如每个像素和颜色通道为8位)的有限像素集时，由于离散化和量化效应而产生。在空间窗口中使用离散卷积核进行卷积时也是类似，其中在此会额外产生问题，即如何选择这些卷积核的系数，从而使卷积结果具有低噪声并有助于进行对应分析。

尤其基于这些原因，本发明公开了如何在具有连续函数的持续信号模型中，选择卷积核并形成对应函数，该对应函数可以直接转移到利用离散卷积核的离散处理中，同时允许低噪声地确定视差。特别是，这样选择对应函数和卷积核，即使得存在的视差信号，即图像区域中与确定视差相关的信息，可靠地用于对应分析，并且存在的噪声，即其他不相关的信息，则在很大程度上被忽略。这一点非常重要，因为否则噪声会导致不准确的视差确定。此外，还公开了如何针对输入图像或图像区域的特定轮廓选择卷积核，以便与对应函数一起创建最佳滤波器。

反之，这意味着本发明基于信号模型公开了多组离散卷积核，对于每一组离散卷积核，还存在其他类似的离散卷积核，这些离散卷积核的区别仅仅在于它们包含少量额外的噪声，或者包含性质完全不同的类似数量的噪声，因此实际上同样被公开。仅仅由于可能的卷积核数量巨大(例如，在下面进一步解释的实施例中，在4个卷积核的情况下总共需要确定32个系数，这在例如每个系数8bit的分辨率情况下对应于256³²个组合)，因此随机地找到这样的卷积核组或通过简单的、不通过模型推导的搜索找到它们就是不可能的。

本发明的一个重要组成部分是使用由不同空间频率的多个偶谐函数的加权和组成的卷积核和由不同空间频率的多个奇谐函数的和组成的卷积核。这使得所需的卷积运算次数小于或等于空间频率窗口中观测到的空间频率的数量，因此与其他方法相比，所需的计算工作量更少，信噪比同时更好。离散卷积核包括函数的这些和，特别是如果卷积核是各个相应和在卷积核各个位置上的精确离散化。然而，如果卷积核的离散系数与理想的偶函数或奇函数之和存在偏差，尤其优选的是离散值与底层函数存在高度相关性。根据一个特别优选的实施例为此设定，滤波核的系数对应于偶谐函数或奇谐函数加权和的函数值，或者具有与函数值的相关系数，该相关系数的数值至少为0.8，最好至少数值为0.9。根据另一个实施例，系数相对于函数值具有较高的决定系数R²。决定系数优选至少为80％，特别是至少为90％，特别优选至少为95％。只要达到上述相关系数和/或决定系数的值，偶数和奇数卷积核的系数仍能分别足够精确地表示不同空间频率的多个偶谐函数的加权和，或不同空间频率的多个奇谐函数的加权和。

待在单张图像中测量的位置位于各个相应图像区域或卷积核的中心是有利的，但不是必须的。卷积核也可以离散化，使函数相对于图像区域或卷积核中心附近位置为偶函数或奇函数。此外，从严格意义上讲，和不一定代表偶函数或奇函数。卷积核的条目可以代表略微不对称的函数曲线，和/或相对于参考图像区域和搜索图像区域中心旁的位置是偶的或奇的。例如，卷积核在边缘以额外的系数扩展，与卷积核的其他系数相比，该系数的值很小，实际上只产生很小的额外噪声分量。此外，卷积核可以与之前处理步骤的卷积结合在一起存在，但这仍然包括本发明意义上的卷积运算。因此，前面描述的变体仍然包括多个偶或奇谐函数的和。

特别优选的是，通过非线性处理，如分别将特征差或卷积结果平方，形成对应函数SSD(δ_p)。2次幂非线性处理及其求导都是特别容易计算的运算，因此很容易在相应合适的硬件中实现。除了这种计算方法外，还可以使用特征曲线进行非线性处理，特征曲线包含差值的4次方或更大的偶次方的分量，或从阈值起限制差值。

通过选择卷积核，使其包括偶谐函数或奇谐函数的这种加权和，并对卷积结果的差值进行非线性处理，特别是对其进行平方处理，本发明的另一部分得以实现，通过这种方法，信号模型中的物体相位对视差测量结果的影响得以大大降低。如果在不在空间中移动物体的情况下移动被分析物体上的纹理，信号模型中的物体相位例如会发生变化。简而言之，这意味着如果在选定的空间频率范围内存在可用于视差测量的信号，则统一的对应函数提供低噪声测量结果，该测量结果与物体的纹理或图案基本无关。为此设定，卷积核的选择方式为，在信号模型中，对于空间频率范围内的每个信号v，k_max偶函数和l_max奇函数的卷积运算分别传输与一组振幅为A_m的空间频率的加权信号分量的和，使得在对应函数SSD(δ)中，对每个信号v和每个标号(Index)为m的空间频率形成两个部分和，第一部分和具有偶函数卷积运算结果中的特征在于平方振幅Am²的项，第二部分和具有奇函数卷积运算结果中的特征在于平方振幅Am²的项。第一部分和与第二部分和可以根据三角勾股定理进行组合，特别是精确组合或近似组合，从而使两个部分和的总和SSD_inv(δ)与物体相位Δm无关。特别是，空间范围内的卷积核可以这样选择，即在信号模型中，对于空间频率范围内的每个信号v，k_max偶函数和l_max奇函数的卷积运算分别传输与一组振幅为A_m的空间频率的加权信号分量的和，使得在对应函数SSD(δ)中，对于每个信号v和每个标号为m的空间频率，形成两个项，其中，第一项是平方振幅Am²、第一常数和平方正弦函数的乘积，第二项是平方振幅Am²、第二常数和平方余弦函数的乘积，并且第一常数和第二常数的值相等或在+/-20％的容差范围内相等。

简而言之，这意味着当有信号存在时，对应函数值的最大组成部分与物体相位无关，因此可低噪声地用于确定视差。

由各种噪声过程引起的视差与实际值的偏差可通过偏差的标准偏差σ_δ来表征。利用现有技术中已知的系统，通常可以达到0.25像素或更高的标准偏差。一般来说，调整良好的系统的标准偏差在0.25到0.5之间。然而，使用这里描述的对应分析器，可以实现更小的标准偏差。一般来说，卷积核可以这样选择，即在确定视差时，当位移一个平面物体时，视差测量的位置标准偏差小于0.2像素，甚至为0.1像素，该平面物体具有沿对极线方向的强度调制，特别是包括空间频率范围内的空间频率，或相应的纹理，其中物体的位移发生在离相机恒定距离Z处并沿对极线进行。特别是，标准偏差几乎不受现有技术已知方法中出现的系统误差的影响。通过这样的测试，可以确定先前解释过的物体相位的干扰影响。该测试可以使用记录的相机图像，但也可以使用合成或计算的图像，例如渲染图像执行。

信号YL_Signal,v和YR_Signal,v由各自图像区域的像素强度计算得出。特别是，信号可以通过用合适的卷积函数对图像强度进行卷积来获得，其中这些函数例如也可以包含或者是平均值。特别合适作为谐函数的是作为偶函数的余弦函数和作为奇函数的正弦函数。与对极线近似垂直的卷积是优选的，因为信号近似沿对极线卷积。垂直于对极线和沿对极线的卷积顺序是任意的，卷积可以用合适的卷积核进行，特别是同时进行。用于确定信号的卷积核的选择，结合特殊的对应函数，再次遵循保留对视差计算有用的信息，同时减少噪声影响的目标。为此，特别进一步规定，计算装置设置用于

-通过垂直或近似垂直于对极线对参考图像区域的数据进行卷积运算，从参考图像区域生成多个v_max信号YL_Signal,v，并通过垂直或近似垂直于对极线对相应搜索图像区域的数据进行卷积运算，从搜索图像区域分别生成多个v_max信号YR_Signal,v，其中生成信号的卷积运算以及k_max偶函数和l_max奇函数的卷积运算在信号模型中以如下方式选择，即后者卷积运算分别传输与多个空间频率的加权信号分量的总和，在下文中通过标识m的不同值标出，并且对于每个信号，在对应函数SSD(δ)中形成第一部分和，其项与对象相位Δ_m无关，并形成第二部分和，其项取决于对象相位Δ_m，其中

-在每个v_max信号的第一部分和累加时，形成构造性累加，其中各个项不相互补偿，以及

-在每个v_max信号的第二部分和累加时，形成统计性累加，其中这些有噪声的分量至少部分地在统计上相互补偿。第一和第二部分和的累加是在计算对应函数值的过程中产生的。术语“统计性累加”在本公开的意义上是指其结果是通过对图像信号中随机的、即统计分布的噪声分量进行累加而得到的。这种统计性累加的有利特征是，由噪声引起的误差至少可以部分地相互补偿。

目前为止所解释的本发明的组成部分是为了能够特别精确地、尤其是以亚像素精度确定视差。然而，这与确定在一个特定视差的范围内实际对应是否可能，即确定可能对应的置信度的目的不同。虽然对应函数会尽可能忽略对确定视差值无用的所有信息，但同样的信息也可能与确定置信度相关。一个简单的例子是，所有像素的强度都比参考图像区域中相应像素的强度高30％的搜索图像区域。这种恒定的亮度差异并不能为准确的视差确定提供有用的信息，并且会被对应函数中信号卷积的优选无均值卷积核隐去，因为其否则只会产生噪声，其例如会掩盖对准确的视差确定有用的低对比度纹理。同时，本示例中还有第二搜索图像区域，其中恒定的亮度差异仅为5％，这一微小偏差是由不同的相机控制造成的。因此，对应函数确定了非常准确但潜在多重意义的结果，其以一个以上的搜索图像区域作为可能对应的候选项。对置信度的单独确定表明，在具有仅5％的差异的第二搜索图像区域的范围中，对应的概率更高。

因此，为对应函数补充优选独立的置信度函数。与其他未将这两个目标分开的方法相比，例如，仅根据一个函数确定视差和置信度的方法，本文所公开的方法具有同时实现低噪声从而准确的视差确定和良好置信度确定的优点，而不是仅允许两者之间的折衷。因此，根据另一方面，独立于本文所述的对应关系的确定，特别是也独立于本文所述的图像信号的特定卷积，设置了一种对应分析器，其包括计算装置，该计算装置设置用于，

-从两个单张图像中分别选择图像区域，其中一个单张图像中的至少一个图像区域被选为参考图像区域，并且在另一个单张图像中选择搜索图像区域，并从图像区域中计算视差值的多个候选项，其中该计算装置进一步设置用于从参考图像区域和搜索图像区域中选择信息，并使用该信息为可能的视差值选择置信矢量，该置信矢量适合于估计各个相应结果是否指示各个相应搜索图像区域与参考图像区域的实际对应关系。如果置信矢量提供对应函数尚未提供的或未以相同质量提供的信息，则这特别有用。因此，计算装置被进一步设置用于通过函数选择置信矢量的至少一个元素的值，这些函数至少对于参考图像区域和搜索图像区域的某些类别，能够以比仅通过对应函数更高的概率将候选项分类为有效或无效。上面提到的恒定亮度差异就是一个例子。

尽管采用了低噪声确定视差，但仍然存在残余噪声，其会影响对应函数和置信度值。通过对为多个参考图像区域计算出的视差值或置信矢量进行低通滤波器处理，可进一步降低剩余噪声。与现有技术不同，特别是与其他在信号用于视差确定之前对其进行低通滤波的方法不同，在单张图像中，通过处理全信号带宽和在对应分析下游的低通滤波器，可实现明显更有效的降噪，同时实现视差测量的可比对比度和可比分辨率。此外，置信度较低的测量结果受低通滤波器的影响较小。因此，在一个实施例中设定，计算装置被设置用于使用低通滤波器过滤以下变量中的至少一个：计算出的视差值、置信度值或由置信度值加权的视差值。

选择搜索图像区域，使其至少近似沿着或位于对极线上。搜索图像区域的信号近似沿着对极线形成相应的一维函数。视差进一步由沿对极线的相应图像元素之间的曲线长度给出。术语“近似沿对极线”或“近似垂直于对极线”表示，由于校准误差或光学失真等原因，实际对极线不一定完全沿校正图像的图像方向。因此，在给定的误差范围内，术语“近似沿对极线”等同于“沿对极线”，“近似垂直于对极线”等同于“垂直于对极线”。

一般来说有利的是，选择搜索图像区域的序列，使对极线穿过搜索图像区域，或使搜索图像区域包围对极线。只要对极线穿过搜索图像区域，搜索图像区域就近似位于对极线上。

预期视差范围是x方向或沿对极线方向的预定范围，与参考图像区域相对应的搜索图像区域可以最多地位于该范围内。例如，预期的视差范围可以是数字图像像素周围x方向上的±50像素，应为该数字图像像素确定视差。

本发明进一步涉及特别是与本文所述的对应分析器一起描述的确定视差的方法。因此，本发明提供了一种用于确定两幅优选校正至立体正常情况的数字单张图像中相应图像元素的视差的方法，其中为了确定视差δ，借助于计算装置：

-从两幅单张图像中分别选择图像区域，其中一幅单张图像中的图像区域被选为参考图像区域，在另一幅单张图像中选择搜索图像区域序列，以及

-将参考图像区域的多个信号YL_Signal,v与存储在存储器中的偶数和奇数的空间窗口中的卷积核进行卷积，其中偶数卷积核包括不同空间频率的多个偶谐函数的加权和，奇数卷积核包括不同空间频率的多个奇谐函数的加权和，

-对于每个搜索图像区域，将信号YR_Signal,v与存储在存储器中的空间窗口中的卷积核、或者说上述卷积核进行卷积，以及

-对于每对信号YL_Signal,v和YR_Signal,v形成各个相应卷积结果的差值，并且

-对于每个搜索图像区域，对卷积结果的差值进行非线性处理，并将其累加为对应函数SSD(δ_p)在位置δ_p处的函数值，或者根据卷积结果的差值确定对应函数SSD(δ_p)相对δ_p在位置δ_p处的一阶导数SSD'(δ_p)，从而形成对应函数SSD(δ_p)在位置δ_p处的函数值或其导数，其中δ_p表示参考图像与搜索图像的距离，以及

-确定对应函数SSD(δ_p)的局部极值或对应函数SSD(δ_p)的导数SSD'(δ_p)的过零点，并将其中一个局部极值或其中一个过零点的位置δ_p作为视差δ输出，或者

-计算并输出位置δ_p处的视差的亚像素精确值。

本发明还涉及一种立体相机，其具有两个相机，其分别具有相机传感器和镜头，其中镜头的主点彼此间隔基线宽度B布置，并且其中立体相机包括如上所述的对应分析器，或设置用于执行上述方法。然而，具有两个相机的布置并不是必须的。原则上，三维数据也可以从在不同位置连续拍摄的数字图像中获得。

对应分析器的一个重要应用是确定立体摄影中的视差。因此，本发明还涉及一种带有对应分析器以及摄影装置的立体相机，摄影装置用于在相互等距的观察方向下以重叠的拍摄区域拍摄数字图像对。对应分析器的计算装置由相应图像元素的视差计算图像元素的距离坐标。观察方向(主点)的距离为基线B。根据上述公式(1)，距离坐标Z可由计算装置以Z＝B·f/δ(δ的单位为[mm])计算。

附图说明

下文将参照附图对本发明及其背景和优点进行详细说明。

图1示出了带有用于调节光轴位置的校准装置的相机镜头。

图2示出了由相机成像绘制的栅格和经过校正的栅格。

图3示出了一般情况和立体正常情况下的对极几何图。

图4示出了相对于彼此位移的图像信号YL_Signal,v和YR_Signal,v的图形。

图5示出了在垂直于对极线的y方向上卷积图像数据的示例卷积核的函数值。

图6示出了低通滤波前(分图(a))和低通滤波后(分图(b))的三维图像。

图7示出了空间频率曲线图。

图8示出了在<-0.5px...+0.5px>定义范围内，实际位移δ_sim与图像输入信号的随机振幅A、相位Δ和视差δ_sim的亚像素插值计算结果δ(图(a))以及所有信号的平均亚像素插值结果(图(b))之间的准线性关系(特征曲线)。

图9示出了相机图像和用对应分析器确定的相关的三维数据。

图10示出了信号模型中一组两个偶数和两个奇数卷积核的函数值，用于x方向图像信号的卷积。

图11示出了信号模型中偶数卷积核的函数值，结合图10中奇数卷积核。

图12示出了带有对应分析器的立体相机。

图13示出了在定义的视差范围内的对应函数SSD(δ)的曲线示例。

图14示意性地示出了带有相机图像特征的数据流的计算。

图15示意性地示出了用于处理数据流的硬件结构。

图16示出了用正弦式亮度调制捕捉物体的立体相机。

图17示出了单个像素值的权重。分图(a)显示的是用盒式滤波器对像素值进行的加权，分图(b)显示的是用高斯滤波器进行的加权。

具体实施方式

校正

校正的任务是根据立体正常情况模型生成对极几何图形。非线性几何变换修正两幅图像(左图和右图)的畸变(Distorsion)、投影畸变和相对定向，使物体点在左相机图和右相机图的同一行上亚像素精确地成像，而与它们之间的距离无关。这就将对应分析简化为一维问题。

为了尽可能精确地校正，可以执行三个子步骤：

修正相机内部方向

这是对镜头的非线性几何畸变(Distorsion)、焦距f和相机传感器不平的修正。

共面条件的校准

立体系统的光轴偏斜是校准距离外的主要误差来源。两个轴的限制性共面条件可将该误差降至最低。在实践中，这种条件可以通过偏心套筒来实现，将例如设计为微型镜头的相机镜头固定在偏心套筒中。光轴的相对位置例如可以通过测量两个或两个以上距离的测试图像来确定，然后可以通过旋转偏心件校准一个光轴的位置，使两个光轴共面。

图1示出了具有镜头8的镜头架10的一个实例。镜头架10包括两个可相对旋转的偏心元件11、12。镜头8被拧入偏心元件11中。通过旋转偏心元件11、12，可以改变镜头8的光轴位置，而不改变镜头到图像传感器的距离，从而保持图像平面的位置。完成校准后，偏心元件11、12可通过螺钉13相互夹紧，从而相互固定。根据一个实施例设定，其中一个镜头固定在具有两个偏心元件11、12的可调偏心件中，因此镜头光轴的共面度可以通过在偏心件中相对于测试图像旋转镜头来校准。特别是，这种立体相机的实施例也可以独立于根据本公开的对应分析器和本文所述的图像数据的特别处理而使用。对于本领域技术人员而言，具有用于调整共平面轴的偏心件的立体相机也是可能的，并且与其他图像处理方法一起使用也是可能以及有意义的。因此，一般来说，不局限于本文所述的对应分析器，设置了一种具有两个相机21、22的立体相机2，每个相机分别具有相机传感器5和镜头8、9，其中镜头8、9的主点与相机传感器5以基线宽度B彼此间隔布置，并且其中设置了至少一个可调节的偏心件，利用该偏心件通过其移位，其中一个镜头8、9的光轴的定向和位置可以改变，从而可以补偿镜头光轴的共面性误差。偏心件可以具有上述结构，但也可以考虑其它变型。例如，可以将镜头彼此固定组装，并通过偏心件相对于所属镜头调节其中一个相机。

修正相机的外部定向

修正相机内部定向后，外部方向仍然保留。这是一种带有旋转和平移的仿射变换。

校正根据虚拟相机(VIRCAM)的原理进行。校正数据以表格的形式存储在相机中，其中包含针对对极栅格中每个目标坐标(i,j)的图像I中的实际(x,y)坐标的位置信息。由于坐标(x,y)是有理数，在图像点的2x2px邻域内插值有利于噪声最小化。VIRCAM在虚拟栅格中扫描。对于每个虚拟栅格点，在图像I的2x2px邻域内插值到目标栅格(i,j)。这种几何修正是非线性的。

图2的分图(a)示出了相机图像中规则栅格畸变的示例。由于镜头畸变(Distorsion)，如图所示，物体空间的规则栅格发生畸变，例如，呈桶状。这种畸变和任何投影畸变都会在VIRCAM中通过校正得到纠正。在此将图像坐标(x,y)虚拟转换到VIRCAM坐标系(i,j)。通过这种校正，VIRCAM的立体图像对与立体正常情况表现相同。在分图(b)中，以网格形式显示的目标栅格的区段叠加在以点形式显示的实际(x,y)坐标上。

图3示出了立体图像对的对极几何，包括图像104、105、对极点98、99和对极面102。分图(a)示出了一般立体情况。分图(b)表示立体正常情况。对极几何描述了相机定向、图像104的图像点103和其在另一图像105的图像点106中的点对应关系之间的线性关系。对应的图像点103、106位于对极线107上。如果找到点对应关系，则根据立体相机的参数(焦距和基线)和图像点对应关系，即对应于3D点的图像点103、106，得到所属的3D点101。

数学推导

从立体正常情况下的立体相机的校正图像(YL_Image或YR_Image)中分别选出v_max行信号YL_Signal,v或YR_Signal,v(v＝1...v_max)。这些行信号可以直接取自校正后的图像(例如YL_Image和YR_Image中各行的强度值)，或者也可以在与修正后图像的行方向垂直的k_y偶数和l_y奇数卷积核卷积后获得。此外，y方向的卷积也可以在x方向的卷积之后进行，即为了获得行信号。因此，卷积的顺序可以互换。特别是，计算装置可以设置用于在y方向上用一组v_max＝k_y+l_y卷积核对图像区域进行卷积，从而产生若干v_max信号对YL_Signal,v和YR_Signal,v，它们定义在-T/4...+T/4的空间窗口中。y方向是近似垂直于对极线的图像方向。为了实现最佳的视差计算，有利的是将频带限制在实际存在的信号频谱范围内。空间窗口和T的推荐值可类似地参考下文所述对x方向卷积窗口的尺寸的考虑。y方向上的可能卷积可以与下面描述的x方向上的卷积分离。在此，首先进行y方向的卷积不是必须的，但却是有利的。

表1显示了v_max＝5和T＝16px时的示例卷积核f_y,v(列是卷积核中各个相应的位置)。图5示出了表1中y方向卷积核的函数值。对于精确校正的立体图像，存在大量具有相同效果的相似卷积核，并且v_max也可以是5以外的值。在实际应用中，校正是有公差的，由此产生的噪声将在下文中讨论。如下所述，使用其它形式的卷积核可以进一步降低噪声。

表1

在扩展方案中，也可以只使用上面列出的某些卷积核。例如，可以省略表中所列五个卷积核中的一个，或者说选择四个的卷积核数量。根据一个实施例，使用卷积核f_y,2、f_y,3、f_y,4和f_y,5，或者说省略卷积核f_y,1。这种实施形式在噪声略有增加的情况下仍能获得良好的结果，但计算量减少。

因此，对于每个行y(沿对极线)产生了离散的一维函数，针对左相机和右相机分别称为YL_Signal,v(x)和YR_Signal,v(x)。一般来说，这些卷积核也可以由函数值组成，其包含多个偶谐函数的加权和(称为“偶卷积核”)或多个奇谐函数的加权和(称为“奇卷积核”)。谐函数分别扫描不同的空间频率。

随后，由其为特定的行y取得部分信号，准确讲在YL_Signal,v中的x位置和YR_Signal,v中的(x+δ)位置处的窗口内。左相机为参考相机。也可选择右侧相机作为参考相机(即YR_Signal,v中的x和YL_Signal,v中的(x+δ))。随后，为位置x计算两个窗口的相似度，作为在视差范围内位移δ的函数，从而形成对应函数SSD(δ)。最后，找到对应函数SSD(δ)的极值，必要时使用进一步的标准进行过滤，并对对应函数SSD(δ)根据δ求解，这样参考相机图像中的位置(x,y)就可以分配到以这种方式确定的图像平面上的视差δ。最后，将视差δ投影回物体坐标系并计算三维数据。图4示出了彼此不同地以像素方式相对于彼此位移的位置的示例信号YL和YR。在中图中，相对位移对应于视差δ，在上图中，位移为δ-1，在下图中，位移为δ+1。在中图中，信号YL、YR的一致性最大，这就是为什么视差δ可能接近于局部成像物体的实际视差。然而，由于像素方式的位移，实际视差并不完全符合。

为了生成高数据质量的三维数据，需要对离散信号函数YL_Signal,v(x)和YR_Signal,v(x)的栅格位置之间的视差δ进行低噪声插值。这一过程被称为亚像素插值，并且通过对应分析器的计算装置进行，详见下文。成功的亚像素插值有两个有利的先决条件：

尽可能完整和准确地累加分布在空间频谱中的非常小的噪声信号分量，以及

在极值附近生成一个预先已知的、并且在很大程度上与窗化信号的具体信号形式无关的对应函数SSD(δ)的函数过程。

由于类似于通信工程中在时间领域提出的Küpfmüller不确定性关系(1924年，进一步类似于Heisenberg)，高空间分辨率与同时高空间频率分辨率之间存在矛盾。因此，不可能将信号YL_Signal,v和YR_Signal,v与高空间分辨率的理想小窗口(例如8px宽度)进行卷积，从而在空间频率范围内产生足够小的带宽。卷积后，用于进一步插值的空间频率上的信号与其他空间频率上的分量叠加。因此，实际信号的卷积结果不能像简谐信号的卷积结果那样被认为是无误的。因此，根据现有技术，仅在一个空间频率上确定相位是有噪声的。

本发明的目的是在YL_Signal,v和YR_Signal,v的窗口内进行多次整体效果最优化的卷积，并将卷积结果与对应函数SSD(δ)相结合，从而在很大程度上补偿理论上不可避免的误差(特别是通过对小卷积核信号形状的特殊选择)。因此与已知方法不同的是，所基于的加窗傅里叶变换(WFT)的测量误差无需通过事先对图像信号进行低通滤波来减小。补偿后的可能保留的残余误差在处理为三维数据或这些三维数据所基于的视差测量结果集后才通过低通滤波去除(以下称为输出低通滤波器)。具体来说，其目的是以一种普遍有效的方式检测对应函数SSD(δ)中隐含的累积的共同视差信号，该视差信号由具有多个空间频率的信号分量组成。对应函数SSD(δ)的根据δ的解在下文中称为组视差。

为简单起见，首先假设一个理想的立体相机和一个持续信号模型，然后再考虑实际情况。理想的立体相机简化地提供两个理想的行信号YL_Ideal和YR_Ideal(而不是YL_Signal,v和YR_Signal,v)，如式(4)所示，它们可以被建模为在区间T内具有m_max元素的傅里叶级数。

由于在理想立体相机中两台相机的传递函数相同，且不存在某些信号误差(如反射)，因此可以认为两台相机的振幅A_m和相位Δm相同。因此，YL_Ideal和YR_Ideal的区别仅在于大小为视差δ的偏移。标识或系数m决定了理想信号中各个相应的空间频率。ω定义为2*π/T。

下一步是定义偶数卷积核f_even,k和奇数卷积核f_odd,l，应该用它们来处理YL_Ideal和YR_Ideal。这些卷积核又可以被建模为相位形式的傅里叶级数，如式(5)所示。式(5)的卷积核中的系数矢量c_k,n和s_l,n决定了各个相应简谐函数在卷积核空间频率n上的权重。n_max等于式(4)中的m_max。k_max和l_max是偶数或奇数卷积核的数量。

理想信号YL_Ideal和YR_Ideal以及卷积核f_even,k和f_odd,l均为连续函数。数字化被单独考虑。空间窗口的大小优选是区间T大小的一半，特别是-T/4到+T/4。其结果是，一些卷积核含有不完整的周期，即片段。纳入片段的好处是可以将更多的空间频率打包到一个小的卷积核中。根据一个实施方案设定，选择的窗口一般小于区间T。然而，除了-T/4到+T/4之外的窗口尺寸也适用。

在本实施例的展示中，使用区间T＝16px，窗口大小T/2＝8px。优选在空间频率范围内在这种窗口中可以放置4个空间频率(即式(4)中的m_max＝4)。窗口的大小以及空间频率的数量取决于所期望的应用，但通常4个空间频率就足够了。通过下面说明的轮廓(Profile)和卷积核的相应选择，可以加强或减弱各个空间频率对对应函数的影响。最佳窗口大小可通过三维分辨率和信噪比之间的折衷来确定。这种折衷取决于图像内容和所期望的应用。合理的空间频率上限相当于图像中4个像素的周期。更高的空间频率会产生不期望的相位特性曲线的非线性行为(图8)。在像素间距为2至4μm的现代CMOS相机传感器中该信号分量较低，因为由于镜头OTF和彩色相机中用于将BAYER格式转换为YUV的滤波器的低通效应而限制在约每mm 100线对。

在区间T内的傅立叶分析的帮助下，现在可以为组视差确定最佳卷积核。为了简化数学关系的展示，首先假定卷积核是纯频谱的(即如果n等于k或n等于l，c_k,n和s_l,n为1，否则为0)。

因此，可以对信号YL_Ideal和YR_Ideal的每个分量组合以及偶数和奇数卷积核的分量组合分开进行卷积积分的分析计算。产生了卷积结果C_YL、C_YR的n_max*m_max分量(等式(6)，分别用于偶数和奇数卷积核)。

其中ω＝2π/T

由卷积结果的这些分量，对于每个n和m，形成卷积结果的差值(ΔRL_even)_n,m＝(C_YR,even)_n,m-(C_YL,even)_n,m和(ΔRL_odd)_n,m＝(C_YR,odd)_n,m-(C_YL,odd)_n,m。

将角函数的差值替换为乘积后，卷积结果可以矩阵形式汇总。

对于m_max＝4和n_max＝4的实施例，式(7)示出系数矩阵AEV或AOD，式(8)示出基于系数矩阵AEV和信号矢量S_even的偶数信号差值ΔRL_even的矩阵写法，式(9)表示基于系数矩阵AOD和信号矢量S_odd的奇数信号差值ΔRL_odd。如果选择与实施例中不同的空间频率范围，系数矩阵AEV和AOD也会相应改变。为简单起见，系数矩阵AEV和AOD被归一化，使其与T无关。常数K_even和K_odd以附加条件K_even2＝K_odd2在等式(8)和(9)中对其进行补偿。由于K_even ²和K_odd ²后来在式(11)中被消去，因此无需进一步考虑。

/>

为了从目前用于说明应用的纯频谱卷积核的情况返回到一般卷积核的情况，在下一步中，信号差值ΔRL_even和ΔRL_odd分别与系数矢量c_k和s_l进行标量相乘。矢量ΔRL_even和ΔRL_odd的以c_k,n或s_l,n加权的分量之和表示特征差。

因此，根据式(5)的特定的、一般的偶数或奇数卷积核的特征差是信号YR_Ideal和YL_Ideal的各个相应卷积结果与根据公式(4)的一般振幅A_m和该卷积核的加权值c_k,n或s_l,n的差。

对应函数SSD(δ)现在被定义为非线性处理的，特别是指数化的特征差或卷积结果差的总和，优选形成所有所使用的卷积核的特征差的平方。下面将分析SSD(δ)的结构。为此有利的是，首先只考虑具有信号对YL_ideal和YR_ideal，以及k_max偶数卷积核和l_max奇数卷积核的情况，如式(10)作为SSD_one(δ)所示。

(10)

插入根据式(8)和式(9)的乘积形式的项ΔRL_even和ΔRL_odd，并展开平方和后，得到了可分为包含振幅平方(例如A₁ ²)的部分和SSD_inv和由混合项组成的部分和SSD_var的项。SSD_inv与振幅A_m的符号无关，可以通过适当选择卷积核的形式，即权重c_k,n或s_l,n，来进一步优化，使得根据三角勾股定理，具有相应余弦分量和正弦分量的项相加，使得对Δm的依赖性完全消失。

在这种情况下，SSD_inv与相位Δm无关，因此与测量对象的侧向位移无关(即与立体相机基线平行)。SSD_inv是组视差的函数，在一定条件下，可以通过它计算出所寻求的组视差，即所寻求的信号S。

特别是，在另一个实施例中设定，卷积核的选择方式是，k_max偶数卷积核和l_max奇数卷积核的卷积运算分别传输一组空间频率的加权信号分量之和，在下文中用标识m的不同值表示，其振幅为A_m，物体相位为Δm，使得在计算对应函数SSD(δ)时，对每个信号v和具有标识m的每个空间频率形成两个部分和，第一部分和具有偶函数卷积运算结果中的特征在于平方振幅A_m ²的项，第二部分和具有奇函数卷积运算结果中的特征在于平方振幅A_m ²的项。第一部分和与第二部分和可以根据三角勾股定理进行组合，从而使两个部分和的总和SSD_inv(δ)与物体相位Δm无关。

SSD_inv的这一特性的条件是，在SSD_inv的项中，同一空间频率的sin²和cos²分量前面的系数相等。将其一般化到任意数量的卷积核和空间频率，最佳理想视差信号的这一条件可如式(11)所示表示为针对每个m的非线性等式组。式(11)利用k_max+l_max被加数获得了SSD_inv的部分和，因此代表了从信号对YL_Ideal和YR_Ideal得到的完整信号。g_m

是权重矢量并在下文中将进一步解释。

(11)

为了以足够低的噪声确定视差，矩阵AEV和A0D的系数不必完全符合等式(7)中给出的值，并且分别可以以0.8到1.2的系数偏离。同样，等式(11)中等式组的近似解也是足够的(例如，等式(11)中奇数卷积核的和可能与偶数卷积核的和有0.8到1.2的系数的偏差)。

利用根据等式(11)中的规定优化的卷积核可以得到等式(12)中所示的对应函数SSD(δ)的定义和等式(13)中所示的SSD_inv(δ)的定义。

(12) SSD(δ)＝SSD_inv(δ)+SSD_var(δ，Δ)

(13)

根据一个特别优选的实施方案，卷积核相应这样选择，使对应函数在信号模型中能够根据关系式(12)表示为与相位无关的函数SSD_inv(δ)和与对象相位Δ有关的函数SSD_var(δ，Δ)之和。最初只考虑SSD_inv。SSD_var代表噪声源，其影响可按下文所述降至最低。

第一导数SSD’_inv(δ)(等式(14))与第二导数SSD”_inv(δ)(等式(15))的比值，分别根据δ，在等式(16)的假设条件下，形成组视差函数(等式(17))，它以紧凑的形式包含所寻求的位置信息。

(14)

(15)

(16)

(17)

根据等式(17)对组视差函数进行简单的泰勒展开，可以得到δ的线性函数，但它只在亚像素范围内在第一导数SSD'_inv(δ)的零点附近(或者在SSD'_inv(δ)的局部最小值附近)对小的δ有效，也就是说，当sin(m*ω*δ)可以以足够的质量进行线性插值时。进一步计算所需的组视差的亚像素精确函数值δ_sub为一阶导数SSD'_inv(δ)的零点位置的整数位置视差与组视差函数的分数有理亚像素值之和，如等式(32)所示。

对于真实的高分辨率立体相机的组视差函数，可以得到一条典型的特征曲线(图8)。具体来说，在图8的图表中，借助于等式(17)来绘制特定视差作为实际视差的函数。理想情况下，根据等式(17)确定的组视差与实际视差相同(线性关系)。从分图图8(b)中可以看出，在更大的亚像素位置，即视差位置介于两个像素之间的情况下，在定义域[-0.5px,0.5px]内与理想的线性走向会有较小的偏差。如图8(a)所示，偏差还取决于图像内容，该图中绘制了A_m和Δm的不同随机值的曲线。分图图8(b)显示了分图图8(a)中所示曲线的平均走向。这些特性曲线的线性误差会产生倍增的噪声。

如果将目前的模型从信号对YL_Ideal和YR_Ideal扩展到v_max信号对YL_Ideal,v和YR_Ideal,v(v＝1...v_max)，则等式(14)和等式(15)分别扩展为等式(18)和等式(19)。

(18)

(19)

可以看出，在扩展到多个信号对之后，公式(17)仍然成立，因为以简化的方式使用所有信号的总和。等式(11)不受这种扩展的影响。

在解释了用于组视差函数的信号后，现在考虑噪声。目标是使噪声N与信号S相比最小化。噪声主要包括传感器噪声、SSD_var影响引起的噪声、这里分析的理想相机模型与真实立体相机之间的差异引起的噪声、以及组视差函数特征曲线的线性误差。

高频白传感器噪声包括几个加性噪声源，如量子噪声(也称为根噪声)、热噪声以及DSNU和PRNU。传感器噪声和由SSD_var引起的噪声是近似不相关的，因此可以分开考虑。等式(15)至(17)描述了空间频率域中的组视差信号的g_m加权累加。组视差信号的每个信号分量在空间频率mω上用m²ω²A² _m表示，其中值最大的项(或振幅)对传递函数起决定性作用。根据Wiener(1949)的观点，通过这些项，组视差函数可理解为自适应滤波器(取决于当前信号形状)。当信号对YL_Ideal和YR_Ideal用理想的(长)自适应滤波器处理，从而在窄带宽的空间频率范围内处理，并将结果与测量振幅以加权的方式组合为位置信号时，会产生相同的项。这相当于最佳滤波器的信号处理。因此，对于通过g_m的一定的加权，组视差与传感器噪声的信噪比达到最佳。如下所述，该加权可根据信号YL_Signal,v和YR_Signal,v的频谱进行调整。

被称为输出低通滤波器的低通滤波器应用于三维数据或该三维数据所基于的视差测量结果集，从而过滤视差空间变化中的高空间频率。因此，这发生在组视差计算之后，但减少了噪声的某些部分，从而影响进一步的噪声优化。因此，一般来说，在不局限于所示示例的情况下，根据一个扩展方案，计算装置被设置用于使用低通滤波器过滤计算出的视差值。

根据一个实施例，输出低通滤波器的尺寸可以这样确定，使得其减少空间频率高于2ω，优选高于3ω的噪声分量，也就是说，在这样一个范围内，其中组视差信号分量也很低。通过在计算组视差之后的滤波，不会影响用于形成组视差信号的具有振幅A₃和A₄的高频输入信号。因此，在不限制具体实施例的情况下，根据一个实施例，对应分析器被设计成考虑输入信息以计算视差值，而不对(信号)带宽进行限制。这因此有助于提高信噪比。另一方面，本实施例中分析窗口的窗口大小(8x8px²)从一个周期T/2，即2ω起减小了视差的传递函数。因此，二维输出低通滤波器的截止频率被设置于2ω范围内。

图6示出了在100x100px²大的图像区段上的基本平整的白色纹理壁纸的三维数据，其中物体侧分辨率为1mm²(x,y)，距离为1850mm。图6，分图(a)示出了输出低通滤波前的三维数据，分图(b)为完成输出低通滤波后的三维数据。为获得更好的可视化效果，距离分辨率增加到0.2mm。

接下来，在不影响传感器噪声优化的情况下对SSD_var进行优化。SSD_var(δ,Δ)取决于相位和振幅的符号，因此也取决于测量物体的侧向位移，并代表一个伪随机干扰量，其可以理解为空间频率范围ω至4ω(在本实施例中)的低频加性噪声。用于最小化SSD_var的噪声分量的第一步通过使用多个v_max信号对YL_Signal,v和YR_Signal,v而统计地进行，由此对信号SSD_inv和信号误差SSD_var进行平均。为获得最佳解决方案，信号对必须在很大程度上不相关，这可以通过y方向的对此有利的卷积来实现。在此条件下，噪声可降低一个系数1/(v_max)^1/2。

第二步，将公式(17)中仅限于SSD_inv的考虑扩展到SSD_inv和SSD_var之和。因此，噪声信号为SSD_var'，其与SSD_inv'类似地被作为泰勒级数展开。在本实施例中，输出低通滤波器从空间频率为3ω起降低了SSD_var所代表的噪声，因此只需要进一步考虑ω至2ω的范围。如等式(20)所示，在本实施例中经过大量三角函数计算后，得到了SSD_var'的最低空间频率的部分和SSD_var,1'。2ω的部分和可以类似计算。

(20)

等式(20)中的振幅和相位取决于图像统计，并且在很大程度上是互不相关的，因此，如果等式(20)中的此处不再进一步解释的常数const₁、const₂和const₃最小，则SSD_var的噪声分量就会最小。当满足式(21)所示条件时，情况也是如此。

(21)

然而，这些等式无法一般求解。只需将等式(21)中的差值平方和最小化即可。由于可以假定等式(20)中A_1,vA_2,v的大小大于A_2,vA_3,v的大小，而A_2,vA_3,v的大小又大于A_3,vA_4,v的大小，因此有利的是，首先近似等式(21)中的第一个条件，然后近似第二个条件，最后近似第三个条件。如果将系数c_1,3，c_1,4，c_2,1，c_2,2，s_1,3，s_1,4，s_2,1和s_2,2设为零(实施示例也参见式(23))，就已经可以得到很好的近似值，然后根据其余系数求解式(11)中的等式组，从而优化SSD_inv。

尤其是对于仅以几个信号对，即小的v_max进行的实施，卷积核系数的优化改善了噪声行为。为此，用预定系数c_1.3、c_1.4、c_2.1、c_2.2、s_1.3、s_1.4、s_2.1和s_2.2求解等式(11)中的等式组，然后计算常数const₁、const₂和const₃。选择常数const₁、const₂和const₃最小的解决方案。更简单的方法是借助测试图像进行统计确定，如下所述。

对于所有这些方法，等式(11)总是满足的，只有根据等式(11)剩余的自由度才用于进一步的噪声优化。由此传感器噪声的信噪比优化总是既定的。

实际立体相机中产生噪声的另一个原因是，其行为不一定像目前所考虑的理想系统。左右相机的相机特性曲线的偏移和增益存在公差，反射也会造成伪影，因此对于各自图像区域中的相同物体点，两台相机的振幅不一定相同。此外，还可能出现校正公差。

相机的偏移公差，例如可能由温度波动引起的偏移公差，通过该方法被完全补偿。需要注意的是，所谓的相机偏移被设置为一个略微正值，这样，例如传感器噪声的负值就不会在零值处被截断，从而不会伪造信号。偏移可以通过片段化的偶数卷积核传递，并导致视差的测量误差。因此，对偶数卷积核进行平均值清除(Mittelwertbereinigung)是有利的，这样空间频率零点就不会被传递用于视差测量。

相机增益的较小公差不会导致噪声，因为它们会被等式(17)中的除法自动修正。需要注意的是，只有相等的振幅A_m才会对信号的形成产生影响。例如，如果左侧相机的A_m(AL_m)大于右侧相机的相应A_m(AR_m)，则由AR_m ²形成组视差信号，AL_m-AR_m之差会产生噪声。这并不修正图像边角处相机之间较大的对比度差异，尤其是当OTF或畸变修正的陡度不同时。在这种情况下，对比度较高的相机的额外振幅分量不包含在组视差信号中，而是添加到干扰信号N中。

最后，通过权重系数g的优化过程，信噪比可以得到进一步改善。权重系数可以通过模拟信噪比来计算。对于随机权重矢量g的一个集，卷积核系数分别根据式(11)，必要时根据式(21)计算，然后使用另一个随机发生器生成矢量的抽样，矢量分别包含振幅A、相位Δ和额定视差δ_Soll。这里，比率A_m/A₁限于空间频率传递函数的相应值，该空间频率传递函数由景深区域中的镜头OTF和传感器电子装置中的分辨率损失组成。随后，SSD(δ)的计算与公式(10)类似，并且根据等式(17)为SSD(δ)的一个或多个最小值确定视差δ。由δ_soll和δ的额定/实际比较可以通过用于特定权重矢量的抽样计算得到平均测量误差。然后从权重矢量集中选择平均误差最小的权重矢量。通过这种方法，可获得典型传递函数的最佳权重矢量g。

替代地，也可以通过测试测量来确定g，如图6所示。这样，就可以通过三维数据中的测定的点到成像物体在空间中的额定位置(如图6中近似表示纹理壁纸的平面)的距离的标准偏差来确定测定的三维数据的局部距离噪声σ_z。对于具体的摄影情况，距离噪声σ_z的最小值现在可以作为权重矢量g和由此导出的卷积核系数的函数确定。然后可以从一组随机选择的权重矢量中选择距离噪声σ_z最小的权重矢量。该权重矢量g以常数的精度确定。在等式(17)中进行除法运算后其被消去，使得g的m-1个相关分量被保留。

这样就定义了最佳轮廓矢量(Profilvektor)或权重矢量g，例如针对所选的纹理壁纸对象。纹理壁纸的谱系可以很好地近似用于景深区域中带有自然物体的典型场景。

在立体相机上存储具有权重因子的不同的轮廓(Profile)，并在必要时将其匹配于拍摄情况是有利的。图7示出了两个权重系数g的例子，适用于两种不同的拍摄情况和不同的空间频率ω。例如，这允许针对高对比度图像或雾中图像的最佳条件进行参数调整。

因此，在一个实施例中设定，在计算装置中预先确定用于描述空间频率范围内对应函数SSD(δ)的最佳灵敏度的权重系数g的至少一个轮廓矢量，该轮廓矢量通过公式(11)确定卷积核的傅里叶级数的权重系数c_k,n和s_l,n。根据一个实施例，根据单张图像或图像区域数据的功率谱，并优选考虑光学传递函数，可以选择类或轮廓矢量，在此基础上由计算装置选择、或形成或者计算多个对应函数及其卷积核。

如图7的实例所示，也可以首先设定多个权重或轮廓矢量，其由计算装置根据图像内容或拍摄情况进行选择。因此，一般来说，可以在对应分析器1中存储用于相同或不同的参数化的对应函数的多个轮廓矢量g，和/或对应分析器1可以设置用于在运行时计算一个或多个具有权重g的轮廓矢量，其中对应分析器1进一步设置用于确定图像数据的局部或全局功率谱，并根据图像中局部或全局功率谱来使用权重g，即用于图像信号的卷积和对应函数的计算。特别地，多个不同的参数化的对应函数和它们的卷积核以及优选地分别与对应函数和卷积核对应的轮廓矢量g_m也可以存储在对应分析器中或在运行时确定，其中对应分析器进一步设置用于根据单张图像或图像区域的可用类别或根据单张图像或图像区域的、对进一步处理有利的类别选择该多个对应函数和它们的卷积核中的一部分。优选地，至少一个对应函数及其卷积核的参数的选择方式为，使得分别对应的轮廓矢量g_m的用于最高空间频率的权重系数小于该轮廓矢量的至少一个其它权重系数。

在4像素周期的实施例中，用于最高空间频率的权重系数由于特性曲线在|δ|～0.5px或1/4π处变宽而存在折衷。因此，通过测量信噪比来实验性确定g，会降低最高空间频率的权重。然而，因为正确测量了较小的值δ，因此权重与零不同。

与x方向类似，y方向卷积的卷积核可以类似于公式(4)中的傅里叶级数和形成最佳卷积核的规定(公式(11))按照相同的原理形成，并由第二个轮廓矢量gy_m定义。y方向卷积结果的平方和也形成了一个与y方向物体相位无关的不变部分和，其中包含了根据等式(4)用gy_m加权的傅里叶级数的振幅平方。此外，还形成了一个与y方向上物体相位相关的部分和。特别是在实际立体相机的校正误差情况下，信噪比得到了改善，例如，由于温度梯度、机械负载或在图像边角中可能会产生这种误差。此外，以这种方式优化的y方向卷积核通过空间频率的定义加权减少周期性结构的处理过程中可能产生的误差。最高空间频率的权重不会降低，因为在y方向不需要进行视差测量。

在本实施例中，取代目前为止考虑的具有连续函数的信号模型，现在说明在实际离散系统中的实现方法。首先，确定分析区间T和卷积核的窗口大小。这里需要区分两种情况：

立体信息来自纹理或断裂边缘，这些纹理或断裂边缘以窗口中普遍存在的OTF传输，并通过高频过程进行检测。

立体信息来源于基本均匀的物体上漫反射的角度依赖性或物体上可能存在的低频纹理，并由低频过程检测。

在第一种情况下，对比度由高空间频率范围内的镜头特性决定；在第二种情况下，对比度由低空间频率范围内的照明情况以及物体的曲率半径和倾斜角决定。图9示出了相机图像(分图(a))和相应的三维数据(分图(b))。分图(a)是立体图像对的左图像，分图(b)的三维数据是根据该图像计算的。三维数据在分图(b)中以灰度表示(浅色像素表示与相机的距离较大，深灰色像素表示距离较小，黑色像素没有距离信息)。以一个具有均匀光泽表面的陶瓷杯为例，拍摄距离为1850mm，分辨率(x,y)为1mm²，这表明具有高频立体信息的区域能够以较高的亚像素插值质量被检测到。没有对比度的光泽区域也可以检测到，但在低频范围内质量较低。首先，该系统将针对第一种情况进行优化，以便对对比度较弱的高频纹理覆盖物产生较高的灵敏度，这样，例如背景中的白色纹理壁纸就能以较高的测量精度进行无间隙检测。

如果信号的频谱被完全探测，即一方面，具有景深区域中模糊成像的边缘的空间频率的信号分量以2π/T的下限被探测，另一方面，最佳聚焦纹理的信号不会明显超过具有3至4px的周期的上限，则分析区间T的尺寸对于第一种情况为最佳。对于带BAYER滤光片的典型彩色相机，可使用的范围约为16...70LP/mm。当使用像素间距为3.75μm的传感器时，需要T＝16px，并且需要4个空间频率。下一步，将窗口宽度确定为三维分辨率和噪声之间的折中。选择的窗口宽度为8px。然而，也可以采用其他整数窗口宽度。随着窗口宽度的增加，三维分辨率降低，信噪比增加。如果分析区间与窗口宽度之比不等于二，则必须调整矩阵AEV和AOD。

下一步，可以选择卷积核的数量k和l。2个偶数卷积核和2个奇数卷积核可以在可接受的计算量下获得最佳精度，作为折中，1个偶数卷积核和2个奇数卷积核也是可行的，但精度会降低，计算量也会减少。如果只有1个偶数和1个奇数卷积核，噪声会大大增加。在本实施例中，k＝2，l＝2。卷积核的更大数量也是可能的。

然后计算卷积核。从权重矢量g＝[0.917；1.22；2.25；1.3]开始，其补偿了典型的OTF过程，并映射了最高空间频率方面的折衷方案，用卷积核的系数c_k,n和s_l,n建立等式组，以确定卷积核的最佳形式(等式(22))。由于等式组未完全确定，因此首先将不需要的高频项置零(式(23))。

对于每个非线性等式组，可得到16个解，首先从中选择实解，然后删除仅有符号差异的解。如果没有实解，可以调整权重矢量。对于系数矢量c和s得到两个不同的解(等式(24))。从这些解中选择系数方差最小的解(式(24)，第1行和第3行)，因为这些解传输的热噪声，包括DSNU和PRNU，最小。

在不对SSD_var'(δ)的噪声分量进行进一步优化的情况下，通过这种第一近似，信噪比已经得到明显改善。由于在所述的实际相关实施例中，没有足够的系数可用于完全补偿SSD_var'(δ)的噪声，因此需要考虑统计优化。在该系统中，设置了已经描述过的弱输出低通滤波器，它可以可靠地抑制热噪声和较高空间频率的对应函数的噪声。因此，目标是降低滤波器未检测到的较低空间频率ω和2ω的振幅。对于等式(24)中的每一个解，还存在3个具有其他符号组合的另外的解。然后从这些解中，选择具有在较低空间频率范围内对SSD_var'(δ)产生最小扰动的符号组合的解。此外，在等式(23)中，可以用非零的小常数代替以零覆盖的系数。这将改变SSD_var(δ)的比例，而不影响SSD_inv(δ)。然后可以对等式(22)进行数值求解，并对有关低空间频率的解进行测试，选出最佳解。

根据上述例子，可以得到x方向卷积核的可能函数f_even,k和f_odd,l(式(25))。它们的函数值如图10所示，并在表2中显示为离散卷积核。根据一个优选的实施方案，所得到的卷积函数应该是无均值的，因此选择off_even,1和off_even,2，以满足等式(26)。这有利于避免因实际相机的增益和偏移公差而产生的噪声。

表2

从式(25)可以看出，四个卷积核分别包含不同空间频率的多个谐函数的加权和。偶数卷积核f_even,1,2包含余弦函数的加权和，即权重系数分别为3.4954和0.7818(f_even,1)，或4.9652和1.8416(f_even,2)的偶函数。奇数卷积核(f_odd,1,2)表示奇正弦函数的加权和。在示例中，其权重系数分别为4.0476和-0.2559，或6.0228和-0.0332。根据一个实施例，因此设置了计算装置，以用两个偶数的和两个奇数的第二卷积核对v从1到v_max的信号对YL_Signal,v和YR_Signal,v进行卷积，这些卷积核由等式(25)和(26)给出。更一般地讲，v从1到v_max的信号对YL_Signal,v和YR_Signal,v用两个偶数的和两个奇数的第二卷积核卷积，其包含等式(25)中列出的函数。sin和cos函数前面的系数(3.4954,0.7818,...)也可以稍有偏差，即向上或向下偏差指定值的10％。因此，系数3.4954,0.7818,4.9652,1.8416,4.0476,0.2559,6.0228,0.0332中的至少一个也可以增大或减小最多10％。卷积核的选择优选是使其近似或完全没有平均值。

将卷积核所包含的偶函数或奇函数的坐标原点置于相应图像区域的重心附近是有利的，但不是必须的。在此上下文中，重心是指相应图像区域的几何重心。

滤波核系数的轻微偏差也可以是这样的，即它们轻微偏离完全偶函数或完全奇函数的离散值。例如，这种偏差可以与理想的偶函数或奇函数的值偏差最多15％，优选最多10％。下面列出了离散系数与理想的偶函数或奇函数系数的可能偏差，以便说明。如果通过-2；-1；1；2的值给出了具有离散理想奇函数的系数的奇数滤波核，那么可以通过-2；-1；1.1；2给出只导致不显著增加噪声的滤波核。这里，与该核的中心相邻的正系数提高了10％。此外，如果添加附加的低权重系数，理想的偶数或奇数滤波核的对称性也只会受到轻微干扰。例如，这种略有偏差的核可以是：-2；-1；1；2；0.1。这里的滤波核包含一个额外的系数0.1，它干扰系数1和-1之间关于核中心的理想对称性，但另一方面，由于权重较低，对卷积结果的改变并不明显。

在一种变型方案中，sin和cos函数前的系数也不必与等式(24)和(25)中的系数完全一致，而是可以偏离0.8到1.2的范围内，优选是0.9到1.1的范围内的系数，而噪声抑制效果仍然很好。

在噪声略有增加的情况下，也可以使用单个偶数卷积核来代替2个偶数卷积核。一个这种偶数卷积核的函数如图11所示，并在表3中以离散卷积核示出。在本实施例的扩展方案中，其也在图11和表3的示例中实现，该卷积核包含所有空间频率ω至4ω的加权频率，因此表示这些空间频率ω至4ω的谐函数的加权和。节省了25％的计算量。另一方面，k＝1和l＝1的解只能以较大的数字化误差、即较大噪声被数字化，因此无法使用。如果只有一个偶数核或只有一个奇数核，则无法进行噪声补偿，因此这些选项也无法使用。类似地，可

以只计算2或3个空间频率，但通常会导致降低测量精度。

x	-3.5	-2.5	-1.5	-0.5	0.5	1.5	2.5	3.5
									f_even,1	-3.45	-8.37	15.37	-3.55	-3.55	15.37	-8.37	-3.45

表3

在本实施例中使用了v_max＝5个信号对，这些信号对是通过YL_Image和YR_Image在y方向上以具有空间频率0和ω至4ω的卷积核f_y,v卷积计算得出的。当这5个信号对具有最佳的去相关性和相似的振幅时，降噪效果最佳。在这种情况下，SSD_inv(δ)放大了信号，但由于随机相位Δ，SSD_var(δ)的比例同时降低，从而增加了信噪比。与正交函数卷积后，例如与WFT卷积后，会产生去相关信号。信号对振幅的调整是通过使用OTF的归一化来实现的，这样就增加了具有高阶空间频率的信号对的影响。使用与x方向卷积一样已经针对低噪声进行了优化的卷积核是有利的(即，例如，对于k＝2和l＝2，将式(25)和式(26)中的卷积核用于f_y,2至f_y,5，并设置f_y,1＝1)。在这种情况下，会产生特别低噪声的信号，其可用于计算置信信号(见下文)。此外有利的是，根据与x方向卷积核相同的方法确定卷积核，但如前所述，不降低最高空间频率的权重。

下面将介绍通过对应分析器确定视差的方法的实施例。图12为此示出了具有对应分析器1的立体相机2的示意性结构。立体相机2包括拍摄装置22，其具有两个带有相机传感器5的相机20、21以及两个用于对物体4成像的镜头8、9。镜头8、9的主点之间的间距为基线宽度B。为了确定视差δ，数字图像25、26被传输到对应分析器1，并由其计算装置3进行分析。然后根据等式(1)，由对应分析器3确定的视差和焦距f可以确定物体距离Z。为此，存储在对应分析器存储器6中的轮廓矢量(或与这些轮廓矢量相对应的卷积核)与经过校正的图像信号进行卷积。从两幅相对间距不同的数字图像25、26中选取的图像区域的卷积结果由计算装置3相互减去，并进行非线性处理，优选是平方处理。这些经过非线性处理的差值之和为所选相对距离δ得出对应函数SSD(δ)的值。

两台相机20、21的图像数据优选以亚像素精度校正，如上文参照图2所述。如果对信噪比要求较高，校准相机光轴的共平面度是有利的。为此，首先在物体空间中，在至少两个距离中确定两台相机的光轴与平面测试图像的交点位置，通过连接这些交点确定光轴在空间中的位置。在正确校准的情况下，光轴共面并位于对极面上。因此，所有测量距离的交点连线也是共面的。两台相机中的一台配有偏心校准装置(图1)。当连线彼此相错时会产生共面性误差。通过转动镜头进行修正。偏心件使光轴相对于机械轴的位置发生微小变化。进行旋转直到实现光轴共面。在立体相机的运行时间期间，例如由于温度波动或机械冲击载荷等原因，也会出现共面性的校准误差。这种误差可以通过按照下述方法计算近似垂直于对极线，即y方向的视差δ_y，来针对给定距离Z进行折中修正。以亚像素精度测得的平均视差误差δ_y最终被纳入两台相机中一台的校正中，从而校正与视差误差δ_y相对应的偏移。该方法在有限的视差范围内工作，但对许多根据物体位置有精度要求的应用非常有用，例如机器人技术中的定位任务。根据一个实施例，特别规定立体相机设置用于在对应分析器运行期间，为了修正共面性的校准误差，在近似垂直于对极线的方向上额外评估对应图像区域的视差δ_y，并通过图像之一近似垂直于对极线的相对位移，特别是借助于修正校正参数来修正该视差与零的平均偏差，即与理想的对极几何的偏差。在物体宽度Z较大的范围内，这样提高信噪比是有利的。对于小的物体宽度，信噪比通常是足够的。

合适的卷积核通过上述方法确定。特别是，权重g可根据等式(11)和(21)计算。卷积核存储在对应分析器1的存储器中。根据一个实施例，对应分析器设置用于首先根据应用评估图像统计数据，例如通过对比度评估或功率谱评估。随后，对应分析器1选择与图像统计数据相对应的轮廓，例如，在自主运行情况下选择在正常条件下对比度良好的轮廓，或在雾天选择对比度较低的轮廓。由选定的轮廓定义至少一组卷积核。因此，一般来说，用于相同或不同参数化的对应函数和卷积函数的多个轮廓矢量g可以存储在对应分析器1中，和/或对应分析器1可以被设置用于针对运行时间计算一个或多个轮廓矢量g，其中对应分析器1被进一步设置用于确定图像数据的局部或全局功率谱，并且根据局部或全局功率谱将有利的轮廓矢量g用在图像中。也可使用多组不同参数化的轮廓矢量进行计算，并对结果进行比较。因此，可以使用两个或多个不同参数化的对应函数和卷积核进行对应分析，其中计算装置将两个或多个产生的结果结合在一起，或从这些结果中选择部分结果，优选借助于特定的置信矢量。与各个相应的轮廓矢量无关，对于卷积核的集合尤其成立的是，卷积核这样选择，即在确定具有正弦调制强度分布的物体的视差时，该视差与物体在单张图像的图像平面上的横向位移基本无关。这对于空间频率在由搜索图像区域大小决定的采样空间频率范围内的调制来说尤其如此。

为了说明，图16示出了这种由立体相机2的相机20、21记录的物体4，该物体为平面物体，其表面具有正弦亮度调制。该调制沿数字单张图像25、26中相对图像位移的方向进行，因此也沿待确定的视差δ方向进行。在图16的图示中，调制用简单的条纹图案表示。因此，图中所示的调制是简单的矩形调制，而非正弦调制，但定向与正弦调制相同。视差与物体4至立体相机2的距离相关。如果物体4沿正弦状调制方向V移动，也就是沿视差方向移动，但与立体相机2的距离不变，则视差基本不受影响，前提是图案不会引起任何模糊。也可以通过计算的数字图像来检查对位移V的不变性，以验证对理想化图像数据的影响，而无额外噪声。

在下文中将描述一个测试，通过该测试可以展示用本文所述的对应分析器计算出的视差相对于物体上的这种强度调制的微小波动。如上所述，以标准偏差(STD)表示的这种波动为通常小于0.2像素，优选最高0.1像素的距离，而现有技术系统的波动宽度大于0.2，通常在0.2至0.5像素范围内。一般来说，在不局限于本文所述示例的情况下，卷积核优选这样选择，即当在沿对极线位移但保持相对于相机的距离Z的平面物体上确定视差时，在平面物体发生位移时实现了视差测量的局部标准偏差小于0.2像素，或者甚至为0.1像素，条件是该物体具有沿对极线方向的强度调制，特别是包括空间频率范围内的空间频率，或具有相应的纹理。

现在对一个平面物理测量物体进行两次测量，该测量物体带有纹理，该纹理在图像平面上包含空间窗口内的空间频率(对于8x8环境，空间频率ω＝2Pi/9至2Pi/5)。纹理垂直于对极面施加，例如cosωx，该物体在图像中被正确调制，振幅约为80％。该测量物体为平面的。

在静止的物体上进行多次测量，例如在测量物体的第一位置进行100次测量。传感器产生噪声。借助于测量，可以计算出标准偏差σ_δ和平均值δ_mean,1。可在同一测量物体的另一位置上重复测量。

现在，物体平行于成像平面并沿对极线多次少量移动，使其到测量区域内立体相机2的距离不变。然后，在测量物体的该第二个位置和其他位置进行例如100次测量，计算σ_δ和平均值δ_mean,nn＝2...10。对其他位置重复进行。然后计算δ_mean,n n＝2...10的STDσ。如果标准偏差σ的该值小于0.2像素，或者在良好的条件下甚至小于0.1像素，那么这就是这里描述的对应分析器或配备了该对应分析器的立体相机的典型特征。

如上所述，对应分析器通过离散乘法/加法进行卷积。在本实施例中说明了在8x8px²环境下进行的卷积，其中在x方向上u_max＝4个卷积核(表4)，在y方向上v_max＝5个卷积核(表5)。u_max等于k_max和l_max之和，在本实施例中，其分别具有2的值。表4中的卷积核对应于表2中的卷积核。表5中的卷积核由表4中的u_max个卷积核和空间频率0的卷积核f_y,1组成。

表 4

表5

在数码相机图像中，x和y位置的像素反映了x+0.5和y+0.5像素邻域内的值，这就是卷积核的指数从-3.5到3.5相应匹配到-4到3的原因。当如本例所示卷积核的大小为偶数时，有效测量点会发生偏移，因此在使用等式(1)计算三维数据时，x'和y'会相对于测量位置偏移半个像素。在将来自YL_Image的颜色值或灰度值分配给三维数据时，必须考虑类似的修正。

如等式(27)所示，计算装置通过卷积核为左或右校正相机图像(YL_Image或YR_Image)中的每个图像坐标x,y计算一组u_max*v_max特征(FL_u,v或FR_u,v)。

(27)

在下文中，每个图像坐标的特征的该集合称为特征矢量。在空间频率范围内，特征矢量包含亚像素精度视差测量所需的信号。由于SSD'(δ)在对极线方向上的后续微分，缺失这样的信息，其导致除了正确的测量值外，还会产生多个假阳性测量值(候选项)。因此，处理分两步进行：

-噪声优化的视差计算

-对正确测量值的候选项进行噪声优化选择

根据一个实施方案，如式(28)所示，通过额外或同时计算的置信矢量KL_v和KR_v来进行候选项的降噪选择。

这些置信矢量不包含任何视差信息，而是用于估计视差测量的质量。例如，卷积核f_Konf可以由高斯函数构成，以便将邻近信号一并包含在置信矢量中。作为通过v_max个信号计算置信矢量的替代或者补充，例如式(28)所示，还可以使用来自参考图像区域和搜索图像区域的其他信息，例如参考图像区域和各个相应搜索图像区域亮度数据之间的归一化交叉相关系数。

根据置信矢量选择视差候选项也可以独立于确定对应函数的方式使用。重要的是从参考图像区域和搜索图像区域中确定若干视差候选项，然后使用置信矢量对这些视差候选项的有效性进行评估。因此，无论采用哪种具体的视差计算方法，都可以设置一种对应分析器1，用于确定两个数字单张图像25、26中相应图像元素的视差，该对应分析器包括计算装置3，其设置用于

-分别从两个单张图像25、26中选择图像区域，其中一个单张图像中的至少一个图像区域被选为参考图像区域，并且在另一个单张图像中选出搜索图像区域，并从这些图像区域中计算一个视差值的多个候选项，计算装置3被进一步设置用于从参考图像区域和搜索图像区域中选择信息，该信息尤其是未被对应函数或其1次导数传递，并利用该信息选出对应函数结果的置信矢量或可能的视差值，该置信矢量或视差值适用于估计各个相应结果是否表明各搜索图像区域与参考图像区域的实际对应关系。然后可以根据置信度值选择视差值的一个候选项。相应地，在扩展方案中规定，计算装置3设置用于生成特定参考图像区域的视差值候选项的列表，优选地为每个候选项选择置信矢量，并且根据置信矢量和/或其它选择标准选择这些候选项的全部或部分为有效，或者没有候选项被认为对特定参考图像区域有效。也可以进一步使用或扩展在其他地方确定的置信矢量。

在本实施例的扩展方案中，计算装置3被设置用于通过函数选择置信矢量的至少一个元素的值，这些值至少对于某些类别的参考图像和搜索图像区域，能够以比单独使用对应函数更高的概率将候选项分类为有效或无效。如果仅使用对应函数，则可以通过比较对应函数的最小值并选择最清晰的最小值来将候选项确定为正确。为了避免潜在的噪声源，优选将对应函数设计成抑制视差计算不需要的信息。通过置信度函数，例如这些被抑制的信息可以在选择候选项时再次被考虑，而它们不会影响视差计算。具体来说，计算装置可以通过一个或多个以下特征来选择置信矢量的元素的值：

-候选项在位置δ_p处的对应函数SSD(δ_p)与从参考图像区域的所有候选项的对应函数极值得出的阈值之间的关系或差值，

-灰度值关系，优选是参考图像区域的一部分与各个相应搜索图像区域的一部分之间的灰度值差异，或由这些灰度值差异得出的特征，

-颜色关系，优选是参考图像区域的一部分与各个相应搜索图像区域的一部分之间的颜色差异，或由这些颜色差异得出的特征，

-参考图像区域中的信号强度与各个相应搜索图像区域中的信号强度的关系，

-参考图像区域一部分的数据和各个相应搜索图像区域一部分的数据之间的归一化交叉相关系数，分别近似垂直于对极线，其中

这些特征优选近似沿对极线或在图像的x方向上进行微弱的低通滤波，以避免噪声。

这些关系也可以是非线性的。因此，各个相应变量，如颜色或灰度值，也可以进行非线性处理。例如，可以计算灰度值的平方差，而不是灰度值的线性差。此外，输入数据可以已经进行了非线性处理，和/或在确定置信矢量的值时进行非线性处理。

计算装置3也可以设置用于向对应分析器或计算装置的用户提供候选项列表，优选只提供有效候选项的列表，优选连同各个相应的置信矢量。例如，可以通过合适的接口，如数据输出口或屏幕来实现。这样，各种置信度标准等可以与三维坐标的确定质量相匹配和调整。根据一个实施例，置信度值可以有利地根据SSD的值通过输出低通滤波器进一步过滤。特别是，输出低通滤波器可以与根据一个实施例也用于对应函数SSD(δ)的值的滤波器相同。这使得使用相同的硬件结构进行两种低通滤波成为可能。此外，用于对应函数值的输出低通滤波器可以包括分别对应的置信度值作为该过滤的加权。在低通滤波之前，也可以用置信度值对视差值进行加权。因此，另一种可能性是用低通滤波器过滤由置信度值加权的视差值。因此设定，将计算装置设置用于用低通滤波器过滤计算出的视差值和/或置信度值。

特征矢量和置信矢量是针对整数像素坐标上的离散图像位置计算的。计算装置3同样在视差的整数值δ_p处将SSD(x,y,δ_p)累加，如等式(29)中的实施例所示，从而形成特征差的平方和。

(29)

这种对应函数SSD(x,y,δ_p)的计算由计算装置针对预期视差范围内视差的多个、尤其所有可能整数值δ_p进行，并确定对应函数SSD(x,y,δ_p)的局部极值。SSD(x,y,δ_p)的典型示例曲线如图13所示。离散函数SSD(x,y,δ_p)的一阶导数SSD'(x,y,δ_p)和二阶导数SSD”(x,y,δ_p)的定义如式(30)所示。根据一个实施例，如果满足等式(31)中的条件，则δ_p值被认为是局部最小值。

(30)

(31)SSD′(x,y,δ_p)<0∧SSD′(x,y,δ_p+1)≥0

此外，对应分析器1或其计算装置确定差值SSD'(x,y,δ_p)和局部最小值，并且局部最小值由这些差值的符号变化表示。由局部极值，特别是对应函数SSD(x,y,δ_p)在视差δ_p处的最小值，在一个优选的实施例中，组视差的亚像素精确的值δ_sub可由计算装置计算出来，如式(32)中的方程所示。

(32)

由于已经说明的对组视差函数的优化，等式(32)中使用的抛物线插值是可能的。在位置处计算对应函数的亚像素精确的值δ_sub是非常有利的，例如类似于公式(32)。

(33)

δ_sub可以由SSD'(x,y,δ_p)的值确定，而该值又可以直接由特征计算出，如等式(33)所示。这可以是有利的，因为与根据等式(29)进行的计算相比，在使用浮点数时较小的字宽或较小的精度足以进行该计算。因此，根据该实施例，计算装置3被设置用于使用关系式(33)计算与局部极值相邻的组视差的亚像素精确的值δ_sub，其中δ_p表示对应函数的像素精确局部极值，并且SSD'(x,y,δ_p)表示对应函数SSD(x,y,δ_p)的导数。

根据一个实施例，对应分析器存储由计算装置确定的实际视差δ_sub在位置δ_p处的局部最小值的候选项列表。这些分别针对位置δ_K处的最小值的候选项优选补充有一些属性，如可通过SSD”(x,y,δ_K)表示的视差信号的信号强度、等式(34)所示的置信函数KSSD(x,y,δ_K)的值以及左右相机图像中各自环境之间的平均亮度或颜色差异。KSSD(x,y,δ_K)仅使用表4中x方向卷积核卷积确定的信号v。f_Konf在此是仅被x方向的位移少量影响的卷积核，例如高斯滤波器。

(34)

一般来说，在一个实施例中设定，给视差的候选项分配置信度，并比较置信度，其中一个或多个具有高置信度值的候选项被认为是有效的，并被进一步处理。反之，如果有必要，视差的至少一个与一个或多个其他候选项相比置信度较低的候选项将被筛除，即不做进一步处理。因此，计算装置3可以设置用于确定候选项的置信度，该置信度基于一个标准，该标准基于与各个相应参考点的功率谱比较的SSD(δ)、SSD(δ)的二次导数、候选项环境中与参考点环境相比的灰度值或颜色值平均值，以及选择性的其他测量值，然后将这些置信度值与代表冲突测量结果的其他候选项的置信度值进行比较，在这些比较中，只有置信度值明显较高的候选项被认为是有效的。因此，将计算出的置信度值相互比较，并根据比较结果将至少一个视差候选项确定为有效的。该确定可通过进一步处理该视差值或筛除视差值的一个或多个其他候选项来实现。

根据一个实施例，对应分析器的计算装置3包括至少一个FPGA和/或至少一个GPU，可能也包括多个这样的单元。也可以使用可一次重新配置计算装置(eASIC)或非可重新配置计算装置(ASIC)来代替可重新配置FPGA。

图14和图15示出了对应分析器1在FPGA上作为计算装置3的一个组件的示例性实现原理。在校正图像YL_Image和YR_Image中在相同的行y₀上分别沿行方向同步位移一个窗口。这导致两个同步数据流FL和FR，如图14所示。对于每个位置x，这些数据流由u_max*v_max特征(等式(27))组成，分别表示为FL0到FL19和FR0到FR19。δ_start等于期望视差范围的下限。如果YR_Image没有覆盖YL_Image中位于位置x₀的像素的整个视差范围，这种情况的处理是微不足道的，将不再考虑。

在图15中的ΔFR模块中，通过2个加法器30和延迟单元τ，其附图标记为32，由数据流FR形成项FR_u,v(x₀+δ_p,y₀)+FR_u,v(x₀+δ_p-1,y₀)和FR_u,v(x₀+δ_p,y₀)-FR_u,v(x₀+δ_p-1,y₀)。下面对对应分析器1或其计算装置3的一个模块进行说明。从数据流FL中，示例中具有20个特征的矢量在起始时间从地址x₀复制到双端口RAM 34(BUF)中，然后重复读取。在起始时间，数据流FR从地址x₀传送特征。DSP36(例如XILINX DSP48E1)从起始时间开始计算函数值SSD'(x₀,y₀,δ_p)，类似于等式(33)那样针对预期视差范围内的每个整数的δ_p。对于相邻地址x₀+1和随后的每个地址，使用双端口RAM 35和另一个DSP 37，其操作类似于第一个DSP 36，但针对YL_Image中行上的不同坐标。已经通过视差范围的DSP可以再次使用。

函数值SSD'(x₀,y₀,δ_p)然后由第一滤波器处理器进行评估。如果等式(31)中的联立等式(x＝x₀和y＝y₀)为真，则在位置δ_p处存在SSD(x₀,y₀,δ_p)的最小值。对于这些最小值，将确定亚像素精确的组视差值δ_sub。这些最小值代表了组视差值的候选项。

因此，在一个实施例中设定，计算装置被设置用于生成视差值候选项列表。随后，相应设置的计算装置可根据至少一个选择标准选择一个有效的视差值。

在本实施例的进一步发展中，第二个可能的滤波器处理器为此目的使用了视差信号的信号强度，即对应函数的二阶导数SSD”(x₀,y₀,δ_p)。对于YL_Image和YR_Image，预期信号强度也可以单独确定为ACFL(x₀,y₀)和ACFR(x₀,y₀,δ_p)(等式(35))，这样在计算对应函数之前就可以非常近似地知道信号强度的预期值。信号强度在所有v_max信号对上累加。下面，用阈值thr_L1、thr_L2、thr_R1、thr_R2、thr_A1和thr_A2测试ACFL、ACFR和SSD”(x₀,y₀,δ_p)的关系(等式(36))。

(35)

(36)

这些测试可简化地理解为对组视差的累积信号强度的测试，或对两个相机图像中的累积信号强度的测试。根据本实施例，计算装置设置用于形成视差信号的信号强度和图像区域的关系，并作为选择标准将其与阈值进行比较。

考虑到相机的实际公差，例如，当将所有阈值设置为值2时，测试过滤位置δ_p处的大部分错误候选项，而不会抑制大部分正确值。

第三种可能的滤波器处理器确定与信号强度相比归一化的值SSD_norm(x₀,y₀,δ_p)(等式(37))，然后可以将其与阈值进行比较。

(37)

阈值可以理解为噪声的限值，例如，在20个特征、假定每个特征的平均偏差为10％时，阈值为0.2。超过阈值的位置δ_p处的候选项被移除。替代等式(37)中的FL_u,v(x,y)也可以类似地使用FR_u,v(x,y,δ_p)。同样，也可使用具有KSSD(x₀,y₀,δ_p)的类似的归一化值的测试进行过滤。因此，这里使用的选择标准是将归一化到对应于视差候选项的图像位置处的局部信号强度的对应函数与阈值进行比较。一般而言，本实施例基于以下事实：计算装置被设置用于形成归一化到至少一个单张图像在各个相应图像位置处的信号强度的对应函数，或将对应函数以信号强度归一化，并将视差候选项的对应函数的归一化值与阈值进行比较。如果超过阈值，该候选项将被筛除。

第四种可能的滤波器处理器使用等式(34)中的置信函数KSSD(x₀,y₀,δ_p)。由于前面提到的对f_Konf的适当选择，其只对δ_p的微小变化，即在x方向上，有轻微的依赖性。通过在KSSD(x₀,y₀,δ_p)中将x方向的噪声优化的卷积核的组视差用于y方向的卷积，KSSD(x₀,y₀,δ_p)因此噪声优化地测量y方向的视差。由于YL_Image和YR_Image是经过校正的，因此在理想系统中，如果x方向的视差正确测得，则y方向的视差必须为零。应用到实际立体相机和本实施例中，这意味着位置δ_K处正确候选项的KSSD(x₀,y₀,δ_K)与位置δ_A处其他候选项的KSSD(x₀,y₀,δ_A)相比必须最小。这可用于过滤候选项并选择正确的候选项。相应地，该滤波器处理器基于以下实施例：计算装置被设置用于生成视差值候选项列表，并基于至少一个选择标准将一个视差值选择为有效，其中为候选项计算置信函数值，并选择置信函数值最低的候选项为有效。因此，选择标准是置信函数的值，该值取决于y方向，即垂直于对极线方向的视差。

另一个可能的选择标准也是色差或由色差衍生的特征。一般来说，为了在确定实际视差时获得较高的确定性，可以累加确定多个选择标准。

将置信函数KSSD(x₀,y₀,δ_p)与对应函数SSD(x₀,y₀,δ_p)分开处理，对于组视差的噪声优化而言是关键的。垂直于相机基线的矢量计算的置信函数不会为组视差的测量提供自身的信号贡献，并且在类似于交叉相关的联合各向同性处理的情况下会提供额外的噪声贡献。

第五种可能的滤波器处理器是在位置δ_K处进一步提取候选项的上述属性，并将其与阈值进行比较。例如，两个相机图像中图像区域之间的如此假定的最大亮度差异或颜色差异可用作滤波器。

第六种可能的滤波器处理器为参考图像区域的所有搜索图像区域确定对应函数的全局最小值，即所有候选项在位置δ_K的SSD(δ_K)的最小值，从中得出阈值，并筛选出其SSD(δ_K)超过该阈值的候选项。在图13所示的示例中，阈值用虚线表示。

上述滤波器处理器可以任意顺序连接或并行执行，并将候选项的数量减少到足够低的值，以便将整行(Zeile)的视差值，优选是亚像素精度的值δ_sub，存储在存储器中并进行合并。也可以在计算对应函数之前应用独立于对应函数计算的滤波器处理器，并且必要时，在为搜索图像区域确定对应函数值或其1次导数之前，筛除该搜索图像区域。

上述滤波器处理器使用的值，如SSD_norm(x₀,y₀,δ_p)，可以加权的形式与KSSD(x₀,y₀,δ_p)一起形成每个候选项的置信度值或置信矢量K。如果多个候选项对图像中相同或不同坐标的测量结果相互矛盾，则可以使用这样的置信矢量K来找到可能正确的候选项，并过滤掉置信度较低的候选项。例如，如果K由SSD_norm(x₀,y₀,δ_p)和KSSD(x₀,y₀,δ_p)组成，则K值最小的候选项可能是最佳候选项，其他相互矛盾的候选项可以被移除。

通过计算装置3可使用以下关系之一：

来确定局部极值或搜索图像区域具有视差δ_p的位置处的对应函数的1次导数的零点附近的组视差的亚像素精确的值δ_sub。然后，该亚像素精确的值可从对应分析器输出，用于进一步处理或显示。这里δ_p-1是搜索图像区域序列中相对于δ_p的搜索图像区域前一个的视差。δ_p+1是搜索图像区域序列中相对于δ_p的搜索图像区域后一个的视差。

δ_p-1尤其是δ_p的前置值，因此表示在对极线上位于视差为δ_p的搜索图像区域之前的搜索图像区域的视差，而δ_p+1是δ_p的后置值，因此表示在对极线上位于视差为δ_p的搜索图像区域之后的搜索图像区域的视差。

如上所述，作为计算对应函数SSD(δ_p)的替代或者补充，还可以计算其导数SSD'(δ_p)，并根据该导数确定视差δ。因此，在本公开的另一个方面中，设置了一个对应分析器，该对应分析器用于基于以下关系确定对应函数的1次导数SSD'(δ_p)：

其中δ_p-1是搜索图像区域序列中相对于δ_p的搜索图像区域的前一个的视差，特别是表示在对极线上位于视差为δ_p的搜索图像区域之前的搜索图像区域的视差，而FL_u,v表示信号YL_Signal,v与u_max个卷积核集合中标识为u的、用于卷积信号的卷积核卷积的结果，FR_u,v(δ)表示具有视差δ的搜索图像区域的信号YR_Signal,v与标识为u的卷积核卷积的结果。这大大减少了计算量，尤其是在使用FPGA处理器和用于GPU实施时。字宽也大大减少(特别是在9比特的MAC中)。

在下文中，处理过程被由两个对应分析器组成的系统共享，其中一个高频过程用于根据纹理精确检测表面细节，另一个低频过程用于在没有纹理的情况下根据漫反射评估近似检测表面。

低频过程

在第一个平行过程中，根据对应分析器1的一个扩展方案，计算装置3处理在先前的低通滤波后分辨率降低的图像对，在具有1/4分辨率的实施例中，像素数量降低了16倍。该过程使用一个或多个权重矢量g_LF，该权重矢量针对检测漫反射的基本低频的空间频率(“low frequency”，LF)经过优化，并存储至少一组卷积核，用于x方向和y方向的卷积。如上所述对两幅图像进行卷积，以产生低频过程的特征矢量或数据流FL和FR。根据图15，使用对应分析器对数据流进行处理。借助上述滤波器处理器以及必要时的进一步相邻滤波器，确定坐标x,y处的视差δ的有效候选项，从而形成具有降低分辨率，例如1/4像素，且测量精度降低的LF视差图。然后，LF视差图用于预测随后高分辨率分析的视差范围。

高频过程

在第二个平行过程中，根据对应分析器的一个扩展方案，高分辨率图像对直接由计算装置3的第二个相同构造的部分处理。第二过程优选相对于第一过程在时间上延迟，以便能够将LF视差图的形式的第一过程的计算结果用于预测视差范围。为此目的，可以将计算装置设置用于使用通过利用第一对应函数的对应分析确定或估计的视差值来预测利用第二对应函数的对应分析的结果或对其进行控制，其中第二对应函数通过适当选择的参数或卷积函数从图像区域传输比第一对应函数更高频率的信号分量。

在典型的相机公差中，高频过程借助于在相对于LF视差图的视差值+/-4像素的视差范围内的预测来进行。如果对于某个坐标，LF视差图不包含有效候选项或仅包含低置信度候选项，则高频过程可为该坐标分析最大预期视差范围。第二过程使用一个或多个在考虑到相机的OTF的情况下针对纹理检测进行优化的权重矢量g_HF，并存储至少一组卷积核，用于x方向和y方向的卷积。如上所述，对两幅图像进行卷积，得到高频第二过程的数据流FL和FR。进一步处理类似于第一过程。

最后，考虑到分别所达到的置信度，将第一和第二过程的结果合并为一个组合的视差图。一个合适的置信度度量是前面提到的置信矢量K，在此特别有利的是同时包括累积信号强度(例如ACFR(x₀,y₀,δ_p),等式(35))，这样信号强度低的坐标中的测量结果的置信度也会降低。如果一个坐标的测量结果在第一低频过程和第二高频过程中的置信度都很高，则使用第二过程的结果，因为它们可能具有更高的测量精度。如果对于一个坐标，只有第一过程给出了高置信度，则使用其结果。如果对于一个坐标，第一过程只提供了低置信度，那么如上所述，第二过程可以分析整个预期视差范围，如果其结果具有高置信度，则可以使用。此外，如前所述，可以根据置信度过滤相互矛盾的测量结果。

最后一步是输出低通滤波。为此，首先将优选由结果δ_sub组成的组合视差图根据等式(1)转换为笛卡尔坐标，然后使用高斯滤波器进行内插。这样就得到了一个在x,y平面上等距的栅格，图6a为使用滤波器前的栅格，图6b为使用滤波器后的栅格。这一过程也称为重采样。

在目前的实施例中，为了简单起见，假定用于视差确定的图像区域的信息的加权相同，无论它们位于各个相应图像区域的何处。然而，通过加权函数W(x)进行可能不均匀的加权也是可能的，并且可以如式(40)所示集成到信号模型中，作为式(6)的扩展。

(40)

加权函数可以是任何形式或数值，例如可以使用等式(41)所示的函数，它类似于高斯滤波器。其使得图像区域中心的信号权重比图像区域边缘的信号更大，因此前者对视差确定的相对影响大于后者。例如，对于均匀加权，W(x)具有一的恒定值。

(41)

在加权函数选择合适的情况下，必要的卷积核可以根据前面描述的方法确定，必要时可以对积分进行数值计算。例如，使用式(41)，矩阵AEV和AOD根据参数ρ的选择而改变，但后续步骤类似。尤其需要注意的是，卷积核仍旧包括多个偶或奇谐函数的加权和，但通过使用加权函数，它们也以这样的方式被确定，即它们同时还包括所选的加权函数。在不局限于某些实施例的情况下，例如根据式(41)的特殊加权，在一个扩展方案中设定，至少一个，优选是所有的卷积核均包括加权函数，尤其是这样的加权函数，该加权函数适用于允许来自图像区域不同部分的信息以不同强度流入对应分析，尤其是流入视差的确定。

在从图像区域的数据中确定信号时，也可以进行加权。图17显示了图像区域信息的加权结果，其中分图(a)显示了均匀加权，为了更好地表示，均匀加权被切割成8x8的图像区域，分图(b)显示了使用具有半值宽度ρ为3.5像素根据等式(41)的加权，既包括确定信号，也包括进一步处理信号时。

高斯形式的加权函数对于增加三维对比度具有实际意义，简单地说，就是将测量集中在图像的部分区域，例如中心。因此，由于例如通过图17分图(b)中的加权函数进行加权，存在较少或较弱的信息用于视差确定，但所使用的信息在示例中更接近所需的测量位置。在信噪比较好的情况下，例如物体光照良好、有纹理且相机图像聚焦良好时，可以使用这种方法，从而可以在不平整的物体表面的情况下或靠近物体边缘的位置导致更精确的视差测量。因此，加权函数也可根据对物体或拍摄特性的了解进行适当选择，例如，通过适当选择半值宽度或参数ρ。ρ越小，测量就越集中于部分区域。相反，在信噪比较差的图像区域，例如在雾中，均匀加权函数或参数ρ值较大是有利的。

如上所述的高斯加权是一个可能的实施方案，其中靠近加权图像区域重心的图像元素的权重高于边缘图像部分的权重。因此，一般来说，根据另一个实施例设定，滤波核中的至少一个包括加权函数，该加权函数使得图像区域中靠近以该加权函数加权的该图像区域的重心的部分的权重比远离该重心的部分的权重更大。这里，重心尤其又可以是图像区域的几何重心。如上所述，加权可以根据图像的特性进行改变或选择。为此目的，在一个扩展方案中通常设定，计算装置设置用于根据图像特性，尤其是信噪比或由先前测量确定的或看起来可信的、图像区域内或附近的深度信息的跳跃来选择加权函数。例如，如果这种跳跃已经针对最小数量的相邻图像区域或像素根据视差的走向确定，那么深度信息内跳跃的可信性可以被给出和针对图像区域确定。例如，如果至少有两个相邻的像素具有这种深度信息的跳跃，则可以改变权重。

如果加权函数这样选择，使得在一个图像区域中加权函数的重心与该图像区域的重心不同，那么在确定对应函数SSD(δ_p)时，参考图像区域与搜索图像区域的距离δ_p根据这些图像区域中的加权函数的重心确定是有利的。在计算加权函数的重心时，与质量或局部密度相对应的加权函数的函数值被用于计算质量重心。换句话说，加权函数的重心与加权图像区域的重量重心相对应。

对于利用高斯分布的加权，ρ＝3附近的区域对于8×8像素大小的图像区域尤为重要。因此，在不局限于所示示例的情况下，在一个扩展方案中通常设定，卷积核中的至少一个包含加权函数，其函数值具有半值宽度，半值宽度小于图像区域宽度的2/3，优选小于图像区域宽度的一半。在这里，加权函数变化的方向的宽度是决定性的。在图17的示例中，这可以是x方向和y方向。

如前所述，对三维数据或数据中被确定为有效的视差进行低通滤波是有利的。在本发明的替代或附加的实施方案中，通过对各个相应参考图像区域的对应函数SSD(δ_p)的计算出的函数值以附近的参考图像区域位于相同位置δ_p的对应函数进行可能加权的平均或类低通的滤波，在确定视差δ之前就计算平均对应函数，也被证明是有利的。因此，在对应分析器的一个实施例中通常设定，计算装置3设置用于为参考图像区域执行平均，特别是该参考图像区域的对应函数SSD(δ_p)的值与多个其他参考图像区域，特别是相邻参考图像区域的对应函数SSD(δ_p)的值的算术平均或加权平均，并根据本公开进一步处理该平均对应函数，特别是计算和输出在位置δ_p处的视差的亚像素精确的值。

等式(42)显示了平均对应函数SSD_Avg的示例，其使用参考图像区域的3x3环境并对其进行均匀加权。在接下来的执行步骤中，将使用SSD_Avg函数代替SSD函数。

(42)

多个参考图像区域的对应函数的这种组合可能会略微降低曲面或不平整表面上可实现的三维对比度，但对应函数也包含至少部分去关联的干扰，如量子噪声或像素伪影，在信号处理的线性部分中，这种平均或低通滤波有利地将其减弱。由于在为组视差应用卷积核和计算对应函数之后应用滤波等因素，该滤波不同于在计算SSD之前的低通滤波，例如在根据Gabor的方法中那样。特别是，这种滤波也在亚像素插值之前进行，通过亚像素插值确定视差的准确位置，因此不同于输出低通滤波器。

此外，SSD_var，即对应函数的变化部分中存在干扰。这些干扰可以通过平均多个对应函数来特别有效地降低，因为在信号处理的这一点上，它们仍部分相关。这使得低通滤波特别有效。由于亚像素插值通常是非线性的，因此在计算视差之后，这种特性就不复存在了，而且也不以这种形式出现在计算对应函数之前，因此代表了这种滤波的特殊特性。在一个扩展方案中，对低通滤波器进行优化配置，使空间频率4ω仅被轻微降低，而高于4ω的空间频率分量被强烈降低。

与所公开的有利实施例的偏差通常会导致更多的噪声或不同的低质量视差测量。例如前面提到的卷积核系数的偏差，参考图像区域的信号和多个搜索图像区域的信号用不同的卷积核卷积，使用重心不对应图像区域内所期望的测量点的加权函数，或者使用包括偶函数或奇函数的卷积核，其坐标原点不位于图像区域内加权函数的重心位置，或者在均匀加权的情况下不位于图像区域的重心位置。这种偏差通常会导致视差测量失真。然而，结合对应函数的平均化或低通滤波，这种或类似种类的偏差在某些情况下可以得到建设性的利用。例如，对不同的参考图像区域使用不同的卷积核、权重函数的不同重心或具有不同坐标原点的卷积核。一般来说，如上述实施例中，相对于其卷积核的函数为偶函数和奇函数的坐标原点不一定位于各个相应图像区域的中心，而是一般可以位于图像区域的中心之外。在此有利的是，这样选择这些偏差，使得可以使各个由此可预期的视差测量误差在统计上相加为零，或相加并根据对应函数的平均可能权重进行加权。对应函数的噪声，特别是SSD_var的噪声，取决于各个相应的视差等因素，因此，通过适当的选择，可以将这些偏差部分去相关化。本文所揭示的布置和信号模型构造为使得对应函数极值附近的SSD_var通常类似于基本奇函数。这使得对应函数的平均特别适用于减少由于统计误差累积而产生的噪声。

如上所述，较小的相机增益公差通常不会导致噪声，其中相机之间较大的对比度差异，特别在不同的OTF下，则无法补偿。因此，由于真正的立体相机通常具有相机传递函数公差，参考图像区域信号卷积结果的振幅不一定等于相应搜索图像区域信号卷积结果的振幅。在此位置，对应函数SSD的值与零不同，这可能会在所确定的视差中产生额外的噪声。图像区域信号卷积结果的振幅矢量可通过图像区域的信号强度进行估算。因此通过信号强度对这些卷积结果进行归一化处理是有利的，例如将卷积结果除以信号强度，因为这可以减少振幅之间的差异。

因此，在对应分析器的一个实施例中通常设定，计算装置设置用于将一个、优选是所有图像区域的信号的至少一个、优选是所有卷积结果以一个值进行归一化，该值与相应图像区域的信号强度相关，特别是用于对应分析的该图像区域信号的信号强度。

在具有数字图像的实施例中，信号强度可以通过对应函数，借助图像与自身比较的二阶导数进行估算。因此，借助于等式(30)和(29)，信号强度可以作为来自等式(35)的ACFL或ACFR的根来确定。

根据本发明的一个扩展方案设定，计算装置设置用于使从左右相机的图像数据中计算出的特征中的至少一个、优选是全部特征以该相机图像中相应位置的各个相应信号强度归一化，然后特别是用以这种方式归一化的特征进行进一步计算。这种进一步的计算尤其包括确定对应函数的一个或多个最小值。由此信号的相似性增加，信噪比提高，并且SSD的相对最小值接近目标值0。替代根也可以使用近似解。此外，当特征如上所述被归一化，并且没有其他干扰时，SSD”会收敛到1。这一特性也可用于后面的置信度分析。

附图标记说明

1 对应分析器

2 立体相机

3 计算装置

4 物体

5 相机传感器

6 存储器

8,9 镜头

10 镜头架

11,12 偏心元件

13螺钉

20,21相机

22拍摄装置

25,26数字图像

30 加法器

32 延迟单元

34,35双端口RAM

36,37DSP

98,99对极

101 三维点

102 对极面

103,106图像点

104,105图像

107对极线

Claims

1.对应分析器(1)，用于确定视差δ，由此确定两幅数字单张图像(25、26)中相应图像元素的位移，包括

-计算装置(3)，所述计算装置设置用于，

-从两个单张图像(25、26)中分别选择图像区域，其中一个单张图像的图像区域被选择为参考图像区域，

并且

在另一个单张图像中选择搜索图像区域的序列，并且

-从参考图像区域生成多个信号YL_Signal,v，并从搜索图像区域分别生成多个信号YR_Signal,v，以及

-将参考图像区域的多个信号YL_Signal,v与存储在存储器(6)中的偶数的和奇数的空间窗口中的卷积核进行卷积，其中偶数卷积核包括不同空间频率的多个偶谐函数的加权和，奇数卷积核包括不同空间频率的多个奇谐函数的加权和，

-并且对于每个搜索图像区域，将信号YR_Signal,v与存储在存储器(6)中的空间窗口中的卷积核进行卷积，以及

-将其中一个局部极值或其中一个过零点的位置δ_p作为视差δ输出，或者

-计算或者输出位置δ_p处的视差的亚像素精确的值。

2.根据前述权利要求所述的对应分析器(1)，其中对于存储在存储器(6)中的卷积核而言，以下特征中的至少一个成立：

-卷积核的选择方式为，在信号模型中，对于空间频率范围内的每个信号v，k_max偶函数和l_max奇函数的卷积运算分别传输与一组振幅为A_m的空间频率的加权信号分量的和，使得在对应函数SSD(δ)中，对每个信号v和每个标号为m的空间频率形成两个部分和，第一部分和具有偶函数卷积运算结果中的特征在于平方振幅A_m ²的项，第二部分和具有奇函数卷积运算结果中的特征在于平方振幅A_m ²的项，并且第一部分和与第二部分和根据三角勾股定理进行组合，从而使两个部分和的总和SSD_inv(δ)与物体相位Δ_m无关，

-卷积核这样选择，即在确定视差时，当位移一个平面物体时，视差测量的位置标准偏差小于0.2像素，甚至小于0.1像素，该平面物体具有沿对极线方向的强度调制，特别是包括空间频率范围内的空间频率，或相应的纹理，其中物体的位移发生在离相机恒定距离Z处并沿对极线进行。

3.根据前述权利要求中任意一项所述的对应分析器(1)，

其特征在于，具有以下特征中的至少一项：

-在空间范围内这样选择卷积核，即在信号模型中，对于空间频率范围内的每个信号v，k_max偶函数和l_max奇函数的卷积运算分别传输与一组振幅为A_m的空间频率的加权信号分量的和，使得在对应函数SSD(δ)中，对于每个信号v和每个标号为m的空间频率，形成两个项，其中，第一项是平方振幅A_m ²、第一常数和平方正弦函数的乘积，第二项是平方振幅A_m ²、第二常数和平方余弦函数的乘积，并且第一常数和第二常数的值相等或在+/-20％的容差范围内相等，

-至少一个，优选是所有的卷积核均包括加权函数，该加权函数适用于允许来自图像区域不同部分的信息以不同强度流入对应分析，尤其是流入视差的确定，

-滤波核中的至少一个包括加权函数，该加权函数使得图像区域中靠近以该加权函数加权的图像区域的重心的部分的权重比更远离该重心的部分的权重更大，

-计算装置设置用于根据图像特性，尤其是信噪比或由先前测量确定的或看起来可信的、图像区域内或附近的深度信息的跳跃来选择加权函数。

4.根据前述权利要求中任意一项所述的对应分析器(1)，

其中，所述计算装置(3)设置用于

-通过近似垂直于对极线对参考图像区域的数据进行卷积运算，从参考图像区域生成多个v_max信号YL_Signal,v，并通过近似垂直于对极线对相应搜索图像区域的数据进行卷积运算，从搜索图像区域分别生成多个v_max信号YR_Signal,v，其中生成信号的卷积运算以及k_max偶函数和l_max奇函数的卷积运算在信号模型中以如下方式选择，即后者卷积运算分别传输与多个空间频率的加权信号分量的总和，在下文中通过标识m的不同值标出，并且

-对于每个信号，在对应函数SSD(δ)中形成第一部分和，第一部分和的项与对象相位Δ_m无关，并形成第二部分和，第二部分和的项取决于对象相位Δ_m，其中

-在每个v_max信号的第一部分和的累加时，形成构造性累加，其中各个项不相互补偿，以及

-在每个v_max信号的第二部分和的累加时，形成统计性累加，其中这些有噪声的分量至少部分地在统计上相互补偿。

5.根据前述权利要求中任意一项所述的对应分析器(1)，

其特征在于，

-k_max偶数卷积核的信号形状近似由具有傅里叶系数c_k,n的傅里叶级数描述，并且l_max奇数卷积核的信号形状近似由具有傅里叶系数s_l,n的傅里叶级数描述，其中n是各个相应傅里叶级数的相应空间频率的标号，并且

-对于这样传输的每个空间频率m和相应的轮廓矢量权重g_m，傅里叶系数c_k,n和s_l,n是以下非线性方程组的解：

其中，系数AEV_n,m和AOD_n,m在对于标识m和n分别有4个值的情况下由以下矩阵确定或与所述矩阵的值分别以0.8至1.2的系数有偏差：

6.根据前述权利要求中任意一项所述的对应分析器(1)，

其特征在于，基于以下关系确定对应函数SSD'(δ_p)的1次导数：

其中δ_p-1是搜索图像区域序列中相对于δ_p的搜索图像区域的前一个的视差，并且FL_u,v表示信号YL_Signal,v与u_max个卷积核集合中标识为u的、用于卷积信号的卷积核卷积的结果，FR_u,v(δ)表示具有视差δ的搜索图像区域的信号YR_Signal,v与标识为u的卷积核卷积的结果。

7.根据前述权利要求中任意一项所述的对应分析器(1)，

其特征在于，计算装置(3)设置用于使用以下关系之一：

来确定局部极值或搜索图像区域具有视差δ_p的位置处的对应函数的1次导数的零点附近的组视差的亚像素精确的值δ_sub，其中δ_p-1是搜索图像区域序列中相对于δ_p的搜索图像区域的前一个的视差，并且其中δ_p+1是搜索图像区域序列中相对于δ_p的搜索图像区域的后一个的视差，并将δ_sub作为视差δ输出。

8.根据前述权利要求中任意一项所述的对应分析器(1)，所述对应分析器包括计算装置(3)，所述计算装置构建用于，

-从两个单张图像(25,26)中分别选择图像区域，其中一个单张图像中的至少一个图像区域被选为参考图像区域，并且在另一个单张图像中选择搜索图像区域，并从图像区域中计算视差值的多个候选项，其中所述计算装置(3)进一步设置用于从参考图像区域和搜索图像区域中选择信息，并使用所述信息为可能的视差值选择置信矢量，所述置信矢量适合于估计各个相应结果是否指示各个相应搜索图像区域与参考图像区域的实际对应关系。

9.根据前述权利要求中任意一项所述的对应分析器，其中所述计算装置(3)设置用于生成特定参考图像区域的视差值候选项的列表，优选地为每个候选项选择置信矢量，并且根据置信矢量和/或其它选择标准选择这些候选项的全部或部分为有效，或者选择没有候选项被认为对该特定参考图像区域有效。

10.根据前述权利要求所述的对应分析器(1)，其特征在于，所述计算装置(3)设置用于通过函数选择置信矢量的至少一个元素的值，这些函数至少对于某些类别的参考图像区域和搜索图像区域，能够以比单独使用对应函数更高的概率将候选项分类为有效或无效。

11.根据前述两项权利要求中任意一项所述的对应分析器(1)，其特征在于，所述计算装置(3)设置用于通过以下特征中的一个或多个来选择置信矢量的元素的值：

-候选项在位置δ_p处的SSD(δ_p)与从参考图像区域的所有候选项的对应函数极值得出的阈值之间的关系或差值，

-参考图像区域的一部分的数据和各个相应搜索图像区域的一部分的数据之间的归一化交叉相关系数，分别近似垂直于对极线，其中

这些特征优选近似沿对极线进行微弱的低通滤波，以避免噪声。

12.根据前述两项权利要求中任意一项所述的对应分析器(1)，其特征在于，所述计算装置(3)设置用于向对应分析器的用户提供候选项列表，优选只提供有效候选项的列表，优选连同各个相应的置信矢量。

13.根据前述权利要求中任意一项所述的对应分析器(1)，其特征在于，多个不同的参数化的对应函数和它们的卷积核以及优选地分别与这些对应函数和卷积核对应的轮廓矢量g_m存储在对应分析器(1)中或在运行时确定，其中所述对应分析器(1)进一步设置用于根据单张图像或图像区域的可用类别或根据单张图像或图像区域的、对进一步处理有利的类别选择该多个对应函数和它们的卷积核中的一部分。

14.根据前述权利要求所述的对应分析器，其特征在于，至少一个对应函数及其卷积核的参数的选择方式为，使得分别对应的轮廓矢量g_m的用于最高空间频率的权重系数小于该轮廓矢量的其它权重系数中的至少一个。

15.根据前述权利要求中任意一项所述的对应分析器(1)，其特征在于，根据单张图像或图像区域的数据的功率谱，并优选考虑光学传递函数，选择类或轮廓矢量，借助于其选择多个对应函数及其卷积核。

16.根据前述权利要求中任意一项所述的对应分析器(1)，其特征在于，使用两个或多个不同参数化的对应函数和卷积核进行对应分析，其中计算装置将两个或多个产生的结果结合在一起，或从这些结果中选择部分结果，优选借助于特定的置信矢量。

17.根据前述权利要求中任意一项所述的对应分析器(1)，其特征在于，计算装置设置用于使用通过利用第一对应函数的对应分析确定或估计的视差值来预测利用第二对应函数的对应分析的结果或对其进行控制，其中第二对应函数通过适当选择的参数或卷积函数从图像区域传输比第一对应函数更高频率的信号分量。

18.根据前述权利要求中任意一项所述的对应分析器(1)，其特征在于，计算装置(3)被设置用于使用低通滤波器过滤以下变量中的至少一个：

-计算出的视差值，

-置信度值，

-由置信度值加权的视差值。

19.根据前述权利要求中任意一项所述的对应分析器(1)，其特征在于，k_max等于2，偶数卷积核包含以下函数f_even,1和f_even,2，并且l_max等于2，奇数卷积核包含以下函数f_odd,1和f_odd,2，其中off_even,1和off_even，2的选择使得偶数卷积核近似无均值，且系数3.4954、0.7818、4.9652、1.8416、4.0476、0.2559、6.0228或0.0332中的至少有一个系数也能够更大或者更小直至10％：

20.根据前述权利要求中任意一项所述的对应分析器(1)，其特征在于，计算装置(3)设置用于为参考图像区域执行平均，特别是该参考图像区域的对应函数SSD(δ_p)的值与多个其他参考图像区域，特别是相邻参考图像区域的对应函数SSD(δ_p)的值的算术平均或加权平均，并优选如在前述权利要求中所述的那样进一步处理所述平均对应函数，特别是计算和输出在位置δ_p处的视差的亚像素精确的值。

21.根据前述权利要求中任意一项所述的对应分析器(1)，其特征在于，计算装置(3)设置用于将一个、优选是所有图像区域的信号的至少一个、优选是所有卷积结果以一个值进行归一化，该值与相应图像区域的信号强度相关，特别是与用于对应分析的该图像区域信号的信号强度相关。

22.具有两个相机(21,22)的立体相机(2)，所述相机分别具有相机传感器(5)和镜头(8,9)，其中镜头(8,9)的主点和相机传感器(5)彼此间隔基线宽度B布置，并且其中所述立体相机(2)包括根据前述权利要求中任意一项所述的对应分析器(1)。

23.根据前述权利要求所述的立体相机(2)，其特征在于，其特征在于，一个镜头(8,9)固定在能够调节的偏心件中，使得可以通过在偏心件中相对于测试图像旋转镜头(8,9)来修正共面度误差并且校准镜头(8,9)光轴的共面度。

24.根据前述两项权利要求中任意一项所述的立体相机(2)，其特征在于，所述立体相机设置用于，在运行期间，为了修正共面度的校准误差，首先在近似垂直于对极线的方向上额外评估对应图像区域的视差，以通过图像之一近似垂直于对极线的相对位移，借助于修正校正参数来修正该视差与零的平均偏差，即与理想的对极几何的偏差。

25.根据前述三项权利要求中任意一项所述的立体相机(2)，其特征在于，对应分析器(1)的计算装置(3)设置用于使从左右相机的图像数据中计算出的特征中的至少一个、优选是全部特征以所述相机的各个相应信号强度归一化。

26.用于确定两幅优选校正至立体正常情况的数字单张图像(25,26)中相应图像元素的视差的方法，尤其借助于根据权利要求1至19中任意一项所述的对应分析器(1)，其中为了确定视差δ，由此确定两幅数字单张图像(25,26)中的对应图像元素的位移，借助于计算装置(3)：

-从两幅单张图像(25,26)中分别选择图像区域，其中一幅单张图像中的图像区域被选为参考图像区域，在另一幅单张图像中选择搜索图像区域的序列，以及

-将参考图像区域的所述多个信号YL_Signal,v与存储在存储器(6)中的偶数的和奇数的空间窗口中的卷积核进行卷积，其中偶数卷积核包括不同空间频率的多个偶谐函数的加权和，奇数卷积核包括不同空间频率的多个奇谐函数的加权和，

-确定对应函数SSD(δ_p)的局部极值或对应函数SSD(δ_p)的导数SSD'(δ_p)的过零点，并且

-计算并输出位置δ_p处的视差的亚像素精确的值。