CN104123715B - 配置视差值的方法和系统 - Google Patents

Abstract

本发明公开了一种配置视差值的方法和系统，该方法包括：根据关于参考图像的包括所述初始视差值的空间变化特性的特征，将所述参考图像分割为多个块，所述多个块的至少一个块中的至少一部分点的所述特征符合预定规则；以及分析所述多个块的至少一个块中的各个初始视差值，向所述至少一个块中的一个或多个点重新分配视差值。根据本发明的各个实施例，可以更准确地配置视差值。

Description

配置视差值的方法和系统

技术领域

本发明一般涉及图像处理领域，且更具体地，涉及一种在立体匹配中配置视差值的方法和系统。

背景技术

立体视觉近年来成为计算机视觉领域最热门的研究课题之一。立体视觉的基本原理是结合两个（双目）或更多视点的信息，以获得不同视角下同一物体的图像，并利用三角测量原理来计算图像的像素点之间的位置偏差，从而获得物体的立体信息。该立体视觉包括图像获取、摄像机定标、特征提取、立体匹配、深度及内插等处理，其中，立体匹配的目的是寻求同一空间中的物体在不同视点下拍摄的图像的像素点之间的对应关系。通过立体匹配技术得到的视差信息（深度信息）可用来估量摄像机和物体之间的相对距离。这些视差信息能够应用于诸多场合，例如诸如三维电影、机器人、监控、基于三维技术的道路检测、行人检测、自动驾驶、智能车辆等等。以智能车辆为例，基于由视差信息组成的视差图，能够容易地检测到行人、车辆、路面、白线和栅栏等对象，从而可以检测目标或对目标进行分类，由此控制和管理车辆的行驶状况。可见，获得鲁棒和准确的视差图在立体视觉中起着重要的作用。

当前的立体匹配的技术大致分为两类，一类是基于像素的算法，另一类是基于分割的算法。

基于像素的算法单独考虑每个像素。例如在XU LI-QUN等人的2011年8月30日授权的另一美国专利号US8009897B2中公开了一种基于像素的立体匹配方法，其根据灰度相似性对当前待匹配像素构造连通像素序列，以此作为匹配元素。在该专利中，匹配算法是基于像素级别的处理方法。由于一些目标的内部缺少纹理信息，例如，道路，单独考虑每个像素而得到的这些目标的视差图存在有无效区域和噪声过多等问题（如图1A所示），因此获得的视差图不够准确。

为了解决基于像素的算法出现的问题，出现了基于分割的立体匹配算法，其首先基于彩色信息或灰度信息将图像分割为多个区域块，这些区域块具有类似的彩色信息或灰度信息。分割区域块的目的是使得每个区域块尽可能地对应于实际场景中的每个平面。然后，利用每个区域块中的有效视差值来估计该区域块中的无效视差值，从而估计该区域块的视差分布图。如图1B所示，通常，P1是一个有效像素，因为和P2相比，P1距离边缘（区域块的边界）较近，从而可以很容易并正确找到与它相对应的像素。基于分割的算法在很大程度上解决了基于像素的算法所存在的问题。尽管基于分割的算法可以解决基于像素的算法所存在的问题，它带来一个新问题：在一些区域存在严重错误的视差值，具体见图1C，路面区域的视差图向右倾斜，存在错误。路面区域正确的视差图应该是由很多水平线组成，因为对于路面区域来说，每条水平线上的深度值是恒定的。出现上述错误的原因是典型的基于分割的立体匹配算法假设每个区域块都是实际场景中的一个平面，但在图1C的分割结果中，两个平面（路面和栅栏）被错误地分割到一个区域块中，因此基于分割的算法的立体匹配是否准确很大程度上取决于区域块的分割是否准确。可见，鲁棒和准确的区域块的分割在立体匹配和生成视差图中也起着重要作用。

例如在HONG LI等人的2008年2月12日授权的美国专利号US7330593B2中公开了一种基于分割的立体匹配和生成视差图的方法。其用彩色信息对参考图像进行分割，然后，用基本的局部立体匹配算法生成初始视差图，然后用平面拟合方法对每个分割的区域块建立平面模型，最后用置信传播方法生成优化的视差图。但是，该专利只采用彩色信息进行图像分割，有时彩色信息并不能完全指示像素点是否处于同一平面，例如在彩色信息相同的两个点有可能来自不同的平面，因此通过该方法分割图像得到的区块块并非都是实际场景中的一个平面，因此通过该方法获得的视差图也不够准确。

因此，现有的图像分割和生成视差图的技术无法获得较准确的视差图。因此，需要提供更准确地配置视差图中的视差值的方法和系统。

发明内容

鉴于上述现有技术中的问题，本发明的目的在于提供更准确地配置视差图中的视差值的方法和系统。

根据本发明的一个方面，提供一种配置视差值的方法，包括：根据关于参考图像的包括所述初始视差值的空间变化特性的特征，将所述参考图像分割为多个块，所述多个块的至少一个块中的至少一部分点的所述特征符合预定规则；以及分析所述多个块的至少一个块中的各个初始视差值，向所述至少一个块中的一个或多个点重新分配视差值。

在一个实施例中，所述初始视差值的空间变化特性可以包括如下中的一种或多种：所述初始视差值在一个或多个方向上的导数；根据所述初始视差值在两个或更多方向上的导数，计算得到的视差梯度幅值信息；以及根据所述初始视差值在两个或更多方向上的导数，计算得到的视差梯度角度信息。

在一个实施例中，所述特征还可以包括灰度信息、彩色信息、纹理信息中的至少一种。

在一个实施例中，所述预定规则可以包括相同、相差的差值小于预定阈值中的至少一种。

在一个实施例中，分析所述多个块的至少一个块中的各个初始视差值，向所述至少一个块中的一个或多个点重新分配视差值的步骤可以包括：根据所述至少一个块中的各个有效的初始视差值，对所述至少一个块进行平面拟合；以及根据平面拟合的结果，对所述至少一个块中的一个或多个点计算新的视差值。

在一个实施例中，分析所述多个块的至少一个块中的各个初始视差值，向所述至少一个块中的一个或多个点重新分配视差值的步骤可以包括：根据所述至少一个块中的各个有效的初始视差值，计算所述至少一个块的视差值的平均值；以及用所计算的平均值，作为所述至少一个块中的一个或多个点的视差值。

在一个实施例中，所述一个或多个点可以包括具有无效的初始视差值的点。

在一个实施例中，所述初始视差值在一个或多个方向上的导数可以通过如下方式计算：针对一个点，通过所述一个或多个方向上的第一预定范围内的一个或多个点的有效初始视差值与所述点的有效初始视差值的差，计算所述点相对于所述预定范围内的一个或多个点的各个导数；将所述各个导数求平均以得到所述点处的所述初始视差值在一个或多个方向上的初步导数。

在一个实施例中，所述初始视差值在一个或多个方向上的初步导数还可以通过如下方式来优化：对于第二预定范围内的各个点的导数进行均值滤波，并使用均值滤波后的导数作为所述点处的所述初始视差值在一个或多个方向上的优化导数，其中，所述第二预定范围内的各个点的导数包括所述各个点的初步导数或优化导数。

根据本发明的另一方面，提供一种配置视差值的系统，包括：分割单元，被配置为根据关于参考图像的包括所述初始视差值的空间变化特性的特征，将所述参考图像分割为多个块，所述多个块的至少一个块中的至少一部分点的所述特征符合预定规则；以及分配单元，被配置为分析所述多个块的至少一个块中的各个初始视差值，向所述至少一个块中的一个或多个点重新分配视差值。

在一个实施例中，所述初始视差值的空间变化特性可以包括如下中的一种或多种：所述初始视差值在一个或多个方向上的导数；根据所述初始视差值在两个或更多方向上的导数，计算得到的视差梯度幅值信息；以及根据所述初始视差值在两个或更多方向上的导数，计算得到的视差梯度角度信息。

在一个实施例中，所述特征还可以包括灰度信息、彩色信息、纹理信息中的至少一种。

在一个实施例中，所述预定规则可以包括相同、相差的差值小于预定阈值中的至少一种。

在一个实施例中，所述分配单元可以包括：根据所述至少一个块中的各个有效的初始视差值，对所述至少一个块进行平面拟合的装置；以及根据平面拟合的结果，对所述至少一个块中的一个或多个点计算新的视差值的装置。

在一个实施例中，所述分配单元可以包括：根据所述至少一个块中的各个有效的初始视差值，计算所述至少一个块的视差值的平均值的装置；以及用所计算的平均值，作为所述至少一个块中的一个或多个点的视差值的装置。

在一个实施例中，所述一个或多个点可以包括具有无效的初始视差值的点。

在一个实施例中，所述初始视差值在一个或多个方向上的导数可以通过如下方式计算：针对一个点，通过所述一个或多个方向上的第一预定范围内的一个或多个点的有效初始视差值与所述点的有效初始视差值的差，计算所述点相对于所述预定范围内的一个或多个点的各个导数；将所述各个导数求平均以得到所述点处的所述初始视差值在一个或多个方向上的初步导数。

在一个实施例中，所述初始视差值在一个或多个方向上的初步导数还可以通过如下方式来优化：对于第二预定范围内的各个点的导数进行均值滤波，并使用均值滤波后的导数作为所述点处的所述初始视差值在一个或多个方向上的优化导数，其中，所述第二预定范围内的各个点的导数包括所述各个点的初步导数或优化导数。

根据本发明的各个方面，可以更准确地配置视差图中的视差值。

附图说明

图1A-1C示出了现有技术中的图像分割和视差图生成的方法的示意图。

图2示出了应用本发明的实施例的方法和系统的硬件框图。

图3示出了根据本发明的一个实施例的配置视差值的方法的流程图。

图4示出了如图3所示的配置视差值的方法中的步骤S301的一个可选实施例的流程图。

图5更详细地示出了如图4所示的可选实施例中的步骤S402的流程图。

图6A和6B分别示出了用于说明计算x方向上的导数和计算y方向上的导数的过程的示意图。

图7示出了根据本发明的实施例的采用新特征而得到的分割算法的示例结果。

图8示出了图3所示的配置视差值的方法300中的步骤S302的一个可选实施例的流程图。

图9示出了使用根据可选实施例所得到的配置视差值后的视差图的示例示意图。

图10示出了根据本发明的另一个实施例的配置视差值的系统的方框图。

具体实施方式

现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明，但将理解，不是想要将本发明限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

图2示出了应用本发明的实施例的方法和系统的硬件框图。

图2所示的硬件包括：立体相机11，用于从两个或更多视点拍摄两个或更多图像；解码器12，用于从立体相机11拍摄的图像中提取与像素相关的图像信息、例如灰度信息、彩色信息等；数字信号处理器13，用于对解码器12输出的各种信息进行数字信号处理；存储器14，与数字信号处理器13耦合，用于存储数字信号处理器处理的数据或向数字信号处理器提供数据；以及与应用相同的其他模块15，用于利用数字信号处理器13处理的结果进行进一步的动作。

根据本发明的实施例的方法和系统可以应用于图2所示的数字信号处理器13中。当然，这种应用仅是示例，而非限制。

图3示出了根据本发明的一个实施例的配置视差值的方法300的流程图。

该配置视差值的方法300包括：步骤S301，根据关于参考图像的包括所述初始视差值的空间变化特性的特征，将所述参考图像分割为多个块，所述多个块的至少一个块中的至少一部分点的所述特征符合预定规则；以及步骤S302，分析所述多个块的至少一个块中的各个初始视差值，向所述至少一个块中的一个或多个点重新分配视差值。

此处的初始视差值可以通过任何已知的得到视差值的技术来得到、例如在背景技术中提到的基于像素的算法和利用灰度或彩色信息来进行的基于分割的算法来得到的初始视差图中的视差值。在此不详细描述。而本发明的实施例可以在用已知方法得到的初始视差值的基础上通过重新分配视差值来进一步优化视差值。

由于假设分割得到的每个块对应于实际场景中的一个平面，因此，同一平面内的像素的视差值的空间变化特性应该是一致的，而处在不同平面内的像素的视差值的空间变化特性应该是不同的。由此，通过寻找具有符合预定规则（例如，相同或相似）的视差的空间变化特性的像素点，可以更准确地将更可能实际上处于同一平面的像素点分割为一个块，从而根据各个块的平面特点，分析所分割的各个块中的初始视差值来重新分配部分视差值，能够更准确地配置视差图中的各个视差值。

根据一个实施例，所述初始视差值的空间变化特性可以包括如下中的一种或多种：所述初始视差值在一个或多个方向上的导数；根据所述初始视差值在两个或更多方向上的导数，计算得到的视差梯度幅值信息；以及根据所述初始视差值在两个或更多方向上的导数，计算得到的视差梯度角度信息。当然，除了上述一种或多种以外，该初始视差值的空间变化特性还可以包括其他空间变化特性，例如，初始视差值的空间分布、直方图、频谱信息等等体现初始视差值在空间上的变化特性的参数。可选地，根据一个实施例，所述初始视差值的空间变化特性可以包括根据初始视差值在横轴（x）方向上的导数和在纵轴（y）方向上的导数而计算得到的视差梯度幅值信息以及视差梯度角度信息两者。以下参考图4-6还将更详细地描述生成视差梯度幅值信息和视差梯度角度信息的过程。

根据一个实施例，所述特征还可以包括灰度信息、彩色信息、纹理信息中的至少一种。当然，上述特征还可以包括其他有助于区分处于不同平面的块的特征。可选地，可以利用诸如视差梯度幅值信息、视差梯度角度信息的空间变化特性以及灰度信息作为特征。这样，相比于只使用包括灰度信息作为特征，或只使用诸如视差梯度幅值信息和视差梯度角度信息的空间变化特性作为特征，通过诸如视差梯度幅值信息、视差梯度角度信息的空间变化特性以及灰度信息的特征来寻找具有相同或相似的特征的像素点，可以更准确地找到更可能实际上处于同一平面的像素点，并将它们作为一个块来分割。

根据一个实施例，所述预定规则可以包括相同、相差的差值小于预定阈值中的至少一种。当然，上述预定规则还可以包括根据所选择的特征而制定的其他规则。

根据一个实施例，S302的步骤可以包括：根据所述至少一个块中的各个有效的初始视差值，对所述至少一个块进行平面拟合；以及根据平面拟合的结果，对所述至少一个块中的一个或多个点计算新的视差值。可选地，对于分割的较大的块，可以进行平面拟合；以及根据平面拟合的结果、例如平面方程，对该较大的块中的一个或多个点（例如，具有无效视差值的点或全部点）计算新的视差值。

根据一个实施例，S302的步骤可以包括：根据所述至少一个块中的各个有效的初始视差值，计算所述至少一个块的视差值的平均值；以及用所计算的平均值，作为所述至少一个块中的一个或多个点的视差值。可选地，对于分割的较小的块，可以计算该较小的块的视差值的平均值；以及用所计算的平均值，作为该较小的块中的一个或多个点（例如，具有无效视差值的点或全部点）的视差值。

根据一个实施例，所述一个或多个点可以包括具有无效的初始视差值的点（即，初始视差值为零的点）。当然，所述一个或多个点也可以是该块内的全部的点。

根据一个实施例，所述初始视差值在一个或多个方向上的导数可以通过如下方式计算：针对一个点，通过所述一个或多个方向上的第一预定范围内的一个或多个点的有效初始视差值与所述点的有效初始视差值的差，计算所述点相对于所述预定范围内的一个或多个点的各个导数；将所述各个导数求平均以得到所述点处的所述初始视差值在一个或多个方向上的初步导数。通过这样做，可以在考虑计算误差的情况下考虑第一预定范围内的各个点与当前点的有效初始视差值的差而求得的导数来更准确地估计一个点处的初步导数。

根据一个实施例，所述初始视差值在一个或多个方向上的初步导数还可以通过如下方式来优化：对于第二预定范围内的各个点的导数进行均值滤波，并使用均值滤波后的导数作为所述点处的所述初始视差值在一个或多个方向上的优化导数，其中，所述第二预定范围内的各个点的导数包括所述各个点的初步导数或优化导数。这样，通过这样做，可以在考虑计算误差的情况下利用第二预定范围内的多个点的如上所述地（考虑第一预定范围内的各个点与当前点的有效初始视差值而）求得的各个初步导数（或已优化的优化导数）的平均值来更准确地得到一个点处的优化导数。

由于对于实际场景中的每个平面来说，其视差分布应该满足平面约束，因此其视差的空间变化特性应该保持恒定。从而，根据图3所示的配置视差值的方法300，通过利用包括所述初始视差值的空间变化特性的特征来寻找具有相同或相似的特征的像素点，例如，是否具有相同或相似的视差的空间变化特性，可以更准确地将更可能实际上处于同一平面的像素点分割为一个块。另外，对于分割的块，可以通过平面拟合或计算视差值的平均值等的方式；以及根据该平面拟合的结果或该视差值的平均值，重新分配该块中的一个或多个点（例如，具有无效视差值的点或全部点）的视差值。这使得能够更准确地配置视差图中的各个视差值。

下面参考图4-7来描述根据本发明的配置视差值的方法的一个可选实施例。

可选地，所述初始视差值的空间变化特性可以包括根据初始视差值在横轴（x）方向上的导数和在纵轴（y）方向上的导数而计算得到的视差梯度幅值信息以及视差梯度角度信息两者。可选地，而用来确定像素点是否具有相同或相似的特征的特征包括该视差梯度幅值信息以及视差梯度角度信息以及参考图像的灰度值。

参考图4，图4示出了如图3所示的配置视差值的方法中的步骤S301的一个可选实施例的流程图。该步骤S301可以包括：步骤S401，接收参考图像和初始视差图；步骤S402，生成初始视差图的x方向和y方向的导数图；步骤S403，根据视差导数图来生成梯度幅值图和梯度角度图；步骤S404，将参考图像的灰度值和视差梯度幅值和角度信息作为特征，将参考图像分割为每个块的各个点的特征相同或相似的多个块。

图5更详细地示出了如图4所示的可选实施例中的步骤S402的流程图。参考图5所示，步骤S402可以包括：步骤S4021，接收参考图像的初始视差值图像；步骤S4022，计算x方向导数；步骤S4023，计算y方向导数；步骤S4024，对x方向导数进行均值滤波；步骤S4025，对y方向导数进行均值滤波；步骤S4026，得到x方向导数图和y方向导数图。

具体地，在步骤S4021中，接收参考图像的相应的初始视差图。可以采用任何已知的立体匹配算法来得到初始视差图。

在步骤S4022和S4023中，对初始视差图中的每一个像素计算x方向导数和y方向导数。在一个实施例中，可以使用处在一定范围（例如，第一预定范围）内并与该像素具有相同y坐标（即，x方向上）的有效像素来计算该像素在x方向上的导数；可以使用处在一定范围（例如，第一预定范围）内并与该像素具有相同x坐标（即，y方向上）的有效像素来计算该像素在y方向上的导数。当然，考虑一定范围内的其他像素可以加强计算的x方向上的导数和y方向上的导数的有效性和准确性，但是这是可选的，而不是限制的。

具体地，假设d(x,y)是初始视差图，D_x(x,y)和D_y(x,y)分别是d(x,y)的x方向导数图像和y方向导数图像，D_x(x,y)和D_y(x,y)的计算公式如下公式（1）和（2）所示：

公式（1）

公式（2）

其中d(x,y),D_x(x,y)和D_y(x,y)都具有两个维度，即像素点(x₀,y₀)的值：d(x₀,y₀)，Dx(x₀,y₀)和Dy(x₀,y₀)取决于x₀和y₀。对于像素点(x₀,y₀)的x方向上的导数Dx(x₀,y₀)和y方向上的导数Dy(x₀,y₀)的定义如下公式（3）和（4）所示：

公式（3）

公式（4）

在步骤S4022的计算x方向上的导数的过程中，不一定需要处理所有的像素，只需处理初始视差值大于零的像素，并认为这些像素是有效像素。而且，因为在初始视差图中可能存在初始视差值为零的无效像素，而无法利用初始视差值为零的无效像素来计算导数，所以在计算导数的过程中，不仅考虑相邻的像素，还可以考虑处在一定局部小范围（例如，第一预定范围）内的所有像素。这样使得计算的导数更加准确和鲁棒。

图6A示出了用于详细说明步骤S4022的计算x方向上的导数过程的示意图。在图6A中，中间的黑色标示的像素是目前待处理的有效像素，灰色标示的像素表示距离中间像素在一定范围内并与之具有相同y坐标（即，x方向上）的有效像素，白色标示的像素表示无效像素（图中的黑色、灰色、白色与实际像素的灰度值无关，仅是起到区分和示意的作用）。则，x方向上的导数的计算公式如下：

公式（5）

其中D_x(x₀,y₀)为像素(x₀,y₀)的x方向上的导数，(x₀,y₀)为中间的黑色标示的像素的坐标，d₀=d(x₀,y₀)为该像素的相应的初始视差值，n为距离中间的黑色标示的像素在一定范围内并与之具有相同y坐标的有效像素的数目，(x_i,y₀),i=1,2,...,n为相应的有效像素的坐标，d_i=d(x_i,y₀),i=1,2,...,n为相应的有效像素的初始视差值，n和(x_i,y₀),i=1,2,...,n可以是由(x₀,y₀)来决定的，当然该n也可以预先设定。在该例子中，n=7。

类似地，在步骤S4023的计算y方向上的导数的过程中，不一定需要处理所有的像素，只需处理初始视差值大于零的像素，并认为这些像素是有效像素。因为在初始视差图中可能存在视差值为零的无效像素，所以在计算导数的过程中，不应该仅考虑相邻的像素，而应该考虑处在一定局部小范围内的所有像素。这样使得计算的导数更加准确和鲁棒。

图6B示出了用于详细说明步骤S4023的计算y方向上的导数过程的示意图。在图6B中，中间的黑色标示的像素是目前待处理的有效像素，灰色标示的像素表示距离中间像素在一定范围内并与之具有相同x坐标（即，y方向上）的有效像素，白色标示的像素表示无效像素（图中的黑色、灰色、白色与实际像素的灰度值无关，仅是起到区分和示意的作用）。则，y方向上的导数的计算公式如下：

公式（6）

其中，D_y(x₀,y₀)为像素(x₀,y₀)的y方向上的导数，(x₀,y₀)为中间的黑色标示的像素的坐标，d₀=d(x₀,y₀)为相应的初始视差值，m为距离中间的黑色标示的像素在一定范围内并与之具有相同x坐标的有效像素的数目，(x₀,y_j),j=1,2,...,m为相应的有效像素的坐标，d_j=d(x₀,y_j),j=1,2,...,m为相应的有效像素的初始视差值，m和d_j=d(x₀,y_j),j=1,2,...,m可以由(x₀,y₀)来决定的。当然该m也可以预先设定。在该例子中，m=7。

如此，对于视差图中的每个有效的像素（即，初始视差值大于0的像素），计算得到x方向上的初步导数和y方向上的初步导数。

因为在步骤S4022和步骤S4023中，仅计算了初始视差值大于零的有效像素的各个导数，而对于初始视差值为零的无效像素并没有计算导数，也就是说，此时，无效像素仍不具有有效的导数。因此在步骤S4024中，对所计算的各个像素的x方向上的导数在另一个范围内进行均值滤波处理来进行优化；且在步骤S4025中，对所计算的各个像素的y方向上的导数在另一个范围内进行均值滤波处理来进行优化，使得为初始视差值为零的无效像素也分配x方向上的导数和y方向上的导数。

该均值滤波操作的第一个目的是利用邻域像素的导数的均值来分配无效像素的x方向上的导数和y方向上的导数。均值滤波的另外一个目的是为了使得某个像素的x方向上的导数和y方向上的导数更加准确和鲁棒，因为在步骤S4022和S4023中只考虑距离中间的黑色标示的像素在一定范围内并与之具有相同x坐标和y坐标的有效像素，而均值滤波操作相当于考虑了另一个范围（例如，该中间像素周围的第二预定范围，例如3×3矩阵范围）内的更多像素，因此通过均值滤波，可以加强该中间像素的计算的x方向上的导数和y方向上的导数的准确性和鲁棒性。当然，该均值滤波是可选的，而不是限制。

具体地，在步骤S4024中，对x方向的导数进行均值滤波处理来得到x方向的优化导数。定义M_x(x,y)为均值滤波后的x方向的优化导数，均值滤波过程的公式如下：

公式（7）

其中，对于处在当前像素(x₀,y₀)周围的例如3×3邻域内的像素(x₀+i,y₀+j),-1≤x≤1,-1≤y≤1）中具有(x方向上的)有效的初步导数或优化导数的像素（即，具有大于零的初步导数或优化导数的像素）的初步导数或优化导数进行均值滤波（即，求平均值），其中s为当前像素(x₀,y₀)周围的3×3邻域内的像素中具有(x方向上的)有效的初步导数或优化导数的像素的个数。

其中，DM_x(x₀+i,y₀+j)=M_x(x₀+i,y₀+j)或者

DM_x(x₀+i,y₀+j)=D_x(x₀+i,y₀+j)取决于(x₀+i,y₀+j)是否已经进行均值滤波处理来得到优化导数。即，如果在当前像素(x₀,y₀)周围的例如3×3邻域内的一个或一些像素已经进行了均值滤波处理且取了均值滤波后的优化导数M_x(x₀+i,y₀+j)，则在对当前像素进行均值滤波时，可以采用上述一个或一些像素的已经均值滤波后的优化导数来进行均值滤波，即采用DM_x(x₀+i,y₀+j)=M_x(x₀+i,y₀+j)。

在步骤S4025中，对y方向的导数进行均值滤波处理来得到y方向的优化导数。定义M_y(x,y)为均值滤波后的y方向的优化导数，均值滤波过程的公式如下：

公式（8）

其中，对于处在当前像素(x₀,y₀)周围的3×3邻域内的像素（(x₀+i,y₀+j),-1≤x≤1,-1≤y≤1）中具有(y方向上的)有效的初步导数或优化导数的像素的初步导数或优化导数进行均值滤波（即，求平均值），其中t为当前像素(x₀,y₀)周围的3×3邻域内的像素中具有(y方向上的)有效的初步导数或优化导数的像素的个数。

其中，DM_y(x₀+i,y₀+j)=M_y(x₀+i,y₀+j)，或者

DM_y(x₀+i,y₀+j)=D_y(x₀+i,y₀+j)取决于(x₀+i,y₀+j)是否已经进行均值滤波处理来得到优化导数。即，如果在当前像素(x₀,y₀)周围的3×3邻域内的一个或一些像素已经进行了均值滤波处理且取了均值滤波后的优化导数M_y(x₀+i,y₀+j)，则在对当前像素进行均值滤波时，可以采用上述一个或一些像素的已经均值滤波后的优化导数来进行均值滤波，采用即DM_y(x₀+i,y₀+j)=M_y(x₀+i,y₀+j)。

考虑到初始视差值的（x方向上和y方向上的）导数在一个小的区域内（比如，3×3的区域）变化非常小，所以如上所述在3×3的区域内进行均值滤波处理，可以增强所求得的优化导数的鲁棒性和有效性。

对于参考图像的每个像素都进行步骤S4022到S4025，从而得到每个像素的经均值滤波处理后的优化的x方向导数和y方向导数，从而在步骤S4026中，利用每个像素的经均值滤波处理后的优化的x方向导数和y方向导数，得到x方向导数图和y方向导数图，用(M_x,M_y)来表示，这x方向导数图和y方向导数图一般与参考图像以及初始视差图具有相同的高度和宽度。当然，得到x方向导数图和y方向导数图的步骤并非必须的，而是可选的，因为得到了如上所述的初步的或优化的x方向导数和y方向导数就已经可以进行后续的步骤了。

然后，进行到图4所示的步骤S403，可以根据上述由x方向导数图和y方向导数图(M_x,M_y)来生成（视差）梯度幅值图像和（视差）梯度角度图像。根据如下公式（10），计算每个像素的（视差）梯度幅值G_m：

公式（10）

其中，M_x和M_y是每个像素的经均值滤波处理后的优化的x方向导数和y方向导数。当然，该M_x和M_y也可以是未经均值滤波处理的初步的x方向导数和y方向导数，只是对于某些具有无效初始视差值的像素则无法计算相应的（视差）梯度幅值。

根据如下公式（11），计算每个像素的（视差）梯度角度G_a，计算过程如下：

公式（11）

其中，M_x和M_y是每个像素的经均值滤波处理后的x方向导数和y方向导数。当然，该M_x和M_y也可以是未经均值滤波处理的初步的x方向导数和y方向导数，只是对于某些具有无效初始视差值的像素则无法计算相应的（视差）梯度角度。

在计算了各个像素的（视差）梯度幅值信息和（视差）梯度角度信息之后，进行到图4所示的步骤S404，优选地，结合灰度信息、（视差）梯度幅值和（视差）梯度角度信息生成一个新的特征：（I,G_m,G_a），其中，I为一个像素的相应的灰度值，(G_m,G_a)为相应的（视差）梯度幅值和（视差）梯度角度。当然，除了灰度信息之外，还可以用表示视差的空间变化特性的（视差）梯度幅值和（视差）梯度角度信息结合其他信息、例如彩色信息、纹理信息等等作为特征。在此不一一举例。

在利用该新特征对图像进行分割之前，可以通过均值漂移算法来对该新特征进行优化。均值漂移算法的基本思想是，通过反复迭代搜索特征空间中样本点最密集的区域，搜索点沿着样本点密度增加的方向“漂移”到局部密度极大点。该均值漂移的具体算法可以采用Yizong Cheng的“Mean Shift,Mode Seeking,and Clustering”,IEEE TRANSACTIONS ONPATTERN ANALYSIS AND MACHINE INTELLIGENCE,VOL.17.NO.8,AUGUST1995中提到的均值漂移算法，其全文被引用附于此。还有许多已知的均值漂移算法的文献，在此不一一举例。基本的均值漂移算法可以包括寻找收敛模式，这包括定义用于图像分割的特征，在本实施例中，考虑灰度信息、（视差）梯度幅值和（视差）梯度角度信息作为新特征（I,G_m,G_a）；以及在新特征的空间中通过均值漂移过程为每个像素寻找收敛模式。收敛模式是特征空间中的一个点，漂移至该点后该新特征的值不再变化。

在利用该新特征对图像进行分割之前，可以通过上述均值漂移算法来对该新特征进行优化。在此不再更详细地说明均值漂移的具体公式和过程，本领域技术人员可以容易地参考已知的均值漂移算法的文献来进行具体的均值漂移过程。该均值漂移的处理可以使得该新特征的值更加鲁棒，更有利于之后利用该新特征来更准确地进行图像分割。

当然，通过该均值漂移来优化新特征的方式也不是必需的，在一个实施例中，也可以用不经过均值漂移的原始新特征来进行图像分割。

可选地，可以利用各个像素的该均值漂移后的新特征的值对图像进行分割。图像分割是将一幅图像划分成若干区域块的过程，每个区域块内的像素具有一些共同的或者相似的属性。在基于分割的立体匹配算法中，最基本的假设是分割得到的每个区域块对应于实际场景中的一个平面。传统的分割算法只考虑彩色或者灰度信息的属性，导致分割结果中两个平面（路面和栅栏）可能被分割在同一区域块中（如现有技术的图1C所示）。而本发明的发明人考虑到，每个平面内的所有像素的视差的空间变化特性应该是有规律的，例如同一平面内的所有像素的视差变化（视差梯度幅值和视差梯度角度）应该是一致的（相同或相似的），而处在不同类别的平面内的像素的视差变化应该是不同的。例如，路面和栅栏属于不同类别的两种平面，上述视差的空间变化特性的不同可用来将这两种平面区分开，所以在本发明的一个实施例中，在灰度值的基础上增加视差的空间变化特性、例如（视差）梯度幅值G_m和（视差）梯度角度G_a作为新特征（I,G_m,G_a），并将该新特征用在分割算法中来更准确地找到更可能实际上处于同一平面的像素点，以对图像进行更准确的分割。

确定两个相邻的像素的该新特征是否相同或相近似的方式可以包括确定两个相邻的像素的新特征的欧氏距离是否小于预定阈值，或者确定两个相邻的像素的新特征的各个单独的信息之间的差值是否小于各自的预定阈值，等等，在此不一一举例。在确定两个相邻的像素的该新特征相同或相近似之后，可以将该两个相邻的像素划分到一个区域块中，然后，对已经划分了的像素的相邻像素再进行上述确定，直到相邻像素不具有相同或相近似的新特征，从而最终确定分割的区域块。

图7示出了根据本发明的实施例的采用新特征而得到的分割算法的示例结果。与示出了现有技术的图1C的分割结果相比，在根据本发明的实施例的采用新特征的分割算法的结果的图7中，实际上位于两个平面的路面和栅栏被分在两个区域块中，可以看出，根据本发明的实施例的采用新特征的分割算法的分割的每个区域块可以更准确地对应于实际场景中的平面。虽然图7所示的分割结果有很多特别小的区域块，但这也是一种优势，因为这可以尽可能地保证每个分割的区域块都满足平面约束。

该分割算法的输出可以包括与分割相关的信息，例如区域块的数目、每个区域块内像素的数目、标记各个区域块的编号、位置和形状的图像等，来指示关于区域块被分割成什么样的信息。

根据上述本发明的可选实施例，通过利用包括所述初始视差值的空间变化特性的特征来寻找具有相同或相似的特征的像素点，可以更准确地将更可能实际上处于同一平面的像素点分割为一个区域块。

当然，该实施例以水平的x方向和竖直的y方向为例描述了两个方向上的导数的计算以及基于这两个方向上的导数进行的梯度幅值和梯度角度的计算，但是本发明不限于此，可以构想其他方向上的类似计算，在此不一一举例。

以上参考图4-7描述了图3所示的配置视差值的方法300中的步骤S301的一个可选实施例。下面将参考图8来描述图3所示的配置视差值的方法300中的分析所述多个块的至少一个块中的各个初始视差值，向所述至少一个块中的一个或多个点重新分配视差值的步骤S302的一个可选实施例。

如图8所示，在步骤S801中，接收图3所示的配置视差值的方法300中的步骤S301的一个可选实施例得到的分割结果和初始视差值。在步骤S802中，将分割得到的区域块分成大块和小块两类。在步骤S803中，对每个大块采用平面拟合方法来配置视差值。在步骤S804中，对每个小块计算视差平均值。在步骤S805中，对每个小块用该计算的视差平均值来替代无效的视差值。在步骤S806中，得到重新分配了视差值的视差图。

具体地，在步骤S802中，将分割得到的区域块分成大块和小块两类。该分类可以依据每个区域块内像素的数目与预定数目阈值比较来进行的。针对大块和小块可以采用不同的处理方法，这是基于如下考虑：1)对于小块来说，可以假设小块内所有像素具有相同的视差值，因为可以认为在一个小的区域块内视差值一般不改变，所以，对于小块，该实施例采用小块的平均视差值来替代小块内的某些点（例如，具有无效视差值的点）的视差值；2)对于大块来说，一般不假设块内所有像素具有相同的视差值，因为大块内像素的视差值不相同的可能性非常大，尽管视差值变化可能是非常缓慢的渐变。相反，认为分割算法得到的每个区域块应该对应于实际场景中的一个平面，因此对于实际场景中的每个平面来说，其视差分布也满足平面约束，所以对于大块，该实施例采用平面拟合的方法来配置大块内的所有点（例如，包括具有无效视差值的点）的视差值。根据该实施例的对大块和小块采用不同的处理方法可以比对所有的区域块都采用相同的处理方法更加鲁棒和准确地配置各个点的视差值。

具体地，在步骤S803中，对每个大块采用平面拟合方法来计算视差值。平面拟合方法包括两个步骤：1)通过平面拟合，用区域块内有效的视差值估计一个平面方程；2)用该估计的平面方程来计算区域块内所有像素的视差值。平面拟合可以用最小二乘法以矩阵运算的形式来计算平面方程的参数。

更具体地，可以用d=c₁*x+c₂*y+c₃的平面方程来描述每个大块的视差值，其中，c₁，c₂和c₃是由初始视差值经过最小二乘法计算得到。

假设在某个大块内有a个有效点(x_i,y_i,d_i),i=0,1,...,a-1，用这些点来拟合一个平面等同于最小化下面的表达式：

公式（12）

为最小化S，应该使得成立，等同于下面的表达式：

公式（13）

从而推导出：

公式（14）

参数c₁，c₂和c₃可以通过矩阵运算得到，进而可以得到平面拟合的平面方程d=c₁*x+c₂*y+c₃，从而可以求得大的区域块的各个点的视差值。

在此例中，根据计算得到的平面方程，对大区域块内的所有点的视差值重新配置视差值。当然，本发明不限于此，也可以对大区域块内的一部分点（例如，仅具有无效视差值的无效像素点）的视差值重新配置视差值。

在步骤S804中，对每个小块计算视差平均值。具体地，用每个小块内有效的初始视差值来计算视差平均值。假设在某个小块内有b个有效点(x_j,y_j,d_j),j=0,1,...,b-1，视差平均值的计算过程如下：

公式（15）

在步骤S805中，对每个小块用视差平均值来替代无效的视差值。具体过程如下：

公式（16）

其中，d_init为某个小块内某个像素的初始视差值，d为该像素的最终视差值。即如果d_init为0的情况下（即，对于无效像素点），用视差平均值d来替代，而其他情况下，仍使用其初始视差值。当然，本发明不限于此，也可以用视差平均值对小区域块内的所有点或除了无效像素点以外的其他部分的点的视差值重新分配视差值。

当然，虽然该实施例通过示例描述了将分割的区域块确定为大块和小块，并对其进行平面拟合或求平均值的处理，但是本发明不限于此，也可以不进行这种确定和这种处理，而可以通过其他方式分析被分割的区域块中的初始视差值的分布特点，来合理地重新分配一些像素点的视差值。

图9示出了使用根据可选实施例所得到的配置视差值后的视差图的示例示意图。与现有技术的图1C的视差图像相比，采用传统的分割算法及相应的视差计算方法得到的视差图中在某些区域存在错误，而在根据本发明的可选实施例得到的视差图中得以改正，根据本发明的可选实施例重新分配的新视差图更加准确和鲁棒。当然，根据本发明的可选实施例得到的视差图中仍可能存在无效视差值和噪声，但是这些也可以通过后处理来去除，在此不详细说明。

由此，根据本发明的实施例，可以包括诸如视差梯度幅值和梯度角度等的视差值空间变化特性作为新的特征，来得到更鲁棒和准确的图像分割，从而有助于进行准确和鲁棒的视差值的配置。而根据本发明的可选实施例还能分析分割的区域块中的各个初始视差值，来根据分割得到的每个区域块的大小和特性来选择不同的方法（对初始视差值进行平面拟合和求平均值）来重新分配视差值，这样使得所配置的视差图更加准确而鲁棒。

图10示出了根据本发明的另一个实施例的配置视差值的系统1000的方框图。该系统1000包括：分割单元1001，被配置为根据关于参考图像的包括所述初始视差值的空间变化特性的特征，将所述参考图像分割为多个块，所述多个块的至少一个块中的至少一部分点的所述特征符合预定规则；以及分配单元1002，被配置为分析所述多个块的至少一个块中的各个初始视差值，向所述至少一个块中的一个或多个点重新分配视差值。

在一个实施例中，所述初始视差值的空间变化特性可以包括如下中的一种或多种：所述初始视差值在一个或多个方向上的导数；根据所述初始视差值在两个或更多方向上的导数，计算得到的视差梯度幅值信息；以及根据所述初始视差值在两个或更多方向上的导数，计算得到的视差梯度角度信息。

在一个实施例中，所述特征还可以包括灰度信息、彩色信息、纹理信息中的至少一种。

在一个实施例中，所述预定规则可以包括相同、相差的差值小于预定阈值中的至少一种。

在一个实施例中，所述分配单元1002可以包括：根据所述至少一个块中的各个有效的初始视差值，对所述至少一个块进行平面拟合的装置；以及根据平面拟合的结果，对所述至少一个块中的一个或多个点计算新的视差值的装置。

在一个实施例中，所述分配单元1002可以包括：根据所述至少一个块中的各个有效的初始视差值，计算所述至少一个块的视差值的平均值的装置；以及用所计算的平均值，作为所述至少一个块中的一个或多个点的视差值的装置。

在一个实施例中，所述一个或多个点可以包括具有无效的初始视差值的点。

在一个实施例中，所述初始视差值在一个或多个方向上的导数可以通过如下方式计算：针对一个点，通过所述一个或多个方向上的第一预定范围内的一个或多个点的有效初始视差值与所述点的有效初始视差值的差，计算所述点相对于所述预定范围内的一个或多个点的各个导数；将所述各个导数求平均以得到所述点处的所述初始视差值在一个或多个方向上的初步导数。

在一个实施例中，所述初始视差值在一个或多个方向上的初步导数还可以通过如下方式来优化：对于第二预定范围内的各个点的导数进行均值滤波，并使用均值滤波后的导数作为所述点处的所述初始视差值在一个或多个方向上的优化导数，所述第二预定范围内的各个点的导数包括所述各个点的初步导数或优化导数。

由此，根据本发明的实施例，可以包括诸如视差的梯度幅值和梯度角度等的视差值空间变化特性作为新的特征，来得到更鲁棒和准确的图像分割，从而有助于进行准确和鲁棒的视差值的配置。而根据本发明的可选实施例还能分析分割的区域块中的各个初始视差值，来根据分割得到的每个区域块的大小和特性来选择不同的方法（对初始视差值进行平面拟合和求平均值）来重新分配视差值，这样使得所配置的视差图更加准确而鲁棒。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

本公开中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

Claims (8)

1.一种配置视差值的方法，包括：

根据关于参考图像的特征，将所述参考图像分割为多个块，所述多个块的至少一个块中的至少一部分点的所述特征符合预定规则；以及

分析所述多个块的至少一个块中的各个初始视差值，向所述至少一个块中的一个或多个点重新分配视差值，

其中，所述特征包括灰度信息、彩色信息、纹理信息中的至少一种以及初始视差值的空间变化特性,所述初始视差值的空间变化特性包括：

根据所述初始视差值在两个或更多方向上的导数，计算得到的视差梯度幅值信息；以及

根据所述初始视差值在两个或更多方向上的导数，计算得到的视差梯度角度信息。

2.根据权利要求1所述的方法，其中，所述预定规则包括相同、相差的差值小于预定阈值中的至少一种。

3.根据权利要求1所述的方法，其中，分析所述多个块的至少一个块中的各个初始视差值，向所述至少一个块中的一个或多个点重新分配视差值的步骤包括：

根据所述至少一个块中的各个有效的初始视差值，对所述至少一个块进行平面拟合；以及

根据平面拟合的结果，对所述至少一个块中的一个或多个点计算新的视差值。

4.根据权利要求1所述的方法，其中，分析所述多个块的至少一个块中的各个初始视差值，向所述至少一个块中的一个或多个点重新分配视差值的步骤包括：

根据所述至少一个块中的各个有效的初始视差值，计算所述至少一个块的视差值的平均值；以及

用所计算的平均值，作为所述至少一个块中的一个或多个点的视差值。

5.根据权利要求1所述的方法，其中，所述一个或多个点包括具有无效的初始视差值的点。

6.根据权利要求1所述的方法，其中，所述初始视差值在一个或多个方向上的导数通过如下方式计算：

针对一个点，通过所述一个或多个方向上的第一预定范围内的一个或多个点的有效初始视差值与所述点的有效初始视差值的差，计算所述点相对于所述预定范围内的一个或多个点的各个导数；

将所述各个导数求平均以得到所述点处的所述初始视差值在一个或多个方向上的初步导数。

7.根据权利要求6所述的方法，其中，所述初始视差值在一个或多个方向上的导数还通过如下方式计算：

对于第二预定范围内的各个点的导数进行均值滤波，并使用均值滤波后的导数作为所述点处的所述初始视差值在一个或多个方向上的优化导数，其中，所述第二预定范围内的各个点的导数包括所述各个点的初步导数或优化导数。

8.一种配置视差值的系统，包括：

分割单元，被配置为根据关于参考图像的特征，将所述参考图像分割为多个块，所述多个块的至少一个块中的至少一部分点的所述特征符合预定规则；以及

分配单元，被配置为分析所述多个块的至少一个块中的各个初始视差值，向所述至少一个块中的一个或多个点重新分配视差值，

其中，所述特征包括灰度信息、彩色信息、纹理信息中的至少一种以及初始视差值的空间变化特性,所述初始视差值的空间变化特性包括：

根据所述初始视差值在两个或更多方向上的导数，计算得到的视差梯度幅值信息；以及

根据所述初始视差值在两个或更多方向上的导数，计算得到的视差梯度角度信息。