CN101754038B - 一种视差提取方法 - Google Patents

Abstract

本发明公开了一种视差提取方法，包括：确定左/右目图像的平坦点和非平坦点；将所述左/右目图像分割为若干像素块，若该像素块中全部像素点均是平坦点，则进行如下处理：以该像素块的一个像素点为中心像素点按照灰度窗口匹配原则在预设范围内在所述右/左目图像上进行匹配搜索获得所述中心像素点的匹配点，进而计算出视差值；该像素块中剩余的像素点以所述中心像素点的视差值为其粗视差值；对于该像素块的剩余像素点，以所述粗视差值为基础按照灰度窗口匹配原则在预设范围在所述右/左目图像上进行匹配搜索获得所述剩余像素点的匹配点，进而计算出精视差值。由于在粗略计算的基础上进行精确计算，大量减少了搜索范围并减少计算匹配复杂度。

Description

一种视差提取方法

技术领域

本发明涉及视频图像处理领域，尤其涉及一种视差提取方法。

背景技术

在双目系统中，立体视差的提取是双目摄像机的关键技术也是基础技术，同时也是比较难的技术，是进行其它后续处理的关键，立体视差提取的质量好坏直接关系到后续处理的精确度，视差越是准确，后续处理的精确度越高，例如，在公交车的客流检测系统中，立体视差提取的越是准确，计数的精确度越高。

而现有的立体视差提取方法中，大多处于理论研究阶段，有的计算复杂度高，实时性能比较差；有的复杂度底，实时性比较好，但是精度不好。

发明内容

本发明所要解决的技术问题在于提供一种兼顾处理的复杂度和精度的视差提取方法。

为了解决上述技术问题，本发明一种视差提取方法，包括：

确定左/右目图像的平坦点和非平坦点；

将所述左/右目图像分割为若干像素块，若该像素块中全部像素点均是平坦点，则进行如下处理：以该像素块的一个像素点为中心像素点按照灰度窗口匹配原则在预设范围内在所述右/左目图像上进行匹配搜索获得所述中心像素点的匹配点并据以计算视差值；该像素块中剩余的像素点以所述中心像素点的视差值为其粗视差值；对于该像素块的剩余像素点，以所述粗视差值为基础按照灰度窗口匹配原则在预设范围在所述右/左目图像上进行匹配搜索获得所述剩余像素点的匹配点并据以计算精视差值。

其中，对于不全是平坦点的所述像素块，其中的平坦点以其周边的最近平坦点的视差值作为其视差值；其中的非平坦点进行如下处理：

根据灰度窗口匹配原则，采用SAD匹配方法，在所述左/右目图像对应的右/左目图像的同一外极线上对应点向左/右设定点范围内进行匹配搜索得到匹配点，并据以计算视差值。

其中，所述若干像素块为等大小的像素块。

其中，所述若干像素块均为2×2大小的像素块。

其中，所述中心像素点的视差值计算过程中，所述匹配搜索方法采用归一化互相关匹配。

其中，所述剩余像素点的视差值计算过程中，所述匹配搜索方法采用SAD匹配。

其中，所述中心像素点及剩余像素点的灰度窗口匹配的窗口大小为11×11。

其中，所述确定左/右目图像的平坦点和非平坦点的步骤通过以下方式实现：

以所述左/右目图像每个像素点为中心，以设定的窗口大小计算归一化均方差，如果所述归一化均方差超过设定值则认为所述像素点为非平坦区域，否则认为是平坦区域。

其中，所述中心像素点的视差计算步骤中，所述预设范围为所述左/右目图对应的右/左目图像的同一外极线上对应点向左/右设定范围。

其中，所述剩余像素点的视差计算步骤中，所述预设范围为所述左/右目图像对应的右/左目图像的同一外极线上，以所述粗视差值所确定的位置为中心向左和向右设定范围。

本发明中，由于采用了由粗略到细化的渐化方法，所以在粗略计算的基础上进行精确计算时，大量减少了搜索范围并减少计算匹配复杂度。所以本方法的适用范围广，无论是图像中含有大面积的平坦区域还是还有大面积的非平坦区域，其计算复杂度不高且效果好。

附图说明

图1是本发明一种视差提取方法的一个实施例的流程图；

图2是双目图像中n×n像素点的左目图像的一个实施例的结构示意图；

图3是双目图像中n×n像素点的右目图像的一个实施例的结构示意图。

具体实施方式

下面结合附图对本发明进行详细阐述。

参考图1，图示了本发明一种视差提取方法的一个实施例的流程图。如图所示，本实施例以获得左目图像的视差图像为例进行说明，包括以下步骤：

步骤S101，确定左目图像的平坦点和非平坦点。

本步骤中，对于一个n×n左目图像的全部像素点进行计算，以确定平坦点和非平坦点。在本发明的一个优选的实施例中，通过下述方法来确定：

以每个像素点为中心，选取7×7的窗口大小，计算归一化均方差；若得到所述归一化均方差达到了设定值，则认为该像素点为非平坦点，否则认为该像素点是平坦点。

本实施例中，所述窗口大小的选取能够使得计算的复杂度和最终的精度得到较好的兼顾。

步骤S102，将左目图像划分为等大小的像素块。

本步骤中，可以根据复杂度和精度的兼顾考虑来确定所述等大小像素块的具体大小。在本发明的另一个优选的实施例中，所述像素块的大小为2×2。

步骤S103，判断每个像素块中所有点是否都是平坦点，若是，则执行步骤S104，否则执行步骤S110。

本步骤中，对步骤S102所划分出来的所有像素块进行处理。

步骤S104，任取该像素块中一个点作为中心像素点，选取11×11的窗口大小，采用归一化互相关准则进行匹配搜索得到匹配点。

以等大小的像素块为2×2的像素块为例，其包含了四个像素点，本步骤中选取这四个像素点中的任一个作为中心像素点，并进行所述的处理。由于所述归一化互相关准则为公知的方法，下面仅列出其公式，具体的匹配搜索过程不再赘述：

$R(u,v)=\frac{\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}(f_{j+u,k+v}-\stackrel{\‾}{f})(g_{j,k}-\stackrel{\‾}{g})}{\sqrt{\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\underset{k=i}{\overset{N}{\mathrm{\Σ}}}{(f_{j+u,k+v}-\stackrel{\‾}{f})}^2}\sqrt{\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{(g_{j,k}-\stackrel{\‾}{g})}^2}}$

$\stackrel{\‾}{f}=\frac{1}{\mathrm{MN}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{f}_{j,k},$ $\stackrel{\‾}{g}=\frac{1}{\mathrm{MN}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{g}_{j,k}$

其匹配搜索范围为右目图像中同一外极线上的从对应点往左的设定个数个像素点。其中，所述同一外极线可以理解为纵坐标相同的全部点所构成的直线，而所述对应点是指横坐标相同的点。举例说明如下：

参考图2和图3，假设2×2的像素块为左目图像中(6，10)、(7，10)、(6，11)、(7、11)四个像素点所构成的像素块。那么，以(6，10)为中心像素点的话，其匹配搜索范围便是右目图像中坐标为(6，10)的像素点向左设定个数个像素点，例如向左24个像素点。

步骤S105，据上一步获得的匹配点计算精视差值。。

即，经过步骤S104的处理后，便得到了所述中心像素点在右目图像中的匹配点。而本步骤中，则计算上一步搜索得到的右目图像中的匹配点与所述中心像素点的横坐标的差值作为所述精视差值，实际上由于是在同一外极线上，所以其纵坐标是相同的。

步骤S106，该像素块的剩余像素点以所述精视差值作为其粗视差值。

即，对于步骤S104所述像素块中除所述中心像素点外的剩余像素点，以上一步得到的精视差值作为所述剩余像素点的粗视差值。

步骤S107，在粗视差值的基础上在设定范围内选取11×11的窗口并采用SAD准则匹配搜索得到匹配点。

本步骤中，所述设定范围为右目图像的同一外极线上，依据所述粗视差值确定的所述剩余像素点在所述右目图像中对应点的左右各预设数目个像素点范围内。

即，如果所述剩余像素点为(x，y)，那么在右目图像中找到坐标为(x，y)的点，那么(x-粗视差值，y)便是所述对应点。

举例如下：

参考图2和图3分别所示的左目图像和右目图像，假设所述像素块为2×2大小，且以左目图像中的坐标为(6，10)、(7，10)、(6，11)、(7、11)的四个像素点所构成的2×2像素块为例。

假设，步骤S104中所取的中心像素点为(6，10)，那么经过步骤S104的处理后步骤S105得到的精确视差值为2，即中心像素点(6，10)与其在右目图像中最匹配的点在同一外极线上的坐标差为2，也就是所述右目图像中最匹配的点为(4，10)。

由于所述精确视差值为2，那么所述剩余像素点(7，10)、(6，11)、(7、11)的粗视差值通过步骤S106也确定为2。以剩余像素点(7，10)为例，由于粗视差值为2，那么其通过该粗视差值所暂定的匹配点为(5，10)，在该暂定的匹配点(5，10)左右设定像素点范围内，按照SAD准则进行匹配搜索得到最匹配的像素点。

其中，所述SAD匹配准则为公知的方法，因而对其不再做进一步阐述，仅列出其中所采用的匹配公式：

$\mathrm{SAD}(m,n)=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}|f_1(x,y)-f_2(x+m,y+n)|$

步骤S108，据上一步获得的匹配点计算精视差值。

即，当通过上一步得到了各个剩余像素点的匹配点(也可以叫做匹配像素点)后，那么本步骤中再计算所述匹配点与所述剩余像素点的横坐标的差值作为所述精视差值，其纵坐标是相同的。

本步骤结束后执行步骤S109。

步骤S110，对于非平坦点选取7×7窗口并采用SAD匹配准则获得视差值。

本步骤中，对经过步骤S103所确定的非平坦点进行视差值的计算。具体地，对于每个非平坦点选取7×7窗口并采用SAD匹配准则，在设定范围内进行匹配搜索获得最匹配的像素点，并计算视差值。

其中，所述设定范围同样是指右目图像中同一外极线上的从对应点往左设定点。具体可以参考步骤S104中的相关说明。

在得到所述最匹配的像素点后，将该像素点的横坐标与所述非平坦点的横坐标做差求得视差值。

步骤S111，对于平坦点以其周边的平坦点的视差值作为其视差值。

其中，所述平坦点是指没有被分配到步骤S102中所划定的任一像素块之内的像素点，因为像素块是等大小的，所以有可能有些平坦点未被划分进去，本步骤是对这些平坦点的处理。其以该平坦点周边的某个平坦点的视差值作为其视差值，例如该平坦点上、下、左、右中的某个平坦点。优选的，以距其最近的平坦点的视差值作为其视差值。

步骤S109，存储视差。

本步骤中，将步骤S105、步骤S 108、步骤S110及步骤S111中所得到的视差值进行存储，从而得到一个视差图像。

步骤S112，结束。

本具体实施方式中，窗口大小的具体选择是在反复理论论证的前提下，进行反复实验的基础上得到的，其可以在保证所需的精度的前提下，大大的降低搜索匹配的复杂度，实时性较好。

本发明中，由于采用了由粗略到细化的渐化方法，所以在粗略计算的基础上进行精确计算时，大量减少了搜索范围并减少计算匹配复杂度同时，由于对某些平坦点来说，用其周围的平坦点的视差作为其视差，也在保证一定的精确度的前提下，大大降低了运算量和复杂度。所以本方法的适用范围广，无论是图像中含有大面积的平坦区域还是还有大面积的非平坦区域，其计算复杂度不高且效果好。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种视差提取方法，包括：

确定左/右目图像的平坦点和非平坦点；

将所述左/右目图像分割为若干像素块，若该像素块中全部像素点均是平坦点，则进行如下处理：以该像素块的一个像素点为中心像素点按照灰度窗口匹配原则在预设范围内在所述左/右目图像对应的右/左目图像上进行匹配搜索获得所述中心像素点的匹配点并据以计算视差值；该像素块中剩余的像素点以所述中心像素点的视差值为其粗视差值；对于该像素块的剩余像素点，以所述粗视差值为基础按照灰度窗口匹配原则在预设范围在所述左/右目图像对应的右/左目图像上进行匹配搜索获得所述剩余像素点的匹配点并据以计算精视差值。

2.根据权利要求1所述的视差提取方法，其特征在于，对于不全是平坦点的所述像素块，其中的平坦点以其周边的最近平坦点的视差值作为其视差值；其中的非平坦点进行如下处理：

根据灰度窗口匹配原则，采用SAD匹配方法，在左目图像对应的右目图像的同一外极线上对应点向左设定点范围内进行匹配搜索得到匹配点，并据以计算视差值；或者在右目图像对应的左目图像的同一外极线上对应点向右设定点范围内进行匹配搜索得到匹配点，并据以计算视差值。

3.根据权利要求1或2所述的视差提取方法，其特征在于，所述若干像素块为等大小的像素块。

4.根据权利要求3所述的视差提取方法，其特征在于，所述若干像素块均为2×2大小的像素块。

5.根据权利要求1或2所述的视差提取方法，其特征在于，所述中心像素点的视差值计算过程中，采用归一化互相关准则进行匹配搜索。

6.根据权利要求1或2所述的视差提取方法，其特征在于，所述剩余像素点的视差值计算过程中，采用SAD匹配准则进行匹配搜索。

7.根据权利要求1或2所述的视差提取方法，其特征在于，所述中心像素点及剩余像素点的灰度窗口匹配的窗口大小为11×11。

8.根据权利要求1或2所述的视差提取方法，其特征在于，所述确定左/右目图像的平坦点和非平坦点的步骤通过以下方式实现：

以所述左/右目图像每个像素点为中心，以设定的窗口大小计算归一化均方差，如果所述归一化均方差超过设定值则认为所述像素点为非平坦区域，否则认为是平坦区域。

9.根据权利要求1或2所述的视差提取方法，其特征在于，所述中心像素点的视差计算步骤中，所述预设范围为左目图像对应的右目图像的同一外极线上对应点向左设定范围；或者右目图像对应的左目图像的同一外极线上对应点向右设定范围。

10.根据权利要求1或2所述的视差提取方法，其特征在于，所述剩余像素点的视差计算步骤中，所述预设范围为所述左/右目图像对应的右/左目图像的同一外极线上，以所述粗视差值所确定的位置为中心向左和向右设定范围。

Images