CN104574391A - 一种基于自适应特征窗口的立体视觉匹配方法 - Google Patents

Abstract

本发明公开了一种基于自适应特征窗口的立体视觉匹配方法，属于图像信息处理技术领域。包括：将特征选择与图像的本质特征相关联，基于逻辑回归法训练特征选择分类器；将获得的训练特征选择分类器应用到实际场景的立体匹配中，选择合适的特征窗口，并结合颜色特征进行匹配代价计算，再基于分割树的方法进行匹配代价聚合，最后，根据留取胜者的方式计算得到立体匹配的视差结果。该方法能够根据实际应用场景选择合适特征进行立体匹配，能够有效得提高匹配性能，提高视差计算精度。

Description

一种基于自适应特征窗口的立体视觉匹配方法

技术领域

本发明属于图像信息处理技术领域，具体涉及一种基于自适应特征窗口的立体视觉匹配方法。

背景技术

立体视觉旨在基于摄像头所获得的图像信息的基础上，通过图像匹配、空间几何运算等方法，获取环境的距离信息。立体视觉在安防监控、人机交互、智能交通等领域有着广泛的应用，近年来吸引了众多研究者的注意，成为当前计算机视觉领域中的研究热点之一。双目立体视觉是应用和研究最为广泛的一种配置，其利用左右两个摄像头分别获取同一场景的左右两帧图像，通过计算左右两帧图像的视差，再应用相应的几何变换，得到场景的深度距离信息。

传统的立体视觉匹配方法分为两类，全局方法和局部方法。其中，全局方法将立体匹配问题转化为优化问题来解决，通过动态规划、信念传播、图割等方法，求解最优视差。局部方法则通常包含四个步骤，匹配代价计算、匹配代价聚合、视差计算和视差细化。全局方法和局部方法的共同之处在于，两者都需要根据某种图像特征(例如像素灰度、边缘等)，计算左右两帧图像之间的匹配代价，从而进一步搜索或者优化得到具有最优匹配的像素对，从而得到最优视差。研究表明，采用不同的图像特征，将会获得不同质量的匹配效果，从而影响最终的视差准确率。因此，如何选择合适的图像特征进行立体匹配计算是立体视觉中的一个关键问题。

现有的方法中，多集中于讨论如何通过改进的匹配代价聚合方法，来提高视差计算精度。近年来提出的方法，主要包括双边滤波法、最小支持树法、分割树法、以及多尺度匹配代价聚合方法等。匹配聚合方法根据某些特征的立体匹配代价计算结果，将邻近像素或者同处于某一颜色区域内的像素的代价值进行聚合。然而，匹配代价聚合是在得到匹配代价计算的结果之后进行的，匹配代价结果的性能优劣在很大程度上决定了匹配代价聚合所能改善的程度。因此，如何选择合适的图像特征，包括特征计算的尺度，从而提高匹配代价本身的计算性能是提高立体匹配最终的视差计算准确率的关键环节。

此外，现有的特征选择方法通常将特征选择结果直接应用到其他相似的问题中去，这建立在特征选择结果具有优秀的泛化能力的基础上。然而，在实际应用中，通过训练学习所得的结果的泛化能力并没有办法保证，类似的问题往往需要不同的途径才能得到好的解决。

发明内容

为了克服上述现有技术存在的缺陷，本发明的目的在于提供一种基于自适应特征窗口的立体视觉匹配方法，该方法能够根据实际应用场景选择合适特征进行立体匹配，有效提高匹配性能和视差计算精度。

本发明是通过以下技术方案来实现：

一种基于自适应特征窗口的立体视觉匹配方法，包括以下步骤：

将特征选择与图像的本质特征相关联，基于逻辑回归法训练特征选择分类器；将获得的训练特征选择分类器应用到实际场景的立体匹配中，选择合适的特征窗口，并结合颜色特征进行匹配代价计算，再基于分割树的方法进行匹配代价聚合，最后，根据留取胜者的方式计算得到立体匹配的视差结果。

包括以下步骤：

步骤一:构建特征选择训练库

采集标准立体视觉图像库中的图像对(每个图像对包括一帧左图、一帧右图)，将图像对中的左图分割为若干子图像块，组成标准图像训练库；

采集实际应用场景相关图像库中的图像对(每个图像对包括一帧左图、一帧右图)，将图像对中的左图分割为若干子图像块，组成实际应用图像训练库；

对采样得到的标准图像训练库和实际应用训练库，基于Sobel算子计算梯度图像，并对横向梯度x方向和纵向梯度y方向分别施加不同的权重，所得梯度图像构成特征选择训练库，并表示为：

{X⁽ⁱ⁾},i＝1,2,…,n，

其中，X⁽ⁱ⁾表示第i个子图像块，n表示子图像块的数量，即训练样本的数目；

步骤二：构建特征选择训练库的最终训练集

分别采用尺度为3、6、9、12、15的Census特征，对步骤一中采样所得的子图像块进行立体匹配代价计算，再应用分割树方法对所得的立体匹配代价进行聚合，对匹配代价聚合结果采用留取胜者的方法进行最终的匹配视差选择；

根据实际视差结果，对不同尺度下计算得到的视差结果统计其准确度，然后选择准确度最高的尺度作为对应子图像块梯度图对应的标识，表示为：

{y_j},j＝1,2,…,5

其中，y₁＝3，y₂＝6，y₃＝9，y₄＝12，y₅＝15，分别对应Census特征的5个尺度；再结合步骤一中获得的特征选择训练库，得到特征选择训练库的最终训练集，表示为：

{X⁽ⁱ⁾,y⁽ⁱ⁾},i＝1,2,…,n；

步骤三：构建特征选择分类器

采用逻辑回归算法，使用一对其他策略，并基于步骤二获得的特征选择训练库的最终训练集构造多类分类器优化目标函数为：

$\begin{array}{c}J\left(\mathrm{\θ}\right)=-[\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}^{\left(i\right)}\log h_{\mathrm{\θ}}\left(X^{\left(i\right)}\right)+(1-y^{\left(i\right)})\log (1-h_{\mathrm{\θ}}(X^{\left(i\right)})]\\ +\frac{\mathrm{\λ}}{2n}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\left|{\mathrm{\θ}}_j\right|\end{array}$

其中，n表示训练样本的数目，是由X⁽ⁱ⁾映射到y⁽ⁱ⁾的Sigmoid函数，log(·)为对数函数，{θ_j},j＝0,1,…,1483是由训练得到的分类器参数，λ是稀疏性约束的重要性系数，设为1或者根据实验效果设定，应用梯度下降法求解上述优化目标函数，得到特征选择分类器；

步骤四，针对实际应用场景相关图像库中的图像对，采集左右两帧图像，将左图分解成子图像块，求解各子图像块对应的梯度图，应用训练步骤三所得的特征选择分类器，对子图像块进行分类，选择对应的特征尺度：

首先，应用所选择的特征尺度计算Census特征匹配代价；

其次，应用颜色绝对差特征计算颜色匹配代价；

再次，将两种匹配代价求和，得到最终的立体匹配代价；

最后，基于分割树方法进行立体匹配代价聚合，采取留取胜者的方式计算得到视差结果，完成立体匹配。

步骤一中所述的采集标准立体视觉图像库中的图像对，将图像对中的左图分割为若干子图像块是以Middlebury标准图像库来采集，实际应用场景相关图像库在实际应用中采集。对于Middlebury标准图像库，每帧图像采集100幅子图像，Middlebury图像库包含38个图像对，组成大小为3800幅的标准图像训练库。

一种基于自适应特征窗口的立体视觉匹配方法，包括：

将特征选择与图像的本质特征相关联，基于逻辑回归法训练特征选择分类器；将获得的训练特征选择分类器应用到实际场景的立体匹配中，选择合适的特征窗口，并结合颜色特征进行匹配代价计算，再基于分割树的方法进行匹配代价聚合，最后，根据留取胜者的方式计算得到立体匹配的视差结果。

与现有技术相比，本发明具有以下有益的技术效果：

本发明将特征选择与图像的本质特征相关联，基于逻辑回归法训练特征选择分类器，该操作是将图像的梯度图与其所适合的特征窗口尺寸相结合，组成了特征选择分类器的训练集，建立了图像本质特征与特征选择之间的对应关系，从而保证了特征选择结果的泛化适应能力。为了降低参数的维数，同时实现多类分类，采用了稀疏性约束以及一对其他的策略。特征选择分类器能够针对图像的特点选择能够使其对应的立体匹配获得最优结果的特征窗口尺寸，并结合颜色特征，实现立体视觉匹配代价计算。本发明方法能够显著提高立体视觉匹配所得视差图的准确度，并通过离线训练，在线使用的方式，实现了特征窗口尺寸选择，提高了时间效率。

附图说明

图1是基于自适应特征窗口的立体视觉匹配方法设计示意图；

图2是基于自适应特征窗口的立体视觉匹配方法具体步骤流程图；

图3是适应不同大小特征窗口的图像；其中，图3a是适用较小的特征窗口的图像，图3b是适用较大的特征窗口的图像；

图4a是采集所得的若干个适应较小特征窗口的子图像块；

图4b是采集所得的若干个适应较大特征窗口的子图像块；

图5是本发明的立体匹配视差结果图；其中，5-1,5-2、5-3,5-4、5-5,5-6及5-7,5-8分别表示四组不同的立体匹配视差结果图。

具体实施方式

下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

如果能够在特征选择结果和其工作环境之间建立联系，从而在类似的环境下能够自适应选择不同的特征组合来应用，将会有效地解脱对于特征选择泛化能力的依赖性。本申请的分析了立体视觉匹配中影响视差计算准确率的各个环节，并发现特征选择问题是提高立体匹配性能的关节因素之一。然而，鉴于特征选择结果泛化能力有限的考虑，本发明提出了一种基于梯度图像引导的，自适应特征窗口立体匹配算法。

首先，本发明提出自适应特征尺寸立体匹配方法的相关概念和物理依据。在立体匹配中常用的特征包括图像颜色值(或灰度)、图像梯度、局部二值模式(Local Binary Pattern)、Census特征等，其中局部二值模式和Census特征衡量了局部区域的纹理特征。在实际的立体匹配研究中发现，对不同的图像采用不同的图像特征，将获得不同的匹配性能和视差计算准确率。而一种优秀的特征组合是颜色(或灰度)特征与某种梯度或者纹理特征联合使用。大量立体匹配实验表明，在使用颜色特征与纹理特征组合的时，纹理特征的窗口尺寸不同，会对立体匹配结果产生显著的影响。具体而言，在深度边缘区域或者纹理丰富的区域，较小的特征窗口将获得更好的匹配效果，而在颜色平滑区域，较大的特征窗口将有利于获得更好的匹配效果。而边缘和纹理的一个共同衡量标准是图像的梯度值。基于上述实验发现，本发明提出了一种基于图像梯度信息引导的特征窗口自适应立体匹配方法。

本发明采用以下技术方案予以实现：一种基于特征窗口自适应的立体视觉匹配方法，其特征在于，包括以下步骤：

步骤一，采集训练特征选择分类器的原始图像样本库：训练库由两部分组成，标准立体视觉库(网络公共资源)和实际应用场景相关图像库，其中，标准立体视觉图像库采用Middlebury标准库来采集，实际应用场景库则在实际应用中采集，针对两种原始图像库，在所采集的图像对的左图中，分割采样尺寸为39×38的子图像块，以Middlebury图像库为例，每帧图像将采集100幅子图像，Middlebury图像库包含38个图像对，将组成大小为3800幅的标准图像训练库，实际应用场景中的子图像也按相同方式进行采样，组成实际应用图像训练库，对采样得到的标准图像训练库和实际应用训练库，基于Sobel算子计算其梯度图像，并对横向梯度(x方向)和纵向梯度(y方向)分别施加不同的权重，所得梯度图像构成最终的特征选择训练库，并表示为{X⁽ⁱ⁾},i＝1,2,…,n，其中，X⁽ⁱ⁾表示第i个子图像块，n表示子图像块的数量，即训练库的维数，这些梯度子图像块组成了训练样本的一部分；

步骤二，计算各个训练样本对应的特征窗口尺度，作为每个训练样本的标识：分别采用尺度为3、6、9、12、15的Census特征，对步骤一中采样所得的原始子图像块进行立体匹配代价计算，然后应用分割树方法对所得的立体匹配代价进行聚合，对匹配代价聚合结果采用留取胜者的方式进行最终的匹配视差选择，根据实际视差结果，对不同尺度下计算得到的视差结果统计其准确度，选择准确度最高的尺度作为对应子图像块梯度图对应的标识{y_j},j＝1,2,…,5，其中y₁＝3，y₂＝6，y₃＝9，y₄＝12，y₅＝15，分别对应Census特征的5个尺度，结合步骤一中获得的梯度图像训练库，得到特征选择训练库的最终训练集{X⁽ⁱ⁾,y⁽ⁱ⁾},i＝1,2,…,n；

步骤三，训练基于逻辑回归算法的特征选择分类器：采用逻辑回归算法，使用一对其他策略(One-versus-rest)，基于上述形成的训练集构造多类分类器优化问题，优化目标函数为：

$J\left(\mathrm{\θ}\right)=-[\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}^{\left(i\right)}\log h_{\mathrm{\θ}}\left(X^{\left(i\right)}\right)+(1-y^{\left(i\right)})\log (1-h_{\mathrm{\θ}}(X^{\left(i\right)})]+\frac{\mathrm{\λ}}{2n}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\left|{\mathrm{\θ}}_j\right|,$

其中，n表示训练样本的数目，{X⁽ⁱ⁾,y⁽ⁱ⁾},i＝1,2,…,n为上述建立的训练样本集，是由X⁽ⁱ⁾映射到y⁽ⁱ⁾的Sigmoid函数，log(·)为对数函数，{θ_j},j＝0,1,…,1483是需要训练得到的分类器参数，λ是稀疏性约束的重要性系数，可设为1，或者根据实验效果设定；考虑到参数数量大，容易出现欠拟合，因此优化目标函数中采用了L1范数的引导，从而加入了稀疏性约束，保证参数中仅有少量的参数为非零值，此外，梯度图像的稀疏性也使得非零参数数量大大降低，使得该优化问题能够得到最优解，最后采用梯度下降法训练分类器；

步骤四，将特征选择分类器应用到所采集的实际图像中：针对实际立体匹配问题，求解左图对应的梯度图，应用训练所得分类器，对其中的子图像块进行分类，选择对应的特征尺度，并结合颜色绝对差特征，进行立体匹配代价计算，基于分割树方法进行匹配代价聚合，采取留取胜者的方式计算得到视差结果，完成立体匹配。

首先，介绍立体视觉匹配中的图像特征表示方法。

立体视觉匹配中常用的图像特征包括两类,一类是图像像素的颜色值或者灰度值,另一类是与图像局部区域变化特点相关的梯度或者纹理特征。在图像处理方面，颜色特征的应用非常广泛。颜色特征对于图像的朝向、分辨率以及噪声等都不敏感。但是当光照发生变化、以及摄像机参数的设置不同时，左右两帧图像对应的像素的颜色值会存在差异。因此，立体视觉匹配中往往结合颜色特征以及另外一种能够衡量局部图像变化特点的特征，如梯度、局部二值模式，以及Census特征。大量实验表明，Census特征是立体视觉匹配中十分有效的特征之一。Census特征衡量了图像局部区域内像素的相对序关系。以尺寸为3×3的窗口尺寸为例，将周围8邻域的像素值分别与中心像素进行比较，如果大于中心像素的值，则标记为1，反之则标记为0。因此，3×3窗口得到的Census特征可以表示成一个8位的序列，如11011111，该序列表示了中心像素的Census特征。当采用不同的特征窗口尺寸时(如6×6、9×9)，将得到不同长度序列的特征。

其次，基于逻辑回归算法的特征选择分类器的构建。

逻辑回归算法是机器学习领域的一种经典算法，能够通过样本集进行训练得到相应的分类器。经典的逻辑回归算法仅产生两类分类器，在本发明中的立体匹配特征窗口选择中，涉及到多尺度选择，因此需采用一对其他的策略，构造多类分类器。逻辑回归算法将分类问题转化为优化问题进行求解，设训练样本集可以表示为{(X⁽¹⁾,y⁽¹⁾),(X⁽²⁾,y⁽²⁾),…,(X⁽ⁿ⁾,y⁽ⁿ⁾)}，其中n标识样本的数量，在本发明中对应子图像块的数量，{X⁽ⁱ⁾},i＝1,2,…,n表示第i幅子图像块梯度图，y⁽ⁱ⁾表示{X⁽ⁱ⁾}对应的特征窗口尺寸的标识。相应的，基本的逻辑回归算法的代价函数定义为：

$J\left(\mathrm{\θ}\right)=-[\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}^{\left(i\right)}\log h_{\mathrm{\θ}}\left(X^{\left(i\right)}\right)+(1-y^{\left(i\right)})\log (1-h_{\mathrm{\θ}}(X^{\left(i\right)})],$

其中n表示训练样本的数目，{X⁽ⁱ⁾,y⁽ⁱ⁾},i＝1,2,…,n为上述建立的训练样本集，是由X⁽ⁱ⁾映射到y⁽ⁱ⁾的Sigmoid函数，log(·)为对数函数，{θ_j},j＝0,1,…,1483是需要训练得到的分类器参数。考虑到参数数量大，在样本数量不足时容易出现欠拟合，反之则容易出现过拟合，导致分类器的优化目标函数不可解，无法得到有效的分类器。因此，本发明在优化目标函数中通过L1范数的引导施加了稀疏性约束，建立了如公式(一)所示的优化目标函数，保证参数中仅有少量的参数为非零值，此外，梯度图像的稀疏性也使得非零参数数量大大降低，从而使得该优化问题能够得到最优解，最后采用梯度下降法训练分类器。

第三,介绍梯度图像的获取方法。

图像的梯度可以通过不同的边缘检测算子进行求解，常用的边缘检测算子包括Sobel算子、Prewitt算子、Roberts算子和Canny算子等。考虑到Sobel算子简单而有效的方式分别计算图像在水平方向和竖直方向的梯度，而立体匹配在进行左右帧图像的对应计算时，纵向边缘能够引入更多的信息，因此更具参考价值。为了能够对横向和纵向梯度分别施加不同的权重，本发明采用Sobel算子进行梯度图像的计算。将原始图像表示为I，则Sobel算子分别通过公式(二)和(三)与原图像卷积的方式计算纵向和横向的梯度：

$G_x=\left[\begin{array}{ccc}-1& 0& +1\\ -2& 0& +2\\ -1& 0& +1\end{array}\right]*I,$         公式(二)

$G_y=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ +1& +2& +1\end{array}\right]*I.$          公式(三)

本发明中，最终的梯度图像综合考虑了纵向和横向梯度的贡献，以一种新颖的加全方式求得：

$G=\sqrt{{(\mathrm{\ω}\×G_x)}^2+{G_y}^2}.$          公式(四)

其中，ω是对纵向边缘的加权值，在本发明中，设置ω＝2，强调了纵向边缘在立体匹配中的重要性。

第四，介绍本发明的具体实施示例。

本发明给出了一种梯度图像引导的基于自适应特征窗口的立体视觉匹配方法，其设计思想如图1所示。其关键思想在于，通过获取实际环境中的图像信息，对实际图像的本质特征进行建模(梯度图像)。针对具有某种特征的图像，选择图像匹配特征，包括特征尺度以及具体的特征组合。通过对不同的特征组合的匹配性能进行比较，学习图像本质特征与匹配特征之间的关联关系，从而完成特征选择分类器的训练。本发明的方法基于一个实验发现，即不同的图像适合采用不同的特征窗口进行计算，如图3所示(实验表明图3a应用较小的特征窗口可以获得更好的匹配效果，而图3b则适用较大的特征窗口)。本发明的具体实现步骤如图2所示，可具体描述如下：

步骤1，采集训练特征选择分类器的原始图像样本库：标准立体视觉图像库采用Middlebury标准库来采集，实际应用场景库则在实际应用中采集，针对两种原始图像库，在所采集的图像对的左图中，分割采样尺寸为39×38的子图像块，以Middlebury图像库为例，每帧图像将采集100幅子图像，Middlebury图像库包含38个图像对，将组成大小为3800幅的标准图像训练库，实际应用场景中的子图像也按相同方式进行采样，组成实际应用图像训练库。图4a给出了采集所得的适应较小特征窗口的子图像块，图4b则是采集所得的适应较大特征窗口的子图像块。

步骤2，对采样得到的标准图像训练库和实际应用训练库，基于Sobel算子，按照公式(二)、(三)和(四)计算其梯度图像，并对横向梯度(x方向)和纵向梯度(y方向)分别施加不同的权重，所得梯度图像构成最终的特征选择训练库，并表示为{X⁽ⁱ⁾},i＝1,2,…,n，其中，X⁽ⁱ⁾表示第i个子图像块，n表示子图像块的数量，即训练库的维数，这些梯度子图像块组成了训练样本的一部分。

步骤3，计算各个训练样本对应的特征窗口尺度，作为每个训练样本的标识，分别采用尺度为3、6、9、12、15的Census特征，对步骤一中采样所得的原始子图像块进行立体匹配代价计算，然后应用分割树方法对所得的立体匹配代价进行聚合，对匹配代价聚合结果采用留取胜者的方式进行最终的匹配视差选择，根据实际视差结果，对不同尺度下计算得到的视差结果统计其准确度，选择准确度最高的尺度作为对应子图像块梯度图对应的标识{y_j},j＝1,2,…,5，其中y₁＝3，y₂＝6，y₃＝9，y₄＝12，y₅＝15，分别对应Census特征的5个尺度，结合步骤一中获得的梯度图像训练库，得到特征选择训练库的最终训练集{X⁽ⁱ⁾,y⁽ⁱ⁾},i＝1,2,…,n。

步骤4，训练基于逻辑回归算法的特征选择分类器，采用逻辑回归算法，使用一对其他策略(One-versus-rest)，基于上述形成的训练集构造多类分类器优化问题，优化目标函数为：

$J\left(\mathrm{\θ}\right)=-[\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}^{\left(i\right)}\log h_{\mathrm{\θ}}\left(X^{\left(i\right)}\right)+(1-y^{\left(i\right)})\log (1-h_{\mathrm{\θ}}(X^{\left(i\right)})]+\frac{\mathrm{\λ}}{2n}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\left|{\mathrm{\θ}}_j\right|,$

其中，n表示训练样本的数目，{X⁽ⁱ⁾,y⁽ⁱ⁾},i＝1,2,…,n为上述建立的训练样本集，是由X⁽ⁱ⁾映射到y⁽ⁱ⁾的Sigmoid函数，log(·)为对数函数，{θ_j},j＝0,1,…,1483是需要训练得到的分类器参数，λ是稀疏性约束的重要性系数，可设为1，或者根据实验效果设定，采用梯度下降法训练分类器。

步骤5，将特征选择分类器应用到所采集的实际图像中：

首先，针对实际立体匹配问题，应用公式(二)、(三)和(四)求解左图对应的梯度图，应用训练所得分类器，对其中的子图像块进行分类，选择对应的特征尺度；

其次，结合颜色绝对差特征，进行立体匹配代价计算。设左边图像中的某个像素表示为p，与其有视差d的对应的右幅图像中的像素为pd，则其颜色绝对差由公式(五)进行求解：

$C_I=\underset{i=R,G,B}{\mathrm{\Σ}}\left|I_i\left(p\right){-I}_i\left(\mathrm{pd}\right)\right|,$     公式(五)

其中，I_i(p)表示像素p的颜色值，I_i(pd)表示像素pd的颜色值,i＝R,G,B表示红、绿、蓝三个颜色通道，C_I表示颜色值绝对差。

选择好窗口尺寸的Census特征，则按照公式(六)计算其匹配代价：

C_cen＝ρ(y^p,y^pd)，    公式(六)

其中，ρ(·)表示计算汉明距离，y^p表示像素p处的Census特征，y^pd表示像素pd处的Census特征，C_cen表示基于Census特征的匹配代价。最终的匹配代价按照公式(七)进行计算：

$C=(1-e^{-\frac{C_I}{\mathrm{\α}}})+(1-e^{-\frac{C_{\mathrm{cen}}}{\mathrm{\β}}}),$     公式(七)

其中α和β是权重系数，可根据具体实验效果确定，通过公式(七)可将两部分的匹配代价都转化到[0，1]范围内。

再次，基于分割树方法进行匹配代价聚合，采用基于图的图像分割方法，对同一色块内的像素的深度值进行聚合，其依据是位于同一色块内的像素更加可能具有同样的深度。

最后，采取留取胜者的方式计算得到视差结果，完成立体匹配。图5给出了几组立体匹配视差结果图，其中第一行图像为进行立体匹配的图像的左图原图，第二行为视差计算结果。由这些结果可见，应用本发明可以获得高质量的立体匹配视差结果。

Claims (4)

1.一种基于自适应特征窗口的立体视觉匹配方法，其特征在于，包括以下步骤：

步骤一:构建特征选择训练库

采集标准立体视觉图像库中的图像对，将图像对中的左图分割为若干子图像块，组成标准图像训练库；

采集实际应用场景相关图像库中的图像对，将图像对中的左图分割为若干子图像块，组成实际应用图像训练库；

对采样得到的标准图像训练库和实际应用训练库，基于Sobel算子计算梯度图像，并对横向梯度x方向和纵向梯度y方向分别施加不同的权重，所得梯度图像构成特征选择训练库，并表示为：

{X⁽ⁱ⁾},i＝1,2,…,n，

其中，X⁽ⁱ⁾表示第i个子图像块，n表示子图像块的数量，即训练样本的数目；

步骤二：构建特征选择训练库的最终训练集

分别采用尺度为3、6、9、12、15的Census特征，对步骤一中采样所得的子图像块进行立体匹配代价计算，再应用分割树方法对所得的立体匹配代价进行聚合，对匹配代价聚合结果采用留取胜者的方法进行最终的匹配视差选择；

根据实际视差结果，对不同尺度下计算得到的视差结果统计其准确度，然后选择准确度最高的尺度作为对应子图像块梯度图对应的标识，表示为：

{y_j},j＝1,2,…,5

其中，y₁＝3，y₂＝6，y₃＝9，y₄＝12，y₅＝15，分别对应Census特征的5个尺度；再结合步骤一中获得的特征选择训练库，得到特征选择训练库的最终训练集，表示为：

{X⁽ⁱ⁾,y⁽ⁱ⁾},i＝1,2,…,n；

步骤三：构建特征选择分类器

采用逻辑回归算法，使用一对其他策略，并基于步骤二获得的特征选择训练库的最终训练集构造多类分类器优化目标函数为：

$J\left(\mathrm{\θ}\right)=\begin{array}{c}-[\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}^{\left(i\right)}\log h_{\mathrm{\θ}}\left(X^{\left(i\right)}\right)+(1-y^{\left(i\right)})\log (1-h_{\mathrm{\θ}}\left(X^{\left(i\right)}\right)]\\ +\frac{\mathrm{\λ}}{2n}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\left|{\mathrm{\θ}}_j\right|\end{array}$

其中，n表示训练样本的数目，是由X⁽ⁱ⁾映射到y⁽ⁱ⁾的Sigmoid函数，log(·)为对数函数，{θ_j},j＝0,1,…,1483是由训练得到的分类器参数，λ是稀疏性约束的重要性系数，设为1或者根据实验效果设定，应用梯度下降法求解上述优化目标函数，得到特征选择分类器；

步骤四，针对实际应用场景相关图像库中的图像对，采集左右两帧图像，将左图分解成子图像块，求解各子图像块对应的梯度图，应用训练步骤三所得的特征选择分类器，对子图像块进行分类，选择对应的特征尺度：

首先，应用所选择的特征尺度计算Census特征匹配代价；

其次，应用颜色绝对差特征计算颜色匹配代价；

再次，将两种匹配代价求和，得到最终的立体匹配代价；

最后，基于分割树方法进行立体匹配代价聚合，采取留取胜者的方式计算得到视差结果，完成立体匹配。

2.根据权利要求1所述的一种基于自适应特征窗口的立体视觉匹配方法，其特征在于，步骤一中所述的采集标准立体视觉图像库中的图像对，将图像对中的左图分割为若干子图像块是以Middlebury标准图像库来采集，实际应用场景相关图像库在实际应用中采集。

3.根据权利要求2所述的一种基于自适应特征窗口的立体视觉匹配方法，其特征在于，对于Middlebury标准图像库，每帧图像采集100幅子图像，Middlebury图像库包含38个图像对，组成大小为3800幅的标准图像训练库。

4.一种基于自适应特征窗口的立体视觉匹配方法，其特征在于，包括：

将特征选择与图像的本质特征相关联，基于逻辑回归法训练特征选择分类器；将获得的训练特征选择分类器应用到实际场景的立体匹配中，选择合适的特征窗口，并结合颜色特征进行匹配代价计算，再基于分割树的方法进行匹配代价聚合，最后，根据留取胜者的方式计算得到立体匹配的视差结果。