CN107481271A - 一种立体匹配方法、系统及移动终端 - Google Patents

Abstract

本发明公开了一种立体匹配方法，包括：计算采集到的第一视频图像与第二视频图像之间的匹配代价；其中，第一视频图像和第二视频图像为一组视频图像对；采用多级级联块构造窗口，利用窗口对匹配代价对应的图像匹配块的相似度进行级联统计操作，得到求精匹配代价；根据求精匹配代价，利用递归滤波器进行代价聚合；根据代价聚合后的结果，计算各像素点的视差并对视差进行视差求精操作，得到视差图；该方法基于多级级联块和递归滤波器实现，具有实时性好、鲁棒性优、准确性高的特点，且能够得到效果很好的视差图。本发明还公开了一种立体匹配系统及移动终端，具有上述有益效果。

Description

一种立体匹配方法、系统及移动终端

技术领域

本发明涉及机器视觉技术领域，特别涉及一种立体匹配方法、系统及移动终端。

背景技术

在深度感知领域中，获取一个三维空间中的点距离双目摄像头的深度(距离)有着重要的意义：通过感知物体的深度信息，可以进行3D(三维)重建、3D姿态估计、骨骼提取等应用。在使用双目摄像机获取深度信息的时候，通常需要经过如下几个步骤：

步骤1、立体标定：立体标定包括畸变矫正和极限对齐；

步骤2、立体匹配：立体匹配一般包括匹配代价的计算、代价聚合、视差计算、视差求精；

步骤3、深度数据生成：深度数据一般是深度点云数据。

对于双目摄像头获取的数据，经过立体标定之后，便可以获得满足极线约束且去除畸变之后的左右图像对。立体标定的过程是离线进行的，它的效果也可以离线验证，在设备上的实时获取深度数据时，影响最大的是立体匹配算法。衡量立体匹配算法好坏的指标主要有四个：准确性、鲁棒性、实时性。已知的立体匹配算法在上述指标都存在可改进的空间。

随着iOS、Android等移动平台的广泛使用，基于移动平台实现的骨架线检测、3D重建等机器视觉应用有着广泛的应用前景。与传统的“PC主机+固定左右摄像头”框架相比，移动平台的计算性能较弱，所拍摄的图片在光照、姿态和遮挡等方面存在着更复杂的变化。这些情况对立体匹配技术的准确性、鲁棒性、实时性都提出了更为严格的要求。因此，为满足移动平台的硬件基础如何提高立体匹配算法的鲁棒性，实时性，准确性，是本领域技术人员需要解决的技术问题。

发明内容

本发明的目的是提供一种立体匹配方法、系统及移动终端，该立体匹配方法基于多级级联块和递归滤波器实现，具有实时性好、鲁棒性优、准确性高的特点，且能够得到效果很好的视差图。

为解决上述技术问题，本发明提供一种立体匹配方法，所述方法包括：

计算采集到的第一视频图像与第二视频图像之间的匹配代价；其中，所述第一视频图像和所述第二视频图像为一组视频图像对；

采用多级级联块构造窗口，利用所述窗口对所述匹配代价对应的图像匹配块的相似度进行级联统计操作，得到求精匹配代价；

根据所述求精匹配代价，利用递归滤波器进行代价聚合；

根据代价聚合后的结果，计算各像素点的视差并对所述视差进行视差求精操作，得到视差图。

可选的，所述采用多级级联块构造窗口，利用所述窗口对所述匹配代价对应的图像匹配块的相似度进行级联统计操作，得到求精匹配代价，包括：

采用多级级联块构造四个非规则窗口，其中，所述四个非规则窗口包含水平方向的长方形窗口、垂直方向的长方形窗口以及两个不同大小的正方形窗口；

利用所述四个非规则窗口对所述匹配代价对应的图像匹配块的相似度进行级联统计操作，将相对于所述四个非规则窗口的极大值设置为求精匹配代价。

可选的，所述利用递归滤波器进行代价聚合，包括：

利用所述递归滤波器进行水平代价聚合和垂直代价聚合；

将水平代价聚合值和垂直代价聚合值累加实现代价聚合；

其中，所述水平代价聚合的过程为从左到右利用高斯权重累加求精匹配代价值得到第一水平聚合值，从右到左利用高斯权重累加求精匹配代价值得到第二水平聚合值，将所述第一水平聚合值和所述第二水平聚合值累加得到水平代价聚合值；所述垂直代价聚合的过程为从下到上利用高斯权重累加求精匹配代价值得到第一垂直聚合值，从上到下利用高斯权重累加求精匹配代价值得到第二垂直聚合值，将所述第一垂直聚合值和所述第二垂直聚合值累加得到垂直代价聚合值。

可选的，所述计算采集到的第一视频图像与第二视频图像之间的匹配代价，包括：

采用CENSUS+SAD的方法计算采集到的第一视频图像与第二视频图像之间的匹配代价。

可选的，所述计算各像素点的视差并对所述视差进行视差求精操作，包括：

利用WTA算法计算各像素点的视差；

利用左右一致性检测方法对所述视差进行视差求精，并在视差求精后利用拟合方式确定亚像素视差。

可选的，所述计算采集到的第一视频图像与第二视频图像之间的匹配代价之前，还包括：

利用标定数据对所述第一视频图像和所述第二视频图像进行校正，并执行去畸变操作。

本发明还提供了一种立体匹配系统，所述系统包括：

匹配代价模块，用于计算采集到的第一视频图像与第二视频图像之间的匹配代价；其中，所述第一视频图像和所述第二视频图像为一组视频图像对；

代价求精模块，用于采用多级级联块构造窗口，利用所述窗口对所述匹配代价对应的图像匹配块的相似度进行级联统计操作，得到求精匹配代价；

代价聚合模块，用于根据所述求精匹配代价，利用递归滤波器进行代价聚合；

视差图计算模块，用于根据代价聚合后的结果，计算各像素点的视差并对所述视差进行视差求精操作，得到视差图。

可选的，所述代价求精模块，包括：

多级级联块窗口构造单元，用于采用多级级联块构造四个非规则窗口，其中，所述四个非规则窗口包含水平方向的长方形窗口、垂直方向的长方形窗口以及两个不同大小的正方形窗口；

代价求精单元，用于利用所述四个非规则窗口对所述匹配代价对应的图像匹配块的相似度进行级联统计操作，将相对于所述四个非规则窗口的极大值设置为求精匹配代价。

可选的，所述代价聚合模块，包括：

水平代价聚合单元，用于利用所述递归滤波器进行水平代价聚合；所述水平代价聚合的过程为从左到右利用高斯权重累加求精匹配代价值得到第一水平聚合值，从右到左利用高斯权重累加求精匹配代价值得到第二水平聚合值，将所述第一水平聚合值和所述第二水平聚合值累加得到水平代价聚合值；

垂直代价聚合单元，用于利用所述递归滤波器进行垂直代价聚合；所述垂直代价聚合的过程为从下到上利用高斯权重累加求精匹配代价值得到第一垂直聚合值，从上到下利用高斯权重累加求精匹配代价值得到第二垂直聚合值，将所述第一垂直聚合值和所述第二垂直聚合值累加得到垂直代价聚合值；

代价聚合单元，用于将水平代价聚合值和垂直代价聚合值累加实现代价聚合；

本发明还提供一种移动终端，包括：

双目摄像头，用于采集第一视频图像与第二视频图像；其中，所述第一视频图像和所述第二视频图像为一组视频图像对；

处理器，用于计算所述第一视频图像与所述第二视频图像之间的匹配代价；采用多级级联块构造窗口，利用所述窗口对所述匹配代价对应的图像匹配块的相似度进行级联统计操作，得到求精匹配代价；根据所述求精匹配代价，利用递归滤波器进行代价聚合；根据代价聚合后的结果，计算各像素点的视差并对所述视差进行视差求精操作，得到视差图。

本发明所提供的一种立体匹配方法，包括：计算采集到的第一视频图像与第二视频图像之间的匹配代价；其中，第一视频图像和第二视频图像为一组视频图像对；采用多级级联块构造窗口，利用窗口对匹配代价对应的图像匹配块的相似度进行级联统计操作，得到求精匹配代价；根据求精匹配代价，利用递归滤波器进行代价聚合；根据代价聚合后的结果，计算各像素点的视差并对视差进行视差求精操作，得到视差图；

该方法基于多级级联块和递归滤波器实现，具有实时性好、鲁棒性优、准确性高的特点，相对于传统的深度图算法的改进在匹配代价计算和代价聚合方面，通过使用发明中的代价计算和代价聚集操作之后，能得到相对于其它立体匹配方法实时性高并且效果很好的视差图。且在计算视差图时由于算法的并行性比较强(例如使用递归滤波器进行代价聚合的过程)，大幅度提高了图片在移动平台上的帧频。其对计算性能及图片的成像环境要求较低。本发明还提供了一种立体匹配系统及移动终端，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的立体匹配方法的流程图；

图2为本发明实施例所提供的多级级联块构造窗口的四个窗口的示意图；

图3为本发明实施例所提供的一种具体立体匹配方法的过程示意图；

图4为本发明实施例所提供的立体匹配系统的结构框图。

具体实施方式

本发明的核心是提供一种立体匹配方法、系统及移动终端，该立体匹配方法基于多级级联块和递归滤波器实现，对计算性能及图片的成像环境要求较低，且在算法的并行性上更有优势，具有实时性好、鲁棒性优、准确性高的特点。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提出基于多级级联块和递归滤波器的立体匹配方法，该方法对计算性能及图片的成像环境要求较低，且在算法的并行性上更有优势；基于多级级联块和递归滤波器的立体匹配方法实时性好、鲁棒性优、准确性高；具体请参考图1，图1为本发明实施例所提供的立体匹配方法的流程图；该方法可以包括：

S100、计算采集到的第一视频图像与第二视频图像之间的匹配代价；其中，第一视频图像和第二视频图像为一组视频图像对。

其中，本实施例中视频图像对的采集过程可以是通过双目摄像头实时采集视频图像对，得到第一视频图像和第二视频图像。本实施例并不对视频图像对的采集方式进行限定，只要可以得到视频图像对，以便能够对其进行后续的立体匹配即可。这里的视频图像可以理解为广泛的图像，不仅仅可以是视频中的某一帧对应的图像。

进一步，为了保证立体匹配的效果，优选的，本实施例可以对获取的第一视频图像与第二视频图像进行预处理，从而保证第一视频图像与第二视频图像的准确性进而保证了立体匹配的准确性。本实施例并不限定具体的预处理过程。优选的，预处理过程可以包括：利用标定数据对第一视频图像和第二视频图像进行校正，并执行去畸变操作。即将视频图像利用标定数据进行校正和去除畸变。例如使用离线标定产生的标定数据对双摄图像进行校正和去畸变操作。

该步骤主要是为了计算匹配代价，本实施例并不对匹配代价的具体计算方法进行限定。用户可以根据自身的需求选取合适的算法实现匹配代价的计算。优选的，匹配代价的计算可以采用CENSUS+SAD的方法计算采集到的第一视频图像与第二视频图像之间的匹配代价。即采用CENSUS+SAD(非参数统计变换+绝对误差和)的方法计算第一视频图像和第二视频图像之间的匹配代价。

具体的，利用CENSUS+SAD的方法比较图像块的相似度，其实质是比较两幅图像(即第一视频图像和第二视频图像)之间的汉明距离与绝对误差距离之和。对于待匹配的像素，在视差范围内在左右图像(第一视频图像和第二视频图像即左图像和右图像，但是本实施例并不限定第一视频图像为左图像，第二视频图像为右图像，这里的第一和第二仅仅用来区分两个图像，只要是一组视频图像对即可其必然包含有一个左图像和一个右图像)中分别截取一个小窗口计算，利用CENSUS变换描述两个窗口得到一些位串并计算它们的海明距离，对于SAD操作则直接针对两个窗口的灰度值进行绝度误差累加，然后以Alpha融合的方式分别以一定的比例因子融合汉明距离与绝对误差和。

计算匹配代价的目的是求取左右图像的像素点在视差变化范围内的匹配代价，一般都是采用二值描述子CENSUS或浮点描述子NCC等进行代价计算，构造出视差空间。但是CENSUS变换对于光照具有较高的鲁棒性但对于重复纹理区域的区分性不强，SAD对于重复纹理区域的区分性要比CENSUS变化好，但是它容易受到光照变换的影响以及噪声的干扰，因此本实施例采用CENSUS+SAD结合它们的优势对图像进行描述。即通过采用以上方案，结合了SENCUS对光照鲁棒性好以及SAD对于重复纹理区域的区分性好的优点，使得匹配结果稳定性好。

S110、采用多级级联块构造窗口，利用窗口对匹配代价对应的图像匹配块的相似度进行级联统计操作，得到求精匹配代价。

具体的，本步骤通过多级级联块增加代价计算的准确度。本实施例并不限定多级级联块构造的窗口的具体参数，其可以根据实际图像大小等因素进行设置和修改。优选的，其具体过程可以包括：

采用多级级联块构造四个非规则窗口，其中，四个非规则窗口包含水平方向的长方形窗口、垂直方向的长方形窗口以及两个不同大小的正方形窗口；

利用四个非规则窗口对匹配代价对应的图像匹配块的相似度进行级联统计操作，将相对于四个非规则窗口的极大值设置为求精匹配代价。

具体的，上述过程即采用多级级联块的方式构造四个非规则窗口，两个大小不一的正方形窗口以及水平方向的长方形窗口与垂直方向的长方形窗口，即多级级联窗口是由四个非规则窗口构成的；四个非规则窗口包含两个正方形窗口以及两个长方形窗口；本实施例中利用多级级联块构造窗口包含四个非规则窗口，在滤波器中一般的窗口都是正方形，本实施例中是正方形窗口和长方形窗口都有，因此称其为非规则窗口，以和现有技术中正常的滤波器窗口进行区分。具体可以参考图2，给出多级级联窗口的一个样列，该多级级联窗口由大小分别为3*3与5*5的正方形窗口以及大小为1*7的水平长方形窗口和7*1的垂直长方形窗口，共4个窗口构造而成。本实施例利用四个非规则窗口对图像匹配块的相似度进行级联统计操作，通过连乘每个窗口的方法计算出求精的匹配代价(即求精匹配代价)。其中，由于在匹配代价计算时已经计算出了匹配块之间的关联程度，在本实施例中将代价值越高的值作为相似度越高的衡量标准，因此通过连乘每一个窗口的匹配代价值，找到对于四个非规则窗口(即两个正方形窗口和两个长方形窗口)的极大值，设置为匹配代价计算之后的最终值即求精匹配代价。

通过上述过程可以增加匹配代价计算的准确度；例如采用CENSUS+SAD的方法比较图像块的相似度实质上是比较它们的汉明距离+绝对误差距离，这样的距离比较容易受噪声的影响，而本实施例中采用多级级联块的方式构造两个大小不一的正方形窗口以及水平与垂直方向的长方形窗口对图像匹配块的相似度进行级联统计操作，增加代价计算的准确度。

S120、根据求精匹配代价，利用递归滤波器进行代价聚合。

其中，递归滤波(recursive filtering)亦称为反馈滤波(feedback filleting)。其输出既依赖于输入及滤波响应函数，又依赖于以前的输出。在这种滤波过程中，输出在经过延迟后被加到输入端。以这种方式，可以用一个短滤波器实现一个长滤波器的功能。与常规的时空域滤波相比，递归滤波的优点是计算量小，计算速度快。代价聚合是指利用像素之间的关系对视差空间进行求精的过程。

现有技术中采用boxFilter(箱式滤波器)，GaussianFilter(高斯滤波器)等方法可以进行代价聚合处理，但是它们认为代价聚合的区域都是同性的，因此对于边缘以及平滑区域的处理是一致的，导致代价聚合较差，BilterFilter采用了空间信息和邻域的灰度值信息在一定程度上能加强代价聚合之后的结果，但是相比于采用导向图作为代价聚合的方法比如GuideFilter在效果上具有比较明显的差异。采用了NonLocal思想的TreeFilter把传统的代价聚合方式由窗口变为生成树状结构，代价聚合的窗口影响范围也由局部窗口内的像素点，拓展到全图或者是一些非规则区域，进一步加大了代价聚合时的异常值的消除，但是计算量大。

本实施例为了减轻计算量同时保持好的效果。可以通过递归滤波器进行代价聚合。具体的可以采用一种保持边缘的递归滤波器进行代价聚合。它考虑到了图像中的每一个像素对当前进行代价聚合的影响，同时在计算每个像素点的代价值只需要少量的操作，通过递归率计算、递归方式选择以及递归结果聚合就能很快的计算，计算量小，聚合效果好。本实施例并不限定利用递归滤波器进行代价聚合的具体过程。优选的，利用递归滤波器进行代价聚合可以包括：

利用递归滤波器进行水平代价聚合和垂直代价聚合；

将水平代价聚合值和垂直代价聚合值累加实现代价聚合；

其中，水平代价聚合的过程为从左到右利用高斯权重累加求精匹配代价值得到第一水平聚合值，从右到左利用高斯权重累加求精匹配代价值得到第二水平聚合值，将第一水平聚合值和第二水平聚合值累加得到水平代价聚合值；垂直代价聚合的过程为从下到上利用高斯权重累加求精匹配代价值得到第一垂直聚合值，从上到下利用高斯权重累加求精匹配代价值得到第二垂直聚合值，将第一垂直聚合值和第二垂直聚合值累加得到垂直代价聚合值。

具体的，该代价聚合的方式分为水平与垂直两部分，在每个部分都需要进行两个过程，对于水平部分自左向右根据高斯权重累加代价值(即求精匹配代价值)，之后再自由向左累加代价值，然后以水平方向累加的代价值结果作为输入，在垂直方向再进行自顶向下和自底向上两个累加过程。即本实施例中递归率采用高斯权重，通过灰度计算出每个像素点对其它像素点的贡献，再通过水平方向与垂直方向的递归累加代价达到代价聚集的目的，递归结果集成采用的独立的方式，这一类型的递归边缘保持滤波器易于并行并且处理效果最好，而且在水平与垂直代价累计时点与点之间的权重是对称的。相比于TreeFilter或者guideFilter具有更快更高的效率，同时它也采用了导向图的概念，在边缘保持方面也有优势。即由于算法的并行性比较强，还可以采用GPU的方法进行大幅度的加速，例如对于分辨率为320*240的图片在Android平台上的中端高通CPU上帧率可达到30fps。

S130、根据代价聚合后的结果，计算各像素点的视差并对视差进行视差求精操作，得到视差图。

具体的，本实施例并不限定进行视差计算的方式，也不限定进行视差求精的计算方式。用户可以根据自身的实际需求进行相对应算法的选择。例如可以使用胜者为王(WTA，Winner Take All)算法，对每一个像素点选取聚合后代价最小的视差值作为最终的视差值计算视差，利用左右一致性检测方法对视差进行视差求精等。优选的，计算各像素点的视差并对视差进行视差求精操作可以包括：

利用WTA算法计算各像素点的视差；

利用左右一致性检测方法对视差进行视差求精，并在视差求精后利用拟合方式确定亚像素视差。

具体的，采用胜者为王(WTA)的方法对视差空间求解以求取视差即对于每个像素点找出视差范围内该点的多有代价匹配值中的最大值或最小值，赋为当前点的视差。

在视差的求精过程中通过左右一致性检测，视差插值等操作对视差进行后处理，同时采用拟合的方式，对于当前视差和它的两个左右视差，利用视差值和视差匹配代价值，拟合抛物线，把抛物线中的最小代价值处的视差，认为是最终的视差从而获取亚像素视差。

本实施例相对于传统的深度图算法的改进在代价计算和代价聚集方面，通过使用本实施例中的代价计算和代价聚集操作之后，能得到相对于其它立体匹配方法实时性高并且效果很好的视差图，具体过程可以参照图3。视差图可以用于分割，重对焦等操作，结合标定得到的基距和焦距还可获得深度数据进行3D骨架线提取等操作。

基于上述技术方案，本发明实施例提的立体匹配方法，基于多级级联块和递归滤波器实现，具有实时性好、鲁棒性优、准确性高的特点，相对于传统的深度图算法的改进在匹配代价计算和代价聚合方面，通过使用发明中的代价计算和代价聚集操作之后，能得到相对于其它立体匹配方法实时性高并且效果很好的视差图。且在计算视差图时由于算法的并行性比较强(例如使用递归滤波器进行代价聚合的过程)，大幅度提高了图片在移动平台上的帧频。其对计算性能及图片的成像环境要求较低。

下面对本发明实施例提供的立体匹配系统及移动终端进行介绍，下文描述的立体匹配系统及移动终端与上文描述的立体匹配方法可相互对应参照。

请参考图4，图4为本发明实施例所提供的立体匹配系统的结构框图；该系统可以包括：

匹配代价模块100，用于计算采集到的第一视频图像与第二视频图像之间的匹配代价；其中，第一视频图像和第二视频图像为一组视频图像对；

代价求精模块200，用于采用多级级联块构造窗口，利用窗口对匹配代价对应的图像匹配块的相似度进行级联统计操作，得到求精匹配代价；

代价聚合模块300，用于根据求精匹配代价，利用递归滤波器进行代价聚合；

视差图计算模块400，用于根据代价聚合后的结果，计算各像素点的视差并对视差进行视差求精操作，得到视差图。

基于上述实施例，代价求精模块200可以包括：

多级级联块窗口构造单元，用于采用多级级联块构造四个非规则窗口，其中，四个非规则窗口包含水平方向的长方形窗口、垂直方向的长方形窗口以及两个不同大小的正方形窗口；

代价求精单元，用于利用四个非规则窗口对匹配代价对应的图像匹配块的相似度进行级联统计操作，将相对于四个非规则窗口的极大值设置为求精匹配代价。

基于上述任意实施例，代价聚合模块300可以包括：

水平代价聚合单元，用于利用递归滤波器进行水平代价聚合；水平代价聚合的过程为从左到右利用高斯权重累加求精匹配代价值得到第一水平聚合值，从右到左利用高斯权重累加求精匹配代价值得到第二水平聚合值，将第一水平聚合值和第二水平聚合值累加得到水平代价聚合值；

垂直代价聚合单元，用于利用递归滤波器进行垂直代价聚合；垂直代价聚合的过程为从下到上利用高斯权重累加求精匹配代价值得到第一垂直聚合值，从上到下利用高斯权重累加求精匹配代价值得到第二垂直聚合值，将第一垂直聚合值和第二垂直聚合值累加得到垂直代价聚合值；

代价聚合单元，用于将水平代价聚合值和垂直代价聚合值累加实现代价聚合；

基于上述任意实施例，匹配代价模块100具体为采用CENSUS+SAD的方法计算采集到的第一视频图像与第二视频图像之间的匹配代价的模块。

本实施例还提供一种移动终端，可以包括：

双目摄像头，用于采集第一视频图像与第二视频图像；其中，所述第一视频图像和所述第二视频图像为一组视频图像对；

处理器，用于计算所述第一视频图像与所述第二视频图像之间的匹配代价；采用多级级联块构造窗口，利用所述窗口对所述匹配代价对应的图像匹配块的相似度进行级联统计操作，得到求精匹配代价；根据所述求精匹配代价，利用递归滤波器进行代价聚合；根据代价聚合后的结果，计算各像素点的视差并对所述视差进行视差求精操作，得到视差图。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种立体匹配方法、系统及移动终端进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种立体匹配方法，其特征在于，所述方法包括：

计算采集到的第一视频图像与第二视频图像之间的匹配代价；其中，所述第一视频图像和所述第二视频图像为一组视频图像对；

采用多级级联块构造窗口，利用所述窗口对所述匹配代价对应的图像匹配块的相似度进行级联统计操作，得到求精匹配代价；

根据所述求精匹配代价，利用递归滤波器进行代价聚合；

根据代价聚合后的结果，计算各像素点的视差并对所述视差进行视差求精操作，得到视差图。

2.根据权利要求1所述的方法，其特征在于，所述采用多级级联块构造窗口，利用所述窗口对所述匹配代价对应的图像匹配块的相似度进行级联统计操作，得到求精匹配代价，包括：

采用多级级联块构造四个非规则窗口，其中，所述四个非规则窗口包含水平方向的长方形窗口、垂直方向的长方形窗口以及两个不同大小的正方形窗口；

利用所述四个非规则窗口对所述匹配代价对应的图像匹配块的相似度进行级联统计操作，将相对于所述四个非规则窗口的极大值设置为求精匹配代价。

3.根据权利要求1或2所述的方法，其特征在于，所述利用递归滤波器进行代价聚合，包括：

利用所述递归滤波器进行水平代价聚合和垂直代价聚合；

将水平代价聚合值和垂直代价聚合值累加实现代价聚合；

其中，所述水平代价聚合的过程为从左到右利用高斯权重累加求精匹配代价值得到第一水平聚合值，从右到左利用高斯权重累加求精匹配代价值得到第二水平聚合值，将所述第一水平聚合值和所述第二水平聚合值累加得到水平代价聚合值；所述垂直代价聚合的过程为从下到上利用高斯权重累加求精匹配代价值得到第一垂直聚合值，从上到下利用高斯权重累加求精匹配代价值得到第二垂直聚合值，将所述第一垂直聚合值和所述第二垂直聚合值累加得到垂直代价聚合值。

4.根据权利要求3所述的方法，其特征在于，所述计算采集到的第一视频图像与第二视频图像之间的匹配代价，包括：

采用CENSUS+SAD的方法计算采集到的第一视频图像与第二视频图像之间的匹配代价。

5.根据权利要求4所述的方法，其特征在于，所述计算各像素点的视差并对所述视差进行视差求精操作，包括：

利用WTA算法计算各像素点的视差；

利用左右一致性检测方法对所述视差进行视差求精，并在视差求精后利用拟合方式确定亚像素视差。

6.根据权利要求5所述的方法，其特征在于，所述计算采集到的第一视频图像与第二视频图像之间的匹配代价之前，还包括：

利用标定数据对所述第一视频图像和所述第二视频图像进行校正，并执行去畸变操作。

7.一种立体匹配系统，其特征在于，所述系统包括：

匹配代价模块，用于计算采集到的第一视频图像与第二视频图像之间的匹配代价；其中，所述第一视频图像和所述第二视频图像为一组视频图像对；

代价求精模块，用于采用多级级联块构造窗口，利用所述窗口对所述匹配代价对应的图像匹配块的相似度进行级联统计操作，得到求精匹配代价；

代价聚合模块，用于根据所述求精匹配代价，利用递归滤波器进行代价聚合；

视差图计算模块，用于根据代价聚合后的结果，计算各像素点的视差并对所述视差进行视差求精操作，得到视差图。

8.根据权利要求7所述的系统，其特征在于，所述代价求精模块，包括：

多级级联块窗口构造单元，用于采用多级级联块构造四个非规则窗口，其中，所述四个非规则窗口包含水平方向的长方形窗口、垂直方向的长方形窗口以及两个不同大小的正方形窗口；

代价求精单元，用于利用所述四个非规则窗口对所述匹配代价对应的图像匹配块的相似度进行级联统计操作，将相对于所述四个非规则窗口的极大值设置为求精匹配代价。

9.根据权利要求7或8所述的系统，其特征在于，所述代价聚合模块，包括：

水平代价聚合单元，用于利用所述递归滤波器进行水平代价聚合；所述水平代价聚合的过程为从左到右利用高斯权重累加求精匹配代价值得到第一水平聚合值，从右到左利用高斯权重累加求精匹配代价值得到第二水平聚合值，将所述第一水平聚合值和所述第二水平聚合值累加得到水平代价聚合值；

垂直代价聚合单元，用于利用所述递归滤波器进行垂直代价聚合；所述垂直代价聚合的过程为从下到上利用高斯权重累加求精匹配代价值得到第一垂直聚合值，从上到下利用高斯权重累加求精匹配代价值得到第二垂直聚合值，将所述第一垂直聚合值和所述第二垂直聚合值累加得到垂直代价聚合值；

代价聚合单元，用于将水平代价聚合值和垂直代价聚合值累加实现代价聚合。

10.一种移动终端，其特征在于，包括：双目摄像头，用于采集第一视频图像与第二视频图像；其中，所述第一视频图像和所述第二视频图像为一组视频图像对；

处理器，用于计算所述第一视频图像与所述第二视频图像之间的匹配代价；采用多级级联块构造窗口，利用所述窗口对所述匹配代价对应的图像匹配块的相似度进行级联统计操作，得到求精匹配代价；根据所述求精匹配代价，利用递归滤波器进行代价聚合；根据代价聚合后的结果，计算各像素点的视差并对所述视差进行视差求精操作，得到视差图。