CN107220994A - 一种立体匹配的方法及系统 - Google Patents

Abstract

本发明公开了一种立体匹配的方法，所述方法包括：获取摄像装置采集的处理图像；其中，所述处理图像为左图像或右图像；对所述处理图像进行图像分割操作，得到预定数量的图像块信息；分别对每个所述图像块信息内的像素进行立体匹配；对所述立体匹配后的图像信息进行一致性检测；对所述一致性检测后的图像信息进行错误点去除操作；对所述错误点去除操作后的图像信息进行平滑滤波处理；该方法具有运行效率高和准确性高等优点，降低视觉智能设备成本，便于推广应用。本发明还公开了一种立体匹配的系统，具有上述有益效果。

Description

一种立体匹配的方法及系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种立体匹配的方法及系统。

背景技术

计算机视觉技术的发展将光与影的艺术和计算机的逻辑性紧密结合起来，而双目立体视觉技术更将这种结合从平面二次元上升到立体的角度，为我们的生产生活提供了新的技术和工具。例如已经被普遍运用的3D电影技术，研发中的虚拟现实、谷歌视觉眼镜、汽车自动驾驶技术，即将上市的淘宝虚拟实景购物等，不断改变着我们的生活。另外双目立体视觉在军事、医学、工业等领域都有其重要的作用，是机器感知物体几何层级的基础，因此对双目视觉的理论研究成为推动立体视觉乃至计算机视觉技术在各个领域创造更高价值的重要因素。

在双目视觉的研究和运用中，最重要的一个阶段无疑为将平面图像转化为计算机可识别的立体模型。这里将用到立体匹配技术，目前双目视觉研究领域用到的立体匹配算法及其衍生算法有很多种，算法的效率和匹配精度将直接影响到算法运用的响应时间和准确度。当今各种视觉智能设备的发展需要将立体匹配过程直接嵌入到单片机中，这种场景下，算法的效率和匹配精度将直接决定不同运算性能的嵌入式设备的选择和产品推广后的用户体验度，也将直接决定设备成本，因此，如何研究出更加速度快、精度高的立体匹配算法在各领域都具有划时代的重要意义。

发明内容

本发明的目的是提供一种立体匹配的方法及系统，具有运行效率高和准确性高等优点，降低视觉智能设备成本，便于推广应用。

为解决上述技术问题，本发明提供一种立体匹配的方法，所述方法包括：

获取摄像装置采集的处理图像；其中，所述处理图像为左图像或右图像；

对所述处理图像进行图像分割操作，得到预定数量的图像块信息；

分别对每个所述图像块信息内的像素进行立体匹配；

对所述立体匹配后的图像信息进行一致性检测；

对所述一致性检测后的图像信息进行错误点去除操作；

对所述错误点去除操作后的图像信息进行平滑滤波处理。

可选的，对所述处理图像进行图像分割操作，包括：

利用快速分割算法对所述处理图像进行图像分割操作。

可选的，对所述处理图像进行图像分割操作，包括：

对所述处理图像进行下采样，得到下采样图像；

对所述下采样图像进行图像分割操作，得到分割图像；

对所述分割图像进行上采样。

可选的，分别对每个所述图像块信息内的像素进行立体匹配，包括：

并行的对每个所述图像块信息内的像素进行匹配代价计算得到第一匹配代价，并对每个所述图像块信息内的所有像素点进行兴趣点聚合得到第二匹配代价；

根据所述第一匹配代价和所述第二匹配代价，进行视差计算；

对所述视差计算结果进行视差细化，以验证并去除错误匹配点。

可选的，对每个所述图像块信息内的所有像素点进行兴趣点聚合得到第二匹配代价，包括：

利用公式对每个所述图像块信息内的所有像素点进行兴趣点聚合得到第二匹配代价E_a(p)；

其中，V为所有像素点的集合，Dis(p，q)为最小生成树上p，q两点的最短路径，σ为一个常数。

本发明还提供一种立体匹配的系统，所述系统包括：

图像获取单元，用于获取摄像装置采集的处理图像；其中，所述处理图像为左图像或右图像；

图像分割单元，用于对所述处理图像进行图像分割操作，得到预定数量的图像块信息；

立体匹配单元，用于分别对每个所述图像块信息内的像素进行立体匹配；

一致性检测单元，用于对所述立体匹配后的图像信息进行一致性检测；

错误点去除单元，用于对所述一致性检测后的图像信息进行错误点去除操作；

平滑滤波单元，用于对所述错误点去除操作后的图像信息进行平滑滤波处理。

可选的，所述图像分割单元，包括：

第一图像分割模块，用于利用快速分割算法对所述处理图像进行图像分割操作。

可选的，所述图像分割单元，包括：

第二图像分割模块，用于对所述处理图像进行下采样，得到下采样图像；对所述下采样图像进行图像分割操作，得到分割图像；对所述分割图像进行上采样。

可选的，所述立体匹配单元，包括：

第一匹配代价计算模块，用于并行的对每个所述图像块信息内的像素进行匹配代价计算得到第一匹配代价；

第二匹配代价计算模块，用于并行的对每个所述图像块信息内的所有像素点进行兴趣点聚合得到第二匹配代价；

视差计算模块，用于根据所述第一匹配代价和所述第二匹配代价，进行视差计算；

视差细化模块，用于对所述视差计算结果进行视差细化，以验证并去除错误匹配点。

可选的，所述第二匹配代价计算模块具体为利用公式对每个所述图像块信息内的所有像素点进行兴趣点聚合得到第二匹配代价E_a(p)的模块；

其中，V为所有像素点的集合，Dis(p，q)为最小生成树上p，q两点的最短路径，σ为一个常数。

本发明所提供的一种立体匹配的方法，所述方法包括：获取摄像装置采集的处理图像；其中，所述处理图像为左图像或右图像；对所述处理图像进行图像分割操作，得到预定数量的图像块信息；分别对每个所述图像块信息内的像素进行立体匹配；对所述立体匹配后的图像信息进行一致性检测；对所述一致性检测后的图像信息进行错误点去除操作；对所述错误点去除操作后的图像信息进行平滑滤波处理；

可见，该方法通过对除了图像进行分割处理，得到图像块信息，后续可以对各个图像块信息进行立体匹配，以便提高匹配过程的效率；因此该方法具有运行效率高和准确性高等优点，降低视觉智能设备成本，便于推广应用。本发明还提供了一种立体匹配的系统，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的立体匹配的方法的流程图；

图2为本发明实施例所提供的立体匹配的系统的结构框图。

具体实施方式

本发明的核心是提供一种立体匹配的方法及系统，具有运行效率高和准确性高等优点，降低视觉智能设备成本，便于推广应用。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所提供的立体匹配的方法的流程图；该方法可以包括：

S100、获取摄像装置采集的处理图像；其中，处理图像为左图像或右图像；

具体的，该立体匹配方法具体为一种快速的保边立体匹配算法，对处理图像的选取本实施例并不进行限定，其可以选取左图像作为处理图像，也可以选取右图像作为处理图像。因此，本实施例仅需要获取输入的需要进行处理的处理图像即可。本实施例也不对摄像装置进行限定，只要可以采集处理图像即可。

S110、对处理图像进行图像分割操作，得到预定数量的图像块信息；

具体的，本实施例并不对具体的图像分割操作进行限定。用户可以根据实际硬件计算能力和立体匹配精度需求进行选择。例如可以选择快速分割算法进行图像分割，也可以选择采样分割方式。

其中，对处理图像进行图像分割操作可以包括：

对处理图像进行下采样，得到下采样图像；对下采样图像进行图像分割操作，得到分割图像；对分割图像进行上采样。

具体的，对获取的处理图像进行下采样，再对进行下采样后的处理图像进行图像分割；若执行了下采样过程，则应当对图像分割处理后的处理图像进行上采样处理，恢复至原图；进行上采样时，可以进行融合处理，以保证分割的准确性。

即在进行图像分割时，对处理图像进行下采样后再进行分割；再对下采样以及分割处理后的处理图像进行上采样，再对上采样后的处理图像进行融合处理，以保证分割的准确性，间接提升了后续立体匹配的准确性。

其中，对处理图像进行图像分割操作可以包括：

利用快速分割算法对处理图像进行图像分割操作。

具体的，本实施例并不对具体的快速分割算法进行限定，用户可以自行选择。这里的快速分割算法可以是DBSCAN算法，当采用DBSCAN算法对图像进行分割时，无须对左图像进行下采样，直接进行分割。即采用快速分割算法对处理图像进行分割，则可以不用进行下采样，相应的，也无须进行上采样过程。

即快速分割算法进行图像分割的方式，在保证像素也可以理解为超像素分割效果的同时，运行速度也较高。

S120、分别对每个图像块信息内的像素进行立体匹配；

具体的，该步骤对每个图像块信息内的像素(也就可以理解为超像素)进行立体匹配。将处理图像分块进行立体匹配可以提高立体匹配效率，即本实施例在进行立体匹配时，针对每个块(每个超像素快)分别进行立体匹配；这是由于每块的树匹配要远比全图的立体匹配的计算量小，因此可以大大提高运行效率。其中，本实施例并不对具体的立体匹配算法进行限定。

进一步为了提高立体匹配的效率可以利用并行化设计，并行的对各个块进行立体匹配处理。优选的，分别对每个图像块信息内的像素进行立体匹配可以包括：

并行的对每个图像块信息内的像素进行匹配代价计算得到第一匹配代价，并对每个图像块信息内的所有像素点进行兴趣点聚合得到第二匹配代价；

根据第一匹配代价和第二匹配代价，进行视差计算；

对视差计算结果进行视差细化，以验证并去除错误匹配点。

具体的，首先进行第一匹配代价的计算，其次再进行代价聚合(即将图像上的所有点进行兴趣点聚合，计算出新的匹配代价)，计算第二匹配代价，然后进行视差计算，最后进行视差细化(即优化视差图，验证舍去错误匹配点，完成立体匹配)。

其中，对每个图像块信息内的所有像素点进行兴趣点聚合得到第二匹配代价可以包括：

利用公式对每个图像块信息内的所有像素点进行兴趣点聚合得到第二匹配代价E_a(p)；

其中，V为所有像素点的集合，Dis(p，q)为最小生成树上p，q两点的最短路径，σ为一个常数。E_a(p)为像上所有点的代价聚合值。

具体的，采用公式对匹配代价进行改造；其中，S(p，q)为权值，f(q)为滤波器输入，G(p)为滤波器输出；权其中，Dis(p，q)为最小生成树上p，q两点的最短路径，σ为一个常数。

S130、对立体匹配后的图像信息进行一致性检测；

S140、对一致性检测后的图像信息进行错误点去除操作；

S150、对错误点去除操作后的图像信息进行平滑滤波处理。

具体的，本实施例并不限定具体的一致性检测、错误点去除操作以及平滑滤波处理的具体方式，用户可以根据实际需要进行选择。

基于上述技术方案，本发明实施例提的立体匹配的方法，该方法通过对除了图像进行分割处理，得到图像块信息，后续可以对各个图像块信息进行立体匹配，以便提高匹配过程的效率；因此该方法具有运行效率高和准确性高等优点，降低视觉智能设备成本，便于推广应用。

下面对本发明实施例提供的立体匹配的系统进行介绍，下文描述的立体匹配的系统与上文描述的立体匹配的方法可相互对应参照。

请参考图2，图2为本发明实施例所提供的立体匹配的系统的结构框图；该系统包括：

图像获取单元100，用于获取摄像装置采集的处理图像；其中，处理图像为左图像或右图像；

具体的，图像获取单元100信号连接于图像分割单元200；这里的摄像装置可以由两个摄像机组成，分别记为第一摄像机和第二摄像机；第一摄像机获取的图像记为左图像；第二摄像机获取的图像记为右图像。

图像分割单元200，用于对处理图像进行图像分割操作，得到预定数量的图像块信息；

立体匹配单元300，用于分别对每个图像块信息内的像素进行立体匹配；

一致性检测单元400，用于对立体匹配后的图像信息进行一致性检测；

错误点去除单元500，用于对一致性检测后的图像信息进行错误点去除操作；

平滑滤波单元600，用于对错误点去除操作后的图像信息进行平滑滤波处理。

具体的，一致性检测单元400信号连接于错误点去除单元500；错误点去除单元500信号连接于平滑滤波单元600。

基于上述实施例，图像分割单元200可以包括：

第一图像分割模块，用于利用快速分割算法对处理图像进行图像分割操作。

基于上述实施例，图像分割单元200可以包括：

第二图像分割模块，用于对处理图像进行下采样，得到下采样图像；对下采样图像进行图像分割操作，得到分割图像；对分割图像进行上采样。

基于上述任意实施例，立体匹配单元300可以包括：

第一匹配代价计算模块，用于并行的对每个图像块信息内的像素进行匹配代价计算得到第一匹配代价；

第二匹配代价计算模块，用于并行的对每个图像块信息内的所有像素点进行兴趣点聚合得到第二匹配代价；

视差计算模块，用于根据第一匹配代价和第二匹配代价，进行视差计算；

视差细化模块，用于对视差计算结果进行视差细化，以验证并去除错误匹配点。

具体的，上述四个模块依次信号连接，最后视差细化模块信号连接于一致性检测单元400。第一匹配代价计算模块信号连接于图像分割单元200。

基于上述实施例，第二匹配代价计算模块具体为利用公式对每个图像块信息内的所有像素点进行兴趣点聚合得到第二匹配代价E_a(p)的模块；

其中，V为所有像素点的集合，Dis(p，q)为最小生成树上p，q两点的最短路径，σ为一个常数。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种立体匹配的方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种立体匹配的方法，其特征在于，所述方法包括：

获取摄像装置采集的处理图像；其中，所述处理图像为左图像或右图像；

对所述处理图像进行图像分割操作，得到预定数量的图像块信息；

分别对每个所述图像块信息内的像素进行立体匹配；

对所述立体匹配后的图像信息进行一致性检测；

对所述一致性检测后的图像信息进行错误点去除操作；

对所述错误点去除操作后的图像信息进行平滑滤波处理。

2.根据权利要求1所述的方法，其特征在于，对所述处理图像进行图像分割操作，包括：

利用快速分割算法对所述处理图像进行图像分割操作。

3.根据权利要求1所述的方法，其特征在于，对所述处理图像进行图像分割操作，包括：

对所述处理图像进行下采样，得到下采样图像；

对所述下采样图像进行图像分割操作，得到分割图像；

对所述分割图像进行上采样。

4.根据权利要求1-3所述的方法，其特征在于，分别对每个所述图像块信息内的像素进行立体匹配，包括：

并行的对每个所述图像块信息内的像素进行匹配代价计算得到第一匹配代价，并对每个所述图像块信息内的所有像素点进行兴趣点聚合得到第二匹配代价；

根据所述第一匹配代价和所述第二匹配代价，进行视差计算；

对所述视差计算结果进行视差细化，以验证并去除错误匹配点。

5.根据权利要求4所述的方法，其特征在于，对每个所述图像块信息内的所有像素点进行兴趣点聚合得到第二匹配代价，包括：

利用公式对每个所述图像块信息内的所有像素点进行兴趣点聚合得到第二匹配代价E_a(p)；

其中，V为所有像素点的集合，Dis(p，q)为最小生成树上p，q两点的最短路径，σ为一个常数。

6.一种立体匹配的系统，其特征在于，所述系统包括：

图像获取单元，用于获取摄像装置采集的处理图像；其中，所述处理图像为左图像或右图像；

图像分割单元，用于对所述处理图像进行图像分割操作，得到预定数量的图像块信息；

立体匹配单元，用于分别对每个所述图像块信息内的像素进行立体匹配；

一致性检测单元，用于对所述立体匹配后的图像信息进行一致性检测；

错误点去除单元，用于对所述一致性检测后的图像信息进行错误点去除操作；

平滑滤波单元，用于对所述错误点去除操作后的图像信息进行平滑滤波处理。

7.根据权利要求6所述的系统，其特征在于，所述图像分割单元，包括：

第一图像分割模块，用于利用快速分割算法对所述处理图像进行图像分割操作。

8.根据权利要求6所述的系统，其特征在于，所述图像分割单元，包括：

第二图像分割模块，用于对所述处理图像进行下采样，得到下采样图像；对所述下采样图像进行图像分割操作，得到分割图像；对所述分割图像进行上采样。

9.根据权利要求6-8所述的系统，其特征在于，所述立体匹配单元，包括：

第一匹配代价计算模块，用于并行的对每个所述图像块信息内的像素进行匹配代价计算得到第一匹配代价；

第二匹配代价计算模块，用于并行的对每个所述图像块信息内的所有像素点进行兴趣点聚合得到第二匹配代价；

视差计算模块，用于根据所述第一匹配代价和所述第二匹配代价，进行视差计算；

视差细化模块，用于对所述视差计算结果进行视差细化，以验证并去除错误匹配点。

10.根据权利要求9所述的系统，其特征在于，所述第二匹配代价计算模块具体为利用公式对每个所述图像块信息内的所有像素点进行兴趣点聚合得到第二匹配代价E_a(p)的模块；

其中，V为所有像素点的集合，Dis(p，q)为最小生成树上p，q两点的最短路径，σ为一个常数。