CN107220997B - 一种立体匹配方法及系统 - Google Patents

一种立体匹配方法及系统 Download PDF

Info

Publication number
CN107220997B
CN107220997B CN201710362286.1A CN201710362286A CN107220997B CN 107220997 B CN107220997 B CN 107220997B CN 201710362286 A CN201710362286 A CN 201710362286A CN 107220997 B CN107220997 B CN 107220997B
Authority
CN
China
Prior art keywords
image
target
aggregation
cost
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710362286.1A
Other languages
English (en)
Other versions
CN107220997A (zh
Inventor
罗林
周剑
唐荣富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Topplusvision Science & Technology Co ltd
Original Assignee
Chengdu Topplusvision Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Topplusvision Science & Technology Co ltd filed Critical Chengdu Topplusvision Science & Technology Co ltd
Priority to CN201710362286.1A priority Critical patent/CN107220997B/zh
Publication of CN107220997A publication Critical patent/CN107220997A/zh
Priority to PCT/CN2017/120340 priority patent/WO2018214505A1/zh
Application granted granted Critical
Publication of CN107220997B publication Critical patent/CN107220997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了立体匹配方法及系统，方法包括：获取参考图像以及目标图像，确定聚合区域的视差区域；利用分块变换算法将参考图像变换为聚合参考图像，目标图像变换为聚合目标图像；分别计算图像的CENSUS特征，得到聚合参考图像与聚合目标图像的匹配代价值；分别计算各参考分块图像与对应的相同分块位置的目标分块图像的区域代价聚合；当存在匹配代价值大于区域代价聚合则重新分割区域对应的参考分块图像以及目标分块图像并计算分割后的区域代价聚合，直到匹配代价值均小于各区域代价聚合；计算各参考分块图像与对应目标分块图像中每个像素的代价聚合第一视差图像；能够有效地解决弱纹理区域误匹配的问题，计算量较小，实时性好。

Description

一种立体匹配方法及系统
技术领域
本发明涉及计算机视觉与图像处理领域，特别涉及一种立体匹配方法及系统。
背景技术
立体匹配是计算机视觉领域的重要组成部分，也是许多3D应用的核心部分。目前，立体匹配方法主要分为局部匹配方法、全局匹配方法以及半全局匹配方法等三类。其中，局部匹配方法复杂度低，运算量小，但匹配效果较差；全局的匹配方法可以获得非常好的匹配效果，但复杂度太高，不能做到实时处理；而半全局的匹配方法其匹配效果介于局部算法和全局算法之间，但其运算量仍然很大，难以应用到实时性要求较高的地方。因此，综合考虑匹配效果和实时性，许多应用选择了折中的算法。
近几年，一种基于非局部的立体匹配算法被提出来。该方法在代价聚集的过程采用最小生成树的方式进行滤波，每一个像素都利用了图像中其他所有像素进行代价的聚集，但其运算量接近局部的方法，因此受到广泛的关注。该方法在图像纹理比较丰富的区域能够获得比较好的效果，但是，该方法计算复杂、耗时长、耗内存，且在纹理较弱的区域以及室外实际场景中却难以取得理想的效果。因此，如何提升该立体匹配算法的匹配效果，是本领域技术人员需要解决的技术问题。
发明内容
本发明的目的是提供一种立体匹配方法及系统，能够有效地解决弱纹理区域误匹配的问题，并在室外场景中也能取得较好的匹配效果，同时，计算量较小，实时性好。
为解决上述技术问题，本发明提供一种立体匹配方法，所述方法包括：
步骤S10、获取参考图像以及目标图像，并确定聚合区域的视差区域；
步骤S11、将所述参考图像以及所述目标图像均等分为N*N个区域，得到参考分块图像以及目标分块图像；
步骤S12、根据所述参考分块图像以及所述目标分块图像，利用分块变换算法，将所述参考图像变换为聚合参考图像，所述目标图像变换为聚合目标图像；
步骤S13、分别计算所述聚合参考图像以及所述聚合目标图像的CENSUS特征，并进行立体匹配，计算得到所述聚合参考图像的CENSUS特征与所述聚合目标图像的CENSUS特征的匹配代价值；
步骤S14、分别计算各所述参考分块图像与对应的相同分块位置的所述目标分块图像的区域代价聚合；
步骤S15、比较所述匹配代价值与各所述区域代价聚合，若存在所述匹配代价值大于区域代价聚合，则重新分割区域代价聚合小于所述匹配代价值的区域代价聚合对应的参考分块图像以及目标分块图像并计算分割后的区域代价聚合，直到所述匹配代价值均小于各区域代价聚合；
步骤S16、计算所述匹配代价值均小于各区域代价聚合时各参考分块图像与对应目标分块图像中每个像素的代价聚合，并利用WTA方法得到第一视差图像。
可选的，步骤S12包括：
制作第一空图像和第二空图像，其中，所述第一空图像中每个像素点与所述参考图像的像素点一一对应，所述第二空图像中每个像素点与所述目标图像的像素点一一对应；
计算每一个所述参考分块图像的像素值之和，并赋值给所述第一空图像中对应的像素点中，得到聚合参考图像；
计算每一个所述目标分块图像的像素值之和，并赋值给所述第二空图像中对应的像素点中，得到聚合目标图像。
可选的，重新分割区域代价聚合小于所述匹配代价值的区域代价聚合对应的参考分块图像以及目标分块图像，包括：
分别判断代价聚合小于所述匹配代价值的区域代价聚合对应的各参考分块图像以及各目标分块图像的像素平均值和中间像素值的大小；
当参考分块图像或目标分块图像的像素平均值小于中间像素值，则按照估计视差进行区域扩大，当参考分块图像或目标分块图像的像素平均值大于中间像素值，则按照估计视差进行区域缩小。
可选的，计算所述匹配代价值均小于各区域代价聚合时各参考分块图像与对应目标分块图像中每个像素的代价聚合，包括：
确定像素的视差区域[dmin，dmax]；
以估计视差d为基准，对所述参考图像的每一个像素点p(x，y)，在所述目标图像上确定对应的像素点p(x-d，y)；其中，d∈[dmin，dmax]；
计算像素点p(x，y)与像素点p(x-d，y)之间对应的CENSUS特征的汉明距离，得到像素的代价聚合Cd(p)；
计算各参考分块图像中相邻节点的边权重，并根据所述边权重得到四连通的无向图；
利用Boruvka算法对所述无向图进行处理，得到最小生成树；
将所述最小生成树转换为具有根节点和叶节点的树形结构，并对所述树形结构从叶节点到根节点进行滤波得到向上代价聚集；
根据所述向上代价聚集，对所述树形结构从根节点到叶节点进行滤波得到各参考分块图像与对应目标分块图像中每个像素的代价聚合。
可选的，本方案还包括：
将所述参考图像作为新的目标图像，将所述目标图像作为新的参考图像，并根据所述新的目标图像以及所述新的参考图像，执行所述步骤S11至所述步骤S16得到第二视差图像；
利用所述第一视差图像和所述第二视差图像进行视差求精，得到最终视差图像。
可选的，利用所述第一视差图像和所述第二视差图像进行视差求精，得到最终视差图像，包括：
对所述第一视差图像和所述第二视差图像进行左右一致性检测确定视差稳定点；
利用公式
Figure BDA0001300585300000031
计算得到新的代价集合
Figure BDA0001300585300000032
其中，D(p)为第一视差图像，d为视差；
根据所述新的代价集合
Figure BDA0001300585300000041
执行步骤S12得到最终视差图像。
本发明还提供一种立体匹配系统，包括：
获取模块，用于获取参考图像以及目标图像，并确定聚合区域的视差区域；
划分模块，用于将所述参考图像以及所述目标图像均等分为N*N个区域，得到参考分块图像以及目标分块图像；
聚合模块，用于根据所述参考分块图像以及所述目标分块图像，利用分块变换算法，将所述参考图像变换为聚合参考图像，所述目标图像变换为聚合目标图像；
匹配代价计算模块，用于分别计算所述聚合参考图像以及所述聚合目标图像的CENSUS特征，并进行立体匹配，计算得到所述聚合参考图像的CENSUS特征与所述聚合目标图像的CENSUS特征的匹配代价值；
区域代价聚合模块，用于分别计算各所述参考分块图像与对应的相同分块位置的所述目标分块图像的区域代价聚合；
匹配模块，用于比较所述匹配代价值与各所述区域代价聚合，若存在所述匹配代价值大于区域代价聚合，则重新分割区域代价聚合小于所述匹配代价值的区域代价聚合对应的参考分块图像以及目标分块图像并计算分割后的区域代价聚合，直到所述匹配代价值均小于各区域代价聚合；
视差图像获取模块，用于计算所述匹配代价值均小于各区域代价聚合时各参考分块图像与对应目标分块图像中每个像素的代价聚合，并利用WTA方法得到第一视差图像。
可选的，所述聚合模块，包括：
空图像制作单元，用于制作第一空图像和第二空图像，其中，所述第一空图像中每个像素点与所述参考图像的像素点一一对应，所述第二空图像中每个像素点与所述目标图像的像素点一一对应；
聚合参考图像单元，用于计算每一个所述参考分块图像的像素值之和，并赋值给所述第一空图像中对应的像素点中，得到聚合参考图像；
聚合目标图像单元，用于计算每一个所述目标分块图像的像素值之和，并赋值给所述第二空图像中对应的像素点中，得到聚合目标图像。
可选的，所述匹配模块，包括：
判断单元，用于分别判断代价聚合小于所述匹配代价值的区域代价聚合对应的各参考分块图像以及各目标分块图像的像素平均值和中间像素值的大小；
重新划分单元，用于当参考分块图像或目标分块图像的像素平均值小于中间像素值，则按照估计视差进行区域扩大，当参考分块图像或目标分块图像的像素平均值大于中间像素值，则按照估计视差进行区域缩小。
可选的，本方案还包括：
视差求精模块，用于将所述参考图像作为新的目标图像，将所述目标图像作为新的参考图像，并根据所述新的目标图像以及所述新的参考图像计算得到第二视差图像；利用所述第一视差图像和所述第二视差图像进行视差求精，得到最终视差图像。
可见，该方法利用聚合图像进行匹配，加快匹配速度；在基于聚合图像的匹配基础之上对匹配块的像素进行精准匹配，匹配精度高，计算量小，同时，解决了弱纹理区域误匹配的问题；本发明还提供一种立体匹配系统，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例所提供的立体匹配方法的流程图；
图2为本发明实施例所提供的立体匹配系统的结构框图。
具体实施方式
本发明的核心是提供一种立体匹配方法及系统，能够有效地解决弱纹理区域误匹配的问题，并在室外场景中也能取得较好的匹配效果，同时，计算量较小，实时性好。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例所提供的立体匹配方法的流程图；该方法可以包括：该方法可以包括：
步骤S10、获取参考图像以及目标图像，并确定聚合区域的视差区域；
具体的，这里的参考图像和目标图像为经过畸变校正后的图像。稠密的立体匹配算法主要关注匹配问题，因此在匹配之前需要将两幅图像中的像素校正到同一水平线上，即参考图像和目标图像为经过畸变校正后的图像，从而可以保证匹配准确性和可靠性。
这里可以将左图像作为参考图像对应的右图像作为目标图像；也可以是将右图像作为参考图像对应的左图像作为目标图像。即本实施例并不对参考图像以及目标图像具体选择方式进行限定。通常情况下以左图像作为参考图像对应的右图像作为目标图像。
确定聚合区域的视差区域可以用
Figure BDA0001300585300000061
表示。
步骤S11、将参考图像以及目标图像均等分为N*N个区域，得到参考分块图像以及目标分块图像；
步骤S12、根据参考分块图像以及目标分块图像，利用分块变换算法，将参考图像变换为聚合参考图像，目标图像变换为聚合目标图像；
具体的，该步骤即将参考图像基于分块变换成聚合参考图像，将目标图像基于分块变换成聚合目标图像。具体过程可以如下：
制作第一空图像和第二空图像，其中，第一空图像中每个像素点与参考图像的像素点一一对应，第二空图像中每个像素点与目标图像的像素点一一对应；
计算每一个参考分块图像的像素值之和，并赋值给第一空图像中对应的像素点中，得到聚合参考图像；
计算每一个目标分块图像的像素值之和，并赋值给第二空图像中对应的像素点中，得到聚合目标图像。
具体的，制作两张空图像：第一空图像和第二空图像，第一空图像和第二空图像的尺寸与参考图像和目标图像一致，例如为N*N，本实施例并不对图像的具体尺寸进行限定。第一空图像的每个像素点与参考图像中的像素点成一一对应关系，第二空图像的每个像素点与目标图像中的像素点成一一对应关系。计算参考图像的每一个分块S(即每一个参考分块图像)的像素值之和：
Figure BDA0001300585300000071
将I(S)赋值给第一空图像的相对应的像素点中，得到聚合参考图像。计算目标图像的每一个分块C(即每一个目标分块图像)的像素值之和：
Figure BDA0001300585300000072
将I(C)赋值给第二空图像的相对应的像素点中，得到聚合目标图像。其中，Ii为像素值。
通过上述获得聚合参考图像以及聚合目标图像的方式，即利用像素之和作为图像聚合指标，简单方便，计算量小。可以提高立体匹配的速度。
步骤S13、分别计算聚合参考图像以及聚合目标图像的CENSUS特征，并进行立体匹配，计算得到聚合参考图像的CENSUS特征与聚合目标图像的CENSUS特征的匹配代价值；
其中，本实施例并不限定匹配代价值的获取方式。由于加权CENSUS特征比一般的颜色梯度特征更有效，因此本实施例可以采用CENSUS特征计算聚合图像(包括聚合参考图像以及聚合目标图像)的特征。
具体的，该步骤具体可以是计算聚合参考图像和聚合目标图像的CENSUS特征，同时对聚合参考图像CENSUS特征和聚合目标图像CENSUS特征进行立体匹配，计算聚合参考图像CENSUS特征和聚合目标图像CENSUS特征的匹配代价CC＝|I(S)-I(C)|。
步骤S14、分别计算各参考分块图像与对应的相同分块位置的目标分块图像的区域代价聚合η；
步骤S15、比较匹配代价值与各区域代价聚合，若存在匹配代价值大于区域代价聚合，则重新分割区域代价聚合小于匹配代价值的区域代价聚合对应的参考分块图像以及目标分块图像并计算分割后的区域代价聚合，直到匹配代价值均小于各区域代价聚合；
具体的，若存在匹配代价值CC大于区域代价聚合η，则重新分割参考图像和目标图像中对应的区域，否则，则认为该区域的聚合代价匹配完成(即结束该参考分块图像和对应的目标分块图像之间的匹配)。即每一个参考分块图像与对应的相同分块位置的目标分块图像都要进行对应的比较，若比较结果为匹配代价值CC大于该参考分块图像和目标分块图像对应的区域代价聚合η时，将该参考分块图像和目标分块图像重新分割，至到该参考分块图像和目标分块图像对应的区域代价聚合η大于匹配代价值CC。
本实施例并不对具体的重新分割规则进行限定。具体的，重新分割规则可以如下：
当需要重新分割的参考分块图像以及对应的目标分块图像的像素平均值小于中间像素值，则按照估计视差进行区域扩大，当参考分块图像或目标分块图像的像素平均值大于中间像素值，则按照估计视差进行区域缩小。即需要重新分割的参考分块图像以及对应的目标分块图像的像素平均值小于中间像素值，则按照估计视差
Figure BDA0001300585300000081
进行区域扩大；如果像素平均值大于中间像素值，则按照估计视差
Figure BDA0001300585300000082
减小，完成需要重新分割的参考分块图像以及对应的目标分块图像的重新分块。并在完成重新分割后执行S12至步骤S15。本实施例并不限定估计视差的值。
步骤S16、计算匹配代价值均小于各区域代价聚合时各参考分块图像与对应目标分块图像中每个像素的代价聚合，并利用WTA方法得到第一视差图像。
具体的，本实施例并不限定具体的每个像素的代价聚合的具体方式。具体可以如下：
确定像素的视差区域[dmin，dmax]；
以估计视差d为基准，对参考图像的每一个像素点p(x，y)，在目标图像上确定对应的像素点p(x-d，y)；其中，d∈[dmin，dmax]；
具体的，对于参考图像中的分块S(其中分块的意思即第S个参考分块图像)在目标图像中的匹配分块C之间进行估计稠密匹配，即估计两个分块中的像素点的一一匹配的对应关系。具体为：以估计视差取值d为基准，d∈[dmin，dmax]，对参考图像的每一个像素点p(x，y)，在目标图像上找到对应的像素点p(x-d，y)。
计算像素点p(x，y)与像素点p(x-d，y)之间对应的CENSUS特征的汉明距离，得到像素的代价聚合Cd(p)；
计算各参考分块图像中相邻节点的边权重，并根据边权重得到四连通的无向图；
其中，本实施例在生成最小生成树时，图像像素的排列方式可以看作是8连通或者4连通的邻接图，本实施例中可以任意进行选取，并不对此进行限定。进一步为了减小运算量，优选的可以采用4连通的连接方式。
具体的，将图像看作四连通的无向图，图中的节点为各个像素点，相邻节点r和s之间边的权重为像素间各通道颜色值的最大差异，计算公式如下：
Figure BDA0001300585300000091
其中，Ic(r)为r节点各通道颜色值，Ic(s)为s节点各通道颜色值。
利用Boruvka算法对无向图进行处理，得到最小生成树；
具体的，将得到的无向图利用Boruvka算法(最小生成树算法)生成最小生成树；其中，树中任意两个节点间的距离Dis(p，q)为连接两个节点间路劲权重之和，两个节点的相似度S(p，q)为
Figure BDA0001300585300000092
其中，σ表示归一化常数。其中，Boruvka算法以贪心的方式生成最小生成树，运算量比其他算法小。本实施例并不对生成最小生成树的算法进行限定。这里可以选取Boruvka算法是因为其运算量很小。
将最小生成树转换为具有根节点和叶节点的树形结构，并对树形结构从叶节点到根节点进行滤波得到向上代价聚集；
根据向上代价聚集，对树形结构从根节点到叶节点进行滤波得到各参考分块图像与对应目标分块图像中每个像素的代价聚合。
其中，为了保证滤波效果可以进行两次滤波，具体过程可以是：将最小生成树转换为具有根节点和叶节点的树形结构，并对树形结构从叶节点到根节点进行滤波得到向上代价聚集；根据向上代价聚集，对树形结构从根节点到叶节点进行滤波得到参考图像的像素代价聚集。
具体的，最小生成树转换为具有父节点(即根节点)和子节点(即叶节点)的树形结构。对树形结构进行两次滤波，第一次从叶节点到根节点滤波，得到向上代价聚集
Figure BDA0001300585300000101
Figure BDA0001300585300000102
其中，P(vc)表示节点vc的父节点，Cd(v)表示像素点v的代价聚集，S(v，vc)表示像素点v和vc之间的相似度权重，
Figure BDA0001300585300000103
表示向上的代价聚集，对叶节点
Figure BDA0001300585300000104
对叶节点
Figure BDA0001300585300000105
第二次从根节点到叶节点滤波，得到像素代价聚集
Figure BDA0001300585300000106
其中，对于根节点
Figure BDA0001300585300000107
S(P(v)，v)表示父节点P(vc)与当前节点v之间的相似度权重。
本实施例中两次滤波保证了每一个像素都能以全图的像素作为支撑区域，并且聚集代价只需要计算一次，显著降低了算法的运算量。
具体的，通过上述的计算每个像素的代价聚合的方法，在基于聚合图像的匹配基础之上对匹配块的像素进行精准匹配，匹配精度高，计算量小，同时，解决了弱纹理区域误匹配的问题。
进一步，利用WTA方法得到第一视差图像。具体的，根据WTA(Winner Take All)原则，对每一个像素点选取最终代价最小的视差值作为最终的视差值，得到第一视差图像。进一步还可以对其进行快速中值滤波得到滤波后的第一视差图像，这里的第一视差图像可以用D(p)表示。
基于上述技术方案，本发明实施例提的立体匹配方法，该方法利用聚合图像进行匹配，加快匹配速度；在基于聚合图像的匹配基础之上对匹配块的像素进行精准匹配，匹配精度高，计算量小，同时，解决了弱纹理区域误匹配的问题。
基于上述技术方案，该方法还可以包括：
将参考图像作为新的目标图像，将目标图像作为新的参考图像，并根据新的目标图像以及新的参考图像，执行步骤S11至步骤S16得到第二视差图像；
利用第一视差图像和第二视差图像进行视差求精，得到最终视差图像。
具体的，视差求精的过程。即本实施例还可以包括将参考图像作为新的目标图像，将目标图像作为新的参考图像，并根据新的目标图像以及新的参考图像，执行步骤S11至步骤S16得到第二视差图像；利用第一视差图像和第二视差图像进行视差求精，得到最终视差图像。
其中，交换参考图像和目标图像，即将上述实施例中参考图像和目标图像进行交换。将参考图像作为新的目标图像，将目标图像作为新的参考图像，并根据新的目标图像以及新的参考图像。例如当上述实施例中左图像作为参考图像对应的右图像作为目标图像时，交换后的结果即左图像作为目标图像对应的右图像作为参考图像。这里的第二视差图像可以用Dr(p)表示。
可选的，利用第一视差图像和第二视差图像进行视差求精，得到最终视差图像可以包括：
对第一视差图像和第二视差图像进行左右一致性检测确定视差稳定点；
利用公式
Figure BDA0001300585300000111
计算得到新的代价集合
Figure BDA0001300585300000112
其中，D(p)为第一视差图像，d为视差；
根据新的代价集合
Figure BDA0001300585300000113
执行步骤S12得到最终视差图像。
基于上述技术方案，本发明实施例提的立体匹配方法，该方法利用聚合图像进行匹配，加快匹配速度；在基于聚合图像的匹配基础之上对匹配块的像素进行精准匹配，匹配精度高，计算量小，同时，解决了弱纹理区域误匹配的问题，并在室外场景中也能取得较好的匹配效果。同时运算量也没有大幅增加，可以获得较好的匹配效果。
下面对本发明实施例提供的立体匹配系统进行介绍，下文描述的立体匹配系统与上文描述的立体匹配方法可相互对应参照。
请参考图2，图2为本发明实施例所提供的立体匹配系统的结构框图；该系统可以包括：
获取模块100，用于获取参考图像以及目标图像，并确定聚合区域的视差区域；
划分模块200，用于将参考图像以及目标图像均等分为N*N个区域，得到参考分块图像以及目标分块图像；
聚合模块300，用于根据参考分块图像以及目标分块图像，利用分块变换算法，将参考图像变换为聚合参考图像，目标图像变换为聚合目标图像；
匹配代价计算模块400，用于分别计算聚合参考图像以及聚合目标图像的CENSUS特征，并进行立体匹配，计算得到聚合参考图像的CENSUS特征与聚合目标图像的CENSUS特征的匹配代价值；
区域代价聚合模块500，用于分别计算各参考分块图像与对应的相同分块位置的目标分块图像的区域代价聚合；
匹配模块600，用于比较匹配代价值与各区域代价聚合，若存在匹配代价值大于区域代价聚合，则重新分割区域代价聚合小于匹配代价值的区域代价聚合对应的参考分块图像以及目标分块图像并计算分割后的区域代价聚合，直到匹配代价值均小于各区域代价聚合；
视差图像获取模块700，用于计算匹配代价值均小于各区域代价聚合时各参考分块图像与对应目标分块图像中每个像素的代价聚合，并利用WTA方法得到第一视差图像。
基于上述实施例，聚合模块300可以包括：
空图像制作单元，用于制作第一空图像和第二空图像，其中，第一空图像中每个像素点与参考图像的像素点一一对应，第二空图像中每个像素点与目标图像的像素点一一对应；
聚合参考图像单元，用于计算每一个参考分块图像的像素值之和，并赋值给第一空图像中对应的像素点中，得到聚合参考图像；
聚合目标图像单元，用于计算每一个目标分块图像的像素值之和，并赋值给第二空图像中对应的像素点中，得到聚合目标图像。
基于上述实施例，匹配模块600可以包括：
判断单元，用于分别判断代价聚合小于匹配代价值的区域代价聚合对应的各参考分块图像以及各目标分块图像的像素平均值和中间像素值的大小；
重新划分单元，用于当参考分块图像或目标分块图像的像素平均值小于中间像素值，则按照估计视差进行区域扩大，当参考分块图像或目标分块图像的像素平均值大于中间像素值，则按照估计视差进行区域缩小。
基于上述任意实施例，该系统还可以包括：
视差求精模块，用于将参考图像作为新的目标图像，将目标图像作为新的参考图像，并根据新的目标图像以及新的参考图像计算得到第二视差图像；利用第一视差图像和第二视差图像进行视差求精，得到最终视差图像。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种立体匹配方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种立体匹配方法，其特征在于，所述方法包括：
步骤S10、获取参考图像以及目标图像，并确定聚合区域的视差区域；
步骤S11、将所述参考图像以及所述目标图像均等分为N*N个区域，得到参考分块图像以及目标分块图像；
步骤S12、根据所述参考分块图像以及所述目标分块图像，利用分块变换算法，将所述参考图像变换为聚合参考图像，所述目标图像变换为聚合目标图像；
步骤S13、分别计算所述聚合参考图像以及所述聚合目标图像的CENSUS特征，并进行立体匹配，计算得到所述聚合参考图像的CENSUS特征与所述聚合目标图像的CENSUS特征的匹配代价值；
步骤S14、分别计算各所述参考分块图像与对应的相同分块位置的所述目标分块图像的区域代价聚合；
步骤S15、比较所述匹配代价值与各所述区域代价聚合，若存在所述匹配代价值大于区域代价聚合，则重新分割区域代价聚合小于所述匹配代价值的区域代价聚合对应的参考分块图像以及目标分块图像并计算分割后的区域代价聚合，直到所述匹配代价值均小于各区域代价聚合；
步骤S16、计算所述匹配代价值均小于各区域代价聚合时各参考分块图像与对应目标分块图像中每个像素的代价聚合，并利用WTA方法得到第一视差图像，包括，
确定像素的视差区域[dmin,dmax]，
以估计视差d为基准，对所述参考图像的每一个像素点p(x，y)，在所述目标图像上确定对应的像素点p(x-d，y)，其中，d∈[dmin,dmax]，
计算像素点p(x，y)与像素点p(x-d，y)之间对应的CENSUS特征的汉明距离，得到像素的代价聚合Cd(p)，
计算各参考分块图像中相邻节点的边权重，并根据所述边权重得到四连通的无向图，
利用Boruvka算法对所述无向图进行处理，得到最小生成树，
将所述最小生成树转换为具有根节点和叶节点的树形结构，并对所述树形结构从叶节点到根节点进行滤波得到向上代价聚集，
根据所述向上代价聚集，对所述树形结构从根节点到叶节点进行滤波得到各参考分块图像与对应目标分块图像中每个像素的代价聚合。
2.根据权利要求1所述的立体匹配方法，其特征在于，步骤S12包括：
制作第一空图像和第二空图像，其中，所述第一空图像中每个像素点与所述参考图像的像素点一一对应，所述第二空图像中每个像素点与所述目标图像的像素点一一对应；
计算每一个所述参考分块图像的像素值之和，并赋值给所述第一空图像中对应的像素点中，得到聚合参考图像；
计算每一个所述目标分块图像的像素值之和，并赋值给所述第二空图像中对应的像素点中，得到聚合目标图像。
3.根据权利要求2所述的立体匹配方法，其特征在于，重新分割区域代价聚合小于所述匹配代价值的区域代价聚合对应的参考分块图像以及目标分块图像，包括：
分别判断区域代价聚合小于所述匹配代价值的区域代价聚合对应的各参考分块图像以及各目标分块图像的像素平均值和中间像素值的大小；
当参考分块图像或目标分块图像的像素平均值小于中间像素值，则按照估计视差进行区域扩大，当参考分块图像或目标分块图像的像素平均值大于中间像素值，则按照估计视差进行区域缩小。
4.根据权利要求3所述的立体匹配方法，其特征在于，还包括：
将所述参考图像作为新的目标图像，将所述目标图像作为新的参考图像，并根据所述新的目标图像以及所述新的参考图像，执行所述步骤S11至所述步骤S16得到第二视差图像；
利用所述第一视差图像和所述第二视差图像进行视差求精，得到最终视差图像。
5.根据权利要求4所述的立体匹配方法，其特征在于，利用所述第一视差图像和所述第二视差图像进行视差求精，得到最终视差图像，包括：
对所述第一视差图像和所述第二视差图像进行左右一致性检测确定视差稳定点；
利用公式
Figure FDA0002711257530000031
计算得到新的代价集合
Figure FDA0002711257530000032
其中，D(p)为第一视差图像，d为视差；
根据所述新的代价集合
Figure FDA0002711257530000033
执行步骤S12得到最终视差图像。
6.一种立体匹配系统，其特征在于，包括：
获取模块，用于获取参考图像以及目标图像，并确定聚合区域的视差区域；
划分模块，用于将所述参考图像以及所述目标图像均等分为N*N个区域，得到参考分块图像以及目标分块图像；
聚合模块，用于根据所述参考分块图像以及所述目标分块图像，利用分块变换算法，将所述参考图像变换为聚合参考图像，所述目标图像变换为聚合目标图像；
匹配代价计算模块，用于分别计算所述聚合参考图像以及所述聚合目标图像的CENSUS特征，并进行立体匹配，计算得到所述聚合参考图像的CENSUS特征与所述聚合目标图像的CENSUS特征的匹配代价值；
区域代价聚合模块，用于分别计算各所述参考分块图像与对应的相同分块位置的所述目标分块图像的区域代价聚合；
匹配模块，用于比较所述匹配代价值与各所述区域代价聚合，若存在所述匹配代价值大于区域代价聚合，则重新分割区域代价聚合小于所述匹配代价值的区域代价聚合对应的参考分块图像以及目标分块图像并计算分割后的区域代价聚合，直到所述匹配代价值均小于各区域代价聚合；
视差图像获取模块，用于计算所述匹配代价值均小于各区域代价聚合时各参考分块图像与对应目标分块图像中每个像素的代价聚合，并利用WTA方法得到第一视差图像，具体的，确定像素的视差区域[dmin,dmax]，以估计视差d为基准，对所述参考图像的每一个像素点p(x，y)，在所述目标图像上确定对应的像素点p(x-d，y)，其中，d∈[dmin,dmax]，计算像素点p(x，y)与像素点p(x-d，y)之间对应的CENSUS特征的汉明距离，得到像素的代价聚合Cd(p)，计算各参考分块图像中相邻节点的边权重，并根据所述边权重得到四连通的无向图，利用Boruvka算法对所述无向图进行处理，得到最小生成树，将所述最小生成树转换为具有根节点和叶节点的树形结构，并对所述树形结构从叶节点到根节点进行滤波得到向上代价聚集，根据所述向上代价聚集，对所述树形结构从根节点到叶节点进行滤波得到各参考分块图像与对应目标分块图像中每个像素的代价聚合。
7.根据权利要求6所述的立体匹配系统，其特征在于，所述聚合模块，包括：
空图像制作单元，用于制作第一空图像和第二空图像，其中，所述第一空图像中每个像素点与所述参考图像的像素点一一对应，所述第二空图像中每个像素点与所述目标图像的像素点一一对应；
聚合参考图像单元，用于计算每一个所述参考分块图像的像素值之和，并赋值给所述第一空图像中对应的像素点中，得到聚合参考图像；
聚合目标图像单元，用于计算每一个所述目标分块图像的像素值之和，并赋值给所述第二空图像中对应的像素点中，得到聚合目标图像。
8.根据权利要求7所述的立体匹配系统，其特征在于，所述匹配模块，包括：
判断单元，用于分别判断代价聚合小于所述匹配代价值的区域代价聚合对应的各参考分块图像以及各目标分块图像的像素平均值和中间像素值的大小；
重新划分单元，用于当参考分块图像或目标分块图像的像素平均值小于中间像素值，则按照估计视差进行区域扩大，当参考分块图像或目标分块图像的像素平均值大于中间像素值，则按照估计视差进行区域缩小。
9.根据权利要求6-8任一项所述的立体匹配系统，其特征在于，还包括：
视差求精模块，用于将所述参考图像作为新的目标图像，将所述目标图像作为新的参考图像，并根据所述新的目标图像以及所述新的参考图像计算得到第二视差图像；利用所述第一视差图像和所述第二视差图像进行视差求精，得到最终视差图像。
CN201710362286.1A 2017-05-22 2017-05-22 一种立体匹配方法及系统 Active CN107220997B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710362286.1A CN107220997B (zh) 2017-05-22 2017-05-22 一种立体匹配方法及系统
PCT/CN2017/120340 WO2018214505A1 (zh) 2017-05-22 2017-12-29 立体匹配方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710362286.1A CN107220997B (zh) 2017-05-22 2017-05-22 一种立体匹配方法及系统

Publications (2)

Publication Number Publication Date
CN107220997A CN107220997A (zh) 2017-09-29
CN107220997B true CN107220997B (zh) 2020-12-25

Family

ID=59944587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710362286.1A Active CN107220997B (zh) 2017-05-22 2017-05-22 一种立体匹配方法及系统

Country Status (2)

Country Link
CN (1) CN107220997B (zh)
WO (1) WO2018214505A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220997B (zh) * 2017-05-22 2020-12-25 成都通甲优博科技有限责任公司 一种立体匹配方法及系统
CN108109148A (zh) * 2017-12-12 2018-06-01 上海兴芯微电子科技有限公司 图像立体分配方法、移动终端
CN109919991A (zh) * 2017-12-12 2019-06-21 杭州海康威视数字技术股份有限公司 一种深度信息确定方法、装置、电子设备及存储介质
CN107967349B (zh) * 2017-12-13 2020-06-16 湖南省国土资源规划院 一种矿体储量块段匹配方法
CN108133493B (zh) * 2018-01-10 2021-10-22 电子科技大学 一种基于区域划分和渐变映射的异源图像配准优化方法
CN109978934B (zh) * 2019-03-04 2023-01-10 北京大学深圳研究生院 一种基于匹配代价加权的双目视觉立体匹配方法及系统
CN110046236B (zh) * 2019-03-20 2022-12-20 腾讯科技（深圳）有限公司 一种非结构化数据的检索方法及装置
CN110427968B (zh) * 2019-06-28 2021-11-02 武汉大学 一种基于细节增强的双目立体匹配方法
CN110473217B (zh) * 2019-07-25 2022-12-06 沈阳工业大学 一种基于Census变换的双目立体匹配方法
CN111462195B (zh) * 2020-04-09 2022-06-07 武汉大学 基于主线约束的非规则角度方向代价聚合路径确定方法
CN111768437B (zh) * 2020-06-30 2023-09-05 中国矿业大学 一种用于矿井巡检机器人的图像立体匹配方法及装置
CN112889030A (zh) * 2020-07-03 2021-06-01 深圳市大疆创新科技有限公司 图像处理方法、集成电路、装置及设备
WO2022000454A1 (zh) * 2020-07-03 2022-01-06 深圳市大疆创新科技有限公司 图像处理方法、集成电路、装置、可移动平台及存储介质
CN111951310A (zh) * 2020-07-17 2020-11-17 深圳市帝普森微电子有限公司 双目立体匹配方法、视差图获取装置和计算机存储介质
CN112070821B (zh) * 2020-07-31 2023-07-25 南方科技大学 一种低功耗立体匹配系统及获取深度信息的方法
CN113344989B (zh) * 2021-04-26 2023-05-16 贵州电网有限责任公司 一种NCC和Census的最小生成树航拍图像双目立体匹配方法
CN113345001A (zh) * 2021-05-19 2021-09-03 智车优行科技（北京）有限公司 视差图确定方法和装置、计算机可读存储介质、电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130156339A1 (en) * 2011-04-08 2013-06-20 Panasonic Corporation Image processing apparatus and image processing method
CN104867133A (zh) * 2015-04-30 2015-08-26 燕山大学 一种快速的分步立体匹配方法
CN106504276A (zh) * 2016-10-25 2017-03-15 桂林电子科技大学 非局部立体匹配算法的组合匹配代价算法和视差联合填充算法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254348B (zh) * 2011-07-25 2013-09-18 北京航空航天大学 一种基于自适应视差估计的虚拟视点绘制方法
CN102611904A (zh) * 2012-02-15 2012-07-25 山东大学 三维电视系统中基于图像分割的立体匹配方法
CN102930530B (zh) * 2012-09-26 2015-06-17 苏州工业职业技术学院 一种双视点图像的立体匹配方法
CN105513064B (zh) * 2015-12-03 2018-03-20 浙江万里学院 一种基于图像分割和自适应权重的立体匹配方法
CN107220997B (zh) * 2017-05-22 2020-12-25 成都通甲优博科技有限责任公司 一种立体匹配方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130156339A1 (en) * 2011-04-08 2013-06-20 Panasonic Corporation Image processing apparatus and image processing method
CN104867133A (zh) * 2015-04-30 2015-08-26 燕山大学 一种快速的分步立体匹配方法
CN106504276A (zh) * 2016-10-25 2017-03-15 桂林电子科技大学 非局部立体匹配算法的组合匹配代价算法和视差联合填充算法

Also Published As

Publication number Publication date
WO2018214505A1 (zh) 2018-11-29
CN107220997A (zh) 2017-09-29

Similar Documents

Publication Publication Date Title
CN107220997B (zh) 一种立体匹配方法及系统
CN106780590B (zh) 一种深度图的获取方法及系统
CN106780442B (zh) 一种立体匹配方法及系统
CN110220493B (zh) 一种双目测距方法及其装置
US9754377B2 (en) Multi-resolution depth estimation using modified census transform for advanced driver assistance systems
CN111066065A (zh) 用于混合深度正则化的系统和方法
CN107481271B (zh) 一种立体匹配方法、系统及移动终端
CN111833393A (zh) 一种基于边缘信息的双目立体匹配方法
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
CN103440653A (zh) 双目视觉立体匹配方法
CN111179189B (zh) 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质
CN108460792B (zh) 一种基于图像分割的高效聚焦立体匹配方法
CN106355608A (zh) 基于可变权重代价计算与S‑census变换的立体匹配方法
CN113763269A (zh) 一种用于双目图像的立体匹配方法
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN117132737B (zh) 一种三维建筑模型构建方法、系统及设备
CN112489097A (zh) 基于混合2d卷积和伪3d卷积的立体匹配方法
Blanchet et al. Fattening free block matching
WO2024082602A1 (zh) 一种端到端视觉里程计方法及装置
CN109816710B (zh) 一种双目视觉系统高精度且无拖影的视差计算方法
CN112884817B (zh) 稠密光流计算方法、装置、电子设备以及存储介质
CN113344989B (zh) 一种NCC和Census的最小生成树航拍图像双目立体匹配方法
Kim et al. Real-time stereo matching using extended binary weighted aggregation
Zhang et al. Local stereo disparity estimation with novel cost aggregation for sub-pixel accuracy improvement in automotive applications
CN108876841B (zh) 一种视差图视差求精中插值的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant