CN108492326B - 分辨率从低到高的逐渐精细化的立体匹配方法及系统 - Google Patents

分辨率从低到高的逐渐精细化的立体匹配方法及系统 Download PDF

Info

Publication number
CN108492326B
CN108492326B CN201810101040.3A CN201810101040A CN108492326B CN 108492326 B CN108492326 B CN 108492326B CN 201810101040 A CN201810101040 A CN 201810101040A CN 108492326 B CN108492326 B CN 108492326B
Authority
CN
China
Prior art keywords
image
resolution
region
segmentation
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810101040.3A
Other languages
English (en)
Other versions
CN108492326A (zh
Inventor
赵勇
陈天健
卢海花
张丽
卢昌义
桑海伟
艾新东
杨纬达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201810101040.3A priority Critical patent/CN108492326B/zh
Publication of CN108492326A publication Critical patent/CN108492326A/zh
Application granted granted Critical
Publication of CN108492326B publication Critical patent/CN108492326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种分辨率从低到高的逐渐精细化的立体匹配方法及系统，从一个很低的分辨率的图像开始——这样的图像只保存了最粗的结构细节，在匹配上不容易发生误匹配——对这个很低的分辨率的图像进行分割以及视差的曲面拟合，然后进行内插得到高一级分辨率的分割，在原分割基础上再进行分割以及视差的拟合，然后再进行内插得到再高一级分辨率进行分割，并在上一分辨率分割的基础上再进行分割以及视差的拟合，如此一直内插和分割，直到达到预定的分辨率为止，这种做法充分利用了图像中整体的结构信息，实现了鲁棒的分割和视差或深度的提取。

Description

分辨率从低到高的逐渐精细化的立体匹配方法及系统
技术领域
本发明涉及立体区域领域，具体涉及一种分辨率从低到高的逐渐精细化的立体匹配方法及系统。
背景技术
在进行双目或多目视觉的立体匹配时，由于匹配像素的不唯一性，即完全有可能有处于非匹配位置，但像素值正好与正在被匹配的像素值相等，导致发生误匹配。例如，在颜色比较单一的区域，区域上的颜色值都差不多，会导致发生误匹配；再例如，纹理图像中，颜色有周期性重复的现象，也容易导致像素的发生误匹配，等等。
发明内容
考虑到上述问题，本申请提供一种分辨率从低到高的逐渐精细化的立体匹配方法及系统。
根据第一方面，一种实施例中提供一种分辨率从低到高的逐渐精细化的立体匹配方法，包括：
获取第一低分辨率的左图像和右图像，对其中任意一幅图像进行分割，得到第一低分辨率的图像的分割区域；
从第二低分辨率开始直到预设的最高分辨率结束：对前一个低分辨率的图像进行内插，得到后一个高分辨率的图像；在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域；
得到最高分辨率的图像及其分割区域后，对最高分辨率的图像的每个分割区域进行视差的曲面拟合，以计算最高分辨率的图像中每个像素点的视差。
在一实施例中，对第一低分辨率的左图像和右图像中任意一幅图像进行分割，得到第一低分辨率的图像的分割区域，包括：
根据第一低分辨率的左图像和右图像中任意一幅图像，对于该第一低分辨率的图像中每一个像素点，获取该像素点在图像的一个区域，根据该区域内所有像素点进行视差的平面拟合，并基于该拟合出的平面计算该像素点的视差和法向量；
根据综合距离，对所述第一低分辨率的图像进行初步分割得到初步的分割区域；其中综合距离至少基于视差相似性和/或法向量相似性来计算得到；
根据类间的相似度以及类内之间的相似度，对所述第一低分辨率的图像的初步的分割区域进行分裂与合并，得到所述第一分辨率的图像的分割区域。
在一实施例中，所述对于该第一低分辨率的图像中每一个像素点，获取该像素点在图像的一个区域，包括获取该像素点的一个具有相似梯度的区域；所述获取该像素点的一个具有相似梯度的区域，包括：
计算所述第一分辨率的图像中各像素点的梯度；
基于梯度相似性，寻找该像素点的一个具有相似梯度的区域；
当基于梯度相似性寻找不到该像素点的一个具有相似梯度的区域时，则使用该像素点的邻域的像素点来对该像素点进行滤波，得到该像素点滤波后的像素值，并重新计算该像素点的梯度，基于梯度相似性，寻找该像素点的一个具有相似梯度的区域。
在一实施例中，所述在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域，包括分裂步骤；所述分裂步骤包括：将前一个低分辨率的图像的分割区域，对应在后一个分辨率的图像上，得到后一个分辨率的图像的继承的分割区域；对后一个分辨率的图像的每个继承的分割区域进行视差的平面拟合，以计算后一个分辨率的图像的每个像素点的视差和法向量；根据综合距离，对后一个分辨率的图像的每个继承的分割区域继续进行分割，其中综合距离至少基于视差相似性和/或法向量相似性来计算得到。
在一实施例中，所述分裂步骤还包括：对后一个分辨率的图像的继承的分割区域继续分割得到的每个分割区域，对该分割区域内所有像素点进行视差的曲面拟合，根据拟合出的曲面，验证该分割区域内的像素点是否都属于这个拟合出的曲面，如果不属于且像素点的个数大于一预设阈值，则将这些像素点划分为一个新的分割区域。
在一实施例中，所述在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域还包括合并步骤，所述合并步骤包括：获取后一个分辨率的图像经分裂步骤后的分割区域中，那些位于继承的分割区域的边沿上的分割区域，根据类间的相似度以及类内之间的相似度，逐个判断这些位于边沿上的分割区域是否可以合并，如果可以合并，则进行合并，形成新的分割区域。
在一实施例中，所述合并步骤还包括：对每个合并后形成的新的分割区域，对该分割区域内所有像素点进行视差的曲面拟合，根据拟合出的曲面，验证该分割区域内的像素点是否都属于这个拟合出的曲面，如果不属于且像素点的个数大于一预设阈值，则将这些像素点又划分为一个新的分割区域。
在一实施例中，所述在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域还包括调整步骤，所述调整步骤包括：对后一个分辨率的图像经合并步骤后的分割区域，根据综合距离判断每一个像素点属于哪一个经合并步骤后的分割区域，并进行调整。
根据第二方面，一种实施例中提供一种分辨率从低到高的逐渐精细化的立体匹配系统，包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现上述任一实施例所述的方法。
根据第三方面，一种实施例中提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述任一实施例所述的方法。
依据上述实施例的分辨率从低到高的逐渐精细化的立体匹配方法、系统及计算机可读存储介质，从低分辨率到高分辨率的逐步精细化的准全局的立体匹配思路，先从一个很低的分辨率的图像开始——这样的图像只保存了最粗的结构细节，在匹配上不容易发生误匹配——对这个很低的分辨率的图像进行分割以及视差的曲面拟合，然后进行内插得到高一级分辨率的分割，在原分割基础上再进行分割以及视差的拟合，然后再进行内插得到再高一级分辨率进行分割，并在上一分辨率分割的基础上再进行分割以及视差的拟合，如此一直内插和分割，直到达到预定的分辨率为止，这种做法充分利用了图像中整体的结构信息，实现了鲁棒的分割和视差或深度的提取。
附图说明
图1为一种实施例的分辨率从低到高的逐渐精细化的立体匹配方法的流程图；
图2为一种实施例的对第一低分辨率的左图像和右图像中任意一幅图像进行分割，得到第一低分辨率的图像的分割区域的流程图；
图3为一种实施例的在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域的流程图；
图4为一种实施例中前一个低分辨率的图像的分割区域与后一个高分辨率的图像的继承的分割区域的对应关系示意图；
图5(a)为一种实施例中继承的分割区域P10经第一分裂步骤后的示意图；图5(b)为继承的分割区域P10又经第二分裂步骤后的示意图；
图6为一种实施例中后一个分辨率的图像的继承的分割区域P10和P20的示意图；
图7(a)为一种实施例中后一个分辨率的图像的继承的分割区域P10和P20经第一合并步骤后的示意图；图7(b)为后一个分辨率的图像的继承的分割区域P10和P20又经第二合并步骤后的示意图；
图8为一种实施例的分辨率从低到高的逐渐精细化的立体匹配系统的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
针对背景技术中提出的误匹配问题，发明人认为解决的一个思路是充分利用图像整体的结构信息。但是如何利用图像整体的结构信息是一个问题；发明人提出一种从低分辨率到高分辨率的逐步精细化的准全局的立体匹配思路，先从一个很低的分辨率的图像开始——这样的图像只保存了最粗的结构细节，在匹配上不容易发生误匹配——对这个很低的分辨率的图像进行分割以及视差的曲面拟合，然后进行内插得到高一级分辨率的分割，在原分割基础上再进行分割以及视差的拟合，然后再进行内插得到再高一级分辨率进行分割，并在上一分辨率分割的基础上再进行分割以及视差的拟合，如此一直内插和分割，直到达到预定的分辨率为止，这种做法充分利用了图像中整体的结构信息，实现了鲁棒的分割和视差或深度的提取。下面具体说明。
请参照图1，本发明一实施例中公开了一种分辨率从低到高的逐渐精细化的立体匹配方法，包括步骤S10～S50。
步骤S10：获取第一低分辨率的左图像和右图像，对其中任意一幅图像进行分割，得到第一低分辨率的图像的分割区域。
获取第一低分辨率的左图像和右图像的方式有许多种，例如一般用于立体匹配的图像分辨都不会很低，我们可以通过对其降采样来得到第一低分辨率的图像，第一低分辨率的具体值可以根据需求来设置。
对第一低分辨率的左图像和右图像中任意一幅图像进行分割，得到第一低分辨率的图像的分割区域，有许多种方式，请参照图2，在一实施例中可以包括步骤S12～S14。
步骤S12：根据第一低分辨率的左图像和右图像中任意一幅图像，对于该第一低分辨率的图像中每一个像素点，获取该像素点在图像的一个区域，根据该区域内所有像素点进行视差的平面拟合，并基于该拟合出的平面计算该像素点的视差和法向量。在一实施例中，对该第一低分辨率的图像中每一个像素点，获取该像素点在图像的一个区域，包括获取该像素点的一个具有相似梯度的区域，在一具体实施例中，可以这样来获取：计算所述第一分辨率的图像中各像素点的梯度；基于梯度相似性，寻找该像素点的一个具有相似梯度的区域(例如通过区域切割算法(例如Graph-Cut算法))；当基于梯度相似性寻找不到该像素点的一个具有相似梯度的区域时，说明这个像素点本身就是一个由噪声引起的离群值(outlier)，使用该像素点的邻域的像素中值来对该像素点进行滤波，得到该像素点滤波后的像素值，并重新计算该像素点的梯度，基于梯度相似性，寻找该像素点的一个具有相似梯度的区域。下面举一个例子来说明步骤S12。
以第一低分辨率的图像(不妨以左图像为例)中任意一个像素点，例如像素点(x0，y0)，先获取该像素点(x0，y0)在该左图像的一个区域P，例如一个具有相似梯度的区域P。获取的方法有许多种，例如先计算左图像中各像素点的梯度，然后基于梯度相似性，寻找该像素点(x0，y0)的一个具有相似梯度的区域P。计算两个像素点的梯度相似性，或者说，计算两个向量的相似度有许多种方法，例如对于任意两个像素点(x1，y1)、(x2，y2)之间的梯度相似性可以通过下式进行计算：
Figure BDA0001565527030000061
gradI(x1，y1)表示像素点(x1，y1)的梯度，gradI(x2，y2)表示像素点(x2，y2)的梯度；计算得到的cosθ值越大，说明夹角θ越大，也就是相似度越小。定义了梯度相似性后，就可以基于梯度相似性来寻找像素点(x0，y0)的一个具有相似梯度的区域。当基于梯度相似性寻找不到像素点(x0，y0)的一个具有梯度的区域，那么说明像素点(x0，y0)是由噪声引起的离群值，因此可以通过像素点(x0，y0)的邻域(例如8邻域)对像素点(x0，y0)进行中值滤波，得到像素点(x0，y0)滤波后的像素值，然后基于像素点(x0，y0)滤波后的像素值，重新计算像素点(x0，y0)的梯度gradI(x0，y0)，然后再基于梯度相似性，寻找像素点(x0，y0)的一个具有相似梯度的区域。通过这样的方式，对于任意一个像素点，最终都可以寻找到该像素点的一个具有相似梯度的区域。
接着，根据区域P内所有像素点进行视差的平面拟合。平面拟合的方法有许多种，例如，可令视差平面d(x，y)＝a1x+b1y+c1，通过下式(1)进行平面拟合：
Figure BDA0001565527030000062
其中l(y，x)表示左图像中坐标(y，x)的像素点的像素值，r(y，x-(a1x+b1y+c1))表示右图像中坐标(y，x-(a1x+b1y+c1))的像素点的像素值。像素值可以是灰度值，也可是颜色值，当像素值是颜色值时，可以指的是各颜色分量之和。对于式(1)，求取一个集合O＝{a1，b1，c1}，使得下式的值最小：
Figure BDA0001565527030000063
不妨假设求取得到的集合O＝{a1 *，b1 *，c1 *}，因此区域P内所有像素点进行视差的平面拟合，得到的视差平面为d(x，y)＝a1 *x+b1 *y+c1 *。基于该拟合出的平面d(x，y)＝a1 *x+b1 *y+c1 *可以计算该像素点(x0，y0)的视差和法向量，例如根据拟合出的平面d(x，y)＝a1 *x+b1 *y+c1 *以及该像素点(x0，y0)的坐标，计算得到像素点(x0，y0)的视差d(x0，y0)＝a1 *x0+b1 *y0+c1 *，计算拟合出的平面d(x，y)＝a1 *x+b1 *y+c1 *的法向量，例如得到[a2，b2，-1]，作为该像素点的法向量，记为nor(x0，y0)＝[a2，b2，-1]。
因此通过上面的方法，就可以计算得到左图像中每一个像素点的视差和法向量。
步骤S13：根据综合距离，对所述第一低分辨率的图像进行初步分割得到初步的分割区域；其中综合距离至少基于视差相似性和/或法向量相似性来计算得到。对图像进行分割，可以采用基于图论的图像分割方法(EGB，Efficient Graph Based ImageSegmentation)。例如，在定义了任意两个像素点的综合距离后，可以采用类似超像素分割方法(SLIC)或k-means聚类算法来对图像进行分割。本发明中下面涉及到对图像进行分割的内容，也都可以采用上述的基于图论的图像分割方法，后面不再赘述。
如上所述，在计算任意两个像素点的综合距离时，至少基于这两个像素点的视差相似性和/或法向量相似性来计算。不妨以基于视差相似性、法向量相似性和几何相似性为例，可定义任意两个像素点(x1，y1)和(x2，y2)之间的相似性如下：
W(x1，y1，x2，y2)＝w1·|d(x1，y1)-d(x2，y2)|+w2·|nor(x1，y1)-nor(x2，y2)|+w3·|(x1，y1)-(x2，y2)|；其中w1、w2、w3表示权重系数，可根据需求设置，例如可以将它们分别设置为1/3，本领域技术人员可以理解，当w1和w2非零，而w3为零时，说明是基于视差相似性和法向量相似性计算综合距离，当只有w1或w2非零时，则说明是基于视差相似性或法向量相似性计算综合距离；|d(x1，y1)-d(x2，y2)|、|nor(x1，y1)-nor(x2，y2)|、|(x1，y1)-(x2，y2)|分别表示两个像素点(x1，y1)和(x2，y2)之间的视差相似性、法向量相似性、几何相似性，其中|(x1，y1)-(x2，y2)|可以通过|x1-x2|+|y1-y2|或
Figure BDA0001565527030000071
等来计算。
步骤S14：根据类间的相似度以及类内之间的相似度，对第一低分辨率的图像的初步的分割区域进行分裂与合并，得到第一分辨率的图像的分割区域。在一实施例中，分裂的方式可以参照后面分裂步骤S32，合并的方式也可以参照后面的合并步骤S34，在此不再赘述。
得到的第一分辨率的图像的分割区域，由于第一分辨率在实际过程中会设置得比较低，这样才能只保存了最粗的结构细节，在匹配上不容易发生误匹配，但同时一些小的区域会被掩藏在第一分辨率下的大的分割区域中，而且深度边缘的分割可能也存在不精确等等，因此在接下来的步骤会将第一分辨率的图像进行内插(例如双线性内插的方式)，提升分辨率(例如提升一倍)，然后再继续进行分割，下面通过步骤S30来具体说明。
步骤S30：从第二低分辨率开始直到预设的最高分辨率结束：对前一个低分辨率的图像进行内插，得到后一个高分辨率的图像；在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域。本发明中第一低分辨率、第二低分辨率、……、最高分辨率中，通过内插分辨率依次提升，至少最低的分辨率(即第一低分辨率)和最高分辨率的具体值，以及它们中间还设置多少个级别的分辨率以及具体值，这都可以根据需求来灵活调整。
请参照图3，在一实施例中，步骤S30中在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域，可以包括分裂步骤S32、合并步骤S34以及调整步骤S36，在一实施例中，步骤S30可以只包括分裂步骤S32这一个步骤，也可以同时包括分裂步骤S32和合并步骤S34这两个步骤，还可以同时包括分裂步骤S32、合并步骤S34以及调整步骤S36这三个步骤。
分裂步骤S32可以包括第一分裂步骤，或者，包括第一分裂步骤和第二分裂步骤。
第一分裂步骤包括：将前一个低分辨率的图像的分割区域，对应在后一个分辨率的图像上，得到后一个分辨率的图像的继承的分割区域；对后一个分辨率的图像的每个继承的分割区域进行视差的平面拟合，以计算后一个分辨率的图像的每个像素点的视差和法向量；根据综合距离，对后一个分辨率的图像的每个继承的分割区域继续进行分割，其中综合距离至少基于视差相似性和/或法向量相似性来计算得到。
第二分裂步骤包括：对后一个分辨率的图像的继承的分割区域继续分割得到的每个分割区域，对该分割区域内所有像素点进行视差的曲面拟合，根据拟合出的曲面，验证该分割区域内的像素点是否都属于这个拟合出的曲面，如果不属于且像素点的个数大于一预设阈值，则将这些像素点划分为一个新的分割区域；如果不属于且像素点的个数小于一预设阈值，则可以还是将这些像素留在原来的分割区域。
举个例子来说明分裂步骤，例如请参照图4，前一个低分辨率的图像的分割区域P’10，经内插后分割区域P’10内的像素点增加了，这个经内插后的分割区域P’10实际上是对应着后一个分辨率的图像中的区域，本发明称之为后一个高分辨率的图像从前一个低分辨率的图像继承而来的分割区域，例如图中的P10。请参照图5(a)和(b)，以后一个分辨率的图像的继承的分割区域P10为例，对分割区域P10进行视差的平面拟合，以计算分割区域P10中各像素点的视差和法向量，然后至少基于视差相似性和/或法向量相似性来计算两个像素点的综合距离，并基于综合距离对后一个分辨率的图像的分割区域P10继续分割，例如被继续分割成6个分割区域P11～P16。以分割区域P11为例，对分割区域P11内所有像素点进行视差的曲面拟合，根据拟合出的曲面，验证分割区域P11内的像素点是否都属于这个拟合出的曲面，如果不属于且像素点的个数大于一预设阈值，说明个数比较多，那么将分割区域P11中这些不属于拟合出的曲面的像素点划分为一个新的分割，例如P17，本领域技术人员可以理解地，此时也形成一个新的分割区域P11，它的范围是原来的分割区域P11减去分割区域P17；如果分割区域P2中这些不属于拟合出的曲面的像素点的个数小于一预设阈值，说明个数比较少，那么可以这些像素点仍然被划分为属于原来的分割区域P11。
对区域进行视差的曲面拟合有多种方式，以对分割区域P11进行视差的二次曲面拟合为例，可令视差的曲面d(x，y)＝a2x2+b2y2+c2xy+e2x+f2y+g2，通过下式(2)进行曲面拟合：
Figure BDA0001565527030000091
求取一个集合O＝{a2 *，b2 *，c2 *，e2 *，f2 *，g2 *}，使得公式(2)中的
Figure BDA0001565527030000092
最小。
从而根据分割区域P11内所有像素点拟合得到的视差的曲面如下：
d(x，y)＝a2 *x2+b2 *y2+c2 *xy+e2 *x+f2 *y+g2 *。
基于该拟合出的曲面d(x，y)＝a2 *x2+b2 *y2+c2 *xy+e2 *x+f2 *y+g2 *计算该像素点(x0，y0)的视差，例如根据拟合出的曲面d(x，y)以及分割区域P11一像素点(x0，y0)的坐标，可以计算该像素点(x0，y0)的视差d(x0，y0)，得到d(x0，y0)＝a2 *x0 2+b2 *y0 2+c2 *x0y0+e2 *x0+f2 *y0+g2 *。当然，也可以将像素点(x0，y0)原来用于拟合视差曲面时的视差以及其坐标代入上述拟合出的视差的曲面，来验证像素点(x0，y0)是否属于该拟合出的曲面。
合并步骤S34可以包括第一合并步骤，或者，包括第一合并步骤和第二合并步骤。
第一合并步骤包括：获取后一个分辨率的图像经分裂步骤后的分割区域中，那些位于继承的分割区域的边沿上的分割区域，根据类间的相似度以及类内之间的相似度，逐个判断这些位于边沿上的分割区域是否可以合并，如果可以合并，则进行合并，形成新的分割区域。本领域技术人员可以理解的是，这里后一个分辨率的图像经分裂步骤后的分割区域，当实施例包括第二分裂步骤时，则指的是后一个分辨率的图像经第二分裂步骤后的分割区域，当实施例不包括第二分裂步骤时，则指的是后一个分辨率的图像经第一分裂步骤后的分割区域。
第二合并步骤包括：对每个合并后形成的新的分割区域，对该分割区域内所有像素点进行视差的曲面拟合，根据拟合出的曲面，验证该分割区域内的像素点是否都属于这个拟合出的曲面，如果不属于且像素点的个数大于一预设阈值，则将这些像素点又划分为一个新的分割区域。
举个例子来说明合并步骤，例如请参照图6，以后一个分辨率的图像的继承的分割区域P10和P20为例，这两个分割区域相邻，分割区域P20经过经分裂步骤后得到分区区域P21～P24。可以看到，虚线圈中的分割区域P12、P14、P16和P21、P23，这6个分割区域是位于P10和P20这两个继承的分割区域的边沿(如图中的粗实线)上的分割区域。根据类间的相似度(指分割区域与分割区域之间的相似度)以及类内之间的相似度(指各分割区域自己本身的各像素点的相似度)，逐个判断这些位于边沿上的分割区域是否可以合并，如果可以合并，则进行合并，形成新的分割区域，例如请参照图7(a)，当判断P14可以和P21合并时，则将P14和P21合并成一个新的分割区域，例如P30，本领域技术人员可以理解地，此时也形成一个新的分割区域P10和P20，新的分割区域P20的范围是原来的分割区域P20减去分割区域P21。对合并形成的新的分割区域例如P30，可以对分割区域P30内所有像素点进行视差的曲面拟合，根据拟合出的曲面，验证分割区域P30内的像素点是否都属于这个拟合出的曲面，如果不属于且像素点的个数大于一预设阈值，说明个数比较多，那么将分割区域P30中这些不属于拟合出的曲面的像素点划分为一个新的分割，例如P31，本领域技术人员可以理解地，此时也形成一个新的分割区域P30，它的范围是原来的分割区域P30减去分割区域P31；如果分割区域P30中这些不属于拟合出的曲面的像素点的个数小于一预设阈值，说明个数比较少，那么可以这些像素点仍然被划分为属于原来的分割区域P30。
调整步骤S36可以包括：对后一个分辨率的图像经合并步骤后的分割区域，根据综合距离判断每一个像素点属于哪一个经合并步骤后的分割区域，并进行调整。本领域技术人员可以理解的是，这里后一个分辨率的图像经合并步骤后的分割区域，当实施例包括第二合并步骤时，则指的是后一个分辨率的图像经第二合并步骤后的分割区域，当实施例不包括第二合并步骤时，则指的是后一个分辨率的图像经第一合并步骤后的分割区域。还是以图6或图7为例，例如分割区域P16中有一像素点(x0，y0)，当根据综合距离判断这个像素点(x0，y0)是属于分割区域P23时，可以调整，将这个像素点(x0，y0)划分到分割区域P23中。
步骤S50：得到最高分辨率的图像及其分割区域后，对最高分辨率的图像的每个分割区域进行视差的曲面拟合，以计算最高分辨率的图像中每个像素点的视差。
以上就是本发明公开的曲面拟合的视差计算方法，相应地，请参照图8，本发明一实施例中还公开了一种分辨率从低到高的逐渐精细化的立体匹配系统，其包括存储器10和处理器30，存储器10用于存储程序，处理器30用于通过执行所述存储器10存储的程序以实现本发明任一实施例所述的分辨率从低到高的逐渐精细化的立体匹配方法。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种分辨率从低到高的逐渐精细化的立体匹配方法，其特征在于，包括：
获取第一低分辨率的左图像和右图像，对其中任意一幅图像进行分割，得到第一低分辨率的图像的分割区域；
从第二低分辨率开始直到预设的最高分辨率结束：对前一个低分辨率的图像进行内插，得到后一个高分辨率的图像；在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域；其中，所述在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域，包括分裂步骤；所述分裂步骤包括:将前一个低分辨率的图像的分割区域，对应在后一个分辨率的图像上，得到后一个分辨率的图像的继承的分割区域；对后一个分辨率的图像的每个继承的分割区域进行视差的平面拟合，以计算后一个分辨率的图像的每个像素点的视差和法向量；根据综合距离，对后一个分辨率的图像的每个继承的分割区域继续进行分割，其中综合距离至少基于视差相似性和/或法向量相似性来计算得到；
得到最高分辨率的图像及其分割区域后，对最高分辨率的图像的每个分割区域进行视差的曲面拟合，以计算最高分辨率的图像中每个像素点的视差。
2.如权利要求1所述的立体匹配方法，其特征在于，对第一低分辨率的左图像和右图像中任意一幅图像进行分割，得到第一低分辨率的图像的分割区域，包括：
根据第一低分辨率的左图像和右图像中任意一幅图像，对于该第一低分辨率的图像中每一个像素点，获取该像素点在图像的一个区域，根据该区域内所有像素点进行视差的平面拟合，并基于该拟合出的平面计算该像素点的视差和法向量；
根据综合距离，对所述第一低分辨率的图像进行初步分割得到初步的分割区域；其中综合距离至少基于视差相似性和/或法向量相似性来计算得到；
根据类间的相似度以及类内之间的相似度，对所述第一低分辨率的图像的初步的分割区域进行分裂与合并，得到所述第一低分辨率的图像的分割区域。
3.如权利要求2所述的立体匹配方法，其特征在于，所述对于该第一低分辨率的图像中每一个像素点，获取该像素点在图像的一个区域，包括获取该像素点的一个具有相似梯度的区域；所述获取该像素点的一个具有相似梯度的区域，包括：
计算所述第一低 分辨率的图像中各像素点的梯度；
基于梯度相似性，寻找该像素点的一个具有相似梯度的区域；
当基于梯度相似性寻找不到该像素点的一个具有相似梯度的区域时，则使用该像素点的邻域的像素点来对该像素点进行滤波，得到该像素点滤波后的像素值，并重新计算该像素点的梯度，基于梯度相似性，寻找该像素点的一个具有相似梯度的区域。
4.如权利要求1所述的立体匹配方法，其特征在于，所述分裂步骤还包括：对后一个分辨率的图像的继承的分割区域继续分割得到的每个分割区域，对该分割区域内所有像素点进行视差的曲面拟合，根据拟合出的曲面，验证该分割区域内的像素点是否都属于这个拟合出的曲面，如果不属于且像素点的个数大于一预设阈值，则将这些像素点划分为一个新的分割区域。
5.如权利要求1或4所述的立体匹配方法，其特征在于，所述在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域还包括合并步骤，所述合并步骤包括：获取后一个分辨率的图像经分裂步骤后的分割区域中，那些位于继承的分割区域的边沿上的分割区域，根据类间的相似度以及类内之间的相似度，逐个判断这些位于边沿上的分割区域是否可以合并，如果可以合并，则进行合并，形成新的分割区域。
6.如权利要求5所述的立体匹配方法，其特征在于，所述合并步骤还包括：对每个合并后形成的新的分割区域，对该分割区域内所有像素点进行视差的曲面拟合，根据拟合出的曲面，验证该分割区域内的像素点是否都属于这个拟合出的曲面，如果不属于且像素点的个数大于一预设阈值，则将这些像素点又划分为一个新的分割区域。
7.如权利要求5所述的立体匹配方法，其特征在于，所述在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域还包括调整步骤，所述调整步骤包括：对后一个分辨率的图像经合并步骤后的分割区域，根据综合距离判断每一个像素点属于哪一个经合并步骤后的分割区域，并进行调整。
8.如权利要求6所述的立体匹配方法，其特征在于，所述在前一个低分辨率的图像的分割区域的基础上，对后一个分辨率的图像继续进行分割，得到该后一个高分辨的图像的分割区域还包括调整步骤，所述调整步骤包括：对后一个分辨率的图像经合并步骤后的分割区域，根据综合距离判断每一个像素点属于哪一个经合并步骤后的分割区域，并进行调整。
9.一种分辨率从低到高的逐渐精细化的立体匹配系统，其特征在于，包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现如权利要求1至8中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1至8中任一项所述的方法。
CN201810101040.3A 2018-01-31 2018-01-31 分辨率从低到高的逐渐精细化的立体匹配方法及系统 Active CN108492326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810101040.3A CN108492326B (zh) 2018-01-31 2018-01-31 分辨率从低到高的逐渐精细化的立体匹配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810101040.3A CN108492326B (zh) 2018-01-31 2018-01-31 分辨率从低到高的逐渐精细化的立体匹配方法及系统

Publications (2)

Publication Number Publication Date
CN108492326A CN108492326A (zh) 2018-09-04
CN108492326B true CN108492326B (zh) 2021-11-23

Family

ID=63344383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810101040.3A Active CN108492326B (zh) 2018-01-31 2018-01-31 分辨率从低到高的逐渐精细化的立体匹配方法及系统

Country Status (1)

Country Link
CN (1) CN108492326B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109905624B (zh) 2019-03-01 2020-10-16 北京大学深圳研究生院 一种视频帧插值方法、装置及设备
CN110363235B (zh) * 2019-06-29 2021-08-06 苏州浪潮智能科技有限公司 一种高分辨率图像匹配方法及系统
JP2021056004A (ja) * 2019-09-26 2021-04-08 キヤノン株式会社 画像判定装置及び画像判定方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881014A (zh) * 2012-09-07 2013-01-16 航天恒星科技有限公司 一种基于图割的快速立体匹配方法
CN103544732A (zh) * 2013-09-29 2014-01-29 北京空间飞行器总体设计部 一种用于月球车的三维立体重建方法
CN103581650A (zh) * 2013-10-21 2014-02-12 四川长虹电器股份有限公司 双目3d视频转多目3d视频的方法
CN103714549A (zh) * 2013-12-30 2014-04-09 南京大学 基于快速局部匹配的立体图像对象分割方法
CN104331897A (zh) * 2014-11-21 2015-02-04 天津工业大学 基于极线校正的亚像素级相位立体匹配方法
CN105046710A (zh) * 2015-07-23 2015-11-11 北京林业大学 基于深度图分割与代理几何体的虚实碰撞交互方法及装置
CN105303528A (zh) * 2015-09-20 2016-02-03 北京工业大学 用于slm显微立体视觉图像畸变矫正的结构形状分析方法
CN106340036A (zh) * 2016-08-08 2017-01-18 东南大学 一种基于双目立体视觉的立体匹配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101792501B1 (ko) * 2011-03-16 2017-11-21 한국전자통신연구원 특징기반의 스테레오 매칭 방법 및 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881014A (zh) * 2012-09-07 2013-01-16 航天恒星科技有限公司 一种基于图割的快速立体匹配方法
CN103544732A (zh) * 2013-09-29 2014-01-29 北京空间飞行器总体设计部 一种用于月球车的三维立体重建方法
CN103581650A (zh) * 2013-10-21 2014-02-12 四川长虹电器股份有限公司 双目3d视频转多目3d视频的方法
CN103714549A (zh) * 2013-12-30 2014-04-09 南京大学 基于快速局部匹配的立体图像对象分割方法
CN104331897A (zh) * 2014-11-21 2015-02-04 天津工业大学 基于极线校正的亚像素级相位立体匹配方法
CN105046710A (zh) * 2015-07-23 2015-11-11 北京林业大学 基于深度图分割与代理几何体的虚实碰撞交互方法及装置
CN105303528A (zh) * 2015-09-20 2016-02-03 北京工业大学 用于slm显微立体视觉图像畸变矫正的结构形状分析方法
CN106340036A (zh) * 2016-08-08 2017-01-18 东南大学 一种基于双目立体视觉的立体匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
High-Resolution Stereo Matching based on Sanpled Photoconsistency Computation;Chloe LeGendre et al;《Conference:British Machine Vision Conference 2017》;20171231;第1-13页 *
基于图像分割的快速立体匹配算法研究;朱松;《中国博士学位论文全文数据库 信息科技辑》;20160715(第07期);第I138-83页 *

Also Published As

Publication number Publication date
CN108492326A (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
CN111275626B (zh) 一种基于模糊度的视频去模糊方法、装置及设备
CN108492326B (zh) 分辨率从低到高的逐渐精细化的立体匹配方法及系统
US8737723B1 (en) Fast randomized multi-scale energy minimization for inferring depth from stereo image pairs
EP3657431B1 (en) Image upscaling
EP2132708B1 (en) System and method for image registration based on variable region of interest
JP2013225740A (ja) 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
JP6604502B2 (ja) デプスマップ生成装置、デプスマップ生成方法及びプログラム
WO2015198368A1 (ja) 画像処理装置及び画像処理方法
CN114742875A (zh) 基于多尺度特征提取和自适应聚合的双目立体匹配方法
Zhao et al. Single depth image super-resolution with multiple residual dictionary learning and refinement
US9317903B1 (en) Self-similarity based single frame super-resolution
Noh et al. Seam carving with forward gradient difference maps
US11216962B2 (en) Efficient implementation of joint bilateral filter
Richter et al. Robust super-resolution in a multiview setup based on refined high-frequency synthesis
CN108305269B (zh) 一种双目图像的图像分割方法及系统
CN115809959A (zh) 一种图像处理方法及装置
CN108337498B (zh) 一种曲面拟合的视差计算方法及系统
CN108460733B (zh) 一种逐步精细化的图像去噪方法及系统
US20130021332A1 (en) Image processing method, image processing device and display device
KR101644411B1 (ko) 고해상도 이미지 복원 장치 및 그 방법
Lee et al. Disparity Refinement with Guided Filtering of Soft 3D Cost Function in Multi-view Stereo System
Gray et al. Welsch based multiview disparity estimation
Li et al. Local stereo matching algorithm using rotation-skeleton-based region
WO2013100789A1 (en) Method of and apparatus for local optimization texture synthesis 3-d inpainting
EP2677496B1 (en) Method and device for determining a depth image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant