CN107122782A - 一种均衡的半密集立体匹配方法 - Google Patents

一种均衡的半密集立体匹配方法 Download PDF

Info

Publication number
CN107122782A
CN107122782A CN201710157124.4A CN201710157124A CN107122782A CN 107122782 A CN107122782 A CN 107122782A CN 201710157124 A CN201710157124 A CN 201710157124A CN 107122782 A CN107122782 A CN 107122782A
Authority
CN
China
Prior art keywords
point
mrow
interest
msubsup
msub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710157124.4A
Other languages
English (en)
Other versions
CN107122782B (zh
Inventor
唐荣富
周剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Tongjia Youbo Technology Co Ltd
Original Assignee
Chengdu Tongjia Youbo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Tongjia Youbo Technology Co Ltd filed Critical Chengdu Tongjia Youbo Technology Co Ltd
Priority to CN201710157124.4A priority Critical patent/CN107122782B/zh
Publication of CN107122782A publication Critical patent/CN107122782A/zh
Application granted granted Critical
Publication of CN107122782B publication Critical patent/CN107122782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及计算机视觉技术，其公开了一种均衡的半密集立体匹配方法，在获得较高图像匹配精度的同时提升匹配效率。该方法包括：a.对需要进行匹配的两个图像进行分割处理；b.进行特征提取前的初始化设定；c.提取图像块中的兴趣点：提取过程中自适应调整特征提取阈值，并根据需求选择合并图像块，获得均衡分布于图像中的兴趣点；d.对两个图像中的兴趣点进行匹配；e.根据已完成匹配的兴趣点，构建Delaunay三角形，其他所有非兴趣点的视差根据Delaunay三角形进行估计，从而完成图像立体匹配。本发明特别适合移动平台或实时性要求高的应用领域中的图像匹配。

Description

一种均衡的半密集立体匹配方法
技术领域
本发明涉及计算机视觉技术，具体涉及一种均衡的半密集立体匹配方法。
背景技术
图像立体匹配是计算机视觉、摄影测量、计算机图形学学科的一个重要分支，在许多应用中具有十分重要的价值。图像匹配可分为稀疏匹配(sparse matching)和密集匹配(dense matching)。稀疏匹配一般是提取图像上具有较强纹理的特征点，然后通过特征描述子计算匹配代价，获得最优的匹配。由于特征点的稀疏性，稀疏匹配在很多应用中无法提供足够数目的特征点及三维点，因此只能获得较为有限的三维世界信息。密集匹配是对图像的每个像素点进行匹配，因此能够获得密集的三维世界信息。密集匹配的算法可分为全局方法和局部方法两类。近年来，随着局部方法的新算法不断涌现和改进，性能不断提升，密集匹配的方法已经能够应用于某些实时场合(如，某些密集匹配算法经优化后应用于当前移动处理芯片(如ARM和Movidius)上，QVGA图像的处理效率可达到30fps)。但是，密集匹配由于其固有的计算限制，无法达到更高的处理帧频(如，在等同运算条件下获得VGA图像效率30fps或更高)。
因此，传统技术中，一方面稀疏匹配处理效率较高，但无法提供足够数量的匹配点信息；另一方面，密集匹配可获得密集的匹配点信息，但无法获得较高的处理效率，无法适应愈来愈高的行业要求。
发明内容
本发明所要解决的技术问题是：提出一种均衡的半密集立体匹配方法，在获得较高图像匹配精度的同时提升匹配效率。
本发明解决上述技术问题所采用的方案是：
一种均衡的半密集立体匹配方法，包括以下步骤：
a.对需要进行匹配的两个图像进行分割处理；
b.进行特征提取前的初始化设定；
c.提取图像块中的兴趣点：提取过程中自适应调整特征提取阈值，并根据需求选择合并图像块，获得均衡分布于图像中的兴趣点；
d.对两个图像中的兴趣点进行匹配；
e.根据已完成匹配的兴趣点，构建Delaunay三角形，其他所有非兴趣点的视差根据Delaunay三角形进行估计，从而完成图像立体匹配。
作为进一步优化，步骤a中，对需要进行匹配的两个图像进行分割处理，具体包括：
将两个图像分别等分成m*n个图像块。
作为进一步优化，步骤b中，所述进行特征提取前的初始化设定，具体包括：
设定特征提取的阈值范围[C1,C2]以及每个图像块的兴趣点最小提取数目K。
作为进一步优化，步骤c中，在提取每个图像块的兴趣点时，根据阈值范围[C1,C2]自适应调整特征点提取阈值，保证每个块获得的兴趣点数目N≥K；如果存在某个块的兴趣点个数N＜K，则将其与其相邻的i个图像块合并成更大的图像块，对于合并后的块，如果兴趣点数目N′≥(i+1)K，则不再提取额外的兴趣点；若兴趣点数目N′＜(i+1)K，则在保留已提取兴趣点的数目的基础上，重新调整特征点提取阈值，提取额外的兴趣点，当满足兴趣点数目N′≥(i+1)K或者阈值调整结束时，完成特征点提取。
作为进一步优化，步骤c中，利用ORB算法来提取图像块中的兴趣点，具体为：检测候选特征点周围一圈的像素值，如果候选点周围邻域内有足够多的像素点与该候选点的灰度值差别够大，则认为该候选点为一个兴趣点：
即
其中，I(x)为以p为圆心半径为R的圆周上任意一点的灰度值，I(p)为p点的灰度值，εd为灰度值差的阈值，εd∈[C1,C2]，N为灰度值差大于εd的像素点个数。
作为进一步优化，步骤d中，对两张图像的兴趣点匹配采用逐行匹配方式，对每行的兴趣点，先按兴趣点可靠性高低进行排序，再对兴趣点按可靠性高低的次序进行匹配，对于低可靠性的兴趣点，采用已匹配的可靠性高的兴趣点及视差平滑约束进行匹配，并根据约束获得可匹配的点和无匹配的点，剔除无匹配的点。
作为进一步优化，步骤d具体包括：
d1.计算兴趣点的可靠性，并将可靠性由高到低进行排序：兴趣点的可靠性利用兴趣点周围灰度值差大于εd的像素点个数Ni来体现，Ni越大，说明与其对应的特征点pi的可靠性越高,将兴趣点可靠性由高到底进行排序，得到图像的兴趣点可靠性向量；
d2.兴趣点匹配：对两幅图像的兴趣点可靠性向量按照可靠性高低进行匹配，同时将已匹配的兴趣点纳入匹配兴趣点集M＝{mi}中，如果某一兴趣点的可靠性低于阈值T，则判定为低可靠性的兴趣点，并纳入低可靠性兴趣点集L＝{li}中。对于低可靠性兴趣点li，利用已匹配的可靠性高的兴趣点以及视差平滑约束进行匹配；
d3.剔除无匹配的兴趣点：如果出现最后某些兴趣点未匹配成功，则剔除该兴趣点。
作为进一步优化，步骤d2中，对于低可靠性兴趣点li，利用已匹配的可靠性高的兴趣点以及视差平滑约束进行匹配的具体方法包括：
d21.计算低可靠性兴趣点之间的能量函数：
其中，为数据项，用来衡量图像对中匹配像素点之间的相似性程度，为平滑项，用来约束相邻像素点之间的不连续性，为左图像中点与右图像中点之间的视差；
定义数据项为：
其中为左图像中点xl与右图像中点xr之间的匹配代价，和分别表示三维空间中同一点在左右两幅图像中的投影点的像素值；
定义平滑项为：
其中，为左图像中与点离得最近的已经匹配的点的像素值，点hl为点与距离该点最近的已匹配点之间的距离，为右图像中与点离得最近的已经匹配的点的像素值，点hr为点与距离该点最近的已匹配点之间的距离；
d22.最小化能量函数：选择满足能量函数最小的未匹配的兴趣点对进行匹配，并将他们纳入匹配兴趣点集M＝{mi}中。
作为进一步优化，步骤e中，对于任意非兴趣点p的视差估计如下：dp＝aup+bvp+c，参数a,b,c通过拟合该点所在Delaunay三角形平面获得。
作为进一步优化，步骤e具体包括：
e1.对左、右图像的其中一张图像A进行Delaunay三角剖分；
e2.在每一个三角形确定的平面内估计包含在其中的任一像素点的视差值dp，并通过几何关系得到该像素与相邻三个支撑点的最小支撑距离h:
其中,Dp,i为像素点p与其所在Delaunay三角形的支撑点i的欧氏距离；
任意非兴趣点的视差估计如下：
dp＝aup+bvp+c
其中，参数a,b,c通过拟合点p所在Delaunay三角形平面获得；
e3.得到图像A中的p点的视差dp后，找到与之对应的世界坐标中的点在另外一幅图像的成像点，具体为：假设图像A是左图像，则左图像中点p(xl,yl)对应在右图像中的点p'(xr,yr)的坐标计算方式为：
本发明的有益效果是：
1)通过对图像分块，在提取特征点时根据需求对分块进行合并，并自适应调整阈值，可以快速获得均衡分布于图像的兴趣点，提高匹配效率；
2)兴趣点匹配依照兴趣点可靠性高低、视差平滑约束进行匹配，提高了匹配的精度；
3)对于某一可靠性低的兴趣点，通过利用与其距离最近的已匹配的兴趣点来对它进行平滑约束，利用距离和像素值刻画平滑约束函数，提高了匹配精度；
4)采用Delaunay三角形估计，可以获得较为可靠的非兴趣点的视差估计；
因此，本发明实现了快速匹配获得高精度视差图，特别适合移动平台或实时性要求高的应用领域。
附图说明
图1为本发明半密集立体匹配方法流程图；
图2为合并图像块示意图。
具体实施方式
本发明旨在提出一种均衡的半密集立体匹配方法，在获得较高图像匹配精度的同时提升匹配效率，从而解决传统技术中稀疏匹配处理效率较高，但无法提供足够数量的匹配点信息密集匹配可获得密集的匹配点信息，但无法获得较高的处理效率的问题。
如图1所示，本发明所提出的一种均衡的半密集立体匹配方法包括以下步骤：
步骤1、图像均匀分块：将需要匹配的两张图像分别等分成M*N份块，即为了实现高效匹配，将需要匹配的左图像(以图像A表示)进行等分成M*N个图像块，将需要匹配的右图像(以图像B表示)也等分成对应的M*N个图像块。
步骤2、数据初始化步骤：在本步骤中，设定特征提取的阈值范围[C1,C2](阈值范围的设定因特征点提取方法而异)，以及每个块的兴趣点数目最小数目K。
步骤3、提取兴趣点步骤：本步骤提取每个块的兴趣点，在提取每个图像块的兴趣点时，根据阈值范围[C1,C2]自适应调整特征点提取阈值，保证每个块获得的兴趣点数目N≥K；如果存在某个块的兴趣点个数N＜K，则将其与其相邻的i个图像块合并成更大的图像块，对于合并后的块，如果兴趣点数目N′≥(i+1)K，则不再提取额外的兴趣点；若兴趣点数目N′＜(i+1)K，则在保留已提取兴趣点的数目的基础上，重新调整特征点提取阈值，提取额外的兴趣点，当满足兴趣点数目N′≥(i+1)K或者阈值调整结束时，完成特征点提取。
如图2所示，图中某块中提取的兴趣点数目Na＜K，则将该图像块及与其相邻的i(图2中i＝8)个图像块合并成一个大的图像块，合并后，判断大的图像块中兴趣点的数目是否大于或等于9K,若小于9K，则在保留合并块中已提取的兴趣点数目的基础上，重新调整特征点提取阈值，再提取额外兴趣点，直至满足合并后的图像块的兴趣点数目大于或等于9K或者阈值调整结束时，完成特征点提取。
具体实现时，可利用ORB算法来提取图像块中的兴趣点，具体为：检测候选特征点周围一圈的像素值，如果候选点周围邻域内有足够多的像素点与该候选点的灰度值差别够大，则认为该候选点为一个兴趣点：
即
其中，I(x)为以p为圆心半径为R的圆周上任意一点的灰度值，I(p)为p点的灰度值，εd为灰度值差的阈值，εd∈[C1,C2]，N为灰度值差大于εd的像素点个数。
步骤4、兴趣点匹配步骤：本步骤中对两张图像的兴趣点匹配采用逐行匹配方式，对每行的兴趣点，先按兴趣点可靠性高低进行排序，再对兴趣点按可靠性高低的次序进行匹配，对于低可靠性的兴趣点，采用已匹配的可靠性高的兴趣点及视差平滑约束进行匹配，并根据约束获得可匹配的点和无匹配的点，剔除无匹配的点。具体实现包括：
步骤4.1计算兴趣点的可靠性，并将可靠性由高到低进行排序：兴趣点的可靠性利用兴趣点周围灰度值差大于εd的像素点个数Ni来体现，Ni越大，说明与其对应的特征点pi的可靠性越高,将兴趣点可靠性由高到底进行排序，得到图像的兴趣点可靠性向量；
步骤4.2兴趣点匹配：对两幅图像的兴趣点可靠性向量按照可靠性高低进行匹配，同时将已匹配的兴趣点纳入匹配兴趣点集M＝{mi}中，如果某一兴趣点的可靠性低于阈值T，则判定为低可靠性的兴趣点，并纳入低可靠性兴趣点集L＝{li}中。对于低可靠性兴趣点li，利用已匹配的可靠性高的兴趣点以及视差平滑约束进行匹配；具体包括：
步骤4.2.1计算低可靠性兴趣点之间的能量函数：
其中，为数据项，用来衡量图像对中匹配像素点之间的相似性程度，为平滑项，用来约束相邻像素点之间的不连续性，为左图像中点与右图像中点之间的视差；
定义数据项为：
其中为左图像中点xl与右图像中点xr之间的匹配代价，和分别表示三维空间中同一点在左右两幅图像中的投影点的像素值；
定义平滑项为：
其中，为左图像中与点离得最近的已经匹配的点的像素值，点hl为点与距离该点最近的已匹配点之间的距离，为右图像中与点离得最近的已经匹配的点的像素值，点hr为点与距离该点最近的已匹配点之间的距离；
步骤4.2.2最小化能量函数：选择满足能量函数最小的未匹配的兴趣点对进行匹配，并将他们纳入匹配兴趣点集M＝{mi}中。
步骤4.3剔除无匹配的兴趣点：如果出现最后某些兴趣点未匹配成功，则剔除该兴趣点。
步骤5、构建Delaunay三角形，进行视差估计，完成图像立体匹配步骤：
本步骤中，根据已完成匹配的兴趣点，构建Delaunay三角形，其他所有非兴趣点的视差根据Delaunay三角形进行估计，从而完成图像立体匹配。
具体包括：
步骤5.1：对左、右图像的其中一张图像A图进行Delaunay三角剖分：对图像进行三角剖分的目的是将图像分割成覆盖整幅图像平面且彼此相连的三角形网格,将视差图描述为一系列具有相同或者相近视差值的三角形区域,三角形网格反映出像素点与其邻近像素点间的拓扑连接关系。对于视差平滑区域，在保证边缘细节的前提下，三角形划分应该足够大以减少匹配的歧义性。在视差连续区域，顶点密度、数量应尽量少，以加快匹配速度。
在视差不连续区域，为了正确描述物体的形状，顶点数量应该足够多，以便能更好地保证后续视差图匹配的精度。Delaunay三角网具有以下优点：结构良好、数据结构简单、数据冗余度小、存储效率高、与不规则的地面特征和谐一致、可以表示线性特征、可适应各种分布密度的数据等。目前常用的Delaunay三角剖分算法有随机增量法、三角网生长法和分治法。其中，随机增量法的实现简单高效，占用内存较小，但其时间复杂度高；三角网生长法由于效率相对较低，目前采用较少；分治法的效率最高，而且剖分后的三角面片较为平滑，同时很好地保持了物体的边缘特征。因此本实施例使用分治法对支撑点集合进行Delaunay三角剖分。
步骤5.2：视差估计：对左、右图像的其中一幅图像进行三角剖分后，由于已知所有支撑点的视差值，可在每一个三角形确定的平面内估计包含在其中的任一像素点的视差值dp，并通过几何关系得到该像素与相邻三个支撑点的最小支撑距离h:
其中,Dp,i为像素点p与其所在Delaunay三角形的支撑点i的欧氏距离。
任何点的视差估计如下：
dp＝aup+bvp+c
其中，参数a,b,c通过拟合点p所在Delaunay三角形平面获得。
步骤5.3：匹配三角形平面内的点。得到图像A中的p点的视差dp后，可根据下式找到与之对应的世界坐标中的点在另外一幅图像的成像点，具体为：假设图像A是左图像，则左图像中点p(xl,yl)对应在右图像中的点p'(xr,yr)的坐标计算方式为：

Claims (10)

1.一种均衡的半密集立体匹配方法，其特征在于，包括以下步骤：
a.对需要进行匹配的两个图像进行分割处理；
b.进行特征提取前的初始化设定；
c.提取图像块中的兴趣点：提取过程中自适应调整特征提取阈值，并根据需求选择合并图像块，获得均衡分布于图像中的兴趣点；
d.对两个图像中的兴趣点进行匹配；
e.根据已完成匹配的兴趣点，构建Delaunay三角形，其他所有非兴趣点的视差根据Delaunay三角形进行估计，从而完成图像立体匹配。
2.如权利要求1所述的一种均衡的半密集立体匹配方法，其特征在于，步骤a中，对需要进行匹配的两个图像进行分割处理，具体包括：
将两个图像分别等分成m*n个图像块。
3.如权利要求1所述的一种均衡的半密集立体匹配方法，其特征在于，步骤b中，所述进行特征提取前的初始化设定，具体包括：
设定特征提取的阈值范围[C1,C2]以及每个图像块的兴趣点最小提取数目K。
4.如权利要求3所述的一种均衡的半密集立体匹配方法，其特征在于，步骤c中，在提取每个图像块的兴趣点时，根据阈值范围[C1,C2]自适应调整特征点提取阈值，保证每个块获得的兴趣点数目N≥K；如果存在某个块的兴趣点个数N＜K，则将其与其相邻的i个图像块合并成更大的图像块，对于合并后的块，如果兴趣点数目N′≥(i+1)K，则不再提取额外的兴趣点；若兴趣点数目N′＜(i+1)K，则在保留已提取兴趣点的数目的基础上，重新调整特征点提取阈值，提取额外的兴趣点，当满足兴趣点数目N′≥(i+1)K或者阈值调整结束时，完成特征点提取。
5.如权利要求4所述的一种均衡的半密集立体匹配方法，其特征在于，步骤c中，利用ORB算法来提取图像块中的兴趣点，具体为：检测候选特征点周围一圈的像素值，如果候选点周围邻域内有足够多的像素点与该候选点的灰度值差别够大，则认为该候选点为一个兴趣点：
即
其中，I(x)为以p为圆心半径为R的圆周上任意一点的灰度值，I(p)为p点的灰度值，εd为灰度值差的阈值，εd∈[C1,C2]，N为灰度值差大于εd的像素点个数。
6.如权利要求1所述的一种均衡的半密集立体匹配方法，其特征在于，步骤d中，对两张图像的兴趣点匹配采用逐行匹配方式，对每行的兴趣点，先按兴趣点可靠性高低进行排序，再对兴趣点按可靠性高低的次序进行匹配，对于低可靠性的兴趣点，采用已匹配的可靠性高的兴趣点及视差平滑约束进行匹配，并根据约束获得可匹配的点和无匹配的点，剔除无匹配的点。
7.如权利要求6所述的一种均衡的半密集立体匹配方法，其特征在于，步骤d具体包括：
d1.计算兴趣点的可靠性，并将可靠性由高到低进行排序：兴趣点的可靠性利用兴趣点周围灰度值差大于εd的像素点个数Ni来体现，Ni越大，说明与其对应的特征点pi的可靠性越高,将兴趣点可靠性由高到底进行排序，得到图像的兴趣点可靠性向量；
d2.兴趣点匹配：对两幅图像的兴趣点可靠性向量按照可靠性高低进行匹配，同时将已匹配的兴趣点纳入匹配兴趣点集M＝{mi}中，如果某一兴趣点的可靠性低于阈值T，则判定为低可靠性的兴趣点，并纳入低可靠性兴趣点集L＝{li}中。对于低可靠性兴趣点li，利用已匹配的可靠性高的兴趣点以及视差平滑约束进行匹配；
d3.剔除无匹配的兴趣点：如果出现最后某些兴趣点未匹配成功，则剔除该兴趣点。
8.如权利要求7所述的一种均衡的半密集立体匹配方法，其特征在于，步骤d2中，对于低可靠性兴趣点li，利用已匹配的可靠性高的兴趣点以及视差平滑约束进行匹配的具体方法包括：
d21.计算低可靠性兴趣点之间的能量函数：
<mrow> <mi>E</mi> <mrow> <mo>(</mo> <mi>d</mi> <mo>(</mo> <mrow> <msubsup> <mi>l</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>,</mo> <msubsup> <mi>l</mi> <mi>i</mi> <mi>r</mi> </msubsup> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>E</mi> <mrow> <mi>d</mi> <mi>a</mi> <mi>t</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>d</mi> <mo>(</mo> <mrow> <msubsup> <mi>l</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>,</mo> <msubsup> <mi>l</mi> <mi>i</mi> <mi>r</mi> </msubsup> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>E</mi> <mrow> <mi>s</mi> <mi>m</mi> <mi>o</mi> <mi>o</mi> <mi>t</mi> <mi>h</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>l</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>,</mo> <msubsup> <mi>l</mi> <mi>i</mi> <mi>r</mi> </msubsup> <mo>)</mo> </mrow> </mrow>
其中，为数据项，用来衡量图像对中匹配像素点之间的相似性程度，为平滑项，用来约束相邻像素点之间的不连续性，为左图像中点与右图像中点li r之间的视差；
定义数据项为：
<mrow> <msub> <mi>E</mi> <mrow> <mi>d</mi> <mi>a</mi> <mi>t</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>d</mi> <mo>(</mo> <mrow> <msubsup> <mi>l</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>,</mo> <msubsup> <mi>l</mi> <mi>i</mi> <mi>r</mi> </msubsup> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>=</mo> <mi>C</mi> <mrow> <mo>(</mo> <msubsup> <mi>l</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>,</mo> <msubsup> <mi>l</mi> <mi>i</mi> <mi>r</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <msub> <mi>I</mi> <mi>l</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>l</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>I</mi> <mi>r</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>l</mi> <mi>i</mi> <mi>r</mi> </msubsup> <mo>-</mo> <mi>d</mi> <mo>(</mo> <mrow> <msubsup> <mi>l</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>,</mo> <msubsup> <mi>l</mi> <mi>i</mi> <mi>r</mi> </msubsup> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>|</mo> </mrow>
其中为左图像中点xl与右图像中点xr之间的匹配代价，和分别表示三维空间中同一点在左右两幅图像中的投影点的像素值；
定义平滑项为：
<mrow> <msub> <mi>E</mi> <mrow> <mi>s</mi> <mi>m</mi> <mi>o</mi> <mi>o</mi> <mi>t</mi> <mi>h</mi> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>l</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>,</mo> <msubsup> <mi>l</mi> <mi>i</mi> <mi>r</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mo>|</mo> <msub> <mi>h</mi> <mi>l</mi> </msub> <mo>-</mo> <msub> <mi>h</mi> <mi>r</mi> </msub> <mo>|</mo> </mrow> <mrow> <mo>|</mo> <msub> <mi>I</mi> <mi>l</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>l</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>+</mo> <msub> <mi>h</mi> <mi>l</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>I</mi> <mi>l</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>l</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>)</mo> </mrow> <mo>|</mo> <mo>-</mo> <mo>|</mo> <msub> <mi>I</mi> <mi>r</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>l</mi> <mi>i</mi> <mi>r</mi> </msubsup> <mo>+</mo> <msub> <mi>h</mi> <mi>r</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>I</mi> <mi>r</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>l</mi> <mi>i</mi> <mi>r</mi> </msubsup> <mo>)</mo> </mrow> <mo>|</mo> </mrow> </mfrac> </mrow>
其中，为左图像中与点离得最近的已经匹配的点的像素值，点hl为点li l与距离该点最近的已匹配点之间的距离，为右图像中与点离得最近的已经匹配的点的像素值，点hr为点与距离该点最近的已匹配点之间的距离；
d22.最小化能量函数：选择满足能量函数最小的未匹配的兴趣点对进行匹配，并将他们纳入匹配兴趣点集M＝{mi}中。
9.如权利要求8所述的一种均衡的半密集立体匹配方法，其特征在于，步骤e中，对于任意非兴趣点p的视差估计如下：dp＝aup+bvp+c，参数a,b,c通过拟合该点所在Delaunay三角形平面获得。
10.如权利要求9所述的一种均衡的半密集立体匹配方法，其特征在于，步骤e具体包括：
e1.对左、右图像的其中一张图像A进行Delaunay三角剖分；
e2.在每一个三角形确定的平面内估计包含在其中的任一像素点的视差值dp，并通过几何关系得到该像素与相邻三个支撑点的最小支撑距离h:
<mrow> <mi>h</mi> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> </mrow> </munder> <msub> <mi>D</mi> <mrow> <mi>p</mi> <mo>,</mo> <mi>i</mi> </mrow> </msub> </mrow>
其中,Dp,i为像素点p与其所在Delaunay三角形的支撑点i的欧氏距离；
任意非兴趣点的视差估计如下：
dp＝aup+bvp+c
其中，参数a,b,c通过拟合点p所在Delaunay三角形平面获得；
e3.得到图像A中的p点的视差dp后，找到与之对应的世界坐标中的点在另外一幅图像的成像点，具体为：假设图像A是左图像，则左图像中点p(xl,yl)对应在右图像中的点p'(xr,yr)的坐标计算方式为：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msup> <mi>x</mi> <mi>r</mi> </msup> <mo>=</mo> <msup> <mi>x</mi> <mi>l</mi> </msup> <mo>+</mo> <msub> <mi>d</mi> <mi>p</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>y</mi> <mi>r</mi> </msup> <mo>=</mo> <msup> <mi>y</mi> <mi>l</mi> </msup> <mo>+</mo> <msub> <mi>d</mi> <mi>p</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>.</mo> </mrow> 3
CN201710157124.4A 2017-03-16 2017-03-16 一种均衡的半密集立体匹配方法 Active CN107122782B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710157124.4A CN107122782B (zh) 2017-03-16 2017-03-16 一种均衡的半密集立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710157124.4A CN107122782B (zh) 2017-03-16 2017-03-16 一种均衡的半密集立体匹配方法

Publications (2)

Publication Number Publication Date
CN107122782A true CN107122782A (zh) 2017-09-01
CN107122782B CN107122782B (zh) 2020-09-11

Family

ID=59717208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710157124.4A Active CN107122782B (zh) 2017-03-16 2017-03-16 一种均衡的半密集立体匹配方法

Country Status (1)

Country Link
CN (1) CN107122782B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107689048A (zh) * 2017-09-04 2018-02-13 联想(北京)有限公司 一种检测图像特征点的方法及一种服务器集群
CN108010055A (zh) * 2017-11-23 2018-05-08 塔普翊海（上海）智能科技有限公司 三维物体的跟踪系统及其跟踪方法
CN108021921A (zh) * 2017-11-23 2018-05-11 塔普翊海（上海）智能科技有限公司 图像特征点提取系统及其应用

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN102129567A (zh) * 2011-03-17 2011-07-20 南京航空航天大学 一种基于色彩分割和自适应窗口的快速立体匹配方法
CN103295229A (zh) * 2013-05-13 2013-09-11 清华大学深圳研究生院 视频深度信息恢复的全局立体匹配方法
EP2854104A1 (en) * 2013-09-25 2015-04-01 Technische Universität München Semi-dense simultaneous localization and mapping
CN105825520A (zh) * 2015-01-08 2016-08-03 北京雷动云合智能技术有限公司 一种可创建大规模地图的单眼slam方法
WO2016129612A1 (en) * 2015-02-10 2016-08-18 Mitsubishi Electric Corporation Method for reconstructing a three-dimensional (3d) scene
CN106340036A (zh) * 2016-08-08 2017-01-18 东南大学 一种基于双目立体视觉的立体匹配方法
WO2017037423A1 (en) * 2015-08-28 2017-03-09 Imperial College Of Science, Technology And Medicine Mapping a space using a multi-directional camera

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
CN102129567A (zh) * 2011-03-17 2011-07-20 南京航空航天大学 一种基于色彩分割和自适应窗口的快速立体匹配方法
CN103295229A (zh) * 2013-05-13 2013-09-11 清华大学深圳研究生院 视频深度信息恢复的全局立体匹配方法
EP2854104A1 (en) * 2013-09-25 2015-04-01 Technische Universität München Semi-dense simultaneous localization and mapping
CN105825520A (zh) * 2015-01-08 2016-08-03 北京雷动云合智能技术有限公司 一种可创建大规模地图的单眼slam方法
WO2016129612A1 (en) * 2015-02-10 2016-08-18 Mitsubishi Electric Corporation Method for reconstructing a three-dimensional (3d) scene
WO2017037423A1 (en) * 2015-08-28 2017-03-09 Imperial College Of Science, Technology And Medicine Mapping a space using a multi-directional camera
CN106340036A (zh) * 2016-08-08 2017-01-18 东南大学 一种基于双目立体视觉的立体匹配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JANA KOSTLIV´A ET AL；: "《Feasibility Boundary in Dense and Semi-Dense Stereo Matching》", 《IEEE》 *
YUNDE ZHONG ET AL；: "《Control Points Based Semi-Dense Matching》", 《ACCV2002: THE 5TH ASIAN CONFERENCE ON COMPUTER VISION》 *
张浩峰 等；: "《一种基于分割的两步立体匹配算法》", 《中国图象图形学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107689048A (zh) * 2017-09-04 2018-02-13 联想(北京)有限公司 一种检测图像特征点的方法及一种服务器集群
CN107689048B (zh) * 2017-09-04 2022-05-31 联想(北京)有限公司 一种检测图像特征点的方法及一种服务器集群
CN108010055A (zh) * 2017-11-23 2018-05-08 塔普翊海（上海）智能科技有限公司 三维物体的跟踪系统及其跟踪方法
CN108021921A (zh) * 2017-11-23 2018-05-11 塔普翊海（上海）智能科技有限公司 图像特征点提取系统及其应用
CN108010055B (zh) * 2017-11-23 2022-07-12 塔普翊海（上海）智能科技有限公司 三维物体的跟踪系统及其跟踪方法

Also Published As

Publication number Publication date
CN107122782B (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN109993783B (zh) 一种面向复杂三维建筑物点云的屋顶及侧面优化重建方法
CN107123164B (zh) 保持锐利特征的三维重建方法及系统
CN106780442B (zh) 一种立体匹配方法及系统
CN108648161B (zh) 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN103236082B (zh) 面向捕获静止场景的二维视频的准三维重建方法
Zhou et al. Accurate integration of multi-view range images using k-means clustering
Wang et al. How far can we go with local optimization in real-time stereo matching
CN107274483A (zh) 一种物体三维模型构建方法
CN101799939A (zh) 基于左右视点图像的中间视点快速、自适应生成算法
CN101901343A (zh) 基于立体约束的遥感影像道路提取方法
CN104850847B (zh) 具有自动瘦脸功能的图像优化系统和方法
CN111508073B (zh) 一种三维建筑模型屋顶轮廓线的提取方法
CN105160686B (zh) 一种基于改进sift算子的低空多视角遥感影像匹配方法
CN106651897B (zh) 一种基于超像素分割的视差修正方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN113628263A (zh) 一种基于局部曲率及其近邻特征的点云配准方法
CN107122782A (zh) 一种均衡的半密集立体匹配方法
CN110807781A (zh) 一种保留细节与边界特征的点云精简方法
CN103714549A (zh) 基于快速局部匹配的立体图像对象分割方法
CN107220996A (zh) 一种基于三角结构一致的无人机线阵与面阵影像匹配方法
Zhu et al. Propagation strategies for stereo image matching based on the dynamic triangle constraint
CN114463521A (zh) 一种面向空地影像数据融合的建筑目标点云快速生成方法
CN107155100A (zh) 一种基于图像的立体匹配方法及装置
CN110942102B (zh) 一种概率松弛核线匹配方法及系统
CN111179327B (zh) 一种深度图的计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant