CN113065566B - 一种误匹配去除方法、系统及应用 - Google Patents

一种误匹配去除方法、系统及应用 Download PDF

Info

Publication number
CN113065566B
CN113065566B CN202110294700.6A CN202110294700A CN113065566B CN 113065566 B CN113065566 B CN 113065566B CN 202110294700 A CN202110294700 A CN 202110294700A CN 113065566 B CN113065566 B CN 113065566B
Authority
CN
China
Prior art keywords
points
point
dimensional
ransac
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110294700.6A
Other languages
English (en)
Other versions
CN113065566A (zh
Inventor
宋锐
雷蕾
李娇娇
曹锴郎
王养利
李云松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tianxun Remote Sensing Technology Research Institute Co ltd
Xidian University
Original Assignee
Nanjing Tianxun Remote Sensing Technology Research Institute Co ltd
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tianxun Remote Sensing Technology Research Institute Co ltd, Xidian University filed Critical Nanjing Tianxun Remote Sensing Technology Research Institute Co ltd
Priority to CN202110294700.6A priority Critical patent/CN113065566B/zh
Publication of CN113065566A publication Critical patent/CN113065566A/zh
Application granted granted Critical
Publication of CN113065566B publication Critical patent/CN113065566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于多视图三维重建技术领域，公开了一种误匹配去除方法、系统及应用，所述误匹配去除方法包括：对数据集进行特征点SIFT和SURF的提取与匹配，采用RANSAC得到内点；使用对极几何方式进行相对位姿估计；将特征点采用三角测量得到两个点云集合S1、S2，计算S1、S2中两两对应的点之间的距离dij；将点云S1根据其中三维点的位置进行区域划分；采用AC‑RANSAC自适应阈值算法，修改参数，针对Dk计算出相应的阈值tk；根据计算的阈值tk，对第k个区域的三维点进行滤除。本发明针对但不限于具有相似纹理的物体的特征点匹配问题，进行误匹配去除，并且对于不同数据集无需设置参数，可以在较短的时间内自适应出阈值。

Description

一种误匹配去除方法、系统及应用
技术领域
本发明属于多视图三维重建技术领域，尤其涉及一种误匹配去除方法、系统及应用。
背景技术
目前，视觉、听觉、嗅觉、触觉构成了人的感知系统，我们之所以能享受到丰富多彩的生活，这四种感知缺一不可。其中，通过双眼获得的信息是远远大于其余三种方式的。目前，高超的摄影技术可以通过相机模拟人的眼睛捕获大量色彩、结构、纹理等信息。然而，随着科学技术的发展，我们不再满足于二维图像，而是希望可以获得三维立体的视觉感受。
早在上个世纪后期，人们就开始对将二维图像投影到三维空间进行了各种研究，一直发展到当下，多视角图像三维重建技术在航空航天以及日常生活中应用日益广泛。同样随着硬件设备的更新，三维重建技术已不仅仅依赖于二维RGB图像，而是可以采用RGB-D图像、LIDAR扫描等方式进行重建。但考虑到成本、操作简易程度等方面，多视图三维重建无疑是最为简便的。
通常多视图三维重建流程包括从运动中恢复结构的方法(Structure-from-Motion，SfM)、多视图立体视觉(Multi-view Stereo，MVS)、表面重建、纹理贴图。其中SfM可以大致分为三种重建方式：增量式、全局式和分层式。其中增量式较全局式和分层式在准确性方面略胜一筹，在效率上稍稍逊色。但在航空航天、文物保护、医学诊断等领域，精度、准确性是至关重要的。
增量式重建过程涉及到许多复杂步骤，局部特征提取、多视图几何模型估计、工程优化等，其中任何一步的误差都会对后续工作造成影响，进而导致最终重建效果不尽人意。由于特征点的提取与匹配是初始步骤，后续的所有工作都是基于匹配的结果进行展开，匹配的准确性将对之后的三角测量、位姿估计等造成很大的影响，所以打好这个基础，重建工作才能更好地进行。
最常用的去除误匹配的方法是是随机一致性采样算法(Random SampleConsensus，RANSAC)，但对于存在相似纹理的物体，该方法的结果不够理想，因此，需要一种新的滤除误匹配的方法。
通过上述分析，现有技术存在的问题及缺陷为：对于存在相似纹理的物体，基于随机一致性采样算法的去除误匹配的方法的结果不够理想。
解决以上问题及缺陷的难度为：对于具有对称性或相似纹理的物体，会存在大量的特征描述子极为相似，导致在匹配时会产生大量的误匹配。如果这些误匹配距离极线较近或是在极线上，则很难通过RANSAC去除。如果只是单纯的修改RANSAC的阈值，不仅不会达到去除误匹配的目的，反而会滤除一定的正确的匹配点，使得最终的三维点数目变少。
解决以上问题及缺陷的意义为：如果可以去除这些误匹配，则在后续的位姿估计中可以得到更准确的结果，从而在三角测量时计算的三维点不会因为重投影误差过大而被滤除，使得捆绑调整足以收敛，最终的稀疏点云更佳精准、估计正确的三维点数目上升。
发明内容
针对现有技术存在的问题，本发明提供了一种误匹配去除方法、系统及应用，尤其涉及一种基于三角测量的误匹配去除方法、系统及应用。
本发明是这样实现的，一种误匹配去除方法，所述误匹配去除方法包括：对数据集进行特征提取与匹配；对于任意视图对进行拼接并计算相机相对位姿；对其中的特征点进行三角测量并计算相应三维点之间的距离；根据三维点位置将其分为100个区域；对每个区域内的三维点采用自适应算法计算相应阈值；使用阈值进行误匹配去除。
进一步，所述误匹配去除方法包括以下步骤：
步骤一，对数据集中的每一幅图进行特征点SIFT和SURF的提取与匹配，并采用RANSAC得到内点，此时排除大多数异常值，使得后续的算法更佳稳定；
步骤二，对于某一视图Ii，将其复制一份并与原图像上下拼接，将Ii的匹配视图Ii进行同样操作；
步骤三，将步骤二的图像使用对极几何的方式进行相对位姿估计，由于位姿估计是在归一化坐标上进行计算的，所以在改变图像大小后，特征点的归一化坐标也发生了变换，所以需要重新估计位姿；
步骤四，将步骤二中的特征点采用步骤三的位姿进行三角测量得到两个点云集合S1、S2，则计算S1、S2中两两对应的点之间的距离dij；
步骤五，将点云S1根据其中三维点的位置进行区域划分，不同区域中的点距不同，在区域内进行误匹配去除结果更为准确；
步骤六，对于第k个区域中的三维点，将步骤四计算的dij组合为Dk，采用AC-RANSAC自适应阈值算法，修改其中的参数，针对Dk计算出相应的阈值tk，不同区域点距不同，因而不能使用固定的阈值，所以使用自适应阈值算法根据不同区域得到不同的阈值。
步骤七，根据步骤六中计算的阈值tk，对第k个区域的三维点进行滤除。
进一步，步骤二中，对图像Ii进行拼接，使得拼接后的图像高度变为原图两倍、宽度不变，即拼接后的图像上半部分为原图Ii，下半部分为复制后的图像I′i。
进一步，步骤三中，对拼接的图像使用匹配视图对的所有内点采用最小二乘法估计相机相对位姿。
进一步，步骤四中，采用三角测量计算拼接图像中Ii、Ij部分的特征点对应的三维点，得到点云S1，再对I′i、I′j中的特征点通过三角测量得到点云S2，具体包括：
图像Ii中某一特征点xi，其在图像Ij中的匹配点为xj，则在I′i、I′j中对应为x′i、x′j；特征点xi、xj经三角测量的到三维点pij，特征点x′i、x′j经三角测量的到三维点p′ij；pij的集合为点云S1，p′ij的集合为点云S2，则计算S1、S2中两两对应的点之间的距离dij。
进一步，步骤五中，对点云进行区域划分，即分别在y轴、z轴方向将点云均匀的分为10份，则最终共有100个区域。
进一步，步骤六中，计算对应三维点的距离dij，则dij表示为，图像Ii中某一特征点xi，其在图像Ij中的匹配点为xj，则在I′i、I′j中对应为x′i、x′j；特征点xi、xj经三角测量的到三维点pij，特征点x′i、x′j经三角测量的到三维点p′ij，则dij为点pij、p′ij之间的距离。
对于第k个区域中的三维点，将计算的dij组合为Dk，认为其中值dmedian对应的点为内点，则通过判断其余点的dij与dmedian之间的差距判断该点是否为内点，则判断的阈值采用AC-RANSAC自适应阈值算法，公式如下：
其中，Nsample是RANSAC样本的基数；n是对应点总数；k是假设的内点数，迭代时，取值范围是Nsample+1到n；Nout是当有Nsample个对应点时RANSAC可估计的模型数量，Nsample通常使得Nout＝1；ek(M)是所有n个对应点中模型M的第k个最小误差；a0是随机对应点存在1个像素误差的概率；demension是误差尺寸：1表示点到线的距离，2表示点到点的距离。
其中，参数设置为：M＝1，Nout＝1，demension＝1，Nsample＝3，k取值范围是Nsample+1到n；针对dij＞dmedian的部分使用一次AC-RANSAC算法，且area＝dmax-dmedian，其中dmax是Dk中的最大值；针对dij＜dmedian的部分再使用一次AC-RANSAC算法，且area＝dmedian-dmin，其中dmin是Dk中的最小值；如果area＜1，则令a0＝1。
在任何一次计算中，ek(M)＝|dij-dmedian|，将所有ek(M)进行排序，迭代计算NFA的值，当NFA最小时，对应的k值为内点数目，ek(M)为相应的阈值tk。
进一步，步骤七中，如果某个区域的点不满足AC-RANSAC的要求，即该区域只有一或两个点，则直接认定该点为外点；如果某个区域使用AC-RANSAC自适应的阈值滤除的点数多于总点数的则认为该区域的点数过少使得算法结果不够稳定，仅滤除dmax、dmin对应的点；如果AC-RANSAC算法计算正常，则滤除当|dij-dmedian|＞tk时dij对应的点。
本发明的另一目的在于提供一种应用所述的误匹配去除方法的误匹配去除系统，所述误匹配去除系统包括：
特征点提取匹配模块，用于对数据集中的每一幅图进行特征点SIFT和SURF的提取与匹配，并采用RANSAC得到内点；
视图拼接模块，用于对于某一视图Ii，将其复制一份并与原图像上下拼接，将Ii的匹配视图Ij进行同样操作；
相对位姿估计模块，用于将图像使用对极几何的方式进行相对位姿估计；
三角测量模块，用于将特征点采用位姿进行三角测量得到两个点云集合S1、S2，则计算S1、S2中两两对应的点之间的距离dij；
区域划分模块，用于将点云S1根据其中三维点的位置进行区域划分；
阈值计算模块，用于对于第k个区域中的三维点，将计算的dij组合为Dk，采用AC-RANSAC自适应阈值算法，修改其中参数，针对Dk计算出相应阈值tk；
三维点滤除模块，用于根据计算的阈值tk，对第k个区域的三维点进行滤除。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
对数据集中的每一幅图进行特征点SIFT和SURF的提取与匹配，并采用RANSAC得到内点；
对于某一视图Ii，将其复制一份并与原图像上下拼接，将Ii的匹配视图Ij进行同样操作；
将图像使用对极几何的方式进行相对位姿估计；
将特征点采用位姿进行三角测量得到两个点云集合S1、S2，则计算S1、S2中两两对应的点之间的距离dij；
将点云S1根据其中三维点的位置进行区域划分；
对于第k个区域中的三维点，将计算的dij组合为Dk，采用AC-RANSAC自适应阈值算法，修改其中的参数，针对Dk计算出相应的阈值tk；
根据计算的阈值tk，对第k个区域的三维点进行滤除。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
对数据集中的每一幅图进行特征点SIFT和SURF的提取与匹配，并采用RANSAC得到内点；
对于某一视图Ii，将其复制一份并与原图像上下拼接，将Ii的匹配视图Ij进行同样操作；
将图像使用对极几何的方式进行相对位姿估计；
将特征点采用位姿进行三角测量得到两个点云集合S1、S2，则计算S1、S2中两两对应的点之间的距离dij；
将点云S1根据其中三维点的位置进行区域划分；
对于第k个区域中的三维点，将计算的dij组合为Dk，采用AC-RANSAC自适应阈值算法，修改其中的参数，针对Dk计算出相应的阈值tk；
根据计算的阈值tk，对第k个区域的三维点进行滤除。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的误匹配去除系统。
本发明的另一目的在于提供一种所述的误匹配去除方法在航空航天、文物保护以及医学诊断中的应用。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的误匹配去除方法，针对但不限于具有相似纹理的物体的特征点匹配问题，进行误匹配去除，并且对于不同数据集无需设置参数，可以在较短的时间内自适应出阈值。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的误匹配去除方法流程图。
图2是本发明实施例提供的误匹配去除方法原理图。
图3是本发明实施例提供的误匹配去除系统结构框图；
图中：1、特征点提取匹配模块；2、视图拼接模块；3、相对位姿估计模块；4、三角测量模块；5、区域划分模块；6、阈值计算模块；7、三维点滤除模块。
图4是本发明实施例提供的绕拍的数据集的示意图。
图5是本发明实施例提供的某一视图的拼接图像。
图6是本发明实施例提供的计算三维点距离的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种误匹配去除方法、系统及应用，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的误匹配去除方法包括以下步骤：
S101，对数据集中的每一幅图进行特征点SIFT和SURF的提取与匹配，并采用RANSAC得到内点；
S102，对于某一视图Ii，将其复制一份并与原图像上下拼接，将Ii的匹配视图Ij进行同样操作；
S103，将S102的图像使用对极几何的方式进行相对位姿估计；
S104，将S102中的特征点采用S103的位姿进行三角测量得到两个点云集合S1、S2，则计算S1、S2中两两对应的点之间的距离dij；
S105，将点云S1根据其中三维点的位置进行区域划分；
S106，对于第k个区域中的三维点，将S104计算的dij组合为Dk，采用AC-RANSAC自适应阈值算法，修改其中的参数，针对Dk计算出相应的阈值tk；
S107，根据S106中计算的阈值tk，对第k个区域的三维点进行滤除。
本发明实施例提供的误匹配去除方法原理图如图2所示。
如图3所示，本发明实施例提供的误匹配去除系统包括：
特征点提取匹配模块1，用于对数据集中的每一幅图进行特征点SIFT和SURF的提取与匹配，并采用RANSAC得到内点；
视图拼接模块2，用于对于某一视图Ii，将其复制一份并与原图像上下拼接，将Ii的匹配视图Ij进行同样操作；
相对位姿估计模块3，用于将图像使用对极几何的方式进行相对位姿估计；
三角测量模块4，用于将特征点采用位姿进行三角测量得到两个点云集合S1、S2，则计算S1、S2中两两对应的点之间的距离dij；
区域划分模块5，用于将点云S1根据其中三维点的位置进行区域划分；
阈值计算模块6，用于对于第k个区域中的三维点，将计算的dij组合为Dk，采用AC-RANSAC自适应阈值算法，修改其中参数，针对Dk计算出相应阈值tk；
三维点滤除模块7，用于根据计算的阈值tk，对第k个区域的三维点进行滤除。
下面结合实施例对本发明的技术方案作进一步的描述。
本发明提出一种基于三角测量的误匹配去除算法。针对但不限于具有相似纹理的物体的特征点匹配问题，进行误匹配去除，并且对于不同数据集无需设置参数，可以在较短的时间内自适应出阈值。
本发明对数据集进行特征提取与匹配；对于任意视图对进行拼接并计算相机相对位姿；对其中的特征点进行三角测量并计算相应三维点之间的距离；根据三维点位置将其分为100个区域；对每个区域内的三维点采用自适应算法计算相应阈值；使用阈值进行误匹配去除。
本发明的流程如图2所示，其具体步骤如下：
步骤1、对数据集中的每一幅图进行SIFT、SURF特征提取与匹配，采用RANSAC得到内点。示例数据集如图4所示。
步骤2、对于某一视图Ii，将其复制一份(图像I′i)并与原图像上下拼接，将Ii的匹配视图Ij进行同样操作。其中某一视图的拼接图像如图5所示。
步骤3、对拼接的图像使用匹配视图对的所有内点采用最小二乘法估计相机相对位姿。
步骤4、图像Ii中某一特征点xi，其在图像Ij中的匹配点为xj，则在I′i、I′j中对应为x′i、x′j；特征点xi、xj经三角测量的到三维点pij，特征点x′i、x′j经三角测量的到三维点p′ij。pij的集合为点云S1，p′ij的集合为点云S2，则计算S1、S2中两两对应的点之间的距离dij。计算三维点距离如图6所示。此处相当于拍摄了空间中上下放置的两个完全相同的物体，正确匹配的点之间的距离dij应是某一常数，错误匹配点之间的距离应不等于该常数。但由于拼接图像的上下部分是完全相同的两个图像，所以在空间中，两个物体会发生一定的旋转，上方物体沿着x轴向下旋转，下方物体沿着x轴向上旋转，所以不再是所有正确匹配的点之间的距离相等，而是处在同一条平行于x轴的直线上的点之间的距离相等。从实际考虑出发，同一条直线上的点较少，很难进行判断，所以将点云进行分区。
步骤5、将点云S1根据其中三维点的位置进行区域划分，即分别在y轴、z轴方向将点云均匀的分为10份，则最终共有100个区域。
步骤6、对于第k个区域中的三维点，将计算的dij组合为Dk，采用AC-RANSAC自适应阈值算法，公式如下
其中，M＝1，Nout＝1，demension＝1，Nsample＝3，k取值范围是Nsample+1到n。针对dij＞dmedian的部分使用一次AC-RANSAC算法，且area＝dmax-dmedian，其中dmax是Dk中的最大值；针对dij＜dmedian的部分再使用一次AC-RANSAC算法，且area＝dmedian-dmin，其中dmin是Dk中的最小值；如果area＜1，则令a0＝1。
在任何一次计算中，ek(M)＝|dij-dmedian|，将所有ek(M)进行排序，迭代计算NFA的值，当NFA最小时，对应的k值为内点数目，ek(M)为相应的阈值tk。
步骤7、如果某个区域的点只有一或两个点，则直接认定该点为外点；如果某个区域使用AC-RANSAC自适应的阈值滤除的点数多于总点数的则认为该区域的点数过少使得算法结果不够稳定，仅滤除dmax、dmin对应的点；如果AC-RANSAC算法计算正常，则滤除当|dij-dmedian|＞tk时dij对应的点。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种误匹配去除方法，其特征在于，所述误匹配去除方法包括以下步骤：
步骤一，对数据集中的每一幅图进行特征点SIFT和SURF的提取与匹配，并采用RANSAC得到内点；
步骤二，对于某一视图Ii，将其复制一份并与原图像上下拼接，将Ii的匹配视图Ij进行同样操作；
步骤三，将步骤二的图像使用对极几何的方式进行相对位姿估计；
步骤四，将步骤二中的特征点采用步骤三的位姿进行三角测量得到两个点云集合S1、S2，则计算S1、S2中两两对应的点之间的距离dij；
步骤五，将点云S1根据其中三维点的位置进行区域划分；
步骤六，对于第k个区域中的三维点，将步骤四计算的dij组合为Dk，采用AC-RANSAC自适应阈值算法，修改其中的参数，针对Dk计算出相应的阈值tk；认为其中值dmedian对应的点为内点，则通过判断其余点的dij与dmedian之间的差距判断该点是否为内点，则判断的阈值采用AC-RANSAC自适应阈值算法，公式如下：
其中，Nsample是RANSAC样本的基数；n是对应点总数；k是假设的内点数，迭代时，取值范围是Nsample+1到n；Nout是当有Nsample个对应点时RANSAC可估计的模型数量，Nsample通常使得Nout＝1；ek(M)是所有n个对应点中模型M的第k个最小误差；a0是随机对应点存在1个像素误差的概率；demension是误差尺寸：1表示点到线的距离，2表示点到点的距离；
其中，参数设置为：M＝1，Nout＝1，demension＝1，Nsample＝3，k取值范围是Nsample+1到n；针对dij＞dmedian的部分使用一次AC-RANSAC算法，且area＝dmax-dmedian，其中dmax是Dk中的最大值；针对dij＜dmedian的部分再使用一次AC-RANSAC算法，且area＝dmedian-dmin，其中dmin是Dk中的最小值；如果area＜1，则令a0＝1；
在任何一次计算中，ek(M)＝|dij-dmedian|，将所有ek(M)进行排序，迭代计算NFA的值，当NFA最小时，对应的k值为内点数目，ek(M)为相应的阈值tk；
步骤七，根据步骤六中计算的阈值tk，对第k个区域的三维点进行滤除，如果某个区域的点不满足AC-RANSAC的要求，即该区域只有一或两个点，则直接认定该点为外点；如果某个区域使用AC-RANSAC自适应的阈值滤除的点数多于总点数的则认为该区域的点数过少使得算法结果不够稳定，仅滤除dmax、dmin对应的点；如果AC-RANSAC算法计算正常，则滤除当|dij-dmedian|＞tk时dij对应的点。
2.如权利要求1所述的误匹配去除方法，其特征在于，步骤二中，对图像Ii进行拼接，使得拼接后的图像高度变为原图两倍、宽度不变，即拼接后的图像上半部分为原图Ii，下半部分为复制后的图像I′i；
步骤三中，对拼接的图像使用匹配视图对的所有内点采用最小二乘法估计相机相对位姿；
采用三角测量计算拼接图像中Ii、Ij部分的特征点对应的三维点，得到点云S1，再对I′i、I′j中的特征点通过三角测量得到点云S2，具体包括：图像Ii中某一特征点xi，其在图像Ij中的匹配点为xj，则在I′i、I′j中对应为x′i、x′j；特征点xi、xj经三角测量的到三维点pij，特征点x′i、x′j经三角测量的到三维点p′ij；pij的集合为点云S1，p′ij的集合为点云S2，则计算S1、S2中两两对应的点之间的距离dij。
3.如权利要求1所述的误匹配去除方法，其特征在于，步骤五中，对点云进行区域划分，即分别在y轴、z轴方向将点云均匀的分为10份，则最终共有100个区域；
步骤六中，计算对应三维点的距离dij，则dij表示为，图像Ii中某一特征点xi，其在图像Ij中的匹配点为xj，则在I′i、I′j中对应为x′i、x′j；特征点xi、xj经三角测量的到三维点pij，特征点x′i、x′j经三角测量的到三维点p′ij，则dij为点pij、p′ij之间的距离。
4.一种实施权利要求1～3任意一项所述的误匹配去除方法的误匹配去除系统，其特征在于，所述误匹配去除系统包括：
特征点提取匹配模块，用于对数据集中的每一幅图进行特征点SIFT和SURF的提取与匹配，并采用RANSAC得到内点；
视图拼接模块，用于对于某一视图Ii，将其复制一份并与原图像上下拼接，将Ii的匹配视图Ij进行同样操作；
相对位姿估计模块，用于将图像使用对极几何的方式进行相对位姿估计；
三角测量模块，用于将特征点采用位姿进行三角测量得到两个点云集合S1、S2，则计算S1、S2中两两对应的点之间的距离dij；
区域划分模块，用于将点云S1根据其中三维点的位置进行区域划分；
阈值计算模块，用于对于第k个区域中的三维点，将计算的dij组合为Dk，采用AC-RANSAC自适应阈值算法，修改其中参数，针对Dk计算出相应阈值tk；
三维点滤除模块，用于根据计算的阈值tk，对第k个区域的三维点进行滤除。
5.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1所述方法的步骤。
6.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1所述方法的步骤。
7.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求4所述的误匹配去除系统。
8.一种如权利要求1～3任意一项所述的误匹配去除方法在航空航天和文物保护中的应用。
CN202110294700.6A 2021-03-19 2021-03-19 一种误匹配去除方法、系统及应用 Active CN113065566B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110294700.6A CN113065566B (zh) 2021-03-19 2021-03-19 一种误匹配去除方法、系统及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110294700.6A CN113065566B (zh) 2021-03-19 2021-03-19 一种误匹配去除方法、系统及应用

Publications (2)

Publication Number Publication Date
CN113065566A CN113065566A (zh) 2021-07-02
CN113065566B true CN113065566B (zh) 2024-01-09

Family

ID=76562253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110294700.6A Active CN113065566B (zh) 2021-03-19 2021-03-19 一种误匹配去除方法、系统及应用

Country Status (1)

Country Link
CN (1) CN113065566B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115333A (zh) * 2023-02-27 2023-11-24 荣耀终端有限公司 一种结合imu数据的三维重建方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976335A (zh) * 2010-09-03 2011-02-16 浙江大学 基于改进c-v模型的遥感图路网提取方法
CN106022210A (zh) * 2016-05-04 2016-10-12 成都指码科技有限公司 一种静脉轮廓三维点云匹配的身份识别方法及装置
CN110032989A (zh) * 2019-04-23 2019-07-19 福州大学 一种基于框线特征和像素分布的表格文档图像分类方法
CN110458175A (zh) * 2019-07-08 2019-11-15 中国地质大学（武汉） 一种基于词汇树检索的无人机影像匹配对选择方法及系统
CN110766716A (zh) * 2019-09-10 2020-02-07 中国科学院深圳先进技术研究院 一种空间未知运动目标的信息获取方法及系统
CN111815757A (zh) * 2019-06-29 2020-10-23 浙江大学山东工业技术研究院 基于图像序列的大型构件三维重建方法
CN112257721A (zh) * 2020-12-08 2021-01-22 常州微亿智造科技有限公司 一种基于Fast ICP的图像目标区域匹配方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103703490B (zh) * 2011-06-29 2016-03-30 日本电气方案创新株式会社 用于产生三维特征数据的设备以及用于产生三维特征数据的方法
EP3474230B1 (en) * 2017-10-18 2020-07-22 Tata Consultancy Services Limited Systems and methods for edge points based monocular visual slam

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976335A (zh) * 2010-09-03 2011-02-16 浙江大学 基于改进c-v模型的遥感图路网提取方法
CN106022210A (zh) * 2016-05-04 2016-10-12 成都指码科技有限公司 一种静脉轮廓三维点云匹配的身份识别方法及装置
CN110032989A (zh) * 2019-04-23 2019-07-19 福州大学 一种基于框线特征和像素分布的表格文档图像分类方法
CN111815757A (zh) * 2019-06-29 2020-10-23 浙江大学山东工业技术研究院 基于图像序列的大型构件三维重建方法
CN110458175A (zh) * 2019-07-08 2019-11-15 中国地质大学（武汉） 一种基于词汇树检索的无人机影像匹配对选择方法及系统
CN110766716A (zh) * 2019-09-10 2020-02-07 中国科学院深圳先进技术研究院 一种空间未知运动目标的信息获取方法及系统
CN112257721A (zh) * 2020-12-08 2021-01-22 常州微亿智造科技有限公司 一种基于Fast ICP的图像目标区域匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Image Registration Method Based on Improved SIFT Algorithm and Essential Matrix Estimation;Xiangkun Guo等;《IEEE International Conference on Information and Automation (ICIA)》;814-819 *
基于自适应阈值滤波的三维ECT重建算法;王伊凡 等;《沈阳工业大学学报》;第42卷(第3期);313-317 *

Also Published As

Publication number Publication date
CN113065566A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN110363858B (zh) 一种三维人脸重建方法及系统
WO2021077720A1 (zh) 获取对象三维模型的方法、装置、电子设备及系统
Zeng et al. 3D point cloud denoising using graph Laplacian regularization of a low dimensional manifold model
CN110135455B (zh) 影像匹配方法、装置及计算机可读存储介质
CN110909693A (zh) 3d人脸活体检测方法、装置、计算机设备及存储介质
US20160314619A1 (en) 3-Dimensional Portrait Reconstruction From a Single Photo
CN110070610B (zh) 特征点匹配方法、三维重构过程的特征点匹配方法及装置
KR20170068462A (ko) 에지를 이용한 3차원 모델 생성
CN113178009B (zh) 一种利用点云分割和网格修补的室内三维重建方法
CN110148179A (zh) 一种训练用于估计图像视差图的神经网络模型方法、装置及介质
US20220237880A1 (en) System and method of generating a 3d representation of an object
CN108961383A (zh) 三维重建方法及装置
CN111739071A (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
CN113065566B (zh) 一种误匹配去除方法、系统及应用
CN115222889A (zh) 基于多视图图像的3d重建方法、装置及相关设备
CN113052880A (zh) 一种sfm稀疏重建方法、系统及应用
US8941651B2 (en) Object alignment from a 2-dimensional image
CN116958419A (zh) 一种基于波前编码的双目立体视觉三维重建系统和方法
CN112101247A (zh) 一种人脸姿态估计方法、装置、设备及存储介质
CN117274605B (zh) 一种从无人机拍摄的照片中提取水域轮廓的方法及装置
CN112258647A (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN114972539A (zh) 机房相机平面在线标定方法、系统、计算机设备和介质
CN112381721A (zh) 一种基于双目视觉的人脸三维重建方法
CN110766739A (zh) 一种构建人体点云的方法及装置
CN114494429B (zh) 大规模无控制立体平差网几何定位粗差探测与处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant