CN113298934B - 一种基于双向匹配的单目视觉图像三维重建方法及系统 - Google Patents

一种基于双向匹配的单目视觉图像三维重建方法及系统 Download PDF

Info

Publication number
CN113298934B
CN113298934B CN202110576074.XA CN202110576074A CN113298934B CN 113298934 B CN113298934 B CN 113298934B CN 202110576074 A CN202110576074 A CN 202110576074A CN 113298934 B CN113298934 B CN 113298934B
Authority
CN
China
Prior art keywords
matching
image
reconstruction
feature
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110576074.XA
Other languages
English (en)
Other versions
CN113298934A (zh
Inventor
李腊全
郑申海
张菠
聂子和
刘俊言
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Qicheng Mingke Technology Co ltd
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202110576074.XA priority Critical patent/CN113298934B/zh
Publication of CN113298934A publication Critical patent/CN113298934A/zh
Application granted granted Critical
Publication of CN113298934B publication Critical patent/CN113298934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双向匹配的单目视觉图像三维重建方法及系统，该方法包括：S1：利用采集设备获取原始图像；对原始图像进行预处理；S2：对预处理后的原始图像，采用SIFT算法进行特征提取，得到采集的所有图特征点集；并采用主成分分析法PCA对所有图特征点集进行降维处理，得到降维后的特征点集；S3：采用欧式距离、曼哈顿距离双向匹配法对降维后的特征点集进行特征匹配，得到匹配后的初步匹配结果；并采用ransac方法对初步匹配结果进行优化，得到最终匹配结果；S4：根据最终匹配结果，采用两级三维图像重建，得到最终三维重建结果。本发明改善优化图像特征点匹配，提高匹配速率，增加其准确率，提高三维重建效果。

Description

一种基于双向匹配的单目视觉图像三维重建方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于双向匹配的单目视觉图像三维重建方法及系统。
背景技术
三维计算机视觉的应用从早期的传统工业领域到如今的社会服务类行业，可以说是应有尽有，越来越丰富。这一技术发展了多年，有着卓越的发展进程和技术热度，接下来简单介绍一下三维重建技术的背景和原理。
客观世界场景的物体是三维的，而用摄像机拍摄到的图像是二维的。三维重建技术是以一定的方式处理进而得到计算机能够识别的三维信息，由此对目标进行分析。现如今的基于图像的三维重建方法主要有光度立体学法，运动图像序列法，立体视觉法三种。
人之所以能够将二维的图像识别为三维物体，是因为物体与物体之间有着深度差的存在，而在看东西的时候，人们通过两眼视点的差别判断出物体间的相对深度，即立体视差；通过对立体视差进行模拟就能实现三维景象的恢复。立体视觉技术是利用两个及多个摄像机对同一物体从不同的方位进行图像数据的采样，根据采样到的图像数据来进行相同点的匹配，从而计算出不同图像同一点之间的视差，从视差中得到原有的深度信息的技术。最后通过深度信息就可以基本确定物体在空间中的实际位置，从后实现物体场景的三维重建。
一般来讲，一个完整的三维重建系统通常分为稀疏重建sfm和稠密重建mvs两个部分，稀疏重建(Structure-from-Motion)是通过相机运动恢复场景结构。SFM包括以下步骤：1.特征点检测与匹配。2.外极几何图构造。3.摄像机位姿和场景结构估计。4.捆绑调整(BA)优化摄像机位姿和场景
特征点检测与匹配阶段使用的是SIFT算法。传统三维重建中的SIFT算法，即尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由David Lowe在1999年所发表，2004年完善总结。SIFT算法对图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性，在图片的不变特征的提取领域里有着较高的地位。但也有着一些缺点，比如面对复杂场景时实时性不高；对于边缘光滑的物体图片或者一些轮廓简单的物体图片来说，有时匹配到的特征点较少。
MVS的基本思路是寻找空间中具有图像一致性的点，利用相机位姿确定图像一致性，最后生成稠密点云。现在已经有基于体素的方法：Voxel based MVS；基于点云扩散的方法：Feature point growing based MVS；基于深度图融合的方法：Depth-map mergingbased MVS。基于体素优点在于：1.生成规则点云。2.易提取Mesh(Marching cubealgorithm)。缺点在于：1.精度取决于voxel粒度2.体素占巨大内存，难以处理复杂大场景。基于特征点的优点在于：1.点云精度较高。2.点云分布均匀。缺点在于：1.弱纹理区域容易造成扩散空洞。2.读入操作容易卡顿(需要一次读入所有图像)。基于深度图融合的优点在于：1.并行计算深度图。2.点云数量多。3.商用广泛。缺点在于：1.依赖于领域图像组的选择。
如今，三维重建技术运用于许多重要的高尖的行业内，譬如工业自动化，医疗辅助应用，视觉导航等等。现如今的社会中视觉传感器的使用也可谓是广泛至极，几乎每个人都在与之打交道。视觉传感器虽然通常体积小，价格低，但是能够提供丰富的图片数据和环境信息，为三维重建提供了基础的保障。且仅仅利用一台相机就能实现三维场景重建，具备着设备简单，使用方便，成本低廉等上也有点，极易在各种领域中得到推广应用，称为新时代科技的一项热点。所以如何利用单目视觉传感器得到满意的三维重建效果成为了一个非常有意义的课题，不仅具有各式各样的实际应用场景，而且也有着巨大的理论研究价值。
发明内容
本发明所要解决的技术问题是现有的图像三维重建技术存在图像特征点匹配速度慢，实效性差，准确率不高，图像三维重建的效果不佳的问题。本发明目的在于提供一种基于双向匹配的单目视觉图像三维重建方法，改善优化图像特征点匹配，提高匹配速率，增加准确率，提高三维重建的最终效果。
本发明通过下述技术方案实现：
第一方面，本发明提供了一种基于双向匹配的单目视觉图像三维重建方法，该方法包括以下步骤：
S1：利用采集设备获取物的待重建图像，并作为原始图像；对所述原始图像进行预处理；
S2：对预处理后的原始图像，采用SIFT算法进行特征提取，得到所有图特征点集；并采用主成分分析法PCA对所有图特征点集进行降维处理，得到降维后的特征点集；
S3：采用欧式距离、曼哈顿距离双向匹配法对所述降维后的特征点集进行特征匹配，得到匹配后的初步匹配结果(即初步特征点匹配集)；并采用ransac方法对所述初步匹配结果进行优化，得到最终匹配结果；其中，ransac方法用于消除初步匹配结果中的误匹配项；
S3：根据所述最终匹配结果，采用SFM稀疏点云重建法进行第一级三维图像重建，得到第一级重建结果；对所述第一级重建结果结果，采用CMVS/PMVS稠密重建法进行第二级三维图像重建，生成第二级重建结果，最终完成三维图像重建。
其中，考虑到主成分分析法PCA是一种无监督降维算法，不同于有监督的降维算法，不需要提供额外标签数据和相关训练；并且PCA对数据的降维处理理论上没有限制，想要将数据降维成多少维度根据实际情况决定。
PCA降维的原理实则是计算数据向量的协方差矩阵，然后利用其特征向量，根据特征根的大小排序，选择对应的前n个特征向量(本发明中采用n＝24)，构成投影矩阵T；对新的特征描述子向量，乘以投影矩阵T，从而得到降到n维的特征向量。一般有效信号的方差大，噪声的方差小；通过PCA可以降维滤除噪声，保留信号。所以得到的降维后的数据向量压缩并保留了相对主要的属性，减少了不重要的成分(噪声)。对于sift描述子的降维选择，较于其他降维方法，PCA在降低描述子维度的同时滤除了部分描述子向量中的干扰信息，所以本发明采用主成分分析法PCA对所有图特征点集进行降维处理。
进一步地，步骤S1之前还包括S0：采用棋盘标定法对采集设备进行标定；具体包括以下子步骤：
S00：打印一张棋盘格标定板放置在平面；
S01：采用相机从不同角度拍摄若干(比如四十)张样本图像，检测每幅样本图像的特征点；
S02：根据相机成像模型，利用检测到的每个特征点的信息，消去尺度因子Z，建立方程组，求解单应性矩阵H；
S03：通过张正友标定法，可以解出相机内参矩阵关于单应性对称矩阵B表达式的参数；
S04：通过内参矩阵和外参矩阵的乘积为单应性矩阵H这一关系，求得外参矩阵；
S05：利用上述所得相机内外参数以及特征点的图像坐标和像素坐标，通过最小二乘法求解径向畸变系数；
S06：利用图像畸变系数进行畸变校正。
进一步地，步骤S3包括以下子步骤：
假设两个图像A和B，两个图像的特征向量分别为Xi(x1,x2,x3,x4...,xn)和Yj(y1,y2,y3,y4...,yn)，其中i和j的取值范围即为实际图片提取出的特征点个数，每个特征点为n维；图像A对图像B的特征匹配采用欧式距离作为相似性距离，图像B对图像A的特征匹配采用曼哈顿距离作为相似性距离；
S31：图像A对图像B进行特征匹配，取X1，遍历所有Y找到X1和Yj曼哈顿距离最小的组合m1和次小的组合m2，若m1和m2分别代表的曼哈顿距离满足m1/m2比值小于设定阈值，则将m1组合计入图像特征匹配集H；重复上述操作，直至X被取完；
S32：图像B对图像A进行特征匹配，取Y1，遍历所有X找到Y1和Xj欧式距离最小的组合m1和次小的组合m2，若m1和m2分别代表的欧式距离满足m1/m2比值小于设定阈值，则将m1组合计入计入图像特征匹配集O；重复上述操作，直至Y被取完；
S33：比较图像特征匹配集H和O，取出完全相同的部分，作为最后的匹配点集合Match；
S34：对匹配点集合Match内的匹配组进行ransac方法误匹配剔除，每次迭代随机选取匹配点集合Match中的四组匹配对，即八个描述点；根据DLT计算单应矩阵H(唯一解)，对所有匹配点，计算投影误差，根据误差阈值，确定匹配点集合inliers，计算完毕后返回第一步重新计算直到取到最合适的匹配点集合inliers，即为最后匹配点集合。
进一步地，步骤S4中根据所述最终匹配结果，采用SFM稀疏点云重建法进行第一级三维图像重建，得到第一级重建结果；所述SFM稀疏点云重建法的执行过程如下：
S41：根据所述最终匹配结果，对匹配成功的点利用八点法计算基础矩阵F，利用五点法计算本质矩阵E；
S42：对所述本质矩阵E进行SVD分解，得到图像间的相对变换矩阵R和T；
S43：通过三角形法利用基础矩阵F与相对变换矩阵R，T求得将二维像素点映射到三维空间的投影矩阵；
S44：通过光束法平差BA利用特征匹配点对投影矩阵进行迭代优化，收敛后求得最终投影矩阵以及特征点的三维空间坐标，得到稀疏点云模型。
进一步地，步骤S4中对所述第一级重建结果结果，采用CMVS/PMVS稠密重建法进行第二级三维图像重建，生成第二级重建结果，具体包括：
S51：通过CMVS稠密重建法对SFM稀疏点云聚类到不同的影像集(image cluster)，采用分治思想，以减少稠密重建数据量，其中每个影像集之间有部分重叠；
S52：利用PMVS稠密重建法对上述每一个影像集，分别从其稀疏点云开始，在局部光照一致性和全局可见性约束下，经过匹配、扩散，过滤生成带有真实颜色的稠密点云，最终融合为待重建图像的稠密点云。
进一步地，步骤S2中对预处理后的原始图像，采用SIFT算法进行特征提取，得到采集的所有图特征点集；其中，每个图特征点集采用128维的向量来描述；
采用主成分分析法PCA对所有图特征点集进行降维处理，得到降维后的特征点集；其中，每个将为后的特征点集为24维的向量。
第二方面，本发明还提供了一种基于双向匹配的单目视觉图像三维重建系统，该系统包括：
获取单元，用于利用采集设备获取物的待重建图像，并作为原始图像；
预处理单元，用于对所述原始图像进行预处理，得到预处理后的原始图像；
特征提取单元，用于对预处理后的原始图像，采用SIFT算法进行特征提取，得到采集的所有图特征点集；
降维单元，用于采用主成分分析法PCA对所有图特征点集进行降维处理，得到降维后的特征点集；
特征匹配单元，用于采用欧式距离、曼哈顿距离双向匹配法对所述降维后的特征点集进行特征匹配，得到匹配后的初步匹配结果；并采用ransac方法对所述初步匹配结果进行优化，得到最终匹配结果；
三维图像重建单元，用于根据所述最终匹配结果，采用SFM稀疏点云重建法进行第一级三维图像重建，得到第一级重建结果；对所述第一级重建结果结果，采用CMVS/PMVS稠密重建法进行第二级三维图像重建，生成第二级重建结果，最终完成三维图像重建；
输出单元，用于输出所述第二级重建结果。
进一步地，所述特征匹配单元的执行过程如下：
假设两个图像A和B，两个图像的特征向量分别为Xi(x1,x2,x3,x4...,xn)和Yj(y1,y2,y3,y4...,yn)，其中i和j的取值范围即为实际图片提取出的特征点个数，每个特征点为n维；图像A对图像B的特征匹配采用欧式距离作为相似性距离，图像B对图像A的特征匹配采用曼哈顿距离作为相似性距离；
图像A对图像B进行特征匹配，取X1，遍历所有Y找到X1和Yj曼哈顿距离最小的组合m1和次小的组合m2，若m1和m2分别代表的曼哈顿距离满足m1/m2比值小于设定阈值，则将m1组合计入图像特征匹配集H；重复上述操作，直至X被取完；
图像B对图像A进行特征匹配，取Y1，遍历所有X找到Y1和Xj欧式距离最小的组合m1和次小的组合m2，若m1和m2分别代表的欧式距离满足m1/m2比值小于设定阈值，则将m1组合计入计入图像特征匹配集O；重复上述操作，直至Y被取完；
比较图像特征匹配集H和O，取出完全相同的部分，作为最后的匹配点集合Match；
对匹配点集合Match内的匹配组进行ransac方法误匹配剔除，每次迭代随机选取匹配点集合Match中的四组匹配对，即八个描述点；根据DLT计算单应矩阵H(唯一解)，对所有匹配点，计算投影误差，根据误差阈值，确定匹配点集合inliers，计算完毕后返回第一步重新计算直到取到最合适的匹配点集合inliers，即为最后匹配点集合。
第三方面，本发明还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的一种基于双向匹配的单目视觉图像三维重建方法。
第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种基于双向匹配的单目视觉图像三维重建方法。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明改善优化图像特征点匹配，提高匹配速率，增加其准确率，提高三维重建的最终效果。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明一种基于双向匹配的单目视觉图像三维重建方法流程图。
图2为传统SIFT匹配效果图。
图3为本发明基于欧式-曼哈顿距离双向匹配+ransac的sift匹配效果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1至图3所示，本发明一种基于双向匹配的单目视觉图像三维重建方法，该方法包括以下步骤：
S1：利用采集设备获取物的待重建图像，并作为原始图像；对所述原始图像进行预处理；
S2：对预处理后的原始图像，采用SIFT算法进行特征提取，得到所有图特征点集；并采用主成分分析法PCA对所有图特征点集进行降维处理，得到降维后的特征点集；
S3：采用欧式距离、曼哈顿距离双向匹配法对所述降维后的特征点集进行特征匹配，得到匹配后的初步匹配结果(即初步特征点匹配集)；并采用ransac方法对所述初步匹配结果进行优化，得到最终匹配结果；其中，ransac方法用于消除初步匹配结果中的误匹配项；
S3：根据所述最终匹配结果，采用SFM稀疏点云重建法进行第一级三维图像重建，得到第一级重建结果；对所述第一级重建结果结果，采用CMVS/PMVS稠密重建法进行第二级三维图像重建，生成第二级重建结果(稠密合格的网格面片)，最终完成三维图像重建。
本实施例中，步骤S1之前还包括S0：采用棋盘标定法对采集设备进行标定；具体包括以下子步骤：
S00：打印一张棋盘格标定板放置在平面；
S01：采用相机从不同角度拍摄若干(比如四十)张样本图像，检测每幅样本图像的特征点；
S02：根据相机成像模型，利用检测到的每个特征点的信息，消去尺度因子Z，建立方程组，求解单应性矩阵H；
S03：通过张正友标定法，可以解出相机内参矩阵关于单应性对称矩阵B表达式的参数；
S04：通过内参矩阵和外参矩阵的乘积为单应性矩阵H这一关系，求得外参矩阵；
S05：利用上述所得相机内外参数以及特征点的图像坐标和像素坐标，通过最小二乘法求解径向畸变系数；
S06：利用图像畸变系数进行畸变校正。
本实施例中，步骤S3包括以下子步骤：
假设两个图像A和B，两个图像的特征向量分别为Xi(x1,x2,x3,x4...,x24)和Yj(y1,y2,y3,y4...,y24)，其中i和j的取值范围即为实际图片提取出的特征点个数，每个特征点为24维；图像A对图像B的特征匹配采用欧式距离作为相似性距离，图像B对图像A的特征匹配采用曼哈顿距离作为相似性距离；
S31：图像A对图像B进行特征匹配，取X1，遍历所有Y找到X1和Yj曼哈顿距离最小的组合m1和次小的组合m2，若m1和m2分别代表的曼哈顿距离满足m1/m2比值小于设定阈值0.8，则将m1组合计入图像特征匹配集H；重复上述操作，直至X被取完；
S32：图像B对图像A进行特征匹配，取Y1，遍历所有X找到Y1和Xj欧式距离最小的组合m1和次小的组合m2，若m1和m2分别代表的欧式距离满足m1/m2比值小于设定阈值0.8，则将m1组合计入计入图像特征匹配集O；重复上述操作，直至Y被取完；
S33：比较图像特征匹配集H和O，取出完全相同的部分，作为最后的匹配点集合Match；
S34：对匹配点集合Match内的匹配组进行ransac方法误匹配剔除，每次迭代随机选取匹配点集合Match中的四组匹配对，即八个描述点；根据DLT计算单应矩阵H(唯一解)，对所有匹配点，计算投影误差，根据误差阈值(本发明设置为30％)，确定匹配点集合inliers，计算完毕后返回第一步重新计算直到取到最合适的匹配点集合inliers，即为最后匹配点集合。
本实施例中，步骤S4中根据所述最终匹配结果，采用SFM稀疏点云重建法进行第一级三维图像重建，得到第一级重建结果；所述SFM稀疏点云重建法的执行过程如下：
S41：根据所述最终匹配结果，对匹配成功的点利用八点法计算基础矩阵F，利用五点法计算本质矩阵E；
S42：对所述本质矩阵E进行SVD分解，得到图像间的相对变换矩阵R和T；
S43：通过三角形法利用基础矩阵F与相对变换矩阵R，T求得将二维像素点映射到三维空间的投影矩阵；
S44：通过光束法平差BA利用特征匹配点对投影矩阵进行迭代优化，收敛后求得最终投影矩阵以及特征点的三维空间坐标，得到稀疏点云模型。
本实施例中，步骤S4中对所述第一级重建结果结果，采用CMVS/PMVS稠密重建法进行第二级三维图像重建，生成第二级重建结果，其中，CMVS/PMVS为现有技术，根据现有技术步骤执行即可；具体包括：
S51：通过CMVS稠密重建法对SFM稀疏点云聚类到不同的影像集(image cluster)，采用分治思想，以减少稠密重建数据量，其中每个影像集之间有部分重叠；
S52：利用PMVS稠密重建法对上述每一个影像集，分别从其稀疏点云开始，在局部光照一致性和全局可见性约束下，经过匹配、扩散，过滤生成带有真实颜色的稠密点云，最终融合为待重建图像的稠密点云。
本实施例中，步骤S2中对预处理后的原始图像，采用SIFT算法进行特征提取，得到采集的所有图特征点集；其中，每个图特征点集采用128维的向量来描述；
采用主成分分析法PCA对所有图特征点集进行降维处理，得到降维后的特征点集；其中，每个将为后的特征点集为24维的向量。
本发明中特征点提取匹配部分提供了一种同时提高处理速率与识别准确度的特征点匹配算法。本发明采用SIFT特征描述特征点，其特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。匹配时采用PCA降维与欧氏距离曼哈顿距离双向匹配相结合的方式得到初步匹配点。PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。降维后提高了数据的处理速度，但在一定程度上遗失了部分信息。欧氏距离与曼哈顿距离双向匹配可以有效地处理该问题，其通过相对于流行的KNN匹配算法更大的计算量，很大程度上保证了匹配结果的精确性。最后用常用的ransac方法优化初步匹配结果。RANSAC是“Random Sample Consensus(随机抽样一致)”的缩写。它可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。在本例中该算法拟合两图片间的单应性矩阵，消除初步匹配对中的误匹配项。
实施时：采用人物图像进行测试，采用传统方法和本发明方法的结果对比图如图2和图3所示，不难看出，在采用本发明方法匹配后，去除了明显的错误匹配点对，提高了配准率，能够得到了更有效特征点，用于三维重建，得到更好的重建效果。
在采用本发明优化方案后，在SIFT算法匹配部分节约了0.2s，且随着图像的增多，节约的时间将相对大幅减少。在采用欧氏距离-曼哈顿距离双向匹配和ransac方法优化后，匹配准确率提高了5％，最终的三维重建效果也有了相对应的提高。
实施例2
如图1至图3所示，本实施例与实施例1的区别在于，本实施例提供了一种基于双向匹配的单目视觉图像三维重建系统，该系统支持实施例1所述的一种基于双向匹配的单目视觉图像三维重建方法，该系统包括：
获取单元，用于利用采集设备获取物的待重建图像，并作为原始图像；
预处理单元，用于对所述原始图像进行预处理，得到预处理后的原始图像；
特征提取单元，用于对预处理后的原始图像，采用SIFT算法进行特征提取，得到采集的所有图特征点集；
降维单元，用于采用主成分分析法PCA对所有图特征点集进行降维处理，得到降维后的特征点集；
特征匹配单元，用于采用欧式距离、曼哈顿距离双向匹配法对所述降维后的特征点集进行特征匹配，得到匹配后的初步匹配结果；并采用ransac方法对所述初步匹配结果进行优化，得到最终匹配结果；
三维图像重建单元，用于根据所述最终匹配结果，采用SFM稀疏点云重建法进行第一级三维图像重建，得到第一级重建结果；对所述第一级重建结果结果，采用CMVS/PMVS稠密重建法进行第二级三维图像重建，生成第二级重建结果，最终完成三维图像重建；
输出单元，用于输出所述第二级重建结果。
进一步地，所述特征匹配单元的执行过程如下：
假设两个图像A和B，两个图像的特征向量分别为Xi(x1,x2,x3,x4...,x24)和Yj(y1,y2,y3,y4...,y24)，其中i和j的取值范围即为实际图片提取出的特征点个数，每个特征点为24维；图像A对图像B的特征匹配采用欧式距离作为相似性距离，图像B对图像A的特征匹配采用曼哈顿距离作为相似性距离；
图像A对图像B进行特征匹配，取X1，遍历所有Y找到X1和Yj曼哈顿距离最小的组合m1和次小的组合m2，若m1和m2分别代表的曼哈顿距离满足m1/m2比值小于设定阈值0.8，则将m1组合计入图像特征匹配集H；重复上述操作，直至X被取完；
图像B对图像A进行特征匹配，取Y1，遍历所有X找到Y1和Xj欧式距离最小的组合m1和次小的组合m2，若m1和m2分别代表的欧式距离满足m1/m2比值小于设定阈值0.8，则将m1组合计入计入图像特征匹配集O；重复上述操作，直至Y被取完；
比较图像特征匹配集H和O，取出完全相同的部分，作为最后的匹配点集合Match；
对匹配点集合Match内的匹配组进行ransac方法误匹配剔除，每次迭代随机选取匹配点集合Match中的四组匹配对，即八个描述点；根据DLT计算单应矩阵H(唯一解)，对所有匹配点，计算投影误差，根据误差阈值(本实施例设置为30％)，确定匹配点集合inliers，计算完毕后返回第一步重新计算直到取到最合适的匹配点集合inliers，即为最后匹配点集合。
本发明特征点匹配，PCA降维与欧氏距离曼哈顿距离双向匹配相结合后用于单目视觉三维重建。本技术方案可应用于图像拼接，三维重建，同步定位与建图，图像检索等领域。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于双向匹配的单目视觉图像三维重建方法，其特征在于，该方法包括以下步骤：
S1：利用采集设备获取物的待重建图像，并作为原始图像；对所述原始图像进行预处理；
S2：对预处理后的原始图像，采用尺度不变特征转换SIFT算法进行特征提取，得到采集的所有图特征点集；并采用主成分分析法PCA对所有图特征点集进行降维处理，得到降维后的特征点集；
S3：采用欧式距离、曼哈顿距离双向匹配法对所述降维后的特征点集进行特征匹配，得到匹配后的初步匹配结果；并采用ransac方法对所述初步匹配结果进行优化，得到最终匹配结果；
S4：根据所述最终匹配结果，采用稀疏点云重建法SFM进行第一级三维图像重建，得到第一级重建结果；对所述第一级重建结果结果，采用稠密重建法CMVS/PMVS进行第二级三维图像重建，生成第二级重建结果，最终完成三维图像重建；
步骤S3包括以下子步骤：
假设两个图像A和B，两个图像的特征向量分别为Xi(x1,x2,x3,x4...,xn)和Yj(y1,y2,y3,y4...,yn)，其中i和j的取值范围即为实际图片提取出的特征点个数，每个特征点为n维；图像A对图像B的特征匹配采用欧式距离作为相似性距离，图像B对图像A的特征匹配采用曼哈顿距离作为相似性距离；
S31：图像A对图像B进行特征匹配，取X1，遍历所有Y找到X1和Yj曼哈顿距离最小的组合m1和次小的组合m2，若m1和m2分别代表的曼哈顿距离满足m1/m2比值小于设定阈值，则将m1组合计入图像特征匹配集H；重复上述操作，直至X被取完；
S32：图像B对图像A进行特征匹配，取Y1，遍历所有X找到Y1和Xj欧式距离最小的组合m1和次小的组合m2，若m1和m2分别代表的欧式距离满足m1/m2比值小于设定阈值，则将m1组合计入计入图像特征匹配集O；重复上述操作，直至Y被取完；
S33：比较图像特征匹配集H和O，取出完全相同的部分，作为最后的匹配点集合Match；
S34：对匹配点集合Match内的匹配组进行ransac方法误匹配剔除，每次迭代随机选取匹配点集合Match中的四组匹配对，即八个描述点；根据DLT计算单应矩阵H，对所有匹配点，计算投影误差，根据误差阈值，确定匹配点集合inliers，计算完毕后返回第一步重新计算直到取到最合适的匹配点集合inliers，即为最后匹配点集合；
步骤S4中根据所述最终匹配结果，采用稀疏点云重建法SFM进行第一级三维图像重建，得到第一级重建结果；所述稀疏点云重建法SFM的执行过程如下：
S41：根据所述最终匹配结果，对匹配成功的点利用八点法计算基础矩阵F，利用五点法计算本质矩阵E；
S42：对所述本质矩阵E进行SVD分解，得到图像间的相对变换矩阵R和T；
S43：通过三角形法利用基础矩阵F与相对变换矩阵R，T求得将二维像素点映射到三维空间的投影矩阵；
S44：通过光束法平差BA利用特征匹配点对投影矩阵进行迭代优化，收敛后求得最终投影矩阵以及特征点的三维空间坐标，得到稀疏点云模型；
步骤S4中对所述第一级重建结果结果，采用稠密重建法CMVS/PMVS进行第二级三维图像重建，生成第二级重建结果，具体包括：
S51：通过稠密重建法CMVS对SFM稀疏点云聚类到不同的影像集，采用分治思想，减少稠密重建数据量，其中每个影像集之间有部分重叠；
S52：利用稠密重建法PMVS对上述每一个影像集，分别从其稀疏点云开始，在局部光照一致性和全局可见性约束下，经过匹配、扩散，过滤生成带有真实颜色的稠密点云，最终融合为待重建图像的稠密点云。
2.根据权利要求1所述的一种基于双向匹配的单目视觉图像三维重建方法，其特征在于，步骤S1之前还包括S0：采用棋盘标定法对采集设备进行标定；具体包括以下子步骤：
S00：打印一张棋盘格标定板放置在平面；
S01：采用相机从不同角度拍摄若干张样本图像，检测每幅样本图像的特征点；
S02：根据相机成像模型，利用检测到的每个特征点的信息，消去尺度因子Z，建立方程组，求解单应性矩阵H；
S03：通过张正友标定法，可以解出相机内参矩阵关于单应性对称矩阵B表达式的参数；
S04：通过内参矩阵和外参矩阵的乘积为单应性矩阵H这一关系，求得外参矩阵；
S05：利用上述所得相机内外参数以及特征点的图像坐标和像素坐标，通过最小二乘法求解径向畸变系数；
S06：利用图像畸变系数进行畸变校正。
3.根据权利要求1所述的一种基于双向匹配的单目视觉图像三维重建方法，其特征在于，步骤S2中对预处理后的原始图像，采用尺度不变特征转换SIFT算法进行特征提取，得到采集的所有图特征点集；其中，每个图特征点集采用128维的向量来描述；
采用主成分分析法PCA对所有图特征点集进行降维处理，得到降维后的特征点集；其中，每个将为后的特征点集为24维的向量。
4.用于实现如权利要求1至3中任一所述的一种基于双向匹配的单目视觉图像三维重建方法的三维重建系统，其特征在于，该系统包括：
获取单元，用于利用采集设备获取物的待重建图像，并作为原始图像；
预处理单元，用于对所述原始图像进行预处理，得到预处理后的原始图像；
特征提取单元，用于对预处理后的原始图像，采用尺度不变特征转换SIFT算法进行特征提取，得到采集的所有图特征点集；
降维单元，用于采用主成分分析法PCA对所有图特征点集进行降维处理，得到降维后的特征点集；
特征匹配单元，用于采用欧式距离、曼哈顿距离双向匹配法对所述降维后的特征点集进行特征匹配，得到匹配后的初步匹配结果；并采用ransac方法对所述初步匹配结果进行优化，得到最终匹配结果；
三维图像重建单元，用于根据所述最终匹配结果，采用稀疏点云重建法SFM进行第一级三维图像重建，得到第一级重建结果；对所述第一级重建结果结果，采用稠密重建法CMVS/PMVS进行第二级三维图像重建，生成第二级重建结果，最终完成三维图像重建；
输出单元，用于输出所述第二级重建结果；
所述特征匹配单元的执行过程为：
假设两个图像A和B，两个图像的特征向量分别为Xi(x1,x2,x3,x4...,xn)和Yj(y1,y2,y3,y4...,yn)，其中i和j的取值范围即为实际图片提取出的特征点个数，每个特征点为n维；图像A对图像B的特征匹配采用欧式距离作为相似性距离，图像B对图像A的特征匹配采用曼哈顿距离作为相似性距离；
图像A对图像B进行特征匹配，取X1，遍历所有Y找到X1和Yj曼哈顿距离最小的组合m1和次小的组合m2，若m1和m2分别代表的曼哈顿距离满足m1/m2比值小于设定阈值，则将m1组合计入图像特征匹配集H；重复上述操作，直至X被取完；
图像B对图像A进行特征匹配，取Y1，遍历所有X找到Y1和Xj欧式距离最小的组合m1和次小的组合m2，若m1和m2分别代表的欧式距离满足m1/m2比值小于设定阈值，则将m1组合计入计入图像特征匹配集O；重复上述操作，直至Y被取完；
比较图像特征匹配集H和O，取出完全相同的部分，作为最后的匹配点集合Match；
对匹配点集合Match内的匹配组进行ransac方法误匹配剔除，每次迭代随机选取匹配点集合Match中的四组匹配对，即八个描述点；根据DLT计算单应矩阵H，对所有匹配点，计算投影误差，根据误差阈值，确定匹配点集合inliers，计算完毕后返回第一步重新计算直到取到最合适的匹配点集合inliers，即为最后匹配点集合；
所述三维图像重建单元中稀疏点云重建法SFM的执行过程如下：
根据所述最终匹配结果，对匹配成功的点利用八点法计算基础矩阵F，利用五点法计算本质矩阵E；
对所述本质矩阵E进行SVD分解，得到图像间的相对变换矩阵R和T；
通过三角形法利用基础矩阵F与相对变换矩阵R，T求得将二维像素点映射到三维空间的投影矩阵；
通过光束法平差BA利用特征匹配点对投影矩阵进行迭代优化，收敛后求得最终投影矩阵以及特征点的三维空间坐标，得到稀疏点云模型；
所述三维图像重建单元中采用稠密重建法CMVS/PMVS进行第二级三维图像重建的执行过程如下：
通过稠密重建法CMVS对SFM稀疏点云聚类到不同的影像集，采用分治思想，减少稠密重建数据量，其中每个影像集之间有部分重叠；
利用稠密重建法PMVS对上述每一个影像集，分别从其稀疏点云开始，在局部光照一致性和全局可见性约束下，经过匹配、扩散，过滤生成带有真实颜色的稠密点云，最终融合为待重建图像的稠密点云。
5.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述的一种基于双向匹配的单目视觉图像三维重建方法。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的一种基于双向匹配的单目视觉图像三维重建方法。
CN202110576074.XA 2021-05-26 2021-05-26 一种基于双向匹配的单目视觉图像三维重建方法及系统 Active CN113298934B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110576074.XA CN113298934B (zh) 2021-05-26 2021-05-26 一种基于双向匹配的单目视觉图像三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110576074.XA CN113298934B (zh) 2021-05-26 2021-05-26 一种基于双向匹配的单目视觉图像三维重建方法及系统

Publications (2)

Publication Number Publication Date
CN113298934A CN113298934A (zh) 2021-08-24
CN113298934B true CN113298934B (zh) 2022-07-08

Family

ID=77325005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110576074.XA Active CN113298934B (zh) 2021-05-26 2021-05-26 一种基于双向匹配的单目视觉图像三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN113298934B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332348B (zh) * 2021-11-16 2023-06-02 西南交通大学 一种融合激光雷达与图像数据的轨道三维重建方法
CN113963089B (zh) * 2021-12-23 2022-05-03 朗坤智慧科技股份有限公司 一种基于a*算法的三维空间疏散模拟方法
CN114170366B (zh) * 2022-02-08 2022-07-12 荣耀终端有限公司 基于点线特征融合的三维重建方法及电子设备
CN114998773B (zh) * 2022-08-08 2023-02-17 四川腾盾科技有限公司 适用于无人机系统航拍图像的特征误匹配剔除方法及系统
CN115115847B (zh) * 2022-08-31 2022-12-16 海纳云物联科技有限公司 三维稀疏重建方法、装置及电子装置
CN116452776B (zh) * 2023-06-19 2023-10-20 国网浙江省电力有限公司湖州供电公司 基于视觉同步定位与建图系统的低碳变电站场景重建方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354079A (zh) * 2020-03-11 2020-06-30 腾讯科技（深圳）有限公司 三维人脸重建网络训练及虚拟人脸形象生成方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9798327B2 (en) * 2016-01-08 2017-10-24 King Fahd University Of Petroleum And Minerals Apparatus and method for deploying sensors
US9898822B2 (en) * 2016-02-03 2018-02-20 Mitsubishi Electric Research Laboratories, Inc. Method and system for reconstructing scenes as 3D models from sequences of images using constraint satisfaction
CN106919941B (zh) * 2017-04-26 2018-10-09 华南理工大学 一种三维手指静脉识别方法及系统
CN109785429B (zh) * 2019-01-25 2020-08-21 北京极智无限科技有限公司 一种三维重建的方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354079A (zh) * 2020-03-11 2020-06-30 腾讯科技（深圳）有限公司 三维人脸重建网络训练及虚拟人脸形象生成方法和装置

Also Published As

Publication number Publication date
CN113298934A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN113298934B (zh) 一种基于双向匹配的单目视觉图像三维重建方法及系统
CN111815757B (zh) 基于图像序列的大型构件三维重建方法
JP6216508B2 (ja) ３ｄシーンにおける３ｄ物体の認識および姿勢決定のための方法
Wells III Statistical approaches to feature-based object recognition
CN110866953A (zh) 地图构建方法及装置、定位方法及装置
CN109272577B (zh) 一种基于Kinect的视觉SLAM方法
Yang et al. Stereo matching using epipolar distance transform
CN113674400A (zh) 基于重定位技术的光谱三维重建方法、系统及存储介质
Bhayani et al. Calibrated and partially calibrated semi-generalized homographies
Sun et al. Robust, efficient depth reconstruction with hierarchical confidence-based matching
CN110009683B (zh) 基于MaskRCNN的实时平面上物体检测方法
Noury et al. How to overcome perceptual aliasing in ASIFT?
Djordjevic et al. An accurate method for 3D object reconstruction from unordered sparse views
Lyra et al. Development of an efficient 3D reconstruction solution from permissive open-source code
Kim et al. Category-specific upright orientation estimation for 3D model classification and retrieval
Yao et al. Robust perspective invariant quasidense matching across large oblique images
Rothganger et al. 3D object modeling and recognition from photographs and image sequences
Huang Learning a 3D descriptor for cross-source point cloud registration from synthetic data
Weng et al. Research on 3D reconstruction method of cattle face based on image
CN113570667B (zh) 视觉惯导补偿方法、装置及存储介质
Witt Visual localization, mapping and reconstruction using edges
Nobar Precise Hand Finger Width Estimation via RGB-D Data
Xu Stereo Visual Odometry with Windowed Bundle Adjustment
Kabbour et al. Human ear surface reconstruction through morphable model deformation
Rolin et al. View synthesis for pose computation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231013

Address after: No. 1611, 1612, 1613, 1614, 16th Floor, Unit 4, Building 1, No. 99 Jiruisan Road, Chengdu High tech Zone, China (Sichuan) Pilot Free Trade Zone, Chengdu, Sichuan, 610096

Patentee after: Chengdu Qicheng Mingke Technology Co.,Ltd.

Address before: 400000 No.2 Chongwen Road, Nanshan street, Nan'an District, Chongqing

Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS