CN112929626B - 一种基于智能手机影像的三维信息提取方法 - Google Patents

一种基于智能手机影像的三维信息提取方法 Download PDF

Info

Publication number
CN112929626B
CN112929626B CN202110142883.XA CN202110142883A CN112929626B CN 112929626 B CN112929626 B CN 112929626B CN 202110142883 A CN202110142883 A CN 202110142883A CN 112929626 B CN112929626 B CN 112929626B
Authority
CN
China
Prior art keywords
point
matching
points
matrix
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110142883.XA
Other languages
English (en)
Other versions
CN112929626A (zh
Inventor
王竞雪
郑雪涛
张宁
张鑫
高嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Technical University
Original Assignee
Liaoning Technical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Technical University filed Critical Liaoning Technical University
Priority to CN202110142883.XA priority Critical patent/CN112929626B/zh
Publication of CN112929626A publication Critical patent/CN112929626A/zh
Application granted granted Critical
Publication of CN112929626B publication Critical patent/CN112929626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于智能手机影像的三维信息提取方法，涉及近景摄影测量与计算机视觉技术领域。本发明通过对智能手机相机进行标定，获取相机的内参矩阵和畸变系数，利用畸变系数对立体像对进行校正；采用SIFT算法对校正后影像进行特征点提取及匹配，并利用RANSAC算法剔除误匹配点得到初始可靠匹配点；在此基础上，利用同名三角网约束区域增长迭代加密匹配，该过程大大增加已有稀疏点云的数目，获得稠密匹配点云，为三维模型重建提供丰富的点云信息，可以更好的描述地物细节信息，提高三维模型精度。

Description

一种基于智能手机影像的三维信息提取方法
技术领域
本发明涉及近景摄影测量与计算机视觉技术领域，尤其涉及一种基于智能手机影像的三维信息提取方法。
背景技术
基于影像的三维重建技术是指通过模拟人眼视觉功能，在两幅或者多幅具有重叠范围的影像中提取同名特征并计算其三维信息，进而实现基于数字影像的三维模型重建。目前摄影测量领域影像获取设备多为专业的量测相机，设备成本相对较高。随着智能手机在人们生活中的普及及应用，基于智能手机的三维模型重建将成为研究的热点之一。这一技术实现将有效提高基于影像建模的便捷性，同时大大降低了建模成本及复杂度。
影像匹配是基于影像三维重建的关键核心步骤，匹配结果的密集度及准确性直接决定重建模型的精度及视觉效果。现有基于影像三维重建过程中影像匹配多采用基于SIFT的稀疏匹配，所得点云数量较少，无法很好的描述重建物体的具体细节。
发明内容
针对现有技术的不足，本发明提供一种基于智能手机影像的三维信息提取方法。
为解决上述技术问题，本发明所采取的技术方案是：
一种基于智能手机影像的三维信息提取方法，包括如下步骤：
步骤1：采用张正友相机标定法对智能手机相机进行标定，获取相机的内参矩阵K和畸变系数distortion；
步骤2：采用标定后的相机对目标物体进行不同角度拍摄，获取影像I1和I2，构成一组立体像对；
步骤3：利用畸变系数distortion对影像I1和I2分别进行校正，得到校正后的影像I′1和I′2；
步骤4：采用SIFT算法对校正后的影像I′1和I′2进行特征点提取及匹配，获取初始稀疏匹配点集S0；
步骤5：采用RANSAC算法对初始匹配点进行检核，剔除误匹配点，获取初始匹配点集S；
步骤6：根据匹配点集S，利用8点法计算基础矩阵F；
步骤7：以匹配点集S为基础构建两影像上同名Delaunay三角网，实现三角网约束的迭代加密匹配，获取密集匹配点集
Figure GDA0003890300420000021
步骤7.1：根据同名三角网中的所有同名三角形，计算每一组同名对应边的长度比值，选取比值结果中出现频率最高的值作为立体像对的尺度变换率δ，并计算每一组同名对应边的角度差值，选取结果中出现频率最高的值作为立体像对的旋转角度θ；
步骤7.2：匹配过程中以I′1为参考影像，I′2为搜索影像，逐一遍历参考影像上每个三角形，进行加密匹配；
步骤7.2.1：初始化三角形个数i＝1；
步骤7.2.2：选取参数影像上第i个三角形，计算其内切圆圆心Triη，将圆心Triη作为待匹配点；
步骤7.2.3：判断内切圆半径是否大于给定的阈值TR，如果大于，转到步骤7.2.4，否则，令i＝i+1，转到步骤7.2.2；
步骤7.2.4：确定待匹配点Triη的匹配候选点集Γ；
步骤7.2.4.1：根据基础矩阵F，计算待匹配点在搜索影像上的核线l＝F-1Triη，将核线经过搜索影像上第i个三角形内切圆内的像素记为待匹配点的初始匹配候选点集Γ0；
步骤7.2.4.2：分别计算待匹配点与初始匹配候选点集Γ0中每个候选点的相似性系数ρ，保留ρ大于相似性系数阈值Tρ的候选点，得到匹配候选点集Γ＝{p′j,j＝1,2,…,n}，n为候选点集中包含候选点的数目；
步骤7.2.5：判断候选点集合是否为空，若是，令i＝i+1，转到步骤7.2.2，否则，转到步骤7.2.6；
步骤7.2.6：分别计算候选点集合中每个点到两交点a、b的距离差绝对值，记为
Figure GDA0003890300420000022
如果满足min({D1,D2,…,Dn})<TD，选择其中最小值对应的候选点记为Triη的匹配同名点，记为T′riη，转到步骤7.2.7，如果上述条件不满足，则令i＝i+1，转到步骤7.2.2；
步骤7.2.7：以Triη为种子点，利用灰度差值约束在圆心为Triη的内切圆内进行“十字型”区域增长，依次选择新增长的点作为待匹配点，进行步骤7.2.8到步骤7.2.9，确定其匹配同名点；
步骤7.2.7.1：以种子点为中心，分别沿水平向左、水平向右、垂直向上、垂直向下四个方向逐像素增长；计算待增长像素与种子点之间的灰度差绝对值，若该值小于给定的阈值Tg，则继续沿该方向向外增长，直到待增长像素与种子点之间的灰度差绝对值大于给定阈值Tg或增长至内切圆边界则停止增长，最终形成一个“十字型”区域；
步骤7.2.7.2：进一步以“十字型”区域较长区域的一方像素为种子点，进行二次增长，逐一选取其上每个像素点作为种子点，沿垂直于长区域方向向两侧增长，直到种子点与待增长像素之间的灰度差绝对值大于给定阈值或增长至内切圆边界则停止增长；
步骤7.2.8：确定待匹配点的匹配候选点集，其具体步骤同步骤7.2.4.1～步骤7.2.4.2；
步骤7.2.9：对上述候选点集不为空的待匹配点，利用几何约束，确定其最终匹配同名点；
步骤7.2.9.1：参考影像上，连接待匹配点与Triη，得到线段L，搜索影像上，对于匹配候选点集中每一个候选点，分别与T′riη进行连接，得到线段集Λ＝{L′j,j＝1,2,…,n′}，分别计算L与线段集Λ中每条线段之间的尺度变化率及旋转角度，分别记为集合△＝{δ′j,j＝1,2,…,n′}和∠＝{θ′j,j＝1,2,…,n′}；
步骤7.2.9.2：对应地计算上述二者与两影像之间的尺度变换率δ和旋转角度θ的差值，得到集合
Figure GDA0003890300420000031
和
Figure GDA0003890300420000032
选择
Figure GDA0003890300420000033
同时
Figure GDA0003890300420000034
对应的候选点记为待匹配点的匹配同名点；
步骤7.3：判断是否有新匹配点产生，如有，利用新的匹配点更新三角网，重复步骤7.2，迭代加密匹配，否则，迭代停止；
步骤8：以第一幅影像I1的相机坐标系作为世界坐标系，结合相机内参数矩阵K，计算I1和I2获取时，相机的投影矩阵P1和P2；
步骤8.1：对基础矩阵F进行修正，具体实现如下：对基础矩阵F进行奇异值分解(即SVD分解)，得到F＝UDVT，其中对角矩阵D＝diag(d1,d2,d3)，且d1>d2>d3，根据基础矩阵秩为2的约束，令d3＝0，则得修正后的基础矩阵为F′＝Udiag(d1,d2,0)VT；
步骤8.2：根据修正后的基础矩阵F′及相机内参数矩阵K计算本质矩阵E＝KTF′K；
步骤8.3：对本质矩阵进行奇异值分解有E＝U′D′V′T，得到对角阵D′＝diag(d′1,d′2,d′3)，定义ξ＝(d′1+d′2)/2，则修正后的本质矩阵为E′＝U′diag(ξ,ξ,0)V′T；
步骤8.4：对修正后的本质矩阵E′进行奇异值分解有
Figure GDA0003890300420000041
令
Figure GDA0003890300420000042
得相机运动参数旋转矩阵R的候选值为
Figure GDA0003890300420000043
或
Figure GDA0003890300420000044
平移向量t候选者为u3和-u3，其中u3是矩阵
Figure GDA0003890300420000045
的最后一列；
步骤8.5：得到两影像对应的投影矩阵分别为：P1＝K[I|0]和P2＝K[R|t]，其中I为3*3的单位矩阵；
步骤9：利用三角测量方法计算匹配点集
Figure GDA0003890300420000046
中每对同名点的三维坐标，得到三维点云集C，并对点云进行颜色信息赋值，实现智能手机影像的三维信息提取；
步骤9.1：根据相机针孔模型知，三维空间点
Figure GDA0003890300420000047
和二维成像点
Figure GDA0003890300420000048
之间存在如下关系：
Figure GDA0003890300420000049
s为未知非零常数因子，对匹配点集中任一对同名点，根据该式得；
Figure GDA00038903004200000410
式中P1i和P2i(i＝1,2,3)分别是P1、P2的3个行向量，(u1,v1,1)、(u2,v2,1)分别是两幅图像上的同名点坐标，其对应的空间三维点坐标为
Figure GDA00038903004200000411
利用最小二乘法求解出
Figure GDA00038903004200000412
的值；
步骤9.2：对密集匹配点集中任一对同名点，通过步骤9.1计算，均求得其对应的三维空间点，并对其进行颜色信息赋值，最终得到稠密三维点云。
采用上述技术方法所产生的有益效果在于：
本发明提供一种基于智能手机影像的三维信息提取方法，具有如下有益效果：
(1)本发明的一种基于智能手机影像的三维信息提取方法为基于智能手机的三维建模提供基础的技术支持，有望成为小范围或者小物件三维建模数据获取的主要途径之一。利用普通手机代替专业量测相机实现基于影像的三维重建，降低建模的复杂度，提高了建模的便捷性及时效性，具有一定的实用价值及适普性。
(2)本发明在初始SIFT匹配获得稀疏同名点的基础上，进一步利用同名三角网约束区域增长迭代加密匹配，该过程大大增加已有稀疏点云的数目，获得稠密匹配点云，为三维模型重建提供丰富的点云信息，可以更好的描述地物细节信息，提高三维模型精度。
附图说明
图1为本发明具体实施方式中基于智能手机影像的三维信息提取方法流程图；
图2为本发明具体实施方式中相机标定过程中获取的棋盘格影像；
图3为本发明具体实施方式中在不同角度所拍摄待重建物体的立体像对；
图4为本发明具体实施方式中利用畸变系数对图3影像进行校正后的立体像对；
图5为本发明具体实施方式中利用初始可靠同名点构建的同名三角网；
图6为本发明具体实施方式中匹配三角形之间的核线约束示意图；
图7为本发明具体实施方式中基于种子点的十字臂区域增长示意图；
图8为本发明具体实施方式中加密匹配后得到的同名点；
图9为本发明具体实施方式中基于匹配同名点计算得到的三维点云。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
一种基于智能手机影像的三维信息提取方法，如图1所示，包括如下步骤：
步骤1：采用张正友相机标定法对智能手机相机进行标定，获取相机的内参矩阵K和畸变系数distortion；
本实施例中采用智能手机从不同角度对固定在墙上的黑白棋盘格进行拍照，棋盘格大小为4.5cm，得到棋盘格影像如图2所示。采用Matlab工具箱对相机进行标定，得到相机参数内参矩阵K和畸变系数distortion分别为：
Figure GDA0003890300420000051
distortion＝[0.09946519 -0.17719102 0 0]。
步骤2：采用标定后的相机对目标物体进行不同角度拍摄，获取影像I1和I2，构成一组立体像对，如图3所示。拍照过程中应满足如下要求：两照片夹角小于30°，确保两影像重叠度大于80％；
步骤3：利用畸变系数distortion对影像I1和I2分别进行校正，得到校正后的影像I′1和I′2，如图4所示；
步骤4：采用SIFT算法对校正后的影像I′1和I′2进行特征点提取及匹配，获取初始稀疏匹配点集S0；S0＝{(Si,S′i),i＝1,2,...,M}，其中Si＝(ui,vi,1)和S′i＝(u′i,v′i,1)分别为左右影像上同名点坐标，M为初始匹配点集中同名点的数目；
步骤5：采用RANSAC算法对初始匹配点进行检核，剔除误匹配点，获取初始匹配点集S；S＝{(Si,S′i),i＝1,2,...,N}，其中N为剔除错误匹配点后可靠匹配点集中包含同名点的数目N≤M，在本例中N＝1200；
步骤6：根据匹配点集S，利用8点法计算基础矩阵F；
根据对极几何原理可知，同名点与基础矩阵F满足
Figure GDA0003890300420000061
关系，其中基础矩阵F可表示为
Figure GDA0003890300420000062
将初始可靠匹配点集S中的N对同名点分别代入到
Figure GDA0003890300420000063
中，得到Af＝0，其中：
Figure GDA0003890300420000064
f＝[F11 F12 F13 F21 F22 F23 F31 F32 F33]T，
当N≥8时，可根据最小二乘原理直接求解基础矩阵F。
步骤7：以匹配点集S为基础构建两影像上同名Delaunay三角网，如图5所示，实现三角网约束的迭代加密匹配，获取密集匹配点集
Figure GDA0003890300420000065
步骤7.1：根据同名三角网中的所有同名三角形，计算每一组同名对应边的长度比值，选取比值结果中出现频率最高的值作为立体像对的尺度变换率δ，并计算每一组同名对应边的角度差值，选取结果中出现频率最高的值作为立体像对的旋转角度θ；
假定两影像上同名三角形分别表示为：
Figure GDA0003890300420000066
其中m为三角网中包含三角形的数目，
Figure GDA0003890300420000067
表述第k个三角形第r个顶点；
则
Figure GDA0003890300420000068
Figure GDA0003890300420000069
其中mode(·)表示求众数的函数；
步骤7.2：匹配过程中以I′1为参考影像，I′2为搜索影像，逐一遍历参考影像上每个三角形，进行加密匹配；
步骤7.2.1：初始化三角形个数i＝1；
步骤7.2.2：选取参数影像上第i个三角形，计算其内切圆圆心Triη(即三角形内心)，将圆心Triη作为待匹配点；
步骤7.2.3：判断内切圆半径是否大于给定的阈值TR，如果大于，转到步骤7.2.4，否则，令i＝i+1，转到步骤7.2.2；
步骤7.2.4：确定待匹配点Triη的匹配候选点集Γ；
步骤7.2.4.1：根据基础矩阵F，计算待匹配点在搜索影像上的核线l＝F-1Triη，将核线经过搜索影像上第i个三角形内切圆内的像素记为待匹配点的初始匹配候选点集Γ0；如图6所示，核线与内切圆交点为a、b，线段Lab所经过的像素即为初始匹配候选点；
步骤7.2.4.2：分别计算待匹配点与初始匹配候选点集Γ0中每个候选点的相似性系数ρ，保留ρ大于相似性系数阈值Tρ的候选点，得到匹配候选点集Γ＝{p′j,j＝1,2,…,n}，n为候选点集中包含候选点的数目；
步骤7.2.5：判断候选点集合是否为空，若是，令i＝i+1，转到步骤7.2.2，否则，转到步骤7.2.6；
步骤7.2.6：分别计算候选点集合中每个点到两交点a、b的距离差绝对值，记为
Figure GDA0003890300420000071
如果满足min({D1,D2,…,Dn})<TD，TD＝1，选择其中最小值对应的候选点记为Triη的匹配同名点，记为T′riη，转到步骤7.2.7，如果上述条件不满足，则令i＝i+1，转到步骤7.2.2；
步骤7.2.7：以Triη为种子点，利用灰度差值约束在圆心为Triη的内切圆内进行“十字型”区域增长，依次选择新增长的点作为待匹配点，进行步骤7.2.8到步骤7.2.9，确定其匹配同名点；
步骤7.2.7.1：以种子点为中心，分别沿水平向左、水平向右、垂直向上、垂直向下四个方向逐像素增长；计算待增长像素与种子点之间的灰度差绝对值，若该值小于给定的阈值Tg＝15，则继续沿该方向向外增长，直到待增长像素与种子点之间的灰度差绝对值大于给定阈值Tg或增长至内切圆边界则停止增长，最终形成一个“十字型”区域；
步骤7.2.7.2：进一步以“十字型”区域较长区域的一方像素为种子点，如图7，“十字型”区域垂直方向像素数目大于水平方向，因此分别选择“十字型”区域垂直方向像素作为新的种子点进行二次增长，该过程沿种子点向水平方向两侧增长，直到种子点与待增长像素之间的灰度差绝对值大于给定阈值Tg或增长至内切圆边界则停止增长；
步骤7.2.8：确定待匹配点的匹配候选点集，其具体步骤同步骤7.2.4.1～步骤7.2.4.2；
步骤7.2.9：对上述候选点集不为空的待匹配点，利用几何约束，确定其最终匹配同名点；
步骤7.2.9.1：参考影像上，连接待匹配点与Triη，得到线段L，搜索影像上，对于匹配候选点集中每一个候选点，分别与T′riη进行连接，假定候选点集中包含候选点的数目为n′，得到线段集Λ＝{L′j,j＝1,2,…,n′}，分别计算L与线段集Λ中每条线段之间的尺度变化率及旋转角度，分别记为集合△＝{δ′j,j＝1,2,…,n′}和∠＝{θ′j,j＝1,2,…,n′}；
步骤7.2.9.2：对应地计算上述二者与两影像之间的尺度变换率δ和旋转角度θ的差值，得到集合
Figure GDA0003890300420000081
和
Figure GDA0003890300420000082
选择
Figure GDA0003890300420000083
同时
Figure GDA0003890300420000084
对应的候选点记为待匹配点的匹配同名点。
本实施例中Tδ＝3、Tθ＝3°。
步骤7.3：判断上述步骤是否有新匹配点产生，如有，利用新的匹配点更新三角网，重复步骤7.2，迭代加密匹配，否则，迭代停止得到密集匹配点集
Figure GDA0003890300420000085
本例中密集同名点数目为938464，如图8所示；
步骤8：以第一幅影像I1的相机坐标系作为世界坐标系，结合相机内参数矩阵K，计算I1和I2获取时，相机的投影矩阵P1和P2；
步骤8.1：对基础矩阵F进行修正，具体实现如下：对基础矩阵F进行奇异值分解(即SVD分解)，得到F＝UDVT，其中对角矩阵D＝diag(d1,d2,d3)，且d1>d2>d3，根据基础矩阵秩为2的约束，令d3＝0，则得修正后的基础矩阵为F′＝Udiag(d1,d2,0)VT；
步骤8.2：根据修正后的基础矩阵F′及相机内参数矩阵K计算本质矩阵E＝KTF′K；
步骤8.3：对本质矩阵进行奇异值分解有E＝U′D′V′T，得到对角阵D′＝diag(d′1,d′2,d′3)，定义ξ＝(d′1+d′2)/2，则修正后的本质矩阵为E′＝U′diag(ξ,ξ,0)V′T；
步骤8.4：对修正后的本质矩阵E′进行奇异值分解有
Figure GDA0003890300420000091
令
Figure GDA0003890300420000092
得相机运动参数旋转矩阵R的候选值为
Figure GDA0003890300420000093
或
Figure GDA0003890300420000094
平移向量t候选者为u3和-u3，其中u3是矩阵
Figure GDA0003890300420000095
的最后一列；因此I2的投影矩阵P2有四种情况：
Figure GDA0003890300420000096
步骤8.5：得到两影像对应的投影矩阵分别为：P1＝K[I|0]和P2＝K[R|t]，其中I为3*3的单位矩阵；针对本实例中选择的实验影像，其P1和P2分别为：
Figure GDA0003890300420000097
Figure GDA0003890300420000098
计算过程中分别选择满足物方点三维坐标Z值全部为正数的R和t。
步骤9：利用三角测量方法计算匹配点集
Figure GDA0003890300420000099
中每对同名点的三维坐标，得到三维点云集C，并对点云进行颜色信息赋值，实现智能手机影像的三维信息提取；
步骤9.1：根据相机针孔模型得，三维空间点
Figure GDA00038903004200000910
和二维成像点
Figure GDA00038903004200000911
之间存在如下关系：
Figure GDA00038903004200000912
s为未知非零常数因子，对匹配点集中任一对同名点，根据该式得；
Figure GDA00038903004200000913
式中P1i和P2i(i＝1,2,3)分别是P1、P2的3个行向量，(u1,v1,1)、(u2,v2,1)分别是两幅图像上的同名点坐标，其对应的空间三维点坐标为
Figure GDA00038903004200000914
利用最小二乘法求解出
Figure GDA00038903004200000915
的值；
步骤9.2：对密集匹配点集中任一对同名点，通过步骤9.1计算，均可求出其对应的三维空间点，并对其进行颜色信息赋值，得到稠密三维点云。
在本实施方式中，在结合SIFT匹配和RANSAC检核算法获取初始可靠匹配点的基础上，通过三角网约束迭代加密匹配，使得同名点数目从1200增加到938464，得到最终稠密三维点云如图9所示。

Claims (4)

1.一种基于智能手机影像的三维信息提取方法，其特征在于，包括以下步骤：
步骤1：采用张正友相机标定法对智能手机相机进行标定，获取相机的内参矩阵K和畸变系数distortion；
步骤2：采用标定后的相机对目标物体进行不同角度拍摄，获取影像I1和I2，构成一组立体像对；
步骤3：利用畸变系数distortion对影像I1和I2分别进行校正，得到校正后的影像I′1和I′2；
步骤4：采用SIFT算法对校正后的影像I′1和I′2进行特征点提取及匹配，获取初始稀疏匹配点集S0；
步骤5：采用RANSAC算法对初始匹配点进行检核，剔除误匹配点，获取初始匹配点集S；
步骤6：根据匹配点集S，利用8点法计算基础矩阵F；
步骤7：以匹配点集S为基础构建两影像上同名Delaunay三角网，实现三角网约束的迭代加密匹配，获取密集匹配点集
Figure FDA0003890300410000011
步骤7.1：根据同名三角网中的所有同名三角形，计算每一组同名对应边的长度比值，选取比值结果中出现频率最高的值作为立体像对的尺度变换率δ，并计算每一组同名对应边的角度差值，选取结果中出现频率最高的值作为立体像对的旋转角度θ；
步骤7.2：匹配过程中以I′1为参考影像，I′2为搜索影像，逐一遍历参考影像上每个三角形，进行加密匹配；
步骤7.3：判断是否有新匹配点产生，如有，利用新的匹配点更新三角网，重复步骤7.2，迭代加密匹配，否则，迭代停止；
步骤8：以第一幅影像I1的相机坐标系作为世界坐标系，结合相机内参数矩阵K，计算I1和I2获取时，相机的投影矩阵P1和P2；
步骤8.1：对基础矩阵F进行修正，具体实现如下：对基础矩阵F进行奇异值分解，即SVD分解，得到F＝UDVT，其中对角矩阵D＝diag(d1,d2,d3)，且d1>d2>d3，根据基础矩阵秩为2的约束，令d3＝0，则得修正后的基础矩阵为F′＝Udiag(d1,d2,0)VT；
步骤8.2：根据修正后的基础矩阵F′及相机内参数矩阵K计算本质矩阵E＝KTF′K；
步骤8.3：对本质矩阵进行奇异值分解有E＝U′D′V′T，得到对角阵D′＝diag(d′1,d′2,d′3)，定义ξ＝(d′1+d′2)/2，则修正后的本质矩阵为E′＝U′diag(ξ,ξ,0)V′T；
步骤8.4：对修正后的本质矩阵E′进行奇异值分解有
Figure FDA0003890300410000021
令
Figure FDA0003890300410000022
得相机运动参数旋转矩阵R的候选值为
Figure FDA0003890300410000023
或
Figure FDA0003890300410000024
平移向量t候选者为u3和-u3，其中u3是矩阵
Figure FDA0003890300410000025
的最后一列；
步骤8.5：得到两影像对应的投影矩阵分别为：P1＝K[I|0]和P2＝K[R|t]，其中I为3*3的单位矩阵；
步骤9：利用三角测量方法计算匹配点集
Figure FDA0003890300410000026
中每对同名点的三维坐标，得到三维点云集C，并对点云进行颜色信息赋值，实现智能手机影像的三维信息提取；
步骤9.1：根据相机针孔模型得，三维空间点
Figure FDA0003890300410000027
和二维成像点
Figure FDA0003890300410000028
之间存在如下关系：
Figure FDA0003890300410000029
s为未知非零常数因子，对匹配点集中任一对同名点，根据该式得；
Figure FDA00038903004100000210
式中P1i和P2i，i＝1,2,3，分别是P1、P2的3个行向量，(u1,v1,1)、(u2,v2,1)分别是两幅图像上的同名点坐标，其对应的空间三维点坐标为
Figure FDA00038903004100000211
利用最小二乘法求解出
Figure FDA00038903004100000212
的值；
步骤9.2：对密集匹配点集中任一对同名点，通过步骤9.1计算，均可求出其对应的三维空间点，并对其进行颜色信息赋值，最终得到稠密三维点云。
2.根据权利要求1所述的一种基于智能手机影像的三维信息提取方法，其特征在于，所述步骤7.2具体包括：
步骤7.2.1：初始化三角形个数i＝1；
步骤7.2.2：选取参数影像上第i个三角形，计算其内切圆圆心Triη，将圆心Triη作为待匹配点；
步骤7.2.3：判断内切圆半径是否大于给定的阈值TR，如果大于，转到步骤7.2.4，否则，令i＝i+1，转到步骤7.2.2；
步骤7.2.4：确定待匹配点Triη的匹配候选点集Γ；
步骤7.2.4.1：根据基础矩阵F，计算待匹配点在搜索影像上的核线l＝F-1Triη，将核线经过搜索影像上第i个三角形内切圆内的像素记为待匹配点的初始匹配候选点集Γ0；
步骤7.2.4.2：分别计算待匹配点与初始匹配候选点集Γ0中每个候选点的相似性系数ρ，保留ρ大于相似性系数阈值Tρ的候选点，得到匹配候选点集Γ＝{p′j,j＝1,2,…,n}，n为候选点集中包含候选点的数目；
步骤7.2.5：判断候选点集合是否为空，若是，令i＝i+1，转到步骤7.2.2，否则，转到步骤7.2.6；
步骤7.2.6：分别计算候选点集合中每个点到两交点a、b的距离差绝对值，记为
Figure FDA0003890300410000031
如果满足min({D1,D2,…,Dn})<TD，选择其中最小值对应的候选点记为Triη的匹配同名点，记为Tr′iη，转到步骤7.2.7，如果上述条件不满足，则令i＝i+1，转到步骤7.2.2；
步骤7.2.7：以Triη为种子点，利用灰度差值约束在圆心为Triη的内切圆内进行“十字型”区域增长，依次选择新增长的点作为待匹配点，进行步骤7.2.8到步骤7.2.9，确定其匹配同名点；
步骤7.2.8：确定待匹配点的匹配候选点集，其具体步骤同步骤7.2.4.1～步骤7.2.4.2；
步骤7.2.9：对上述候选点集不为空的待匹配点，利用几何约束，确定其最终匹配同名点。
3.根据权利要求2所述的一种基于智能手机影像的三维信息提取方法，其特征在于，所述步骤7.2.7具体包括：
步骤7.2.7.1：以种子点为中心，分别沿水平向左、水平向右、垂直向上、垂直向下四个方向逐像素增长；计算待增长像素与种子点之间的灰度差绝对值，若该值小于给定的阈值Tg，则继续沿该方向向外增长，直到待增长像素与种子点之间的灰度差绝对值大于给定阈值Tg或增长至内切圆边界则停止增长，最终形成一个“十字型”区域；
步骤7.2.7.2：进一步以“十字型”区域较长区域的一方像素为种子点，进行二次增长，逐一选取其上每个像素点作为种子点，沿垂直于长区域方向向两侧增长，直到种子点与待增长像素之间的灰度差绝对值大于给定阈值或增长至内切圆边界则停止增长。
4.根据权利要求2所述的一种基于智能手机影像的三维信息提取方法，其特征在于，所述步骤7.2.9具体包括：
步骤7.2.9.1：参考影像上，连接待匹配点与Triη，得到线段L，搜索影像上，对于匹配候选点集中每一个候选点，分别与T′riη进行连接，得到线段集Λ＝{L′j,j＝1,2,…,n′}，分别计算L与线段集Λ中每条线段之间的尺度变化率及旋转角度，分别记为集合△＝{δ′j,j＝1,2,…,n′}和∠＝{θ′j,j＝1,2,…,n′}；
步骤7.2.9.2：对应地计算上述二者与两影像之间的尺度变换率δ和旋转角度θ的差值，得到集合
Figure FDA0003890300410000041
和
Figure FDA0003890300410000042
选择
Figure FDA0003890300410000043
同时
Figure FDA0003890300410000044
对应的候选点记为待匹配点的匹配同名点。
CN202110142883.XA 2021-02-02 2021-02-02 一种基于智能手机影像的三维信息提取方法 Active CN112929626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110142883.XA CN112929626B (zh) 2021-02-02 2021-02-02 一种基于智能手机影像的三维信息提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110142883.XA CN112929626B (zh) 2021-02-02 2021-02-02 一种基于智能手机影像的三维信息提取方法

Publications (2)

Publication Number Publication Date
CN112929626A CN112929626A (zh) 2021-06-08
CN112929626B true CN112929626B (zh) 2023-02-14

Family

ID=76169573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110142883.XA Active CN112929626B (zh) 2021-02-02 2021-02-02 一种基于智能手机影像的三维信息提取方法

Country Status (1)

Country Link
CN (1) CN112929626B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688917B (zh) * 2021-08-30 2022-11-18 东南大学 一种基于dem约束的双目视频图像匹配方法
CN114913246B (zh) * 2022-07-15 2022-11-01 齐鲁空天信息研究院 相机标定方法、装置、电子设备及存储介质
CN115359193B (zh) * 2022-10-19 2023-01-31 南京航空航天大学 一种基于双目鱼眼相机的快速半稠密三维重建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767440A (zh) * 2017-09-06 2018-03-06 北京建筑大学 基于三角网内插及约束的文物序列影像精细三维重建方法
CN109685886A (zh) * 2018-11-19 2019-04-26 国网浙江杭州市富阳区供电有限公司 一种基于混合现实技术的配网三维场景建模方法
CN110910431A (zh) * 2019-10-15 2020-03-24 西安理工大学 一种基于单目相机多视点三维点集恢复方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208009A1 (en) * 2010-10-01 2013-08-15 Saab Ab Method and apparatus for optimization and incremental improvement of a fundamental matrix

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767440A (zh) * 2017-09-06 2018-03-06 北京建筑大学 基于三角网内插及约束的文物序列影像精细三维重建方法
CN109685886A (zh) * 2018-11-19 2019-04-26 国网浙江杭州市富阳区供电有限公司 一种基于混合现实技术的配网三维场景建模方法
CN110910431A (zh) * 2019-10-15 2020-03-24 西安理工大学 一种基于单目相机多视点三维点集恢复方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于智能手机立体影像的稠密三维重建;张宁等;《遥感信息》;20200430;第35卷(第02期);78-93 *
迭代三角网约束的近景影像密集匹配;王竞雪等;《信号处理》;20180331;第34卷(第03期);347-356 *

Also Published As

Publication number Publication date
CN112929626A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN112929626B (zh) 一种基于智能手机影像的三维信息提取方法
CN108648240B (zh) 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN107833181B (zh) 一种基于变焦立体视觉的三维全景图像生成方法
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN111784778B (zh) 基于线性求解非线性优化的双目相机外参标定方法和系统
CN109754459B (zh) 一种用于构建人体三维模型的方法及系统
CN110189400B (zh) 一种三维重建方法、三维重建系统、移动终端及存储装置
CN111553939B (zh) 一种多目摄像机的图像配准算法
CN110443879B (zh) 一种基于神经网络的透视误差补偿方法
CN109376641B (zh) 一种基于无人机航拍视频的运动车辆检测方法
CN107945217B (zh) 一种适用于自动装配的图像特征点对快速筛选方法及系统
CN111028281B (zh) 基于光场双目系统的深度信息计算方法及装置
CN113298947B (zh) 一种基于多源数据融合的变电站三维建模方法介质及系统
CN113920205B (zh) 一种非同轴相机的标定方法
CN112946679B (zh) 一种基于人工智能的无人机测绘果冻效应检测方法及系统
CN115861546B (zh) 一种基于神经体渲染的作物几何感知与三维表型重建方法
CN112243518A (zh) 获取深度图的方法、装置及计算机存储介质
CN116778288A (zh) 一种多模态融合目标检测系统及方法
CN113177592A (zh) 一种图像分割方法、装置、计算机设备及存储介质
CN112017259B (zh) 一种基于深度相机与热像仪的室内定位与建图方法
CN117115359B (zh) 一种基于深度图融合的多视图电网三维空间数据重建方法
CN116740288B (zh) 一种融合激光雷达、倾斜摄影的三维重建方法
CN116681844A (zh) 一种基于亚米级立体像对卫星影像的建筑物白膜构建方法
CN112819900B (zh) 一种智能立体摄影内方位、相对定向和畸变系数标定方法
CN113029108B (zh) 一种基于序列海面影像的自动化相对定向方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant