CN114758151B - 一种结合线特征与三角网约束的序列影像密集匹配方法 - Google Patents
一种结合线特征与三角网约束的序列影像密集匹配方法 Download PDFInfo
- Publication number
- CN114758151B CN114758151B CN202210274650.XA CN202210274650A CN114758151B CN 114758151 B CN114758151 B CN 114758151B CN 202210274650 A CN202210274650 A CN 202210274650A CN 114758151 B CN114758151 B CN 114758151B
- Authority
- CN
- China
- Prior art keywords
- matching
- point
- image
- triangle
- straight line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000005457 optimization Methods 0.000 claims abstract description 20
- 230000003287 optical effect Effects 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000011218 segmentation Effects 0.000 claims description 18
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010276 construction Methods 0.000 abstract description 2
- 230000001788 irregular Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种结合线特征与三角网约束的序列影像密集匹配方法,通过对序列影像中的初始立体像对进行三角网约束的准稠密匹配获得准稠密点,以此为基础采用KLT光流追踪算法对其他序列影像依次进行跟踪匹配,得到每张影像上的跟踪匹配点,采用BA优化算法对结果进行整体优化得到可靠的三维点云。在初始立体像对准稠密匹配过程中,通过采用匹配得到的线特征对同名点构建的Delaunay三角网进行优化,改善了地物边缘处三角网的构网效果,加强边缘纹理断裂处的匹配约束,在一定程度上改善了结果三维点云地物边缘处的不规则现象,提高边缘点云的重建效果。
Description
技术领域
本发明涉及近景摄影测量与计算机视觉技术领域,尤其涉及一种结合线特征与三角网约束的序列影像密集匹配方法。
背景技术
计算机视觉主要任务之一就是通过对采集的影像或视频进行处理以获得相应场景的三维信息。影像匹配作为其中一个关键技术,是实现二维图像恢复三维信息进而实现基于影像三维重建的基础。目前基于影像的三维模型获取主要来源于密集匹配点云数据,该模型基本上能较好的表达目标物轮廓信息,但放大后目标物边缘处细节问题突出,尤其对于建筑物等人工地物,边界会存在粘连、缺失、变形等问题。而物方场景中人工地物等目标物都蕴含着大量的直线特征,包含丰富的几何信息,能够较好地表达目标物的结构特征。如果能将地物的边缘特征线用于图像区域分割及约束后续密集匹配,定能起到较好的优化效果。
发明内容
针对现有技术的不足,本发明的目的是提供一种结合线特征与三角网约束的序列影像密集匹配方法,将点-线联合构建的三角网用于约束匹配,对现有密集匹配结果点云中建筑物等人工地物边缘处不规则现象在一定程度上进行改善,提高建筑物边缘的重建效果。
本发明提供一种结合线特征与三角网约束的序列影像密集匹配方法。
为实现上述目的,本发明提供的一种结合线特征与三角网约束的序列影像密集匹配方法,包括:
步骤1:输入序列影像I1,I2,...,In及相机的内参矩阵K;
步骤2:采用SIFT算法对两张影像I1和I2构成的立体像对进行匹配,其中I1为参考影像,I2为搜索影像,采用RANSAC算法对匹配结果进行检核,剔除错误匹配,获取初始可靠的稀疏匹配点集S;
步骤3:采用LSD算法对I1、I2两张影像进行特征直线段提取,采用线对特征约束的匹配方法对两影像上提取的直线段进行匹配,得到两影像上的同名直线段集合分别为M1、M2;
步骤4:根据匹配点集S,利用八点法计算基础矩阵F;
步骤5:以匹配点集S为基础数据,构建两张影像I1和I2上的同名Delaunay三角网;
步骤6:对初始同名直线进行筛选,得到集合和/>
步骤7:将直线段集合和/>中线段分别插入到影像I1和I2上的同名Delaunay三角网中,得到线特征优化后的三角网;
步骤8:以线特征优化后的三角网为基础数据,实现I1、I2两张影像的三角网约束迭代加密匹配,得到两影像上密集匹配点云集合S′;
步骤9:以S′为序列影像跟踪匹配的初始匹配基元,采用KLT光流追踪算法实现相邻影像跟踪匹配,得到每张影像上的匹配点,根据多视影像几何和BA优化算法得到序列影像匹配点对应的三维点云。
所述步骤6包括:
步骤6.1:根据匹配点集S,计算得到两影像仿射变换参数A;
步骤6.2:根据基础矩阵F,分别计算直线段集合M1中每条线段中点在影像I2上的核线,分别记为N为同名直线的数目,/>为集合M1中第i条直线的中点,得到集合L={l1,l2,…,lN};
步骤6.3;分别计算集合L中核线与影像I2上对应的同名直线的夹角θ={θ1,θ2,…,θN},如果θi>Tθ,Tθ为角度阈值,则将直线段mi放到集合中,否则,认为核线与对应的同名直线平行或近似平行,将直线段mi放到集合/>中,对应得到I2影像上两同名直线集合/>
步骤6.4:根据仿射变换参数A,计算集合中该直线端点在搜索影像上的投影点,计算投影点到对应核线的距离,如果小于给定阈值Td,则保留该组匹配直线,否则将删除,最终得到更新后的集合/>和集合/>
步骤6.5:通过上述筛选,最终保留两影像上用于约束后续加密匹配的同名直线集合,分别记为
所述步骤7包括:
步骤7.1:将集合中的直线段分段插入到已有的Delaunay三角网中,得到线段优化后的Delaunay三角网,记录每条线段上分段点坐标;
步骤7.2:以集合中每条直线段的分段点为基准,计算其在影像I2上的同名点;
步骤7.3:以影像I1上优化后的Delaunay三角网为基准,对应的得到影像I2上的同名三角网。
所述步骤7.1包括:
步骤7.1.1:选取集合中的第i条直线段mi,确定其经过三角网中的三角形,记录三角形索引得到集合Ri;
步骤7.1.2:计算线段mi与所经过三角形边的交点,将交点和线段mi两端点一起记为集合τi,交点将直线段分段,每一段作为三角形的一条边插入到三角网中;
步骤7.1.3:对于线段端点所在的三角形,将三角形顶点与线段端点相连构网,同时对集合Ri中三角形因线段插入产生的四边形进行三角划分;
步骤7.1.4:步骤7.1.1-步骤7.1.3过程中涉及到的三角网进行局部优化;
步骤7.1.5:对集合中的每条线段,都重复上述7.1.1-步骤7.1.4的处理,最终得到影像I1上线特征优化后的Delaunay三角网,同时得到分段点集合Γ={τi,i=1,2,…,U,U+1,...,V}。
所述步骤7.2包括:
步骤7.2.1:对于集合中的每一条线段mj,其端点和分段点集合为τj,j∈[1,U],跟据基础矩阵F,计算集合τj中的每个点在影像I2上的核线,计算核线与对应同名直线段m′j的交点,得到分段点对应的同名点集τ′j;
步骤7.2.2:对于集合中的每一条线段mr,其端点和分段点集合为τr,r∈[U+1,V],根据仿射变换参数A计算集合中每个点在搜索影像的投影点,过投影点做同名直线m′j的垂线,将垂足记为对应分段点的同名点,得到分段点对应的同名点集τ′r。
所述步骤8包括:
步骤8.1:统计同名点数目以及三角网中三角形的数目K,初始化h=1;
步骤8.2:判断h是否等于K,如果等于,转到步骤8.8,否则,选取参数影像I1上第h个三角形,计算其内切圆圆心Triη,将圆心Triη作为待匹配点;
步骤8.3:判断三角形面积是否大于给定的阈值TS,如果大于,转到步骤8.4,否则,令h=h+1,转到步骤8.2;
步骤8.4:根据基础矩阵F,计算待匹配点Triη在搜索影像上的核线将核线经过搜索影像I2上第h个三角形内切圆内的像素记为待匹配点的初始匹配候选点集δ0;
步骤8.5:分别计算待匹配点与初始匹配候选点集δ0中每个候选点的相似性系数ρ,保留ρ大于相似性系数阈值Tρ的候选点,得到匹配候选点集δ={p′j,j=1,2,...,n′},n′为点集中包含候选点的数目;
步骤8.6:判断n′>0,若满足,令h=h+1,转到步骤8.2,否则,转到步骤8.7;
步骤8.7:将核线与内切圆交点记为a、b,分别计算候选点集合中每个点到两交点a、b的距离差绝对值,记为如果满足min({D1,D2,…,Dn′})<TD,选择其中最小值对应的候选点记为Triη的匹配同名点,记为T′riη,如果上述条件不满足,则令h=h+1,转到步骤8.2;
步骤8.8:更新同名点,判断是否有新增的同名点,如果有,更新三角网,重复步骤8.1到步骤8.7,否则,转到步骤8.9;
步骤8.9:加密匹配迭代停止,得到最终密集点集S'。
所述步骤9包括:
步骤9.1:选取第一张影像I1的像空间坐标系为世界坐标系,计算影像I2相对于第一张影像的相机投影矩阵,利用三角测量原理计算两张影像上匹配点的三维坐标;
步骤9.2:令u=2;
步骤9.3:以影像Iu上的密集匹配点S′u为基础,采用KLT光流追踪算法对Iu+1影像进行追踪匹配,得到Iu、Iu+1影像对上跟踪匹配的同名点集S′u-(u+1);
步骤9.4:根据同名点解算得到相邻影像间相机投影矩阵,利用三角测量原理计算相邻两张影像上匹配点的三维坐标;
步骤9.5:令u=u+1,如果u=n,停止跟踪,转到步骤9.6,否则,转到步骤9.3;
步骤9.6:对上述结果进行整体BA优化,得到最终的三维点云。
采用上述技术方法所产生的有益效果在于:
本发明提供一种结合线特征与三角网约束的序列影像密集匹配方法,具有如下有益效果:
(1)本发明提供了一种结合线特征与三角网约束的序列影像密集匹配方法,为序列影像密集匹配提供了新的技术支持。在匹配点构建Delaunay三角网的基础上,利用匹配线对其进行优化,提高地物边缘处三角网的构网效果,对后续加密匹配起到较好的约束,增强了地物边缘点云的细节信息和边缘效果,具有一定的实用价值及普适性。
(2)本发明首先通过加密匹配算法得到初始两张影像上的密集匹配点,并以此为基础使用KLT光流追踪算法对序列影像中的其他相邻影像进行跟踪匹配,得的每张影像上的跟踪匹配点,进而得到相邻影像间投影对应关系及匹配点的三维信息。通过BA优化对序列影像及其匹配结果进行优化计算,确保最终三维点云的可靠性。
附图说明
图1为本发明具体实施方式中结合线特征与三角网约束的序列影像密集匹配方法流程图;
图2为本发明具体实施方式中在不同角度所拍摄待重建物体的序列影像;
图3为本发明具体实施方式中初始两张影像上的同名直线段,其中(a)为该立体像对中参考影像上匹配的直线段,(b)为搜索影像上匹配的直线段;
图4为本发明具体实施方式中利用初始可靠同名点构建的同名三角网,其中(a)为该立体像对中的参考影像,(b)为搜索影像;
图5为本发明具体实施方式中为直线穿过三角网中三角形;
图6为本发明具体实施方式中直线加入到三角网中;
图7为本发明具体实施方式中三角网局部优化结果;
图8为本发明具体实施方式中为线特征优化后的同名三角网,其中(a)为该立体像对中的参考影像,(b)为搜索影像;
图9为本发明具体实施方式中基于KLT光流追踪算法和BA优化算法示意图;
图10为本发明具体实施方式中生成的序列影像三维点云,其中(a)、(b)、(c)分别为不同视角显示的点云效果图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
一种结合线特征与三角网约束的序列影像密集匹配方法,如图1所示,包括:
步骤1:输入序列影像I1,I2,...,In及相机的内参矩阵K;
从https://www.maths.lth.se/.com网站提供的公开数据集中选取一组序列影像,如图2所示,该组序列影像由NIKON D60相机拍摄,共包含12张影像,影像大小均为1296*1936,其相机内参数矩阵为:
步骤2:采用尺度不变特征转换(简称SIFT)算法对两张影像I1和I2构成的立体像对进行匹配,其中I1为参考影像,I2为搜索影像,采用随机抽样一致算法(简称RANSAC)算法对匹配结果进行检核,剔除错误匹配,获取初始可靠的稀疏匹配点集S,包含初始同名点数目10551;
步骤3:采用直线段检测(简称LSD)算法对I1、I2两张影像进行特征直线段提取,采用线对特征约束的匹配方法对两影像上提取的直线段进行匹配,得到两影像上的同名直线段集合分别为M1、M2,同名直线数目为2132,匹配直线如图3所示;
步骤4:根据匹配点集S,利用八点法计算基础矩阵F;
根据对极几何原理可知,同名点与基础矩阵F满足关系,其中,基础矩阵F可表示为/>将初始可靠匹配点集S中的N对同名点分别代入到中,得到Af=0,其中:
f=[F11 F12 F13 F21 F22 F23 F31 F32 F33]T,
当N≥8时,可根据最小二乘原理直接求解基础矩阵F。
步骤5:以初始匹配点集S为基础数据,构建两张影像I1和I2上的同名Delaunay三角网,如图4所示;
步骤6:对初始同名直线进行筛选,得到集合和/>包括:
步骤6.1:根据匹配点集S,计算得到两影像仿射变换参数A;
步骤6.2:根据基础矩阵F,分别计算直线段集合M1中每条线段中点在影像I2上的核线,分别记为N为同名直线的数目,/>为集合M1中第i条直线的中点,得到集合L={l1,l2,…,lN};
步骤6.3;分别计算集合L中核线与影像I2上对应的同名直线的夹角θ={θ1,θ2,…,θN},如果θi>Tθ,Tθ为角度阈值,在本实施算例中设为5,则将直线段mi放到集合中,否则,认为核线与对应的同名直线平行或近似平行,将直线段mi放到集合/>中,对应得到I2影像上两同名直线集合/>该步骤将已有的同名直线分为两类;
步骤6.4:进一步对步骤6.3中的第二类同名直线进行筛选,根据仿射变换参数A,计算集合中该直线端点在搜索影像上的投影点,计算投影点到对应核线的距离,如果小于给定阈值Td,则保留该组匹配直线,否则将删除,最终得到更新后的集合/>和集合/>
步骤6.5:通过上述筛选,最终保留两影像上用于约束后续加密匹配的同名直线集合,分别记为集合中直线总数目为V,/>中包含直线段数目为U。
步骤7:将直线段集合和/>中线段分别插入到影像I1和I2上的同名Delaunay三角网中,得到线特征优化后的三角网;包括:
步骤7.1:以参考影像为基准,将集合中的直线段分段插入到已有的Delaunay三角网中,得到线段优化后的Delaunay三角网。记录每条线段上分段点坐标;包括:
步骤7.1.1:选取集合中的第i条直线段mi,确定其经过三角网中的三角形,如图5所示,记录三角形索引得到集合Ri;
步骤7.1.2:计算线段mi与所经过三角形边的交点,将交点和线段mi两端点一起记为集合τi,交点将直线段分段,每一段作为三角形的一条边插入到三角网中;
步骤7.1.3:对于线段端点所在的三角形,将三角形顶点与线段端点相连构网,同时对集合Ri中三角形因线段插入产生的四边形进行三角划分,如图6所示;
步骤7.1.4:根据Delaunay三角网局部优化算法LOP(Local OptimizationProcedure)对步骤7.1.1-步骤7.1.3过程中涉及到的三角网进行局部优化,如图7所示;
步骤7.1.5:对集合中的每条线段,都重复上述7.1.1-步骤7.1.4的处理,最终得到影像I1上线特征优化后的Delaunay三角网,如图8所示,同时得到分段点集合Γ={τi,i=1,2,...,U,U+1,...,V},其中{τ1,...,τU}为中直线段对应的分段点集,{τU+1,...,τV}为中直线段对应的分段点集;
步骤7.2:以集合中每条直线段的分段点为基准,计算其在影像I2上的同名点;包括:
步骤7.2.1:对于集合中的每一条线段mj,其端点和分段点集合为τj,j∈[1,U],据基础矩阵F,计算集合τj中的每个点在影像I2上的核线,计算核线与对应同名直线段m′j的交点,得到分段点对应的同名点集τ′j;
步骤7.2.2:对于集合中的每一条线段mr,其端点和分段点集合为τr,r∈[U+1,V],根据仿射变换参数A计算集合中每个点在搜索影像的投影点,过投影点做同名直线m′j的垂线,将垂足记为对应分段点的同名点,得到分段点对应的同名点集τ′r。
步骤7.3:以影像I1上优化后的Delaunay三角网为基准,对应的得到影像I2上的同名三角网;
步骤8:以线特征优化后的三角网为基础数据,实现I1、I2两张影像的三角网约束迭代加密匹配,得到两影像上密集匹配点云集合S′;包括:
步骤8.1:统计同名点数目以及三角网中三角形的数目K,初始化h=1;
步骤8.2:判断h是否等于K,如果等于,转到步骤8.8,否则,选取参数影像I1上第h个三角形,计算其内切圆圆心Triη,将圆心Triη作为待匹配点;
步骤8.3:判断三角形面积是否大于给定的阈值Ts=5,如果大于,转到步骤8.4,否则,令h=h+1,转到步骤8.2;
步骤8.4:根据基础矩阵F,计算待匹配点Triη在搜索影像上的核线将核线经过搜索影像I2上第h个三角形内切圆内的像素记为待匹配点的初始匹配候选点集δ0;
步骤8.5:分别计算待匹配点与初始匹配候选点集δ0中每个候选点的相似性系数ρ,保留ρ大于相似性系数阈值Tρ=0.75的候选点,得到匹配候选点集δ={p′j,j=1,2,...,n′},n′为点集中包含候选点的数目;
步骤8.6:判断n′>0,若满足,令h=h+1,转到步骤8.2,否则,转到步骤8.7;
步骤8.7:将核线与内切圆交点记为a、b,分别计算候选点集合中每个点到两交点a、b的距离差绝对值,记为如果满足min({D1,D2,…,Dn′})<TD,本实施例中设TD=1,选择其中最小值对应的候选点记为Triη的匹配同名点,记为T′riη,如果上述条件不满足,则令h=h+1,转到步骤8.2;
步骤8.8:更新同名点,判断是否有新增的同名点,如果有,更新三角网,重复步骤8.1到步骤8.7,否则,转到步骤8.9;
步骤8.9:加密匹配迭代停止,得到最终密集点集S′;
步骤9:以S'为序列影像跟踪匹配的初始匹配基元,采用KLT光流追踪算法实现相邻影像跟踪匹配,得到每张影像上的匹配点,并根据多视影像几何和BA优化算法计算得到序列影像匹配得到的三维点云,具体流程如图9所示;具体步骤如下:
步骤9.1:选取第一张影像I1的像空间坐标系为世界坐标系,计算影像I2相对于第一张影像的相机投影矩阵,利用三角测量原理计算两张影像上匹配点的三维坐标;
步骤9.2:令u=2;
步骤9.3:以影像Iu上的密集匹配点S′u为基础,采用KLT光流追踪算法对Iu+1影像进行追踪匹配,得到Iu、Iu+1影像对上跟踪匹配的同名点集S′u-(u+1);
步骤9.4:根据同名点解算得到相邻影像间相机投影矩阵,利用三角测量原理计算相邻两张影像上匹配点的三维坐标;
步骤9.5:令u=u+1,如果u=n,停止跟踪,转到步骤9.6,否则,转到步骤9.3;
步骤9.6:对上述结果进行整体BA优化(Bundle Adjustment,简称BA),得到最终的三维点云,如图10所示。
在本实施方式中,在使用SIFT匹配和RANSAC检核算法获取初始可靠匹配点的基础上,通过LSD算法对初始两张影像的线特征进行匹配,并将直线内插进入三角网后重新构造三角网,接着通过三角网约束迭代加密匹配在初始两影像上得到密集特征点,使得同名点数目从10511增加到477579。最后使用KLT光流追踪算法在后续影像上得到对应密集特征点。
Claims (4)
1.一种结合线特征与三角网约束的序列影像密集匹配方法,其特征在于,包括以下步骤:
步骤1:输入序列影像I1,I2,...,In及相机的内参矩阵K;
步骤2:采用SIFT算法对两张影像I1和I2构成的立体像对进行匹配,其中I1为参考影像,I2为搜索影像,采用RANSAC算法对匹配结果进行检核,剔除错误匹配,获取初始可靠的稀疏匹配点集S;
步骤3:采用LSD算法对I1、I2两张影像进行特征直线段提取,采用线对特征约束的匹配方法对两影像上提取的直线段进行匹配,得到两影像上的同名直线段集合分别为M1、M2;
步骤4:根据匹配点集S,利用八点法计算基础矩阵F;
步骤5:以匹配点集S为基础数据,构建两张影像I1和I2上的同名Delaunay三角网;
步骤6:对初始同名直线进行筛选,得到集合和/>
步骤7:将直线段集合和/>中线段分别插入到影像I1和I2上的同名Delaunay三角网中,得到线特征优化后的三角网;
步骤7.1:将集合中的直线段分段插入到已有的Delaunay三角网中,得到线段优化后的Delaunay三角网,记录每条线段上分段点坐标;
步骤7.1.1:选取集合中的第i条直线段mi,确定其经过三角网中的三角形,记录三角形索引得到集合Ri;
步骤7.1.2:计算线段mi与所经过三角形边的交点,将交点和线段mi两端点一起记为集合τi,交点将直线段分段,每一段作为三角形的一条边插入到三角网中;
步骤7.1.3:对于线段端点所在的三角形,将三角形顶点与线段端点相连构网,同时对集合Ri中三角形因线段插入产生的四边形进行三角划分;
步骤7.1.4:对步骤7.1.1-步骤7.1.3过程中涉及到的三角网进行局部优化;
步骤7.1.5:对集合中的每条线段,都重复上述7.1.1-步骤7.1.4的处理,最终得到影像I1上线特征优化后的Delaunay三角网,同时得到分段点集合Γ={τi,i=1,2,…,U,U+1,…,V};
步骤7.2:以集合中每条直线段的分段点为基准,计算其在影像I2上的同名点;
步骤7.2.1:对于集合中的每一条线段mj,其端点和分段点集合为τj,j∈[1,U],跟据基础矩阵F,计算集合τj中的每个点在影像I2上的核线,计算核线与对应同名直线段m′j的交点,得到分段点对应的同名点集τ′j;
步骤7.2.2:对于集合中的每一条线段mr,其端点和分段点集合为τr,r∈[U+1,V],根据仿射变换参数A计算集合中每个点在搜索影像的投影点,过投影点做同名直线m′j的垂线,将垂足记为对应分段点的同名点,得到分段点对应的同名点集τ′r;
步骤7.3:以影像I1上优化后的Delaunay三角网为基准,对应的得到影像I2上的同名三角网;
步骤8:以线特征优化后的三角网为基础数据,实现I1、I2两张影像的三角网约束迭代加密匹配,得到两影像上密集匹配点云集合S′;
步骤9:以S′为序列影像跟踪匹配的初始匹配基元,采用KLT光流追踪算法实现相邻影像跟踪匹配,得到每张影像上的匹配点,根据多视影像几何和BA优化算法得到序列影像匹配点对应的三维点云。
2.根据权利要求1所述的一种结合线特征与三角网约束的序列影像密集匹配方法,其特征在于,所述步骤6具体包括:
步骤6.1:根据匹配点集S,计算得到两影像仿射变换参数A;
步骤6.2:根据基础矩阵F,分别计算直线段集合M1中每条线段中点在影像I2上的核线,分别记为N为同名直线的数目,/>为集合M1中第i条直线的中点,得到集合L={l1,l2,…,lN};
步骤6.3;分别计算集合L中核线与影像I2上对应的同名直线的夹角θ={θ1,θ2,…,θN},如果θi>Tθ,Tθ为角度阈值,则将直线段mi放到集合中,否则,认为核线与对应的同名直线平行或近似平行,将直线段mi放到集合/>中,对应得到I2影像上两同名直线集合/>
步骤6.4:根据仿射变换参数A,计算集合中该直线端点在搜索影像上的投影点,计算投影点到对应核线的距离,如果小于给定阈值Td,则保留该组匹配直线,否则将删除,最终得到更新后的集合/>和集合/>
步骤6.5:经筛选后保留两影像上用于约束后续加密匹配的同名直线集合,分别记为
3.根据权利要求1所述的一种结合线特征与三角网约束的序列影像密集匹配方法,其特征在于,所述步骤8包括:
步骤8.1:统计同名点数目以及三角网中三角形的数目K,初始化h=1;
步骤8.2:判断h是否等于K,如果等于,转到步骤8.8,否则,选取参数影像I1上第h个三角形,计算其内切圆圆心Triη,将圆心Triη作为待匹配点;
步骤8.3:判断三角形面积是否大于给定的阈值TS,如果大于,转到步骤8.4,否则,令h=h+1,转到步骤8.2;
步骤8.4:根据基础矩阵F,计算待匹配点Triη在搜索影像上的核线将核线经过搜索影像I2上第h个三角形内切圆内的像素记为待匹配点的初始匹配候选点集δ0;
步骤8.5:分别计算待匹配点与初始匹配候选点集δ0中每个候选点的相似性系数ρ,保留ρ大于相似性系数阈值Tρ的候选点,得到匹配候选点集δ={p′j,j=1,2,...,n′},n′为点集中包含候选点的数目;
步骤8.6:判断n′>0,若满足,令h=h+1,转到步骤8.2,否则,转到步骤8.7;
步骤8.7:将核线与内切圆交点记为a、b,分别计算候选点集合中每个点到两交点a、b的距离差绝对值,记为如果满足min({D1,D2,…,Dn′})<TD,选择其中最小值对应的候选点记为Triη的匹配同名点,记为T′riη,如果上述条件不满足,则令h=h+1,转到步骤8.2;
步骤8.8:更新同名点,判断是否有新增的同名点,如果有,更新三角网,重复步骤8.1到步骤8.7,否则,转到步骤8.9;
步骤8.9:加密匹配迭代停止,得到最终密集点集S'。
4.根据权利要求1所述的一种结合线特征与三角网约束的序列影像密集匹配方法,其特征在于,所述步骤9包括:
步骤9.1:选取第一张影像I1的像空间坐标系为世界坐标系,计算影像I2相对于第一张影像的相机投影矩阵,利用三角测量原理计算两张影像上匹配点的三维坐标;
步骤9.2:令u=2;
步骤9.3:以影像Iu上的密集匹配点Su′为基础,采用KLT光流追踪算法对Iu+1影像进行追踪匹配,得到Iu、Iu+1影像对上跟踪匹配的同名点集Su′-(u+1);
步骤9.4:根据同名点解算得到相邻影像间相机投影矩阵,利用三角测量原理计算相邻两张影像上匹配点的三维坐标;
步骤9.5:令u=u+1,如果u=n,停止跟踪,转到步骤9.6,否则,转到步骤9.3;
步骤9.6:对上述结果进行整体BA优化,得到最终的三维点云。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210274650.XA CN114758151B (zh) | 2022-03-21 | 2022-03-21 | 一种结合线特征与三角网约束的序列影像密集匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210274650.XA CN114758151B (zh) | 2022-03-21 | 2022-03-21 | 一种结合线特征与三角网约束的序列影像密集匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114758151A CN114758151A (zh) | 2022-07-15 |
CN114758151B true CN114758151B (zh) | 2024-05-24 |
Family
ID=82326446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210274650.XA Active CN114758151B (zh) | 2022-03-21 | 2022-03-21 | 一种结合线特征与三角网约束的序列影像密集匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114758151B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104134203A (zh) * | 2014-07-07 | 2014-11-05 | 上海珞琪软件有限公司 | 一种近景摄影测量的快速密集匹配法 |
WO2017123387A1 (en) * | 2016-01-13 | 2017-07-20 | Jingyi Yu | Three-dimensional acquisition and rendering |
CN109816706A (zh) * | 2019-02-01 | 2019-05-28 | 辽宁工程技术大学 | 一种平滑约束与三角网等比例剖分像对稠密匹配方法 |
CN111724481A (zh) * | 2020-06-24 | 2020-09-29 | 嘉应学院 | 对二维图像进行三维重构的方法、装置、设备及存储介质 |
WO2020206903A1 (zh) * | 2019-04-08 | 2020-10-15 | 平安科技(深圳)有限公司 | 影像匹配方法、装置及计算机可读存储介质 |
CN112929626A (zh) * | 2021-02-02 | 2021-06-08 | 辽宁工程技术大学 | 一种基于智能手机影像的三维信息提取方法 |
-
2022
- 2022-03-21 CN CN202210274650.XA patent/CN114758151B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104134203A (zh) * | 2014-07-07 | 2014-11-05 | 上海珞琪软件有限公司 | 一种近景摄影测量的快速密集匹配法 |
WO2017123387A1 (en) * | 2016-01-13 | 2017-07-20 | Jingyi Yu | Three-dimensional acquisition and rendering |
CN109816706A (zh) * | 2019-02-01 | 2019-05-28 | 辽宁工程技术大学 | 一种平滑约束与三角网等比例剖分像对稠密匹配方法 |
WO2020206903A1 (zh) * | 2019-04-08 | 2020-10-15 | 平安科技(深圳)有限公司 | 影像匹配方法、装置及计算机可读存储介质 |
CN111724481A (zh) * | 2020-06-24 | 2020-09-29 | 嘉应学院 | 对二维图像进行三维重构的方法、装置、设备及存储介质 |
CN112929626A (zh) * | 2021-02-02 | 2021-06-08 | 辽宁工程技术大学 | 一种基于智能手机影像的三维信息提取方法 |
Non-Patent Citations (4)
Title |
---|
Hierarchical Point Matching Method Based on Triangulation Constraint and Propagation;Jingxue Wang;《ISPRS International Journal of Geo-Information》;20200531;全文 * |
三角网约束的立体影像密集匹配方法;王琦;宋伟东;王竞雪;;测绘与空间地理信息;20190525(第05期);全文 * |
结合线对几何特征及单线描述符约束的直线匹配算法;王竞雪;《武汉大学学报(信息科学版)》;20210929;全文 * |
迭代三角网约束的近景影像密集匹配;王竞雪;张晶;张雪;;信号处理;20180325(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114758151A (zh) | 2022-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111815757B (zh) | 基于图像序列的大型构件三维重建方法 | |
WO2024077812A1 (zh) | 基于点云语义分割与结构拟合的单体建筑三维重建方法 | |
Barazzetti et al. | Orientation and 3D modelling from markerless terrestrial images: combining accuracy with automation | |
Hirschmuller | Stereo processing by semiglobal matching and mutual information | |
Xu et al. | Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor | |
CN111652241B (zh) | 融合影像特征与密集匹配点云特征的建筑物轮廓提取方法 | |
CN113192200B (zh) | 一种基于空三并行计算算法的城市实景三维模型的构建方法 | |
CN113409332B (zh) | 一种基于三维点云的建筑物平面分割方法 | |
US20240087145A1 (en) | System and Method for Aerial to Ground Registration | |
Hofer et al. | Line-based 3D reconstruction of wiry objects | |
Zhou et al. | Three-dimensional (3D) reconstruction of structures and landscapes: a new point-and-line fusion method | |
CN114549956A (zh) | 一种深度学习辅助的倾斜模型建筑物外立面目标识别方法 | |
CN109785421B (zh) | 一种基于空地影像组合的纹理映射方法及系统 | |
CN114049466A (zh) | 重建物体表面的方法、装置及计算机存储介质 | |
CN111402429B (zh) | 一种尺度还原、三维重建方法、系统、存储介质及设备 | |
CN113345072A (zh) | 一种多视角遥感地形影像点云重建方法及系统 | |
CN114758151B (zh) | 一种结合线特征与三角网约束的序列影像密集匹配方法 | |
Abdel-Wahab et al. | Efficient reconstruction of large unordered image datasets for high accuracy photogrammetric applications | |
CN115965712A (zh) | 一种建筑物二维矢量图构建方法、系统、设备及存储介质 | |
Bulatov et al. | On Applications of Sequential Multi-view Dense Reconstruction from Aerial Images. | |
Li et al. | Lightweight 3D modeling of urban buildings from range data | |
CN111583331B (zh) | 用于同时定位和地图构建的方法及装置 | |
Pénard et al. | 3D building facade reconstruction under mesh form from multiple wide angle views | |
Li et al. | 3D line segment reconstruction in structured scenes via coplanar line segment clustering | |
Bauer et al. | MetropoGIS: A feature based city modeling system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |