CN111126418A - 一种基于平面透视投影的倾斜影像匹配方法 - Google Patents

一种基于平面透视投影的倾斜影像匹配方法 Download PDF

Info

Publication number
CN111126418A
CN111126418A CN201811274974.3A CN201811274974A CN111126418A CN 111126418 A CN111126418 A CN 111126418A CN 201811274974 A CN201811274974 A CN 201811274974A CN 111126418 A CN111126418 A CN 111126418A
Authority
CN
China
Prior art keywords
image
matching
target image
perspective projection
oblique
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811274974.3A
Other languages
English (en)
Inventor
李治远
吴子敬
胡俊
豆虎林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Institute of Oceanography SOA
Original Assignee
First Institute of Oceanography SOA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Institute of Oceanography SOA filed Critical First Institute of Oceanography SOA
Priority to CN201811274974.3A priority Critical patent/CN111126418A/zh
Publication of CN111126418A publication Critical patent/CN111126418A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于平面透视投影的倾斜影像匹配方法,属于倾斜影像匹配技术领域。本发明包括以下步骤:首先利用倾斜影像的外方位元素和内方位元素,将倾斜影像通过透视投影到测区内的平均高程面上,获得近似的正射影像;然后利用SIFT算法对近似正射影像进行匹配,并对匹配结果进行基于基础矩阵和单应矩阵双重约束的粗差剔除;最后将获得的匹配点通过逆透视变换至原始影像上,获得原始影像的匹配结果。本发明相对于其他的匹配方法,能够有效地提高倾斜影像匹配速度、准确率以及匹配点对数。

Description

一种基于平面透视投影的倾斜影像匹配方法
技术领域
本发明涉及倾斜影像匹配技术领域,具体地说是一种基于平面透视投影的倾斜影像匹配方法。
背景技术
相对于传统的航空摄影测量,倾斜摄影测量能够实现建筑物的正直影像和其立面纹理的倾斜影像相结合,大大减少了建筑物侧面纹理信息的采集工作,提高了三维建模效率。然而由于倾斜摄影独特的拍摄方式,使得倾斜影像存在几何变形大,色差大,遮挡严重,数据海量等特点,这给倾斜影像匹配带来了巨大的困难。
目前,针对倾斜影像匹配并不存在一种普遍适用的匹配方法。Harris-Affine、Hessian–Affine、MSER、IBR、EBR、Salient等是常用的仿射不变局部特征检测子,广泛用于影像匹配算法中,其中MSER、Harris-Affine&Hessian–Affine效果最好,但它们都不具备完全仿射不变性,对倾斜影像匹配效果不佳;ASIFT是一种具有完全仿射不变性的匹配算法,对于倾斜影像匹配效果较好,但它采取近似穷举的方法获取影像的最佳经度和纬度,效率很低;另外一些算法沿用了ASIFT思想进行基于影像仿射变换来进行匹配,但各有优缺点。
发明内容
本发明的技术任务是针对现有技术的不足,提供一种基于平面透视投影的倾斜影像匹配方法。该方法在某种程度上对影像进行了透视变换,较之ASIFT算法对影像进行仿射变换,经过透视变换的影像之间差异会更小,更容易匹配。
本发明解决其技术问题所采用的技术方案是:
本发明的一种基于平面透视投影的倾斜影像匹配方法,包括以下步骤:
步骤1,利用原始倾斜影像S的外方位元素和内方位元素,将原始倾斜影像S通过透视投影到测区内的平均高程面Hm上,获得近似的正射影像,作为平面透视投影之后的目标影像D;
步骤2,获取目标影像对之间的重叠区域,作为待匹配区域:对于两张待匹配的原始倾斜影像,通过步骤1,分别获取它们的目标影像对及其范围,根据多边形求交运算获取目标影像对之间的重叠区域四边形abcd,将重叠区域abcd作为待匹配区域;
步骤3,采用SIFT算法对目标影像对进行匹配,使用左右一致性检验、唯一性约束等对粗差点进行剔除,获得粗匹配结果;通过单应矩阵和基础矩阵双重约束对粗匹配结果进行筛选,获得最终的精匹配结果;
步骤4,将步骤3获得的目标影像对上的匹配点对,利用共线方程反投影至原始倾斜影像对上,作为最终匹配结果。
作为本发明进一步改进的,所述步骤1具体实现步骤如下:
步骤1.1,将原始倾斜影像S的四个角点(xi,yi)(其中i=0,1,2,3),通过透视投影投影至目标影像D上,对应目标影像D上的四个角点(x′i,y′i)(其中i=0,1,2,3);
步骤1.2,利用目标影像四个角点(x′i,y′i),确定目标影像D的边界、宽W′和高H′,建立W′×H′的空白目标影像D;
步骤1.3,灰度填充法填充目标影像D。
作为本发明进一步改进的,步骤1.1中所述目标影像D所在的高程面固定,为整个测区内的平均高程Hm;原始倾斜影像S上任意一像点(x,y),通过公式(1)经过透视投影至目标影像D上的物方点坐标为(X,Y,Hm),(X,Y)为目标影像D的像点坐标(x′i,y′i);
Figure BDA0001846780220000021
其中,f为焦距,a1、a2、a3、b1、b2、b3、c1、c2、c3为旋转矩阵的元素,Xs、Ys、Zs为摄影中心坐标。
作为本发明进一步改进的,步骤1.2中,目标影像D的边界(Xmax,Xmin,Ymax,Ymin)、宽W′和高H′为:
Figure BDA0001846780220000022
Figure BDA0001846780220000023
作为本发明进一步改进的,步骤1.2中,使用比例因子s约束目标影像D的大小,使目标影像D和原始影像S之间大小一致;
Figure BDA0001846780220000024
其中W为原始倾斜影像S的宽度。
作为本发明进一步改进的,步骤1.3中,每一个空白目标影像D的像素点(x′,y)′,由公式(5)获得,它对应着物方点坐标(X,Y,Z),利用共线方程(6)将物方点(X,Y,Z)反投影至原始倾斜影像S上像素点(x,y);
Figure BDA0001846780220000031
Figure BDA0001846780220000032
作为本发明进一步改进的,步骤1.3中,采用双线性内插法计算目标影像D像素点(x′,y′)的灰度值:
g′(x′,y′)=g(x,y)=(1-i)*(1-j)*g(x-i,y-j)
+(1-i)*j*g(x-i,y-j+1)
+i*(1-j)*g(x-i+1,y-j)
+i*j*g(x-i+1,y-j+1) (7)
其中g′为目标影像D对应的灰度值,g为原始倾斜影像S对应的灰度值,i,j分别为像点横纵坐标的小数部分。
作为本发明进一步改进的,步骤1.3中灰度填充法具体操作如下:
从左至右,从上至下逐像素遍历目标影像D,对于空白目标影像D的每个像素点(x′,y′),通过反投影获得它在原始倾斜影像S上的像平面坐标(x,y),并通过灰度内插获得(x,y)点的灰度值,作为目标影像D上像素点(x′,y′)的灰度值。
作为本发明进一步改进的,步骤2和步骤3中,用四边形abcd和透视投影影像D的面积比作为影像对之间的重叠度,如果重叠度大于阈值,则对影像对的重叠区域执行匹配,否则认为影像对间不存在匹配点,不对影像对进行匹配。
本发明的一种基于平面透视投影的倾斜影像匹配方法与现有技术相比,所产生的有益效果是,
本发明的技术方案是将原始的倾斜影像进行透视投影到一个平面上,对经过透视投影的影像进行匹配,获取匹配结果。相对于ASIFT算法对影像先进行仿射变换再进行匹配的方式,本发明经过透视变换,使得影像对之间的几何差异更小,相似特征更加明显,更容易匹配。
附图说明
附图1为本发明采用的流程图。
附图2为影像平面透视投影示意图。
附图3为利用F矩阵剔除影像匹配点对粗差流程图。
附图4为平面透视投影前后对比图。
具体实施方式
为了更好的理解本发明的技术方案,下面结合附图1-4对本发明做进一步的详细说明。
本发明的实施例对三对倾斜航空影像进行匹配。参照图1,本发明实施例流程的步骤如下:
步骤1,对待匹配影像对中的每一张影像进行平面透视投影。利用原始倾斜影像S的外方位元素和内方位元素,将原始倾斜影像S通过透视投影到测区内的平均高程面Hm上,获得近似的正射影像,作为平面透视投影之后的目标影像D。
实施例的步骤1中平面透视投影具体实现步骤如下:
步骤1.1,按照公式(1)将原始倾斜影像S的四个角点(xi,yi)(其中i=0,1,2,3),通过透视投影投影至目标影像D上的物方点(Xi,Yi,Hm)(其中i=0,1,2,3),(xi,yi)对应目标影像D上的四个角点(x′i,y′i)(其中i=0,1,2,3)。
Figure BDA0001846780220000041
其中,f为焦距,a1、a2、a3、b1、b2、b3、c1、c2、c3为旋转矩阵的元素,Xs、Ys、Zs为摄影中心坐标。
步骤1.2,利用目标影像四个角点(x′i,y′i),根据公式(2)和公式(3)分别确定目标影像D的边界,以及目标影像D的宽W′和高H′
Figure BDA0001846780220000042
Figure BDA0001846780220000043
建立W′×H′的空白目标影像D,并使用比例因子s约束目标影像D的大小,使目标影像D和原始影像S之间大小一致。
Figure BDA0001846780220000044
其中W为原始倾斜影像的宽度。
步骤1.3,灰度填充法填充目标影像D。从左至右,从上至下逐像素遍历目标影像D,对于空白目标影像D的每个像素点(x′,y′),根据公式(5)获得它对应的物方点坐标(X,Y,Z)。
Figure BDA0001846780220000051
利用将物方点坐标(X,Y,Z)通过共线方程(6)反投影到原始影像S上,对应点(x,y)。
Figure BDA0001846780220000052
对原始影像S上的点(x,y),按照公式(7)进行灰度内插,获得灰度值g(x,y)。将点(x,y)处的灰度值g(x,y),作为目标影像D上点(x′,y′)处的灰度值g′(x′,y′)。
g′(x′,y′)=g(x,y)=(1-i)*(1-j)*g(x-i,y-j)
+(1-i)*j*g(x-i,y-j+1)
+i*(1-j)*g(x-i+1,y-j)
+i*j*g(x-i+1,y-j+1) (7)
其中g′为目标影像D对应的灰度值,g为原始倾斜影像S对应的灰度值,i,j分别为像点横纵坐标的小数部分。
步骤2,获取目标影像对之间的重叠区域,作为待匹配区域。对通过步骤1获得的目标影像对,通过多边形求交运算求得目标影像对之间的重叠区域,如图2所示的四边形abcd。
分别计算四边形abcd和目标影像对中每一张影像的面积比,取其中较小者作为重叠度。如果重叠度大于阈值10%,则将四边形abcd作为待匹配区域,对影像对的重叠区域abcd执行匹配,否则认为影像对间没有匹配点,不对影像对进行匹配。
步骤3,采用SIFT算法对目标影像对进行匹配,使用左右一致性检验、唯一性约束等对粗差点进行剔除,获得粗匹配结果。
对于粗匹配结果,参照图3,用八点法并结合RANSAC算法计算影像对之间的基础矩阵,根据基础矩阵剔除粗差点,设置粗差剔除距离阈值为16.0,内点比率阈值为95%。
对经过基础矩阵粗差剔除的匹配结果,计算影像对之间的单应矩阵,利用单应矩阵对匹配结果进行筛选,设置单应矩阵的粗差剔除阈值为50.0,内点比率阈值为95%。
步骤4,将步骤3获得的目标影像对上的匹配点对,按照公式(5)将其转换为物方点坐标,再按照公式(6)将其反投影至原始倾斜影像对上,作为最终匹配结果。
以下通过实验来验证本发明的有效性:
实验采用三对倾斜航空影像,影像尺寸均为4912×7360像素,影像内外方位元素准确。
评价指标:对匹配点对个数、正确率、耗时三项指标进行评价,并和ASIFT算法进行对比。匹配点对的正确率指正确匹配点对数量与匹配点对总量的比值,通过人工检查的方法逐对检查匹配点对是否正确。
实验结果:根据评价指标,实验数据如下表所示:
表1实验结果统计表
Figure BDA0001846780220000061
从表1可以看出,对于同一对影像,平面透视投影匹配方法获得的匹配点数多于ASIFT算法,耗时远远低于ASIFT算法,两种算法获得的匹配点对正确率都很高,能够达到98%以上。对于不同的影像对匹配,平面透视投影匹配方法的稳定性较高,匹配点对数量能够得到保证,而ASIFT算法获得的匹配点对数量变化幅度较很大。较常用的ASIFT算法,基于平面透视投影的匹配方法无论在匹配点数量、准确率还是匹配耗时上都占优势。
综上所示,本发明提出的基于平面透视投影的倾斜影像匹配方法,在对影像进行平面透视投影变换的基础上,利用SIFT算法进行匹配,减小了倾斜影像之间的几何差异,提高了匹配效果。

Claims (9)

1.一种基于平面透视投影的倾斜影像匹配方法,其特征在于,包括以下步骤:
步骤1,利用原始倾斜影像S的外方位元素和内方位元素,将原始倾斜影像S通过透视投影到测区内的平均高程面Hm上,获得近似的正射影像,作为平面透视投影之后的目标影像D;
步骤2,获取目标影像对之间的重叠区域,作为待匹配区域:对于两张待匹配的原始倾斜影像,通过步骤1,分别获取它们的目标影像对及其范围,根据多边形求交运算获取目标影像对之间的重叠区域四边形abcd,将重叠区域abcd作为待匹配区域;
步骤3,采用SIFT算法对目标影像对进行匹配,使用左右一致性检验、唯一性约束等对粗差点进行剔除,获得粗匹配结果;通过单应矩阵和基础矩阵双重约束对粗匹配结果进行筛选,获得最终的精匹配结果;
步骤4,将步骤3获得的目标影像对上的匹配点对,利用共线方程反投影至原始倾斜影像对上,作为最终匹配结果。
2.根据权利要求1所述的基于平面透视投影的倾斜影像匹配方法,其特征在于,所述步骤1具体实现步骤如下:
步骤1.1,将原始倾斜影像S的四个角点(xi,yi)(其中i=0,1,2,3),通过透视投影投影至目标影像D上,对应目标影像D上的四个角点(x′i,y′i)(其中i=0,1,2,3);
步骤1.2,利用目标影像四个角点(x′i,y′i),确定目标影像D的边界、宽W′和高H′,建立W′×H′的空白目标影像D;
步骤1.3,灰度填充法填充目标影像D。
3.根据权利要求2所述的基于平面透视投影的倾斜影像匹配方法,其特征在于,步骤1.1中所述目标影像D所在的高程面固定,为整个测区内的平均高程Hm;原始倾斜影像S上任意一像点(x,y),通过公式(1)经过透视投影至目标影像D上的物方点坐标为(X,Y,Hm),(X,Y)为目标影像D的像点坐标(x′i,y′i);
Figure FDA0001846780210000011
其中,f为焦距,a1、a2、a3、b1、b2、b3、c1、c2、c3为旋转矩阵的元素,Xs、Ys、Zs为摄影中心坐标。
4.根据权利要求2或3所述的基于平面透视投影的倾斜影像匹配方法,其特征在于,步骤1.2中,目标影像D的边界(Xmax,Xmin,Ymax,Ymin)、宽W′和高H′为:
Figure FDA0001846780210000021
Figure FDA0001846780210000022
5.根据权利要求2或3所述的基于平面透视投影的倾斜影像匹配方法,其特征在于,步骤1.2中,使用比例因子s约束目标影像D的大小,使目标影像D和原始影像S之间大小一致;
Figure FDA0001846780210000023
其中W为原始倾斜影像S的宽度。
6.根据权利要求1、2或3所述的基于平面透视投影的倾斜影像匹配方法,其特征在于,步骤1.3中,每一个空白目标影像D的像素点(x′,y)′,由公式(5)获得,它对应着物方点坐标(X,Y,Z),利用共线方程(6)将物方点(X,Y,Z)反投影至原始倾斜影像S上像素点(x,y);
Figure FDA0001846780210000024
Figure FDA0001846780210000025
7.根据权利要求1、2或3所述的基于平面透视投影的倾斜影像匹配方法,其特征在于,步骤1.3中,采用双线性内插法计算目标影像D像素点(x′,y′)的灰度值:
Figure DA00018467802151113
其中g′为目标影像D对应的灰度值,g为原始倾斜影像S对应的灰度值,i,j分别为像点横纵坐标的小数部分。
8.根据权利要求2或3所述的基于平面透视投影的倾斜影像匹配方法,其特征在于,步骤1.3中灰度填充法具体操作如下:
从左至右,从上至下逐像素遍历目标影像D,对于空白目标影像D的每个像素点(x′,y′),通过反投影获得它在原始倾斜影像S上的像平面坐标(x,y),并通过灰度内插获得(x,y)点的灰度值,作为目标影像D上像素点(x′,y′)的灰度值。
9.根据权利要求1、2或3所述的基于平面透视投影的倾斜影像匹配方法,其特征在于,步骤2和步骤3中,用四边形abcd和透视投影影像D的面积比作为影像对之间的重叠度,如果重叠度大于阈值,则对影像对的重叠区域执行匹配,否则认为影像对间不存在匹配点,不对影像对进行匹配。
CN201811274974.3A 2018-10-30 2018-10-30 一种基于平面透视投影的倾斜影像匹配方法 Pending CN111126418A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811274974.3A CN111126418A (zh) 2018-10-30 2018-10-30 一种基于平面透视投影的倾斜影像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811274974.3A CN111126418A (zh) 2018-10-30 2018-10-30 一种基于平面透视投影的倾斜影像匹配方法

Publications (1)

Publication Number Publication Date
CN111126418A true CN111126418A (zh) 2020-05-08

Family

ID=70484047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811274974.3A Pending CN111126418A (zh) 2018-10-30 2018-10-30 一种基于平面透视投影的倾斜影像匹配方法

Country Status (1)

Country Link
CN (1) CN111126418A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399931A (zh) * 2019-07-30 2019-11-01 燕山大学 一种鱼眼图像匹配方法及系统
CN112729254A (zh) * 2020-12-23 2021-04-30 西南交通大学 适用于多梯度航带倾斜摄影测量的空中三角测量解算方法
CN113487580A (zh) * 2021-07-16 2021-10-08 北京星天地信息科技有限公司 基于多边形分析的无人机影像重叠度计算方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957004A (zh) * 2016-04-27 2016-09-21 武汉大学 一种基于图割优化的全景影像修补方法及系统
CN108399631A (zh) * 2018-03-01 2018-08-14 北京中测智绘科技有限公司 一种尺度不变性的倾斜影像多视密集匹配方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957004A (zh) * 2016-04-27 2016-09-21 武汉大学 一种基于图割优化的全景影像修补方法及系统
CN108399631A (zh) * 2018-03-01 2018-08-14 北京中测智绘科技有限公司 一种尺度不变性的倾斜影像多视密集匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴子敬、邓 非: "基于平面透视投影的倾斜航空影像匹配方法" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399931A (zh) * 2019-07-30 2019-11-01 燕山大学 一种鱼眼图像匹配方法及系统
CN112729254A (zh) * 2020-12-23 2021-04-30 西南交通大学 适用于多梯度航带倾斜摄影测量的空中三角测量解算方法
CN113487580A (zh) * 2021-07-16 2021-10-08 北京星天地信息科技有限公司 基于多边形分析的无人机影像重叠度计算方法及系统

Similar Documents

Publication Publication Date Title
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN107977997B (zh) 一种结合激光雷达三维点云数据的相机自标定方法
CN108470370B (zh) 三维激光扫描仪外置相机联合获取三维彩色点云的方法
CN106570507B (zh) 单目视频场景三维结构的多视角一致的平面检测解析方法
CN107767456A (zh) 一种基于rgb‑d相机的物体三维重建方法
CN103106688A (zh) 基于双层配准方法的室内三维场景重建方法
CN106485690A (zh) 基于点特征的点云数据与光学影像的自动配准融合方法
WO2021098083A1 (zh) 基于显著特征的多光谱相机动态立体标定算法
CN108305277B (zh) 一种基于直线段的异源图像匹配方法
CN109859137B (zh) 一种广角相机非规则畸变全域校正方法
CN108629829B (zh) 一种球幕相机与深度相机结合的三维建模方法和系统
CN109118544B (zh) 基于透视变换的合成孔径成像方法
US20240169674A1 (en) Indoor scene virtual roaming method based on reflection decomposition
CN113012234B (zh) 基于平面变换的高精度相机标定方法
CN111126418A (zh) 一种基于平面透视投影的倾斜影像匹配方法
Serna et al. Data fusion of objects using techniques such as laser scanning, structured light and photogrammetry for cultural heritage applications
CN113192179A (zh) 一种基于双目立体视觉的三维重建方法
CN110415304B (zh) 一种视觉标定方法及系统
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
Gao et al. Accurate and efficient ground-to-aerial model alignment
CN112862683A (zh) 一种基于弹性配准和网格优化的邻接图像拼接方法
CN107220996A (zh) 一种基于三角结构一致的无人机线阵与面阵影像匹配方法
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN113642397B (zh) 一种基于手机视频的物体长度测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200508