CN114119995A - 一种基于物方面元的空地影像匹配方法 - Google Patents
一种基于物方面元的空地影像匹配方法 Download PDFInfo
- Publication number
- CN114119995A CN114119995A CN202111312310.3A CN202111312310A CN114119995A CN 114119995 A CN114119995 A CN 114119995A CN 202111312310 A CN202111312310 A CN 202111312310A CN 114119995 A CN114119995 A CN 114119995A
- Authority
- CN
- China
- Prior art keywords
- surface element
- image
- ground
- matching
- object space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000000007 visual effect Effects 0.000 claims abstract description 35
- 238000005457 optimization Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005235 decoking Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Abstract
本发明涉及一种基于物方面元的空地影像匹配方法。首先分别利用同视角下的影像匹配获得地物三维点云，地面影像匹配获得地面视角的点云，空中影像匹配获得空中视角的点云；以两组点云为基础建立初始面元，依据参考影像根据光度一致性对面元进行优化，将优化后的面元投影到影像上获取对应的纹理；在这些物方面元上建立SIFT描述子，将空中影像的面元和地面影像的面元进行匹配，匹配得到的面元中心点可反算回影像中，由此获得空中影像与地面影像的匹配点对。此方法通过建立地物表面的物方面元，将空地影像的大视角变化、大尺度变化通过物方面元尽可能的减小消除，从而获得高精度的匹配点对。
Description
技术领域
本发明属于图像匹配领域，特别是涉及一种基于物方面元的空地影像匹配方法。
背景技术
在计算机视觉中，图像同名点的获取是大部分工程的基础，同名点匹配的精度直接影响工程的最终效果。现有的图像匹配方法主要有SIFT匹配算法、ASIFT匹配算法，Harris算法。
Harris算法具有旋转不变性，对于图像灰度的仿射变化具有部分的不变性，但其对尺度较为敏感，不具备几何尺度不变性。
SIFT算法对旋转、尺度缩放、亮度变化保持不变性，对视角变化、噪声等也存在一定程度的稳定性，但大视角变化下的匹配效果较差。
ASIFT(Affine SIFT)算法，通过模拟所有成像视角下得到的图像进行特征匹配，可以很好地处理视角变化的情况，尤其是大视角变化下的图像匹配，但对于尺度相差较大的图像匹配效果仍不理想。
发明内容
本发明所要解决的技术问题在于提供一种基于物方面元的空地影像匹配方法。通过该方法，可以对视角、尺度相差较大的空地影像进行特征匹配，保证三维重建过程中，目标地物的三维模型各个视角的完整，弥补仅有空中影像时地面信息错漏造成模型出现漏洞或纹理缺失的问题或仅有地面信息时，空中视角下模型存在空洞、不完整的问题。有效融合利用空中地面两种不同视角的影像信息。
为了达到上述目的，本发明的一种基于物方面元的空地影像匹配的方法，将大视角、尺度差异巨大的影像匹配问题转化为物方面元优化问题，将不同影像统一投影到真实物方面元，通过物方面元的优化减小不同影像间视角与尺度的影响，并通过物方面元的匹配间接匹配空地影像。
具体的，本发明方法包括如下步骤：
步骤1，获取目标地物地面、空中影像数据，使用Agisoft MetashapeProfessional对影像分组进行空中三角测量，获得空中影像和地面影像的相对位置关系；使用CMVS-PMVS建立初始物方面元；使用真实地物尺度对物方面元大小进行引导；物方面元的表达式如公式(1)所示：
a(X-Xc)+b(Y-Yc)+c(Z-Zc)＝0 (1)
(a,b,c)为法向量；
(Xc,Yc,Zc)为物方面元的中心点；
设置物方面元为2mx2m的大小，规定面元为100x100大小的栅格；
步骤2，对物方面元进行位置和角度的优化，消除减小地面影像与空中影像视角尺度相差过大的问题
使用nlopt::LN_BOBYQA算法进行非线性优化，优化时对面元的角度限制设置为max_angle＝79.9999、min_angle＝-79.9999；
根据物方点对应的可视影像，通过计算物方面元投影到影像上的纹理计算ncc系数，不同影像投影到物方面元的光度一致性大于阈值(ncc_threshold＝0.85)时，判断物方面元重建成功：ncc>ncc_threshold；
步骤3，对每个面元建立特征描述符；
使用vl_feat实现的sift算法对物方面元建立sift描述符，特征点坐标为物方面元的中心点，描述符大小设置为物方面元大小，设置sift高斯金字塔组数为1，层数为1；
步骤4，物方面元匹配；
根据步骤3中生成的描述子距离进行面元匹配，在进行左右一致性检验、显著性检验、三维仿射变换一致性检验，剔除物方面元的误匹配。
步骤1中，获取目标地物地面、空中影像数据，如图1所示。
(1)相机拍摄模式应为定焦模式，尽量避免拍摄过程中脱焦；
(2)拍摄位置应尽量避开遮挡，获得无遮挡的建筑物立面信息；
(3)拍摄的位置应尽量保证照片范围能够覆盖建筑物立面全部范围或大部分范围。
步骤2中，所建立的物方面元包括中心点和法向量，通过物方点与摄影中心的光线约束物方面元的几何位移，将物方面元中心点坐标的变化量约束为在光线方向上的位移。
步骤1中，使用真实地物尺度对物方面元大小进行引导的过程为：根据真实物方尺度确定面元大小，设置物方面元为2m x 2m的大小，规定面元为100x100大小的栅格，通过投影矩阵P计算出在面元平面上沿x轴y轴移动单位步进量pxaxis、pyaxis，在对应影像上移动获取对应的颜色信息赋给面元对应栅格；移动减小尺度差异对匹配产生的影响。
本发明方法针对空地影像匹配过程中视角差异、尺度差异过大的问题，利用真实物方面元作为匹配的“中转”，通过优化物方面元的方法减小航空视角影像和地面视角影像之间的变形，最后通过面元的匹配实现航空视角影像和地面视角影像的匹配。
附图说明
图1为拍摄方法示意图。
图2为面元示意图，包含中心点、法向量。
图3为面元参数优化示意图。
图4为面元获取影像纹理优化示意图。
图5为基于物方面元的空地影像匹配流程图。
具体实施方式：
本实施例子是ISPRS数据集中关于建筑物的空地影像的一种基于物方面元的影像匹配方法；
该数据集由ISPRS ICWG I/Vb领导ISPRS 2014和2015年科学联合计划的发布，影像数据采集相机为SONYNEX-7，焦距为16mm，影像分辨率为6000*4000。
本实例的具体实施过程是：
步骤1，分别对地面拍摄影像、空中拍摄影像建立物方面元；
1.获取目标地物地面、空中影像数据，如图1所示。
(1)相机拍摄模式应为定焦模式，尽量避免拍摄过程中脱焦；
(2)拍摄位置应尽量避开遮挡，获得无遮挡的建筑物立面信息；
(3)拍摄的位置应尽量保证照片范围能够覆盖建筑物立面全部范围或大部分范围。
2.使用Agisoft Metashape Professional对影像分组进行空中三角测量，获得航空影像(地面影像)的相对位置关系，以及同视角下的影像的匹配点对和物方点云，并基于物方点云使用CMVS-PMVS建立初始物方面元，物方面元如图2所示，面元的主要参数为：中心点坐标n(p)(a,b,c)、法向量n(p)(xc,yc,zc)。
3.本实例中使用CMVS-PMVS建立初始面元时的参数
(1)csize：cell size,在指定图像中，每csize*csize像素正方形区域至少重构一个面元，本实例中csize＝2。
(2)ncc_threshold：归一化互相关光度一致性阈值；面元的光度一致性高于此阈值则认为面元重建成果，本实例中ncc_threshold＝0.85。
(3)minImageNum:可视影像最小数目，每个3D点至少在minImageNum个图像中可见，才能被重建，本实例中minImageNum＝3。
4.设置物方面元为2m x 2m的大小，规定面元为100x100大小的栅格，通过投影矩阵P计算出在面元平面上沿x轴y轴移动单位步进量pxaxis、pyaxis，在对应影像上移动获取对应的颜色信息赋给面元对应栅格。
步骤2，对物方面元进行位置和角度的优化
面元的优化需要优化的量包括面元的中心点和法向量，将面元所有可视影像的纹理信息之间的相关性系数作为面元优化的准则，使用nlopt::LN_BOBYQA算法进行非线性优化，优化时对面元的角度限制设置为max_angle＝79.9999、min_angle-79.9999，其他参数设为默认。
如图3所示，设面元法向量为n(p)(a,b,c)，法向量的方向角为α和β，其关系如公式(2)(3)(4)为：
a＝cosβ×cosα (2)
b＝cosβ×sinα (3)
c＝sinβ (4)
将面元中心点移动量和面元法向量的变化用物点沿参考影像摄影光线移动的距离和法向量方向角α和β代替，优化自由度由6降到3，提高优化效率。
如图4所示，根据可视影像的纹理信息之间的相关系数进行优化，使得面元中心点位置和法向量在取某个值的情况下，面元对应的所有可视影像纹理信息相关系数最大,当ncc>ncc_threshold时，认为物方面元重建成功并保留。
步骤3，对每个面元建立特征描述符
使用vl_feat实现的sift算法对物方面元建立sift描述符，特征点坐标为物方面元的中心点，描述符大小设置为物方面元大小。
物方面元在步骤1中已被设置为相同的尺度，因此设置VLSiftFilt的高斯金字塔组数为1，层数为1。
特征点的坐标设为(patch_size/2，patch_size/2)，其sigma参数大小由面元大小决定，sigma的求解公式为公式(5)：
Patch_Size为物方面元大小,本实例中取300(单位为像素/pixel)。
NBP(numberbin space):面元划分区域,默认为4x4的区域。
magnification factor：缩放系数，默认为3。
步骤4，物方面元匹配；
1.物方面元匹配的左右一致性检验：以航空视角的面元为基准对地面视角面元进行匹配得到的匹配对，与以地面视角面元为基准对航空视角的面元进行匹配时得到的匹配对保持一致时，认为这个匹配对是正确的。
2.物方面元匹配的显著性检测：通过计算物方面元中心点的描述子距离进行匹配，当最近距离(ND)与次近距离(SD)的比值足够小，即
时，认为匹配的两个面元足够显著；本实例中显著性阈值threshold取值为0.65。
3.物方面元的三维仿射变换一致性检验：航空视角影像与地面视角影像所生成的物方点云对应相同的真实地物，使用RANSANC算法解算两组点云间的变换矩阵，在经过左右一致性检验与显著性检测后获得的匹配对中随机选择3个匹配对解算出变换矩阵，带入所有匹配点对，若匹配点对经过仿射变换后的坐标与对应点的坐标差值在一定范围内，认为该匹配点对符合此三维仿射变换模型；重复多次解算变换模型后，选择匹配点对支持数量最高的三维仿射变换模型；此实例中，RANSANC迭代次数为80，三维坐标差值阈值设为0.7。
本发明的一种基于物方面元的空地影像匹配方法其技术流程如图5所示：分别利用同视角下的影像匹配获得点云，地面影像匹配获得地面视角的点云，空中影像匹配获得空中视角的点云。以两组点云为基础建立物方面元，并依据参考影像根据光度一致性对物方面元进行优化，将优化后的面元投影到影像上获取对应的纹理，在这些面元上建立SIFT描述子，将空中影像的面元和地面影像的面元进行匹配，匹配得到的面元中心点可反算回影像中，由此获得空中影像与地面影像的匹配点对。
本发明方法针对空地影像匹配过程中视角差异、尺度差异过大的问题，利用真实物方面元作为匹配的“中转”，通过优化物方面元的方法减小航空视角影像和地面视角影像之间的变形，最后通过面元的匹配实现航空视角影像和地面视角影像的匹配。
Claims (3)
1.一种基于物方面元的空地影像匹配方法，其特征在于：
步骤1，获取目标地物地面、空中影像数据，使用Agisoft Metashape Professional对影像分组进行空中三角测量，获得空中影像和地面影像的相对位置关系；使用CMVS-PMVS建立初始物方面元；使用真实地物尺度对物方面元大小进行引导；物方面元的表达式如公式(1)所示：
a(X-Xc)+b(Y-Yc)+c(Z-Zc)＝0 (1)
(a,b,c)为法向量；
(Xc,Yc,Zc)为物方面元的中心点；
设置物方面元为2mx2m的大小，规定面元为100x100大小的栅格；
步骤2，对物方面元进行位置和角度的优化；
使用nlopt::LN_BOBYQA算法进行非线性优化，优化时对面元的角度变化限制设置为max_angle＝79.9999、min_angle＝-79.9999；
根据物方点对应的可视影像，通过计算物方面元投影到影像上的纹理计算ncc系数，不同影像投影到物方面元的光度一致性大于阈值时，判断物方面元重建成功：ncc>ncc_threshold，ncc_threshold＝0.85；
步骤3，对每个面元建立特征描述符；
使用vl_feat实现的sift算法对物方面元建立sift描述符，特征点坐标为物方面元的中心点，描述符大小设置为物方面元大小，设置sift高斯金字塔组数为1，层数为1；
步骤4，物方面元匹配；
通过计算步骤3中生成的描述子距离进行面元匹配，再进行左右一致性检验、显著性检验、三维仿射变换一致性检验剔除物方面元的误匹配。
2.如权利要求1所述一种基于物方面元的空地影像匹配方法，其特征在于：步骤2中，所建立的物方面元包括中心点和法向量，通过物方点与摄影中心的光线约束物方面元的几何位移，将物方面元中心点坐标的变化量约束为在光线方向上的位移。
3.如权利要求1所述一种基于物方面元的空地影像匹配方法，其特征在于：利用影像建立物方面元时，根据真实物方尺度确定面元大小，通过投影矩阵P计算出在面元平面上沿x轴y轴移动单位步进量pxaxis、pyaxis，在对应影像上移动获取对应的颜色信息赋给面元对应栅格；移动减小尺度差异对匹配产生的影响。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111312310.3A CN114119995B (zh) | 2021-11-08 | 2021-11-08 | 一种基于物方面元的空地影像匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111312310.3A CN114119995B (zh) | 2021-11-08 | 2021-11-08 | 一种基于物方面元的空地影像匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114119995A true CN114119995A (zh) | 2022-03-01 |
| CN114119995B CN114119995B (zh) | 2024-03-15 |
Family
ID=80381123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111312310.3A Active CN114119995B (zh) | 2021-11-08 | 2021-11-08 | 一种基于物方面元的空地影像匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114119995B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100671529B1 (ko) * | 2006-05-08 | 2007-01-19 | (주)대한지적기술단 | 복수의 항공 촬영 화상을 이용한 ３차원 입체지도의작성방법 |
| KR100973052B1 (ko) * | 2009-04-24 | 2010-07-30 | 서울시립대학교 산학협력단 | 라이다데이터를 이용한 디지털 항공영상의 자동 정합기법 |
| CN103822616A (zh) * | 2014-03-18 | 2014-05-28 | 武汉大学 | 一种图分割与地形起伏约束相结合的遥感影像匹配方法 |
| KR20150101009A (ko) * | 2014-02-24 | 2015-09-03 | 주식회사 한화 | 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법 |
| CN105825543A (zh) * | 2016-03-31 | 2016-08-03 | 武汉大学 | 基于低空遥感影像的多视密集点云生成方法及系统 |
| KR20190057885A (ko) * | 2017-11-21 | 2019-05-29 | 한국전자통신연구원 | 3차원 복원 지형 정합 방법 및 그 장치 |
| CN112002007A (zh) * | 2020-08-31 | 2020-11-27 | 胡翰 | 基于空地影像的模型获取方法及装置、设备、存储介质 |
| CN112288030A (zh) * | 2020-11-10 | 2021-01-29 | 深圳市数字城市工程研究中心 | 一种基于自适应物方面元的最小二乘匹配方法 |
| WO2021088481A1 (zh) * | 2019-11-08 | 2021-05-14 | 南京理工大学 | 一种基于条纹投影的高精度动态实时360度全方位点云获取方法 |
| CN113345072A (zh) * | 2021-06-01 | 2021-09-03 | 兰州交通大学 | 一种多视角遥感地形影像点云重建方法及系统 |
-
2021
- 2021-11-08 CN CN202111312310.3A patent/CN114119995B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100671529B1 (ko) * | 2006-05-08 | 2007-01-19 | (주)대한지적기술단 | 복수의 항공 촬영 화상을 이용한 ３차원 입체지도의작성방법 |
| KR100973052B1 (ko) * | 2009-04-24 | 2010-07-30 | 서울시립대학교 산학협력단 | 라이다데이터를 이용한 디지털 항공영상의 자동 정합기법 |
| KR20150101009A (ko) * | 2014-02-24 | 2015-09-03 | 주식회사 한화 | 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법 |
| CN103822616A (zh) * | 2014-03-18 | 2014-05-28 | 武汉大学 | 一种图分割与地形起伏约束相结合的遥感影像匹配方法 |
| CN105825543A (zh) * | 2016-03-31 | 2016-08-03 | 武汉大学 | 基于低空遥感影像的多视密集点云生成方法及系统 |
| KR20190057885A (ko) * | 2017-11-21 | 2019-05-29 | 한국전자통신연구원 | 3차원 복원 지형 정합 방법 및 그 장치 |
| WO2021088481A1 (zh) * | 2019-11-08 | 2021-05-14 | 南京理工大学 | 一种基于条纹投影的高精度动态实时360度全方位点云获取方法 |
| CN112002007A (zh) * | 2020-08-31 | 2020-11-27 | 胡翰 | 基于空地影像的模型获取方法及装置、设备、存储介质 |
| CN112288030A (zh) * | 2020-11-10 | 2021-01-29 | 深圳市数字城市工程研究中心 | 一种基于自适应物方面元的最小二乘匹配方法 |
| CN113345072A (zh) * | 2021-06-01 | 2021-09-03 | 兰州交通大学 | 一种多视角遥感地形影像点云重建方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 吴铮铮;寇展;: "基于单目多视角影像的场景三维重建", 光学与光电技术, no. 05, 10 October 2020 (2020-10-10) * |
| 杨楠;邵振峰;郭丙轩;彭哲;黄蕾;: "基于非固定初始面元的无人机影像点云优化算法", 武汉大学学报(信息科学版), no. 08, 25 July 2016 (2016-07-25) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114119995B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bogdan et al. | DeepCalib: A deep learning approach for automatic intrinsic calibration of wide field-of-view cameras | |
| CN108510573B (zh) | 一种基于深度学习的多视点人脸三维模型重建的方法 | |
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| US11503275B2 (en) | Camera calibration system, target, and process | |
| CN107945267B (zh) | 一种用于人脸三维模型纹理融合的方法和设备 | |
| CN108470370B (zh) | 三维激光扫描仪外置相机联合获取三维彩色点云的方法 | |
| CN106600686B (zh) | 一种基于多幅未标定图像的三维点云重建方法 | |
| CN108074218B (zh) | 基于光场采集装置的图像超分辨率方法及装置 | |
| AU2017246470B2 (en) | Generating intermediate views using optical flow | |
| CN110728671B (zh) | 基于视觉的无纹理场景的稠密重建方法 | |
| KR100681320B1 (ko) | 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법 | |
| GB2352901A (en) | Rendering three dimensional representations utilising projected light patterns | |
| CN104424640A (zh) | 对图像进行虚化处理的方法和装置 | |
| CN110599578A (zh) | 一种真实感三维彩色纹理重建方法 | |
| CN110738608B (zh) | 一种平面图像校正方法及系统 | |
| Aliaga et al. | Photogeometric structured light: A self-calibrating and multi-viewpoint framework for accurate 3d modeling | |
| CN112419165A (zh) | 利用几何和光度变换进行图像修复 | |
| CN108399631A (zh) | 一种尺度不变性的倾斜影像多视密集匹配方法 | |
| CN113298947A (zh) | 一种基于多源数据融合的变电站三维建模方法介质及系统 | |
| CN110517348B (zh) | 基于图像前景分割的目标物体三维点云重建方法 | |
| CN111899345A (zh) | 一种基于2d视觉图像的三维重建方法 | |
| CN115359127A (zh) | 一种适用于多层介质环境下的偏振相机阵列标定方法 | |
| CN110910457B (zh) | 基于角点特征的多光谱立体相机外参计算方法 | |
| CN113077523A (zh) | 一种标定方法、装置、计算机设备及存储介质 | |
| JP2022011818A (ja) | 情報処理装置およびその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |