CN111950433A - 光学卫星影像特征匹配深度学习训练样本集自动构建方法 - Google Patents

光学卫星影像特征匹配深度学习训练样本集自动构建方法 Download PDF

Info

Publication number
CN111950433A
CN111950433A CN202010789212.8A CN202010789212A CN111950433A CN 111950433 A CN111950433 A CN 111950433A CN 202010789212 A CN202010789212 A CN 202010789212A CN 111950433 A CN111950433 A CN 111950433A
Authority
CN
China
Prior art keywords
image
sample set
feature
reference image
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010789212.8A
Other languages
English (en)
Other versions
CN111950433B (zh
Inventor
薛武
王鹏
夏鲁瑞
钟灵毓
倪蕾
张旭
李森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Original Assignee
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Liberation Army Strategic Support Force Aerospace Engineering University filed Critical Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority to CN202010789212.8A priority Critical patent/CN111950433B/zh
Publication of CN111950433A publication Critical patent/CN111950433A/zh
Application granted granted Critical
Publication of CN111950433B publication Critical patent/CN111950433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于遥感信息处理技术领域，提供光学卫星影像特征匹配深度学习训练样本集自动构建方法，对卫星成像过程进行全链路模拟，利用参考影像、数字高程模型得到模拟影像和对应的内外方位元素；利用基于灰度或者基于特征的方法在参考影像和模拟影像上进行特征提取，得到若干特征点；设置一个合理的搜索范围，然后验证其是否为同名点；逐一计算参考影像上的特征点，完成正样本集的构建；随机在参考影像和模拟影像上选取一定数量的特征点，构成负样本集的构建。本发明实现了无需手动标注的光学卫星影像特征匹配深度学习训练样本集自动构建方法，大大提高了样本集构建的效率、可靠性，降低了成本和专业门槛。

Description

光学卫星影像特征匹配深度学习训练样本集自动构建方法
技术领域
本发明属于遥感信息处理技术领域，具体涉及光学卫星影像特征匹配深度学习训练样本集自动构建方法。
背景技术
光学遥感卫星影像的特征匹配是进行影像配准、区域网平差连接点提取的重要前提。由于不同卫星影像在成像方式、地面分辨率、时相、光照条件等方面存在较大差异，卫星影像特征匹配的难度较大，传统的基于灰度或者基于特征的匹配方法在实践中存在正确率低、成功率低以及可靠性差等问题。目前基于深度学习的影像特征匹配方法展示出较大的发展潜力，较大程度上解决了传统方法存在的问题(文献：范大昭,董杨,张永生.卫星影像匹配的深度卷积神经网络方法[J].测绘学报,2018,47(6):844G853.DOI:10.11947j.AGCS.2018.20170627)。文献(K.Li,G.Wan,G.Cheng,L.Meng,J.Han ObjectDetection in Optical Remote Sensing Images:A Survey and A New Benchmark.ISPRSJournal of Photogrammetry and Remote Sensing,159:296-307,2020)提出了一个大规模、公开可用的光学遥感影像目标检测训练样本集：DIOR，该样本集的标注依靠人工手动标注的方式。文献(范大昭,董杨,张永生.卫星影像匹配的深度卷积神经网络方法[J].测绘学报,2018,47(6):844G853.DOI:10.11947j.AGCS.2018.20170627)提出的两通道深度卷积神经网络模型及其优化网络模型,能够较好地进行卫影像匹配模式的学习，但是没有提出训练样本集的构建方法，制约了其实用性和普适性。
由此可见，基于深度学习的遥感影像匹配方法依赖海量的训练样本，样本标注成为制约模型性能的重要因素。与计算机视觉中场景分类、目标识别等不同，遥感影像特征匹配的样本标注难度大、专业性强、精度和可靠性要求高，无法像计算机视觉中采用在线众筹的方式进行，必须依靠专业影像判读人员，由此导致成本高、效率低，且样本库难以做到开源共享。
发明内容
本发明的目的是为了解决在利用深度学习方法进行光学卫星影像特征匹配时训练样本集构建效率低、成本高、通用性差的技术问题。
为解决上述技术问题，本发明提出光学卫星影像特征匹配深度学习训练样本集自动构建方法，具体的技术方案如下：
步骤1、对卫星成像过程进行全链路模拟，利用参考影像、数字高程模型得到模拟影像和对应的内外方位元素；
步骤2、利用基于灰度或者基于特征的方法在参考影像和模拟影像上进行特征提取，得到若干特征点；
步骤3、参考影像上的特征点坐标为(x1,y1)，根据影像内外方位元素构建严格成像模型，计算其在模拟影像上的坐标(x2,y2)；
步骤4、假定严格成像模型的像方投影误差中误差为δ，在模拟影像上以(x2,y2)为圆心、δ为半径搜索特征点，对于落入其中的特征点，利用常规匹配方法验证其是否为同名点，如果为同名点，则构成一对特征匹配训练正样本；
步骤5、逐一计算参考影像上的特征点，完成正样本集的构建；
步骤6、随机在参考影像和模拟影像上选取一定数量的特征点，构成负样本集的构建。
本发明的有效收益为：
1、本发明实现了无需手动标注的光学卫星影像特征匹配深度学习训练样本集自动构建方法，大大提高了样本集构建的效率、可靠性，降低了成本和专业门槛；
2、本发明可适应多种不同卫星成像方式，对于不同成像方式的卫星影像具有一定的普适性，具有较高的实用价值；
3、本发明适应多种特征提取算子，理论上本发明可以适用于所有特征提取算子，因此其鲁棒性更好，可以适应不同卫星影像处理的需求；
4、本发明无需生成实体同名点对影像，与生成实体同名影像块的方式不同，本发明可以仅生成同名点对在参考影像和模拟影像上的坐标，因此可以大大节约计算机磁盘存储空间；
5、本发明可以适用于在研新成像体制卫星影像的处理，由于采用的是影像模拟的方式，可以在卫星研制过程中提前开展影像处理实验，卫星入轨后即可开展真实数据处理工作，无需等待卫星真实数据积累的样本。
附图说明
图1为影像模拟过程流程图；
图2本发明光学卫星影像特征匹配深度学习训练样本集构建原理图；
图3为本发明实施例河南某地区参考影像示意图；
图4为本发明实施例河南某地区数字高程模型示意图；
图5为本发明实施例模拟卫星影像示意图；
图6为本发明实施例特征匹配结果(1)示意图；
其中：6(a)为参考影像上特征点分布；
6(b)为模拟影像上特征点分布；
图7为本发明实施例特征匹配结果(2)示意图；
其中：7(a)为参考影像上特征点分布；
7(b)为模拟影像上特征点分布；
图8为本发明实施例特征匹配结果(3)示意图；
其中：8(a)为参考影像上特征点分布；
8(b)为模拟影像上特征点分布；
图9为本发明实施例特征匹配结果(4)示意图；
其中：9(a)为参考影像上特征点分布；
9(b)为模拟影像上特征点分布；
具体实施方式
下面结合附图对本发明进行详细的解释和说明。
本发明提出了一种无需人工标注的同名特征点自动标注方法。在对卫星成像过程进行全链路模拟的基础上，利用参考影像生成模拟卫星影像，结合特征匹配结果和卫星严格成像模型，得到同名点对训练样本集。
本发明的主要基于如下原理：在对卫星成像过程进行全链路模拟时，生成的模拟影像和参考影像之间的几何关系符合卫星严格成像模型，实际上确立了参考影像和模拟影像各像元之间的一一对应关系。如果分别在参考影像和模拟影像上提取特征点，就可以利用这种几何约束关系判断两个特征点是否为同名点，如果是同名点，可以作为特征匹配深度学习训练样本集的正样本，如果不是同名点，则可以作为特征匹配训练样本集的负样本。本质上来讲，本发明利用卫星影像严格成像模型作为几何约束关系代替了人工判读，实现了训练样本集的自动构建。本发明的主要步骤如图2所示，具体步骤如下：
步骤1、对卫星成像过程进行全链路模拟，利用参考影像、数字高程模型(DigitalElevation Model,DEM)得到模拟影像和对应的内外方位元素，如图1所示，模拟过程考虑影响影像几何和辐射质量的主要因素，使得模拟影像的几何和辐射特性与真实影像尽可能接近。
由于影像模拟的过程是基于卫星严格成像模型进行的，模拟影像和参考影像之间的几何关系已知的，为训练样本集的自动构建提供了先验条件和基础，这样可以实现无需手动标注的光学卫星影像特征匹配深度学习训练样本集自动构建，提高了样本集构建的效率、可靠性，降低了成本和专业门槛；另外，只要知道卫星的成像方式，均可以对其成像过程进行模拟，所以本发明可适应多种不同卫星成像方式，可以适用于在研新成像体制卫星影像的处理。
步骤2、利用基于灰度或者基于特征的方法在参考影像和模拟影像上进行特征提取，得到若干特征点；
得到的特征点作为样本集的构成元素，可以为深度学习模型训练提供输入；与采用的特征提取算子无关，因此可以适用于不同的特征提取算法。
步骤3、参考影像上的特征点坐标为(x1,y1)，根据影像内外方位元素构建严格成像模型，计算其在模拟影像上的坐标(x2,y2)；
通过该步骤可以快速找到参考影像上的特征点在模拟影像上的坐标，且无需人工参与。
步骤4、假定严格成像模型的像方投影误差中误差为δ，在模拟影像上以(x2,y2)为圆心、δ为半径搜索特征点，对于落入其中的特征点，利用常规匹配方法验证其是否为同名点，如果为同名点，则构成一对特征匹配训练正样本；
考虑到特征点提取算法的精度、坐标转换误差、计算过程中的舍入误差等因素，需要设置如步骤4这样的一个合理的搜索范围，然后验证其是否为同名点。
步骤5、逐一计算参考影像上的特征点，完成正样本集的构建；
由于整个计算过程无需人工判别和干预，所以可以由计算机自动完成；本发明只需要记录下正样本在参考影像和模拟影像上的坐标，无需生成实体同名点对影像，因此可以大大节约计算机磁盘存储空间。
步骤6、随机在参考影像和模拟影像上选取一定数量的特征点，构成负样本集的构建。
本步骤同步骤5，其过程也可以自动完成。
由此，完成光学卫星影像特征匹配深度学习训练样本集的自动构建。
实施例1
为验证本发明的有效性，利用河南某地区参考影像和数字高程模型生成了模拟卫星影像，并构建了特征匹配同名点样本集，具体实施过程如下：
1、如图3、4所示，收集河南某地区的参考影像和数字高程模型；
2、如图5所示利用参考影像和数字高程模型模拟生成该地区光学线阵推扫卫星影像；
3、在模拟影像的内外方位元素的辅助下，采用基于灰度的影像匹配方法，在参考影像和模拟影像上匹配得到若干同名点，即本发明的步骤2-步骤4，如图6-9所示
4、利用上述匹配结果，采用步骤5、步骤6的方法，完成光学卫星影像特征匹配深度学习训练样本集的自动构建。

Claims (1)

1.光学卫星影像特征匹配深度学习训练样本集自动构建方法，其特征在于，包括如下步骤：
步骤1、对卫星成像过程进行全链路模拟，利用参考影像、数字高程模型得到模拟影像和对应的内外方位元素；
步骤2、利用基于灰度或者基于特征的方法在参考影像和模拟影像上进行特征提取，得到若干特征点；
步骤3、参考影像上的特征点坐标为(x1,y1)，根据影像内外方位元素构建严格成像模型，计算其在模拟影像上的坐标(x2,y2)；
步骤4、假定严格成像模型的像方投影误差中误差为δ，在模拟影像上以(x2,y2)为圆心、δ为半径搜索特征点，对于落入其中的特征点，利用常规匹配方法验证其是否为同名点，如果为同名点，则构成一对特征匹配训练正样本；
步骤5、逐一计算参考影像上的特征点，完成正样本集的构建；
步骤6、随机在参考影像和模拟影像上选取一定数量的特征点，构成负样本集的构建。
CN202010789212.8A 2020-08-07 2020-08-07 光学卫星影像特征匹配深度学习训练样本集自动构建方法 Active CN111950433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010789212.8A CN111950433B (zh) 2020-08-07 2020-08-07 光学卫星影像特征匹配深度学习训练样本集自动构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010789212.8A CN111950433B (zh) 2020-08-07 2020-08-07 光学卫星影像特征匹配深度学习训练样本集自动构建方法

Publications (2)

Publication Number Publication Date
CN111950433A true CN111950433A (zh) 2020-11-17
CN111950433B CN111950433B (zh) 2023-09-12

Family

ID=73332980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010789212.8A Active CN111950433B (zh) 2020-08-07 2020-08-07 光学卫星影像特征匹配深度学习训练样本集自动构建方法

Country Status (1)

Country Link
CN (1) CN111950433B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581595A (zh) * 2020-12-02 2021-03-30 中国人民解放军战略支援部队航天工程大学 一种多视角卫星影像一致性分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711444A (zh) * 2018-12-18 2019-05-03 中国科学院遥感与数字地球研究所 一种新的基于深度学习的遥感影像配准方法
CN111414968A (zh) * 2020-03-26 2020-07-14 西南交通大学 一种基于卷积神经网络特征图的多模态遥感影像匹配方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711444A (zh) * 2018-12-18 2019-05-03 中国科学院遥感与数字地球研究所 一种新的基于深度学习的遥感影像配准方法
CN111414968A (zh) * 2020-03-26 2020-07-14 西南交通大学 一种基于卷积神经网络特征图的多模态遥感影像匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
戴激光;宋伟东;贾永红;张谦;: "一种新的异源高分辨率光学卫星遥感影像自动匹配算法", 测绘学报, no. 01 *
马超;赵西安;王青松;: "基于均匀特征匹配的无人机影像拼接", 北京建筑工程学院学报, no. 04 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581595A (zh) * 2020-12-02 2021-03-30 中国人民解放军战略支援部队航天工程大学 一种多视角卫星影像一致性分析方法
CN112581595B (zh) * 2020-12-02 2023-12-19 中国人民解放军战略支援部队航天工程大学 一种多视角卫星影像一致性分析方法

Also Published As

Publication number Publication date
CN111950433B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN111862126B (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
Chen et al. Feature detection and description for image matching: from hand-crafted design to deep learning
CN111652892A (zh) 一种基于深度学习的遥感影像建筑物矢量提取及优化方法
CN112489096B (zh) 基于图匹配模型的低配准精度下遥感图像变化检测方法
CN112883850B (zh) 一种基于卷积神经网络的多视角空天遥感图像匹配方法
CN104077760A (zh) 一种航空摄影测量的快速拼接系统及其实现方法
CN110487286B (zh) 基于点特征投影与激光点云融合的机器人位姿判断方法
CN114332348B (zh) 一种融合激光雷达与图像数据的轨道三维重建方法
CN110490915B (zh) 一种基于卷积受限玻尔兹曼机的点云配准方法
CN116503705B (zh) 一种数字城市多源数据的融合方法
CN115619826A (zh) 一种基于重投影误差和深度估计的动态slam方法
CN110837839A (zh) 一种高精度无人机正射影像制作及数据采集方法
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN111798453A (zh) 用于无人驾驶辅助定位的点云配准方法及其系统
CN113538585B (zh) 基于无人机的高精度多目标智能识别定位追踪方法及系统
CN111950433B (zh) 光学卫星影像特征匹配深度学习训练样本集自动构建方法
CN109255794B (zh) 一种标准件深度全卷积特征边缘检测方法
CN107330436B (zh) 一种基于尺度判据的全景图像sift优化方法
CN114399547B (zh) 一种基于多帧的单目slam鲁棒初始化方法
CN116385477A (zh) 一种基于图像分割的杆塔图像配准方法
CN114913289A (zh) 一种生产车间三维动态不确定性语义slam方法
CN113487741B (zh) 稠密三维地图更新方法及装置
JPH09245168A (ja) 画像認識装置
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
KR102249380B1 (ko) 기준 영상 정보를 이용한 cctv 장치의 공간 정보 생성 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant