CN113743515A - 基于自监督自学习特征点的遥感影像特征匹配方法 - Google Patents

基于自监督自学习特征点的遥感影像特征匹配方法 Download PDF

Info

Publication number
CN113743515A
CN113743515A CN202111050440.4A CN202111050440A CN113743515A CN 113743515 A CN113743515 A CN 113743515A CN 202111050440 A CN202111050440 A CN 202111050440A CN 113743515 A CN113743515 A CN 113743515A
Authority
CN
China
Prior art keywords
remote sensing
sensing image
feature
training
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111050440.4A
Other languages
English (en)
Other versions
CN113743515B (zh
Inventor
李传广
许玉斌
王旭辉
闫丽阳
邵晓晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Perception World Beijing Information Technology Co ltd
China Academy of Civil Aviation Science and Technology
Original Assignee
Perception World Beijing Information Technology Co ltd
China Academy of Civil Aviation Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Perception World Beijing Information Technology Co ltd, China Academy of Civil Aviation Science and Technology filed Critical Perception World Beijing Information Technology Co ltd
Priority to CN202111050440.4A priority Critical patent/CN113743515B/zh
Publication of CN113743515A publication Critical patent/CN113743515A/zh
Application granted granted Critical
Publication of CN113743515B publication Critical patent/CN113743515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自监督自学习特征点的遥感影像特征匹配方法，A、采集得到三维数据库，B、构建特征点提取网络并对训练集的三维数据进行特征点提取训练，训练得到特征点模型m1；C、通过孪生特征点提取网络以随机选取两个遥感影像对为训练数据、特征点label1为真值进行特征点训练；D、通过孪生特征点提取网络以随机选取两个遥感影像对为训练数据、特征点labelk为真值进行特征点训练；E、采用特征点提取网络进行特征点提取训练并得到特征点labeln，通过特征匹配网络对遥感影像对进行特征点匹配训练。本发明基于真实特征点以及遥感影像对之间配准匹配关系作为特征点的描述子，利用特征匹配网络来实现遥感影像的匹配功能，提高了特征匹配效率和精准度。

Description

基于自监督自学习特征点的遥感影像特征匹配方法
技术领域
本发明涉及遥感影像特征匹配领域，尤其涉及一种基于自监督自学习特征点的遥感影像特征匹配方法。
背景技术
影像匹配旨在将两幅影像中具有相同或相似属性的内容或结构进行像素上的识别、对齐、匹配。一般而言，待匹配的影像通常取自相同或相似的场景或目标，或者具有相同形状或语义信息的其他类型影像对，从而具有一定的可匹配性。由于深度学习方法对影像的深层特征有着优越的学习和表达能力，目前已在影像匹配问题上取得初步成效。深度学习在影像匹配中最主要的应用是直接从包含相同或相似结构内容的影像对中学习到像素级别的匹配关系，其主要应用形式包括(1)直接设计一个端到端的匹配网络，用于学习从影像中检测更精确可靠的特征点集、学习每个特征点的主要方向或主要尺度及其更具有区分性和可匹配能力的特征描述子。(2)深度学习方法可获取影像块之间的深层特征，并度量特征之间相似性以此来建立对应关系，一般用于提取好的特征点并构建描述子、影像检索以及影像配准等方面。
但目前基于深度学习的影像匹配严重依赖于大量的人工标注作为可用于训练的真实特征点，对于遥感影像来说，其多时相，多传感器等特点产生的大量影像数据，其光照角度，拍摄条件等因素不但会给影像匹配的过程带来误差影响，同时在人工标注真实特征点的过程中，也增加了标注难度，极大的提高了标注成本。
发明内容
针对现有技术存在的不足之处，本发明的目的在于提供一种基于自监督自学习特征点的遥感影像特征匹配方法，根据三维数据库中的遥感影像数据选取配准得到遥感影像对，通过特征点提取网络进行特征点提取训练并得到特征点模型m1，通过特征点提取网络基于特征点模型m1进行数据反复训练得到特征点模型mn、特征点labeln，然后通过特征匹配网络进行训练得到遥感图像匹配模型s1。
本发明的目的通过下述技术方案实现：
一种基于自监督自学习特征点的遥感影像特征匹配方法，其方法如下：
A、采集得到三维数据库，三维数据库中的三维数据为遥感影像数据；从三维数据库中选取数据配准的三维数据组成遥感影像对，每个遥感影像对包括两个三维数据，由此形成若干个遥感影像对，对遥感影像对进行进行ID编号；对所有遥感影像对进行数据预处理作业，数据预处理作业包括影像对同时剪切、旋转镜像、影像清晰对比度调节、影像高斯模糊；
B、将所有遥感影像对进行分割分类成训练集和测试集，训练集中的遥感影像对与测试集中的遥感影像对数量比为8～9:1；构建特征点提取网络并对训练集中的三维数据进行特征点提取训练，训练完成得到特征点模型m1；
C、从训练集中随机选取两个遥感影像对，采用特征点提取网络基于特征点模型m1对随机选取两个遥感影像对中的第一个遥感影像对进行特征点提取训练，得到遥感影像对的特征点label1；构建孪生特征点提取网络，通过孪生特征点提取网络以随机选取两个遥感影像对为训练数据、特征点label1为真值进行特征点训练，训练得到特征点模型m2；
D、从训练集中随机选取两个遥感影像对，采用特征点提取网络基于特征点模型m2对随机选取两个遥感影像对中的第一个遥感影像对进行特征点提取训练，得到遥感影像对的特征点label2；通过孪生特征点提取网络以随机选取两个遥感影像对为训练数据、特征点label2为真值进行特征点训练，训练得到特征点模型m3；……，从训练集中随机选取两个遥感影像对，采用特征点提取网络基于特征点模型mk对随机选取两个遥感影像对中的第一个遥感影像对进行特征点提取训练，得到遥感影像对的特征点labelk；通过孪生特征点提取网络以随机选取两个遥感影像对为训练数据、特征点labelk为真值进行特征点训练，训练得到特征点模型mn，n＝k+1；
E、采用特征点提取网络基于特征点模型mn对测试集或训练集中的任一个遥感影像对进行特征点提取训练，得到遥感影像对的特征点labeln；构建特征匹配网络，通过特征匹配网络以特征点labeln为真值对测试集或/和训练集中的遥感影像对进行特征点匹配训练，匹配时采用匹配关系来约束特征点描述子，训练完成生成遥感图像匹配模型s1。
本发明还包括如下方法：
F、基于生成遥感图像匹配模型s1对测试集中的遥感影像对进行特征点匹配测试。
优选地，本发明步骤B中的特征点提取网络结构为基于语义分割的encoder-decoder结构，encoder-decoder结构包括encoder部分和decoder部分，encoder部分采用VGG类型的全卷积网络，encoder部分包括八个卷积层与四个最大池化层，decoder部分包括oftmax特征点函数采样模型与reshape特征点采样模型。
优选地，本发明步骤D中的孪生特征点提取网络结构为基于语义分割的孪生encoder-decoder结构，孪生encoder-decoder结构包括孪生encoder部分和合并decoder部分，孪生encoder部分包括采用两个权重共享的encoder单元，encoder单元采用VGG类型的全卷积网络，encoder单元包括八个卷积层与四个最大池化层；合并decoder部分对两个encoder单元进行数据合并，合并decoder部分包括oftmax特征点函数采样模型与reshape特征点采样模型。
优选地，本发明步骤E中特征匹配网络结构采用encoder-decoder网络匹配结构，encoder-decoder网络匹配结构包括两个encoder单元和两个decoder单元，encoder-decoder网络匹配结构的两个encoder单元与两个decoder单元一一对应，encoder单元采用VGG类型的全卷积网络，encoder单元包括八个卷积层与四个最大池化层；decoder单元包括oftmax特征点函数采样模型与reshape特征点采样模型，decoder单元具有描述子生成网络。
优选地，本发明步骤A中三维数据库中选取的遥感影像对的数据配准要求在90％以上，数据配准指标包括特征点数量、特征点位置。
优选地，本发明步骤A中三维数据库中的三维数据来源于遥感影像设备，采集三维数据需对遥感影像进行剪切并使得剪切后遥感影像长宽大小为8的倍数，将剪切后遥感影像存储到三维数据库中。
优选地，本发明步骤A中遥感影像数据包括几何结构，几何结构包括点、线、面、立面体。
本发明较现有技术相比，具有以下优点及有益效果：
(1)本发明根据三维数据库中的遥感影像数据选取配准得到遥感影像对，通过特征点提取网络进行特征点提取训练并得到特征点模型m1，通过特征点提取网络基于特征点模型m1进行数据反复训练得到特征点模型mn、特征点labeln，然后通过特征匹配网络进行训练得到遥感图像匹配模型s1。
(2)本发明利用自监督特征点学习的方法来提取遥感影像对中的真实特征点，并基于真实特征点以及遥感影像对之间配准匹配关系作为特征点的描述子，利用改进的superpoint特征匹配网络来实现遥感影像的匹配功能，提高了特征匹配效率和精准度。
附图说明
图1为本实施例特征点提取网络的原理示意图；
图2为本实施例孪生特征点提取网络的原理示意图；
图3为本实施例特征匹配网络的原理示意图；
图4为图3中特征点提取网络及描述子学习网络的原理示意图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明：
实施例
如图1～图4所示，一种基于自监督自学习特征点的遥感影像特征匹配方法，其方法如下：
A、采集得到三维数据库，三维数据库中的三维数据为遥感影像数据(三维数据又称遥感影像数据，三维数据可以来源于各类遥感影像设备，三维数据也可以为虚拟三维数据，三维数据泛指记录有三维建筑物等遥感影像)，本实施例中遥感影像数据包括几何结构，几何结构包括点、线、面、立面体(遥感影像数据的影像中包括线、立方体、三角形等基础几何结构内容，还包括角点等真值特征点存在，该遥感影像数据可来源于各类遥感影像设备进行合成的数据，也可来源某个遥感影像设备)。从三维数据库中选取数据配准的三维数据组成遥感影像对，每个遥感影像对包括两个三维数据，由此形成若干个遥感影像对，对遥感影像对进行进行ID编号；对所有遥感影像对进行数据预处理作业，数据预处理作业包括影像对同时剪切、旋转镜像、影像清晰对比度调节、影像高斯模糊等。
优选地，本实施例步骤A中三维数据库中选取的遥感影像对(遥感影像对可以为不同时相、不同光照下同区域的遥感影像对)的数据配准要求在90％以上，数据配准指标主要包括特征点数量、特征点位置。本实施例所选取的遥感影像对对于数据配准要求严格，所选取的遥感影像对(尤其是训练集中的遥感影像对)进行严格配准(数据配准要求在90％以上)。
优选地，本实施例步骤A中三维数据库中的三维数据来源于遥感影像设备，采集三维数据需对遥感影像进行剪切并使得剪切后遥感影像长宽大小为8的倍数，将剪切后遥感影像存储到三维数据库中。遥感影像长宽倍数根据所来源的遥感影像设备设定，考虑到硬件设备的差异等，本实施例在影像对剪切时只需长宽大小为8的倍数即可，具体剪切大小可根据硬件设备情况自行调节。
B、将所有遥感影像对进行分割分类成训练集和测试集，训练集中的遥感影像对与测试集中的遥感影像对数量比为8～9:1；构建特征点提取网络并对训练集中的三维数据进行特征点提取训练，训练完成得到特征点模型m1。本实施例所采用的特征点提取网络结构原理参见图1，图中input指输入遥感影像(遥感影像是数据，遥感影像简称影像，遥感影像数据又称三维数据)；output指输出带有特征点的影像；H指输入影像的高；W指输入影像的宽；H/8指影像的高为原始影像的八分之一；W/8指影像的宽为原始影像的八分之一；Encoder指特征点提取过程中网络编码结构，本实施例主要采用VGG类型的网络，由八个卷积层以及四个最大池化层组成。Decoder指特征点提取过程中网络解码结构，主要由一个卷积、一个oftmax特征点函数采样模型(采用指归一化指数函数softmax，将图像各像素点是否为特征点以概率的形式表示出来)、一个reshape特征点采样模型(reshape指影像的上采样过程，将宽高为原始影像八分之一的特征点影像上采样为原始影像大小)组成。conv指卷积过程。
优选地，本实施例步骤B中的特征点提取网络结构为基于语义分割的encoder-decoder结构，encoder-decoder结构包括encoder部分和decoder部分，encoder部分采用VGG类型的全卷积网络，encoder部分包括八个卷积层与四个最大池化层，decoder部分包括oftmax特征点函数采样模型与reshape特征点采样模型。
C、从训练集中随机选取两个遥感影像对，采用特征点提取网络基于特征点模型m1对随机选取两个遥感影像对中的第一个遥感影像对进行特征点提取训练，得到遥感影像对的特征点label1；构建孪生特征点提取网络，通过孪生特征点提取网络以随机选取两个遥感影像对为训练数据、特征点label1为真值进行特征点训练，训练得到特征点模型m2。
D、从训练集中随机选取两个遥感影像对，采用特征点提取网络基于特征点模型m2对随机选取两个遥感影像对中的第一个遥感影像对进行特征点提取训练，得到遥感影像对的特征点label2；通过孪生特征点提取网络以随机选取两个遥感影像对为训练数据、特征点label2为真值进行特征点训练，训练得到特征点模型m3；……(按照步骤D前述方法依次训练，由此得到label3、label4……，特征点模型m4、特征点模型m5……，以得到label3、特征点模型m4为例，具体如下：从训练集中随机选取两个遥感影像对，采用特征点提取网络基于特征点模型m3对随机选取两个遥感影像对中的第一个遥感影像对进行特征点提取训练，得到遥感影像对的特征点label3；通过孪生特征点提取网络以随机选取两个遥感影像对为训练数据、特征点label3为真值进行特征点训练，训练得到特征点模型m4)，从训练集中随机选取两个遥感影像对，采用特征点提取网络基于特征点模型mk对随机选取两个遥感影像对中的第一个遥感影像对进行特征点提取训练，得到遥感影像对的特征点labelk；通过孪生特征点提取网络以随机选取两个遥感影像对为训练数据、特征点labelk为真值进行特征点训练，训练得到特征点模型mn，n＝k+1；
优选地，本实施例步骤D中的孪生特征点提取网络结构为基于语义分割的孪生encoder-decoder结构，孪生encoder-decoder结构包括孪生encoder部分和合并decoder部分，孪生encoder部分包括采用两个权重共享的encoder单元，encoder单元采用VGG类型的全卷积网络，encoder单元包括八个卷积层与四个最大池化层；合并decoder部分对两个encoder单元进行数据合并，合并decoder部分包括oftmax特征点函数采样模型与reshape特征点采样模型。
本实施例所采用的孪生特征点提取网络结构原理参见图2，图中input1或input2指输入遥感影像(遥感影像是数据，遥感影像简称影像，遥感影像数据又称三维数据)；output指输出带有特征点的影像；H指输入影像的高；W指输入影像的宽；H/8指影像的高为原始影像的八分之一；W/8指影像的宽为原始影像的八分之一；Encoder指特征点提取过程中网络编码结构，本实施例主要采用VGG类型的网络，由八个卷积层以及四个最大池化层组成，其包括两个encoder单元。Decoder指特征点提取过程中网络解码结构，主要由一个卷积、一个oftmax特征点函数采样模型(采用指归一化指数函数softmax，将图像各像素点是否为特征点以概率的形式表示出来)、一个reshape特征点采样模型(reshape指影像的上采样过程，将宽高为原始影像八分之一的特征点影像上采样为原始影像大小)组成。conv指卷积过程；add指两张输入影像进行通道间的相加。
E、采用特征点提取网络基于特征点模型mn对测试集中的任一个遥感影像对进行特征点提取训练，得到遥感影像对的特征点labeln(可用于特征点提取与特征描述子的生成)；构建特征匹配网络，通过特征匹配网络以特征点labeln为真值对测试集训练集中的遥感影像对进行特征点匹配训练，匹配时采用匹配关系来约束特征点描述子，训练完成生成遥感图像匹配模型s1。
优选地，本实施例步骤E中特征匹配网络结构采用encoder-decoder网络匹配结构，encoder-decoder网络匹配结构包括两个encoder单元和两个decoder单元，encoder-decoder网络匹配结构的两个encoder单元与两个decoder单元一一对应，encoder单元采用VGG类型的全卷积网络，encoder单元包括八个卷积层与四个最大池化层；decoder单元包括oftmax特征点函数采样模型与reshape特征点采样模型，decoder单元具有描述子生成网络。
本实施例所采用的特征匹配网络结构原理参见图3、图4，图中input1或input2指输入遥感影像(遥感影像是数据，遥感影像简称影像，遥感影像数据又称三维数据)；output1或outpu2指输出带有特征点的影像；H指输入影像的高；W指输入影像的宽；H/8指影像的高为原始影像的八分之一；W/8指影像的宽为原始影像的八分之一；Encoder指特征点提取过程中网络编码结构，本实施例主要采用VGG类型的网络，由八个卷积层以及四个最大池化层组成，其包括两个encoder单元。Decoder指特征点提取过程中网络解码结构，主要由一个卷积、一个oftmax特征点函数采样模型(采用指归一化指数函数softmax，将图像各像素点是否为特征点以概率的形式表示出来)、一个reshape特征点采样模型(reshape指影像的上采样过程，将宽高为原始影像八分之一的特征点影像上采样为原始影像大小)组成。conv指卷积过程；add指两张输入影像进行通道间的相加。Interest Points Network指特征点提取网络；Descriptors Networks指描述子生成网络。Bi-Cubic Interpolate:指双三次插值过程；L2-Norm指L2范数。
F、基于生成遥感图像匹配模型s1对测试集中的遥感影像对进行特征点匹配测试。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于自监督自学习特征点的遥感影像特征匹配方法，其特征在于：其方法如下：
A、采集得到三维数据库，三维数据库中的三维数据为遥感影像数据；从三维数据库中选取数据配准的三维数据组成遥感影像对，每个遥感影像对包括两个三维数据，由此形成若干个遥感影像对，对遥感影像对进行进行ID编号；对所有遥感影像对进行数据预处理作业，数据预处理作业包括影像对同时剪切、旋转镜像、影像清晰对比度调节、影像高斯模糊；
B、将所有遥感影像对进行分割分类成训练集和测试集，训练集中的遥感影像对与测试集中的遥感影像对数量比为8～9:1；构建特征点提取网络并对训练集中的三维数据进行特征点提取训练，训练完成得到特征点模型m1；
C、从训练集中随机选取两个遥感影像对，采用特征点提取网络基于特征点模型m1对随机选取两个遥感影像对中的第一个遥感影像对进行特征点提取训练，得到遥感影像对的特征点label1；构建孪生特征点提取网络，通过孪生特征点提取网络以随机选取两个遥感影像对为训练数据、特征点label1为真值进行特征点训练，训练得到特征点模型m2；
D、从训练集中随机选取两个遥感影像对，采用特征点提取网络基于特征点模型m2对随机选取两个遥感影像对中的第一个遥感影像对进行特征点提取训练，得到遥感影像对的特征点label2；通过孪生特征点提取网络以随机选取两个遥感影像对为训练数据、特征点label2为真值进行特征点训练，训练得到特征点模型m3；……，从训练集中随机选取两个遥感影像对，采用特征点提取网络基于特征点模型mk对随机选取两个遥感影像对中的第一个遥感影像对进行特征点提取训练，得到遥感影像对的特征点labelk；通过孪生特征点提取网络以随机选取两个遥感影像对为训练数据、特征点labelk为真值进行特征点训练，训练得到特征点模型mn，n＝k+1；
E、采用特征点提取网络基于特征点模型mn对测试集或训练集中的任一个遥感影像对进行特征点提取训练，得到遥感影像对的特征点labeln；构建特征匹配网络，通过特征匹配网络以特征点labeln为真值对测试集或/和训练集中的遥感影像对进行特征点匹配训练，匹配时采用匹配关系来约束特征点描述子，训练完成生成遥感图像匹配模型s1。
2.按照权利要求1所述的基于自监督自学习特征点的遥感影像特征匹配方法，其特征在于：还包括如下方法：
F、基于生成遥感图像匹配模型s1对测试集中的遥感影像对进行特征点匹配测试。
3.按照权利要求1所述的基于自监督自学习特征点的遥感影像特征匹配方法，其特征在于：步骤B中的特征点提取网络结构为基于语义分割的encoder-decoder结构，encoder-decoder结构包括encoder部分和decoder部分，encoder部分采用VGG类型的全卷积网络，encoder部分包括八个卷积层与四个最大池化层，decoder部分包括oftmax特征点函数采样模型与reshape特征点采样模型。
4.按照权利要求1所述的基于自监督自学习特征点的遥感影像特征匹配方法，其特征在于：步骤D中的孪生特征点提取网络结构为基于语义分割的孪生encoder-decoder结构，孪生encoder-decoder结构包括孪生encoder部分和合并decoder部分，孪生encoder部分包括采用两个权重共享的encoder单元，encoder单元采用VGG类型的全卷积网络，encoder单元包括八个卷积层与四个最大池化层；合并decoder部分对两个encoder单元进行数据合并，合并decoder部分包括oftmax特征点函数采样模型与reshape特征点采样模型。
5.按照权利要求1所述的基于自监督自学习特征点的遥感影像特征匹配方法，其特征在于：步骤E中特征匹配网络结构采用encoder-decoder网络匹配结构，encoder-decoder网络匹配结构包括两个encoder单元和两个decoder单元，encoder-decoder网络匹配结构的两个encoder单元与两个decoder单元一一对应，encoder单元采用VGG类型的全卷积网络，encoder单元包括八个卷积层与四个最大池化层；decoder单元包括oftmax特征点函数采样模型与reshape特征点采样模型，decoder单元具有描述子生成网络。
6.按照权利要求1所述的基于自监督自学习特征点的遥感影像特征匹配方法，其特征在于：步骤A中三维数据库中选取的遥感影像对的数据配准要求在90％以上，数据配准指标包括特征点数量、特征点位置。
7.按照权利要求1所述的基于自监督自学习特征点的遥感影像特征匹配方法，其特征在于：步骤A中三维数据库中的三维数据来源于遥感影像设备，采集三维数据需对遥感影像进行剪切并使得剪切后遥感影像长宽大小为8的倍数，将剪切后遥感影像存储到三维数据库中。
8.按照权利要求1所述的基于自监督自学习特征点的遥感影像特征匹配方法，其特征在于：步骤A中遥感影像数据包括几何结构，几何结构包括点、线、面、立面体。
CN202111050440.4A 2021-09-08 2021-09-08 基于自监督自学习特征点的遥感影像特征匹配方法 Active CN113743515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111050440.4A CN113743515B (zh) 2021-09-08 2021-09-08 基于自监督自学习特征点的遥感影像特征匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111050440.4A CN113743515B (zh) 2021-09-08 2021-09-08 基于自监督自学习特征点的遥感影像特征匹配方法

Publications (2)

Publication Number Publication Date
CN113743515A true CN113743515A (zh) 2021-12-03
CN113743515B CN113743515B (zh) 2022-03-11

Family

ID=78737087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111050440.4A Active CN113743515B (zh) 2021-09-08 2021-09-08 基于自监督自学习特征点的遥感影像特征匹配方法

Country Status (1)

Country Link
CN (1) CN113743515B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463549A (zh) * 2021-12-29 2022-05-10 广州极飞科技股份有限公司 特征提取网络模型的训练方法、图像处理方法及其装置
CN114463547A (zh) * 2021-12-29 2022-05-10 广州极飞科技股份有限公司 特征提取网络模型的训练方法、图像处理方法及其装置
CN115186119A (zh) * 2022-09-07 2022-10-14 深圳市华曦达科技股份有限公司 基于图文结合的图片处理方法、系统和可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784223A (zh) * 2018-12-28 2019-05-21 珠海大横琴科技发展有限公司 一种基于卷积神经网络的多时相遥感影像匹配方法及系统
CN111028277A (zh) * 2019-12-10 2020-04-17 中国电子科技集团公司第五十四研究所 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法
CN111127538A (zh) * 2019-12-17 2020-05-08 武汉大学 一种基于卷积循环编码-解码结构的多视影像三维重建方法
CN111161218A (zh) * 2019-12-10 2020-05-15 核工业北京地质研究院 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN111369601A (zh) * 2020-02-12 2020-07-03 西北工业大学 一种基于孪生网络的遥感图像配准方法
CN111612066A (zh) * 2020-05-21 2020-09-01 成都理工大学 基于深度融合的卷积神经网络的遥感图像分类方法
CN111832501A (zh) * 2020-07-20 2020-10-27 中国人民解放军战略支援部队航天工程大学 一种面向卫星在轨应用的遥感影像文本智能描述方法
CN112668494A (zh) * 2020-12-31 2021-04-16 西安电子科技大学 基于多尺度特征提取的小样本变化检测方法
CN112883850A (zh) * 2021-02-03 2021-06-01 湖北工业大学 一种基于卷积神经网络的多视角空天遥感图像匹配方法
CN113223068A (zh) * 2021-05-31 2021-08-06 西安电子科技大学 一种基于深度全局特征的多模态图像配准方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784223A (zh) * 2018-12-28 2019-05-21 珠海大横琴科技发展有限公司 一种基于卷积神经网络的多时相遥感影像匹配方法及系统
CN111028277A (zh) * 2019-12-10 2020-04-17 中国电子科技集团公司第五十四研究所 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法
CN111161218A (zh) * 2019-12-10 2020-05-15 核工业北京地质研究院 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN111127538A (zh) * 2019-12-17 2020-05-08 武汉大学 一种基于卷积循环编码-解码结构的多视影像三维重建方法
CN111369601A (zh) * 2020-02-12 2020-07-03 西北工业大学 一种基于孪生网络的遥感图像配准方法
CN111612066A (zh) * 2020-05-21 2020-09-01 成都理工大学 基于深度融合的卷积神经网络的遥感图像分类方法
CN111832501A (zh) * 2020-07-20 2020-10-27 中国人民解放军战略支援部队航天工程大学 一种面向卫星在轨应用的遥感影像文本智能描述方法
CN112668494A (zh) * 2020-12-31 2021-04-16 西安电子科技大学 基于多尺度特征提取的小样本变化检测方法
CN112883850A (zh) * 2021-02-03 2021-06-01 湖北工业大学 一种基于卷积神经网络的多视角空天遥感图像匹配方法
CN113223068A (zh) * 2021-05-31 2021-08-06 西安电子科技大学 一种基于深度全局特征的多模态图像配准方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463549A (zh) * 2021-12-29 2022-05-10 广州极飞科技股份有限公司 特征提取网络模型的训练方法、图像处理方法及其装置
CN114463547A (zh) * 2021-12-29 2022-05-10 广州极飞科技股份有限公司 特征提取网络模型的训练方法、图像处理方法及其装置
CN114463547B (zh) * 2021-12-29 2025-03-07 广州极飞科技股份有限公司 特征提取网络模型的训练方法、图像处理方法及其装置
CN115186119A (zh) * 2022-09-07 2022-10-14 深圳市华曦达科技股份有限公司 基于图文结合的图片处理方法、系统和可读存储介质
CN115186119B (zh) * 2022-09-07 2022-12-06 深圳市华曦达科技股份有限公司 基于图文结合的图片处理方法、系统和可读存储介质

Also Published As

Publication number Publication date
CN113743515B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN113743515B (zh) 基于自监督自学习特征点的遥感影像特征匹配方法
CN111050219B (zh) 用于利用空间-时间记忆网络处理视频内容的方法和系统
CN111627065B (zh) 一种视觉定位方法及装置、存储介质
CN114359283B (zh) 基于Transformer的缺陷检测方法和电子设备
CN111127538B (zh) 一种基于卷积循环编码-解码结构的多视影像三维重建方法
CN110197505B (zh) 基于深度网络及语义信息的遥感图像双目立体匹配方法
CN110866934B (zh) 基于规范性编码的复杂点云分割方法及系统
CN110910390A (zh) 一种基于深度畸变卷积的全景三维彩色点云语义分割方法
CN113160291B (zh) 一种基于图像配准的变化检测方法
CN111768452A (zh) 一种基于深度学习的非接触式自动贴图方法
CN107392131A (zh) 一种基于人体骨骼节点距离的动作识别方法
CN116258970B (zh) 一种融合遥感图像与点云数据的地理要素识别方法
CN114638866B (zh) 一种基于局部特征学习的点云配准方法及系统
GB2579262A (en) Space-time memory network for locating target object in video content
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN113313031A (zh) 一种基于深度学习的车道线检测和车辆横向定位方法
CN112149535A (zh) 一种结合SegNet和U-Net的车道线检测方法和装置
CN117115359A (zh) 一种基于深度图融合的多视图电网三维空间数据重建方法
CN116222577B (zh) 闭环检测方法、训练方法、系统、电子设备及存储介质
CN115035193A (zh) 一种基于双目视觉与图像分割技术的散装粮随机扦样方法
CN112288626B (zh) 一种基于双路径深度融合的人脸幻构方法及系统
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
CN114399681B (zh) 电力能源设备识别方法、装置和终端设备
CN113763539A (zh) 一种基于图像和三维输入的隐式函数三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant