CN114359359B - 多任务光学和sar遥感图像配准方法、设备和介质 - Google Patents

多任务光学和sar遥感图像配准方法、设备和介质 Download PDF

Info

Publication number
CN114359359B
CN114359359B CN202210234560.8A CN202210234560A CN114359359B CN 114359359 B CN114359359 B CN 114359359B CN 202210234560 A CN202210234560 A CN 202210234560A CN 114359359 B CN114359359 B CN 114359359B
Authority
CN
China
Prior art keywords
sar
image
optical
registered
denoising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210234560.8A
Other languages
English (en)
Other versions
CN114359359A (zh
Inventor
程建达
谢雨臻
项德良
胡粲彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Chemical Technology
Original Assignee
Beijing University of Chemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Chemical Technology filed Critical Beijing University of Chemical Technology
Priority to CN202210234560.8A priority Critical patent/CN114359359B/zh
Publication of CN114359359A publication Critical patent/CN114359359A/zh
Application granted granted Critical
Publication of CN114359359B publication Critical patent/CN114359359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种多任务光学和SAR遥感图像配准方法、设备和介质。其中方法包括：根据参考光学图像和待配准SAR图像的二维熵，确定光学图像块尺寸和SAR图像块尺寸；根据光学图像块尺寸和SAR图像块尺寸，将所述参考光学图像和待配准SAR图像划分为多个参考光学图像块和多个待配准SAR图像块；将所述多个参考光学图像块和多个待配准SAR图像块输入训练好的双分支全卷积网络的光学分支和SAR分支，得到所述多个待配准SAR图像块的多个SAR特征；根据所述多个光学特征和所述多个SAR特征，确定所述参考光学图像和所述待配准SAR图像的匹配特征点对。本实施例能够提高配准精度。

Description

多任务光学和SAR遥感图像配准方法、设备和介质
技术领域
本发明实施例涉及遥感图像处理技术领域，尤其涉及一种多任务光学和SAR遥感图像配准方法、设备和介质。
背景技术
由于不同遥感设备成像机理的差异，遥感图像间往往具有不同的特征，将多模态遥感图像融合解译变得越来越重要。多模态图像配准是多模态图像融合解译的前提，特别是光学遥感图像和SAR遥感图像的配准，对于多模态信息融合显示具有重要的意义。
现有的基于深度学习的配准方法，通常以待配准特征点为中心，将待配准图像划分为多个图像块。在图像块划分中容易破坏完整的地物内容，例如，待配准图像中包括一栋建筑，图像块将该栋建筑划分成多个部分。由于缺乏完整的地物内容，导致图像块的配准结果严重失真。
发明内容
本发明实施例提供一种多任务光学和SAR遥感图像配准方法、设备和介质，以解决上述技术问题。
第一方面，本发明实施例提供了一种多任务光学和SAR遥感图像配准方法，包括：
根据参考光学图像的二维熵，确定所述参考光学图像的光学图像块尺寸；同时根据待配准SAR图像的二维熵，确定所述待配准SAR图像的SAR图像块尺寸；
根据所述参考光学图像的预特征点和所述光学图像块尺寸，将所述参考光学图像划分为多个参考光学图像块；同时，根据所述待配准SAR图像的预特征点和所述SAR图像块尺寸，将所述待配准SAR图像划分为多个待配准SAR图像块；
将所述多个参考光学图像块输入训练好的双分支全卷积网络的光学分支，得到所述多个参考光学图像块的多个光学特征；同时，将所述多个待配准SAR图像块输入所述训练好的双分支全卷积网络的SAR分支，得到所述多个待配准SAR图像块的多个SAR特征；
根据所述多个光学特征和所述多个SAR特征，确定所述参考光学图像和所述待配准SAR图像的匹配特征点对；
其中，所述光学分支和所述SAR分支的网络结构相同。
第二方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任一实施例所述的多任务光学和SAR遥感图像配准方法。
第三方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的多任务光学和SAR遥感图像配准方法。
本发明实施例的技术效果如下：
1. 本实施例采用二维熵反映待配准图像的地物内容丰富程度，为内容丰富的图像选取较大的图像块尺寸，实现了图像块尺寸的自适应选取，在减少图像块间的重叠的同时，保持图像块地物内容的完整性，保证了双分支全卷积网络能够基于完整的地物内容识别到正确的匹配特征点对，提高了网络的鲁棒性；
2. 本实施例在图像块尺寸的自适应选取中，设定了有限数量的SAR图像块尺寸选项，避免由于二维熵的数值多样性产生过多的图像块尺寸，减小原本应当匹配的待配准SAR图像块和参考光学图像块因具有不同的尺寸而出现配准错误的概率。通过这一方式，在保证地物完整性的同时，进一步提高网络的稳定性；
3. 本实施例利用双分支全卷积网络提取参考光学图像的光学特征和待配准SAR图像的SAR特征，通过所有光学特征确定的第一匹配特征对集合，以及所有SAR特征确定的第二匹配特征对集合，确定最终的匹配特征点对，实现了匹配点对的双向筛选和过滤，保证了匹配点对的准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种多任务光学和SAR遥感图像配准方法的流程图；
图2是本发明实施例提供的双分支全卷积网络的结构示意图；
图3是本发明实施例提供的深度去噪网的结构示意图
图4是本发明实施例提供的深度去噪网络和双分支全卷积网络连接的示意图；
图5是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
图1是本发明实施例提供的一种多任务光学和SAR遥感图像配准方法的流程图，适用于对光学遥感图像和SAR遥感图像进行配准的情况，本实施例由电子设备执行。结合图1，本实施例提供的方法具体包括：
S10、根据参考光学图像的二维熵，确定所述参考光学图像的光学图像块尺寸；同时根据待配准SAR图像的二维熵，确定所述待配准SAR图像的SAR图像块尺寸。
参考光学图像为光学遥感图像。参考光学图像的二维熵用于确定参考光学图像的地物内容丰富度；地物内容越丰富，二维熵越大。本实施例根据参考光学图像的二维熵，确定所述参考光学图像的光学图像块尺寸。光学图像块尺寸用于对参考光学图像进行图像块划分，为地物内容丰富的图像确定较大的图像块，以保证划分得到的参考光学图像块能够保证地物信息的完整性，同时避免过多的图像块重叠。
具体来说，可选地，首先，根据以下公式计算所述参考光学图像的二维熵：
Figure 763518DEST_PATH_IMAGE001
其中,E opt 表示所述参考光学图像的二维熵，m表示所述参考光学图像中任一像素点的像素值，n表示所述任一像素点的邻域像素点的像素均值， f opt （m,n）表示二元组（m,n）在所述参考光学图像中出现的频数，S opt 表示所述参考光学图像的尺寸。
然后，根据以下公式，确定所述参考光学图像的光学图像块尺寸：
Figure 945100DEST_PATH_IMAGE002
其中，P1 opt 、P2 opt 和P3 opt 分别表示预设的光学图像块尺寸，P1 opt <P2 opt <P3 opt ；E opt 表示所述参考光学图像的二维熵，C1 opt 和C2 opt 分别表示预设的二维熵阈值，C1 opt < C2 opt 。由于过多的图像块尺寸会导致原本应当匹配的待配准SAR图像块和参考光学图像块具有不同的尺寸，使后续的双分支全卷积网络训练困难，因此本实施例设定了三种SAR图像块尺寸P1 opt 、P2 opt 和P3 opt 。可选地，P1 opt 、P2 opt 和P3 opt 分别为32、64和128。这三个尺寸大小能够使大部分光学图像中的地物内容保持完整，避免对地物内容产生分割。
同样地，待配准SAR图像为SAR遥感图像。待配准SAR图像的二维熵用于确定待配准SAR图像的地物内容丰富度；地物内容越丰富，二维熵越大。本实施例根据待配准SAR图像的二维熵，确定所述待配准SAR图像的SAR图像块尺寸。SAR图像块尺寸用于对待配准SAR图像进行图像块划分，为地物内容丰富的图像确定较大的图像块，以保证划分得到的待配准SAR图像块能够保证地物信息的完整性，同时避免过多的图像块重叠。
具体来说，可选地，首先，根据以下公式计算所述待配准SAR图像的二维熵：
Figure 603615DEST_PATH_IMAGE003
其中，E sar 表示所述待配准SAR图像的二维熵，m表示所述待配准SAR图像中任一像素点的像素值，n表示所述任一像素点的邻域像素点的像素均值，f sar （m,n）表示二元组（m, n）在所述待配准SAR图像中出现的频数，S sar 表示所述待配准SAR图像的尺寸。
然后，根据以下公式，确定所述待配准SAR图像的SAR图像块尺寸：
Figure 503438DEST_PATH_IMAGE004
其中，P1 sar 、P2 sar 和P3 sar 分别表示预设的SAR图像块尺寸，其中，P1 sar < P2 sar <P3 sar ；E sar 表示所述待配准SAR图像的二维熵，C1 sar 和C2 sar 分别表示预设的二维熵阈值，其中，C1 sar <C2 sar 。可选地，P1 sar 、P2 sar 和P3 sar 分别为32、64和128。
S20、根据所述参考光学图像的预特征点和所述光学图像块尺寸，将所述参考光学图像划分为多个参考光学图像块；同时，根据所述待配准SAR图像的预特征点和所述SAR图像块尺寸，将所述待配准SAR图像划分为多个待配准SAR图像块。
参考光学图像的预特征点指从该图像中预先提取的、能够代表该图像中地物内容特征的像素点。预特征点将作为参考光学图像块的中心点，用于参考光学图像块的划分。
具体来说，可选地，首先，利用亚像素级Harris角点提取算法，提取参考光学图像的预特征点，记为：
Figure 413756DEST_PATH_IMAGE005
其中，x 1i 和y 1i 分别表示第i个预特征点的二维坐标。
然后，以参考光学图像的每个预特征点为中心，将所述参考光学图像划分为多个参考光学图像块，每个参考光学图像块的大小均为所述光学图像块尺寸。需要说明的是，一幅参考光学图像对应一个二维熵，该二维熵对应一个光学图像块尺寸。因此，同一幅参考光学图像划分的所有参考光学图像块的大小都是相等的，等于所述光学图像块尺寸。
同样地，待配准SAR图像的预特征点指从该图像中预先提取的、能够代表该图像中地物内容特征的像素点。预特征点将作为待配准SAR图像块的中心点，用于待配准SAR图像块的划分。
具体来说，可选地，首先，利用亚像素级Harris角点提取算法，对待配准SAR图像进行预特征点提取，记为：
Figure 715424DEST_PATH_IMAGE006
其中，x 2j 和y 2j 分别表示第j个预特征点的二维坐标。
然后，以待配准SAR图像的每个预特征点为中心，将所述待配准SAR图像划分为多个待配准SAR图像块，每个待配准SAR图像块的大小均为所述SAR图像块尺寸。需要说明的是，一幅待配准SAR图像对应一个二维熵，该二维熵对应一个SAR图像块尺寸。因此，同一幅待配准SAR图像划分的所有待配准SAR图像块的大小都是相等的，等于所述SAR图像块尺寸。
图像配准任务中变换矩阵模型的优劣取决于关键点的精细程度。本实施例采用亚像素级Harris角点提取算法提取预特征点时，通过细分图像相邻的两像素，使得所提取的特征点更加精确，有利于提高配准精度。
S30、将所述多个参考光学图像块输入训练好的双分支全卷积网络的光学分支，得到所述多个参考光学图像块的多个光学特征；同时，将所述多个待配准SAR图像块输入所述训练好的双分支全卷积网络的SAR分支，得到所述多个待配准SAR图像块的多个SAR特征。
双分支全卷积网络用于提取待配准图像块的深度特征，包括并行的光学分支和SAR分支。光学分支用于提取参考光学图像块的深度特征，SAR分支用于提取待配准SAR图像块的深度特征。所述光学分支和所述SAR分支的网络结构相同，但网络权重不必然相同。
这是由于SAR图像和光学图像具有显著异构性，二者间的深度特征并不相同。而一般的孪生架构在并行网络之间的权重是共享的，输入会共享相似的图像特征，因此孪生架构不适用于两者的配准任务。本实施例采用不共享权重的双分支网络结构，并行处理参考光学图像块和待配准SAR图像块。
图2是本发明实施例提供的双分支全卷积网络的结构示意图。如图2所示，每个分支均具有七级卷积层，除最后一级外，每一级都具有批归一化处理和ReLU激活。在同一分支中，为了保持输入每级卷积层的特征图大小不变，卷积层之间使用大小为1的零填充，使上一级卷积层输出的特征图恢复到原始输入特征的大小。
光学特征是指光学分支的最后一级卷积层输出的深度特征。将任一参考光学图像块输入到光学分支后，得到所述任一参考光学图像块对应的光学特征。同样地，SAR特征是指SAR分支的最后一级卷积层输出的深度特征。将任一待配准SAR图像块输入到SAR分支后，得到所述任一待配准SAR图像块对应的SAR特征。
所述光学特征和所述SAR特征用于确定所述任一参考光学图像块和所述任一待配准SAR图像块之间的匹配程度。可选地，前六级卷积层使用3×3小卷积核，小卷积核可以增加网络的非线性，并且有效减小参数量，最后一级卷积层使用的滤波器大小为8×8或其他尺寸，使SAR特征和光学特征具有需要的尺寸。
S40、根据所述多个光学特征和所述多个SAR特征，确定所述参考光学图像和所述待配准SAR图像的匹配特征点对。
本实施例通过光学特征和SAR特征件（间）的误差平方和来确定参考光学图像块和待配准SAR图像块之间的匹配程度。误差平方和最小的特征对应最匹配的参考光学图像块和待配准SAR图像块，这两个图像块的中心点就是一个匹配特征点对。
具体来说，可选地，首先，将每个光学特征作为目标光学特征，分别计算所述目标光学特征与每个SAR特征的误差平方和；将误差平方和最小的SAR特征和所述目标光学特征作为第一匹配特征对。
误差平方和的计算公式如下：
Figure 544840DEST_PATH_IMAGE007
其中，
Figure 931959DEST_PATH_IMAGE008
表示所述目标光学特征与任一SAR特征的误差平方和，T opt 表示目标光学特征，
Figure 301760DEST_PATH_IMAGE009
表示任一SAR特征。
将
Figure 254673DEST_PATH_IMAGE008
最小的
Figure 363312DEST_PATH_IMAGE009
记为
Figure 972148DEST_PATH_IMAGE010
,T opt 和
Figure 739116DEST_PATH_IMAGE009
则构成一个第一匹配特征对。需要说明的是，每个T opt 都对应一个
Figure 749797DEST_PATH_IMAGE009
,因此本步骤将会得到多个第一匹配特征对，形成第一匹配特征对集合。
同时，将每个SAR特征作为目标SAR特征，分别计算所述目标SAR特征与每个光学特征的误差平方和；将误差平方和最小的光学特征和所述目标SAR特征作为第二匹配特征对。
误差平方和的计算公式如下：
Figure 186595DEST_PATH_IMAGE011
其中，
Figure 282727DEST_PATH_IMAGE012
表示所述目标SAR特征与任一光学特征的误差平方和，T sar 表示目标SAR特征，
Figure 338538DEST_PATH_IMAGE013
表示任一光学特征。
将
Figure 203726DEST_PATH_IMAGE012
最小的
Figure 811425DEST_PATH_IMAGE013
记为
Figure 394853DEST_PATH_IMAGE014
，T sar 和
Figure 238044DEST_PATH_IMAGE014
则构成一个第二匹配特征对。需要说明的是，每个T sar 都对应一个
Figure 223318DEST_PATH_IMAGE014
。因此本步骤将会得到多个第二匹配特征对，形成第二匹配特征对集合。
然后，将所有第一匹配特征对构成的集合与所有第二匹配特征对构成的集合取交集，得到最终的匹配特征对集合。
取第一匹配特征对集合和第二匹配特征对的集合的交集，交集中的每个匹配特征对为最终的匹配特征对。
最后，根据所述最终的匹配特征对集合中的每个匹配特征对，确定所述参考光学图像和所述待配准SAR图像的每个匹配特征点对。
每个最终的匹配特征对对应的参考光学图像块和待配准SAR图像块为匹配图像块对，每个匹配图像块对对应的两个中心像素点（也就是两个预特征点）为匹配特征点对。
可选地，根据所述最终的匹配特征对集合中的每个匹配特征对，确定所述参考光学图像和所述待配准SAR图像的每个匹配特征点对之后，还包括：使用随机抽样一致性算法，从所有的匹配特征点对中去除误匹配点对，得到最终的匹配特征点对。
本实施例的技术效果：
1. 本实施例采用二维熵反映待配准图像的地物内容丰富程度，为内容丰富的图像选取较大的图像块尺寸，实现了图像块尺寸的自适应选取，在减少图像块间的重叠的同时，保持图像块地物内容的完整性，保证了双分支全卷积网络能够基于完整的地物内容识别到正确的匹配特征点对，提高了网络的鲁棒性；
2. 本实施例在图像块尺寸的自适应选取中，设定了有限数量的SAR图像块尺寸选项，避免由于二维熵的数值多样性产生过多的图像块尺寸，减小原本应当匹配的待配准SAR图像块和参考光学图像块因具有不同的尺寸而出现配准错误的概率。通过这一方式，在保证地物完整性的同时，进一步提高网络的稳定性；
3. 本实施例利用双分支全卷积网络提取参考光学图像的光学特征和待配准SAR图像的SAR特征，通过所有光学特征确定的第一匹配特征对集合，以及所有SAR特征确定的第二匹配特征对集合，确定最终的匹配特征点对，实现了匹配点对的双向筛选和过滤，保证了匹配点对的准确性。
基于深度学习的配准方法的性能，在相当程度上取决于卷积神经网络提取到的特征图质量。而SAR图像的相干斑噪声使得卷积神经网络在提取特征时无法区分噪声特征和图像特征，导致网络误将噪声作为SAR特征提取，从而降低了配准的精度。
有鉴于此，在上述实施例和下述实施例的基础上，本实施例对SAR特征的提取过程进行细化。可选地，将所述多个待配准SAR图像块输入所述训练好的双分支全卷积网络的SAR分支，得到所述多个待配准SAR图像块的多个SAR特征，具体包括如下步骤：
S21、将任一待配准SAR图像块同时输入训练好的深度去噪网络和所述训练好的双分支全卷积网络的SAR分支。
所述深度去噪网络包括多级卷积层，所述SAR分支也包括多级卷积层。为了便于区分和描述，将深度去噪网络中的卷积层称为去噪卷积层，将SAR分支中的卷积层称为SAR卷积层。
训练好的深度去噪网络用于提取待配准SAR图像的噪声特征。图3是本发明实施例提供的深度去噪网的结构示意图，如图3所示，深度去噪网络包括6级去噪卷积层。
所述SAR分支中的至少一级SAR卷积层的输入端与所述深度去噪网络的至少一级去噪卷积层的输出端对应连接，所述至少一级SAR卷积层的级数递增，所述至少一级去噪卷积层的级数递增。
图4是本发明实施例提供的深度去噪网络和双分支全卷积网络连接的示意图，如图4所示，所述SAR分支中的3级SAR卷积层的输入端与所述深度去噪网络的3级去噪卷积层的输出端一一对应连接，具体来说，所述SAR分支中的第1级、第3级和第5级SAR卷积层的输入端分别与所述深度去噪网络的第2级、第4级和第6级去噪卷积层的输出端连接。
S22、在所述训练好的深度去噪网络中，将当前级去噪卷积层输出的噪声特征作为下一级去噪卷积层的输入特征，依次对每级去噪卷积层输出的噪声特征进行处理。
每一级去噪卷积层输出的噪声特征中包括待配准SAR图像中所有类型的噪声，例如SAR图像固有的乘性噪声等。随着去噪卷积层级数的增加，输出的噪声特征的深度也逐渐增加。
S23、在所述训练好的SAR分支中，如果当前级SAR卷积层的输入端与一级去噪卷积层的输出端连接，将所述当前级SAR卷积层的输入特征减去所述一级去噪卷积层输出的噪声特征后，输入当前级SAR卷积层；将所述当前级SAR卷积层的输出特征作为下一级SAR卷积层的输入特征；如果当前级SAR卷积层的输入端未与任何一级去噪卷积层的输出端连接，将所述当前级SAR卷积层的输入特征直接输入当前级SAR卷积层，将所述当前级SAR卷积层的输出特征特征作为下一级SAR卷积层的输入特征；依次对每级SAR卷积层的输出特征进行处理，得到所述任一待配准SAR图像块的SAR特征。
训练好的SAR分支用于提取待配准SAR图像的深度特征，该深度特征中不可避免地包括待配准SAR图像的深度噪声特征。本实施例利用SAR特征减去噪声特征，得到的去噪特征更接近真实图像。在下一级SAR卷积层中直接对去噪特征进行处理，有利于提高配准精度。
需要说明的是，本实施例并没有将待配准SAR图像减去深度去噪网络最终输出的噪声特征，得到最终的去噪特征后直接输入到双分支全卷积网路中进行特征提取，而是用各深度的SAR卷积层输入特征减去深度相当的噪声特征，使各深度的去噪特征更接近相同深度的光学特征，对得到的去噪特征进行更高深度的特征提取。这一方式对配准精度的控制更加细致，在双分支全卷积网络的早期阶段就进行了去噪处理，有效控制了噪声在网络中的扩散，对整体配准性能的提升远远大于直接将最终的去噪特征直接输入到双分支全卷积网路的方式。
为了保证相减的SAR卷积层输入特征与噪声特征具有相当的深度，互相连接的所述至少一级SAR卷积层和所述至少一级去噪卷积层的级数均需满足递增规律。以图4为例，所述3级SAR卷积层的级数1、3、5递增，所述3级去噪卷积层的级数2、4、6也递增。假设第1级SAR特征（第1级SAR卷积层输出的深度特征）与第2级噪声特征（第2级去噪卷积层输出的噪声特征）的深度相当，而第3级SAR特征的深度大于第1级SAR特征的深度，第4级噪声特征的深度也大于第2级噪声特征的深度，因此近似认为第3级SAR特征的与第4级的噪声特征的深度也相当。
此外，为了提升网络整体的时间效率与计算成本，无需用将每级SAR卷积层均与对应的去噪卷积层连接，只需选取具有一定间隔的至少一级SAR卷积层与对应的去噪卷积层连接即可，在提高计算效率的同时，对系统整体的配准精度影响也能够保持在可接受范围内。仍以图4为例，无需将第1、2、3、4、5级SAR卷积层分别与第2、3、4、5、6级去噪卷积层一一对应连接，进行5次减法操作；只需选取间隔为1的第1、3、5级SAR卷积层与间隔为1的第2、4、6级去噪卷积层一一对应连接，进行3次减法操作，在提高计算效率的同时，对系统整体的配准精度影响也能够保持在可接受范围内。这一方式提升了网络整体的时间效率与计算成本，尤其在对双分支全卷积网络和训练好的深度去噪网络连接构成的配准网络进行整体训练时，能够在保证配准精度的同时，大大减少配准网络整体的训练时间效率与训练计算成本。
可选地，将所述当前级SAR卷积层的输入特征减去所述一级去噪卷积层输出的噪声特征，包括：如果所述当前级SAR卷积层的输入特征与所述一级去噪卷积层输出的噪声特征具有不同的尺寸，则对所述一级去噪卷积层输出的噪声特征进行卷积降采样或升采样操作，使其与所述当前级SAR卷积层的输入特征具有相同的尺寸；然后，所述当前级SAR卷积层的输入特征减去降采样或升采样后的噪声特征，得到去噪特征。
由于SAR分支与深度去噪网络相互独立，网络结构和网络权重均不必然相同，且相互连接的SAR卷积层级数与去噪卷积层级数也没有必然联系，因此相减的SAR卷积层输入特征和噪声特征的尺寸有可能不同。为了保证相减顺利进行，在各SAR卷积层输入特征的尺寸不能改变的情况下，通过对噪声特征进行降采样或升采样，使得二者尺寸相同，从而进行减法运算。
本实施例基于深度去噪网络和双分支全卷积网络进行光学和SAR图像配准，通过深度去噪网络提取的待配准SAR图像的噪声特征，对双分支全卷积网络的各SAR卷积层的输入特征进行了去噪处理，避免了SAR分支将SAR噪声当做特征进行提取，使得去噪后的SAR特征与光学特征具有更高的相似度，能够有效提升特征匹配的正确率；此外，本实施例通过深度去噪网络，能够提取待配准SAR图像所有类型的噪声，突破了对噪声类型的限制。这些使得系统整体的配准精度更高，对噪声的鲁棒性更强。
在上述实施例和下述实施例的基础上，本实施例对深度去噪网络的训练过程进行细化。可选地，将任一待配准SAR图像块同时输入训练好的深度去噪网络和所述训练好的双分支全卷积网络的SAR分支之前，还包括如下步骤：
步骤一、构建去噪训练数据集，其中，每个去噪训练数据包括原始模拟SAR图像和对应的无噪光学图像，所述原始模拟SAR图像中包括噪声。
本实施例采用光学图像模拟真实的SAR图像，对深度去噪网络进行训练。训练好的深度去噪网络能够用于提取真实SAR图像的噪声特征。需要说明的是，上述实施例中的待配准SAR图像就是真实的SAR图像。
由于SAR图像中的噪声为乘性噪声，因此本实施例采用如公式（9）所示的概率统计模型对乘性噪声进行同态变换，将乘性噪声变为加性噪声，以便通过无噪光学图像和噪声图像的叠加，来合成原始模拟SAR图像：
Figure 1918DEST_PATH_IMAGE015
式中，G(x,y)表示SAR图像噪声处的灰度值，S(x,y)表示SAR图像噪声处的后向散射系数，N(x,y)表示SAR图像噪声处的噪声系数。
具体来说，通过随机设置噪声参数，生成噪声处的后向散射系数和噪声系数。然后，将所述后向散射系数和所述噪声系数代入公式（9），生成SAR噪声图像。最后，将SAR噪声图像与无噪光学图像相加，合成原始模拟SAR图像。每一对原始模拟SAR图像和对应的无噪光学图像构成一个去噪训练数据，用于对未训练好的深度去噪网络进行训练。
步骤二、将任一原始模拟SAR图像输入未训练好的深度去噪网络，得到对应的噪声提取结果。
将每个原始模拟SAR图像输入未训练好的深度去噪网络，得到对应的噪声特征，并通过升采样、降采样、裁剪、填充等措施将噪声特征和无噪光学图像处理为相同的尺寸。为了便于描述，本实施例中将与光学图像具有相同尺寸的噪声特征称为噪声提取结果。
步骤三、用所述任一原始模拟SAR图像减去所述噪声提取结果，得到对应的去噪模拟SAR图像。
为了与对应的无噪光学图像进行比较，本实施例用每个原始模拟SAR图像减去对应的噪声提取结果，得到对应的去噪模拟SAR图像。
步骤四、根据所述噪声提取结果的变分损失以及所述去噪模拟SAR图像，计算去噪损失，以更新所述未训练好的深度去噪网络的权重参数。
本实施例通过去噪模拟SAR图像和无噪光学图像的对比，计算去噪损失，并在去噪损失中考虑噪声提取结果的总变分，避免深度去噪带来的图像平滑问题。
具体来说，可选地，首先，根据去噪模拟SAR图像和无噪光学图像，计算MSE（mean-square error，均方误差）损失作为网络训练的监督。MSE表示去噪模拟SAR图像与无噪光学图像之间的距离，其计算方式如下：
Figure 72642DEST_PATH_IMAGE016
其中，MSE表示所述去噪模拟SAR图像和对应的无噪光学图像之间的均方误差，W和H分别表示无噪光学图像的二维尺寸，
Figure 968792DEST_PATH_IMAGE017
表示无噪光学图像在像素点(x,y)处的像素值，m d (x,y)表示去噪模拟SAR图像在像素点(x,y)处的像素值。
然后，根据以下公式，计算所述噪声提取结果的总变分，所述总变分即为变分损失：
Figure 808572DEST_PATH_IMAGE018
其中，TV表示变分损失，(x,y)表示所述噪声提取结果的像素点，m n (x,y)表示所述噪声提取结果中像素点(x,y)处的像素值，m n (x,y +1)表示所述噪声提取结果中像素点(x,y +1)处的像素值，m n (x +1,y)表示所述噪声提取结果中像素点(x +1,y)处的像素值。
由于受噪声污染的原始模拟SAR图像的总变分比无噪光学图像的总变分大，因此去噪图像中容易发生图像平滑的问题。总变分定义为梯度幅值的积分，噪声提取结果的总变分越大，平滑问题越严重，去噪模拟SAR能够越偏离真实的无噪光学图像。
有鉴于此，本实施例将噪声提取结果的总变分作为变分损失，构建变分正则项约束，加入到去噪损失中，对噪声提取结果的总变分进行限制，降低去噪图像中相邻像素之间的差异，从而限制噪声。
最后，根据所述变分损失，计算去噪损失：
Figure 289232DEST_PATH_IMAGE019
其中，λ表示预设的变分损失权重，一般大于0。
需要说明的是，本实施例在得到每个原始模拟SAR图像的噪声提取结果后，计算一次去噪损失，根据去噪损失更新一次网络权重。
本实施例在去噪损失函数中加入变分正则化项，对噪声提取结果的变分损失进行约束，避免噪声提取结果中包括过多的有效图像信息，从而改善去噪过程中产生的图像平滑问题。这一方式有利于提高去噪效果，进一步提高配准精度。
在上述实施例和下述实施例的基础上，本实施例对双分支全卷积网络的训练过程进行细化。可选地，将所述多个参考光学图像块输入训练好的双分支全卷积网络的光学分支，得到所述多个参考光学图像块的多个光学特征；同时，将所述多个待配准SAR图像块输入所述训练好的双分支全卷积网络的SAR分支，得到所述多个待配准SAR图像块的多个SAR特征之前，还包括如下步骤：
步骤一、获取配准训练数据集，其中，每个配准训练数据包括匹配的训练SAR图像块和训练光学图像块。
本实施例采用互相匹配的SAR图像块和光学图像块，对未训练好的双分支全卷积网络进行训练。为了便于区分和描述，将用于训练的SAR图像块称为训练SAR图像块，将用于训练的光学图像块称为训练光学图像块。
步骤二、将所有的训练光学图像块输入未训练好的双分支全卷积网络的光学分支，得到所述所有的训练光学图像块的多个光学特征；同时，将所有的训练SAR图像块输入所述未训练好的双分支全卷积网络的SAR分支，得到所述所有的训练SAR图像块的多个SAR特征。
步骤三、利用所述SAR特征和所述光学特征之间的误差平方和，计算配准损失，以更新所述未训练好的双分支全卷积网络的权重参数。
本实施例根据所述匹配的SAR特征和光学特征之间的误差平方和，来衡量配准网络的配准精度。配准损失越大，配准精度越差，越需要进行参数更新。
具体来说，可选地，首先，根据以下公式，计算所述SAR特征和所述光学特征之间的误差平方和：
Figure 50514DEST_PATH_IMAGE020
其中，S(c)为特征中每个特征点位置的搜索图像，T(a)为模板图像，a表示用于匹配的图像块对。
从公式（13）可以看出，越小，二者之间越相似。在搜索图S中，以c为中心得到图像块，计算其与模板图像的相似度，在得到的所有图像块中，找到与模板图最相似的图像块作为最终匹配结果。
然后，使用Softmax将上述误差平方和变换到区间[0,1]内，得到归一化损失：
Figure 907612DEST_PATH_IMAGE021
归一化损失用于表征对SAR特征和光学特征进行正确配准的概率。
最后，采用硬负片挖掘策略，由所述归一化损失计算配准损失：
Figure 8423DEST_PATH_IMAGE022
其中，Loss2表示配准损失；μ表示余项，保证Loss2非负； groundtruth(a)采用如下公式计算：
Figure 659984DEST_PATH_IMAGE023
其中,
Figure 174142DEST_PATH_IMAGE024
表示当前位置与真正匹配位置之间的L2距离。
在采用硬负片挖掘策略中，将负样本（即不匹配的特征对）中SSD最小的训练图像块对，定义为最难误匹配的特征对；将最正确匹配的特征对的SSD值记为第一SSD值，将最难误匹配的特征对的SSD值记为第二SSD值，通过最大化第一SSD值与第二SSD值之间的差异来训练网络。在网络训练中采用硬负片挖掘策略，可以提高参数更新的精准度，提高网络的整体性能和训练效率。
在上述实施例和下述实施例的基础上，可选地，未训练好的SAR分支与深度去噪网络连接，所述SAR分支包括多级SAR卷积层，所述深度去噪网络包括多级去噪卷积层，所述SAR分支中的至少一级SAR卷积层的输入端与所述深度去噪网络的至少一级去噪卷积层的输出端对应连接，所述至少一级SAR卷积层的级数的递增，所述至少一级去噪卷积层的级数递增。具体细节如前述实施例所述，在此不再赘述。需要说明的是，所述深度去噪网络可以是训练好的网络，也可以是未训练好的网络；如果所述深度去噪网络是未训练好的网路，则连同所述未训练好的双分支全卷积网络一起进行训练。
具体来说，可选地，如果所述深度去噪网络是未训练好的网路，则将所述多个参考光学图像块输入训练好的双分支全卷积网络的光学分支，得到所述多个参考光学图像块的多个光学特征；同时，将所述多个待配准SAR图像块输入所述训练好的双分支全卷积网络的SAR分支，得到所述多个待配准SAR图像块的多个SAR特征之前，还包括如下步骤：
步骤一、获取配准训练数据集，其中，每个配准训练数据包括匹配的训练SAR图像块和训练光学图像块。
步骤二、将所有的训练光学图像块输入未训练好的双分支全卷积网络的光学分支，得到所述所有的训练光学图像块的多个光学特征。
步骤三、将每个训练SAR图像块同时输入未训练好的深度去噪网络和所述未训练好的双分支全卷积网络的SAR分支；在所述训练好的深度去噪网络中，将当前级去噪卷积层输出的噪声特征作为下一级去噪卷积层的输入特征，依次对每级去噪卷积层输出的噪声特征进行处理；同时，在所述SAR分支中，如果当前级SAR卷积层的输入端与一级去噪卷积层的输出端连接，将所述当前级SAR卷积层的输入特征减去所述一级去噪卷积层输出的噪声特征后，输入所述当前级SAR卷积层；将所述当前级SAR卷积层的输出特征作为下一级SAR卷积层的输入特征；依次对每级SAR卷积层的输出特征进行处理，得到每个待配准SAR图像块的SAR特征。
步骤四、利用所述SAR特征和所述光学特征之间的误差平方和，计算配准损失，以更新所述未训练好的双分支全卷积网络的权重参数。
具体来说，可选地，首先，根据以下公式，计算所述SAR特征和所述光学特征之间的误差平方和：
Figure 569351DEST_PATH_IMAGE025
其中，S(c)为特征中每个特征点位置的搜索图像，T(a)为模板图像，a表示用于匹配的图像块对。
然后，使用Softmax将上述误差平方和变换到区间[0,1]内，得到归一化损失：
Figure 118144DEST_PATH_IMAGE026
最后，采用硬负片挖掘策略，由所述归一化损失计算配准损失：
Figure 799662DEST_PATH_IMAGE027
其中，Loss2表示配准损失；μ表示余项，保证Loss2非负；groundtruth(a) 采用如下公式计算：
Figure 66695DEST_PATH_IMAGE028
其中,
Figure 265595DEST_PATH_IMAGE024
表示当前位置与真正匹配位置之间的L2距离。
图5为本发明实施例提供的一种电子设备的结构示意图，如图5所示，该设备包括处理器50、存储器51、输入装置52和输出装置53；设备中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；设备中的处理器50、存储器51、输入装置52和输出装置53可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种多任务光学和SAR遥感图像配准方法对应的程序指令/模块。处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的一种多任务光学和SAR遥感图像配准方法。
存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置52可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置53可包括显示屏等显示设备。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例的一种多任务光学和SAR遥感图像配准方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案。

Claims (10)

1.一种多任务光学和SAR遥感图像配准方法，其特征在于，包括：
根据参考光学图像的二维熵，确定所述参考光学图像的光学图像块尺寸；同时根据待配准SAR图像的二维熵，确定所述待配准SAR图像的SAR图像块尺寸；
根据所述参考光学图像的预特征点和所述光学图像块尺寸，将所述参考光学图像划分为多个参考光学图像块；同时，根据所述待配准SAR图像的预特征点和所述SAR图像块尺寸，将所述待配准SAR图像划分为多个待配准SAR图像块；
将所述多个参考光学图像块输入训练好的双分支全卷积网络的光学分支，得到所述多个参考光学图像块的多个光学特征；同时，将所述多个待配准SAR图像块输入所述训练好的双分支全卷积网络的SAR分支，得到所述多个待配准SAR图像块的多个SAR特征；
根据所述多个光学特征和所述多个SAR特征，确定所述参考光学图像和所述待配准SAR图像的匹配特征点对；
其中，所述光学分支和所述SAR分支的网络结构相同。
2.根据权利要求1所述的方法，其特征在于，将所述多个待配准SAR图像块输入所述训练好的双分支全卷积网络的SAR分支，得到所述多个待配准SAR图像块的多个SAR特征，包括：
将任一待配准SAR图像块同时输入训练好的深度去噪网络和所述训练好的双分支全卷积网络的SAR分支；
在所述训练好的深度去噪网络中，将当前级去噪卷积层输出的噪声特征作为下一级去噪卷积层的输入特征，依次对每级去噪卷积层输出的噪声特征进行处理；同时，
在所述SAR分支中，如果当前级SAR卷积层的输入端与一级去噪卷积层的输出端连接，将所述当前级SAR卷积层的输入特征减去所述一级去噪卷积层输出的噪声特征后，输入所述当前级SAR卷积层；将所述当前级SAR卷积层的输出特征作为下一级SAR卷积层的输入特征；依次对每级SAR卷积层的输出特征进行处理，得到所述任一待配准SAR图像块的SAR特征；
其中，所述SAR分支包括多级SAR卷积层，所述深度去噪网络包括多级去噪卷积层，所述SAR分支中的至少一级SAR卷积层的输入端与所述深度去噪网络的至少一级去噪卷积层的输出端对应连接，所述至少一级SAR卷积层的级数递增，所述至少一级去噪卷积层的级数递增。
3.根据权利要求2所述的方法，其特征在于，将任一待配准SAR图像块同时输入训练好的深度去噪网络和所述训练好的双分支全卷积网络的SAR分支之前，还包括：
构建去噪训练数据集，其中，每个去噪训练数据包括原始模拟SAR图像和对应的无噪光学图像，所述原始模拟SAR图像中包括噪声；
将任一原始模拟SAR图像输入未训练好的深度去噪网络，得到对应的噪声提取结果；
用所述任一原始模拟SAR图像减去所述噪声提取结果，得到对应的去噪模拟SAR图像；
根据所述噪声提取结果的变分损失以及所述去噪模拟SAR图像，计算去噪损失，以更新所述未训练好的深度去噪网络的权重参数。
4.根据权利要求3所述的方法，其特征在于，根据所述噪声提取结果的变分损失以及所述去噪模拟SAR图像，计算去噪损失，包括：
根据以下公式，计算所述噪声提取结果的变分损失：
Figure 851969DEST_PATH_IMAGE001
其中，TV表示变分损失，(x,y)表示所述噪声提取结果的像素点， m n (x,y)表示所述噪声提取结果中像素点(x,y)处的像素值， m n (x,y+1)表示所述噪声提取结果中像素点(x,y +1)处的像素值， m n (x +1,y)表示所述噪声提取结果中像素点(x +1,y)处的像素值；
根据所述变分损失，构造去噪损失：
Figure 110912DEST_PATH_IMAGE002
其中，MSE表示所述去噪模拟SAR图像和对应的无噪光学图像之间的均方误差，λ表示预设的变分损失权重。
5.根据权利要求1所述的方法，其特征在于，根据待配准SAR图像的二维熵，确定所述待配准SAR图像的SAR图像块尺寸，包括：
根据以下公式，计算所述待配准SAR图像的二维熵：
Figure 209450DEST_PATH_IMAGE003
其中，E sar 表示所述待配准SAR图像的二维熵，m表示所述待配准SAR图像中任一像素点的像素值，n表示所述任一像素点的邻域像素点的像素均值，f sar （m,n）表示二元组（m,n）在所述待配准SAR图像中出现的频数，S sar 表示所述待配准SAR图像的尺寸；
根据以下公式，确定所述待配准SAR图像的SAR图像块尺寸：
Figure 946461DEST_PATH_IMAGE004
其中，P1 sar 、P2 sar 和P3 sar 分别表示预设的SAR图像块尺寸，P1 sar < P2 sar < P3 sar ；E sar 表示所述待配准SAR图像的二维熵，C1 sar 和C2 sar 分别表示预设的二维熵阈值，C1 sar <C2 sar 。
6.根据权利要求1所述的方法，其特征在于，根据所述多个光学特征和所述多个SAR特征，确定所述参考光学图像和所述待配准SAR图像的匹配特征点对，包括：
将每个光学特征作为目标光学特征，分别计算所述目标光学特征与每个SAR特征的误差平方和；将误差平方和最小的SAR特征和所述目标光学特征作为第一匹配特征对；同时，
将每个SAR特征作为目标SAR特征，分别计算所述目标SAR特征与每个光学特征的误差平方和；将误差平方和最小的光学特征和所述目标SAR特征作为第二匹配特征对；
将所有第一匹配特征对构成的集合与所有第二匹配特征对构成的集合取交集，得到最终的匹配特征对集合；
根据所述最终的匹配特征对集合中的每个匹配特征对，确定所述参考光学图像和所述待配准SAR图像的每个匹配特征点对。
7.根据权利要求1-6任一所述的方法，其特征在于，将所述多个参考光学图像块输入训练好的双分支全卷积网络的光学分支，得到所述多个参考光学图像块的多个光学特征；同时，将所述多个待配准SAR图像块输入所述训练好的双分支全卷积网络的SAR分支，得到所述多个待配准SAR图像块的多个SAR特征之前，还包括：
获取配准训练数据集，其中，每个配准训练数据包括匹配的训练SAR图像块和训练光学图像块；
将所有的训练光学图像块输入未训练好的双分支全卷积网络的光学分支，得到所述所有的训练光学图像块的多个光学特征；同时，将所有的训练SAR图像块输入所述未训练好的双分支全卷积网络的SAR分支，得到所述所有的训练SAR图像块的多个SAR特征；
利用所述SAR特征和所述光学特征之间的误差平方和，计算配准损失，以更新所述未训练好的双分支全卷积网络的权重参数。
8.根据权利要求7所述的方法，其特征在于，利用所述SAR特征和所述光学特征之间的误差平方和，计算配准损失，包括：
计算所述SAR特征和所述光学特征之间的误差平方和；
采用硬负片挖掘策略，由所述误差平方和计算配准损失。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的多任务光学和SAR遥感图像配准方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的多任务光学和SAR遥感图像配准方法。
CN202210234560.8A 2022-03-11 2022-03-11 多任务光学和sar遥感图像配准方法、设备和介质 Active CN114359359B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210234560.8A CN114359359B (zh) 2022-03-11 2022-03-11 多任务光学和sar遥感图像配准方法、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210234560.8A CN114359359B (zh) 2022-03-11 2022-03-11 多任务光学和sar遥感图像配准方法、设备和介质

Publications (2)

Publication Number Publication Date
CN114359359A CN114359359A (zh) 2022-04-15
CN114359359B true CN114359359B (zh) 2022-07-01

Family

ID=81094934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210234560.8A Active CN114359359B (zh) 2022-03-11 2022-03-11 多任务光学和sar遥感图像配准方法、设备和介质

Country Status (1)

Country Link
CN (1) CN114359359B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541833B (zh) * 2024-01-10 2024-04-02 中山大学 一种多模态图像匹配方法、系统、终端设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590782A (zh) * 2017-08-21 2018-01-16 西北工业大学 一种基于全卷积网络的高分辨率光学图像厚云去除方法
CN108510532A (zh) * 2018-03-30 2018-09-07 西安电子科技大学 基于深度卷积gan的光学和sar图像配准方法
CN110827332A (zh) * 2019-10-09 2020-02-21 哈尔滨工程大学 一种基于卷积神经网络的sar图像的配准方法
CN111028277A (zh) * 2019-12-10 2020-04-17 中国电子科技集团公司第五十四研究所 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10284819B2 (en) * 2013-12-02 2019-05-07 Goodrich Corporation Long-range image reconstruction using measured atmospheric characterization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590782A (zh) * 2017-08-21 2018-01-16 西北工业大学 一种基于全卷积网络的高分辨率光学图像厚云去除方法
CN108510532A (zh) * 2018-03-30 2018-09-07 西安电子科技大学 基于深度卷积gan的光学和sar图像配准方法
CN110827332A (zh) * 2019-10-09 2020-02-21 哈尔滨工程大学 一种基于卷积神经网络的sar图像的配准方法
CN111028277A (zh) * 2019-12-10 2020-04-17 中国电子科技集团公司第五十四研究所 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法

Also Published As

Publication number Publication date
CN114359359A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
JP6539901B2 (ja) 植物病診断システム、植物病診断方法、及びプログラム
CN108230278B (zh) 一种基于生成对抗网络的图像去雨滴方法
CN110363290B (zh) 一种基于混合神经网络模型的图像识别方法、装置及设备
CN109063742B (zh) 蝴蝶识别网络构建方法、装置、计算机设备及存储介质
CN110619618A (zh) 一种表面缺陷检测方法、装置及电子设备
CN110148088B (zh) 图像处理方法、图像去雨方法、装置、终端及介质
CN112598597A (zh) 一种降噪模型的训练方法及相关装置
CN114494821B (zh) 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN114359359B (zh) 多任务光学和sar遥感图像配准方法、设备和介质
CN113158789B (zh) 一种遥感图像的目标检测方法、系统、装置及介质
CN112419202A (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN112749578A (zh) 一种基于深度卷积神经网络的遥感图像自动道路提取方法
CN111768326B (zh) 一种基于gan扩增图像前景物体的高容量数据保护方法
CN111242176B (zh) 计算机视觉任务的处理方法、装置及电子系统
CN110866872A (zh) 一种路面裂缝图片预处理智能选择方法、装置及电子设备
CN115410030A (zh) 目标检测方法、装置、计算机设备及存储介质
CN115937071A (zh) 一种图像检测方法、装置、设备及介质
CN113869262A (zh) 一种基于Unet模型的目标区域用地信息的预测方法和装置
CN114240779A (zh) 一种点云去噪方法、装置、设备及存储介质
CN113392845A (zh) 一种基于u-net的深度学习遥感图像语义分割方法及系统
CN115496954B (zh) 眼底图像分类模型构建方法、设备及介质
CN116957921A (zh) 图像渲染方法、装置、设备及存储介质
CN110866866A (zh) 图像仿色处理方法、装置、电子设备及存储介质
CN115331126A (zh) 一种基于Yolov5的小目标检测模型的构建及检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant