CN114037845B - 一种基于gan网络的异源图像特征块主方向判定方法及系统 - Google Patents

Abstract

本发明涉及一种基于GAN网络的异源图像特征块主方向判定方法及系统，其方法包括，获取多对异源图像组；基于HOPC和FSC的方法分别定位出每对可见光及SAR分割图像组中的精确同名坐标点；分别以同名坐标点为中心，对可见光及SAR分割图像组进行裁剪，对SAR裁剪图像随机旋转θ_s角度；将可见光及SAR裁剪图像组输入至初始GAN网络中进行权重训练，得到异源图像共性特征；基于异源图像共性特征的迁移学习，并结合SAR分割图像以及对应的SAR分割旋转图像对初始GAN网络进行主方向训练，且将θ_s角度作为训练标签，得到用于判定异源图像主方向的GAN网络。本发明可以提取更准确可靠的异源图像的深层共性特征，获得高精度的主方向判定，满足了异源图像匹配的旋转不变性。

Description

一种基于GAN网络的异源图像特征块主方向判定方法及系统

技术领域

本发明涉及图像处理领域，具体涉及一种基于GAN网络的异源图像特征块主方向判定方法及系统。

背景技术

近年来，传感器技术发展迅速，遥感图像类型多样化，获取信息的途径越来越多。得到异源图像之间的匹配关系是非常重要的，异源图像之间的信息互补可提高目标检测、变化检测，目标识别精度。异源图像可通过传感器的相关参数，对异源图像进行旋转归一化，就可以不考虑图像旋转的变化，但在相关参数未知的情况下，需要考虑旋转变化对特征匹配的影响，由于异源图像成像机理不同，导致异源图像之间存在非常大差异，考虑异源图像的旋转变化具有很大的困难。

现有精度较高的异源图像匹配算法MatchNet、D2-Net、CMM-Net都将匹配问题转化为分类问题，名称为“一种基于深度全局特征的多模态图像配准方法及系统”的专利中提取异源图像的深层特征用于匹配，提高了匹配问题转为分类问题的匹配准确率，但是都没有考虑到两幅异源图像的旋转变换，异源图像匹配的旋转不变性问题一直待解决，现有的异源图像匹配主方向判定主要是基于传统梯度信息的判定方法，对非线性辐射差异依然比较敏感，例如，SIFT，对图像尺度和旋转变化都具有旋转不变性，应用也最为广泛。后来验证了SIFT主方向存在方向误差，且非线性辐射变化对基于梯度方向的主方向计算影响较大，后人们又进一步改进传统判定方法，提出了PIIFD，LIOP，MFD，但是，由于异源图像之间差异较大，基于传统梯度信息的匹配方法效果较差。随着深度学习的发展，改进同源图像的训练方法、网络结构满足同源图像旋转不变性的匹配需求，异源图像匹配的旋转不变性也得到了研究。

现有方案也是将旋转差异问题转化为分类问题，对旋转角度差异的异源图像，提取其梯度直方图，因梯度直方图包括了图像的旋转信息，将梯度直方图放入网络中，把[0,360°]按5°为间隔分类，最后基于分类结果判定方向。现有方案不足之处是没有利用图像块中丰富的纹理信息，影响主方向判定精度，可靠性较差。

发明内容

本发明所要解决的技术问题是提供一种基于GAN网络的异源图像特征块主方向判定方法及系统，可以提高异源图像匹配旋转不变性能，进而提高主方向判定精度。

本发明解决上述技术问题的技术方案如下：一种基于GAN网络的异源图像特征块主方向判定方法，包括以下步骤，

S1，获取多对异源图像组；其中，每对所述异源图像组中均包括初始匹配的一张可见光图像和一张SAR图像；

S2，将每对所述异源图像组中的可见光图像和SAR图像均分别分割成多块，对应得到多块所述可见光分割图像以及多块所述SAR分割图像，并基于HOPC和FSC的方法分别定位出每块所述可见光分割图像以及每块所述SAR分割图像中的精确同名坐标点，得到多对可见光及SAR分割图像组的精确同名坐标点；

S3，分别以每对所述可见光及SAR分割图像组中的精确同名坐标点为中心，对应对每对所述可见光及SAR分割图像组进行裁剪，得到多对可见光及SAR裁剪图像组，且分别将每对所述可见光及SAR裁剪图像组中的SAR裁剪图像相对可见光裁剪图像随机旋转θ_s角度，得到多块SAR裁剪旋转图像；

S4，将所有所述可见光及SAR裁剪图像组输入至预先构建的初始GAN网络中进行权重训练，得到异源图像共性特征；其中，所述初始GAN网络包括生成器网络分支、判别器网络分支、解码器网络分支和主方向判定网络分支；

S5，基于所述异源图像共性特征的迁移学习，并结合所有所述可见光及SAR裁剪图像组中的可见光裁剪图像以及对应的所有所述SAR裁剪旋转图像对所述初始GAN网络进行主方向训练，且将θ_s角度作为训练标签，得到用于判定异源图像主方向的GAN网络；

S6，利用所述GAN网络对待判定异源图像组进行特征块主方向判定，得到主方向判定结果。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述S2具体为，

将每对所述异源图像组中的可见光图像和SAR图像均分别分割成多块，对应得到多块可见光分割图像和多块SAR分割图像，且每块所述可见光分割图像和每块所述SAR分割图像中均随机生成有多个坐标点；

分别计算出每块所述可见光分割图像以及每块所述SAR分割图像中对应坐标点相位一致性值的相关系数，并将每块所述可见光分割图像以及每块所述SAR分割图像中大于预设阈值的所述相关系数对应的坐标点确定为初始同名坐标点；

利用基于结构相似性的HOPC方法精确定位每块所述可见光分割图像以及每块所述SAR分割图像中的所述初始同名点，并利用FSC方法将每块所述可见光分割图像以及每块所述SAR分割图像中的误匹配的所述初始同名点剔除，对应得到每块所述可见光分割图像以及每块所述SAR分割图像中的精确同名坐标点；

根据所述精确同名坐标点将多块所述可见光分割图像与多块所述SAR分割图像一一对应构成多对可见光及SAR分割图像组，并得到多对所述可见光及SAR分割图像组的精确同名坐标点。

进一步，所述S4具体为，

将所有所述可见光及SAR裁剪图像组输入至所述初始GAN网络中，并基于所述生成器网络分支、所述判别器网络分支以及所述解码器网络分支进行权重训练，且联合二分类域对抗损失函数、上采样重构损失函数以及类间损失函数构成的总损失函数优化所述初始GAN网络的权重，得到异源图像共性特征。

进一步，所述生成器网络分支包括不共享权重的伪孪生网络以及共享权重的孪生网络；

在所述权重训练的过程中，利用所述伪孪生网络且在所述判别器网络分支的对抗下提取异源图像底层共性特征，利用所述孪生网络且在所述判别器网络分支的对抗下提取异源图像深层共性特征，所述异源图像底层共性特征和所述异源图像深层共性特征构成所述异源图像共性特征；在所述权重训练完成时，利用所述解码器网络分支基于所述异源图像共性特征上采样重构所述可见光及SAR裁剪图像组，得到可见光及SAR裁剪重构图像组。

进一步，所述总损失函数具体为，

L＝l_MsD+l_rec+l_gan

其中，L为所述总损失函数，l_MSD为类间损失函数，l_rec为上采样重构损失函数，l_gan为二分类域对抗损失函数；具体的，为可见光图像上采样重构损失函数，/>为SAR图像上采样重构损失函数；N为所述可见光及SAR裁剪图像组的总组数，m^vis为可见光裁剪图像的预定义边缘，/>为第n张可见光裁剪图像，/>为与/>不对应的第h张可见光裁剪图像，m^sar为SAR裁剪图像的预定义边缘，/>为第n张SAR裁剪图像，/>为与/>不对应的第h张SAR裁剪图像，/>为可见光裁剪图像的重构图像，vis_n为与/>对应的可见光裁剪图像，/>为SAR裁剪图像的重构图像，sar_n为与/>对应的SAR裁剪图像，i表示网络训练batch size的大小，y⁽ⁱ⁾为网络得到的标签，/>为对应的概率。

进一步，在所述权重训练的过程中，采用优化器RMSProp优化所述初始GAN网络。

进一步，所述S5具体为，

在将所述异源图像共性特征加载到所述初始GAN网络中进行迁移学习的基础上，将所有所述可见光及SAR裁剪图像组中的可见光裁剪图像以及对应的所有所述SAR裁剪旋转图像输入至所述初始GAN网络中，并将θ_s角度作为训练标签且联合主方向判定损失函数对所述主方向判定网络分支进行主方向训练，得到用于判定异源图像主方向的所述GAN网络。

进一步，所述主方向判定损失函数为，

L_θ＝L_range+L_predict

L_range＝max(|θ₁|-π，0)+max(|θ₂|-π，0)

L_predict＝min(|θ₂-θ₁-θ_s|，2π-|θ₂-θ₁-θ_s|)

其中，L_θ为所述主方向判定损失函数，L_range为范围损失函数，L_predict为预测损失函数；θ₁为所述可见光裁剪图像的主方向角度；θ₂为与所述可见光裁剪图像对应的所述SAR裁剪旋转图像的主方向角度；θ_s为所述SAR裁剪图像相对所述可见光裁剪图像旋转的角度，亦为所述训练标签。

进一步，在所述主方向训练的过程中，采用优化器SGD优化所述GAN网络。

基于上述一种基于GAN网络的异源图像特征块主方向判定方法，本发明还提供一种基于GAN网络的异源图像特征块主方向判定系统。

一种基于GAN网络的异源图像特征块主方向判定系统，包括以下模块，

异源图像组获取模块，其用于获取多对异源图像组；其中，每对所述异源图像组中均包括初始匹配的一张可见光图像和一张SAR图像；

同名坐标点定位模块，其用于将每对所述异源图像组中的可见光图像和SAR图像均分别分割成多块，对应得到多块所述可见光分割图像以及多块所述SAR分割图像，并基于HOPC和FSC的方法分别定位出每块所述可见光分割图像以及每块所述SAR分割图像中的精确同名坐标点，得到多对可见光及SAR分割图像组的精确同名坐标点；

图像裁剪旋转模块，其用于分别以每对所述可见光及SAR分割图像组中的精确同名坐标点为中心，对应对每对所述可见光及SAR分割图像组进行裁剪，得到多对可见光及SAR裁剪图像组，且分别将每对所述可见光及SAR裁剪图像组中的SAR裁剪图像相对可见光裁剪图像随机旋转θ_s角度，得到多块SAR裁剪旋转图像；

权重训练模块，其用于将所有所述可见光及SAR裁剪图像组输入至预先构建的初始GAN网络中进行权重训练，得到异源图像共性特征；其中，所述初始GAN网络包括生成器网络分支、判别器网络分支、解码器网络分支和主方向判定网络分支；

主方向训练模块，其用于基于所述异源图像共性特征的迁移学习，并结合所有所述可见光及SAR裁剪图像组中的可见光裁剪图像以及对应的所有所述SAR裁剪旋转图像对所述初始GAN网络进行主方向训练，且将θ_s角度作为训练标签，得到用于判定异源图像主方向的GAN网络；

主方向判定模块，其用于利用所述GAN网络对待判定异源图像组进行特征块主方向判定，得到主方向判定结果。

本发明的有益效果是：在本发明一种基于GAN网络的异源图像特征块主方向判定方法及系统中，使用可见光图像和SAR图像构成的异源图像数据集，利用基于HOPC和FSC的方法精确提取异源图像数据集的精确同名点坐标，并根据精确同名点坐标精确裁剪图像特征块和旋转图像特征块，利用裁剪图像特征块对预先构建的初始GAN网络进行权重训练，得到异源图像共性特征，基于异源图像共性特征的迁移学习，并利用有角度差异的裁剪图像特征块和旋转图像特征块对初始GAN网络进行主方向训练，得到的GAN网络可以提取更准确可靠的异源图像的深层共性特征，获得高精度的主方向判定，满足了异源图像匹配的旋转不变性。

附图说明

图1为本发明一种基于GAN网络的异源图像特征块主方向判定方法的流程图；

图2为异源图像组的部分示例图；

图3为GAN网络的网络框架图；

图4为本发明一种基于GAN网络的异源图像特征块主方向判定系统的结构框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种基于GAN网络的异源图像特征块主方向判定方法，包括以下步骤，

S1，获取多对异源图像组；其中，每对所述异源图像组中均包括初始匹配的一张可见光图像和一张SAR图像；

S2，将每对所述异源图像组中的可见光图像和SAR图像均分别分割成多块，对应得到多块所述可见光分割图像以及多块所述SAR分割图像，并基于HOPC和FSC的方法分别定位出每块所述可见光分割图像以及每块所述SAR分割图像中的精确同名坐标点，得到多对可见光及SAR分割图像组的精确同名坐标点；

S3，分别以每对所述可见光及SAR分割图像组中的精确同名坐标点为中心，对应对每对所述可见光及SAR分割图像组进行裁剪，得到多对可见光及SAR裁剪图像组，且分别将每对所述可见光及SAR裁剪图像组中的SAR裁剪图像相对可见光裁剪图像随机旋转θ_s角度，得到多块SAR裁剪旋转图像；

S4，将所有所述可见光及SAR裁剪图像组输入至预先构建的初始GAN网络中进行权重训练，得到异源图像共性特征；其中，所述初始GAN网络包括生成器网络分支、判别器网络分支、解码器网络分支和主方向判定网络分支；

S5，基于所述异源图像共性特征的迁移学习，并结合所有所述可见光及SAR裁剪图像组中的可见光裁剪图像以及对应的所有所述SAR裁剪旋转图像对所述初始GAN网络进行主方向训练，且将θ_s角度作为训练标签，得到用于判定异源图像主方向的GAN网络；

S6，利用所述GAN网络对待判定异源图像组进行特征块主方向判定，得到主方向判定结果。

在本具体实施例中：

在S1中，可见光图像和SAR图像的大小均为256*256，且共获取7000对256*256的异源图像组。θ_s∈[-π，π]。

异源图像组的实例如图2所示，第一横排的图像为4幅256*256的见光图像，第三横排的图像为与第一横排的4幅的见光图像一一对应初始匹配的4幅256*256的SAR图像。

在本具体实施例中：

所述S2具体为，

将每对所述异源图像组中的可见光图像和SAR图像均分别分割成多块，对应得到多块可见光分割图像和多块SAR分割图像，且每块所述可见光分割图像和每块所述SAR分割图像中均随机生成有多个坐标点；

分别计算出每块所述可见光分割图像以及每块所述SAR分割图像中对应坐标点相位一致性值的相关系数，并将每块所述可见光分割图像以及每块所述SAR分割图像中大于预设阈值的所述相关系数对应的坐标点确定为初始同名坐标点；

利用基于结构相似性的HOPC方法精确定位每块所述可见光分割图像以及每块所述SAR分割图像中的所述初始同名点，并利用FSC(Fast Sample Consensus)方法将每块所述可见光分割图像以及每块所述SAR分割图像中的误匹配的所述初始同名点剔除，对应得到每块所述可见光分割图像以及每块所述SAR分割图像中的精确同名坐标点；

根据所述精确同名坐标点将多块所述可见光分割图像与多块所述SAR分割图像一一对应构成多对可见光及SAR分割图像组，并得到多对所述可见光及SAR分割图像组的精确同名坐标点

具体的，因所选的每对异源图像组为初始匹配的图像组，所以需要将256*256的异源图像组分为多块。本实施例将每对所述异源图像组中的可见光图像和SAR图像均分别分割成4块，对应得到4块可见光分割图像和4块SAR分割图像，且每块所述可见光分割图像和每块所述SAR分割图像中均随机生成有1000个坐标点，则在一对可见光及SAR分割图像组中就有4000对坐标点。

具体的，本实施例按照降序排序，提取相关系数值大于0.6的所述相关系数对应的坐标点确定为初始同名坐标点。

具体的，HOPC方法具体为多模态遥感图像配准方法，且本实施例选择模板尺寸为10个像素的HOPC精确定位同名坐标点。

在本具体实施例中：

在所述S3中，以精确同名坐标点为中心裁剪可见光及SAR分割图像组，对应得到64*64的可见光及SAR裁剪图像组。

图2中第二横排的图像为对第一横排的4幅256*256的见光图像对应进行裁剪得到的64*64的可见光裁剪图像，图2中第四横排的图像为对第三横排的4幅256*256的SAR图像对应进行裁剪得到的64*64的SAR裁剪图像(未旋转)，图2中第五横排的图像为对第四横排的64*64的SAR裁剪图像相对可见光裁剪图像进行对应角度旋转得到的64*64的SAR裁剪旋转图像。

在所述S3中，将多对可见光及SAR裁剪图像组作为后续的权重训练集，将多对所述可见光及SAR裁剪图像组中的可见光裁剪图像以及对应的多块SAR裁剪旋转图像作为的主方向训练集。

在本具体实施例中：

所述S4具体为，

将所有所述可见光及SAR裁剪图像组输入至所述初始GAN网络中，并基于所述生成器网络分支、所述判别器网络分支以及所述解码器网络分支进行权重训练，且联合二分类域对抗损失函数、上采样重构损失函数以及类间损失函数构成的总损失函数优化所述初始GAN网络的权重，得到异源图像共性特征。

进一步，所述生成器网络分支包括不共享权重的伪孪生网络以及共享权重的孪生网络；

在所述权重训练的过程中，利用所述伪孪生网络且在所述判别器网络分支的对抗下提取异源图像底层共性特征，利用所述孪生网络且在所述判别器网络分支的对抗下提取异源图像深层共性特征，所述异源图像底层共性特征和所述异源图像深层共性特征构成所述异源图像共性特征；在所述权重训练完成时，利用所述解码器网络分支基于所述异源图像共性特征上采样重构所述可见光及SAR裁剪图像组，得到可见光及SAR裁剪重构图像组。

进一步，所述总损失函数具体为，

L＝l_MSD+l_rec+l_gan

其中，L为所述总损失函数，l_MSD为类间损失函数，l_rec为上采样重构损失函数(也称为均方误差损失函数)，l_gan为二分类域对抗损失函数；具体的，为可见光图像上采样重构损失函数，/>为SAR图像上采样重构损失函数；N为所述可见光及SAR裁剪图像组的总组数，m^vis为可见光裁剪图像的预定义边缘，/>为第n张可见光裁剪图像，/>为与/>不对应的第h张可见光裁剪图像，m^sar为SAR裁剪图像的预定义边缘，/>为第n张SAR裁剪图像，为与/>不对应的第h张SAR裁剪图像，/>为可见光裁剪图像的重构图像，vis_n为与对应的可见光裁剪图像，/>为SAR裁剪图像的重构图像，sar_n为与/>对应的SAR裁剪图像，i表示网络训练batch size的大小，y⁽ⁱ⁾为网络得到的标签，/>为对应的概率。

进一步，在所述权重训练的过程中，采用优化器RMSProp优化所述初始GAN网络；其中，初始学习率为0.01，迭代次数为2000轮，每迭代200次学习率衰减0.5。

在本具体实施例中：

所述S5具体为，

在将所述异源图像共性特征加载到所述初始GAN网络中进行迁移学习的基础上，将所有所述可见光及SAR裁剪图像组中的可见光裁剪图像以及对应的所有所述SAR裁剪旋转图像输入至所述初始GAN网络中，并将θ_s角度作为训练标签且联合主方向判定损失函数对所述主方向判定网络分支进行主方向训练，得到用于判定异源图像主方向的所述GAN网络。

进一步，所述主方向判定损失函数为，

L_θ＝L_range+L_predict

L_range＝max(|θ₁|-π，0)+max(|θ₂|-π，0)

L_predict＝min(|θ₂-θ₁-θ_s|，2π-|θ₂-θ₁-θ_s|)

其中，L_θ为所述主方向判定损失函数，L_range为范围损失函数，确保GAN网络得出的角度θ₁、θ₂在[-π，π]的区间内；L_predict为预测损失函数，确保GAN网络得出的角度θ₁、θ₂的差值为θ_s，其中考虑了角度(θ与θ+2Kπ，θ为任一角度)的周期性，避免了多个局部最小值；θ₁为所述可见光裁剪图像的主方向角度；θ₂为与所述可见光裁剪图像对应的所述SAR裁剪旋转图像的主方向角度；θ_s为所述SAR裁剪图像相对所述可见光裁剪图像旋转的角度，亦为所述训练标签。

具体的，本发明将θ_s角度作为训练标签，输入两个有角度差异的可见光裁剪图像以及对应的SAR裁剪旋转图像送入主方向判定网络分支分别得到角度θ₁、θ₂，利用主方向判定损失函数优化主方向判定网络分支。

进一步，在所述主方向训练的过程中，采用优化器SGD优化所述GAN网络；其中，初始学习率为0.01，动量为0.9，权重衰减为0.0001，使用torch.optim.lr_scheduler.ReduceLROnPlateau()函数动态调整学习率，每10次性能不变时学习率乘上0.3。

进一步，所述主方向判定网络分支的全连接层神经元分别为1024、1024、1024和1。

在本具体实施例中：

在所述S6之前还包括如下步骤，

以主方向判定网络分支输出的角度差值(θ₁和θ₂之间的差值)与θ_s评估训练得到的GAN网络的性能。

具体的，预先将所有异源图像组按照8：1：1的比例随机划分为训练集、验证集和测试集。

在前述训练初始GAN网络时，选择训练集中的异源图像组执行所述S1至所述S5，得到训练好的GAN网络。

当采用训练集中的异源图像组执行所述S1至所述S5得到训练好的GAN网络时，将验证集中的异源图像组输入至训练好的GAN网络中，通过主方向判定网络分支输出的角度差值(θ₁和θ₂之间的差值)与θ_s之间的差值评估GAN网络性能。当主方向判定网络分支输出的角度差值(θ₁和θ₂之间的差值)与θ_s之间的差值在预设差值范围内时，则表示GAN网络训练成功，否则表示GAN网络训练失败。当GAN网络训练失败时，利用随机划分的训练集重新执行所述S1至所述S5，直至GAN网络训练成功。当GAN网络训练成功后执行所述S6，而且所述S6中待判定异源图像组为所述测试集中的异源图像组。

基于上述一种基于GAN网络的异源图像特征块主方向判定方法，本发明还提供一种基于GAN网络的异源图像特征块主方向判定系统。

如图4所示，一种基于GAN网络的异源图像特征块主方向判定系统，包括以下模块，

异源图像组获取模块，其用于获取多对异源图像组；其中，每对所述异源图像组中均包括初始匹配的一张可见光图像和一张SAR图像；

同名坐标点定位模块，其用于将每对所述异源图像组中的可见光图像和SAR图像均分别分割成多块，对应得到多块所述可见光分割图像以及多块所述SAR分割图像，并基于HOPC和FSC的方法分别定位出每块所述可见光分割图像以及每块所述SAR分割图像中的精确同名坐标点，得到多对可见光及SAR分割图像组的精确同名坐标点；

图像裁剪旋转模块，其用于分别以每对所述可见光及SAR分割图像组中的精确同名坐标点为中心，对应对每对所述可见光及SAR分割图像组进行裁剪，得到多对可见光及SAR裁剪图像组，且分别将每对所述可见光及SAR裁剪图像组中的SAR裁剪图像相对可见光裁剪图像随机旋转θ_s角度，得到多块SAR裁剪旋转图像；

权重训练模块，其用于将所有所述可见光及SAR裁剪图像组输入至预先构建的初始GAN网络中进行权重训练，得到异源图像共性特征；其中，所述初始GAN网络包括生成器网络分支、判别器网络分支、解码器网络分支和主方向判定网络分支；

主方向训练模块，其用于基于所述异源图像共性特征的迁移学习，并结合所有所述可见光及SAR裁剪图像组中的可见光裁剪图像以及对应的所有所述SAR裁剪旋转图像对所述初始GAN网络进行主方向训练，且将θ_s角度作为训练标签，得到用于判定异源图像主方向的GAN网络；

主方向判定模块，其用于利用所述GAN网络对待判定异源图像组进行特征块主方向判定，得到主方向判定结果。

本发明一种基于GAN网络的异源图像特征块主方向判定系统中各模块的具体功能参见上述一种基于GAN网络的异源图像特征块主方向判定方法的各具体步骤，在此不再赘述。

在本发明一种基于GAN网络的异源图像特征块主方向判定方法及系统中，使用可见光图像和SAR图像构成的异源图像数据集，利用基于HOPC和FSC的方法精确提取异源图像数据集的精确同名点坐标，并根据精确同名点坐标精确裁剪图像特征块和旋转图像特征块，利用裁剪图像特征块对预先构建的初始GAN网络进行权重训练，得到异源图像共性特征，基于异源图像共性特征的迁移学习，并利用有角度差异的裁剪图像特征块和旋转图像特征块对初始GAN网络进行主方向训练，得到的GAN网络可以提取更准确可靠的异源图像的深层共性特征，获得高精度的主方向判定，满足了异源图像匹配的旋转不变性。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于GAN网络的异源图像特征块主方向判定方法，其特征在于：包括以下步骤，

S1，获取多对异源图像组；其中，每对所述异源图像组中均包括初始匹配的一张可见光图像和一张SAR图像；

S2，将每对所述异源图像组中的可见光图像和SAR图像均分别分割成多块，对应得到多块可见光分割图像以及多块SAR分割图像，并基于HOPC和FSC的方法分别定位出每块所述可见光分割图像以及每块所述SAR分割图像中的精确同名坐标点，得到多对可见光及SAR分割图像组的精确同名坐标点；

S3，分别以每对所述可见光及SAR分割图像组中的精确同名坐标点为中心，对应对每对所述可见光及SAR分割图像组进行裁剪，得到多对可见光及SAR裁剪图像组，且分别将每对所述可见光及SAR裁剪图像组中的SAR裁剪图像相对可见光裁剪图像随机旋转θ_s角度，得到多块SAR裁剪旋转图像；

S4，将所有所述可见光及SAR裁剪图像组输入至预先构建的初始GAN网络中进行权重训练，得到异源图像共性特征；其中，所述初始GAN网络包括生成器网络分支、判别器网络分支、解码器网络分支和主方向判定网络分支；

S5，基于所述异源图像共性特征的迁移学习，并结合所有所述可见光及SAR裁剪图像组中的可见光裁剪图像以及对应的所有所述SAR裁剪旋转图像对所述初始GAN网络进行主方向训练，且将θ_s角度作为训练标签，得到用于判定异源图像主方向的GAN网络；

S6，利用所述GAN网络对待判定异源图像组进行特征块主方向判定，得到主方向判定结果。

2.根据权利要求1所述的基于GAN网络的异源图像特征块主方向判定方法，其特征在于：所述S2具体为，

将每对所述异源图像组中的可见光图像和SAR图像均分别分割成多块，对应得到多块可见光分割图像和多块SAR分割图像，且每块所述可见光分割图像和每块所述SAR分割图像中均随机生成有多个坐标点；

分别计算出每块所述可见光分割图像以及每块所述SAR分割图像中对应坐标点相位一致性值的相关系数，并将每块所述可见光分割图像以及每块所述SAR分割图像中大于预设阈值的所述相关系数对应的坐标点确定为初始同名坐标点；

利用基于结构相似性的HOPC方法精确定位每块所述可见光分割图像以及每块所述SAR分割图像中的所述初始同名点，并利用FSC方法将每块所述可见光分割图像以及每块所述SAR分割图像中的误匹配的所述初始同名点剔除，对应得到每块所述可见光分割图像以及每块所述SAR分割图像中的精确同名坐标点；

根据所述精确同名坐标点将多块所述可见光分割图像与多块所述SAR分割图像一一对应构成多对可见光及SAR分割图像组，并得到多对所述可见光及SAR分割图像组的精确同名坐标点。

3.根据权利要求1所述的基于GAN网络的异源图像特征块主方向判定方法，其特征在于：所述S4具体为，

将所有所述可见光及SAR裁剪图像组输入至所述初始GAN网络中，并基于所述生成器网络分支、所述判别器网络分支以及所述解码器网络分支进行权重训练，且联合二分类域对抗损失函数、上采样重构损失函数以及类间损失函数构成的总损失函数优化所述初始GAN网络的权重，得到异源图像共性特征。

4.根据权利要求3所述的基于GAN网络的异源图像特征块主方向判定方法，其特征在于：所述生成器网络分支包括不共享权重的伪孪生网络以及共享权重的孪生网络；

在所述权重训练的过程中，利用所述伪孪生网络且在所述判别器网络分支的对抗下提取异源图像底层共性特征，利用所述孪生网络且在所述判别器网络分支的对抗下提取异源图像深层共性特征，所述异源图像底层共性特征和所述异源图像深层共性特征构成所述异源图像共性特征；在所述权重训练完成时，利用所述解码器网络分支基于所述异源图像共性特征上采样重构所述可见光及SAR裁剪图像组，得到可见光及SAR裁剪重构图像组。

5.根据权利要求3所述的基于GAN网络的异源图像特征块主方向判定方法，其特征在于：所述总损失函数具体为，

L＝l_MSD+l_rec+l_gan

其中，L为所述总损失函数，l_MSD为类间损失函数，l_rec为上采样重构损失函数，l_gan为二分类域对抗损失函数；具体的，为可见光图像上采样重构损失函数，/>为SAR图像上采样重构损失函数；N为所述可见光及SAR裁剪图像组的总组数，m^vis为可见光裁剪图像的预定义边缘，/>为第n张可见光裁剪图像，/>为与/>不对应的第h张可见光裁剪图像，m^sar为SAR裁剪图像的预定义边缘，/>为第n张SAR裁剪图像，/>为与/>不对应的第h张SAR裁剪图像，/>为可见光裁剪图像的重构图像，vis_n为与/>对应的可见光裁剪图像，为SAR裁剪图像的重构图像，sar_n为与/>对应的SAR裁剪图像，i表示网络训练batch size的大小，y⁽ⁱ⁾为网络得到的标签，/>为对应的概率。

6.根据权利要求3所述的基于GAN网络的异源图像特征块主方向判定方法，其特征在于：在所述权重训练的过程中，采用优化器RMSProp优化所述初始GAN网络。

7.根据权利要求1所述的基于GAN网络的异源图像特征块主方向判定方法，其特征在于：所述S5具体为，

在将所述异源图像共性特征加载到所述初始GAN网络中进行迁移学习的基础上，将所有所述可见光及SAR裁剪图像组中的可见光裁剪图像以及对应的所有所述SAR裁剪旋转图像输入至所述初始GAN网络中，并将θ_s角度作为训练标签且联合主方向判定损失函数对所述主方向判定网络分支进行主方向训练，得到用于判定异源图像主方向的所述GAN网络。

8.根据权利要求7所述的基于GAN网络的异源图像特征块主方向判定方法，其特征在于：所述主方向判定损失函数为，

L_θ＝L_range+L_predict

L_range＝max(|θ₁|-π，0)+max(|θ₂|-π，0)

L_predict＝min(|θ₂-θ₁-θ_s|，2π-|θ₂-θ₁-θ_s|)

其中，L_θ为所述主方向判定损失函数，L_range为范围损失函数，L_predict为预测损失函数；θ₁为所述可见光裁剪图像的主方向角度；θ₂为与所述可见光裁剪图像对应的所述SAR裁剪旋转图像的主方向角度；θ_s为所述SAR裁剪图像相对所述可见光裁剪图像旋转的角度，亦为所述训练标签。

9.根据权利要求7所述的基于GAN网络的异源图像特征块主方向判定方法，其特征在于：在所述主方向训练的过程中，采用优化器SGD优化所述GAN网络。

10.一种基于GAN网络的异源图像特征块主方向判定系统，其特征在于：包括以下模块，

异源图像组获取模块，其用于获取多对异源图像组；其中，每对所述异源图像组中均包括初始匹配的一张可见光图像和一张SAR图像；

同名坐标点定位模块，其用于将每对所述异源图像组中的可见光图像和SAR图像均分别分割成多块，对应得到多块可见光分割图像以及多块SAR分割图像，并基于HOPC和FSC的方法分别定位出每块所述可见光分割图像以及每块所述SAR分割图像中的精确同名坐标点，得到多对可见光及SAR分割图像组的精确同名坐标点；

图像裁剪旋转模块，其用于分别以每对所述可见光及SAR分割图像组中的精确同名坐标点为中心，对应对每对所述可见光及SAR分割图像组进行裁剪，得到多对可见光及SAR裁剪图像组，且分别将每对所述可见光及SAR裁剪图像组中的SAR裁剪图像相对可见光裁剪图像随机旋转θ_s角度，得到多块SAR裁剪旋转图像；

权重训练模块，其用于将所有所述可见光及SAR裁剪图像组输入至预先构建的初始GAN网络中进行权重训练，得到异源图像共性特征；其中，所述初始GAN网络包括生成器网络分支、判别器网络分支、解码器网络分支和主方向判定网络分支；

主方向训练模块，其用于基于所述异源图像共性特征的迁移学习，并结合所有所述可见光及SAR裁剪图像组中的可见光裁剪图像以及对应的所有所述SAR裁剪旋转图像对所述初始GAN网络进行主方向训练，且将θ_s角度作为训练标签，得到用于判定异源图像主方向的GAN网络；

主方向判定模块，其用于利用所述GAN网络对待判定异源图像组进行特征块主方向判定，得到主方向判定结果。