CN114445640A - 基于描述子一致性约束的异源遥感图像块匹配方法及系统 - Google Patents

Abstract

本发明公开了一种基于描述子一致性约束的异源遥感图像块匹配方法及系统，利用高层特征学习到的包含更多相似度排序的知识来引导低层特征学习，借助高层特征中更加丰富的监督信息优化特征网络，从而提高异源遥感图像匹配的精度。在剔除异源图像之间的差异性时，容易丢失大量的判别性信息，影响异源图像特征的判别性，增大异源图像匹配的误差，提出了借助重构约束保持异源图像特征的判别性，从而提高异源遥感图像匹配的精度。其步骤为：制作数据集；图像预处理；用异源图像特征学习网络提取图像块特征；用异源共享特征学习网络提取图像块的共享特征；降维网络；用解码器重构图像块；网络优化；预测匹配概率；评估网络性能。

Description

基于描述子一致性约束的异源遥感图像块匹配方法及系统

技术领域

本发明属于图像处理技术领域，具体涉及一种基于描述子一致性约束的异源遥感图像块匹配方法及系统。

背景技术

图像匹配是指预测两个图像之间的关系，匹配或者不匹配。待匹配的两幅图像往往包含同一场景的内容，但是可能是在不同时间、通过不同传感器、从不同视角、不同光照等条件下获取到的。异源图像的成像机理的不同，导致异源图像对同一场景或同一目标的表示有很大的差异性，极大地增大了异源图像匹配的难度。因为异源图像匹配不仅需要考虑光照变换、几何变换、视角变化，而且需要考虑因为传感器不同带来的差异性。本发明提出了一种新的基于描述子一致性约束的异源遥感图像块匹配方法，利用深度网络学习异源图像的共享特征，同时提出描述子一致性损失进一步增强共享特征学习和特征的判别性，提高异源遥感图像匹配的精度。

传统的人工设计特征算子可适用范围有限，对不同类型的图像自适应性较差。相反，深度学习可根据图像的特性，自动提取图像中的特征，扩大图像匹配方法的适用性。近年来，基于深度学习的特征提取方法逐渐取代了人工设计的特征算子，并在图像匹配任务上取得了显著的优势。大部分的异源图像匹配算法都关注于如何减少异源图像之间的差异性。但是，在剔除异源图像之间的差异性过程中，通常会丢掉大量的判别性信息，降低局部特征匹配的精度，增大图像匹配的误差。因此，如何克服异源图像之间的差异性对图像匹配的影响，同时保持异源图像特征的判别性，实现异源图像的精确匹配具有非常重要的研究意义。

现有提出了困难样本挖掘策略，通过在一个batch内挖掘困难负样本，相比于之前的基于深度学习的方法，获得了更好的匹配效果。还有一种是在HardNet基础上提出了指数三元组损失函数，比hardnet的结果更好，但它也没有约束中间特征，而且网络是完全共享的，并不完全适合异源图像匹配。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于描述子一致性约束的异源遥感图像块匹配方法及系统，利用高层特征学习到的包含更多相似度排序的知识来引导低层特征学习，借助高层特征中更加丰富的监督信息优化特征网络，从而提高异源遥感图像匹配的精度。

本发明采用以下技术方案：

一种基于描述子一致性约束的异源遥感图像块匹配方法，包括以下步骤：

S1、从成对的光学图像和SAR图像中裁剪光学图像块p_oi和SAR图像块p_si，制作异源遥感图像块数据集，将异源遥感图像块数据集划分为训练样本和测试样本，分别对训练样本和测试样本进行预处理；

S2、将步骤S1得到的训练样本中的光学图像块p_oi和SAR图像块p_si送入到异源图像特征学习网络提取图像块特征，得到光学图像特征f_oi和SAR图像特征f_si；

S3、将步骤S2获得的光学图像特征f_oi和SAR图像特征f_si送到共享特征学习映射网络，得到光学图像块p_oi的共享特征e_oi和SAR图像块p_si的共享特征e_si；

S4、将步骤S2获得的光学图像特征f_oi和SAR图像特征f_si送到降维网络，得到和步骤S3获取的共享特征e_oi，e_si维度一致的共享特征f′_oi和f′_si；

S5、使用解码器对步骤S4获得的光学图像块的共享特征f_o ^′ _i和SAR图像块的共享特征f′_si重构光学图像块

和SAR图像块

S6、根据步骤S3得到的共享特征e_oi和e_si计算三元组匹配损失，根据步骤S3得到的共享特征e_oi和e_si与步骤S4得到的f′_oi和f′_si计算描述子一致性约束损失，根据步骤S5得到的重构的光学图像块

和SAR图像块

与输入的光学图像块p_oi和SAR图像块p_si计算重构损失，根据三元组匹配损失、描述子一致性损失和重构损失得到最终的损失函数L，优化整个基于描述子一致性约束的异源遥感图像块匹配网络，保存异源遥感图像块匹配网络的权重；

S7、依次读取步骤S1划分的测试样本中的光学图像块p_oi和SAR图像块p_si，将步骤S6训练好的异源遥感图像块匹配网络权重载入步骤S2中的异源图像特征学习网络和步骤S3中的共享特征学习映射网络中，得到对应的异源图像的特征描述子，根据描述子之间的特征距离判断输入图像块是否匹配。

具体的，步骤S1中，从数据集SEN1-2中随机选取11586对像素级对齐的，大小为256×256的光学图像和SAR图像，检测光学图像中的SIFT关键点，以光学图像的SIFT关键点为中心在光学图像中裁剪大小64×64的光学图像块p_oi，根据光学图像的SIFT关键点位置得到对应匹配的SAR图像的SIFT关键点，以SAR图像的SIFT关键点为中心在SAR图像中裁剪大小64×64的SAR图像块p_si，随机选择583180对光学和SAR图像块作为训练样本，248274对光学和SAR图像块作为图像块匹配的测试样本。

具体的，步骤S2具体为：

输入一对匹配的光学和SAR图像块(p_oi,p_si)，使用具有相同网络结构，不共享网络参数的光学图像特征学习网络F_o和SAR图像特征学习网络F_s分别对光学图像块和SAR图像块进行特征提取，异源图像特征学习网络分别包含2个卷积层，卷积核大小为3×3，每个卷积层的卷积核数量分别为32，32，每个卷积层后跟随批归一化。

具体的，步骤S5中，解码网络De包含3个反卷积层，每个反卷积层后面设置一个卷积层。

具体的，步骤S6具体为：S601、根据步骤S3得到的共享特征e_oi和e_si计算三元组匹配损失，优化步骤S2中异源图像特征学习网络和步骤S3中共享特征学习映射网络

S602、根据步骤S3得到的共享特征e_oi和e_si与步骤S4得到的f′_oi和f′_si计算描述子一致性约束损失，优化步骤S2中的异源图像特征学习网络和步骤S3中的共享特征学习映射网络；采用域内一致性约束和域间一致性约束表示描述子一致性约束损失L_con；

S603、根据步骤S5得到的重构的光学图像块

和SAR图像块

与输入的光学图像块p_oi和SAR图像块p_si计算重构损失，优化步骤S2中的异源图像特征学习网络、步骤S4中的降维网络和步骤S5中的解码器；根据提取到的图像特征，重构出原始输入图像，最小化重构误差；

S604、联合优化步骤S601、步骤S602和步骤S603的损失，根据步骤S601中的三元组匹配损失、步骤S602中的描述子一致性损失和步骤S603中的重构损失得到最终的损失函数L，优化整个基于描述子一致性约束的异源遥感图像块匹配网络。

进一步的，步骤S601中，三元组匹配损失函数L_match如下：

L_match＝[m+D(e_oi,e_si)-D(e_oi,e_sj)]₊

其中，[x]₊＝max(x,0)，D(e_oi,e_si)表示匹配的光学图像特征e_oi和SAR图像特征e_si之间的特征距离，D(e_oi,e_sj)表示不匹配的光学图像特征e_oi和SAR图像特征e_sj之间的特征距离，且i≠j，m表示距离间隔。

进一步的，步骤S602中，描述子一致性约束损失L_con为：

L_con＝L_intra+L_intre

其中，L_intra为域内一致性损失函数，L_intre为域间一致性约束损失函数。

进一步的，步骤S603中，最小化重构误差L_recon为：

其中，p_oi为输入的光学图像块，

为重构的光学图像块，p_si为输入的SAR图像块，

为重构的SAR图像块。

进一步的，步骤S604中，损失函数L为：

L＝L_match+αL_con+βL_recon

其中，α表示描述子一致性约束损失函数的权重系数，β表示重构误差损失函数的权重系数，L_match为三元组匹配损失函数，L_con为描述子一致性约束损失，L_recon为最小化重构误差。

本发明的另一个技术方案是，一种基于描述子一致性约束的异源遥感图像块匹配系统，包括：

处理模块，从成对的光学图像和SAR图像中裁剪光学图像块p_oi和SAR图像块p_si，制作异源遥感图像块数据集，将异源遥感图像块数据集划分为训练样本和测试样本，分别对训练样本和测试样本进行预处理；

提取模块，将处理模块得到的训练样本中的光学图像块p_oi和SAR图像块p_si送入到异源图像特征学习网络提取图像块特征，得到光学图像特征f_oi和SAR图像特征f_si；

学习模块，将提取模块获得的光学图像特征f_oi和SAR图像特征f_si送到共享特征学习映射网络，得到光学图像块p_oi的共享特征e_oi和SAR图像块p_si的共享特征e_si；

降维模块，将提取模块获得的光学图像特征f_oi和SAR图像特征f_si送入到降维网络，得到和学习模块获取的共享特征e_oi，e_si维度一致的共享特征f′_oi和f′_si；

重构模块，使用解码器对降维模块获得的光学图像块的共享特征f′_oi和SAR图像块的共享特征f′_si重构光学图像块

和SAR图像块

匹配模块，根据学习模块得到的共享特征e_oi和e_si计算三元组匹配损失，根据学习模块得到的共享特征e_oi和e_si与降维模块得到的f′_oi和f′_si计算描述子一致性约束损失，根据重构模块得到的重构的光学图像块

和SAR图像块

与输入的光学图像块p_oi和SAR图像块p_si计算重构损失，根据三元组匹配损失、描述子一致性损失和重构损失得到最终的损失函数L，优化整个基于描述子一致性约束的异源遥感图像块匹配网络，保存异源遥感图像块匹配网络的权重。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于描述子一致性约束的异源遥感图像块匹配方法，通过将异源遥感图像的特征映射到共享特征空间进行匹配，降低异源图像的差异性对图像匹配的影响，提高异源图像匹配的精度；同时，基于描述子一致性损失函数优化描述子学习网络，根据三元组匹配损失、描述子一致性损失和重构损失得到最终的损失函数L；根据共享特征e_oi和e_si计算三元组匹配损失，根据共享特征e_oi和e_si与f′_oi和f′_si计算描述子一致性约束损失，利用高层特征学习到的知识引导低层特征的学习，在网络优化过程中，结合异源图像匹配损失、描述子一致性损失和重构损失训练描述子学习网络，得到异源图像的共享特征，同时保留异源图像的判别性信息，提高图像块匹配精度。

进一步的，从数据集SEN1-2中随机选取11586对像素级对齐的，大小为256×256的可见光和SAR图像，随机产生583180对光学-SAR图像块对作为训练样本，随机产生248274对光学-SAR图像块对作为图像块匹配的测试样本。通过大量的训练样本用于模型拟合，大量的测试样本评估方法的有效性。

进一步的，通过不共享网络权重的异源特征学习网络分别对异源图像进行特征学习，得到图像低层特征，送入到共享特征映射网络。

进一步的，解码网络De包含3个反卷积层用于提高特征的分辨率，每个反卷积层后面设置一个卷积层，通过卷积层可进一步提升解码网络De的重构能力。

进一步的，使用三元组匹配损失、描述子一致性损失和重构损失联合优化网络，提取异源图像共享特征，同时保持异源图像特征的判别性。

进一步的，通过三元组匹配损失函数L_match优化网络参数使得匹配的图像特征距离近，而不匹配的图像特征距离远，从而可以根据网络提取到的图像特征相似度寻找最优的匹配点对。

进一步的，使用描述子一致性约束损失L_con来约束在共享特征空间学习前后域内特征之间的相似度的一致性，用包含更多监督信息的高层特征来引导低层特征的学习。

进一步的，在约束异源特征一致性的同时，可能会丢失大量的判别性信息，因此，最小化重构误差L_recon来确保网络提取到包含判别性信息的特征。

进一步的，使用损失函数L来优化整个基于描述子一致性的异源图像块匹配方法网络，得到异源图像一致性特征，同时包含判别性信息。

综上所述，本发明提出的基于描述子一致性约束的异源遥感图像块匹配方法，将异源图像的特征映射到共享特征空间进行匹配，降低了异源图像的差异性对图像匹配的影响，同时，提出的描述子一致性损失函数利用高层特征学习到的知识引导低层特征的学习。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的流程图；

图2是本发明的网络框架图；

图3是本发明在仿真实验中使用的异源数据集的一些示例图；

图4是本发明匹配结果图；

图5是HardNet和本发明提取的描述子进行分布可视化的结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

图像匹配是图像处理领域非常重要的问题，是其他图像处理任务的前提，例如，图像融合、变化检测、目标跟踪等，作为图像处理的基础问题，图像匹配的精度往往会影响后续图像处理任务的准确性。

异源遥感图像匹配是异源遥感图像信息融合利用的基础，具有非常重要的研究意义。但是，由于异源遥感图像的成像机制不同，异源遥感图像之间存在显著的差异性，增加了异源遥感图像匹配的难度。如何剔除异源图像之间的差异性，学习异源图像之间的共享特征，同时又保持异源图像特征的判别性是非常关键的问题。

本发明提供了一种基于描述子一致性约束的异源遥感图像块匹配方法，为了降低异源图像之间由于成像机制不同引起的显著差异性，提出利用深度卷积网络提取异源图像中的共享特征。在特征网络优化过程中仅依赖匹配和不匹配标签，其可利用的监督信息有限，对网络的优化引导作用有待提升。因此，本发明提出了描述子一致性约束损失，包括域内的一致性损失和域间的一致性损失，利用高层特征学习到的包含更多相似度排序的知识来引导低层特征学习，借助高层特征中更加丰富的监督信息优化特征网络，从而提高异源遥感图像匹配的精度。在剔除异源图像之间的差异性时，容易丢失大量的判别性信息，影响异源图像特征的判别性，增大异源图像匹配的误差，提出了借助重构约束保持异源图像特征的判别性，从而提高异源遥感图像匹配的精度。其步骤为：制作数据集；图像预处理；用异源图像特征学习网络提取图像块特征；用异源共享特征学习网络提取图像块的共享特征；降维网络；用解码器重构图像块；网络优化；预测匹配概率；评估网络性能。在大量的基于可见光和SAR图像的异源图像匹配任务上验证了本发明的有效性。

请参阅图1，本发明一种基于描述子一致性约束的异源遥感图像块匹配方法，包括以下步骤：

S1、制作数据集，图像预处理；

从数据集SEN1-2中随机选取11586对像素级对齐的，大小为256×256的可见光和SAR图像，基于SEN1-2数据集中光学图像的SIFT特征点，随机产生583180对光学-SAR图像块对作为训练样本，248274对光学-SAR图像块对作为图像块匹配的测试样本。图像块的大小是64×64。

对图像进行均值归一化，即减均值、除方差，经过处理的数据符合标准正态分布，即均值为0，标准差为1。

S2、用异源图像特征学习网络提取图像块特征；

输入一对匹配的光学和SAR图像块(p_oi,p_si)，用具有相同网络结构，但是不共享网络参数的异源图像特征学习网络分别对光学图像块和SAR图像块进行特征提取，得到光学图像特征f_oi和SAR图像特征f_si。

光学图像特征学习网络F_o和SAR图像特征学习网络F_s具有相同的网络结构，但是不共享网络参数。异源图像特征学习网络分别包含2个卷积层，卷积核大小为3×3，每个卷积层的卷积核数量分别为32，32，每个卷积层后跟随批归一化(batch normalization，BN)。

S3、用异源共享特征学习网络提取图像块的共享特征

将由步骤S2获得的光学图像特征f_oi和SAR图像特征f_si送到共享特征学习映射网络，得到光学图像块p_oi的共享特征e_oi和SAR图像块p_si的共享特征e_si和SAR图像块p_si的共享特征e_si，F_c主要包含5个卷积层。

S4、降维网络

为了对异源共享特征学习前后的描述子相似度进行一致性约束，将由步骤S2获得的光学图像特征f_oi和SAR图像特征f_si送入到降维网络，得到和共享特征e_oi，e_si维度一致的特征f′_oi和f′_si。

S5、用解码器重构图像块

为了提取到异源图像中有效的图像信息，保留判别性特征信息，使用解码器对步骤S4获得的光学图像块的共享特征f′_oi和SAR图像块的共享特征f′_si重构光学图像块或SAR图像块。

解码网络De包含3个反卷积层，每个反卷积层后面都跟着一个卷积层。

S6、网络优化

基于三元组的匹配损失函数、描述子一致性约束损失函数和重构损失函数联合优化整个网络参数；

匹配损失函数使得匹配的图像特征相似度大，而不匹配的图像特征相似度小，从而可以根据网络提取到的图像特征相似度寻找最优的匹配点对；为了保证共享特征空间学习前后域内特征之间的相似度的一致性，本发明提出了描述子一致性约束损失函数，利用包含丰富监督信息的高层知识引导低层特征网络的优化，进一步提高图像匹配的效果；为了提取到包含判别性信息的特征，引入了重构损失，期望可以根据提取到的图像特征，尽可能重构出原始输入图像。

S601、采用三元组匹配损失函数来优化特征学习网络

它使匹配的图像特征相似度大，而不匹配的图像特征相似度小，从而可以根据网络提取到的图像特征相似度寻找最优的匹配点对；三元组匹配损失函数如下：

L_match＝[m+D(e_oi,e_si)-D(e_oi,e_sj)]₊

其中，[x]₊＝max(x,0)，D(e_oi,e_si)表示匹配的光学图像特征e_oi和SAR图像特征e_si之间的特征距离，D(e_oi,e_sj)表示不匹配的光学图像特征e_oi和SAR图像特征e_sj之间的特征距离，且i≠j，m表示距离间隔，一般情况下m＝1。该三元组损失函数优化的目标是期望不匹配的图像特征距离大于匹配的图像特征距离至少一个距离间隔m。

S602、描述子一致性约束损失

理想的描述子学习，在共享特征空间学习前后域内特征之间的相似度应该是一致的。本发明提出了域内一致性约束和域间一致性约束：

域内一致性约束：

基于光学图像特征f′_oi，可计算光学图像特征之间Softmax归一化之后的余弦相似度S_fo；基于光学图像共享特征e_oi，可计算光学图像共享特征之间Softmax归一化之后的余弦相似度S_eo。本发明提出的光学图像域内一致性约束目标为最大化S_fo与S_eo之间的分布相似性，即最小化S_fo与S_eo之间的KL散度。基于光学图像的域内一致性损失函数L_intra,o表示为：

L_intra,o＝D_KL(S_fo‖S_eo)

同样地，基于SAR图像特征f′_si，可计算SAR图像特征之间Softmax归一化之后的余弦相似度S_fs，基于SAR图像共享特征e_si，可计算SAR图像共享特征之间Softmax归一化之后的余弦相似度S_es，SAR图像域内一致性约束目标为最大化S_fs与S_es之间的分布相似性。基于SAR图像的域内一致性损失函数L_intra,s表示为：

L_intra,s＝D_KL(S_fs‖S_es)

因此，域内一致性损失函数为基于光学图像的域内一致性损失与基于SAR图像的域内一致性损失函数之和。

L_intra＝L_intra,o+L_imtra,s

域间一致性约束：

除了域内的相似度一致性约束之外，还约束光学图像和SAR图像之间一致性，使得S_fo和S_es是一致的，S_fs和S_eo是一致的。因此，域间一致性约束损失函数L_intre表示为：

L_intre＝D_KL(S_fo‖S_es)+D_KL(S_fs‖S_eo)

因此，描述子一致性约束损失L_con表示为域内一致性约束损失函数和域间一致性约束损失函数的结合：

L_con＝L_intra+L_intre

本发明提出的描述子一致性约束可以看作是蒸馏学习的一种特例，即自蒸蒸馏学习，蒸馏学习通常包含教师网络和学生网络，教师网络相比学生网络的结构更加复杂，学习能力更强。蒸馏学习是指将教师网络学习到知识迁移到学生网络中，常用于压缩模型的大小，同吋尽可能保持网络的性能不下降。本发明的网络框架中，共享特征学习后的深层特征网络可以看作是教师网络，共享特征学习之前的浅层特征网络结构相对简单，可以看作是学生网络，如图2所示。然后，利用教师网络学习到的知识引导学生网络的学习。由于本发明中的教师网络和学生网络来自同一个特征提取网络，因此教师网络和学生网络之间的蒸馏学习可以看作是自蒸馏学习。

在对高层特征进行匹配约束的过程中，只有匹配和不匹配的硬标签(hard label)引导，无法知道不匹配样本之间的相似度排序，网络优化可利用的监督信息有限。但是，基于高层特征计算的相似度矩阵包含丰富的监督信息，可以根据相似度值预测图像块之间的相似度排序，即有大量的软标签(soft label)。利用包含丰富监督信息的高层知识引导低层特征网络的优化，可进一步提高图像匹配的效果。

S603、重构损失

深度网络提取的图像特征往往是和目标任务匹配相关的，但是基于匹配目标的学习过程中，容易丢失大量的图像信息，降低特征的判别性，增加过拟合的风险。因此，为了提取到包含判别性信息的特征，期望根据提取到的图像特征，尽可能重构出原始输入图像，最小化重构误差：

S604、联合优化三个损失，最终的损失函数为：

L＝L_match+αL_con+βL_recon

其中，α表示描述子一致性约束损失函数的权重系数，β表示重构误差损失函数的权重系数。

训练了20个epoch，初始学习率为0.5，描述子一致性约束损失函数的权重系数α设置为10，重构误差损失函数的权重系数β设置为0.001，Batchsize为500。

S7、预测匹配概率，评估网络性能。

将步骤S6中训练好的权重载入到模型中，并依次读取步骤S1划分的测试样本，预测测试样本中每对图像块匹配概率；通过FPR95和正确率评估网络在异源数据集上的性能，如图3所示。

本发明再一个实施例中，提供一种基于描述子一致性约束的异源遥感图像块匹配系统，该系统能够用于实现上述基于描述子一致性约束的异源遥感图像块匹配方法，具体的，该基于描述子一致性约束的异源遥感图像块匹配系统包括处理模块、提取模块、学习模块、降维模块、重构模块以及匹配模块。

其中，处理模块，从成对的光学图像和SAR图像中裁剪光学图像块p_oi和SAR图像块p_si，制作异源遥感图像块数据集，将异源遥感图像块数据集划分为训练样本和测试样本，分别对训练样本和测试样本进行预处理；

提取模块，将处理模块得到的训练样本中的光学图像块p_oi和SAR图像块p_si送入到异源图像特征学习网络提取图像块特征，得到光学图像特征f_oi和SAR图像特征f_si；

学习模块，将提取模块获得的光学图像特征f_oi和SAR图像特征f_si送到共享特征学习映射网络，得到光学图像块p_oi的共享特征e_oi和SAR图像块p_si的共享特征e_si；

降维模块，将提取模块获得的光学图像特征f_oi和SAR图像特征f_si送入到降维网络，得到和学习模块获取的共享特征e_oi，e_si维度一致的共享特征f′_oi和f′_si；

重构模块，使用解码器对降维模块获得的光学图像块的共享特征f′_oi和SAR图像块的共享特征f′_si重构光学图像块

和SAR图像块

匹配模块，根据学习模块得到的共享特征e_oi和e_si计算三元组匹配损失，根据学习模块得到的共享特征e_oi和e_si与降维模块得到的f′_oi和f′_si计算描述子一致性约束损失，根据重构模块得到的重构的光学图像块

和SAR图像块

与输入的光学图像块p_oi和SAR图像块p_si计算重构损失，根据三元组匹配损失、描述子一致性损失和重构损失得到最终的损失函数L，优化整个基于描述子一致性约束的异源遥感图像块匹配网络，保存异源遥感图像块匹配网络的权重。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

仿真实验条件

本实验的硬件平台：NVIDIA GTX 1080GPU；

软件平台：Spyder软件(Python3.6)版。

仿真实验内容与结果分析：

本发明的仿真实验具体分为两个仿真实验。

本发明使用公开的数据集SEN1-2。SEN1-2包含春、夏、秋、冬四个季节获取的成对光学遥感图像和SAR图像。图像大小为256×256，分辨率为10m。本发明基于SEN1-2数据集中光学图像的SIFT特征点，随机产生了583180对光学-SAR图像块对作为训练样本，248274对光学-SAR图像块对作为图像块匹配的测试样本。其中，图像块的大小为64×64。

仿真实验1

采用本发明方法，从表1中的结果可以看出，相对于目前最具代表性的描述子网络HardNet，本发明设计的共享特征网络学习结果在FPR95指标和匹配正确率上都优于HardNet；其次，当描述子学习网络只基于匹配损失函数L_m训练时，图像块匹配的FPR95值为3.0，正确率为96.0，当结合匹配损失和重构损失L_m+L_recon或者结合匹配损失和描述子一致性损失L_m+L_con时，都可以明显提升图像块匹配的性能。

具体地，L_m+L_recon将L_m图像块匹配的FPR95值从3.0降低到1.1，同时将正确率从96.0％提升至97.6％；L_m+L_con将L_m图像块匹配的FPR95值从3.0降低到0.9，同时将正确率从96.0％提升至97.8％。实验结果表明了重构损失和描述子相似度一致性损失的有效性。当结合匹配损失、重构损失和描述子一致性损失优化描述子学习网络时，其匹配结果最好，对应的FPR95为0.7，正确率为98.2％，如图4所示。

表1

仿真实验2

理想情况下，匹配的光学遥感图像特征和SAR图像特征的距离小，不匹配的光学遥感图像特征和SAR图像特征之间的距离远。因此，为了验证本发明的有效性，利用t-sne方法可视化提取到的光学遥感图像的特征和SAR图像特征。

请参阅图5，随机选择了两对光学遥感图像和SAR图像，然后，基于光学遥感图像中的关键点分别提取光学遥感图像块和对应匹配的SAR图像块；之后，利用训练好的特征提取网络分别提取光学遥感图像块和对应匹配的SAR图像块的特征，并利用t-sne将提取到的特征映射到2维空间中。由于可视化的是成对的、匹配的异源图像块特征，它们在特征空间中的分布应该是非常相似的。

请参阅图5(a)、(c)所示，HardNet学习到的异源图像特征分布差异性较大，没有学习到异源图像之间的共享特征，可以看出同源不匹配的图像块特征距离小于异源匹配的图像块特征，在匹配过程中容易导致大量错误的匹配点对，降低异源图像匹配的精度。

请参阅图5(b)、(d)所示，本发明学习到的光学图像特征和SAR图像特征分布相似度较高，特别是图5(d)中的光学遥感图像和SAR图像学习到的特征分布几乎完全重合。因此，本发明能够学习到异源图像的共享特征，助力异源图像匹配过程，降低异源图像之间的差异性对图像匹配的干扰，提高异源图像匹配的精度。

综上所述，本发明一种基于描述子一致性约束的异源遥感图像块匹配方法及系统，通过将异源图像的特征映射到共享特征空间进行匹配，降低了异源图像的差异性对图像匹配的影响，提高了异源图像匹配的精度。同时，本发明提出了描述子一致性损失函数优化描述子学习网络，包括基于域内的一致性损失函数和域间的一致性损失函数。利用高层特征学习到的知识引导低层特征的学习。在网络优化过程中，结合图像匹配损失、描述子一致性损失和重构损失训练描述子学习网络。通过大量的光学图像和SAR图像的图像块匹配实验和异源遥感图像匹配实验结果验证了本发明提出的基于描述子一致性约束的异源遥感图像匹配方法的有效性和鲁棒性。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.基于描述子一致性约束的异源遥感图像块匹配方法，其特征在于，包括以下步骤：

S1、从成对的光学图像和SAR图像中裁剪光学图像块p_oi和SAR图像块p_si，制作异源遥感图像块数据集，将异源遥感图像块数据集划分为训练样本和测试样本，分别对训练样本和测试样本进行预处理；

S2、将步骤S1得到的训练样本中的光学图像块p_oi和SAR图像块p_si送到异源图像特征学习网络提取图像块特征，得到光学图像特征f_oi和SAR图像特征f_si；

S3、将步骤S2获得的光学图像特征f_oi和SAR图像特征f_si送到共享特征学习映射网络，得到光学图像块p_oi的共享特征e_oi和SAR图像块p_si的共享特征e_si；

S4、将步骤S2获得的光学图像特征f_oi和SAR图像特征f_si送到降维网络，得到和步骤S3获取的共享特征e_oi，e_si维度一致的共享特征f′_oi和f′_si；

S5、使用解码器对步骤S4获得的光学图像块的共享特征f′_oi和SAR图像块的共享特征f′_si重构光学图像块

和SAR图像块

S6、根据步骤S3得到的共享特征e_oi和e_si计算三元组匹配损失，根据步骤S3得到的共享特征e_oi和e_si与步骤S4得到的f′_oi和f′_si计算描述子一致性约束损失，根据步骤S5得到的重构的光学图像块

和SAR图像块

与输入的光学图像块p_oi和SAR图像块P_si计算重构损失；根据三元组匹配损失、描述子一致性损失和重构损失得到最终的损失函数L，优化整个基于描述子一致性约束的异源遥感图像块匹配网络，保存异源遥感图像块匹配网络的权重；

S7、依次读取步骤S1划分的测试样本中的光学图像块p_oi和SAR图像块p_si，将步骤S6训练好的异源遥感图像块匹配网络权重载入步骤S2中的异源图像特征学习网络和步骤S3中的共享特征学习映射网络中，得到对应的异源图像的特征描述子，根据描述子之间的特征距离判断输入图像块是否匹配。

2.根据权利要求1所述的基于描述子一致性约束的异源遥感图像块匹配方法，其特征在于，步骤S1中，从数据集SEN1-2中随机选取11586对像素级对齐的，大小为256×256的光学图像和SAR图像，检测光学图像中的SIFT关键点，以光学图像的SIFT关键点为中心在光学图像中裁剪大小64×64的光学图像块p_oi，根据光学图像的SIFT关键点位置得到对应匹配的SAR图像的SIFT关键点，以SAR图像的SIFT关键点为中心在SAR图像中裁剪大小64×64的SAR图像块p_si，随机选择583180对光学和SAR图像块作为训练样本，248274对光学和SAR图像块作为图像块匹配的测试样本。

3.根据权利要求1所述的基于描述子一致性约束的异源遥感图像块匹配方法，其特征在于，步骤S2具体为：

输入一对匹配的光学和SAR图像块(p_oi，p_si)，使用具有相同网络结构，不共享网络参数的光学图像特征学习网络F_o和SAR图像特征学习网络F_s分别对光学图像块和SAR图像块进行特征提取，异源图像特征学习网络分别包含2个卷积层，卷积核大小为3×3，每个卷积层的卷积核数量分别为32，32，每个卷积层后跟随批归一化。

4.根据权利要求1所述的基于描述子一致性约束的异源遥感图像块匹配方法，其特征在于，步骤S5中，解码网络De包含3个反卷积层，每个反卷积层后面设置一个卷积层。

5.根据权利要求1所述的基于描述子一致性约束的异源遥感图像块匹配方法，其特征在于，步骤S6具体为：S601、根据步骤S3得到的共享特征e_oi和e_si计算三元组匹配损失，优化步骤S2中异源图像特征学习网络和步骤S3中共享特征学习映射网络

S602、根据步骤S3得到的共享特征e_oi和e_si与步骤S4得到的f′_oi和f′_si计算描述子一致性约束损失，优化步骤S2中的异源图像特征学习网络和步骤S3中的共享特征学习映射网络；采用域内一致性约束和域间一致性约束表示描述子一致性约束损失L_con；

S603、根据步骤S5得到的重构的光学图像块

和SAR图像块

与输入的光学图像块p_oi和SAR图像块p_si计算重构损失，优化步骤S2中的异源图像特征学习网络、步骤S4中的降维网络和步骤S5中的解码器；根据提取到的图像特征，重构出原始输入图像，最小化重构误差；

S604、联合优化步骤S601、步骤S602和步骤S603的损失，根据步骤S601中的三元组匹配损失、步骤S602中的描述子一致性损失和步骤S603中的重构损失得到最终的损失函数L，优化整个基于描述子一致性约束的异源遥感图像块匹配网络。

6.根据权利要求5所述的基于描述子一致性约束的异源遥感图像块匹配方法，其特征在于，步骤S601中，三元组匹配损失函数L_match如下：

L_match＝[m+D(e_oi，e_si)-D(e_oi，e_sj)]₊

其中，[x]₊＝max(x，0)，D(e_oi，e_si)表示匹配的光学图像特征e_oi和SAR图像特征e_si之间的特征距离，D(e_oi，e_sj)表示不匹配的光学图像特征e_oi和SAR图像特征e_sj之间的特征距离，且i≠j，m表示距离间隔。

7.根据权利要求5所述的基于描述子一致性约束的异源遥感图像块匹配方法，其特征在于，步骤S602中，描述子一致性约束损失L_con为：

L_con＝L_intra+L_intre

其中，L_intra为域内一致性损失函数，L_intre为域间一致性约束损失函数。

8.根据权利要求5所述的基于描述子一致性约束的异源遥感图像块匹配方法，其特征在于，步骤S603中，最小化重构误差L_recon为：

其中，p_oi为输入的光学图像块，

为重构的光学图像块，p_si为输入的SAR图像块，

为重构的SAR图像块。

9.根据权利要求5所述的基于描述子一致性约束的异源遥感图像块匹配方法，其特征在于，步骤S604中，损失函数L为：

L＝L_match+αL_con+βL_recon

其中，α表示描述子一致性约束损失函数的权重系数，β表示重构误差损失函数的权重系数，L_match为三元组匹配损失函数，L_con为描述子一致性约束损失，L_recon为最小化重构误差。

10.一种基于描述子一致性约束的异源遥感图像块匹配系统，其特征在于，包括：

处理模块，从成对的光学图像和SAR图像中裁剪光学图像块p_oi和SAR图像块P_si，制作异源遥感图像块数据集，将异源遥感图像块数据集划分为训练样本和测试样本，分别对训练样本和测试样本进行预处理；

提取模块，将处理模块得到的训练样本中的光学图像块p_oi和SAR图像块p_si送入到异源图像特征学习网络提取图像块特征，得到光学图像特征f_oi和SAR图像特征f_si；

学习模块，将提取模块获得的光学图像特征f_oi和SAR图像特征f_si送到共享特征学习映射网络，得到光学图像块p_oi的共享特征e_oi和SAR图像块p_si的共享特征e_si；

降维模块，将提取模块获得的光学图像特征f_oi和SAR图像特征f_si送入到降维网络，得到和学习模块获取的共享特征e_oi，e_si维度一致的共享特征f′_oi和f′_si；

重构模块，使用解码器对降维模块获得的光学图像块的共享特征f′_oi和SAR图像块的共享特征f′_si重构光学图像块

和SAR图像块

匹配模块，根据学习模块得到的共享特征e_oi和e_si计算三元组匹配损失，根据学习模块得到的共享特征e_oi和e_si与降维模块得到的f′_oi和f′_si计算描述子一致性约束损失，根据重构模块得到的重构的光学图像块

和SAR图像块

与输入的光学图像块p_oi和SAR图像块p_si计算重构损失，根据三元组匹配损失、描述子一致性损失和重构损失得到最终的损失函数L，优化整个基于描述子一致性约束的异源遥感图像块匹配网络，保存异源遥感图像块匹配网络的权重。

Images