CN114332182A - 基于多特征约束的sar图像配准方法、设备和介质 - Google Patents

Abstract

本发明实施例公开了一种基于多特征约束的SAR图像配准方法、设备和介质。其中方法包括：提取参考图像和待配准图像的比率梯度图和相位一致性特征图；根据所述比率梯度图和所述相位一致性特征图，确定所述参考图像和所述待配准图像的关键点；通过训练好的孪生密集连接网络，分别提取所述参考图像和所述待配准图像的关键点周围邻域图像块的深度特征；根据所述深度特征的匹配情况，预测图像配准结果，其中，所述图像配准结果包括：所述参考图像和所述待配准图像的匹配关键点对。本实施例提高SAR图像的配准精度和配准效率。

Description

基于多特征约束的SAR图像配准方法、设备和介质

技术领域

本发明实施例涉及图像配准技术领域，尤其涉及一种基于多特征约束的SAR图像配准方法、设备和介质。

背景技术

合成孔径雷达（Synthetic Aperture Radar，SAR）是一种主动式微波传感器，其成像不受光照和天气的影响，具有较高的光照与季节稳定性。SAR图像处理过程中经常需要对同一目标区域不同时段所获得的多幅图像进行分析和比较，如进行变化检测、信息融合、三维重建和地图修正等。这类任务的一个前提条件是把多幅图像变换到相同的坐标系统中。以其中的一幅图像作为参考图像并建立相对坐标系，通过坐标变换把其它待配准图像都变换到基准图像所处的坐标系中，这个过程就是图像配准。

现有技术大多致力于使用基于区域的方法或基于特征的方法查找图像的匹配信息，选择足够数量的关键点，并根据数学模型估计两幅图像同名特征点集之间的变换关系，然后将其作为图像之中其它所有点之间统一的坐标变换关系，从而完成图像的配准。

但由于大动态范围和乘性噪声的影响，以及从不同时刻，不同角度下所采集的SAR图像存在较大不同，特别是从不同SAR传感器中得到的SAR图像会有不同的几何和辐射畸变，导致从参考图像与待配准图像中提取关键点较难，提取的特征稳定性较差，提取有效特征数量较少，特征匹配较困难，从而导致最终的SAR图像配准失败或配准精度较差。

发明内容

本发明实施例提供一种基于多特征约束的SAR图像配准方法、设备和介质，采用多特征约束方法提取关键点，提高SAR图像配准精度。

第一方面，本发明实施例提供了一种基于多特征约束的SAR图像配准方法，包括：

提取参考图像和待配准图像的比率梯度图和相位一致性特征图；

根据所述比率梯度图和所述相位一致性特征图，确定所述参考图像和所述待配准图像的关键点；

通过训练好的孪生密集连接网络，分别提取所述参考图像和所述待配准图像的关键点周围邻域图像块的深度特征；

根据所述深度特征的匹配情况，预测图像配准结果，其中，所述图像配准结果包括：所述参考图像和所述待配准图像的匹配关键点对。

第二方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任一实施例所述的基于多特征约束的SAR图像配准方法。

第三方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的基于多特征约束的SAR图像配准方法。

本发明实施例的技术效果如下：

1. 本实施例通过比率梯度图和相位一致性特征图的共同约束，将比率梯度图的极值点约束到显著性边缘和纹理区域，将区域内的极值点作为SAR图像的关键点。一方面提高关键点的稳定性和有效性，避免SAR图像上其他强噪声内容的干扰；另一方面减少大量冗余样本进入网络，减少了计算量，增加了配准速度。同时，SAR图像的梯度特征和相位信息的使用，有利于将图像关键点分布在具有显著特征的边缘和纹理区域，更加符合人眼目视注意力。

2. 本实施例通过孪生密集连接网络实现有效的特征重用，避免SAR图像训练数据缺乏监督信息而导致训练困难和过拟合问题；选择关键点邻域图像块批量送入孪生密集连接网络提取深度特征，一方面通过分割图像块打破了孪生密集连接网络要求的输入图像的尺寸限制，另一方面通过图像块的深度特征代表关键点的特征，增强了对不同成像条件引起的各种非线性度量变化的鲁棒性。

3. 上述措施结合在一起，有效增益整个多特征约束的SAR配准系统的配准精度和配准效率，同时使得深度网络的可解释性更强。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于多特征约束的SAR图像配准方法的流程图；

图2是本发明实施例提供的孪生密集连接网络的结构示意图；

图3是本发明实施例提供的密集块的结构示意图；

图4是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

图1是本发明实施例提供的一种基于多特征约束的SAR图像配准方法的流程图，适用于通过SAR图像的多种特征进行SAR图像配准的情况，本实施例由电子设备执行。结合图1，本实施例提供的方法具体包括：

S10、提取参考图像和待配准图像的比率梯度图和相位一致性特征图。

本实施例的参考图像和待配准图像均为SAR图像。所提取的比率梯度图和相位一致性特征图用于确定所述参考图像和所述待配准图像的关键点。

首先，提取参考图像的比率梯度图和待配准图像的比率梯度图。具体来说，针对含有相干斑噪声的SAR图像，计算SAR图像的基于指数加权平均值比率（ROEWA）的梯度强度和方向，得到SAR图像的比率梯度图，比率梯度图中包含SAR图像的边缘特征图信息。

同时，提取参考图像的相位一致性特征图和待配准图像的相位一致性特征图。具体来说，相位一致性（Phase Congruency，PC）是一种基于频率的模型，在图像的频率域中，边缘相似的特征在同一阶段出现的频率较高，故相位一致性特征图能够获得SAR图像的相位一致边缘和纹理特征。

S20、根据所述比率梯度图和所述相位一致性特征图，确定所述参考图像和所述待配准图像的关键点。

本实施例在参考图像的比率梯度图和相位一致性特征图的共同约束下，确定参考图像的关键点。在待配准图像的比率梯度图和相位一致性特征图的共同约束下，确定待配准图像的关键点。

可选地，以参考图像为例，关键点的确定过程具体包括如下步骤：

首先，确定所述参考图像的比率梯度图的极值点，所述极值点用于在梯度特征的约束下确定关键点的选取范围。具体来说，检测每个像素点周围一圈的像素值，如果像素点周围邻域内有足够多的像素点与该像素点的灰度值差别够大，则认为该像素点为一个极值点。

同时，根据所述参考图像的相位一致特征图，确定所述参考图像的显著性边缘和纹理区域，所述显著性边缘和纹理区域用于在相位特征的约束下确定关键点的选取范围。具体来说，利用上式PC(x,y)，计算每个像素的相位一致性值，在图像的边缘附近，相位一致性的值比非边缘区域像素的要大。可选地，相位一致性特征图中，相位一致性大于设定阈值的像素点为显著性边缘和纹理区域。

最后，剔除落在所述显著性边缘和纹理区域之外的极值点，将剩余极值点作为所述参考图像的关键点。通过剔除不在相位一致性区域的梯度关键点，将极值点约束到显著性边缘和纹理区域，确定梯度特征和相位特征约束下的SAR图像关键点。

类似的，待配准图像的关键点确定过程具体包括如下步骤：确定所述待配准图像的比率梯度图的极值点；同时，根据所述待配准图像的相位一致特征图，确定所述参考图像的显著性边缘和纹理区域；剔除落在所述显著性边缘和纹理区域之外的极值点，将剩余极值点作为所述待配准图像的关键点。具体细节同参考图像的关键点确定过程，在此不再赘述。

S30、通过训练好的孪生密集连接网络，分别提取所述参考图像和所述待配准图像的关键点周围邻域图像块的深度特征。

图2是本发明实施例提供的孪生密集连接网络的结构示意图。参考图2，孪生密集连接网络包括：两个分离但相同的分支，每个分支包括一个密集卷积流，用于并行处理两幅SAR图像的局部图像块，提取每个局部图像块的深度特征。可选地，所述孪生密集连接网络的第一分支和第二分支均接收预设尺寸的输入特征，例如，只接收64×64的图像块。

具体来说，首先，在所述参考图像的关键点周围提取所述预设尺寸的第一图像块；将所述第一图像块输入训练好的孪生密集连接网络的第一分支，提取所述第一图像块的深度特征。第一图像块以参考图像的关键点为中心，图像块尺寸为所述预设尺寸，例如64×64。

同时，在所述待配准图像的关键点周围提取所述预设尺寸的第二图像块，将所述第二图像块输入训练好的所述孪生密集连接网络的第二分支，提取所述第二图像块的深度特征。

可选地，所述第一分支和所述第二分支均包括三个密集块和两个转换层；每个密集块包括：密集连接的L个1×1卷积层和L-1个3×3卷积层，L为大于1的自然数；每个转换层连接两个相邻的密集块，包括1×1卷积层和最大池化层。

例如，每个分支包括三个密集块和两个转换层组成，在每个密集块包括三个1×1卷积层和两个3×3卷积层组成，如图3所示。1×1卷积层用来融合特征并降低特征维数，减少参数量，3×3卷积层用来提取特征，密集块的输入和两个3×3的卷积层两两之间采用密集连接之间采用密集连接，并保持特征空间分辨率不变。每个转换层包括一个1×1卷积层和最大池化层，1×1卷积层用来融合上层密集块提取的特征，最大池化层用于降低特征的维度。

可选地，所述密集块内部层与层之间密集连接方式为：

X _l = H _l ([X ₀, X ₁, ... , X _l-1])

其中，X _l-1表示第(l-1)层的输出，

表示非线性转化函数，即网络内每个层的输入是前面所有层的输出之和。

S40、根据所述深度特征的匹配情况，预测图像配准结果，其中，所述图像配准结果包括：所述参考图像和所述待配准图像的匹配关键点对。

所述深度特征的匹配情况指：参考图像的关键点周围邻域图像块的深度特征与所述待配准图像的关键点周围邻域图像块的深度特征的匹配情况。具体来说，如果参考图像中第一关键点所在的第一图像块的深度特征与待配准图像中第二关键点所在的第二图像块的深度特征匹配，则第一关键点与第二关键点匹配。

可选地，采用深度特征之间的欧氏距离来度量深度特征的匹配程度

具体来说，首先，计算所述参考图像对应的深度特征与所述待配准图像对应的深度特征之间的欧氏距离。

然后，根据所述欧氏距离，利用最近邻比值法确定所述参考图像和所述待配准图像的匹配特征对。利用k近邻关系构建关于每个深度特征的多个候选深度特征，如果最近邻点和次近邻点距离的比值小于设定比值阈值，获得匹配特征对。

最后，根据所述匹配特征对，采用随机抽样一致性确定所述参考图像和所述待配准图像的匹配关键点对。随机抽样一致性通过迭代方式估计数学模型的参数，剔除可能的误匹配点，获得准确的匹配关键点对。

本实施例的技术效果如下：

1. 本实施例通过比率梯度图和相位一致性特征图的共同约束，将比率梯度图的极值点约束到显著性边缘和纹理区域，将区域内的极值点作为SAR图像的关键点。一方面提高关键点的稳定性和有效性，避免SAR图像上其他强噪声内容的干扰；另一方面减少大量冗余样本进入网络，减少了计算量，增加了配准速度。同时，SAR图像的梯度特征和相位信息的使用，有利于将图像关键点分布在具有显著特征的边缘和纹理区域，更加符合人眼目视注意力。

2. 本实施例通过孪生密集连接网络实现有效的特征重用，避免SAR图像训练数据缺乏监督信息而导致训练困难和过拟合问题；选择关键点邻域图像块批量送入孪生密集连接网络提取深度特征，一方面通过分割图像块打破了孪生密集连接网络要求的输入图像的尺寸限制，另一方面通过图像块的深度特征代表关键点的特征，增强了对不同成像条件引起的各种非线性度量变化的鲁棒性。

3. 上述措施结合在一起，有效增益整个多特征约束的SAR配准系统的配准精度和配准效率，同时使得深度网络的可解释性更强。

在上述实施例和下述实施例的基础上，本实施例对比率梯度图的提取和应用过程进行细化。以参考图像为例，对比率梯度图的提取和应用过程分别进行说明。

（一）获取参考图像的比率梯度图

可选地，提取参考图像和待配准图像的比率梯度图和相位一致性特征图，具体包括如下步骤：

S11、采用基于比率的梯度算子对参考图像进行处理。

所述基于比率的梯度算子对SAR图像乘性噪声具有较强的鲁棒性，本实施例利用ROEWA算子对SAR图像处理。ROEWA算子是根据统计特性设计的一种算子，具有恒定虚警率特性，即在反射率高或低的均匀区域保持恒定的虚警率。该算子可以看作是由两个正交的一维滤波器组成的二维可分离滤波器，在水平和垂直方向上的ROEWA算子如下所示：

其中，(x,y)表示中心像素点的位置，R _h,αi (x,y)和R _v,αi (x,y)表示(x,y)处的水平和垂直方向上的梯度；M和Q表示滤波滑窗的大小，与比例参数α _i 有关；I(x+m,y+q)表示像素点(x+m,y+q)处的像素强度。

S12、根据以下公式，通过R _h,αi 和R _v,αi 计算基于比率的梯度，得到参考图像的比率梯度图：

其中G(x,y)，表示(x,y)处的比率梯度，G _h,αi =log[R _h,αi (x,y)]，G _v,αi =log[R _v,αi (x,y)]。

（二）确定参考图像的比率梯度图的极值点

可选地，确定所述参考图像的比率梯度图的极值点，具体包括如下步骤：

步骤一、将所述参考图像的比率梯度图按比例逐步缩小为多幅特征图。

本步骤构造比率梯度图的特征金字塔，用于确定比率梯度图的极值点。具体做法为设置一个比例因子λ _scale （例如1.2）和金字塔的层数N _levels （例如8），将原比率梯度图按比例因子缩小成N _levels 幅特征图像，缩放后的特征图像为：

其中，G表示比率梯度图，

表示按比例缩放比率梯度图的操作，

表示第k幅特征图。

步骤二、选取每幅特征图中的极值点。极值点定义为像素点灰度值显著不同于周围邻域像素灰度值的点，检测候选点周围一圈的像素值，如果候选点周围邻域内有足够多的像素点与该候选点的灰度值差别够大，则认为该候选点为一个极值点，例如，比较候选点周边的16个像素。

步骤三、将所述多幅特征图中的所有极值点，作为所述参考图像的极值点。

具体来说，通过坐标变换确定所述多幅特征图中的所有极值点在参考图像中的对应位置，将该位置处的像素点作为参考图像的极值点。通过这一方式，使比率梯度图中计算的极值点具有尺度不变性，即在图像经过缩放后依然能够检测到到相应的极值点，同时保证了关键点的数量。

类似的，待配准图像的比率梯度图的提取和应用过程如下：

（一）提取待配准图像的比率梯度图

可选地，提取参考图像和待配准图像的比率梯度图和相位一致性特征图，包括：采用基于比率的梯队算子对待配准图像进行处理，得到各像素位置处在水平方向和垂直方向上的梯度；通过所述水平方向和垂直方向上的梯度计算各像素位置处基于比率的梯度，得到待配准图像的比率梯度图。

（二）确定待配准图像的极值点

步骤一、将所述待配准图像的比率梯度图按比例逐步缩小为多幅特征图。

步骤二、选取每幅特征图中的极值点。

步骤三、将所述多幅特征图中的所有极值点，作为所述待配准图像的极值点。

每个步骤中的具体细节同参考图像的步骤，在此不再赘述。

本实施例通过比率的梯度算子增强梯度图对乘性噪声的鲁棒性，通过ROEWA算子的恒定虚警率特性，使比率梯度图在反射率高或低的均匀区域保持恒定的虚警率，使得所得到的比率梯度图包含了稳定的边缘特征信息。此外，通过特征金字塔确定比率梯度图的极值点，使得极值点具有尺度不变性。比率梯度图的极值点为关键点划定了一个的选取范围，该选取范围受梯度特征的约束，能够反映稳定的边缘特征信息。

在上述实施例和下述实施例的基础上，本实施例对相位一致性特征图的提取过程进行细化。以参考图像为例，可选地，提取参考图像和待配准图像的比率梯度图和相位一致性特征图，包括：利用log-Gabor小波计算参考图像的相位信息，得到参考图像的相位一致性特征图。

所述相位一致性是一种基于频率的模型，在图像的傅里叶域中找到有序程度较高的区域，在空域中，利用log-Gabor小波计算图像的相位信息，计算公式如下：

其中，(x,y)表示像素点的坐标，W(x,y)表示(x,y)处基于频率分布的加权因子，T表示噪声阈值，σ为设定的小值常数，

表示(x,y)处的加权平均相角，A _n (x,y)表示(x,y)处的第n个尺度的小波变换后的幅度，φ _n (x,y)表示(x,y)处的第n个尺度的小波变换后的相位角，PC(x,y)表示(x,y)处的相位一致性，n表示设定自然数。

相位一致性特征图中包括参考图像的显著性边缘和纹理区域，能够克服相干斑噪声的干扰，较好的提取图像边缘结构信息。显著性边缘和纹理区域确定关键点的另一个选取范围，该选取范围受相位特征的约束。

类似地，对于待配准图像，提取参考图像和待配准图像的比率梯度图和相位一致性特征图，包括：利用log-Gabor小波计算待配准图像的相位信息，得到待配准的相位一致性特征图。具体细节与参考图像类似，在此不再赘述。

在上述实施例和下述实施例的基础上，本实施例对孪生密集连接网络的训练过程进行细化。可选地，通过训练好的孪生密集连接网络，分别提取所述参考图像和所述待配准图像的关键点周围邻域图像块的深度特征之前，还包括如下步骤：

步骤一、获取多组已配准图像对，每组已配准图像对包括N个已配准图像对，每个已配准图像对包括已配准的第一训练图像和第二训练图像，所述第一训练图像和所述第二训练图像的尺寸均为所述预设尺寸。

所述多组已配准图像将作为孪生密集连接网络的训练数据，对孪生密集连接网络的权重进行训练。由于本实施例是基于多特征约束的SAR图像配准问题，用于模型训练的训练数据以成对形式出现。同时，为了减少图像处理环节，本实施例直接将训练数据设置为孪生密集连接网络接收的预设尺寸，省去了图像块分割的过程。

步骤二、依次对每组已配准图像进行如下操作后，得到训练好的孪生密集连接网络：

S-1、将每个已配准图像对的第一训练图像和第二训练图像分别输入未训练好的孪生密集连接网络的第一分支和第二分支，得到每个训练图像的深度特征。

S-2、根据所有深度特征的匹配情况计算损失函数，通过所述损失函数反向优化所述未训练好的孪生密集连接网络的网络参数。

本实施例将每组已配准图像作为一个批次输入未训练好的孪生密集连接网络，根据每个批次输出的深度特征计算一次损失函数，对孪生密集连接网络进行一次反向参数优化。

具体来说，根据所有深度特征的匹配情况计算损失函数，包括如下步骤：

首先，根据所有训练图像的深度特征，计算特征距离矩阵：

其中，d _ij 表示第i个已配准图像对中的第一训练图像和第j个已配准图像对中的第二训练图像之间的欧氏距离，N为大于1的自然数，i和j均为1到N之间的自然数。D _N×N 反映了所有深度特征的匹配情况，其中对角线元素为每个已配准图像对中的第一训练图像和第二训练图像之间的距离，非对角线元素为不匹配的第一训练图像和第二训练图像之间的距离。

然后，根据所述特征距离矩阵计算损失函数：

L = λ ₁ L _l2 + λ ₂ L _cross

其中，λ ₁和λ ₂为超参数，

L _l2表示l2损失，目标是最小化匹配特征向量之间的距离。具体来说，选取距离矩阵D _N×N 的第i行和第i列中的最小值，计算该最小值与d _ii 的差值。理想情况下，d _ii =该最小值，该差值为0。L _l2的计算公式如下：

L _cross 表示交叉距离损失，目标是扩大不匹配的第一训练图像和第二训练图像之间的距离。L _cross 的计算公式如下：

其中，d _ij （i≠j）为特征距离矩阵中的非对角元素，

和

是分别是行和列的差异值计算。

可选地，λ ₁设置为0.5，λ ₂设置为0.5。该孪生密集连接网络系统可以在GeForce RTX2080Ti GPU上训练的，训练过程中采用了随机梯度下降实现优化，其中初始学习率设置为10^-3，使用大小为128的批量处理，使用权重衰减迭代50轮。

其中，使用训练数据集可以进行多轮迭代，训练终止的条件一般设置为迭代次数，常见的迭代次数可设置为30、50等。本实施例也可以使用Pytorch语言编写。

图4为本发明实施例提供的一种电子设备的结构示意图，如图4所示，该设备包括处理器50、存储器51、输入装置52和输出装置53；设备中处理器50的数量可以是一个或多个，图4中以一个处理器50为例；设备中的处理器50、存储器51、输入装置52和输出装置53可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种基于多特征约束的SAR图像配准方法对应的程序指令/模块。处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的一种基于多特征约束的SAR图像配准方法。

存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置52可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置53可包括显示屏等显示设备。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例的一种基于多特征约束的SAR图像配准方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案。

Claims (10)

1.一种基于多特征约束的SAR图像配准方法，其特征在于，包括：

提取参考图像和待配准图像的比率梯度图和相位一致性特征图；

根据所述比率梯度图和所述相位一致性特征图，确定所述参考图像和所述待配准图像的关键点；

通过训练好的孪生密集连接网络，分别提取所述参考图像和所述待配准图像的关键点周围邻域图像块的深度特征；

根据所述深度特征的匹配情况，预测图像配准结果，其中，所述图像配准结果包括：所述参考图像和所述待配准图像的匹配关键点对。

2.根据权利要求1所述的方法，其特征在于，根据所述比率梯度图和所述相位一致性特征图，确定所述参考图像和所述待配准图像的关键点，包括：

确定所述参考图像的比率梯度图的极值点；同时，

根据所述参考图像的相位一致特征图，确定所述参考图像的显著性边缘和纹理区域；

剔除落在所述显著性边缘和纹理区域之外的极值点，将剩余极值点作为所述参考图像的关键点。

3.根据权利要求2所述的方法，其特征在于，确定所述参考图像的比率梯度图的极值点，包括：

将所述参考图像的比率梯度图按比例逐步缩小为多幅特征图；

选取每幅特征图中的极值点；

将所述多幅特征图中的所有极值点，作为所述参考图像的极值点。

4.根据权利要求1所述的方法，其特征在于，根据所述深度特征的匹配情况，预测图像配准结果，包括：

计算所述参考图像对应的深度特征与所述待配准图像对应的深度特征之间的欧氏距离；

根据所述欧氏距离，利用最近邻比值法确定所述参考图像和所述待配准图像的匹配特征对；

根据所述匹配特征对，采用随机抽样一致性确定所述参考图像和所述待配准图像的匹配关键点对。

5.根据权利要求1所述的方法，其特征在于，所述孪生密集连接网络的第一分支和第二分支均接收预设尺寸的输入特征；

所述第一分支和所述第二分支均包括三个密集块和两个转换层；每个密集块包括：密集连接的L个1×1卷积层和L-1个3×3卷积层，L为大于1的自然数；每个转换层连接两个相邻的密集块，包括1×1卷积层和最大池化层；

通过训练好的孪生密集连接网络，分别提取所述参考图像和所述待配准图像的关键点周围邻域图像块的深度特征，包括：

在所述参考图像的关键点周围提取所述预设尺寸的第一图像块，将所述第一图像块输入训练好的孪生密集连接网络的第一分支，提取所述第一图像块的深度特征；同时，

在所述待配准图像的关键点周围提取所述预设尺寸的第二图像块，将所述第二图像块输入训练好的所述孪生密集连接网络的第二分支，提取所述第二图像块的深度特征。

6.根据权利要求1所述的方法，其特征在于，提取参考图像和待配准图像的比率梯度图和相位一致性特征图，包括：

利用log-Gabor小波计算参考图像的相位信息：

其中，(x,y)表示像素点的坐标，W(x,y)表示(x,y)处基于频率分布的加权因子，T表示噪声阈值，σ为设定的小值常数，

表示(x,y)处的加权平均相角，A _n (x,y)表示(x,y)处的第n个尺度的小波变换后的幅度，φ _n (x,y)表示(x,y)处的第n个尺度的小波变换后的相位角，PC(x,y)表示(x,y)处的相位一致性，n表示设定自然数。

7.根据权利要求1所述的方法，其特征在于，所述孪生密集连接网络的第一分支和第二分支均接收预设尺寸的输入特征；

通过训练好的孪生密集连接网络，分别提取所述参考图像和所述待配准图像的关键点周围邻域图像块的深度特征之前，还包括：

获取多组已配准图像对，每组已配准图像对包括N个已配准图像对，每个已配准图像对包括已配准的第一训练图像和第二训练图像，所述第一训练图像和所述第二训练图像的尺寸均为所述预设尺寸；

依次对每组已配准图像进行如下操作后，得到训练好的孪生密集连接网络：

S-1、将每个已配准图像对的第一训练图像和第二训练图像分别输入未训练好的孪生密集连接网络的第一分支和第二分支，得到每个训练图像的深度特征；

S-2、根据所有深度特征的匹配情况计算损失函数，通过所述损失函数反向优化所述未训练好的孪生密集连接网络的网络参数。

8.根据权利要求7所述的方法，其特征在于，根据所有深度特征的匹配情况计算损失函数，包括：

根据所有训练图像的深度特征，计算特征距离矩阵：

其中，d _ij 表示第i个已配准图像对中的第一训练图像和第j个已配准图像对中的第二训练图像之间的欧氏距离，N为大于1的自然数，i和j均为1到N之间的自然数；

根据所述特征距离矩阵计算损失函数：

L = λ ₁ L _l2 + λ ₂ L _cross

其中，λ ₁和λ ₂为超参数，

L _l2表示l2损失，L _cross 表示交叉距离损失，根据以下公式计算：

。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的基于多特征约束的SAR图像配准方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的基于多特征约束的SAR图像配准方法。

Images