CN115205649A - 一种基于融合局部特征的卷积神经网络遥感目标匹配方法 - Google Patents

Abstract

本发明提出了一种基于融合局部特征的卷积神经网络遥感目标匹配方法，与基于整体图像的CNN特征相比，在区域级别提取的CNN特征在识别部分匹配图像之间的小的类似区域时具有更高的鲁棒性和灵活性，通过潜在的匹配区域对生成步骤，可以准确地匹配图像之间的匹配区域对，这使得从这些区域提取的CNN特征对于部分重复图像匹配更具鲁棒性，这是因为基于粗分区中的区域建议模型高效地匹配图像之间的局部特征，以选择少量排名靠前的候选图像，这可以大大缩小部分重复图像目标检测范围；由于充分利用了SIFT特征的良好鲁棒性和CNN特征的高分辨能力，本方案可以实现较为精确的匹配。

Description

一种基于融合局部特征的卷积神经网络遥感目标匹配方法

技术领域

本发明涉及遥感影像目标匹配技术领域，尤其涉及一种基于融合局部特征的卷积神经网络遥感目标匹配方法。

背景技术

传统的基于图像特征提取的方法需要大量的特征实验来寻找特定领域的特征，不仅工作量和复杂度都非常高，而且对于复杂多变的环境和条件缺乏鲁棒性。

近年来随着深度学习发展，其中卷积神经网络依靠其局部特征提取、参数共享、全局池化等特点在图像模式识别领域取得了较为突出的成绩。一方面，卷积神经网络不需要人为的特征工程实验，而会根据海量数据和标注自行进行有效特征提取；另一方面，在训练数据充足的条件下，模型具有较好的泛化能力，具有较强的鲁棒性。因此。基于卷积神经网络解决遥感影像地物识别分类问题成为遥感图像处理领域的一个研究热点。

使用卷积神经网络进行高分辨率遥感影像目标匹配，往往需要大量的样本进行训练。在训练数据集有限的情况下，模型学习到的特征泛化能力差。但是，一方面，在遥感图像分类时不一定能获得大量的训练样本；另一方面，收集和标注大量的训练样本也耗费大量的人力物力。训练耗时，占用磁盘空间大。同时，传统的卷积神经网络算法本身提取的底层卷积特征是不具有旋转不变性的，这就需要对大量数据进行一定程度的旋转，让神经网络学习到不同的角度，增强模型的泛化能力。这就增加了数据训练的工作量。

因此，随着各种深度神经网络在计算智能领域的日益普及，基于内容的图像匹配和检索的研究重点已经从诸如尺度不变特征变换(SIFT)等手工制作的局部特征转移到卷积衍生的特征。然而，现有的基于图像的CNN特征，直接从整幅图像中提取，不适合高分辨率遥感影像目标匹配小的区域。而基于区域的CNN特征对各种图像修改(如重新缩放、遮挡和添加噪声)的鲁棒性有限，这些都会影响部分重复图像匹配的性能。

在现有技术中，提出了申请公布号为CN109035315A的“融合SIFT特征和CNN特征的遥感图像配准方法及系统”，仅充分利用了SIFT特征的良好鲁棒性和CNN特征的高分辨能力，实现较为精确的匹配，无法解决上述其他技术问题。

发明内容

有鉴于此，本发明提出了一种基于融合局部特征的卷积神经网络遥感目标匹配方法，采用最大长度痕迹生成树算法对图像进行粗分区，并基于粗分区中的区域建议模型高效地匹配图像之间的局部特征，以选择少量排名靠前的候选图像，这可以大大缩小部分重复图像目标检测范围，节省计算资源，同时通过多尺度卷积特征进行比对，可有效减少对训练样本的需求。

本发明的技术方案是这样实现的：本发明提供了一种基于融合局部特征的卷积神经网络遥感目标匹配方法，包括以下步骤：

S1、获取参考影像和待匹配影像；

S2、对参考影像和待匹配影像进行预处理；

S3、最大长度痕迹生成树算法对预处理后的参考影像和待匹配影像分别进行区域划分，得到参考影像和待匹配影像的多个划片图像；

S4、分割算法分割划片图像，得到参考影像和待匹配影像的多个候选区；

S5、通过CNN的区域选择算法，生成各个候选区中的区域建议，并基于相似度对参考影像和待匹配影像的候选区分别进行整合；

S6、采用局部特征的匹配检测算子，在步骤S5合并后的各候选区内提取SIFT特征；

S7、在候选区上定位检测到的区域建议的潜在副本，仅保留具有最多SIFT特征的前K区域建议的候选区；

S8、预训练的卷积神经网络对步骤S6中保留的候选区提取图像特征，获得多尺度卷积特征；

S9、从CNN最后一个卷积层的激活中提取各候选区的快速CNN特征，然后将快速CNN特征通过相似度匹配算法对参考影像和待匹配影像的候选区进行匹配，以度量参考影像和待匹配影像的相似度；

S10、通过RANSAC算法对参考影像和待匹配影像各候选区的多尺度卷积特征进行组合运算，并配合快速CNN特征之间的几何约束性对所得匹配结果剔除错误匹配对，获得最终匹配结果。

在以上技术方案的基础上，优选的，获取到的所述参考影像和待匹配影像由互联网数据集下载或者无人机拍摄获取。

在以上技术方案的基础上，优选的，步骤S2中所述预处理包括格式的转换、尺寸的剪裁、数据的标注以及数据增强。

在以上技术方案的基础上，优选的，步骤S3中所述最大长度痕迹生成树算法具体包括以下步骤：

S31、轮廓提取算法提取影像多个最长痕迹线条；

S32、根据线条端点距离边界的距离和线条长度找到一个最长痕迹线条作为Mainroot树枝；

S33、通过法线探测和切线延长方法生成一个最大生成痕迹树；

S34、通过最大生成痕迹树将影像进行粗分区，形成若干个划片图像。

进一步优选的，通过GenTree算法进行步骤S33所述法线探测和切线延长，具体步骤为：

S331、找到靠近Main root树枝的最长痕迹线条端点；

S332、以靠近Main root树枝的最长痕迹线条端点为圆心画圆，直至与Main root树枝相切，形成切点；

S333、连接靠近Main root树枝的端点与Main root树枝上形成的切点，形成中间生成树；

S334、将剩余最长痕迹线条靠近中间生成树的一端作为圆心画圆，在中间生成树上形成切点，并将端点与切点连接，形成新的中间生成树；

S335、重复步骤S334直至不存在孤立的最长痕迹线条，得到最大生成痕迹树；

S336、将组成最大痕迹生成树的最长痕迹线条另一端点进行切线延长，直至图片的边缘。

在以上技术方案的基础上，优选的，步骤S5中所述区域选择算法为选择性搜索算法，步所述骤S5包括以下子步骤：

S51、选择性搜索算法将步骤S4中的候选区作为输入，得到目标候选区建议框的集合；

S52、将所有候选区的建议框集合添加至候选区域列表中；

S53、基于相似度对候选区进行合并，并将合并后的候选区作为一个新的候选区。

在以上技术方案的基础上，优选的，步骤S8中所述预训练的卷积神经网络为VGG16网络。

进一步优选的，所述VGG16网络中的第五阶段卷积操作为X-卷积。

更进一步优选的，所述X-卷积的具体步骤为：

S81、采用3*3的卷积模板，在5*5的图像中，每间隔一个滑动窗口进行一次卷积，得到一个卷积结果单元；

S82、对于略过的滑动窗口，在最终的卷积矩阵中，将形成没有空白的卷积结果单元，找到数值最小的卷积结果单元，对于相邻最小卷积结果单元的空白卷积结果单元，计算最小卷积结果单元与空白卷积结果单元直接相邻的卷积结果单元的平均值，并将得到的数值填入此空白卷积结果单元；

S83、将剩下的空白卷积结果单元的邻居单元中最小数值填入空白卷积结果单元。

在以上技术方案的基础上，优选的，步骤S9中所述相似度匹配算法基于匹配概率η(m)和不匹配概率η(nm)的差异来定义候选区相似度，

表示待匹配影像中的第a个候选区与参考影像中的第b个候选区的最大差异，该定义满足

R是比率阈值，设定为0.7。

本发明的基于融合局部特征的卷积神经网络遥感目标匹配方法相对于现有技术具有以下有益效果：

(1)本发明和基于整体图像的CNN特征相比，在区域级别提取的CNN特征在识别部分匹配图像之间的小的类似区域时具有更高的鲁棒性和灵活性，通过潜在的匹配区域对生成步骤，可以准确地匹配图像之间的匹配区域对，这使得从这些区域提取的CNN特征对于部分重复图像匹配更具鲁棒性，这是因为基于粗分区中的区域建议模型高效地匹配图像之间的局部特征，以选择少量排名靠前的候选图像，这可以大大缩小部分重复图像目标检测范围；

(2)由于充分利用了SIFT特征的良好鲁棒性和CNN特征的高分辨能力，本方案可以实现较为精确的匹配；

(3)由于遥感影像具有尺寸大，计算速度慢的特性，专门针对性的提出了一种快速X-卷积方法，可以在近似精度上实现较为快速的卷积，从而提高整个卷积网络的运算速度；

(4)本方案中的最大长度痕迹生成树算法，可以并行地将图像进行快速划分区域；

(5)充分利用CNN的多层卷积，得到多尺度卷积特征，由于其细节特征丰富，可有效减少对训练样本的需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于融合局部特征的卷积神经网络遥感目标匹配方法的流程图；

图2为本发明的基于融合局部特征的卷积神经网络遥感目标匹配方法最大长度痕迹生成树算法的实施示意图；

图3为本发明的基于融合局部特征的卷积神经网络遥感目标匹配方法VGG-16网络的结构示意图；

图4现有技术中普通卷积实施图；

图5为本发明的基于融合局部特征的卷积神经网络遥感目标匹配方法X-卷积的卷积过程示意图；

图6为图5中X-卷积得到的卷积矩阵示意图。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

如图1-6所示，本发明的一种基于融合局部特征的卷积神经网络遥感目标匹配方法，包括以下步骤：

1)获取参考影像和待匹配影像；

其中所获取到的所述参考影像和待匹配影像由互联网数据集下载或者无人机拍摄获取。

2)对参考影像和待匹配影像进行预处理；

所述预处理包括格式的转换、尺寸的剪裁、数据的标注以及数据增强。

3)最大长度痕迹生成树算法对预处理后的参考影像和待匹配影像分别进行区域划分，得到参考影像和待匹配影像的多个划片图像；

其中，最大长度痕迹生成树算法采用轮廓提取算法提取影像多个最长痕迹线条{L1,…,Ln}，此步骤可以在GPU上并行加速生成，然后由FindRoot(dist{L1,…,Lm},Len{L1,…,Lm})根据线条端点距离边界的距离和线条长度找到一个最长痕迹线条作为Mainroot树枝，其中距离边界的距离应越小越好，线条的长度越长越好，此步骤可以在GPU上并行加速生成，运行GenTree(Lroot，{L1,…,Lm})的法线探测和切线延长方法生成一个最大生成痕迹树，最后通过最大生成痕迹树将影像进行粗分区，形成若干个划片图像{P1,…,Pm}。

具体的，GenTree的法线探测和切线延长方法，首先找到靠近Main root树枝的最长痕迹线条端点，以靠近Main root树枝的最长痕迹线条端点为圆心画圆，直至与Mainroot树枝相切，形成切点，连接靠近Main root树枝的端点与Main root树枝上形成的切点，形成中间生成树，将剩余最长痕迹线条靠近中间生成树的一端作为圆心画圆，在中间生成树上形成切点，并将端点与切点连接，形成新的中间生成树，如此循环，直至不存在孤立的最长痕迹线条，得到最大生成痕迹树，最后将组成最大痕迹生成树的最长痕迹线条另一端点进行切线延长，直至图片的边缘。

在具体的实施过程中，如图2所示，首先通过提取出来L1，L2，L3，L4四条曲线；然后通过FindRoot(dist{L1,…,L4},Len{L1,…,L4})确定L1为树根；对于L2，L3，L4的每条曲线的靠近L1的那个端点进行法线探测，探测到一个最近的法线后，进行直线连接，形成一个生成树；然后在对于L2，L3，L4的每条曲线的另外一个端点进行切线延长，延长到图像的边缘，最后将图像划分成A、B、C、D、E四个划片图像。

本发明中提出的最大长度痕迹生成树算法可以并行地将图像进行快速划分区域，同样适用于其他图像处理方法。

4)分割算法分割划片图像，得到参考影像和待匹配影像的多个候选区；

其中所述的分割算法为基于边缘的分割算法，由于不同区域中通常具有结构突变或者不连续的地方，这些地方往往能够为图像分割提供了有效的依据，这些不连续或者结构突变的地方称为边缘，图像中不同区域通常具有明显的边缘，利用边缘信息能够很好的实现对不同区域的分割，常用的图像边缘检测算子有：Laplace算子、Sobel算子、Canny算子等。

5)通过CNN的区域选择算法，例如选择性搜索、EdgeBox和区域建议网络(RPN)，生成各个候选区中的区域建议，并基于相似度对参考影像和待匹配影像的候选区分别进行整合；

本实施例选用选择性搜索算法进行说明，将候选区作为选择性搜索算法的输入，得到目标候选区建议框的集合，将所有候选区的建议框集合添加至候选区域列表中，基于相似度对候选区进行不断合并，并将合并后的候选区作为一个新的候选区。

6)采用局部特征的匹配检测算子，例如SIFT、SURF、PCA-SIFT，在合并后的各候选区内提取SIFT特征；

所得到的SIFT特征具备特征尺度、优势方向和坐标等特性。

7)在候选区上定位检测到的区域建议的潜在副本，仅保留具有最多SIFT特征的前K区域建议的候选区；

充分利用匹配SIFT特征的特征尺度、优势方向和坐标等特性，在图像上定位检测到的区域建议的潜在副本，即区域建议输出建议框的集合，并对于所用的候选区，仅保留具有最多SIFT特征的前K区域建议的候选区，去除掉K之后的区域建议候选区，可有效的节省计算资源，其中K为自定义的数值。

8)预训练的卷积神经网络对保留的候选区提取图像特征，获得多尺度卷积特征；

将每个划片图像中的前K区域建议候选区输入预训练的卷积神经网络中，使用神经网络中的多个卷积层来提取图像特征，获得多尺度卷积特征。

具体的，如图3所示，预训练的卷积神经网络选用VGG16网络，VGG-16包含5个卷积计算块，每个块具有2-3个卷积层和最大池化层，具体实施时，本发明采用VGG-16模型的第五层输出的特征向量作为CNN提取的高级特征，FP(x,y)＝{f3x3-xconv}。

在改进的VGG-16网络中，将第五阶段的卷积操作修改为快速X-卷积，在保证整体的匹配精度的同时可以提升算法的速度。

如图4所示，现有技术中采用3*3的卷积模板，在5*5的图像中直接进行滑动卷积，每滑动一次，得到一个卷积数值，需卷积9次才可得到最终的卷积矩阵。

如图5所示，X-卷积的具体步骤为：采用3*3的卷积模板，在5*5的图像中，每间隔一个滑动窗口进行一次卷积，这样真正卷积后的数值规模只有普通卷积的规模的一半，然后对于略过的滑动窗口，在最终的卷积矩阵中，首先找到最小的那个卷积结果单元，然后计算它和它的直接卷积结果单元的平均值，c(i,j)＝Avg(c(i-1,j),c(i+1,j))；c(i,j)＝Avg(c(i,j-1),c(i,j+1))，其他的空格卷积结果单元，用最小的邻居的卷积值作为它的值，c(i,j)＝Min{Adj(c(i,j))}，Adj(c(i,j))＝{c(i-1,j-1)，c(i-1,j)，c(i-1,j+1)，c(i,j-1)，c(i,j+1)，c(i+1,j-1)，c(i+1,j)，c(i+1,j+1)}，如图6所示，然后对于略过的滑动窗口，在最终的卷积矩阵中，首先找到最小的那个卷积结果单元2，即c(3,1)，然后计算c(3,1)和它的两个直接相邻元素点c(1,1)以及c(3,3)的平均值，得到3和3，分别作为c(2,1)的卷积值3和c(3,2)的卷积值3，其他的空格卷积结果单元，c(1,2)以及c(2,3)，用最小的邻居的卷积值3作为它们的值，本卷积方法不限于3*3的卷积，其变形也适用于空洞卷积。

9)从CNN最后一个卷积层的激活中提取各候选区的快速CNN特征，然后将快速CNN特征通过相似度匹配算法对参考影像和待匹配影像的候选区进行匹配，以度量参考影像和待匹配影像的相似度；

相似度匹配算法基于匹配概率η(m)和不匹配概率η(nm)的差异来定义候选区相似度，

表示待匹配影像中的第a个候选区与参考影像中的第b个候选区的最大差异，该定义满足

R是比率阈值，设定为0.7。

10)通过RANSAC算法对参考影像和待匹配影像各候选区的多尺度卷积特征进行组合运算，并配合快速CNN特征之间的几何约束性对所得匹配结果剔除错误匹配对，获得最终匹配结果。

需要注意的是，直接用分割算法进行图像分割会分割不准确，而且和现实中的逻辑区域差别大，故而首先采用最大长度痕迹生成树算法进行区域的粗划分。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于融合局部特征的卷积神经网络遥感目标匹配方法，其特征在于，包括以下步骤：

S1、获取参考影像和待匹配影像；

S2、对参考影像和待匹配影像进行预处理；

S3、最大长度痕迹生成树算法对预处理后的参考影像和待匹配影像分别进行区域划分，得到参考影像和待匹配影像的多个划片图像；

S4、分割算法分割划片图像，得到参考影像和待匹配影像的多个候选区；

S5、通过CNN的区域选择算法，生成各个候选区中的区域建议，并基于相似度对参考影像和待匹配影像的候选区分别进行整合；

S6、采用局部特征的匹配检测算子，在步骤S5合并后的各候选区内提取SIFT特征；

S7、在候选区上定位检测到的区域建议的潜在副本，仅保留具有最多SIFT特征的前K区域建议的候选区；

S8、预训练的卷积神经网络对步骤S6中保留的候选区提取图像特征，获得多尺度卷积特征；

S9、从CNN最后一个卷积层的激活中提取各候选区的快速CNN特征，然后将快速CNN特征通过相似度匹配算法对参考影像和待匹配影像的候选区进行匹配，以度量参考影像和待匹配影像的相似度；

S10、通过RANSAC算法对参考影像和待匹配影像各候选区的多尺度卷积特征进行组合运算，并配合快速CNN特征之间的几何约束性对所得匹配结果剔除错误匹配对，获得最终匹配结果。

2.如权利要求1所述的基于融合局部特征的卷积神经网络遥感目标匹配方法，其特征在于，获取到的所述参考影像和待匹配影像由互联网数据集下载或者无人机拍摄获取。

3.如权利要求1所述的基于融合局部特征的卷积神经网络遥感目标匹配方法，其特征在于，步骤S2中所述预处理包括格式的转换、尺寸的剪裁、数据的标注以及数据增强。

4.如权利要求1所述的基于融合局部特征的卷积神经网络遥感目标匹配方法，其特征在于，步骤S3中所述最大长度痕迹生成树算法具体包括以下步骤：

S31、轮廓提取算法提取影像多个最长痕迹线条；

S32、根据线条端点距离边界的距离和线条长度找到一个最长痕迹线条作为Main root树枝；

S33、通过法线探测和切线延长方法生成一个最大生成痕迹树；

S34、通过最大生成痕迹树将影像进行粗分区，形成若干个划片图像。

5.如权利要求4所述的基于融合局部特征的卷积神经网络遥感目标匹配方法，其特征在于，通过GenTree算法进行步骤S33所述法线探测和切线延长，具体步骤为：

S331、找到靠近Main root树枝的最长痕迹线条端点；

S332、以靠近Main root树枝的最长痕迹线条端点为圆心画圆，直至与Main root树枝相切，形成切点；

S333、连接靠近Main root树枝的端点与Main root树枝上形成的切点，形成中间生成树；

S334、将剩余最长痕迹线条靠近中间生成树的一端作为圆心画圆，在中间生成树上形成切点，并将端点与切点连接，形成新的中间生成树；

S335、重复步骤S334直至不存在孤立的最长痕迹线条，得到最大生成痕迹树；

S336、将组成最大痕迹生成树的最长痕迹线条另一端点进行切线延长，直至图片的边缘。

6.如权利要求1所述的基于融合局部特征的卷积神经网络遥感目标匹配方法，其特征在于，步骤S5中所述区域选择算法为选择性搜索算法，步所述骤S5包括以下子步骤：

S51、选择性搜索算法将步骤S4中的候选区作为输入，得到目标候选区建议框的集合；

S52、将所有候选区的建议框集合添加至候选区域列表中；

S53、基于相似度对候选区进行合并，并将合并后的候选区作为一个新的候选区。

7.如权利要求1所述的基于融合局部特征的卷积神经网络遥感目标匹配方法，其特征在于，步骤S8中所述预训练的卷积神经网络为VGG16网络。

8.如权利要求7所述的基于融合局部特征的卷积神经网络遥感目标匹配方法，其特征在于，所述VGG16网络中的第五阶段卷积操作为X-卷积。

9.如权利要求8所述的基于融合局部特征的卷积神经网络遥感目标匹配方法，其特征在于，所述X-卷积的具体步骤为：

S81、采用3*3的卷积模板，在5*5的图像中，每间隔一个滑动窗口进行一次卷积，得到一个卷积结果单元；

S82、对于略过的滑动窗口，在最终的卷积矩阵中，将形成没有空白的卷积结果单元，找到数值最小的卷积结果单元，对于相邻最小卷积结果单元的空白卷积结果单元，计算最小卷积结果单元与空白卷积结果单元直接相邻的卷积结果单元的平均值，并将得到的数值填入此空白卷积结果单元；

S83、将剩下的空白卷积结果单元的邻居单元中最小数值填入空白卷积结果单元。

10.如权利要求1所述的基于融合局部特征的卷积神经网络遥感目标匹配方法，其特征在于，步骤S9中所述相似度匹配算法基于匹配概率η(m)和不匹配概率η(nm)的差异来定义候选区相似度，

表示待匹配影像中的第a个候选区与参考影像中的第b个候选区的最大差异，该定义满足

R是比率阈值，设定为0.7。

Images