CN114140700A - 基于级联网络的分步异源图像模板匹配方法 - Google Patents
基于级联网络的分步异源图像模板匹配方法 Download PDFInfo
- Publication number
- CN114140700A CN114140700A CN202111450018.8A CN202111450018A CN114140700A CN 114140700 A CN114140700 A CN 114140700A CN 202111450018 A CN202111450018 A CN 202111450018A CN 114140700 A CN114140700 A CN 114140700A
- Authority
- CN
- China
- Prior art keywords
- layer
- network
- image
- grained
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 93
- 230000001629 suppression Effects 0.000 claims abstract description 31
- 238000012360 testing method Methods 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims description 35
- 230000004913 activation Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 17
- 238000005520 cutting process Methods 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 5
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于级联网络的分步异源图像模板匹配方法，主要解决现有技术对于大尺寸异源图像对难以平衡匹配速度和精度的问题。其实现方案为：根据开源数据集构建训练集和测试集；构建抑制网络，并制作该网络的训练数据，利用该数据训练抑制网络；构建粗粒度匹配网络，并根据训练集构建该网络的训练数据，利用该训练数据和训练好的抑制网络训练粗粒度匹配网络；构建细粒度匹配网络，并根据训练集制作该网络的训练数据，利用该训练数据训练细粒度匹配网络；将测试集图像输入到训练好的粗粒度匹配网络，再将输出结果输入到训练好的细粒度匹配网络得到匹配结果。本发明提高了异源图像匹配的精度，且有稳定的匹配速度，可用于飞行器的辅助制导。
Description
技术领域
本发明属于图像处理技术领域，特别涉及一种异源图像的模板匹配方法，可用于飞行器的辅助制导。
背景技术
合成孔径雷达技术SAR在测绘、民用遥感和军事侦察等方面获得了广泛的应用，从遥感图像上获取信息已经成为了一种重要的手段。在实际应用中，不同的卫星和传感器可以获得多模态的遥感图像，其中可见光图像和SAR图像是最典型的两种。具体来说，由主动传感器获取的SAR图像反映了地球表面目标的电磁特性，提供了全天时、全天候和穿越云层查看的能力；被动传感器获得的光学图像反映了目标的无线电测量特性，他们能够反映同一地物不同的特征和属性信息。因此，SAR与光学图像的结合对于提供观测场景高度互补的信息具有重要意义，可以有效弥补单一模型的不足。异源图像的结合已经应用于图像融合、变化检测等诸多问题，有助于光学图像和SAR图像的同时处理。SAR图像处理中，模板匹配是一种找到小尺寸模板图像在大尺寸搜索图像中的准确位置的技术，该技术对于图像检索、身份识别、目标跟踪、导弹制导等问题都是至关重要的。
现有的异源图像匹配方法主要分为传统方法和基于深度学习的方法。其中：
传统方法包括两类：第一类是基于灰度的方法，它根据两幅图像的灰度信息寻找匹配点的位置，主要有互相关法NCC、互信息法MI和基于频域的快速傅里叶变换等方法。Liang等人利用蚁群优化算法搜索相似局部区域的相似性度量，提出了一种空间互信息法SMI。为了提高MI的计算效率，Patel等人提出了基于最大似然估计的MI。此类方法虽然易于实现，但对异源图像来说，同一区域的灰度信息可能存在较大的差异，因此匹配结果并不理想。
第二类是基于图像特征，手工设计局部图像的特征描述子，再对特征描述子进行相似性度量从而寻找匹配点的方法。众多研究人员在这类算法上开展工作，更多手工设计的特征描述子被开发出来，应用到异源图像的匹配中，其中尺度不变特征变换SIFT是使用最广泛的特征描述子。Ye等人提出了有向相位一致性描述子直方图HOPC，利用相位一致性作为梯度信息的代理，确保了两种模式的特征和描述符之间的共性。Xiang等人主张使用哈里斯尺度空间的模态特定梯度算子，以更好地处理巨大的辐射差异，同时仍允许跨模态检测可重复的特征。此类方法受噪声和灰度影像较小，稳定性强，但是由于此类方法依赖较小的支持区域，只适用于局部外观特征差异小的区域如平原、半城市化区域和农村等，在几何结构差异较大的地方适用性就差很多。而且对于高分辨率的异源图像来说，图像的信息量更大，地物的纹理信息和细节更加复杂，在实际获取图像的过程中诸多干扰因素的影响也导致手工设计的方法也难以获得有效的特征描述子。
针对传统异源图像匹配方法的问题，近年来，提出的深度学习方法在计算机视觉领域取得了巨大的成功。通过深度学习，可使卷积神经网络CNN自动获得比统计方法更有表现力的特征。Merkle等人2017年在遥感期刊中提出利用孪生网络进行SAR和光学匹配的方法，其用训练网络直接预测SAR搜索图和光学模板图之间的相对偏移来确定匹配位置。Mou等人2017年在遥感期刊中提出了一种分类的CNN网络，其将匹配构造为一个二元分类问题，训练一个伪孪生网络来预测SAR和光学图像中心像素的对应关系来判断两个图像块是否匹配，之后在搜索图上逐像素判断来确定匹配的位置。Citak在Mou提出方法的基础上，于2019年在智能系统与应用创新会议上提出了在网络结构中加入图像的视觉显著性图谱作为特征提取的注意力机制，以提高了匹配结果的准确率。这些基于深度学习的异源图像匹配方法由于要求用于判断的光学和SAR图像对必须是同等尺寸的，因此不能直接来确定模板图和搜索图的匹配关系。如果要找到模板图在搜索图像中的位置，就要逐像素滑窗，通过判断每一对图像是否匹配来找到匹配的位置，在大尺寸的图像上，这样做不仅会大大增加匹配的时间，同时也难以区分正确匹配位置的图像跟他周围邻域与之相似的图像之间的区别。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于级联网络的分步异源图像匹配方法，以在提升匹配速度，减少匹配时间，提高匹配准确率。
本发明的技术思路是：首先通过训练构造的粗粒度网络分别提取出SAR和可见光图像的特征并对其进行互相关操作得到热图，从而获得初始匹配位置；通过构建二分类的抑制网络判断热图的优劣，对粗粒度网络进行辅助训练；通过训练构建的细粒度匹配网络在初始位置周围的邻域内进行精确搜索得到最终的匹配位置。
根据上述思路，本发明基于级联网络的分步异源图像模板匹配方法的实现方案，包括如下：
(1)构建学习数据：
(1a)从开源数据集OS Dataset中选择尺寸为512×512的图像作为选用数据集，该数据集包含已经完成配准的SAR和可见光图像；
(1b)将选用数据集中的可见光图像作为搜索图像，在每幅可见光对应的SAR图像中随机选择像素作为左上角坐标，剪裁出300×300的图像作为模板图像，并保存该左上角坐标作为该图像对的标签；
(1c)将选用数据集中80％的图像对作为训练集，剩余20％的图像对作为测试集；
(2)构建由输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层，多尺度特征连接层、第五卷积层，第六卷积层和一个空间注意力层依次级联组成的粗粒度匹配网络C；
(3)使用训练集制作粗粒度匹配网络的训练数据：
(3a)选择一幅可见光图像，以标签坐标为左上角坐标，剪裁出与对应模板图像尺寸相同的300×300子图；
(3b)对子图与可见光图像做互相关操作得到子图的热图，并将其作为真值图；
(3c)对训练集中的所有可见光图像进行(3a)～(3b)的操作，得到训练集中每对异源图像对应的真值图；
(3d)将训练集和所有真值图作为粗粒度网络的训练数据；
(4)选择VGG16网络作为抑制网络S，并将其最后一个全连接层的维度改为2用作二分类；
(5)制作抑制网络的训练数据：
(5a)生成与(3b)中热图尺寸相同的矩阵，随机选择一点，设置其值为1.0，再以该点为基准点，设置矩阵中其他点的数值要随着与基准点的距离增大而减小，直到减小到0，并将该矩阵保存为图像；
(5b)重复(5a)共生成800个图像作为第一类良好的热图，标签为[1,0]；
(5c)生成与(3b)中热图尺寸相同的矩阵，随机选择3～5点，设置其值为1.0，再以这些点为基准点，设置矩阵中其他点的数值要随着与基准点的距离增大而减小，直到减小到0，并将该矩阵保存为图像；
(5d)重复(5c)共生成800个图像作为第二类不良的热图，标签为[0,1]；
(5e)将两类热图共1600个图像作为抑制网络的训练数据；
(6)利用抑制网络的训练数据，使用SGD算法对抑制网络进行迭代训练，直到设定的迭代次数；
(7)利用粗粒度网络的训练数据，使用SGD算法对粗粒度匹配网络进行迭代训练直到达到设定的最大迭代次数，得到训练好的粗粒度匹配网络；
(8)构建由输入层、第1卷积层、第2卷积层、第3卷积层、第4卷积层，多尺度特征连接层、第5卷积层，第6卷积层和一个空间注意力层依次级联组成的细粒度匹配网络F；
(9)使用训练集制作细粒度匹配网络的训练数据：
(9a)选择一对异源图像，在可见光图像中，从标签位置周围5个像素的邻域内随机选一点作为左上角坐标，剪裁出与模板图像尺寸相同的子图像作为正类图像；
(9b)对于(9a)中的可见光图像，从标签位置周围6～40个像素的邻域内随机选一点作为左上角坐标，剪裁出与模板图像尺寸相同的子图像作为负类图像；
(9c)将模板图像、(9a)中正类图像、(9b)中负类图像组成一个三元组；
(9d)对于训练集中的每对异源图像进行(9a)～(9c)的操作，将得到的所有三元组作为细粒度匹配网络的训练数据；
(10)利用细粒度网络的训练数据，使用SGD算法对细粒度匹配网络进行迭代训练直到达到设定的最大迭代次数，得到训练好的细粒度匹配网络；
(11)对测试集的异源图像进行匹配：
(11a)分别将测试集中的SAR图像和可见光图像输入粗粒度匹配网络，得到测试数据的热图，将该热图中极大值点的坐标作为初始坐标；
(11b)在可见光图像初始坐标位置周围40个像素的邻域内，分别以每个点为左上角坐标，剪裁出与SAR图像大小相等的子图像并记录坐标，得到1600张子图像组成的候选图像组；
(11c)将测试集中的SAR图像输入到训练好的细粒度匹配网络，得到其模板的特征图；
(11d)分别将候选组的所有图像输入到训练好的细粒度匹配网络，得到候选组的特征图；
(11e)计算候选组的特征图与模板的特征图的欧氏距离，该候选组中欧氏距离最小图像的左上角坐标即为最终匹配位置。
本发明与现有技术相比，具有以下优点：
1.具有更高的准确率和更小的匹配误差
本发明通过构建粗粒度匹配网络，在网络结构中加入多尺度特征、空间注意力，并使用抑制网络对热图进行分类评估，能得到更准确的初始位置；在训练细粒度匹配网络时，通过使用相似子图而非无关子图作为三元组的负类，能更好的区分匹配区域与小误差相似区域之间的差别，有效提高了匹配的精度；
2.具有更稳定的匹配时间，可以在更大尺寸的图像上进行匹配
本发明采用由粗糙到精确的分步匹配策略，先确定可能匹配区域的做法使得精确匹配网络不需要在可见光图像中从头开始计算与模板的相似性度量，可以大大节省时间，且无论可见光图像的尺寸多大，匹配时间都是稳定的。
3.泛化能力强
本发明由于在粗粒度匹配网络和细粒度匹配网络中使用了包含多尺度特征的卷积神经网络，因而对于SAR图像，无论是什么样的地物类型，网络都可以提取到有效的特征，得到准确的结果。
附图说明
图1是本发明的实现流程示意图；
图2是本发明中构建的粗粒度匹配网络结构图；
图3是本发明中构造的抑制网络训练数据的示意图；
图4是本发明训练集中的热图真值图与一组异源图像匹配结果的对应关系图；
图5本发明构造细粒度网络训练数据中的一个三元组示意图；
图6是本发明和现有的六种算法分别在一副城市区域图像上的SAR图像与可见光图像匹配结果对比图；
图7是本发明和现有的六种算法分别在一副港口区域图像上的SAR图像与可见光图像匹配结果对比图。
具体实施方式
下面结合附图对本发明的实施例和效果作进一步详细描述。
参照图1，本发明的实现步骤如下：
步骤1.构建异源图像匹配的学习数据。
(1.1)从开源数据集OS Dataset中选择尺寸为512×512的图像作为选用数据集，该数据集包含已经完成配准的SAR和可见光图像；
(1.2)将选用数据集中的可见光图像作为搜索图像，在每幅可见光对应的SAR图像中随机选择像素作为左上角坐标，剪裁出300×300的图像作为模板图像，并保存该左上角坐标作为该图像对的标签；
(1.3)将选用数据集中80％的图像对作为训练集，剩余20％的图像对作为测试集；
本实例选用数据共包括1200对异源图像，每一对异源图像包括一张SAR图像和一张可见光图像；训练集共960对异源图像，测试集共240对异源图像。
步骤2.构建粗粒度匹配网络C。
(2.1)建立第一卷积层：其由大小为7、步长为1的二维卷积层，ReLU激活函数层，大小为3、步长为2的二维最大池化层依次级联组成；
(2.2)建立第二卷积层：其由大小为5、步长为1的二维卷积层，ReLU激活函数层，大小为3、步长为2的二维最大池化层依次级联组成；
(2.3)建立第三卷积层和第四卷积层：其均由大小为3、步长为1的二维卷积层，ReLU激活函数层，大小为3、步长为2的二维最大池化层依次级联组成；
(2.4)建立多尺度特征连接层：其由第一到第四卷积层每层输出的特征图分别上采样至与第一卷积层相同尺寸的输出特征图，在通道维度上拼接组成；
(2.5)建立第五卷积层和第六卷积层：其均由大小为3、步长为1的二维卷积层，ReLU激活函数层依次级联组成；
(2.6)建立空间注意力层：其由大小为1、步长为1的二维最大池化层，大小为1、步长为1的二维平均池化层，大小为1、步长为1的卷积层，Sigmoid激活函数层组成，其中两个池化层的输出在通道维度组合，之后依次连接卷积层和激活函数层，再将激活函数层的输出特征图和第六卷积层的结果相乘。
(2.7)将输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层，多尺度特征连接层、第五卷积层，第六卷积层和空间注意力层依次级联，组成的粗粒度匹配网络，网络结构如图2所示。
步骤3.使用训练集制作粗粒度匹配网络的训练数据。
(3.1)在训练集中选择一幅可见光图像，以标签坐标为左上角坐标，剪裁出与对应模板图像尺寸相同的300×300子图；
(3.2)对子图与可见光图像做互相关操作得到子图的热图，并将其作为真值图，其中两幅大小相等的图片计算互相关性的公式如下：
其中，r为子图的热图中的像素，si,j为子图的像素，oi,j为可见光对应区域的像素；
(3.3)对训练集中的所有可见光图像进行(3a)～(3b)的操作，得到训练集中每对异源图像对应的真值图；
(3.4)将训练集和所有真值图作为粗粒度网络的训练数据。
步骤4.搭建抑制网络S。
对VGG16网络进行修改，即该网络的最后一个全连接层的维度改为2用作二分类；将修改后的VGG16网络作为抑制网络。
步骤5.构建抑制网络的训练数据。
本步骤的具体实现如下：
(5.1)生成与(3.2)中热图尺寸相同的矩阵，随机选择一点，设置其值为1.0，再以该点为基准点，设置矩阵中其他点的数值要随着与基准点的距离增大而减小，直到减小到0，并将该矩阵保存为图像；
(5.2)重复(5.1)共生成800个图像作为第一类良好的热图，其标签为[1,0]，如图3(a)所示；
(5.3)生成与(3.2)中热图尺寸相同的矩阵，随机选择3～5点，设置其值为1.0，再以这些点为基准点，设置矩阵中其他点的数值要随着与基准点的距离增大而减小，直到减小到0，并将该矩阵保存为图像；
(5.4)重复(5.3)共生成800个图像作为第二类不良的热图，其标签为[0,1]，如图3(b)所示；
(5.5)将第一、第二这两类热图共1600个图像作为抑制网络的训练数据。
步骤6.使用抑制网络的训练数据，对抑制网络进行迭代训练。
(6.1)使用如下交叉熵损失函数CELoss作为抑制网络的损失函数：
CELoss＝-[ylogy'+(1-y)log(1-y')]
其中y为抑制网络输出的结果，y'为其类别标签；
(6.2)将抑制网络的训练数据输入到该网络，将网络的输出结果与其对应的类别标签输入损失函数CELoss中，计算损失值；
(6.3)使用随机梯度下降算法SGD，根据每次迭代的损失值更新网络各层的参数，直到达到设定的迭代次数E1＝100，获得训练好的抑制网络。
步骤7.使用粗粒度网络的训练数据，对粗粒度匹配网络进行训练。
(7.1)选择粗粒度网络训练数据中的一对SAR图像和可见光图像，将SAR图像输入到粗粒度匹配网络，输出其特征图后上采样到与输入图像相同的大小；再将可见光图像输入到粗粒度匹配网络，输出其特征图后上采样到与输入图像相同的大小；得到两者的特征图后对其做互相关操作，得到训练数据的热图；该热图极值与SAR、可见光图像和匹配位置之间的关系，如图4所示；
(7.2)使用MSELoss损失函数，计算训练数据的热图与其真值图之间的损失值Lossbase：
其中，Nh是热图中元素的个数，xi是真值图中的元素，yi是热图中的元素；
(7.3)将(7.1)得到的训练数据热图输入训练好的抑制网络，抑制网络的输出是一个1×2的矩阵，矩阵中的两个元素分别代表属于第一类和第二类的概率值，将其输出结果中属于第一类热图的概率值标记为Losssupp；
(7.4)计算整个粗粒度匹配网络的损失值Loss：
其中，e是一个大于0的极小的自然数；
(7.5)重复(7.1)～(7.4)，使用随机梯度下降算法SGD，根据每次迭代的损失值更新网络各层的参数，直到达到设定的迭代次数E2＝300，得到训练好的粗粒度匹配网络。
步骤8.构建细粒度匹配网络F。
(8.1)建立第1卷积层：其由大小为7、步长为1的二维卷积层，ReLU激活函数层依次级联组成；
(8.2)建立第2卷积层：其由大小为5、步长为1的二维卷积层，ReLU激活函数层依次级联组成；
(8.3)建立第3卷积层和第4卷积层：均由大小为3、步长为1的二维卷积层，ReLU激活函数层依次连接组成；
(8.4)建立多尺度特征连接层：其由第1到第4卷积层每层输出的特征图分别上采样至与第1卷积层相同尺寸的输出特征图，在通道维度上拼接组成；
(8.5)建立第5卷积层和第6卷积层：其均由一个大小为3、步长为1的二维卷积层和一个ReLU激活函数层依次级联组成；
(8.6)建立空间注意力层：其由大小为1、步长为1的二维最大池化层，大小为1、步长为1的二维平均池化层，大小为1、步长为1的二维卷积层，Sigmoid激活函数层组成，其中两个池化层的输出在通道维度组合，之后依次连接卷积层和激活函数层，再将激活函数层的输出特征图与第6卷积层的结果相乘；
(8.7)将输入层、第1卷积层、第2卷积层、第3卷积层、第4卷积层，多尺度特征连接层、第5卷积层，第6卷积层和一个空间注意力层依次级联，组成细粒度匹配网络。
该细粒度匹配网络结构与粗粒度匹配网络基本一致，但是为了避免引入平移不变性，去掉了每个卷积层中的池化层。
步骤9.使用训练集制作细粒度匹配网络的训练数据。
(9.1)选择一对异源图像，在可见光图像中，从标签位置周围5个像素的邻域内随机选一点作为左上角坐标，邻域如图5(a)中正类区域所示，所示剪裁出与模板图像尺寸相同的子图像作为正类图像；
(9.2)对于(9.1)中的可见光图像，从标签位置周围6～40个像素的邻域内随机选一点作为左上角坐标，邻域如图5(a)中负类区域所示，剪裁出与模板图像尺寸相同的子图像作为负类图像；
(9.3)将模板图像、(9.1)中正类图像、(9.2)中负类图像组成一个三元组，如图5(b)所示；
(9.4)对于训练集中的每对异源图像进行(9.1)～(9.3)的操作，将得到的所有三元组作为细粒度匹配网络的训练数据。
步骤10.使用细粒度网络的训练数据对细粒度匹配网络进行迭代训练。
(10.1)将细粒度网络训练数据中一个三元组的模板图像、正类图像、负类图像分别输入到细粒度匹配网络，得到三者的特征图；
(10.2)使用三元损失函数TripletLoss计算三个特征图的损失值Losstrip：
式中||*||代表欧氏距离，Nt为模板特征图的像素个数，
表示模板特征图内的像素，
表示正类特征图内的像素，
表示负类特征图内的像素，
表示模板特征图与正类特征图之间的欧氏距离，
表示模板特征图与负类特征图之间的欧氏距离，α为常数代表两个距离之间的间隔，本实例中α＝10，[*]+表示括号内的值大于零时损失等于该括号内的值，小于零时取零；
(10.3)重复(10.1)～(10.2)，使用随机梯度下降算法SGD，根据每次迭代得到的三个特征图的损失值更新网络各层的参数，直到达到设定的最大迭代次数E3＝300，得到训练好的细粒度匹配网络。
步骤11.对测试集的异源图像进行匹配。
(11.1)分别将测试集中的SAR图像和可见光图像输入到训练好的粗粒度匹配网络中，得到测试数据的热图，将该热图中极大值点的坐标作为初始坐标；
(11.2)在可见光图像初始坐标位置周围的40个像素邻域内，分别以每个点为左上角坐标，剪裁出与SAR图像大小相等的子图像并记录坐标，得到1600张子图像组成的候选图像组；
(11.3)将测试集中的SAR图像输入到训练好的细粒度匹配网络，得到其特征图；
(11.4)将候选组的所有图像分别输入到训练好的细粒度匹配网络，得到候选组的特征图；
(11.5)计算候选组的特征图与SAR图像的特征图的欧氏距离，该候选组中欧氏距离最小图像的左上角坐标即为最终匹配位置，完成测试集中SAR图像与可见光图像的匹配。
本发明的效果可通过以下实验进一步说明。
1.实验条件
本实验使用的服务器配置为3.2GHz的Intel Core i7-9700K CPU和一张12-GB的NVIDIA GeForce RTX2080Ti GPU，使用PyTorch1.5.1代码框架实现深度网络模型，开发语言为Python3.7。
实验所用的数据集是开源数据集OS dataset，包括1300对异源图像和其标签，SAR图像的尺寸为300×300，SAR图像采集自中国多极化c波段SAR卫星高分3号，分辨率为1米。可见光图像的尺寸为512×512，图像采集自谷歌地球平台，并重新采样至1米分辨率。
本实例将80％的图像作为训练集，20％图像作为测试集，实验在测试集上的受试者误差小于等于5个像素的匹配准确率、正确匹配图像的平均误差、所有图像的平均误差和匹配时间。
实验使用的现有方法有六种，分别是归一化互相关算法NCC，归一化互信息算法NMI，定向梯度的通道特征算法CFOG，辐射变化不敏感特征变换算法RIFT，伪孪生卷积神经网络算法PSiam，基于视觉显著性特征的深度匹配网络VSMatch。
2.实验内容
实验一，在上述实验条件下，使用本发明和现有六种NCC，NMI，CFOG，RIFT，PSiam，VSMatch算法，对上述测试集中一幅城市区域的SAR图像和可见光图像进行匹配，结果如图6所示，其中图6(a)为SAR图像模板，图6(b)为真值标签，图6(c)为NCC算法的匹配结果，图6(d)为NMI算法的匹配结果，图6(e)为CFOG算法的匹配结果，图6(f)为可见光图像，图6(g)为RIFT算法的匹配结果，图6(h)为PSiam算法的匹配结果，图6(i)为VSMatch算法的匹配结果，图6(j)为本发明提出算法的匹配结果；
实验二，在上述实验条件下，使用本发明和现有六种NCC，NMI，CFOG，RIFT，PSiam，VSMatch算法，对上述测试集中一幅海港区域的SAR图像和可见光图像进行匹配，结果如图7所示，其中，图7(a)为SAR图像模板，图7(b)为真值标签，图7(c)为NCC算法的匹配结果，图7(d)为NMI算法的匹配结果，图7(e)为CFOG算法的匹配结果，图7(f)为可见光图像，图7(g)为RIFT算法的匹配结果，图7(h)为PSiam算法的匹配结果，图7(i)为VSMatch算法的匹配结果，图7(j)为本发明提出算法的匹配结果。
实验三，将测试集中240对SAR图像和可见光图像进行匹配，根据所有匹配结果和标签计算其评价指标，结果如表1：
表1本发明和现有6种方法的评价指标
由图6和图7可以看出，本发明无论是在局部特征差异较小的城区，还是局部特征差异较大的海港地区，都可以得到比较稳定的结果。
从表1可见，本发明在准确率、正确匹配图像的平均误差和所有图像的平均误差都优于其他算法，且匹配时间要比同为深度学习算法的PSiam和VSMatch要少。
实验四，分别使用单一粗粒度匹配网络，单一细粒度匹配网络和本发明提出的二者组合的网络，对上述测试集中SAR图像和可见光图像进行匹配，根据匹配结果和标签计算评价指标，结果如表2。
表2单一粗、细粒度匹配网络和本发明使用两者结合匹配的评价指标
由表2可见，本发明提出的粗粒度匹配网络和细粒度匹配网络都能有效的完成其对应的任务，且本发明结合了两部分网络的优点，先使用粗粒度匹配网络确定初始匹配位置，再使用细粒度匹配网络在初始位置周围的邻域内进行精确查找，可在保证准确率的前提下有效减小匹配时间。
综上，本发明构建的基于级联网络的分步异源图像匹配方法，相比现有的NCC，NMI，CFOG，RIFT，PSiam，VSMatch算法，能够得到更好的匹配结果，匹配时间在同类深度学习算法中处于领先地位，对不同地物的适应性良好，具有更强的泛化能力。
Claims (8)
1.一种基于级联网络的分步异源图像模板匹配方法，其特征在于，包括：
(1)构建学习数据：
(1a)从开源数据集OSDataset中选择尺寸为512×512的图像作为选用数据集，该数据集包含已经完成配准的SAR和可见光图像；
(1b)将选用数据集中的可见光图像作为搜索图像，在每幅可见光对应的SAR图像中随机选择像素作为左上角坐标，剪裁出300×300的图像作为模板图像，并保存该左上角坐标作为该图像对的标签；
(1c)将选用数据集中80％的图像对作为训练集，剩余20％的图像对作为测试集；
(2)构建由输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层，多尺度特征连接层、第五卷积层，第六卷积层和一个空间注意力层依次级联组成的粗粒度匹配网络C；
(3)使用训练集制作粗粒度匹配网络的训练数据：
(3a)选择一幅可见光图像，以标签坐标为左上角坐标，剪裁出与对应模板图像尺寸相同的300×300子图；
(3b)对子图与可见光图像做互相关操作得到子图的热图，并将其作为真值图；
(3c)对训练集中的所有可见光图像进行(3a)～(3b)的操作，得到训练集中每对异源图像对应的真值图；
(3d)将训练集和所有真值图作为粗粒度网络的训练数据；
(4)选择VGG16网络作为抑制网络S，并将其最后一个全连接层的维度改为2用作二分类；
(5)制作抑制网络的训练数据：
(5a)生成与(3b)中热图尺寸相同的矩阵，随机选择一点，设置其值为1.0，再以该点为基准点，设置矩阵中其他点的数值要随着与基准点的距离增大而减小，直到减小到0，并将该矩阵保存为图像；
(5b)重复(5a)共生成800个图像作为第一类良好的热图，标签为[1,0]；
(5c)生成与(3b)中热图尺寸相同的矩阵，随机选择3～5点，设置其值为1.0，再以这些点为基准点，设置矩阵中其他点的数值要随着与基准点的距离增大而减小，直到减小到0，并将该矩阵保存为图像；
(5d)重复(5c)共生成800个图像作为第二类不良的热图，标签为[0,1]；
(5e)将两类热图共1600个图像作为抑制网络的训练数据；
(6)利用抑制网络的训练数据，使用SGD算法对抑制网络进行迭代训练，直到设定的迭代次数；
(7)利用粗粒度网络的训练数据，使用SGD算法对粗粒度匹配网络进行迭代训练直到达到设定的最大迭代次数，得到训练好的粗粒度匹配网络；
(8)构建由输入层、第1卷积层、第2卷积层、第3卷积层、第4卷积层，多尺度特征连接层、第5卷积层，第6卷积层和一个空间注意力层依次级联组成的细粒度匹配网络F；
(9)使用训练集制作细粒度匹配网络的训练数据：
(9a)选择一对异源图像，在可见光图像中，从标签位置周围5个像素的邻域内随机选一点作为左上角坐标，剪裁出与模板图像尺寸相同的子图像作为正类图像；
(9b)对于(9a)中的可见光图像，从标签位置周围6～40个像素的邻域内随机选一点作为左上角坐标，剪裁出与模板图像尺寸相同的子图像作为负类图像；
(9c)将模板图像、(9a)中正类图像、(9b)中负类图像组成一个三元组；
(9d)对于训练集中的每对异源图像进行(9a)～(9c)的操作，将得到的所有三元组作为细粒度匹配网络的训练数据；
(10)利用细粒度网络的训练数据，使用SGD算法对细粒度匹配网络进行迭代训练直到达到设定的最大迭代次数，得到训练好的细粒度匹配网络；
(11)对测试集的异源图像进行匹配：
(11a)分别将测试集中的SAR图像和可见光图像输入粗粒度匹配网络，得到测试数据的热图，将该热图中极大值点的坐标作为初始坐标；
(11b)在可见光图像初始坐标位置周围40个像素的邻域内，分别以每个点为左上角坐标，剪裁出与SAR图像大小相等的子图像并记录坐标，得到1600张子图像组成的候选图像组；
(11c)将测试集中的SAR图像输入到训练好的细粒度匹配网络，得到其模板的特征图；
(11d)分别将候选组的所有图像输入到训练好的细粒度匹配网络，得到候选组的特征图；
(11e)计算候选组的特征图与模板的特征图的欧氏距离，该候选组中欧氏距离最小图像的左上角坐标即为最终匹配位置。
2.根据权利要求1所述的方法，其中(2)中构建的粗粒度匹配网络，其各层结构及参数如下：
所述第一卷积层，由大小为7、步长为1的二维卷积层，ReLU激活函数层，大小为3、步长为2的二维最大池化层依次连接组成；
所述第二卷积层，由大小为5、步长为1的二维卷积层，ReLU激活函数层，大小为3、步长为2的二维最大池化层依次连接组成；
所述第三卷积层和第四卷积层，均由大小为3、步长为1的二维卷积层，ReLU激活函数层，大小为3、步长为2的二维最大池化层依次连接组成；
所述多尺度特征连接层，是由第一到第四卷积层每层输出的特征图分别上采样至与第一卷积层相同尺寸的输出特征图，在通道维度上拼接组成；
所述第五卷积层和第六卷积层，均由大小为3、步长为1的二维卷积层，ReLU激活函数层依次连接组成；
所述空间注意力层，是由大小为1、步长为1的二维最大池化层，大小为1、步长为1的二维平均池化层，大小为1、步长为1的二维卷积层，Sigmoid激活函数层组成，其中两个池化层的输出在通道维度组合，之后依次连接卷积层和激活函数层，再将激活函数层的输出特征图和第六卷积层的结果相乘。
3.根据权利要求1所述的方法，其中(3b)中的互相关运算公式如下：
其中si,j为SAR图像的像素，oi,j为可见光子图像的像素。
4.根据权利要求1所述的方法，其中(6)中对抑制网络的训练，实现如下：
(6a)使用如下交叉熵损失函数CELoss作为抑制网络的损失函数：
CELoss＝-[ylogy'+(1-y)log(1-y')]
其中y为抑制网络输出的结果，y'为其类别标签；
(6b)将抑制网络的训练数据输入到该网络，将网络的输出结果与其对应的类别标签输入损失函数CELoss中，计算损失值；
(6c)使用随机梯度下降算法SGD，根据损失值更新网络各层的参数，以对抑制网络进行迭代训练，直到达到设定的迭代次数E1＝100，获得训练好的抑制网络。
5.根据权利要求1所述的方法，其中(7)中利用粗粒度网络的训练数据，使用SGD算法对粗粒度匹配网络进行迭代训练，实现如下：
(7a)选择粗粒度网络训练数据中的一对SAR图像和可见光图像，将SAR图像输入到粗粒度匹配网络，输出其特征图后上采样到与输入图像相同的大小；再将可见光图像输入到粗粒度匹配网络，输出其特征图后上采样到与输入图像相同的大小；得到两者的特征图后对其做互相关操作，得到训练数据的热图；
(7b)使用MSELoss损失函数，计算训练数据的热图与其真值图之间的损失值作为Lossbase：
其中Nh是热图中元素的个数，xi是真值图中的元素，yi是热图中的元素；
(7c)将(7a)得到的训练数据热图输入训练好的抑制网络，将其输出结果中属于第一类热图的概率值作为Losssupp；
(7d)计算整个粗粒度匹配网络的损失值Loss：
其中，e是一个大于0的极小的自然数；
(7e)重复(7a)～(7d)，使用随机梯度下降算法SGD，根据每次迭代的损失值更新网络各层的参数，直到达到设定的迭代次数E2＝300，得到训练好的粗粒度匹配网络。
6.根据权利要求1所述的方法，其中(8)中构建的细粒度匹配网络，其各层结构及参数如下：
所述第1卷积层，由大小为7、步长为1的二维卷积层，ReLU激活函数层依次连接组成；
所述第2卷积层，由大小为5、步长为1的二维卷积层，ReLU激活函数层依次连接组成；
所述第3卷积层和第4卷积层，均由大小为3、步长为1的二维卷积层，ReLU激活函数层依次连接组成；
所述多尺度特征连接层，是由第1到第4卷积层每层输出的特征图分别上采样至与第1卷积层相同尺寸的输出特征图，在通道维度上拼接组成；
所述第5卷积层和第6卷积层均由依次连接的一个大小为3、步长为1的二维卷积层和一个ReLU激活函数层组成；
所述空间注意力层，是由大小为1、步长为1的二维最大池化层，大小为1、步长为1的二维平均池化层，大小为1、步长为1的二维卷积层，Sigmoid激活函数层组成，其中两个池化层的输出在通道维度组合，之后依次连接卷积层和激活函数层，再将激活函数层的输出特征图与第6卷积层的结果相乘。
7.根据权利要求1所述的方法，其中(10)中利用细粒度网络的训练数据，使用SGD算法对细粒度匹配网络进行迭代训练，实现如下：
(10a)将细粒度网络训练数据中的一个三元组的模板图像、正类图像、负类图像分别输入到细粒度匹配网络，得到三者的特征图；
(10b)使用三元损失函数TripletLoss计算(10a)中三个特征图的损失值Losstrip：
式中||*||代表欧氏距离，Nt为模板特征图的像素个数，
表示模板特征图内的像素，
表示正类特征图内的像素，
表示负类特征图内的像素，
表示模板特征图与正类特征图之间的欧氏距离，
表示模板特征图与负类特征图之间的欧氏距离，α为常数，代表两个距离之间的间隔，[*]+表示括号内的值大于等于零时损失等于该括号内的值，小于零时取零；
(10c)重复(10a)～(10b)，使用随机梯度下降算法SGD，根据每次迭代得到的三个特征图的损失值更新网络各层的参数，直到达到设定的最大迭代次数E3＝300，得到训练好的细粒度匹配网络。
8.根据权利要求1所述的方法，(11e)中计算候选组的特征图与模板的特征图的欧氏距离，公式如下：
式中Nt为模板特征图的像素个数，
为模板特征图内的像素，
为候选组特征图内的像素，d为候选组的特征图与模板的特征图的欧氏距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111450018.8A CN114140700A (zh) | 2021-12-01 | 2021-12-01 | 基于级联网络的分步异源图像模板匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111450018.8A CN114140700A (zh) | 2021-12-01 | 2021-12-01 | 基于级联网络的分步异源图像模板匹配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114140700A true CN114140700A (zh) | 2022-03-04 |
Family
ID=80386300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111450018.8A Pending CN114140700A (zh) | 2021-12-01 | 2021-12-01 | 基于级联网络的分步异源图像模板匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114140700A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115019071A (zh) * | 2022-05-19 | 2022-09-06 | 昆明理工大学 | 光学图像与sar图像匹配方法、装置、电子设备及介质 |
| CN115222955A (zh) * | 2022-06-13 | 2022-10-21 | 北京医准智能科技有限公司 | 图像匹配模型的训练方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109348731A (zh) * | 2016-10-14 | 2019-02-15 | 深圳配天智能技术研究院有限公司 | 一种图像匹配的方法及装置 |
| CN110598029A (zh) * | 2019-09-06 | 2019-12-20 | 西安电子科技大学 | 基于注意力转移机制的细粒度图像分类方法 |
| CN112818931A (zh) * | 2021-02-26 | 2021-05-18 | 中国矿业大学 | 基于多粒度深度特征融合的多尺度行人重识别方法 |
| CN113159067A (zh) * | 2021-04-13 | 2021-07-23 | 北京工商大学 | 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置 |
-
2021
- 2021-12-01 CN CN202111450018.8A patent/CN114140700A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109348731A (zh) * | 2016-10-14 | 2019-02-15 | 深圳配天智能技术研究院有限公司 | 一种图像匹配的方法及装置 |
| CN110598029A (zh) * | 2019-09-06 | 2019-12-20 | 西安电子科技大学 | 基于注意力转移机制的细粒度图像分类方法 |
| CN112818931A (zh) * | 2021-02-26 | 2021-05-18 | 中国矿业大学 | 基于多粒度深度特征融合的多尺度行人重识别方法 |
| CN113159067A (zh) * | 2021-04-13 | 2021-07-23 | 北京工商大学 | 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| JINMING MU等: "A Stepwise Matching Method for Multi-modal Image based on Cascaded Network", PROCEEDINGS OF THE 29TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA * |
| 陈前;刘骊;付晓东;刘利军;黄青松;: "部件检测和语义网络的细粒度鞋类图像检索", 中国图象图形学报 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115019071A (zh) * | 2022-05-19 | 2022-09-06 | 昆明理工大学 | 光学图像与sar图像匹配方法、装置、电子设备及介质 |
| CN115019071B (zh) * | 2022-05-19 | 2023-09-19 | 昆明理工大学 | 光学图像与sar图像匹配方法、装置、电子设备及介质 |
| CN115222955A (zh) * | 2022-06-13 | 2022-10-21 | 北京医准智能科技有限公司 | 图像匹配模型的训练方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028277B (zh) | 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法 | |
| CN108052966B (zh) | 基于卷积神经网络的遥感图像场景自动提取和分类方法 | |
| CN108428220B (zh) | 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法 | |
| CN104090972B (zh) | 用于三维城市模型检索的图像特征提取和相似性度量方法 | |
| CN111222474A (zh) | 一种任意尺度的高分辨率图像小目标检测方法 | |
| CN112990010B (zh) | 点云数据处理方法、装置、计算机设备和存储介质 | |
| Dai et al. | RADANet: Road augmented deformable attention network for road extraction from complex high-resolution remote-sensing images | |
| CN114140700A (zh) | 基于级联网络的分步异源图像模板匹配方法 | |
| CN114088081B (zh) | 一种基于多段联合优化的用于精确定位的地图构建方法 | |
| CN109523582B (zh) | 一种顾及法向量和多尺度稀疏特征的点云粗配准方法 | |
| CN109325407B (zh) | 基于f-ssd网络滤波的光学遥感视频目标检测方法 | |
| CN114241464A (zh) | 基于深度学习的跨视角影像实时匹配地理定位方法及系统 | |
| CN115331029A (zh) | 基于跨模态转换网络与最优传输理论的异源图像匹配方法 | |
| CN111709317A (zh) | 一种基于显著性模型下多尺度特征的行人重识别方法 | |
| CN117274627A (zh) | 一种基于图像转换的多时相积雪遥感图像匹配方法及系统 | |
| Li et al. | Detecting building changes using multi-modal Siamese multi-task networks from very high resolution satellite images | |
| CN107452003A (zh) | 一种含有深度信息的图像分割的方法及装置 | |
| Xu et al. | Attention-based Contrastive Learning for Few-shot Remote Sensing Image Classification | |
| CN117451050A (zh) | 基于分层语义特征的无人机视觉认知导航定位方法及装置 | |
| CN112785631A (zh) | 一种基于dlg的点云数据配准方法 | |
| WO2019090509A1 (zh) | 一种高光谱图像的分类方法及系统 | |
| CN114092423A (zh) | 一种遥感影像信息标签智能化提取方法 | |
| Li et al. | Semantic segmentation for high-resolution aerial imagery using multi-skip network and Markov random fields | |
| Ren et al. | SAR image matching method based on improved SIFT for navigation system | |
| CN114708321A (zh) | 一种基于语义的相机位姿估计方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220304 |
|
| WD01 | Invention patent application deemed withdrawn after publication |