CN113160291B - 一种基于图像配准的变化检测方法 - Google Patents

一种基于图像配准的变化检测方法 Download PDF

Info

Publication number
CN113160291B
CN113160291B CN202110389504.7A CN202110389504A CN113160291B CN 113160291 B CN113160291 B CN 113160291B CN 202110389504 A CN202110389504 A CN 202110389504A CN 113160291 B CN113160291 B CN 113160291B
Authority
CN
China
Prior art keywords
feature
map
graph
registration
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110389504.7A
Other languages
English (en)
Other versions
CN113160291A (zh
Inventor
陈鹏辉
毛登峰
徐阳俊
郑洁雪
刘德凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huayan Zhike Hangzhou Information Technology Co ltd
Original Assignee
Huayan Zhike Hangzhou Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huayan Zhike Hangzhou Information Technology Co ltd filed Critical Huayan Zhike Hangzhou Information Technology Co ltd
Priority to CN202110389504.7A priority Critical patent/CN113160291B/zh
Publication of CN113160291A publication Critical patent/CN113160291A/zh
Application granted granted Critical
Publication of CN113160291B publication Critical patent/CN113160291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于图像配准的变化检测方法，包括：将基准图和待测图输入特征提取网络，得到不同层级的特征图，从中选定一层特征图作为配准特征图；在配准特征图上检测关键点，并提取对应特征描述符；基于配准特征图检测到的关键点进行特征匹配，并基于匹配的关键点计算单应性矩阵；利用单应性矩阵将从待测图得到的不同层级的特征图与从基准图得到的相应层级的特征图配准对齐；将配准对齐后的待测特征图和基准图经过特征提取网络所得的同一层级的特征图计算差异特征图；将差异特征图输入变化输出网络进行多尺度特征融合，输出原图大小的变化图；更好地实现了图像特征差异变化检测，使用同一卷积神经网络用于图像配准和变化检测，减少了计算量。

Description

一种基于图像配准的变化检测方法
技术领域
本发明属于计算机视觉变化检测技术领域，具体涉及一种基于图像配准的变化检测方法。
背景技术
基于图像的变化检测的是在相同场景下，如利用场景中巡检机器人自动巡检，在相同位置下采集不同时间的图片，排除光照，天气，阴影，拍摄角度等次要因素的影响，找出图片中的需要注意的主要变化区域，为实际工程和生产应用提供保障。
传统的变化检测方法即基于图像特征差异分析法，是通过识别两张图像之间的“明显不同”的像素，然后通过指定阈值等算法来生成变化图。该类方法有基于图像光照不变特征差值的变化检测，基于局部二值相似模式(LBSP)的变化检测，还有基于Haar-like特征和随机森林的变化检测方法等。这些方法的优点是计算量少，速度较快，但是缺点是性能受到人工设计的特征的限制，传统方法还对一些无关紧要的变化敏感，容易受光照，阴影等变化的影响。
基于深度学习的变化检测方法是用卷积神经网络对基准图和待测图提取深度特征，利用两幅特征图作为后续变化检测的基础。
中国发明专利CN202011230354.7中公开了一种基于深度学习的变化检测方法，根据二幅图像的特征的差异实现变化检测。但是，对于机器人巡检过程中拍摄的图像，常常不能很好配准，从而影响了变化检测效果。
图像的配准有很多方法，一般要先提取二幅图中的关键点，进行关键点匹配，计算单应矩阵，从而实现图像配准。采用卷积网络的方法能达到比传统方法更优的图像配准效果，但计算量也较大。特别地，如果图像配准与变化检测均采用卷积网络的方法，且相互独立，则会大大增加计算量。
发明内容
本发明提出一种基于图像配准的变化检测方法，使图像配准和变化检测共享神经网络，减少了计算量，同时利用单应性矩阵从待测图计算所得的不同层级的特征图直接进行配准，无需从原图重新计算特征图，进一步减少了计算量。
为实现上述目的，本发明采用了如下技术方案：
一种基于图像配准的变化检测方法，包括特征提取网络和变化输出网络，具体包括如下步骤：
A1，将基准图和待测图输入特征提取网络，得到分别对应基准图和待测图的不同层级的特征图，从中选定一层特征图作为配准特征图；
A2，分别在基准图的配准特征图和待测图的配准特征图上检测关键点，并提取对应特征描述符；
A3，基于基准图的配准特征图和待测图的配准特征图上检测到的关键点的特征描述符进行特征匹配，并基于匹配的关键点计算单应性矩阵；
A4，利用单应性矩阵将从待测图得到的不同层级的特征图与从基准图得到的相应层级的特征图配准对齐；
A5，将配准对齐后的待测特征图和基准图经过特征提取网络所得的同一层级的特征图融合得到差异特征图；
A6，将得到的差异特征图输入变化输出网络，变化输出网络结合输入的不同层级的差异特征图进行多尺度特征融合，输出原图大小的变化图；
进一步的，所述特征提取网络采用VGG16作为其骨架结构，包括两个权值和结构完全相同的孪生网络分支，分支网络分别由Module1,Module2，Module3,Module4共4个子模块组成；步骤A1中，将基准图I1和待测图I2分别输入孪生网络两个分支后，先后经过四个子模块提取到不同层级的特征图fi_1,fi_2,fi_3,fi_4：
Figure BDA0003015958500000021
进一步的，步骤A1中，所述基准图的配准特征图和待测图的配准特征图为第四次下采样之前所得的特征图。
进一步的，步骤A2中，在特征图上检测关键点具体包括：对于特征图F上某点(i，j)，对该点的通道方向上找到最大值所处通道k，如果该点在特征图F中第k个通道对应的特征图Dk是局部最大值，则点(i,j)是关键点；并且该关键点在特征图F对应位置上通道方向的特征dij为该点的特征描述符。
进一步的，步骤A3中，基于关键点的特征描述符进行特征匹配，并基于匹配的关键点计算单应性矩阵，具体包括：使用K近邻匹配算法根据特征描述符的距离即欧氏距离的大小寻找最匹配和次匹配关键点对，当最匹配关键点对的欧氏距离与次匹配关键点对的欧氏距离之比小于某个设定阈值时，则认为该最匹配点对是一对有效的匹配点，反之则删除该点对，并对匹配成功的关键点对使用RANSAC算法进行迭代优化计算，从而得到单应性矩阵H。
进一步的，在步骤A4中，所述利用单应性矩阵将待测图得到的不同层级的特征图进行配准，具体为将特征图f2_1,f2_2,f2_3,f2_4，利用单应性矩阵H通过重采样变换得到配准后的特征图f’2_1,f’2_2,f’2_3,f’2_4。
进一步的，在步骤A5中，所述的计算差异特征图具体包括：将对齐后的待测特征图和基准图经过特征提取网络所得的同一层级的特征图按通道方向上交叉拼接成新的特征图，再利用分组卷积进行融合得到差异特征图ffusion_1,ffusion_2,ffusion_3,ffusion_4，其中，
ffusion_i＝group_conv(cross_concat(f1_i，f’2_i))其中i＝1,2，3，4。
其中，分组卷积的分组数与融合前的特征图通道数相同，将融合得到差异特征图作为后续网络的输入，
进一步的，步骤A6中，所述变化输出网络包括decoder1,decoder2,decoder33个子模块，在每一个子模块中，对上级输出的特征图进行卷积上采样操作，并和相同尺度的差异特征图进行通道方向的拼接，作为下一个子模块的一支输入：
fconcat_1＝decoder1(ffusion_4，ffusion_3)
fconcat_2＝decoder2(fconcat_1，ffusion_2)
fconcat_3＝decoder3(fconcat_2,ffusion_1)
其中decoder3输出的特征图经过上采样操作变换到与原图相同大小的特征图，再通过softmax转化为对应的类别概率，分别表示变化与不变化的概率。
进一步的，还包括训练过程：对于包括配准特征图及其之前部分的网络即浅层网络部分，利用三元组边缘排名损失(triplet margin ranking loss)使用对应数据集(如MegaDepth数据集)进行训练，完成训练后再对剩余网络使用变化检测数据集利用交叉熵损失以较小的学习率进行训练。
本发明的有益效果是：
1、先将待测图像与基准图像进行匹配，更好地实现了图像特征的差异变化检测；
2、使用单个卷积神经网络同时用于图像配准和变化检测，大幅度降低变化检测的计算量；
3、利用单应性矩阵从待测图计算所得的不同层级的特征图直接进行配准，无需从原图重新计算特征图，进一步减少了计算量。
附图说明
图1是本发明配准与变化检测过程的一种实施例流程示意图；
图2是特征提取网络的结构示意图；
图3是差异特征图计算方法示意图；
图4是变化输出网络结构示意图；
图5是decoder子模块具体结构示意图；
图6是训练本发明网络的一种实施例流程示意图；
图7是计算三元组边缘排名损失的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步阐述。以下实例仅用于说明和解释本发明，并不现定于本发明。
本发明提出了一种基于图像配准的变化检测方法，以下结合较佳的实施例以及附图，对依据本发明的具体实施方式、结构以及其功效，详细说明如下：
实施例一：
如图1所示，本发明提供了一种基于图像配准的变化检测方法，具体步骤包括：
步骤A1，特征提取网络对输入图片进行特征提取：将基准图和待测图输入特征提取网络，分别提取其不同层级的特征图，也就是采用相同的特征提取网络提取基准图和待测图的深度特征，并从中选定一层特征图作为配准特征图。在本实施例中采用VGG16作为其骨架结构，还可以采用各种其他CNN网络，如ResNet，DenseNet等。一般为保持较高分辨率，选用其浅层网络的特征图作为配准特征图。
本实施例中，所述的特征提取网络采用VGG16作为骨架结构，其中包含两个权值相同的孪生网络分支，如图2所示，分别由Mpdule1,Module2,Module3,Module4共4个子模块组成，也可以是其它数量的子模块组成，各层中采用最大值池化降低特征图尺寸。将基准图I1和待测图I2分别输入孪生网络两个分支后，网络输入的Ii经过Mpdule1模块输出fi_1，特征图大小为原图的1/2，通道数为64，fi_1经过Module2模块输出fi_2，特征图大小为原图的1/4，通道数为128，fi_2经过Module3模块输出fi_3，特征图大小为原图的1/8，通道数为256，fi_3经过,Module4模块输出fi_4，特征图大小为原图的1/16，通道数为512。这里所说的通道数量可以根据性能要求调整。
Figure BDA0003015958500000051
步骤A2，检测关键点并提取特征描述子：对输入图片经过特征提取网络所得的特征图中，在基准图的配准特征图和待测图的配准特征图上检测关键点，并提取对应特征描述符。一般用浅层网络得到的较高分辨率的一层特征图F作为配准特征图，如第二至第四次下采样之前所得的特征图作为配准特征图，本实施例中为第四次下采样之前所得的特征图fi_3，在该特征图上检测关键点并提取对应特征描述符。在本实施例中，对于特征图F，关键点检测规则具体如下：对于网络提取所得三维特征图F上某点(i,j)，对该点的通道方向上找到最大值所处通道k，如果该点在特征图F中第k个通道对应的特征图Dk上是局部最大值，则点(i,j)是关键点。并且将该关键点在特征图F对应位置上通道方向的特征向量dij为该点的特征描述符。也可以采用其它方法找关键点及其特征描述符，如各通道大于0的值之和的局部最大值。
步骤A3，关键点特征匹配和单应性矩阵计算：即基于基准图的配准特征图和待测图的配准特征图上检测到的关键点的特征描述符进行特征匹配，并基于匹配的关键点计算单应性矩阵。本实施例中，关键点特征匹配为使用K近邻匹配算法根据特征描述符的距离即欧氏距离的大小寻找最匹配和次匹配关键点对，当最匹配关键点对的欧氏距离与次匹配关键点对的欧氏距离之比小于某个设定阈值时，则认为该最匹配点对是一对有效的匹配点，反之则删除该点。对匹配成功的关键点对使用RANSAC算法进行迭代优化，从而获得合理的的匹配成功的关键点对所对应的单应性矩阵H。
步骤A4，待测特征图配准对齐：利用单应性矩阵H将从待测图得到的不同层级的特征图与从基准图得到的相应层级的特征图配准对齐。本实施例中将待测图经过特征提取网络所得的不同层级的特征图f2_1,f2_2,f2_3,f2_4和步骤A3中所迭代计算得的单应性矩阵H通过重采样变换得到配准后的特征图f’2_1,f’2_2,f’2_3,f’2_4。对于提取关键点对所在层级的特征图，可以直接利用A3所得单应性矩阵H进行配准对齐，对于其他层级特征图，只要垂直和水平方向下采样的比例相同，由于缩放比例相同，仍可直接利用该单应性矩阵H进行配准对齐。
步骤A5，差异特征图计算：将配准对齐后的待测特征图和基准图经过特征提取网络所得的同一层级的特征图进行融合从而得到差异特征图。同一层级的特征图进行融合得到差异特征图可以有多种方法，如特征图对应元素直接相减取绝对值进行融合，或是特征图通道按序拼接使用1*1卷积融合等。本实施例中，采用对同一层级的特征图在通道方向上交叉拼接成新的特征图，再利用分组卷积得到差异特征图ffusion_1,ffusion_2,ffusion_3,ffusion_4，作为后续网络的输入，具体计算示意如图3所示：
ffusion_i＝group_conv(cross_concat(f1_i，f’2_i))其中i＝1，2，3,4
步骤A6，变化输出网络输出变化图：将上一步输出的差异特征图输入变化输出网络，变化输出网络结合输入的不同层级的差异特征图进行多尺度特征融合，输出原图大小的变化图,即变化检测结果图。
变化输出网络可以采用现有的用于图像分割的类似网络。本实施例中，变化输出网络具体组成如图4所示。分别由decoder1,decoder2,decoder3共3个子模块组成，decoder子模块结构示意图如图5所示。分别接收编码模块输出的不同层级的差异特征图ffusion_i，其中decoder1以ffusion_4,ffusion_3作为输入，通过上采样操作将1/16原图大小的特征图ffusion_4变换到1/8原图大小得到finter_4，通道数仍然是512，将特征图大小相同的finter_4和ffusion_3按通道方向拼接并进行卷积操作得到fconcat_1,其特征图为1/8原图大小，通道数为256，将fconcat_1作为decoder2的一支输入，另一支输入为ffusion_2，经过和类似的decoder2模块得到fconcat_2，特征图大小为原图的1/4，通道数为128，再和ffusion_1一同输入到最后一个decoder3得到特征图fconcat_3，特征图大小为原图的1/2，通道数为64。
fconcat_1＝decoder1(ffusion_4,ffusion_3)
fconcat_2＝decoder2(fconcat_1，ffusion_2)
fconcat_3＝decoder3(fconcat_2,ffusion_1)
经过decoder3后将得到的特征图fconcat_3经过最后一个上采样操作变换到原图大小，经过最后一个卷积模块输出通道数为2的特征图，再通过softmax转化为类别概率pi，两个通道分别表示属于该点位置变化和不变化类别的概率，根据变化类别概率大于不变化类别概率的位置作为输出变化图。
实施例二：
本发明所提出的一种基于图像配准的变化检测方法基于卷积神经网络，可以同时完成配准和变化检测任务，卷积神经网络均需要根据损失函数进行训练，如实施例一所示的网络，本实施例提供了一种分步训练的方法，对于特征提取网络中的用于检测关键点的网络层及其之前的浅层网络部分，称为前半部分网络，如本实施例中特征提取网络中第四次下采样之前的网络，利用三元组边缘排名损失(triplet margin ranking loss)使用对应数据集(如MegaDepth数据集)进行训练，完成训练后再对剩余网络使用变化检测数据集利用交叉熵损失以较小的学习率进行训练。从而使网络可以同时完成配准和变化检测任务。具体步骤如图6所示，可细分为：
步骤B1：使用三元组边缘排名损失训练前半部分网络：对于本发明所设计的配准和变化检测网络中第四次下采样之前的网络，为配准和变化检测任务所共用的特征提取部分，在本实施例中，首先利用数据集对该部分网络进行训练。具体步骤如图7所示，可细分为：
B1.1,计算关键点(i,j)在特征图F上的得分：对于实施例1中步骤A3所检测关键点的算法并不可导，因此需要为每个关键点分配一个可导分数便于网络训练。
在本实施例中，为对每个关键点分配一个可导分数，需首先计算可导的局部最大值选择函数，用于表示点(i,j)在第k个通道的二维特征图上的局部响应分数：对于特征图F，在特征图上某点的响应值设为
Figure BDA0003015958500000081
其中k表示所在通道，i，j表示该通道所对应特征图上的坐标，则可导的局部最大值选择函数
Figure BDA0003015958500000082
计算如下：
Figure BDA0003015958500000083
其中N(i,j)表示包括点(i,j)在内的邻域像素集合，例如，采用8邻域共9个像素。
本实施例中，在完成可导的局部最大值选择函数计算后，还需计算可导的通道最大值选择函数
Figure BDA0003015958500000084
Figure BDA0003015958500000085
综合
Figure BDA0003015958500000086
Figure BDA0003015958500000087
计算关键点(i,j)对应的最大分数：
Figure BDA0003015958500000088
对特征图计算所有得分进行归一化，所得即为关键点(i,j)的得分sij：
Figure BDA0003015958500000089
B1.2，根据关键点得分sij计算三元组边缘排名损失：在为关键点分配对应得分后，需结合训练数据标签转化为训练损失用于后续训练。
在本实施例中，给定一对图像(I1,I2)和图像中的匹配点对(A,B)，其中A∈I1，B∈I2，用
Figure BDA00030159585000000810
和
Figure BDA00030159585000000811
分别表示点在对应图像中的特征描述符，则正样本描述符的距离定义为：
Figure BDA00030159585000000812
正样本描述符距离表示最匹配点对之间的特征距离。
负样本描述符距离定义为：
Figure BDA0003015958500000091
其中N1和N2分别表示点A和B在另一幅图中所对应的次匹配点。
负样本描述符距离表示次匹配混淆点对之间的特征距离。
完成正负描述符计算后再用三元组边缘排名损失函数计算特征描述损失：
m(c)＝max(0，M+p(c)2-n(c)2)
其中M为自定义边缘系数。
根据训练图片对中的检测点集合将检测点分数和特征描述损失结合，计算最终训练损失函数：
Figure BDA0003015958500000092
其中
Figure BDA0003015958500000093
和
Figure BDA0003015958500000094
分别表示点A，B的在步骤B1.1中计算所得的检测分数，C表示在I1和I2中的所有对应点对。
B1.3，使用上步骤计算所得损失函数使用对应数据集(如MegaDepth数据集)对特征提取网络中的前半部分网络进行训练。
步骤B2：使用交叉熵损失函数训练后半部分网络：在完成特征提取网络中前半部分网络训练后，以较小的学习率使用交叉熵损失对后半部分网络在变化检测数据集上再次训练。
以上所表述的具体实施例的说明只适用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种基于图像配准的变化检测方法，其特征在于，包括如下步骤：
A1，将基准图和待测图输入特征提取网络，所述特征提取网络包括两个权值和结构完全相同的孪生网络分支，将基准图和待测图分别输入孪生网络两个分支后，得到分别对应基准图和待测图的不同层级的特征图，从中选定一层特征图作为配准特征图；
A2，分别在基准图的配准特征图和待测图的配准特征图上检测关键点，并提取对应特征描述符；
A3，基于基准图的配准特征图和待测图的配准特征图上检测到的关键点的特征描述符进行特征匹配，并基于匹配的关键点计算单应性矩阵；
A4，利用单应性矩阵将从待测图得到的不同层级的特征图与从基准图得到的相应层级的特征图配准对齐；
A5，将配准对齐后的待测特征图和基准图经过特征提取网络所得的同一层级的特征图融合得到差异特征图；
A6，将得到的差异特征图输入变化输出网络，变化输出网络结合输入的不同层级的差异特征图进行多尺度特征融合，输出原图大小的变化图；
还包括训练过程，具体的，对于包括配准特征图及其之前部分的网络即浅层网络部分，利用三元组边缘排名损失(triplet margin ranking loss) 使用对应数据集进行训练，完成训练后再对剩余网络使用变化检测数据集利用交叉熵损失以较小的学习率进行训练。
2.如权利要求1所述的基于图像配准的变化检测方法，其特征在于，所述特征提取网络采用VGG16作为其骨架结构，包括两个权值和结构完全相同的孪生网络分支，分支网络分别由
Figure DEST_PATH_IMAGE002
共4个子模块组成；步骤A1中，将基准图
Figure DEST_PATH_IMAGE004
和待测图
Figure DEST_PATH_IMAGE006
分别输入孪生网络两个分支后，先后经过四个子模块提取到不同层级的特征图
Figure DEST_PATH_IMAGE008
,
Figure DEST_PATH_IMAGE010
,
Figure DEST_PATH_IMAGE012
,
Figure DEST_PATH_IMAGE014
：
Figure DEST_PATH_IMAGE016
。
3.如权利要求1所述的基于图像配准的变化检测方法，其特征在于，步骤A1中，所述基准图的配准特征图和待测图的配准特征图为第四次下采样之前所得的特征图。
4.如权利要求1所述的基于图像配准的变化检测方法，其特征在于，步骤A2中，在特征图上检测关键点具体包括：对于特征图
Figure DEST_PATH_IMAGE018
上某点
Figure DEST_PATH_IMAGE020
，对该点的通道方向上找到最大值所处通道
Figure DEST_PATH_IMAGE022
，如果该点在特征图
Figure 997723DEST_PATH_IMAGE018
中第
Figure 383705DEST_PATH_IMAGE022
个通道对应的特征图
Figure DEST_PATH_IMAGE024
是局部最大值，则点
Figure 353322DEST_PATH_IMAGE020
是关键点；并且该关键点在特征图
Figure 217373DEST_PATH_IMAGE018
对应位置上通道方向的特征
Figure DEST_PATH_IMAGE026
为该点的特征描述符。
5.如权利要求1所述的基于图像配准的变化检测方法，其特征在于，步骤A3中，基于关键点的特征描述符进行特征匹配，并基于匹配的关键点计算单应性矩阵，具体包括：使用K近邻匹配算法根据特征描述符的距离即欧氏距离的大小寻找最匹配和次匹配关键点对，当最匹配关键点对的欧氏距离与次匹配关键点对的欧氏距离之比小于某个设定阈值时，则认为该最匹配关键点对是一对有效的匹配点，反之则删除该点对，并对匹配成功的关键点对使用
Figure DEST_PATH_IMAGE028
算法进行迭代优化计算，从而得到单应性矩阵
Figure DEST_PATH_IMAGE030
。
6.如权利要求2所述的基于图像配准的变化检测方法，其特征在于，步骤A4中，所述利用单应性矩阵将待测图得到的不同层级的特征图进行配准，具体为将待测图的特征图
Figure DEST_PATH_IMAGE032
,
Figure DEST_PATH_IMAGE034
,
Figure DEST_PATH_IMAGE036
,
Figure DEST_PATH_IMAGE038
，利用单应性矩阵
Figure 15434DEST_PATH_IMAGE030
通过重采样变换得到配准后的特征图
Figure DEST_PATH_IMAGE040
,
Figure DEST_PATH_IMAGE042
,
Figure DEST_PATH_IMAGE044
,
Figure DEST_PATH_IMAGE046
。
7.如权利要求2所述的基于图像配准的变化检测方法，其特征在于，步骤A5中，所述的计算差异特征图具体包括：将对齐后的待测特征图和基准图经过特征提取网络所得的同一层级的特征图在通道方向上交叉拼接成新的特征图，再利用分组卷积进行融合得到差异特征图
Figure DEST_PATH_IMAGE048
,
Figure DEST_PATH_IMAGE050
,
Figure DEST_PATH_IMAGE052
,
Figure DEST_PATH_IMAGE054
，作为后续网络的输入，其中，
Figure DEST_PATH_IMAGE056
。
8.如权利要求7所述的基于图像配准的变化检测方法，其特征在于，步骤A6中，所述变化输出网络至少包括
Figure DEST_PATH_IMAGE058
,
Figure DEST_PATH_IMAGE060
,
Figure DEST_PATH_IMAGE062
3个子模块，在每一个子模块中，对上级输出的特征图进行卷积上采样操作，并和相同尺度大小的差异特征图进行通道方向的拼接，作为下一个子模块的一支输入：
Figure DEST_PATH_IMAGE064
Figure DEST_PATH_IMAGE066
Figure DEST_PATH_IMAGE068
其中
Figure 458135DEST_PATH_IMAGE062
输出的特征图经过上采样操作变换到与原图相同大小的特征图，再通过
Figure DEST_PATH_IMAGE070
转化为对应的类别概率，分别表示变化与不变化的概率。
CN202110389504.7A 2021-04-12 2021-04-12 一种基于图像配准的变化检测方法 Active CN113160291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110389504.7A CN113160291B (zh) 2021-04-12 2021-04-12 一种基于图像配准的变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110389504.7A CN113160291B (zh) 2021-04-12 2021-04-12 一种基于图像配准的变化检测方法

Publications (2)

Publication Number Publication Date
CN113160291A CN113160291A (zh) 2021-07-23
CN113160291B true CN113160291B (zh) 2023-02-14

Family

ID=76889883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110389504.7A Active CN113160291B (zh) 2021-04-12 2021-04-12 一种基于图像配准的变化检测方法

Country Status (1)

Country Link
CN (1) CN113160291B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781449A (zh) * 2021-09-14 2021-12-10 上海布眼人工智能科技有限公司 一种基于多尺度特征融合的纺织品瑕疵分类方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509293A (zh) * 2011-11-04 2012-06-20 华北电力大学（保定） 异源图像的一致性特征检测方法
CN102629378A (zh) * 2012-03-01 2012-08-08 西安电子科技大学 基于多特征融合的遥感图像变化检测方法
US9008366B1 (en) * 2012-01-23 2015-04-14 Hrl Laboratories, Llc Bio-inspired method of ground object cueing in airborne motion imagery
CN109035315A (zh) * 2018-08-28 2018-12-18 武汉大学 融合sift特征和cnn特征的遥感图像配准方法及系统
CN109670515A (zh) * 2018-12-13 2019-04-23 南京工业大学 一种用于无人机影像中建筑物变化的检测方法及系统
CN111060316A (zh) * 2019-12-10 2020-04-24 华南理工大学 基于卷积神经网络模型的滚动轴承状态监测方法和系统
CN111640159A (zh) * 2020-05-11 2020-09-08 武汉大学 一种基于孪生卷积神经网络的遥感影像变化检测方法
CN111709428A (zh) * 2020-05-29 2020-09-25 北京百度网讯科技有限公司 图像中关键点位置的识别方法、装置、电子设备及介质
CN111709980A (zh) * 2020-06-10 2020-09-25 北京理工大学 基于深度学习的多尺度图像配准方法和装置
CN112365462A (zh) * 2020-11-06 2021-02-12 华雁智科(杭州)信息技术有限公司 一种基于图像的变化检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509293A (zh) * 2011-11-04 2012-06-20 华北电力大学（保定） 异源图像的一致性特征检测方法
US9008366B1 (en) * 2012-01-23 2015-04-14 Hrl Laboratories, Llc Bio-inspired method of ground object cueing in airborne motion imagery
CN102629378A (zh) * 2012-03-01 2012-08-08 西安电子科技大学 基于多特征融合的遥感图像变化检测方法
CN109035315A (zh) * 2018-08-28 2018-12-18 武汉大学 融合sift特征和cnn特征的遥感图像配准方法及系统
CN109670515A (zh) * 2018-12-13 2019-04-23 南京工业大学 一种用于无人机影像中建筑物变化的检测方法及系统
CN111060316A (zh) * 2019-12-10 2020-04-24 华南理工大学 基于卷积神经网络模型的滚动轴承状态监测方法和系统
CN111640159A (zh) * 2020-05-11 2020-09-08 武汉大学 一种基于孪生卷积神经网络的遥感影像变化检测方法
CN111709428A (zh) * 2020-05-29 2020-09-25 北京百度网讯科技有限公司 图像中关键点位置的识别方法、装置、电子设备及介质
CN111709980A (zh) * 2020-06-10 2020-09-25 北京理工大学 基于深度学习的多尺度图像配准方法和装置
CN112365462A (zh) * 2020-11-06 2021-02-12 华雁智科(杭州)信息技术有限公司 一种基于图像的变化检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习与无人机遥感影像的管线变化检测技术研究;陆俊;《中国优秀硕士学位论文全文数据库》;20200715;全文 *

Also Published As

Publication number Publication date
CN113160291A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN111489358B (zh) 一种基于深度学习的三维点云语义分割方法
CN111401384B (zh) 一种变电设备缺陷图像匹配方法
CN108427924B (zh) 一种基于旋转敏感特征的文本回归检测方法
CN111401361B (zh) 一种端到端的轻量级深度车牌识别方法
CN113223068B (zh) 一种基于深度全局特征的多模态图像配准方法及系统
CN112052783A (zh) 一种结合像素语义关联和边界注意的高分影像弱监督建筑物提取方法
CN109934272B (zh) 一种基于全卷积网络的图像匹配方法
CN112365462A (zh) 一种基于图像的变化检测方法
CN110717493B (zh) 一种基于深度学习的含堆叠字符的车牌识别方法
CN112633088B (zh) 一种基于航拍图像中光伏组件识别的电站容量估测方法
CN115661777A (zh) 一种联合语义的雾天道路目标检测算法
CN115272719A (zh) 一种用于无人机图像和卫星图像的跨视角景象匹配方法
CN112819837A (zh) 一种基于多源异构遥感影像的语义分割方法
CN113160291B (zh) 一种基于图像配准的变化检测方法
Xu et al. TransMIN: Transformer-guided multi-interaction network for remote sensing object detection
Noman et al. Remote sensing change detection with transformers trained from scratch
Chen et al. Coupled Global–Local object detection for large VHR aerial images
Zhang et al. Object-Centric Masked Image Modeling Based Self-Supervised Pretraining for Remote Sensing Object Detection
CN111339342B (zh) 一种基于角度三元中心损失的三维模型检索方法
CN116797948A (zh) 一种用于无人机图像和卫星图像的跨视角景象匹配方法
CN113705718B (zh) 基于多层次特征密集融合的遥感场景图像分类方法
CN113052311B (zh) 具有跳层结构的特征提取网络及特征和描述子生成的方法
Zhao et al. Attention-enhanced cross-modal localization between 360 images and point clouds
Jung et al. Local feature extraction from salient regions by feature map transformation
Zhong et al. A teacher-student learning based born-again training approach to improving scene text detection accuracy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant