CN113240023A - 基于变化图像分类和特征差值先验的变化检测方法及装置 - Google Patents
基于变化图像分类和特征差值先验的变化检测方法及装置 Download PDFInfo
- Publication number
- CN113240023A CN113240023A CN202110547712.5A CN202110547712A CN113240023A CN 113240023 A CN113240023 A CN 113240023A CN 202110547712 A CN202110547712 A CN 202110547712A CN 113240023 A CN113240023 A CN 113240023A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- change
- difference value
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 113
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000012546 transfer Methods 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims abstract description 5
- 230000003044 adaptive effect Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 32
- 241000282326 Felis catus Species 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 239000000126 substance Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于变化图像分类和特征差值先验的变化检测方法及装置，方法包括：构建一孪生网络作为特征差值先验提取网络，由三层的孪生神经网络组成；构建一变化图像分类器，由自适应不同尺寸输入的二分类器组成，用于判断场景中的变化物体在待检测图像x中还是图像y中；构建多尺度变化物体检测网络，将特征先验差值与编码后的特征进行融合，经连续的自底向上和自顶向下的特征融合方式进行特征传递，最后在五个不同尺度上得到预测结果，以解决变化区域易受非变化图像无效背景信息影响。装置包括：处理器和存储器，存储器中存储有程序指令，处理器调用存储器中存储的程序指令以执行方法步骤。
Description
技术领域
本发明涉及变化检测领域，尤其涉及一种基于变化图像分类和特征差值先验的变化检测方法及装置。
背景技术
现有的变化检测方法一般分为三类[1]：基于PBCD(pixel-based changedetection，基于像素的变化检测)的方法、基于OBCD(object-based change detection，基于对象的变化检测)的方法和对两者进行互补的HCD(Hybrid change detection，混合型变化检测)的方法。
PBCD方法一般可以分为两类：第一种是直接差值法，对输入的两幅图像对应位置的像素直接进行相减，从而获得一幅差异图来表示变化区域。但是由于斑点噪声、相姿位差以及光线等因素会严重影响成像后的像素值，所以差值法的有效检测性能比较差，难以达到实际检测的高质量要求。此外，差值法还忽视了大量的上下文信息，无法克服伪变化的存在，像元之间的直接相减还会导致图像边缘特征信息的丢失，降低检测结果的质量。因此，又有文献提出了基于transform的检测方法[2]。该方法旨在将高层次的语义信息和低层次的纹理信息相结合[3][4]，以达到更精确的检测。
OBCD方法是考虑到同一对象中的像素具有一致性，不同对象间的像素差距较大这一特点而提出的[5]。OBCD需要先对目标图像进行分割，明确图像中的每一个对象后再进行变化检测，这一特点导致该方法在多目标变化的检测任务中产生了较为复杂的多重判断，严重影响了算法的运算效率及模型精度。此外，背景也会在很大程度上对检测结果产生干扰[7]。
HCD检测方法是对PBCD和OBCD进行了互补，首先利用上下文的语义信息提高PBCD的准确性，然后再使用PBCD估计出OBCD的一些参数，推导出不变区域的mask(掩膜)，以消除不需要的区域，减少OBCD的误差放大现象，最后再使用OBCD方法得到最终的变化检测结果。尽管HCD是PBCD和OBCD相互补充而得出的检测方法，但由于其模型较为复杂且增效细微，导致目前仍没有一个最优的HCD检测方法。Jonathan团队提出了一种UAFS-HCD模型[6]，相比于文献[8]～[11]提出的几种方法，UAFS-HCD模型的检测结果有所提升，但阈值的难以选取和缺乏公共数据集的证明使得该方法难以继续发展。
上述检测方法都是直接对图像特征进行了处理，没有考虑待检图像中含有特征信息的丰富程度，造成预测结果易受待检测图像无效背景信息的干扰。
参考文献
[1]眭海刚，冯文卿，孙开敏，徐川，多时相遥感影像变化检测方法综述.vol.43.no.12,2018.
[2]B,Rui Huang A,et al."Change Detection with Absolute DifferenceofMultiscale Deep Features."Neurocomputing(2020).
[3]Z.Zhang,X.Zhang,C.Peng,X.Xue,J.Sun,Exfuse:Enhancing Feature Fusionfor Semantic Segmentation,in:Proceedings ofthe European Conference onComputer Vision (ECCV),2018,pp.269–284.
[4]J.-X.Zhao,Y.Cao,D.-P.Fan,M.-M.Cheng,X.-Y.Li,L.Zhang,Contrast Priorand Fluid Pyramid Integration for RGB-D Salient Object Detection,in:Proceedings of the IEEE Conference on Computer Vision and PatternRecognition,2019,pp.3927–3936.
[5]Lingcao Huang.An object-based change detection approach byintegrating intensity and texture differences[C].International AsiaConference on Informatics in Control,Automation and Robotics,CAR2010
[6]Jonathan Li.Improving Pixel-Based Change Detection Accuracy Usingan Object-Based Approach in Multitemporal SAR Flood Images[j].IEEE Journal ofSelected Topics in Applied Earth Observation and Remote Sensing,vol.8,Issue.7,pp.3486-3496,July 2015).
[7]T.Bouwmans,S.Javed,M.Sultana,S.K.Jung,Deep Neural Network Conceptsfor Background Subtraction:A systematic Review and Comparative evaluation,Neural Networks117(2019)8–66.
[8]J.Aguirre-Gutiérrez,A.C.Seijmonsbergen,and J.F.Duivenvoorden,“Optimizing land cover classification accuracy for change detection,acombined pixel-based and object-based approach in a mountainous area inMexico,”Appl.Geogr.,vol.34,pp.29–37,2012.
[9]P.Gamba,F.Dell’Acqua,and G.Lisini,“Change detection ofmultitemporal SAR data in urban areas combining feature-based and pixel-basedtechniques,”IEEE Trans.Geosci.Remote Sens.,vol.44,no.10,pp.2820–2827,Oct.2006.
[10]F.Bovolo,C.Marin,and L.Bruzzone,“A multilevel approach to changedetection for port surveillance with very high resolution SAR images,”inProc.6th Int.Workshop Anal.Multi-Temp.Remote Sens.Images(Multitemp’11),Trento,Italy,Jul.12–14,2011,pp.9–12.
[11]L.Bruzzone and F.Melgani,“A data fusion approach to unsupervisedchange detection,”in Proc.IEEE Int.Conf.Geosci.Remote Sens.Symp.(IGARSS’03),Toulouse,France,2003,vol.2,pp.1374–1376.
发明内容
本发明提供了一种基于变化图像分类和特征差值先验的变化检测方法及装置，本发明根据变化物体在待检测图像x中还是图像y中，将待检测图像分为变化图像和非变化图像两类；使用VGG16网络提取出变化图像的五个卷积块特征，并将其与特征差值先验提取网络提取出的特征差值MP进行融合，以解决变化区域易受非变化图像无效背景信息影响的问题，详见下文描述：
第一方面，一种基于变化图像分类和特征差值先验的变化检测方法，所述方法包括：
构建一孪生网络作为特征差值先验提取网络，由三层的孪生神经网络组成；
构建一变化图像分类器，由自适应不同尺寸输入的二分类器组成，用于判断场景中的变化物体在待检测图像x中还是图像y中；
构建多尺度变化物体检测网络，将特征先验差值与编码后的特征进行融合，经连续的自底向上和自顶向下的特征融合方式进行特征传递，最后在五个不同尺度上得到预测结果，以解决变化区域易受非变化图像无效背景信息影响。
在一种实施方式中，所述方法包括：将x图像第一层特征记为
y图像第一层特征记为
将
与
一起传入到特征差值先验提取网络中，第一卷积层将64*160*160的张量转化为128*80*80的张量，第二卷积层将128*80*80的张量转化为256*40*40的张量，第三卷积层将256*40*40的张量转化为512*20*20的张量；将得到的三组不同尺度特征求绝对差值
最终将特征值拼接记为
将
降维后作为最终的特征差值先验差值MP。
在一种实施方式中，所述方法还包括：
采用奇偶对插的方式，将下标为偶数的变化图像按“图像名称0”的格式存入参照图集，非变化图像按“图像名称1”的格式存入对比图集中；将下标为奇数的变化图像按“图像名称0”的格式存入对比图集中，将非变化图像按“图像名称1”的格式存入参照图集中。
在一种实施方式中，所述二分类器包含一个卷积层，一个空间金字塔池化模块，两个全连接层和一个激活函数层。
在一种实施方式中，所述经连续的自底向上和自顶向下的特征融合方式进行特征传递为：
将变化图像经过编码后的特征与特征先验差值进行拼接，将拼接后的特征经一卷积后再逐步向上传递，经自底向上和自顶向下的双向特征传递，将分辨率更高的细节信息向上逐层传递，将高层的语义信息向底层传递，将高层的语义信息和低层的细节纹理信息结合。
在一种实施方式中，所述自底向上融合为：
Fj′＝φ(cat(φ(cat(Fj,Dn(F′j-1)),Fj,Dn(P′j-1))))j＝2,...,5
其中，cat(·)是拼接函数，Dn(·)表示下采样函数，P′j-1表示基于单图的变化物体检测网络在F′j-1上产生的预测结果，φ(·)为卷积函数，Fj表示编码特征与特征差值先验的拼接结果，F′j-1为自底向上特征融合的输出值；
所述自顶向下融合为：
F″k＝φ(cat(φ(cat(F′k,up(F″k+1)),Fk,up(P′k+1))))k＝4,...,1
其中，up(·)表示上采样函数，P′k+1表示基于单图的变化物体检测网络在F′k+1上产生的预测结果，F″k表示自顶向下融合产生的特征。
第二方面，一种基于变化图像分类和特征差值先验的变化检测装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。
第三方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。
本发明提供的技术方案的有益效果是：
1、本发明将待检测图像按照是否含有变化物体进行分类，选取含有变化物体的图像作为变化图像，然后将其1-5层的卷积模块特征提取出来，用于对特征差值先验进行修正，消除无效特征信息对检测结果带来的干扰，使得预测结果更加贴近真实变化结果；
2、本发明构建的变化图像选择器，根据变化物体所在图像的不同，将待检测图像分为变化图像和非变化图像，最终只利用变化图像特征实现单图的变化物体检测；
3、本发明根据变化图像含有更丰富的特征信息这一特点，将变化图像的特征信息与先验特征差值进行融合，对先验预测进行修正，解决了以往变化检测易受两幅图像无效特征信息影响的问题；
4、根据在VL-CMU(视觉定位CMU数据集)、PCD(全景变化检测数据集)、CDnet2014(变化检测视频序列数据集)数据集上的实验结果显示，本方法增益效果明显。
附图说明
图1为本发明提出的变化检测网络的结构示意图；
图2为本发明提出的变化图像分类器的结构示意图；
图3为本发明提出的变化特征差值先验提取网络的示意图；
图4为一种基于变化图像分类和特征差值先验的变化检测方法的流程图；
图5为本发明提出的变化检测的结果示意图；
图6为一种基于变化图像分类和特征差值先验的变化检测装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
本方法是针对图像变化区域检测问题提出了基于变化图像分类和特征差值先验的变化检测方法与装置，可以在待检图像中检测出变化物体，并且更接近真实变化。
实施例1
一种基于变化图像分类和特征差值先验的变化检测方法，参见图1至图4，该方法包括以下步骤：
一、构建特征差值先验网络
本发明实施例构建了一个简单的孪生网络作为特征差值先验提取网络，由一个三层的孪生神经网络组成，以VGG16网络的第一卷积模块的输出作为输入，经过孪生网络对语义信息进行抽取，然后对不同尺度的特征求绝对值差值。
该网络以待检测图像对(x,y)的第一卷积模块特征作为输入，以先验特征差值MP作为输出。
首先，将待检测图像x和y经过VGG16网络进行特征提取，将x图像第一层特征记为
y图像第一层特征记为
其次，将
与
一起传入到特征差值先验网络中，该网络由三个卷积层构成，第一卷积层将64*160*160的张量转化为128*80*80的张量，第二卷积层将128*80*80的张量转化为256*40*40的张量，第三卷积层将256*40*40的张量转化为512*20*20的张量。然后将得到的三组不同尺度特征求绝对差值
最终将得到特征值拼接记为
将
降维后作为最终的特征差值先验MP。
二、构建待检图像分类训练集，并训练变化图像分类器
构建变化图像分类器，设计一个自适应不同尺寸输入的二分类器用于判断场景中的变化物体在待检测图像x中还是图像y中。使用图像x和图像y的第一个卷积模块特征作为该网络的输入，首先经过卷积层进行降维，其次使用SPPnet(空间金字塔池化网络)固定输出尺寸，最后再连接两个全连接层，一个softmax层，输出0(变化物体在图像x中)或1(变化物体在图像y中)。
该步骤具体为：在CMU、PCD、CDnet2014数据集上，将所有图像按照是否存在变化物体分为变化图像和非变化图像，将变化图像记为x0，非变化图像记为y1，并构建待检图像对(x0,y1)。
当所有待检图像对构建完成后，再采用奇偶对插的方式，将下标为偶数的变化图像按“图像名称0”的格式存入参照图集(reference)，非变化图像按“图像名称1”的格式存入对比图集(query)中；将下标为奇数的变化图像按“图像名称0”的格式存入query中，将非变化图像按“图像名称1”的格式存入reference中；这样充分保证reference中和query中的变化图像与非变化图像数量均衡，能够有效提高变化图像分类器的分类性能。
本发明实施例中的变化图像分类器训练流程参见图2，该分类器包含一个卷积层，一个SPP(空间金字塔池化)模块，两个全连接层和一个softmax(激活函数)层。第一卷积层将128*160*160的张量转化为64*160*160的张量，SPP(空间金字塔池化)模块用于将不同尺度的输入固定到同一尺度的输出(如图2所示，输入64*H*W的特征图，接着分别使用大小为4*4，2*2和1*1的网格来提取特征，将这三张网格放到每一张特征图上，就可以得到16+4+1＝21种不同的块(Spatial bins)，然后再从每个块中利用池化操作提取出一个特征，这就可以提取出一个21维的特征向量，此时的输入通道数目是64，那么输出等于64*(16+4+1)＝1344。这种以不同大小格子的组合方式来池化的过程就是空间金字塔池化(SPP))；第一全连接层是将1344*1*1的张量转换为128维向量，第二全连接层是将128维向量转换为2维的向量，达到一个二分类的效果。
最后将二分类的预测值输入到softmax中进行概率预测，输出最大概率值时所对应的下标(0或1)作为预测结果，形式化描述为：
其中，cs＝0表明变化发生在图像x中，x是变化图像；cs＝1表明变化发生在图像y中，y是变化图像；cat(·)是拼接函数；Ψs(·)是变化图像选择器。
由于变化图像选择器的训练只需要VGG16网络第一卷积模块提取出的特征，因此其余深层次的特征在变化图像选择出后再进行提取，这样可以减小网络的规模，节约运行的时间。
三、构建并训练多尺度的变化物体检测网络
构建多尺度变化物体检测网络，针对多尺度特征所含信息的不同，将特征先验差值MP与编码后的特征进行融合，然后经过连续的自底向上和自顶向下的特征融合方式进行特征传递，最后在五个不同的尺度上得到预测结果。
为了使提取出的特征更具有表征能力，在该模块中还加入了编码操作，将高层的语义信息逐步向底层特征进行编码。
以图像x为例，使用卷积操作将MP和x图像编码后的五个卷积特征
进行融合。为了提高网络的检测速度，首先经过一个卷积层对背景信息进行过滤。然后对过滤后的特征加上监督信号，最后会产生不同尺度的变化检测结果图Pi(1≤i≤5)，本发明实施例选取P1作为最优的预测结果。
上述操作的具体步骤为：
首先将变化图像经过编码后的特征
与特征差值先验MP进行拼接，将拼接后的特征经过一个卷积后再逐步向上传递。经过自底向上和自顶向下的双向特征传递，将分辨率更高的细节信息向上逐层传递，将高层的语义信息向底层传递，充分将高层的语义信息和低层的细节纹理信息结合起来，产生更精确的预测结果。在传递时不只是传递特征，还会将上一步的结果进行传递，这样可以解决特征信息损失导致的检测结果差的问题。
具体函数为：
Fj′＝φ(cat(φ(cat(Fj,Dn(F′j-1)),Fj,Dn(P′j-1))))j＝2,...,5 (2)
其中，cat(·)是拼接函数，Dn(·)表示下采样函数，P′j-1表示基于单图的变化物体检测网络在F′j-1上产生的预测结果，F′1＝φ(F1)，这里的F′j表示的自底向上融合产生的特征，φ(·)为卷积函数,其目的在于降低特征通道数目，Fj表示编码特征
与特征差值先验MP的拼接结果，F′j-1为自底向上特征融合的输出值。
其中，利用自顶向下的特征融合方式逐步将语义信息作用在高分辨率的特征上，去除干扰的细节纹理信息，具体公式如下：
F″k＝φ(cat(φ(cat(F′k,up(F″k+1)),Fk,up(P′k+1))))k＝4,...,1 (3)
其中，cat(·)是拼接函数；up(·)表示上采样函数，P′k+1表示基于单图的变化物体检测网络在F′k+1上产生的预测结果，φ(·)是调整通道数目的卷积函数。其中F″5＝φ(F′5)，这里的F″k表示自顶向下融合产生的特征。P1＝φ(F″1)，本发明实施例最终选择P1作为预测结果。
四、计算损失函数
本发明实施例提出的网络模型的损失是含有变化图像选择器的损失和多尺度变化物体检测网络的损失两部分组成，但由于变化图像选择器的训练与变化检测网络进行的是分离式训练，所以分类损失与检测损失要分别计算。
计算变化图像选择器中cs与类别标签ls的误差作为变化图像分类器的损失函数；
其中，
为变化图象选择器的分类损失；CrossEntropyLoss(·)为交叉熵损失计算函数。
计算特征差值先验与gt之间的交叉熵损失：
其中，
为特征先验差值与gt之间的损失，gt表示真实的变化区域，MP为特征先验差值。
计算Pi(1≤i≤5)与gt之间的交叉熵损失，将每个预测结果与gt的损失求和作为多尺度变化物体检测网络的损失函数：
其中，
为变化预测结果与真实变化区域gt的损失，Pi为变化预测结果。
基于变化图像分类和先验特征差值的变化检测方法模型的损失函数为：
其中，
表示先验特征差值与变化预测结果的总损失。
实施例2
下面结合图1-图5对实施例1中的方案进行可行性验证，详见下文描述：
本发明实施例根据变化图像含有丰富特征信息这一特点出发，设计图1所示的网络结构，能够利用变化图像特征对先验特征差值进行修正，克服背景等无效特征信息带来的干扰。
根据图2的网络结构所示，将VGG16第一卷积块提取出的特征拼接起来作为分类器的输入，使用SPP(空间金字塔池化)模块对不同尺度的输入进行输出尺度的固定，能够有效提高选择器的准确性。
图3表示特征先验差值提取网络，使用三个步长为二的卷积模块进行特征提取，最终将多尺度特征差值拼接起来作为本次实验的特征先验差值。
由图5可得，本发明实施例得到的变化检测结果P1与真实变化区域gt十分吻合，在不同数据集上都取得优异成果。
实施例3
基于同一发明构思，本发明实施例还提供了一种基于变化图像分类和特征差值先验的变化检测装置，参见图6，该装置包括：处理器1和存储器2，存储器2中存储有程序指令，处理器1调用存储器2中存储的程序指令以使装置执行实施例1中的任一项的方法步骤：
构建一孪生网络作为特征差值先验提取网络，由三层的孪生神经网络组成；
构建一变化图像分类器，由自适应不同尺寸输入的二分类器组成，用于判断场景中的变化物体在待检测图像x中还是图像y中；
构建多尺度变化物体检测网络，将特征先验差值与编码后的特征进行融合，经连续的自底向上和自顶向下的特征融合方式进行特征传递，最后在五个不同尺度上得到预测结果，以解决变化区域易受非变化图像无效背景信息影响。
其中，该方法还包括：
采用奇偶对插的方式，将下标为偶数的变化图像按“图像名称0”的格式存入参照图集，非变化图像按“图像名称1”的格式存入对比图集中；将下标为奇数的变化图像按“图像名称0”的格式存入对比图集中，将非变化图像按“图像名称1”的格式存入参照图集中。
进一步地，二分类器包含一个卷积层，一个空间金字塔池化模块，两个全连接层和一个激活函数层。
其中，经连续的自底向上和自顶向下的特征融合方式进行特征传递为：
将变化图像经过编码后的特征与特征先验差值进行拼接，将拼接后的特征经一卷积后再逐步向上传递，经自底向上和自顶向下的双向特征传递，将分辨率更高的细节信息向上逐层传递，将高层的语义信息向底层传递，将高层的语义信息和低层的细节纹理信息结合。
进一步地，自底向上融合为：
Fj′＝φ(cat(φ(cat(Fj,Dn(F′j-1)),Fj,Dn(P′j-1))))j＝2,...,5
其中，cat(·)是拼接函数，Dn(·)表示下采样函数，P′j-1表示基于单图的变化物体检测网络在F′j-1上产生的预测结果，φ(·)为卷积函数，Fj表示编码特征与特征差值先验的拼接结果，F′j-1为自底向上特征融合的输出值；
进一步地，自顶向下融合为：
F″k＝φ(cat(φ(cat(F′k,up(F″k+1)),Fk,up(P′k+1))))k＝4,...,1
其中，up(·)表示上采样函数，P′k+1表示基于单图的变化物体检测网络在F′k+1上产生的预测结果，F″k表示自顶向下融合产生的特征。
这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
上述的处理器1和存储器2的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
存储器2和处理器1之间通过总线3传输数据信号，本发明实施例对此不做赘述。
实施例4
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。
该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。
这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。
计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于变化图像分类和特征差值先验的变化检测方法，其特征在于，所述方法包括以下步骤：
构建一孪生网络作为特征差值先验提取网络，由三层的孪生神经网络组成；
构建一变化图像分类器，由自适应不同尺寸输入的二分类器组成，用于判断场景中的变化物体在待检测图像x中还是图像y中；
构建多尺度变化物体检测网络，将特征先验差值与编码后的特征进行融合，经连续的自底向上和自顶向下的特征融合方式进行特征传递，最后在五个不同尺度上得到预测结果，以解决变化区域易受非变化图像无效背景信息影响。
2.根据权利要求1所述的一种基于变化图像分类和特征差值先验的变化检测方法，其特征在于，
将x图像第一层特征记为
y图像第一层特征记为
将
与
一起传入到特征差值先验提取网络中，第一卷积层将64*160*160的张量转化为128*80*80的张量，第二卷积层将128*80*80的张量转化为256*40*40的张量，第三卷积层将256*40*40的张量转化为512*20*20的张量；将得到的三组不同尺度特征求绝对差值
最终将特征值拼接记为
将
降维后作为最终的特征差值先验差值MP。
3.根据权利要求1所述的一种基于变化图像分类和特征差值先验的变化检测方法，其特征在于，所述方法还包括：
采用奇偶对插的方式，将下标为偶数的变化图像按“图像名称0”的格式存入参照图集，非变化图像按“图像名称1”的格式存入对比图集中；将下标为奇数的变化图像按“图像名称0”的格式存入对比图集中，将非变化图像按“图像名称1”的格式存入参照图集中。
4.根据权利要求1所述的一种基于变化图像分类和特征差值先验的变化检测方法，其特征在于，所述二分类器包含一个卷积层，一个空间金字塔池化模块，两个全连接层和一个激活函数层。
5.根据权利要求1所述的一种基于变化图像分类和特征差值先验的变化检测方法，其特征在于，所述经连续的自底向上和自顶向下的特征融合方式进行特征传递为：
将变化图像经过编码后的特征与特征先验差值进行拼接，将拼接后的特征经一卷积后再逐步向上传递，经自底向上和自顶向下的双向特征传递，将分辨率更高的细节信息向上逐层传递，将高层的语义信息向底层传递，将高层的语义信息和低层的细节纹理信息结合。
6.根据权利要求1所述的一种基于变化图像分类和特征差值先验的变化检测方法，其特征在于，
所述自底向上融合为：
Fj′＝φ(cat(φ(cat(Fj,Dn(F′j-1)),Fj,Dn(P′j-1))))j＝2,...,5
其中，cat(·)是拼接函数，Dn(·)表示下采样函数，P′j-1表示基于单图的变化物体检测网络在F′j-1上产生的预测结果，φ(·)为卷积函数，Fj表示编码特征与特征差值先验的拼接结果，F′j-1为自底向上特征融合的输出值；
所述自顶向下融合为：
F″k＝φ(cat(φ(cat(F′k,up(F″k+1)),Fk,up(P′k+1))))k＝4,...,1
其中，up(·)表示上采样函数，P′k+1表示基于单图的变化物体检测网络在F′k+1上产生的预测结果，F″k表示自顶向下融合产生的特征。
7.一种基于变化图像分类和特征差值先验的变化检测装置，其特征在于，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-6中的任一项所述的方法步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行权利要求1-6中的任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110547712.5A CN113240023B (zh) | 2021-05-19 | 2021-05-19 | 基于变化图像分类和特征差值先验的变化检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110547712.5A CN113240023B (zh) | 2021-05-19 | 2021-05-19 | 基于变化图像分类和特征差值先验的变化检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113240023A true CN113240023A (zh) | 2021-08-10 |
| CN113240023B CN113240023B (zh) | 2022-09-09 |
Family
ID=77137802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110547712.5A Active CN113240023B (zh) | 2021-05-19 | 2021-05-19 | 基于变化图像分类和特征差值先验的变化检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113240023B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419464A (zh) * | 2022-03-29 | 2022-04-29 | 南湖实验室 | 一种基于深度学习的孪生网络变化检测模型 |
| CN115019186A (zh) * | 2022-08-08 | 2022-09-06 | 中科星图测控技术(合肥)有限公司 | 一种用于遥感变化检测的算法和系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934166A (zh) * | 2019-03-12 | 2019-06-25 | 中山大学 | 基于语义分割和孪生神经网络的无人机图像变化检测方法 |
| CN110472634A (zh) * | 2019-07-03 | 2019-11-19 | 中国民航大学 | 基于多尺度深度特征差值融合网络的变化检测方法 |
| CN110533631A (zh) * | 2019-07-15 | 2019-12-03 | 西安电子科技大学 | 基于金字塔池化孪生网络的sar图像变化检测方法 |
| CN110969088A (zh) * | 2019-11-01 | 2020-04-07 | 华东师范大学 | 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法 |
| US20200110966A1 (en) * | 2018-10-09 | 2020-04-09 | Naver Corporation | Systems and methods for detecting a point of interest change using a convolutional neural network |
| CN111640159A (zh) * | 2020-05-11 | 2020-09-08 | 武汉大学 | 一种基于孪生卷积神经网络的遥感影像变化检测方法 |
| CN111723732A (zh) * | 2020-06-18 | 2020-09-29 | 西安电子科技大学 | 一种光学遥感图像变化检测方法、存储介质及计算设备 |
| CN112308156A (zh) * | 2020-11-05 | 2021-02-02 | 电子科技大学 | 一种基于对抗学习的两阶段图像变化检测方法 |
| CN112613352A (zh) * | 2020-12-04 | 2021-04-06 | 河海大学 | 一种基于孪生网络的遥感图像变化检测方法 |
| CN112668494A (zh) * | 2020-12-31 | 2021-04-16 | 西安电子科技大学 | 基于多尺度特征提取的小样本变化检测方法 |
-
2021
- 2021-05-19 CN CN202110547712.5A patent/CN113240023B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200110966A1 (en) * | 2018-10-09 | 2020-04-09 | Naver Corporation | Systems and methods for detecting a point of interest change using a convolutional neural network |
| CN109934166A (zh) * | 2019-03-12 | 2019-06-25 | 中山大学 | 基于语义分割和孪生神经网络的无人机图像变化检测方法 |
| CN110472634A (zh) * | 2019-07-03 | 2019-11-19 | 中国民航大学 | 基于多尺度深度特征差值融合网络的变化检测方法 |
| CN110533631A (zh) * | 2019-07-15 | 2019-12-03 | 西安电子科技大学 | 基于金字塔池化孪生网络的sar图像变化检测方法 |
| CN110969088A (zh) * | 2019-11-01 | 2020-04-07 | 华东师范大学 | 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法 |
| CN111640159A (zh) * | 2020-05-11 | 2020-09-08 | 武汉大学 | 一种基于孪生卷积神经网络的遥感影像变化检测方法 |
| CN111723732A (zh) * | 2020-06-18 | 2020-09-29 | 西安电子科技大学 | 一种光学遥感图像变化检测方法、存储介质及计算设备 |
| CN112308156A (zh) * | 2020-11-05 | 2021-02-02 | 电子科技大学 | 一种基于对抗学习的两阶段图像变化检测方法 |
| CN112613352A (zh) * | 2020-12-04 | 2021-04-06 | 河海大学 | 一种基于孪生网络的遥感图像变化检测方法 |
| CN112668494A (zh) * | 2020-12-31 | 2021-04-16 | 西安电子科技大学 | 基于多尺度特征提取的小样本变化检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 向阳: "基于编码解码的高分辨率遥感图像变化检测", 《万方数据库》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419464A (zh) * | 2022-03-29 | 2022-04-29 | 南湖实验室 | 一种基于深度学习的孪生网络变化检测模型 |
| CN114419464B (zh) * | 2022-03-29 | 2022-07-26 | 南湖实验室 | 一种基于深度学习的孪生网络变化检测模型的构建方法 |
| CN115019186A (zh) * | 2022-08-08 | 2022-09-06 | 中科星图测控技术(合肥)有限公司 | 一种用于遥感变化检测的算法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113240023B (zh) | 2022-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2023056889A1 (zh) | 模型训练和场景识别方法、装置、设备及介质 | |
| CN112396607B (zh) | 一种可变形卷积融合增强的街景图像语义分割方法 | |
| CN113065645B (zh) | 孪生注意力网络、图像处理方法和装置 | |
| CN113066017B (zh) | 一种图像增强方法、模型训练方法及设备 | |
| Xu et al. | Effective face detector based on yolov5 and superresolution reconstruction | |
| CN113240023B (zh) | 基于变化图像分类和特征差值先验的变化检测方法及装置 | |
| CN114764868A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111583173A (zh) | 一种rgb-d图像显著性目标检测方法 | |
| US11615612B2 (en) | Systems and methods for image feature extraction | |
| CN115631344B (zh) | 一种基于特征自适应聚合的目标检测方法 | |
| CN114140346A (zh) | 一种图像处理方法及装置 | |
| CN116235209A (zh) | 稀疏光流估计 | |
| CN113850783A (zh) | 一种海面船舶检测方法及系统 | |
| CN116863194A (zh) | 一种足溃疡图像分类方法、系统、设备及介质 | |
| CN114821087A (zh) | 一种深度图像关键点的检测与描述模型及方法 | |
| CN117197438A (zh) | 一种基于视觉显著性的目标检测方法 | |
| CN117576380A (zh) | 一种目标自主检测跟踪方法及系统 | |
| CN116953702A (zh) | 基于演绎范式的旋转目标检测方法及装置 | |
| CN115358962B (zh) | 一种端到端视觉里程计方法及装置 | |
| CN115797782A (zh) | 一种基于加权扩展特征金字塔的遥感图像小目标检测方法 | |
| Zhao et al. | End‐to‐End Retinex‐Based Illumination Attention Low‐Light Enhancement Network for Autonomous Driving at Night | |
| CN115457274A (zh) | 一种基于深度学习的车载视角遮挡目标检测方法及装置 | |
| CN113222016A (zh) | 一种基于高层和低层特征交叉增强的变化检测方法及装置 | |
| Meng et al. | A ship detection method in complex background via mixed attention model | |
| CN114372944B (zh) | 一种多模态和多尺度融合的候选区域生成方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |