CN112365462A - 一种基于图像的变化检测方法 - Google Patents

Abstract

本发明提供了一种基于图像的变化检测方法，包括如下步骤：将基准图和待测图输入用于特征提取的编码模块，分别提取其不同层级的特征图；对基准图和待测图经编码模块提取得到的同一层级的特征图计算差异特征图；将计算得到的差异特征图输入解码模块，解码模块结合输入的不同层级的差异特征图进行多尺度特征融合，输出原图大小的变化图；根据解码模块输出的变化图确定变化区域及其外接矩形；用变化区域所对应的由编码模块输出的特征图提取局部特征，将其输入到分类模块，输出变化区域检测结果。

Description

一种基于图像的变化检测方法

技术领域

本发明属于计算机视觉变化检测技术领域，具体涉及一种基于图像的变化检测方法。

技术背景

基于图像的变换检测研究的是针对相同场景下，利用场景中巡检机器人自动巡检，在经过相同位置下采集不同时间的图片，排除光照，天气，阴影，拍摄角度等次要因素的影响，找出图片中的主要变化，为实际工程的后续提供保障。

传统的变化检测方法即是基于图像特征差异分析法，它通过识别两张图像之间的“明显不同”的像素集，然后通过指定阈值划分获得掩膜来生成变化图。该类方法有基于图像光照不变特征差值的变化检测，基于局部二值相似模式(LBSP)的变化检测，还有基于Haar-like特征和随机森林的变化检测方法等。这些方法的优点是计算量少，速度较快，但是缺点是由于受到人工设计的特征的限制，传统方法仍然对一些无关紧要的变化敏感，容易受光照，阴影等无关变化的影响。

目前较为流行的是基于深度学习的变化检测方法，该类方法用卷积神经网络基准图和待测图提取深度特征，结合两幅特征图作为后续变化检测的基础。由于大量已标记数据的存在以及CNN能够提取更深层次的特征的特点，使得基于深度学习的变化检测方法能够轻松忽略次要变化，专注于主要变化的检测，性能远胜于传统的变化检测方法。但是现有的基于深度学习的变化检测方法大多只用了卷积神经网络的最后一层的图像特征，虽然充分利用了深层次特征的语义信息，但是忽略了浅层次的一些低级特征，对图像的不同尺度的特征利用不充分，这些方法难以获取足够好的精度。

发明内容

本发明提出一种基于图像的变化检测方法，为实现上述目的，本发明采用了如下技术方案：

一种基于图像的变化检测方法，包括如下步骤：

A1，将基准图和待测图输入用于特征提取的编码模块，分别提取其不同层级的特征图；A2，对基准图和待测图经编码模块提取得到的同一层级的特征图计算差异特征图；

A3，将计算得到的差异特征图输入解码模块，解码模块结合输入的不同层级的差异特征图进行多尺度特征融合，输出原图大小的变化图；

A4，根据解码模块输出的变化图确定变化区域及其外接矩形；

A5，用变化区域所对应的由编码模块输出的特征图提取局部特征，将其输入到分类模块，

输出变化区域检测结果。

进一步的，所述编码模块采用resnet34作为骨架网络，其中包含两个权值相同的孪生网络分支，分别由layer₁,layer₂,layer₃,layer₄共4个子模块组成；步骤A1中，将基准图I₁和待测图I₂分别输入孪生网络两个分支后，先后经过layer₁,layer₂,layer₃,layer₄模块提取到不同层级的特征图f_{i_1},f_{i_2},f_{i_3},f_{i_4}：

其中i＝1,2。

进一步的，步骤A2中，所述的计算差异特征图具体包括：对编码模块两条支路中相同层级输出的特征图进行相减取绝对值操作，得到差异特征图f_{dif_1},f_{dif_2},f_{dif_3},f_{dif_4}，作为后续模块的输入：

f_{dif_i}＝abs(f_{1_i}-f_{2_i})i＝1,2,3,4。

进一步的，所述解码模块包括decoder₁,decoder₂,decoder₃3个子模块，步骤A3具体包括：在每一个子模块中，对上级输出的特征图进行卷积上采样操作，并和相同尺度的差异特征图进行通道方向的拼接，作为下一个子模块的一支输入：

f_{concat_1}＝decoder₁(f_{dif_4},f_{dif_3})

f_{concat_2}＝decoder₂(f_{concat_1},f_{dif_2})

f_{concat_3}＝decoder₃(f_{concat_2},f_{dif_1})

其中decoder₃输出的特征图经过上采样操作变换到与原图相同大小的特征图，再通过softmax转化为对应的类别概率。

进一步的，步骤A4具体包括：：

A4.1，滤除解码模块输出的变化图中较小的噪点；

A4.2，对处理后的变化图提取连通区域；

A4.3，输出变化图中包含联通区域的外接矩形框作为变化区域。

进一步的，所述分类模块包括一个Roi pooling子模块，该模块输入编码模块输出的中间层特征图以及变化区域对应的外接矩形框，将对应区域采样为尺度较小的特征图，作为分类模块的输入，分类模块将输入特征图经过单层全连接层输出对应类别的概率进行分类。

进一步的，还包括训练过程：使用联合损失训练所述编码模块和解码模块，使用交叉熵损失训练所述分类模块。

进一步的，使用联合损失训练所述编码模块和解码模块具体包括如下步骤：

B1，利用编码模块不同层级输出的特征图和标签图计算对比损失Loss_Contrastive；

B2，利用解码模块输出的变化图和标签图计算交叉熵损失Loss_{cross_entropy}；

B3，选择系数β将Loss_Contrastive和Loss_{cross_entropy}整合为联合损失Loss训练变化检测网络：

Loss＝Loss_Contrastive+β*Loss_{cross_entropy}。

进一步的，所述Encoder模块计算对比损失Loss_Contrastive，包括如下步骤：

B1.1，输入图片经过编码模块获得不同层级的特征图f_{i_1},f_{i_2},f_{i_3},f_{i_4}；

B1.2，对不同层级特征图按通道方向进行归一化；

B1.3，对归一化后相同尺度大小的特征图计算欧式距离特征图D₁,D₂,D₃,D₄；

B1.4，通过欧式距离特征图D_k和对应大小的标签图Y_k，计算得对比损失特征图Loss_map_k；

B1.5，对Loss_map_k所有元素值取平均计算得对比损失Loss_Contrastive；

本发明提出了一个基于图像的变化检测方法，其中包括负责特征提取的编码模块，负责输出变化区域的解码模块，编码模块以孪生网络为基础，对输入的基准图和待测图提取不同层级的特征图，对相同层级的特征图进行相减取绝对值操作以消除明显相同的特征，保留明显不同的特征，得到差异特征图，并在解码部分对不同层级的差异特征图进行多尺度特征融合最终输出变化图。在训练编码模块和解码模块时，本发明提出了新的联合损失计算方法，将编码输出的不同层级的特征图计算对比损失和解码部分输出的变化图计算交叉熵损失结合起来一同训练编码模块和解码模块。在后续识别网络中，分类模块接受来编码模块输出的特征图，对变化区域提取局部特征，进行最终的分类，从而完成对输入图片的变化检测功能。

与现有技术相比，本发明在输出变化区域时对网络中不同层级的特征图进行融合，使得最终预测结果更加精确，在训练网络时采用了联合损失训练，与传统的直接使用交叉熵损失训练网络方法相比，加入了对比损失的联合损失使得网络收敛更为准确，最终预测结果更加精确，并且本发明还加入了变化区域分类的功能，使得整体网络既能输出变化区域，又能输出变化的类别。

附图说明

图1是本发明检测方法的一种实施例流程示意图。

图2是本发明实施例中预处理基本步骤示意图。

图3是本发明实施例中编码模块结构图。

图4是本发明实施例中解码模块结构图。

图5是本发明实施例中分类模块结构图。

图6是一些测试数据和变化检测结果实例图。

图7是本发明训练网络过程的一种实施例步骤示意图。

图8是计算对比损失的基本步骤示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步阐述。以下实例仅用于说明和解释本发明，并不现定于本发明。

本发明提出了一种基于图像的变化检测方法，以下结合较佳的实施例以及附图，对依据本发明的具体实施方式、结构以及其功效，详细说明如下：

实施例一：

如图1所示，本发明提供了一种基于图像的变化检测方法，具体步骤包括：

步骤A0，对输入的基准图和待测图进行预处理操作：基准图和待测图若因位移、失真等导致未对齐，则需要增加预处理对齐操作，如果基准图和待测图对齐的很好，如图像来自同一固定安装的摄像机，只是拍摄时间不同，则不需要进行本步骤的对齐操作。但很多时候，如图像来自运动的机器人或无人机，则通常需要进行本步骤的预处理操作。预处理操作后，使两幅图像完成对齐并具有相同的大小，如本实施例中均变换为512x512。

具体步骤如图2所示，第一步对基准图和待测图使用关键点检测和特征描述符提取方法，如传统方法中的sift，surf，orb等算法，或是深度学习方法中的D2-Net算法。本实施例采用D2-Net对基准图和待测图同时检测关键点和提取关键点的特征描述符；第二步，基于特征的关键点匹配，如使用KNN算法匹配两图中的关键点，并使用RANSAC算法筛选匹配的关键点，简称匹配点；第三步，根据匹配点计算从待测图到基准图的变换矩阵，如用4个或4个以上匹配点对计算单映矩阵；第四步，根据变换矩阵，将待测图与基准图对齐，即实现待测图和基准图的对齐操作，得到与基准图对齐的待测图，在这一步，也可改为将基准图与待测图对齐。

另外的，针对不同场景情况下，例如在图片分辨率较大并且图片中物体尺度正常的情况下不应该直接变换到512x512大小，此时可以对图片进行有重叠的划分为512x512大小的子区域，或划分后的子区域图像变换为512x512大小，再对子区域图像进行后续检测。

步骤A1，编码模块提取特征：将基准图和待测图输入用于特征提取的编码模块，分别提取其不同层级的特征图。编码组成结构如图3所示。该模块可以采用各种其他CNN网络，如VGG16,DenseNet,Darknet53等。

本实施例中，所述的用于特征提取的编码模块采用resnet34作为骨架网络，其中包含两个权值相同的孪生网络分支，分别由layer₁,layer₂,layer₃,layer₄共4个子模块组成，也可以是其它数量的子模块组成，将基准图I₁和待测图I₂分别输入孪生网络两个分支后，编码部分输入的I_i经过layer₁模块输出f_{i_1}，其特征图大小为128x128，通道数为64，f_{i_1}经过layer₂模块输出f_{i_2}，其特征图大小为64x64，通道数为128，f_{i_2}经过layer₃模块输出f_{i_3}，其特征图大小为32x32，通道数为256，f_{i_3}经过layer₄模块输出f_{i_4}，其特征图大小为16x16，通道数为256。

其中i＝1,2

步骤A2，计算差异特征图：将编码模块两条支路输出的不同层级的特征图融合进行差异特征图计算，本实施例中，对相同尺度的特征图进行相减取绝对值操作得到差异特征图f_{dif_1},f_{dif_2},f_{dif_3},f_{dif_4}，作为后续模块的输入。

f_{dif_i}＝abs(f_{1_i}-f_{2_i})i＝1,2,3,4

还可以采用其它方法计算特征图之间的差异，如特征图差值的平方。

步骤A3，解码模块计算变化图：将上一步输出的差异特征图输入解码模块，解码模块结合输入的不同层级的差异特征图进行多尺度特征融合，输出原图大小的变化图，解码组成结构如图4所示。该模块在进行多尺度特征融合时可以选择多种方法，如对尺度变换后的特征图直接进行对应通道加和操作进行特征融合，也可以选择在通道方向拼接特征图进行特征融合，本实施例采用通道拼接的多尺度特征融合方法。

本实施例中，输出变化图的解码模块由decoder₁,decoder₂,decoder₃共3个子模块组成，分别接收编码模块输出的不同层级的差异特征图f_{dif_i}，其中decoder₁以f_{dif_4},f_{dif_3}作为输入，通过上采样操作将特征图大小为16x16的f_{dif_4}采样到32x32大小得到f_{inter_4}，通道数仍然是512，将特征图大小相同的f_{inter_4}和f_{dif_3}按通道方向拼接并进行卷积操作得到f_{concat_1},其特征图大小为32x32，通道数为64，将f_{concat_1}作为decoder₂的一支输入，另一支输入为f_{dif_2}，经过和类似的decoder₂模块得到f_{concat_2}，特征图大小为64x64，通道数为128，再和f_{dif_1}一同输入到最后一个decoder₃得到特征图f_{concat_3}，特征图大小为128x128，通道数为256。

f_{concat_1}＝decoder1(f_{dif_4},f_{dif_3})

f_{concat_2}＝decoder2(f_{concat_1},f_{dif_2})

f_{concat_3}＝decoder3(f_{concat_2},f_{dif_1})

经过decoder₃后将得到128x128大小，通道数为256的f_{concat_3}经过最后一个上采样操作采样到原图大小也就是512x512，经过最后一个卷积模块输出通道数为2的特征图，再通过softmax转化为类别概率p_i，两个通道分别表示属于该点位置变化和不变化类别的概率，根据变化类别概率大于不变化类别概率的位置作为输出变化图。

步骤A4，确定变化区域及其外接矩形：根据解码模块输出的变化图确定变化区域及其外接矩形，本实施例还采用如下步骤优化输出区域：

A4.1，滤除解码模块输出变化图中较小的噪点；

A4.2，对处理后的变化图提取连通区域；

A4.2，输出变化图中包含联通区域的外接矩形框作为变化区域。

步骤A5，分类模块识别变化类别：用变化区域所对应编码模块输出的特征图提取局部特征，将其输入到分类模块，输出变化区域识别结果。分类组成结构如图5所示。

所述提取变化区域局部特征并输入分类模块分类，还包含一个Roi pooling模块，该模块输入编码模块输出的中间层特征图以及变化区域对应的外接矩形框，将对应区域采样为尺度较小的特征图，比如7x7大小的特征图，作为分类分类模块的输入，分类模块将输入特征图经过单层全连接层输出对应类别的概率进行分类。为了适应不同大小的变化目标，基于不同层级上的特征图进行识别，可提高识别的正确率。

图6是本实施例中输入图片和变化检测输出图像实例。

实施例二：

神经网络均需要根据损失函数输出进行训练，如实施例一所示的方法的网络，可以用一般的交叉熵损失直接进行训练。本发明提供了一种使用联合损失训练变化检测网络，使用交叉熵损失训练变化识别网络的训练方法，具体步骤如图7所示，可细分为：

步骤B1，利用编码模块不同层级输出的特征图和标签图计算对比损失Loss_Contrastive。具体步骤如图7所示，可细分为：

B1.1，获取不同层级特征图：输入图片经过编码模块获得不同层级的特征图f_{i_1},f_{i_2},f_{i_3},f_{i_4}；具体由图3所示网络结构计算所得；

B1.2，特征图通道归一化：对不同层级特征图按通道方向进行归一化；

B1.3，计算欧氏距离特征图：对归一化后相同尺度大小的特征图计算欧式距离特征图D₁,D₂,D₃,D₄；

B1.4，计算对比损失特征图：通过欧式距离特征图D_k和对应大小的标签图Y_k，计算得对比损失特征图Loss_map_k；

B1.5，计算对比损失：对Loss_map_k所有元素值取平均计算得对比损失Loss_Contrastive

步骤B2，利用解码模块输出的变化概率图和标签图计算交叉熵损失Loss_{cross_entropy}。

步骤B3，选择系数β进行对Loss_Contrastive和Loss_{cross_entropy}整合为联合损失Loss训练变化检测网络。

Loss＝Loss_Contrastive+β*Loss_{cross_entropy}

步骤B4，利用分类模块输出的分类概率和对应变化区域的真实标签计算交叉熵损失训练变化识别网络。

以上所表述的具体实施例的说明只适用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种基于图像的变化检测方法，其特征在于，包括如下步骤：

A1，将基准图和待测图输入用于特征提取的编码模块，分别提取其不同层级的特征图；

A2，对基准图和待测图经编码模块提取得到的同一层级的特征图计算差异特征图；

A3，将计算得到的差异特征图输入解码模块，解码模块结合输入的不同层级的差异特征图进行多尺度特征融合，输出原图大小的变化图；

A4，根据解码模块输出的变化图确定变化区域及其外接矩形；

A5，用变化区域所对应的由编码模块输出的特征图提取局部特征，将其输入到分类模块，输出变化区域检测结果。

2.如权利要求1所述的基于图像的变化检测方法，其特征在于，所述编码模块采用resnet34作为骨架网络，其中包含两个权值相同的孪生网络分支，分别由layer₁,layer₂,layer₃,layer₄共4个子模块组成；步骤A1中，将基准图I₁和待测图I₂分别输入孪生网络两个分支后，先后经过layer₁,layer₂,layer₃,layer₄模块提取到不同层级的特征图f_{i_1},f_{i_2},f_{i_3},f_{i_4}：

其中i＝1,2。

3.如权利要求2所述的基于图像的变化检测方法，其特征在于，步骤A2中，所述的计算差异特征图具体包括：对编码模块两条支路中相同层级输出的特征图进行相减取绝对值操作，得到差异特征图f_{dif_1},f_{dif_2},f_{dif_3},f_{dif_4}，作为后续模块的输入：

f_{dif_i}＝abs(f_{1_i}-f_{2_i})i＝1,2,3,4。

4.如权利要求3所述的基于图像的变化检测方法，其特征在于，所述解码模块包括decoder₁,decoder₂,decoder₃3个子模块，步骤A3具体包括：在每一个子模块中，对上级输出的特征图进行卷积上采样操作，并和相同尺度的差异特征图进行通道方向的拼接，作为下一个子模块的一支输入：

f_{concat_1}＝decoder₁(f_{dif_4},f_{dif_3})

f_{concat_2}＝decoder₂(f_{concat_1},f_{dif_2})

f_{concat_3}＝decoder₃(f_{concat_2},f_{dif_1})

其中decoder₃输出的特征图经过上采样操作变换到与原图相同大小的特征图，再通过softmax转化为对应的类别概率。

5.如权利要求4所述的基于图像的变化检测方法，其特征在于，步骤A4具体包括：：

A4.1，滤除解码模块输出的变化图中较小的噪点；

A4.2，对处理后的变化图提取连通区域；

A4.3，输出变化图中包含联通区域的外接矩形框作为变化区域。

6.如权利要求5所述的基于图像的变化检测方法，其特征在于，所述分类模块包括一个Roipooling子模块，该模块输入编码模块输出的中间层特征图以及变化区域对应的外接矩形框，将对应区域采样为尺度较小的特征图，作为分类模块的输入，分类模块将输入特征图经过单层全连接层输出对应类别的概率进行分类。

7.如权利要求1-6任一项所述的基于图像的变化检测方法，其特征在于，还包括训练过程：使用联合损失训练所述编码模块和解码模块，使用交叉熵损失训练所述分类模块。

8.如权利要求7所述的基于图像的变化检测方法，其特征在于，使用联合损失训练所述编码模块和解码模块具体包括如下步骤：

B1，利用编码模块不同层级输出的特征图和标签图计算对比损失Loss_Contrastive；

B2，利用解码模块输出的变化图和标签图计算交叉熵损失Loss_{cross_entropy}；

B3，选择系数β将Loss_Contrastive和Loss_{cross_entropy}整合为联合损失Loss训练变化检测网络：

Loss＝Loss_Contrastive+β*Loss_{cross_entropy}。

9.如权利要求8所述的基于图像的变化检测方法，其特征在于，步骤B1具体包括如下步骤：

B1.1，输入图片经过编码模块获得不同层级的特征图f_{i_1},f_{i_2},f_{i_3},f_{i_4}；

B1.2，对不同层级特征图按通道方向进行归一化；

B1.3，对归一化后相同尺度大小的特征图计算欧式距离特征图D₁,D₂,D₃,D₄；

B1.4，通过欧式距离特征图D_k和对应大小的标签图Y_k，计算得对比损失特征图Loss_map_k；

B1.5，对Loss_map_k所有元素值取平均计算得对比损失Loss_Contrastive；

Images