CN109766936A - 基于信息传递和注意力机制的图像变化检测方法 - Google Patents

Abstract

本发明提出了一种基于信息传递和注意力机制的图像变化检测方法，用于解决现有图像变化检测方法中存在的检测准确度低的技术问题。实现步骤为：读入图像并进行归一化处理，构建训练样本集，搭建一个基于信息传递和注意力机制的深度神经网络模型，设定深度神经网络的训练参数，判断深度神经网络的损失函数是否满足迭代停止条件，对深度神经网络的可训练参数进行更新，利用训练好的深度神经网络输出图像变化检测结果图。本发明结合信息传递和注意力机制，搭建深度神经网络提取的图像特征语义及结构信息丰富，对图像的表达能力及辨别性强，提高了变化检测检测准确度，可用于土地覆盖检测、灾难评估、视频监控等技术领域。

Description

基于信息传递和注意力机制的图像变化检测方法

技术领域

本发明属于图像处理技术领域，涉及一种图像变化检测方法，具体涉及一种遥感图像变化检测技术领域中基于信息传递和注意力机制的图像变化检测方法，可用于土地覆盖检测、灾难评估、视频监控等技术领域。

背景技术

图像变化检测指利用多时相获取的覆盖同一地表区域的图像及其它辅助数据来确定和分析地表变化。它利用计算机图像处理系统，对不同时段目标或现象状态的变化进行识别、分析；它能确定一定时间间隔内地物或现象的变化，并提供地物的空间分布及其变化的定性与定量信息。图像变化检测的关键在于提取丰富的图像特征，增强图像的变化信息。

图像变化检测方法从实现原理上可以分为两大类：一类是基于分割的图像变化检测，一类是基于分类的图像变化检测。基于分割的图像变化检测的一般流程是通过比值法、差值法等算子先获得两时相图像的差异图，再对差异图进行分割，分割的结果是直接得到变化检测结果图，该方法虽然一定程度上提高了变化检测的效率，但是检测结果较为粗糙，对细节保留能力差。

基于分类的图像变化检测是目前主流的图像变化检测方法，该方法以像素块为处理单元，采用分类算法对像素块进行分类得到预测类别，尽可能多的保留了图像原始信息，对细节的处理更为精确。基于分类的图像变化检测算法的传统做法是提取图像形状、轮廓、纹理等手工特征进行分类，这种做法提取的图像特征简单，对图像的表征能力弱，并且检测性能依赖于特征提取的结果，然而特征提取本身比较困难，因此研究人员提出通过卷积神经网络CNN自动提取表征能力更强的图像特征，例如申请公开号为CN106023154A，名称为“基于双通道卷积神经网络的多时相SAR图像变化检测方法”的专利申请，公开了一种基于卷积神经网络的多时相SAR图像变化检测方法，该方法先构造两个结构相同的CNN模型，随机挑选部分样本点，并人为标定这些样本点的变化检测结果，然后将这些样本点和人为标定的检测结果作为训练CNN的训练数据，再使用训练好的CNN对未分类样本进行变化检测获得最终的变化检测结果。该方法利用双通道卷积神经网络来提取图像的表征向量，在一定程度上提高了图像变化检测的准确度，但是存在的不足之处是，通过两个CNN独立提取两时相图像特征，提取的图像特征之间没有任何信息传递与交互，没有很好的利用两者之间丰富的语义信息，限制了图像变化检测准确度的提高。

又如Mou等人在2018年6月发表在期刊《IEEE Transactions on Geoscience andRemote Sensing》上的论文“Learning Spectral-Spatial-Temporal Features via aRecurrent Convolutional Neural Network for Change Detection in MultispectralImagery”中公开了一种基于CNN和RNN的深度神经网络的图像变化检测方法。该方法首先在部分标注的图像区域随机采样训练样本集，然后使用两个结构相同的CNN独立提取两时相图像的光谱-空间特征，然后通过RNN分析两时相图像的时间依赖性，最后采用两层的全连接层获取分类概率。该方法虽然在一定程度上提高了图像变化检测的准确度，但是存在的不足之处是，通过CNN和RNN得到的分类向量没有很好的辨识度，未能有效地区分变化和未变化像素点，影响了图像变化检测的准确度。

发明内容

本发明的目的在于针对上述已有技术的缺点，提出一种基于信息传递和注意力机制的图像变化检测方法，旨在提高图像变化检测的准确度。

本发明的技术思路是：对读入的图像进行归一化处理，构建训练样本集，搭建一个基于信息传递和注意力机制的深度神经网络并对其进行训练，通过利用两时相图像丰富的语义信息以及改善分类向量的辨识度，有效地增强图像的变化信息，最后利用训练好的深度神经网络输出变化检测图。具体包括如下步骤：

(1)读入图像并进行归一化处理：

读入拍摄于同一地点不同时相且经过配准和矫正的两幅图像I_x和I_y，并对I_x和I_y分别进行归一化处理，得到归一化图像I₁和I₂；

(2)获取训练样本集：

分别对归一化图像I₁和I₂中20％的图像区域进行标注，并在已标注的图像区域上随机剪切多个像素块组成训练样本集；

(3)搭建基于信息传递和注意力机制的深度神经网络：

搭建基于信息传递和注意力机制的深度神经网络，该深度神经网络包括依次层叠的卷积模块→信息传递模块→注意力模块→输出模块，其中：

卷积模块，用于通过两个独立的卷积神经网络CNN对输入的图像块分别进行时相图像特征提取；

信息传递模块，包括依次连接的第一双向长短期记忆网络BiLSTM和第二双向长短期记忆网络BiLSTM，第一BiLSTM用于获取每个时相图像特征的状态表示，第二BiLSTM用于通过每个时相图像特征及其状态表示进行图像语义信息的传递与交互；

注意力模块，用于通过软注意力soft attention结构给每个时相图像特征赋予其对应的注意力权重，以增强图像的变化信息；

输出模块，用于通过依次堆叠的两个全连接层和节点个数为1的输出层获取概率输出值；

(4)设定深度神经网络的训练参数：

设定迭代次数N的初始化值为1，损失函数的最小阈值为Δl，训练的学习率为α；

(5)判断深度神经网络的损失函数Loss^N是否满足迭代停止条件：

将训练样本集输入到深度神经网络中，得到多个概率输出值，并计算每个概率输出值与输出值对应的真实标签的损失函数的和Loss^N，然后判断Loss^N是否小于最小阈值Δl，若是，将Loss^N对应的深度神经网络作为训练好的深度神经网络，并执行步骤(7)，否则执行步骤(6)；

(6)对深度神经网络的可训练参数进行更新：

采用梯度下降法对深度神经网络的可训练参数θ进行更新，并令N＝N+1，同时将可训练参数为θ的深度神经网络更换为参数为θ^new的深度神经网络，执行步骤(5)；

(7)利用训练好的深度神经网络输出图像变化检测结果图：

(7a)设定窗口大小为a×a，并以a为步长从左至右从上至下在归一化图像I₁和I₂上进行滑窗，得到测试样本集，a≥7；

(7b)将测试样本集输入到训练好的深度神经网络中，得到测试样本集的类别向量，并并将对该类别向量进行矩阵化的结果作为图像变化检测结果图。

本发明与现有技术相比，具有以下优点：

由于本发明在输出图像变化检测结果图时，采用了训练好的基于信息传递和注意力机制的深度神经网络，该网络中的信息传递模块和注意力模块的协同工作，解决了现有技术提取的图像特征之间没有任何语义信息的传递与交互，得到的分类向量的辨识度低，导致没有突出图像的变化信息的技术问题，有效提高了图像变化检测的准确度。

附图说明

图1是本发明的实现流程框图；

图2是本发明适用的深度神经网络模型的结构示意图；

图3是本发明仿真实验采用的数据集的标准参考图；

图4是本发明与现有技术的图像变化检测结果的仿真对比图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步详细描述：

参照图1，基于信息传递和注意力机制的图像变化检测方法，包括如下步骤：

步骤1读入图像并进行归一化处理：

读入拍摄于同一地点不同时相且经过配准和校正的两幅图像I_x和I_y，配准和校正主要是为了将不同时相、不同波段或不同类型的影像在几何上互相匹配，使影像间具有统一的地理坐标及像元空间分辨率。然后对I_x和I_y分别进行归一化处理，得到归一化图像I₁和I₂，其中所采用的归一化公式如下：

其中，I_x和I_y表示拍摄于同一地点不同时相且经过配准和校正的两幅图像，I₁表示I_x的归一化图像，I₂表示I_y的归一化图像。

步骤2获取训练样本集：

分别对归一化图像I₁和I₂中20％的图像区域进行标注，并在已标注的图像区域上以大小为7×7的窗口随机剪切图像块，如果窗口内的标注为变化像素点的个数超过窗口像素点总个数的50％，则该位置剪切的图像块为正样本，反之如果窗口内的标注为变化像素点的个数未超过窗口像素点总个数的50％，则该位置剪切的图像块为负样本。本实例总共剪切了1000个训练样本，其中正样本为200，负样本为800个。

步骤3搭建基于信息传递和注意力机制的深度神经网络：

本发明搭建的基于信息传递和注意力机制的深度神经网络，其结构如图2所示，该深度神经网络包括依次层叠的卷积模块→信息传递模块→注意力模块→输出模块，其中：

卷积模块，用于通过两个独立的卷积神经网络CNN对输入的图像块分别进行时相图像特征提取，本实例中CNN的卷积核大小为3×3，提取的图像特征shape为(7,7,16)；

信息传递模块，包括依次连接的第一双向长短期记忆网络BiLSTM和第二双向长短期记忆网络BiLSTM，第一BiLSTM用于获取每个时相图像特征的状态表示，具体的做法是：先将提取的图像特征reshape为(7×7,16)以适应BiLSTM的输入格式，然后将每个时相的图像特征送入权值共享的第一BiLSTM来获取图像特征的状态表示，其shape为(7×7,32)。第二BiLSTM用于通过每个时相图像特征及其状态表示进行图像语义信息的传递与交互，具体的实施方式为：将每个时相的图像特征输入第二BiLSTM中，并将第二BiLSTM的初始状态初始化为另一时相图像特征的状态表示，以这种方式在第二BiLSTM中进行图像语义信息的传递与交互，分别输出交互后的每个时相图像特征的隐藏状态u和v，shape为(7×7,32)；

注意力模块，用于通过将隐藏状态u和v输入软注意力soft attention结构给每个时相图像特征赋予其对应的注意力权重，以增强图像的变化信息，其中注意力模块的输出分别为每个时相图像特征加权后的输出u^w和v^w，shape为(7×7,32)；

输出模块，用于通过依次堆叠的两个全连接层和节点个数为1的输出层获取概率输出值，在全连接层之前先对u^w和v^w做池化操作以适应全连接层的输入格式，池化后的shape为(,32)，两个全连接层的节点个数分别为32和16。

步骤4设定深度神经网络的训练参数：

设定迭代次数N的初始化值为1，损失函数的最小阈值Δl为0.01，训练的学习率α为0.001。

步骤5判断深度神经网络的损失函数Loss^N是否满足迭代停止条件：

将训练样本集输入到深度神经网络中，得到多个概率输出值，并计算每个概率输出值与输出值对应的真实标签的损失函数的和Loss^N，然后判断Loss^N是否小于最小阈值Δl，若是，将Loss^N对应的深度神经网络作为训练好的深度神经网络，并执行步骤7，否则执行步骤6，Loss^N的计算公式为：

其中，i表示第i个概率输出值，n表示概率输出值的个数。

步骤6对深度神经网络的可训练参数进行更新：

采用梯度下降法对深度神经网络的可训练参数θ进行更新，并令N＝N+1，同时将可训练参数为θ的深度神经网络更换为参数为θ^new的深度神经网络，执行步骤5，θ^new的更新公式为：

其中θ^new为更新后的可训练参数，表示对θ进行求导。

步骤7利用训练好的深度神经网络输出图像变化检测结果图：

(7a)设定窗口大小为7×7，并以7为步长从左至右从上至下在归一化图像I₁和I₂上进行滑窗，得到测试样本集；

(7b)将测试样本集输入到训练好的深度神经网络中，得到测试样本集的类别向量，并并将对该类别向量进行矩阵化的结果作为图像变化检测结果图。

以下结合仿真实验，对本发明的技术效果作进一步的描述：

1.仿真条件和内容：

实验数据集为2015年和2017年分别获取到的广东省某地的卫星图片，主要识别出两年之间新增的人工地上建筑物(不包括道路)所占的像元图斑。本实施例的算法仿真平台为：主频为4.00GHz的CPU，16.0GB的内存，显卡gtx1070ti，Windows 10(64位)操作系统，Keras和Python开发平台。

本发明仿真实验所使用的仿真参数如下：

查准率：统计实验结果图中真实发生变化的像素点的比例：

其中，TP为正检为变化类像素数，FP为误检为变化类像素数。

召回率：统计实验结果图中变化像素点被正确检测到的比例：

其中，TP为正检为变化类像素数，FN为误检为未变化类像素数。

F₁值：综合性指标，查准率和召回率的加权平均：

其中，P为查准率，R为召回率。

使用本发明与现有技术中基于双通道卷积神经网络的多时相SAR图像变化检测方法进行变化检测，其输出的变化检测结果图如图4所示；

2.仿真结果分析：

参照图3和图4，其中，

图3(a)为场景一的标准参考图，图3(b)为场景二的标准参考图；

图4(a)为本发明输出的场景一的图像变化检测结果图，图4(b)为现有技术输出的场景一的图像变化检测结果图；

图4(c)为本发明输出的场景二的图像变化检测结果图，图4(d)为现有技术输出的场景二的图像变化检测结果图；

将图4(a)、图4(b)的图像变化检测结果图与图3(a)对应的同一场景的标准参考图对比可以看出，由于本发明搭建的基于信息传递和注意力机制的深度神经网络模型中，信息传递模块和注意力模块的协同工作，充分利用两时相图像之间丰富的语义信息，在特征层面上进行语义信息的传递与交互，使得提取的图像特征更加抽象、语义及结构信息更加丰富，对图像具有更强的表达能力及辨别性，增强了图像的变化信息，因此得到的变化检测结果噪声点少，变化检测准确度高。而将图4(c)、图4(d)的图像变化检测结果图与图3(b)对应的同一场景的标准参考图对比可以看出，由于现有技术对图像的表征能力较弱，未能很好的区分变化和未变化像素点，因此得到的变化检测结果噪声点多，使得变化检测准确度低。

Claims (4)

1.一种基于信息传递和注意力机制的图像变化检测方法，其特征在于包括如下步骤：

(1)读入图像并进行归一化处理：

读入拍摄于同一地点不同时相且经过配准和校正的两幅图像I_x和I_y，并对I_x和I_y分别进行归一化处理，得到归一化图像I₁和I₂；

(2)获取训练样本集：

分别对归一化图像I₁和I₂中20％的图像区域进行标注，并在已标注的图像区域上随机剪切多个像素块组成训练样本集；

(3)搭建基于信息传递和注意力机制的深度神经网络：

搭建基于信息传递和注意力机制的深度神经网络，该深度神经网络包括依次层叠的卷积模块→信息传递模块→注意力模块→输出模块，其中：

卷积模块，用于通过两个独立的卷积神经网络CNN对输入的图像块分别进行时相图像特征提取；

信息传递模块，包括依次连接的第一双向长短期记忆网络BiLSTM和第二双向长短期记忆网络BiLSTM，第一BiLSTM用于获取每个时相图像特征的状态表示，第二BiLSTM用于通过每个时相图像特征及其状态表示进行图像语义信息的传递与交互；

注意力模块，用于通过软注意力soft attention结构给每个时相图像特征赋予其对应的注意力权重，以增强图像的变化信息；

输出模块，用于通过依次堆叠的两个全连接层和节点个数为1的输出层获取概率输出值；

(4)设定深度神经网络的训练参数：

设定迭代次数N的初始化值为1，损失函数的最小阈值为Δl，训练的学习率为α；

(5)判断深度神经网络的损失函数Loss^N是否满足迭代停止条件：

将训练样本集输入到深度神经网络中，得到多个概率输出值，并计算每个概率输出值与输出值对应的真实标签的损失函数的和Loss^N，然后判断Loss^N是否小于最小阈值Δl，若是，将Loss^N对应的深度神经网络作为训练好的深度神经网络，并执行步骤(7)，否则执行步骤(6)；

(6)对深度神经网络的可训练参数进行更新：

采用梯度下降法对深度神经网络的可训练参数θ进行更新，并令N＝N+1，同时将可训练参数为θ的深度神经网络更换为参数为θ^new的深度神经网络，执行步骤(5)；

(7)利用训练好的深度神经网络输出图像变化检测结果图：

(7a)设定窗口大小为a×a，并以a为步长从左至右从上至下在归一化图像I₁和I₂上进行滑窗，得到测试样本集，a≥7；

(7b)将测试样本集输入到训练好的深度神经网络中，得到测试样本集的类别向量，并并将对该类别向量进行矩阵化的结果作为图像变化检测结果图。

2.根据权利要求1所述的基于信息传递和注意力机制的图像变化检测方法，其特征在于：步骤(1)中所述的对I_x和I_y分别进行归一化处理，归一化公式为：

其中，I_x和I_y表示拍摄于同一地点不同时相且经过配准和校正的两幅图像，I₁表示I_x的归一化图像，I₂表示I_y的归一化图像。

3.根据权利要求1所述的基于信息传递和注意力机制的图像变化检测方法，其特征在于：步骤(5)中所述的计算深度神经网络的损失函数Loss^N，计算公式为：

其中，i表示第i个概率输出值，n表示概率输出值的个数。

4.根据权利要求1所述的基于信息传递和注意力机制的图像变化检测方法，其特征在于：步骤(6)中所述的采用梯度下降法对深度神经网络的可训练参数θ进行更新，更新公式为：

其中θ^new为更新后的可训练参数，表示对θ进行求导。