CN110211109B - 基于深度神经网络结构寻优的图像变化检测方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络结构寻优的图像变化检测方法，主要解决现有图像变化检测方法中存在的检测泛化性能和灵活性低的问题。其实现方案为：读入图像并进行归一化处理，构建训练样本集，对深度神经网络结构进行编码；根据网络结构编码方式，初始化种群；基于训练样本集，以进化算法搜索最优网络结构；利用最优网络结构输出图像变化检测结果图。本发明基于进化算法的搜索策略，能高效地自动搜索给定任务的最优深度神经网络结构，面对各类复杂情况具有较佳的效果和鲁棒性，提高了变化检测的灵活性，可用于土地覆盖检测、灾难评估、视频监控。

Description

基于深度神经网络结构寻优的图像变化检测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种图像变化检测方法，可用于土地覆盖检测、灾难评估及视频监控。

背景技术

图像变化检测，是指利用多时相获取的覆盖同一地表区域的图像及其它辅助数据来确定和分析地表变化。它利用计算机图像处理系统，对不同时段目标或现象状态的变化进行识别、分析，能确定一定时间间隔内地物或现象的变化，并提供地物的空间分布及其变化的定性与定量信息。图像变化检测的关键在于在数据集给定的情况下，通过算法建模可以提取合适的多层次图像特征，以此增强图像的变化信息。

目前的图像变化检测方法主要可以分为基于传统图像处理技术的变化检测方法和基于深度神经网络的变化检测方法。近年来，基于深度神经网络的图像变化检测方法展现出良好的性能与鲁棒性，主要原因是其能够对原始输入图片进行深度多层次的特征信息提取，有效地解决了传统方法人为提取图像特征过程中信息遗漏的问题。例如申请公开号为CN106023154A，名称为“基于双通道卷积神经网络的多时相SAR图像变化检测方法”的专利申请，公开了一种基于卷积神经网络的多时相SAR图像变化检测方法，该方法先人工构造两个结构相同的CNN模型，随机挑选部分样本点，并人为标定这些样本点的变化检测结果，然后将这些样本点和人为标定的检测结果作为训练CNN的训练数据，再使用训练好的CNN对未分类样本进行分类获得最终的变化检测结果。该方法利用手工设计的双通道卷积神经网络来提取图像的表征向量，在一定程度上提高了针对SAR图像的变化检测的准确度，但是存在的不足之处是，将该网络用于其他图像变化检测数据集时，检测的灵活性下降，导致泛化性能较差，并且通过手工设计深度神经网络需要设计者拥有丰富的神经网络设计与参数调整经验，这个过程将花费大量的时间与精力。

发明内容

本发明的目的在于针对上述已有技术的缺点，提出一种基于深度神经网络结构寻优的图像变化检测方法，以通过自动搜索最优的深度神经网络结构，提高泛化性能，同时避免手工设计深度神经网络和参数调整所花费的大量时间与精力。

为实现上述目的，本发明的技术方案包括如下步骤：

(1)读入图像并进行归一化处理：

读入拍摄于同一地点不同时相且经过配准和矫正的两幅图像I_x和I_y，并对I_x和I_y分别进行归一化处理，得到归一化后的两幅图像I₁和I₂；

(2)获取训练样本集：

分别对归一化后的两幅图像I₁和I₂中10％的图像区域进行标注，并在已标注的图像区域上随机剪切多个像素块组成训练样本集；

(3)对深度神经网络结构进行编码，即将深度神经网络结构编码为由若干个依次连接的卷积模块和全连接模块，其中：

卷积模块包含依次相连接的卷积层、BN层、激活函数层、随机失活层以及池化层，

全连接模块包含依次相连接的全连接层、BN层、激活函数层以及随机失活层；

(4)根据网络结构编码方式，初始化种群：

将卷积模块的卷积核个数随机设定到{2³,2⁴,...,2^N}范围内，N为卷积模块的最多使用个数；

将激活函数随机设定为Sigmoid或ReLU，将随机失活的比例随机设定到[0,0.9]范围内；

将全连接模块的全连接层节点个数随机设定到{2⁴,2⁵,...,2^log(DN)+1}范围内，DN表示全连接层的最大节点数；

(5)基于训练样本集，以进化算法搜索最优网络结构：

5a)设定进化算法的最大迭代次数N；

5b)利用训练样本集训练种群中的网络，以分类准确率为适应度函数计算适应度，通过轮盘赌选择机制选择父代网络进行单点交叉和随机变异，生成子代网络更新种群；

5c)重复(5b)直到达到最大迭代次数N，输出最优网络结构；

(6)利用最优网络结构输出图像变化检测结果图：

6a)设定窗口大小为c×c，并以c为步长从左至右、从上至下在两幅归一化图像I₁和I₂上进行滑窗，得到测试样本集，c≥5；

6b)将测试样本集输入到最优网络结构中，得到测试样本集的类别向量，并将对该类别向量进行矩阵化的结果作为图像变化检测结果图。

本发明与现有技术相比，具有以下优点：

1)本发明在输出图像变化检测结果图时，采用了进化算法自主搜索得到的最优网络结构，解决了现有技术需要针对特定任务手工设计深度神经网络的技术问题，有效提高了图像变化检测的泛化性能和灵活性。

2)本发明针对给定图像变化检测数据集实现自动建模和调参，有效节省了时间开销。

附图说明

图1是本发明的实现流程框图；

图2是SZTAKI AirChange Benchmark数据集检测结果的标准参考图；

图3是本发明与现有技术在SZTAKI AirChange Benchmark数据集上的仿真对比图；

图4是QuickBird数据集检测结果的标准参考图；

图5是本发明与现有技术在QuickBird数据集上的仿真对比图；

具体实施方式

下面结合附图和具体实施例，对本发明作进一步详细描述：

参照图1，本实例的实现步骤如下：

步骤1读入图像并进行归一化处理。

首先，读入拍摄于同一地点不同时相且经过配准和校正后的两幅图像I_x和I_y，配准和校正主要是为了将不同时相、不同波段或不同类型的影像在几何上互相匹配，使影像间具有统一的地理坐标及像元空间分辨率；

然后，对所述的两幅图像I_x和I_y分别进行归一化处理，得到归一化后的两幅图像I₁和I₂，分别表示如下：

步骤2获取训练样本集。

分别对归一化后的两幅图像I₁和I₂中10％的图像区域进行标注，并在已标注的图像区域上以大小为7×7的窗口随机剪切图像块，如果窗口内标注为变化像素点的个数超过窗口像素点总个数的50％，则该位置剪切的图像块为正样本，反之如果窗口内标注为变化像素点的个数未超过窗口像素点总个数的50％，则该位置剪切的图像块为负样本。

本实例总共剪切了2000个训练样本，其中正样本为400，负样本为1600个。

步骤3对深度神经网络结构进行编码。

将深度神经网络结构编码为若干个依次连接的卷积模块和全连接模块，其中，卷积模块包含依次相连接的卷积层、BN层、激活函数层、随机失活层以及池化层，全连接模块包含依次相连接的全连接层、BN层、激活函数层以及随机失活层；

本实例在对网络结构进行编码时，卷积模块依次为Conv0,Conv1,...,ConvN，每个卷积模块中卷积层的卷积核大小为3×3，步长为1，池化层为最大池化层，步长为2，其中N表示卷积模块的个数；全连接模块依次为Dense0,Dense1,...,DenseM，其中M表示全连接模块的个数。

步骤4根据网络结构编码方式，初始化种群。

在确定了网络结构的编码方式后，需要对种群进行随机初始化。为了保持种群的多样性，种群中的网络结构在形态和大小方面应该具有差异，为了达到这一目的，在种群初始化阶段，要引入多个随机因子，具体实现是：

将卷积模块的卷积核个数随机设定到{2³,2⁴,...,2^N}范围内，N表示卷积模块的个数；再

将激活函数随机设定为Sigmoid或ReLU，将随机失活的比例随机设定到[0,0.9]范围内，0表示不使用随机失活；

将全连接模块的全连接层节点个数随机设定到{2⁴,2⁵,...,2^log(DN)+1}范围内，DN表示全连接层的最大节点数。

步骤5基于训练样本集，以进化算法搜索最优网络结构。

深度神经网络结构设计本质上是一个寻优的过程，而基于进化思想的算法正好是一种具有较高鲁棒性的全局寻优算法，因此可以通过进化算法实现网络结构寻优，以此替代耗时且费力的手工调参，具体实现如下：

5a)设定进化算法的最大迭代次数Num；

5b)利用训练样本集训练种群中的网络，以分类准确率为适应度函数计算适应度acc：

其中，TP为正确检测为变化类的像素点总个数，TN为正确检测为未变化类的像素点总个数，N为像素点总个数；

5c)通过轮盘赌选择机制选择父代网络进行单点交叉和随机变异，即先在某个基因位将两个父代网络的基因进行交换，再以低概率随机替换、删除网络结构的某个基因位，生成子代网络更新种群；

5d)依次重复(5b)和(5c)直到达到最大迭代次数Num，输出最优网络结构。

所述轮盘赌选择机制的具体步骤为：

1)计算种群中网络结构的适应度f(i＝1,2,..,N)，N为种群大小；

2)计算每个网络结构的遗传概率P(x_i)：

3)计算每个网络结构的累积概率：

4)产生[0,1]区间均匀分布的伪随机数R；

5)如果伪随机数R满足R＜q(1)，则第一个网络结构被选择，否则，选择第k个网络结构，使其满足q(k-1)＜R≤q(k)。

步骤6利用最优网络结构输出图像变化检测结果图。

(6a)设定窗口大小为7×7，并以7为步长从左至右从上至下在两幅归一化图像I₁和I₂上进行滑窗，得到测试样本集；

(6b)将测试样本集输入到最优网络结构中，得到测试样本集的类别向量，并将对该类别向量进行矩阵化的结果作为图像变化检测结果图。

以下结合仿真实验，对本发明的技术效果作进一步的描述：

1.仿真条件：

实验数据主要有两个，其中一个是SZTAKI AirChange Benchmark数据集，该数据集是在不同季节条件下、不同时间间隔拍摄的光学航空图像变化检测的地面真实集合。另一个是用于建筑物变化检测的数据集，称为QuickBird数据集，该数据集以TIFF图像文件格式存储，分别于2015年和2017年在中国广东省拍摄得到，主要识别出两年之间新增的人工地上建筑物所占的像元图斑，不包括道路。

仿真平台：主频为4.00GHz的CPU，16.0GB的内存，显卡gtx1070ti，Windows 10(64位)操作系统，Keras和Python开发平台。

仿真设进化算法的最大迭代次数Num为20；

2.仿真内容与结果分析：

仿真1，分别用本发明和现有基于双通道卷积神经网络多时相SAR图像变化检测方法，在SZTAKI AirChange Benchmark数据集上进行变化检测，结果如图3，其中：

图3(a)为本发明输出的图像变化检测结果图，

图3(b)为现有技术输出的图像变化检测结果图；

将图3(a)、图3(b)的图像变化检测结果图与图2所示SZTAKI AirChangeBenchmark数据集检测结果的标准参考图进行比较，可以看出，由于本发明在输出图像变化检测结果图时，采用了进化算法自主搜索得到的最优网络结构，针对给定数据集实现了任务驱动的自主建模和调参，和现有技术手工设计的网络相比，对图像的理解和表达更加准确，因此在变化检测结果图中，少了很多白色噪声点，发生变化的白色区域连续且光滑，图像细节信息保留较为完整。

仿真2，分别用本发明和现有基于双通道卷积神经网络多时相SAR图像变化检测方法，在QuickBird数据集上进行变化检测，结果如图5，其中：

图5(a)为本发明输出的图像变化检测结果图，

图5(b)为现有技术输出的图像变化检测结果图；

将图5(a)、图5(b)的图像变化检测结果图与图4所示QuickBird数据集检测结果的标准参考图进行比较，可以看出，现有技术不能很好的区分变化和未变化像素点，存在严重的漏检现象，而本发明检测结果的视觉效果更佳，进一步说明本发明在不同数据集都能取得优良的表现性能。

Claims (5)

1.一种基于深度神经网络结构寻优的图像变化检测方法，其特征在于包括如下步骤：

(1)读入图像并进行归一化处理：

读入拍摄于同一地点不同时相且经过配准和矫正的两幅图像I_x和I_y，并对I_x和I_y分别进行归一化处理，得到归一化后的两幅图像I₁和I₂；

(2)获取训练样本集：

分别对归一化后的两幅图像I₁和I₂中10％的图像区域进行标注，并在已标注的图像区域上随机剪切多个像素块组成训练样本集；

(3)对深度神经网络结构进行编码，即将深度神经网络结构编码为由若干个依次连接的卷积模块和全连接模块，其中：

卷积模块包含依次相连接的卷积层、BN层、激活函数层、随机失活层以及池化层，

全连接模块包含依次相连接的全连接层、BN层、激活函数层以及随机失活层；

(4)根据网络结构编码方式，初始化种群：

将卷积模块的卷积核个数随机设定到{2³,2⁴,...,2^N}范围内，N为卷积模块的个数；

将激活函数随机设定为Sigmoid或ReLU，将随机失活的比例随机设定到[0,0.9]范围内；

将全连接模块的全连接层节点个数随机设定到{2⁴,2⁵,...,2^log(DN)+1}范围内，DN表示全连接层的最大节点数；

(5)基于训练样本集，以进化算法搜索最优网络结构：

5a)设定进化算法的最大迭代次数Num；

5b)利用训练样本集训练种群中的网络，以分类准确率为适应度函数计算适应度，通过轮盘赌选择机制选择父代网络进行单点交叉和随机变异，生成子代网络更新种群；

5c)重复(5b)直到达到最大迭代次数Num，输出最优网络结构；

(6)利用最优网络结构输出图像变化检测结果图：

6a)设定窗口大小为c×c，并以c为步长从左至右、从上至下在两幅归一化图像I₁和I₂上进行滑窗，得到测试样本集，c≥5；

6b)将测试样本集输入到最优网络结构中，得到测试样本集的类别向量，并将对该类别向量进行矩阵化的结果作为图像变化检测结果图。

2.根据权利要求1所述的方法，其特征在于：(1)中归一化后的两幅图像I₁和I₂，分别表示如下：

3.根据权利要求1所述的方法，其特征在于：(3)中卷积层的卷积核大小为3×3，步长为1，池化层为最大池化层，步长为2。

4.根据权利要求1所述的方法，其特征在于：(5b)中以分类准确率为适应度函数计算适应度，计算公式为：

其中，acc表示适应度，TP为正确检测为变化类的像素点总个数，TN为正确检测为未变化类的像素点总个数，N为像素点总个数。

5.根据权利要求1所述的方法，其特征在于：(5b)中通过轮盘赌选择机制选择父代网络进行单点交叉和随机变异，是先在某个基因位将两个父代网络的基因进行交换，再以低概率随机替换、删除网络结构的某个基因位，生成子代网络更新种群。

Images