CN105741267A - 聚类引导深度神经网络分类的多源图像变化检测方法 - Google Patents

Abstract

本发明公开了一种聚类引导深度神经网络分类的多源图像变化检测方法，避免了传统的变化检测中的前期产生差异图的步骤，克服了多源图像变化检测需要产生差异图的弊端。其实现步骤为：输入光学图像的灰度矩阵；对光学图像进行模糊聚类得到分割后的灰度矩阵；对聚类分割后的光学图像做标记；对光学图像和TM图像进行采样；从TM图像中选取训练样本；训练栈式稀疏自动编码器SAE；利用标签对网络参数进行微调；把TM图像输入到网络输出分类后的图像；对两幅分类后的图作对数比；得到变化检测结果。本发明摒弃了差异图的构造环节，适用于多源遥感图像变化检测，具有受噪声影响小、变化检测结果分类精度高等优点。

Description

聚类引导深度神经网络分类的多源图像变化检测方法

技术领域

本发明属于图像处理技术领域，主要涉及深度神经网络与遥感图像处理领域的结合，主要解决遥感图像的变化检测问题，具体提供由聚类引导深度神经网络分类的多源图像变化检测方法，用于多源图像的变化检测，广泛应用于航天、地物覆盖与利用、地震灾害检测与评估等领域。

背景技术

计算机数字图像处理、模式识别、人工智能，以及传感器数据融合技术不断发展，给遥感图像的自动变化检测提供了更多的技术保障。近二十年来，遥感图像的变化检测方法不断更新，变化检测技术取得了可喜成就，检测方法日益成熟。

遥感影像变化检测技术是指利用不同历史时期的覆盖同一地表区域的多源遥感影像和相关地理数据，结合对应地物特性和遥感成像机理，采用图像图形处理理论及数理模型方法，确定和分析该区域地物的变化，包括地物位置、范围的变化和地物性质状态的变化。变化检测作为遥感图像分析中的一项重要应用，为环境监测、资源勘探、灾害救援与治理提供了有效的技术手段。

目前广泛运用的图像变化检测方法主要基于同一传感器所获取的影像，称作同源图像处理，一般先产生差异图，再去差异图进行处理，最终获得变化检测结果。对于由不同传感器所获取的多源图像变化检测方法，也称作多源图像处理，各国学者从不同的角度研究了大量的变化检测方法和理论模型，传统的方法如代数法、时序分析法等，根据影像差值法或比值法产生差异图，再对阈值进行选择，该类方法算法简单易实现，并且部分变换方法能有效对维数约减，缺点在于难以克服由于大气条件，传感器噪声和大气辐射的差异性带来的干扰，影响最终的检测结果。随着变化检测方法应用的不断深入，对于由不同传感器所获得的影像运用先产生差异图的变化检测方法的检测结果的精度难以满足当前图像处理的要求，已很难适应于当前人类生产需求。

本发明主要是基于该点，提出了一种不需产生差异图而对两幅多源图像进行变化检测的方法，并且取得了良好的效果。

发明内容

本发明的目的在于克服上述现有技术存在的不足，提供了一种不需产生差异图，检测精度高的聚类引导深度神经网络分类的多源图像变化检方法。

1.本发明是一种聚类引导深度神经网络分类的多源图像变化检测方法，待处理的图像，是两个已配准的同一区域、不同时间、由不同传感器获取的多源图像，包括光学图像和TM图像，其特征在于，包括有如下步骤：

(1)输入光学图像：输入多源图像中待检测光学图像的灰度矩阵；

(2)分割光学图像：采用模糊C均值聚类方法对其中待检测的光学图像的灰度矩阵进行模糊聚类，得到光学图像聚类分割后的灰度矩阵；

(3)对聚类分割后的光学图像做标记：把聚类分割后图像的类别进行分类和标记，作为标记的标签Ω，Ω＝{Ω¹，Ω²，…}，Ω¹，Ω²分别表示分类后的类别标签；

(4)对两图像进行采样：对光学图像和TM图像数据进行大小为n×n的块采样，采样出每个像素点对应的n²个像素点的值，对该值归一化处理，处理后得到的n²个数据，作为该像素点的采样样本，遍历整幅图像，直至采样完成两幅图中所有的像素点；

(5)在TM图像中选取训练样本：

(5a)选取候选训练样本区域，将分类后的光学图像中对应于变化检测参考图上未变化区域作为候选训练样本区域，训练样本将在该区域内选取；

(5b)选取训练样本规则：在分类后的光学图像中，以像素点i为例，将像素点i的位置作为中心，取m×m的方形窗口，该方形窗口包含m²个像素点，判断该窗口除像素点i外的m²-1个像素点是否为同一类像素点，若为同一类像素点，则以光学图像中像素点i的位置为准，找出该点在TM图像灰度矩阵对应位置处的像素点i′，像素点i′的采样样本作为候选训练样本，分类后的光学图像中像素点i的值作为该候选训练样本的标签；若该窗口除像素点i外m²-1个像素点有两类或者多类像素点，则舍弃该像素点，以此过程遍历全图，直到判断完所有候选训练样本区域的像素点；

(5c)在已得到的不同标签的候选训练样本中，以标签数量最少的那类候选训练样本的数量L作为选取数量，在所有不同标签的候选训练样本中截取已选择的前L个候选训练样本作为最终的训练样本，完成对训练样本的选取；

(6)训练栈式自动编码器SAE：建立一个由两层稀疏自动编码器组成的栈式自动编码器模型，将选取的训练样本输入到该模型中训练栈式自动编码器，得到训练完成的栈式自动编码器SAE；

(7)微调栈式自动编码器SAE：

将已经训练完成的栈式自动编码器SAE的第二层稀疏自动编码器的隐藏层节点的激活值作为softmax分类器的输入，将训练样本对应的标签作为softmax分类器的输出，通过反向传导方法同时调整网络所有层的参数，完成对网络的训练；

(8)分类TM图像：将采样后的TM图像的采样样本输入到微调后的栈式自动编码器SAE中，编码器的输出为分类好的TM图像；

(9)生成差异图：用对数比值法对分类后的光学图像和TM图像的灰度矩阵作差异图，得到光学图像和TM图像的变化检测结果。

本发明通过输入其中一副图像的聚类结果到深度神经网络中来训练另一幅图像，从而达到对另一幅图像的分类，再对分类后的两幅图像直接比较得到变化图，去除了作差异图，再对差异图进行处理的过程，克服了现有技术中采用传统方法使得变化检测结果对差异图细节要求的十分敏感的缺点。

本发明与现有的技术相比具有以下优点：

第一，在多源图像变化检测领域，针对传统的图像变化检测方法，一般先产生差异图，再对差异图进行处理，容易因传感器的噪声和差异性引起差异图的数据的不一致，进而影响最终的检测结果。本发明突破了传统的多源图像变化检测方法，不做差异图，避免了多源图像的差异图对检测结果产生的影响，将多源图像分类后再比较，克服了现有技术使得变化检测结果对差异图细节要求的十分敏感的缺点，使得本发明具有变化检测结果正确率高的优点。

第二，深度神经网络是一种模仿生物神经网络的结构和功能的数学模型，用来对输入和输出间复杂的关系进行建模，多隐藏层的深度神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，有利于解决分类问题。本发明将深度神经网络融入到图像变化检测上，由其中一副图像的聚类结果来引导另一幅图像的分类，产生两幅分类类别一致的图像，使得本发明具有受噪声影响小、变化检测结果分类精度高的优点，适用于多源遥感图像变化检测。

附图说明

图1是本发明的流程图；

图2是本发明的仿真图。

具体实施方式

下面结合附图对本发明做详细说明。

现有的多源图像变化检测方法，根据影像差值法或比值法产生差异图，再对阈值进行选择，容易因传感器的噪声和差异性引起差异图的数据的不一致而影响最终的检测结果，这个问题一直制约着多源图像变换检测的提高和推进，为此本发明展开了创新与研究，提出了一种不需先产生差异图的聚类引导深度神经网络分类的多源图像变化检测方法，并且取得了良好的效果。

实施例1

本发明是聚类引导深度神经网络分类的多源图像变化检测方法，在本发明中，待处理的多源图像包括光学图像和TM图像，该两图像是已配准的同一区域、不同时间、由不同传感器获取的图像中的光学图像的灰度矩阵。参见图1，图像变化检测包括有如下步骤：

(1)输入待测光学图像，以下简称为光学图像：将数据类型为三维的光学图像转换为数据类型为二维的灰度矩阵，输入光学图像的灰度矩阵。

(2)分割光学图像：采用模糊C均值聚类方法对其中待检测的光学图像的灰度矩阵进行模糊聚类，得到光学图像聚类分割后的灰度矩阵，模糊C均值聚类方法简称FCM。

(3)对聚类分割后的光学图像做标记：把聚类分割后图像的类别进行标记分类，作为标记的标签Ω，Ω＝{Ω¹，Ω²，…}，Ω¹，Ω²分别表示分类后的不同类别的标签。

(4)对两幅图像进行采样：对光学图像和TM图像数据进行大小为n×n的块采样，采样出每个像素点对应的n²个像素点的值，对该值归一化处理，处理后得到的n²个数据，作为该像素点的采样样本，遍历整幅图像，直至采样完成两幅图中所有的像素点。本发明采样块的大小为n×n，n在3，5任意选取。本例中采样块大小为3×3，对每个像素点采样出对应的块的9个像素点的值归一化处理数据，处理后的9个数据作为该像素点的样本。对光学图像和TM图像数据进行采样，具体是在灰度矩阵进行。

(5)在TM图像中选取训练样本：

(5a)选取候选训练样本区域，在已经分类后的光学图像中对应于变化检测参考图上未变化区域，作为候选训练样本区域，因为参考图是标准的变化检测结果图，本发明对照分类后的光学图像和参考图，寻找在参考图上相对未变化区域作为候选样本区域，这样可以防止选取训练样本出错影响检测结果精度。训练样本将在该区域内选取。

(5b)选取训练样本规则，在分类后的光学图像中，以对像素点i为例，将像素点i的位置作为中心，取m×m的方形窗口，该方形窗口包含m²个像素点，判断该窗口除像素点i外的m²-1个像素点是否为同一类像素点，若为同一类像素点，则以光学图像中像素点i的位置为准，找出该点在TM图像灰度矩阵对应位置处的像素点i′，像素点i′的采样样本作为候选训练样本，分类后的光学图像中像素点i的值作为该候选训练样本的标签；若该窗口除像素点i外m²-1个像素点有两类或者多类像素点，则舍弃该像素点。本发明选取m×m的方形窗口中，m在3，5任意选取。本例中选取的方形窗口大小为5×5，该方形窗口包含25个像素点，判断该窗口除像素点i外的24个像素点是否为同一类像素点，若为同一类像素点，则以光学图像中像素点i的位置为准，找出该点在TM图像灰度矩阵对应位置处的像素点i′，像素点i′的采样样本作为候选训练样本，分类后的光学图像中像素点i的值作为该候选训练样本的标签，若该窗口除像素i外24个像素有两类或者多类像素，则不可作为候选训练样本，以此过程遍历全图，直到判断完所有候选训练样本区域的像素点。

(5c)在已得到的不同标签的候选训练样本中，以标签数量最少的那类候选训练样本的数量L作为选取数量，在所有不同标签的候选训练样本中截取已选择的前L个候选训练样本作为最终的训练样本，完成对训练样本的选取。本例中，存在两类标签，对该两类标签对应的样本，分别选取了3692个样本作为训练样本。

(6)训练栈式自动编码器SAE：建立一个由两层稀疏自动编码器组成的栈式自动编码器模型，将选取的训练样本输入到该模型中训练栈式自动编码器，得到训练完成的栈式自动编码器SAE。

(7)微调栈式自动编码器SAE：

将已经训练完成的栈式自动编码器SAE的第二层稀疏自动编码器的隐藏层节点的激活值作为softmax分类器的输入，将训练样本对应的标签作为softmax分类器的输出，通过反向传导方法同时调整网络所有层的参数，完成对网络的训练。

(8)分类TM图像：将采样后的TM图像的采样样本输入到微调后的栈式自动编码器SAE中，编码器的输出为分类好的TM图像。

(9)生成差异图：用对数比值法对分类后的光学图像和TM图像的灰度矩阵生成差异图，得到光学图像和TM图像的变化检测结果，参见图2(d)。

本发明突破了传统的多源图像变化检测方法，不做差异图，避免了多源图像的差异图对检测结果产生的影响，将多源图像分类后直接比较，便于对多源图像进行变化检测。

实施例2

聚类引导深度神经网络分类的多源图像变化检测方法同实施例1，其中步骤(6)中所述的训练栈式自动编码器SAE的过程包括：

(6a)该栈式自编码器由两层稀疏自动编码器组成，第一层稀疏自动编码器的隐藏层节点的激活值作为第二层稀疏自动编码器的输入。

(6b)将第一层稀疏自编码的输入层设定为9个节点，隐藏层设定为49个节点，第二层稀疏自动编码器的输入层与第一层稀疏自动编码器的隐藏层节点相同，设定为49个节点，第二层稀疏自动编码器的隐藏层设定为10个节点。

(6c)用区间[0，1]上的随机数初始化栈式自动编码器SAE上的权值。

(6d)将选取的训练样本输入到栈式自动编码器SAE中的第一层稀疏自动编码器，利用反向传导方法，计算第一层稀疏自动编码机的隐含层与输出层的权值与偏置，完成第一层稀疏自动编码机的训练。

(6e)将第一层稀疏自动编码器的隐藏层节点的激活值作为第二层稀疏自动编码器的输入，利用反向传导方法，计算第二层稀疏自动编码机的隐含层与输出层的权值与偏置，完成稀疏自动编码机的训练。

本例中，步骤(4)采样时的块大小为5×5，采样块的大小的选取与TM图像的分辨率相关。

步骤(5b)中选取训练样本的方形窗口大小为3×3。本发明通过大量实验，对比实验结果选取合适的参数。

本发明将深度神经网络融入到图像变化检测上，由其中一副图像的聚类结果来引导另一幅图像的分类，产生两幅分类类别一致的图像，使得本发明普遍适用于多源遥感图像变化检测。

实施例3

聚类引导深度神经网络分类的多源图像变化检测方法同实施例1-2，其中步骤(4)中所述的对图像数据进行块采样的具体步骤包括有：

4.1：若图像X₀维数为p×q，本例中以3×3为例详细说明，初始化一个维数为(p+2)×(q+2)的全零矩阵X。

4.2：把图像矩阵X₀中的各元素值赋值给全零矩阵X中的第2行到第p+1行、第2列到第q+1列中的矩形范围内所有的元素；

4.3：把全零矩阵X中的第3行所有元素赋值给第1行所有元素，第p行所有元素赋值给第p+2行所有元素。

4.4：把X中的第3列所有元素赋值给第1列所有元素，第q列所有元素赋值给第q+2列所有元素。

4.5：对全零矩阵X进行以3×3的块采样，以像素点(2，2)为初始点，像素点(p+1，q+1)为终止点的一个矩形范围内的所有像素作为采样点，分别以该矩形范围内每个待采样的像素点为中心，建立一个3×3的小块，取出该块内9个像素值，此为初步采样的数据。

4.6：将采样得到的数据归一化：

$x_{ij}^{\′}=\frac{x_{ij}}{\max \left(x_{ij}\right)}$

其中，x_ij表示像素点位置为(i,j)处的像素值，x′_ij表示该像素值经过归一化操作后的值。

4.7：归一化后的数据即为采样结果，完成了采样过程。

实施例4

聚类引导深度神经网络分类的多源图像变化检测方法同实施例1-3，步骤(2)中的模糊C均值聚类方法的具体步骤包括有：

2.1：按照下式，选取区间[0，1]上随机数来初始化光学图像的灰度矩阵像素的隶属度：

$\underset{i=1}{\overset{k}{\Σ}}{u}_{ij}=1,\∀j=1,...,n$

其中上式中i表示灰度矩阵模糊聚类类别，j表示第j个像素点，∑表示求和操作，k为根据先验设定的聚类的类别数，针对不同图像中包括的目标的不同，k的取值也不同，u_ij表示灰度矩阵中第j个像素点在第i类别上的隶属度。

2.2：按照下式，计算灰度矩阵的聚类中心：

$c_i=\frac{{\mathrm{\Σ}}_{j=1}^n{u}_{ij}^m{x}_j}{{\mathrm{\Σ}}_{j=1}^n{u}_{ij}^m}$

上式中C_i表示灰度矩阵的第i类的聚类中心，i表示灰度矩阵的模糊聚类类别，n表示灰度矩阵的像素点个数，m∈[1,∞)表示一个加权系数，∑表示求和操作，u_ij表示更新前的灰度矩阵中第j个像素点在第i类别上的隶属度，x_j表示灰度矩阵中第j个像素点特征。

2.3：按照下式，更新灰度矩阵中像素点的隶属度：

$u_{ij}=\frac{{\mathrm{\Σ}}_{j=1}^n{\mathrm{\Σ}}_{i=1}^{2}d(x_j,C_i)}{d(x_j,c_i)}$

该式中，u_ij表示更新后的灰度矩阵中第j个像素点在第i类别上的隶属度，中C_i表示灰度矩阵的第i类的聚类中心，i表示灰度矩阵的模糊聚类类别，x_j表示灰度矩阵中第j个像素点特征，n表示灰度矩阵的像素点个数，∑表示求和操作，d(x_j，c_i)表示灰度矩阵中第j个像素点到第i类的聚类中心的欧氏距离。

2.4：按照下式，计算模糊C均值聚类方法的价值函数：

$J=\underset{i=1}{\overset{2}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{u}_{ij}\·d\left(x_{j,}{c}_{i}s\right)$

其中，J表示模糊C均值聚类方法的价值函数，u_ij表示灰度矩阵中第j个像素点在第i类别上的隶属度，d(x_j，c_i)表示灰度矩阵中第j个像素点到第i类的聚类中心的欧氏距离，∑表示求和操作。

2.5：根据步骤2.4计算的价值函数，若价值函数的值小于0.0000005，则算法停止，结束聚类过程，否则返回第2.2步操作，重新计算聚类中心。

实施例5

聚类引导深度神经网络分类的多源图像变化检测方法同实施例1-4，步骤(6b)所述的第二层稀疏自动编码器的隐藏层的节点数量可在8到12之间任意选取。本例中第二层稀疏自动编码器的隐藏层的节点数量为12。本发明经过大量的实验总结和理论分析得出了第二层稀疏自动编码器的隐藏层的节点数量的优选范围，在此优选范围内实验取得了不错的效果。

实施例6

聚类引导深度神经网络分类的多源图像变化检测方法同实施例1-5，简略的在对本发明具体实现过程描述如下：

(1)输入光学图像的灰度矩阵：

(2)分割光学图像：

(3)对聚类分割后的光学图像做标记：

(4)对TM图像的灰度矩阵进行采样：

(5)选取训练样本：

(6)训练栈式自动编码器SAE：

(7)微调栈式自动编码器SAE：

将已经训练完成的栈式自动编码器SAE的第二层隐藏层的激活值作为softmax分类器的输入，将样本对应的标签作为softmax分类器的输出，通过反向传播算法同时调整所有层的参数，完成对网络的训练；

(8)分类TM图像：

将采样后的TM图像的采样样本输入到微调后的栈式自动编码器SAE中，编码器的输出为分类好的TM图像；

(9)生成差异图：

按照下式，计算已经分好类灰度矩阵X₁和X₂的对数比值差异灰度矩阵，得到待检测的对数比值差异灰度矩阵，得到最终变化检测的结果：

D＝|log(X₂+1)-log(X₁+1)|

其中，X₁表示待检测的光学图像分类后的矩阵，X₂表示待检测的TM图像分类后的矩阵，D表示X₁和X₂的对数比值差异灰度矩阵，|·|表示绝对值操作，log表示以10为底的对数操作。

本发明将光学图像的聚类结果引导深度神经网络训练TM图像，进而对TM图像进行分类，再对分类后的两幅图像直接比较得到变化图，摒弃了生成差异图，然后对差异图进行处理的过程，克服了现有技术使得变化检测结果对差异图细节要求的十分敏感的缺点。

下面结合实验仿真和附图对本发明进一步详细说明

实施例7

聚类引导深度神经网络分类的多源图像变化检测方法同实施例1-6，参考附图1。

利用遥感图像分析同一地理位置不同时间获取的地物所包含的变化信息。变化检测作为遥感图像分析中的一项重要应用，为环境监测、资源勘探、灾害救援与治理提供了有效的技术手段。近二十年来，遥感图像的变化检测方法虽然不断更新，但变化检测仍然受到不同因素的影响，大量的研究试图寻找各种新的遥感图像变化检测方法。而且变化检测不仅仅只应用于遥感图像的处理，针对医学、农业、工业都有广泛的应用前景。

本实例处理的图像为两幅已配准、不同时间的意大利撒丁岛地区湖泊的遥感图像，参考附图2，图2(a)为TM图像，图2(b)为光学图像，拍摄时间分别是1995年9月和1996年7月，两副图像的维数均为300×412，空间分辨率为30m。仿真实验内容是采用聚类结果引导深度神经网络对图像自动分类的多源图像变化检测方法对意大利撒丁岛地区的湖泊遥感图像进行变化检测。

步骤1，输入光学图像的灰度矩阵。

步骤2，采用模糊C均值聚类方法对其中待检测的光学图像的灰度矩阵进行模糊值聚类，得到分割后的灰度矩阵。

(2a)按照下式，在区间[0，1]上选取随机数来初始化光学图像的灰度矩阵像素的隶属度：

$\underset{i=1}{\overset{k}{\Σ}}{u}_{ij}=1,\∀j=1,...,n$

其中上式中i表示灰度矩阵模糊聚类类别，j表示第j个像素点，∑表示求和操作，k为根据先验设定的聚类的类别数，针对不同图像中包括的目标的不同，k的取值也不同，u_ij表示灰度矩阵中第j个像素点在第i类别上的隶属度；

(2b)按照下式，计算灰度矩阵的聚类中心：

$c_i=\frac{{\mathrm{\Σ}}_{j=1}^n{u}_{ij}^m{x}_j}{{\mathrm{\Σ}}_{j=1}^n{u}_{ij}^m}$

其中C_i表示灰度矩阵第i类的聚类中心，i表示灰度矩阵的模糊聚类类别，n表示灰度矩阵的像素点个数，m∈[1,∞)表示一个加权系数，∑表示求和操作，u_ij表示灰度矩阵中第j个像素点在第i类别上的隶属度，x_j表示灰度矩阵中第j个像素点特征；

(2c)按照下式，更新灰度矩阵中像素点的隶属度：

$u_{ij}=\frac{{\mathrm{\Σ}}_{j=1}^n{\mathrm{\Σ}}_{i=1}^{2}d(x_j,C_i)}{d\left(x_{j,C_i}\right)}$

其中，u_ij表示灰度矩阵中第j个像素点在第i类别上的隶属度，中C_i表示灰度矩阵第i类的聚类中心，i表示灰度矩阵的模糊聚类类别，x_j表示灰度矩阵中第j个像素点特征，n表示灰度矩阵的像素点个数，∑表示求和操作，d(x_j，C_i)表示灰度矩阵中第j个像素点到第i类的聚类中心的欧氏距离；

(2d)按照下式，计算模糊C均值聚类方法的价值函数：

$J=\underset{i=1}{\overset{2}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{u}_{ij}d\left(x_{j,}{c}_i\right)$

其中，J表示模糊C均值聚类方法的价值函数，u_ij表示灰度矩阵中第j个像素点在第i类别上的隶属度，d(x_j，C_i)表示灰度矩阵中第j个像素点到第i类的聚类中心的欧氏距离，∑表示求和操作；

(2e)根据步骤(2d)计算的价值函数判断，若价值函数的值小于0.0000005，则算法停止即完成聚类过程，否则返回步骤(2b)操作,重新计算聚类中心。

步骤3，对聚类后的光学图像进行标记。

把聚类分割后图像的类别进行分类和标记，作为标记的标签Ω，Ω＝{Ω¹，Ω²，…}，Ω¹，Ω²分别表示分类后的类别标签。

步骤4，对两幅图像的灰度矩阵进行行采样。

(4a)若图像X₀维数为p×q，本例中以3×3为例详细说明，初始化一个维数为(p+2)×(q+2)的全零矩阵X；

(4b)把图像矩阵X₀中的各元素值赋值给全零矩阵X中的第2行到第p+1行、第2列到第q+1列中的矩形范围内所有的元素；

(4c)把全零矩阵X中的第3行所有元素赋值给第1行所有元素中，第p行中所有元素赋值给第p+2行中所有的元素；

(4d)把X中的第3列所有元素赋值给第1列所有元素，第q列所有元素赋值给第q+2列所有元素；

(4e)对全零矩阵X进行以3×3的块采样，以像素点(2，2)为初始点，像素点(p+1，q+1)为终止点的一个矩形范围内的所有像素作为采样点，分别以该矩形范围内每个待采样的像素点为中心，建立一个3×3的小块，取出该块内9个像素值，此为初步采样的数据；

(4f)将采样得到的数据归一化：

$x_{ij}^{\′}=\frac{x_{ij}}{\max \left(x_{ij}\right)}$

其中，x_ij表示像素点位置为(i,j)处的像素值，x′_ij表示该像素值经过归一化操作后的值。

步骤5，在TM图像中选取训练样本。

(5a)选取候选训练样本区域，将分类后的光学图像中对应于变化检测参考图上未变化区域作为候选训练样本区域，训练样本将在该候选训练样本区域内选取；

(5b)选取训练样本规则，在分类后的光学图像中，以对像素点i为例，将像素点i的位置作为中心，取m×m的方形窗口，该方形窗口包含m²个像素点，判断该窗口除像素点i外的m²-1个像素点是否为同一类像素点，若为同一类像素点，则以光学图像中像素点i的位置为准，找出该点在TM图像灰度矩阵对应位置处的像素点i′，像素点i′的采样样本作为候选训练样本，分类后的光学图像中像素点i的值作为该候选训练样本的标签；若该窗口除像素点i外m²-1个像素点有两类或者多类像素点，则舍弃该像素点。本发明选取m×m的方形窗口中，m在3，5任意选取。本例中选取的方形窗口大小为3×3，该方形窗口包含9个像素点，判断该窗口除像素点i外的8个像素点是否为同一类像素点，若为同一类像素点，则以光学图像中像素点i的位置为准，找出该点在TM图像灰度矩阵对应位置处的像素点i′，像素点i′的采样样本作为候选训练样本，分类后的光学图像中像素点i的值作为该候选训练样本的标签，若该窗口除像素i外8个像素有两类或者多类像素，则不可作为候选训练样本，以此过程遍历全图，直到判断完所有候选训练样本区域的像素点；

(5c)在已得到的不同标签的候选训练样本中，以标签数量最少的那类候选训练样本的数量L作为选取数量，在所有不同标签的候选训练样本中截取已选择的前L个候选训练样本作为最终的训练样本，完成对训练样本的选取。本例中，存在两类标签，对该两类标签对应的样本，分别选取了3692个样本作为训练样本。

步骤6，训练栈式稀疏自动编码器SAE。

(6a)该栈式自编码器由两层稀疏自动编码器组成，第一层稀疏自动编码器的隐藏层节点的激活值作为第二层稀疏自动编码器的输入；

(6b)将第一层稀疏自编码的输入层设定为9个节点，隐藏层设定为49个节点，第二层稀疏自动编码器的输入层与第一层稀疏自动编码器的隐藏层节点相同，设定为49个节点，第二层稀疏自动编码器的隐藏层设定为10个节点；

(6c)用区间[0，1]上的随机数初始化栈式自动编码器SAE上的权值；

(6d)将选取的训练样本输入到栈式自动编码器SAE中的第一层稀疏自动编码器，利用反向传导方法，计算第一层稀疏自动编码机的隐含层与输出层的权值与偏置，完成第一层稀疏自动编码机的训练；

(6e)将第一层稀疏自动编码器的隐藏层节点的激活值作为第二层稀疏自动编码器的输入，利用反向传导方法，计算第二层稀疏自动编码机的隐含层与输出层的权值与偏置，完成稀疏自动编码机的训练。

步骤7，微调栈式自动编码器SAE：

将已经训练完成的栈式自动编码器SAE的第二层稀疏自动编码器的隐藏层节点的激活值作为softmax分类器的输入，将训练样本对应的标签作为softmax分类器的输出，通过反向传导方法微调网络所有层的参数，完成对网络的训练。

步骤8，对TM图像进行分类。

将采样后的TM图像的采样样本输入到微调后的栈式自动编码器SAE中，编码器的输出为分类好的TM图像；

步骤9，产生最终变化检测结果。

按照下式，计算已经分好类灰度矩阵X₁和X₂的对数比值差异灰度矩阵，得到待检测的对数比值差异灰度矩阵，得到最终变化检测的结果：

D＝|log(X₂+1)-log(X₁+1)|

其中，X₁表示待检测的光学图像分类后的矩阵，X₂表示待检测的TM图像分类后的矩阵，D表示X₁和X₂的对数比值差异灰度矩阵，|·|表示绝对值操作，log表示以10为底的对数操作。

以下结合仿真实验对本发明的效果做进一步说明。

实施例8

聚类引导深度神经网络分类的多源图像变化检测方法同实施例1-7，

1.仿真实验条件：

本发明的仿真实验的硬件测试平台是：处理器为InterCorei5CPU，主频2.7GHz，内存为8GB，软件平台为：Windows8.1操作系统和MatlabR2014a。

2.仿真实验内容：

本发明处理的图像为两幅已配准、不同时间的意大利撒丁岛地区湖泊的遥感图像。参考附图2，图2(a)为TM图像，图2(b)为光学图像，拍摄时间分别是1995年9月和1996年7月，两副图的维数均为300×412，空间分辨率为30m。仿真实验内容是采用聚类结果引导深度神经网络对图像自动分类的多源图像变化检测方法对意大利撒丁岛地区的湖泊遥感图像进行变化检测。

3.仿真结果分析：

通过与意大利撒丁岛地区湖泊的遥感图像变化检测参考图2(c)对比，可以看出由聚类引导深度神经网络对图像自动分类的多源图像变化检测方法的检测结果图2(d)的噪声点少，细节保留较好。

根据参考图，对实验仿真图进行定量的变化检测分析。

按照下式，计算衡量变化检测结果的总正确率:

PCC＝(TP+TN)/(TP+FP+TN+FN)

Kappa＝(PCC-PRE)/(1-PRE)

PRE＝[(TP+FP)×Nc+(FN+TN)×Nu]/N2

其中，PCC表示变化检测结果的总正确率，TP表示参考图中发生变化且实验结果中被正确检测为变化的像素点个数，TN表示参考图中为变化且实验结果中被正确检测为为变化的像素点个数，FP表示参考图中未变化但实验结果中被错误检测为变化的像素点个数，FN参考图中发生变化但实验结果中被错误检测为为变化的像素点个数。N表示总像素个数，Nc和Nu分别表示实际的变化像素和未变化像素数。

其中，Kappa表示检测结果的分类精度，PCC表示变化检测结果总正确率。

综上所述，对三种变化检测方法的仿真结果做定量的变化检测分析。PCC表示变化检测总正确率，值越大，说明分类效果越好。Kappa表示变化检测分类精度，值越大，说明分类效果越好。

表1为对三种变化检测方法的仿真结果做定量的变化检测分析。

方法	PCC	Kappa
			本发明	0.95096	0.649390

简而言之，本发明提出的由聚类结果引导深度神经网络对图像自动分类的多源图像变化检测方法，避免了传统的变化检测中的前期产生差异图的步骤，克服了多源图像变化检测需要产生差异图的弊端。其实现步骤为：(1)输入光学图像的灰度矩阵；(2)对光学图像进行模糊聚类得到分割后的灰度矩阵；(3)对聚类分割后的光学图像做标记；(4)对两图像进行采样；(5)从TM图像中选取训练样本；(6)训练栈式稀疏自动编码器SAE；(7)利用标签对网络参数进行微调；(8)把TM图像输入到网络输出分类后的图像；(9)对两幅分类后的图作对数比；(10)得到变化检测结果。本发明突破了传统的多源图像变化检测方法，不做差异图，避免了多源图像的差异图对检测结果产生的影响，并且将深度神经网络融入到图像变化检测上，由其中一副图像的聚类结果来引导另一幅图像的分类，产生两幅分类类别一致的图像，使得本发明具有受噪声影响小、变化检测结果分类精度高的优点，主要解决遥感图像的变化检测问题，具体提供由聚类引导深度神经网络分类的多源图像变化检测方法，用于多源图像的变化检测，广泛应用于航天、地物覆盖与利用、地震灾害检测与评估等领域。

Claims (6)

1.一种聚类引导深度神经网络分类的多源图像变化检测方法，待处理的图像，是两个已配准的同一区域、不同时间、由不同传感器获取的多源图像，包括光学图像和TM图像，其特征在于，包括有如下步骤：

(1)输入待检测光学图像：输入多源图像中待检测光学图像的灰度矩阵；

(2)分割光学图像：采用模糊C均值聚类方法对其中待检测光学图像的灰度矩阵进行模糊聚类，得到光学图像聚类分割后的灰度矩阵；

(3)对聚类分割后的光学图像做标记：对聚类分割后图像的类别进行分类并标记，以标签Ω作为标记，Ω＝{Ω¹，Ω²，…}，Ω¹，Ω²分别表示分类后的类别标签；

(4)对两图像进行采样：对光学图像和TM图像数据进行大小为n×n的块采样，采样出每个像素点对应的n²个像素点的值，对该值归一化处理，处理后得到的n²个数据，作为该像素点的采样样本，遍历整幅图像，直至采样完成两幅图中所有的像素点；

(5)在TM图像中选取训练样本：

(5a)选取候选训练样本区域，将分类后的光学图像中对应于变化检测参考图上未变化区域作为候选训练样本区域，训练样本将在该候选训练样本区域内选取；

(5b)选取训练样本规则：在分类后的光学图像中，以像素点i为例，将像素点i的位置作为中心，取m×m的方形窗口，该方形窗口包含m²个像素点，判断该窗口除像素点i外的m²-1个像素点是否为同一类像素点，若为同一类像素点，则以光学图像中像素点i的位置为准，找出该点在TM图像灰度矩阵对应位置处的像素点i′，像素点i′的采样样本作为候选训练样本，分类后的光学图像中像素点i的值作为该候选训练样本的标签；若该窗口除像素点i外m²-1个像素点有两类或者多类像素点，则舍弃该像素点，以此过程遍历全图，直到判断完所有候选训练样本区域的像素点；

(5c)在已得到的不同标签的候选训练样本中，以标签数量最少的那类候选训练样本的数量L作为选取数量，在所有不同标签的候选训练样本中截取已选择的前L个候选训练样本作为最终的训练样本，完成对训练样本的选取；

(6)训练栈式自动编码器SAE：建立一个由两层稀疏自动编码器组成的栈式自动编码器模型，将选取的训练样本输入到该模型中训练栈式自动编码器，得到训练完成的栈式自动编码器SAE；

(7)微调栈式自动编码器SAE：

将已经训练完成的栈式自动编码器SAE的第二层稀疏自动编码器的隐藏层节点的激活值作为softmax分类器的输入，将训练样本对应的标签作为softmax分类器的输出，通过反向传导方法同时调整网络所有层的参数，完成对网络的训练；

(8)分类TM图像：将采样后的TM图像的采样样本输入到微调后的栈式自动编码器SAE中，编码器的输出为分类好的TM图像；

(9)生成差异图：用对数比值法对分类后的光学图像和TM图像的灰度矩阵作差异图，得到光学图像和TM图像的变化检测结果。

2.根据权利要求1所述的聚类引导深度神经网络分类的多源图像变化检测方法，其特征在于，步骤(6)中所述的训练栈式自动编码器SAE的过程包括：

(6a)该栈式自编码器由两层稀疏自动编码器组成，第一层稀疏自动编码器的隐藏层节点的激活值作为第二层稀疏自动编码器的输入；

(6b)将第一层稀疏自编码的输入层设定为n²个节点，隐藏层设定为(n+4)²个节点，第二层稀疏自动编码器的输入层与第一层稀疏自动编码器的隐藏层节点相同，设定为(n+4)²个节点，第二层稀疏自动编码器的隐藏层设定为10个节点；

(6c)用区间[0，1]上的随机数初始化栈式自动编码器SAE上的权值；

(6d)将选取的训练样本输入到栈式自动编码器SAE中的第一层稀疏自动编码器，利用反向传导方法，计算第一层稀疏自动编码机的隐含层与输出层的权值与偏置，完成第一层稀疏自动编码机的训练；

(6e)将第一层稀疏自动编码器的隐藏层节点的激活值作为第二层稀疏自动编码器的输入，利用反向传导方法，计算第二层稀疏自动编码机的隐含层与输出层的权值与偏置，完成对栈式自动编码机的训练。

3.根据权利要求1所述的聚类引导深度神经网络分类的多源图像变化检测方法，其特征在于，步骤(4)中所述的对图像数据进行大小为3×3的块采样的具体步骤包括有：

4.1：若图像X₀维数为p×q，初始化一个维数为(p+2)×(q+2)的全零矩阵X；

4.2：按照下式，把图像矩阵X₀中的各元素值赋值到X矩阵中的第2行到第p+1行、第2列到第q+1列中的矩形范围内所有的元素：

4.3：把X中的第3行所有元素赋值到第1行所有元素中，第p行中所有元素赋值到第p+2行中；

4.4：把X中的第3列所有元素赋值到第1列所有元素，第q列所有元素赋值到第q+2列中；

4.5：对X进行以3×3的块采样，以像素点(2，2)为初始点，像素点(p+1，q+1)为终止点的一个矩形范围内的所有像素点作为采样点，分别以每个待采样的像素点为中心，建立一个3×3的小块，取出块内9个像素值，此为初步采样的数据；

4.6将采样得到的数据归一化：

$x_{ij}^{\′}=\frac{x_{ij}}{max\left(x_{ij}\right)}$

其中，x_ij表示像素点位置为(i,j)处的像素值，x′_ij表示该像素值经过归一化操作后的值。

4.根据权利要求1所述的聚类引导深度神经网络分类的多源图像变化检测方法，其特征在于，步骤(4)、步骤(6b)所述的大小为n×n的块采样中，n在3，5任意选取。

5.根据权利要求1所述的聚类引导深度神经网络分类的多源图像变化检测方法，其特征在于，步骤(5)所述的选取m×m的方形窗口中，m在3，5任意选取。

6.根据权利要求1所述的聚类引导深度神经网络分类的多源图像变化检测方法，其特征在于，步骤(6b)所述的第二层稀疏自动编码器的隐藏层的节点数量在8到12之间任意选取。本发明经过大量的实验总结和理论分析得出了第二层稀疏自动编码器的隐藏层的节点数量的优选范围，在此优选范围内实验取得了理想的效果。