CN108537790B - 基于耦合翻译网络的异源图像变化检测方法 - Google Patents

Abstract

本发明公开了一种基于耦合翻译网络的异源图像变化检测方法，主要解决现有异源图像变化检测方法精度低、鲁棒性不强的问题。其实现步骤为：1)设定两个翻译网络的结构和参数；2)输入两幅异源图像并计算两幅图像间的杰森‑香农散度距离和像素未变化的概率系数；3)训练第一个翻译网络，得到第一幅图的翻译结果图；4)训练第二个翻译网络，得到第二幅图的翻译结果图；5)根据两幅翻译结果图更新像素未变化的概率系数；6)依次重复步骤3)‑5)直到网络目标函数值稳定；7)根据两幅翻译结果图得到差异图；8)对差异图进行聚类，得到最后的变化检测图。本发明具有检测准确、鲁棒性强的优点，可用于图像翻译、模式识别、目标跟踪。

Description

基于耦合翻译网络的异源图像变化检测方法

技术领域

本发明属于图像处理技术领域，特别涉及异源图像变化检测方法，可用于图像生成、模式识别或目标跟踪。

背景技术

变化检测是一项通过分析一组拍摄于相同地点不同时间的图像来检测区域变化的技术。根据图像来源的不同，变化检测可分为同源图像变化检测和异源图像变化检测。其中同源图像是指由相同传感器拍摄的图像，它们之间属性相同，未变化区域内像素线性相关，从而可以直接比较像素间的差异获得差异图；异源图像是由不同传感器获得的图像，比如合成孔径雷达SAR图像和光学图像，它们像素之间不同的统计属性使得难以直接生成差异图。所以异源图像变化检测是比同源图像变化检测更具挑战性的一项技术。

现有的异源图像变化检测技术的一般步骤是先分类再比较PCC：首先利用图像分割技术分别对两幅图像进行分类，相同的类别用相同的标签标识；然后直接比较分类结果图获得变化检测图。但是这种方法只有在两幅图像都分类精确的情况下才能取得好的结果，而面对复杂的遥感图像，图像分割可能会精度不高，而且还需要人工确定图像分类的类别数目，这些都限制了PCC方法的实际应用。借助于神经网络强大的特征提取的能力，JiaLiu提出了一种基于对称卷积网络的异源图像变化检测方法SCCN，参见J.Liu,M.Gong,K.Qin,and P.Zhang,“A deep convolutional coupling network for change detectionbased on heterogeneous optical and radar images,”IEEE Transactions on NeuralNetworks and Learning Systems,Dec.2016。SCCN利用对称的卷积神经网络分别提取两幅图的特征，然后计算特征图的欧式距离获得差异图。但是该方法只计算了未变化区域而且用一固定的参数判别像素的变化与否，导致该方法在处理变化区域较多或者包含多目标的图像时精度较低。

由于上述基于分类的异源图像变化检测方法精度不高而且需要人工干预，而无监督的基于卷积神经网络的方法应用范围较小。因此，研究一种更加鲁棒的无监督的异源图像变化检测方法是本技术领域科技人员的当务之急。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于耦合翻译网络的异源图像变化检测方法，以提高检测精度，降低无监督的方法对图像源的要求，扩展异源无监督变化检测算法的应用范围。

为实现上述目的，本发明的技术方案包括如下：

(1)设定两个参数不同的翻译网络A和B，其距离系数分别为λ_A和λ_B；

(2)输入两幅配准后的异源图像I₁和I₂，用一个滑动窗口提取这两幅图像的邻域信息，然后计算邻域块之间的杰森-香农散度距离L，并根据L计算图像邻域块的概率系数P_u；

(3)以第二幅异源图像I₂为目标，以第一幅异源图像I₁为输入，对第一个翻译网络A进行训练，得到第一幅异源图像翻译后的图像

(4)以第一幅异源图像翻译后的图像

为目标，以第二幅异源图像I₂为输入，对第二个翻译网络B进行训练，得到第二幅异源图像翻译后的图像

(5)用与步骤(2)相同的方式计算翻译后的两幅图像

和

邻域块之间的杰森-香农散度距离

并根据

更新概率系数P_u；

(6)重复步骤(3)-(5)，直到第二个翻译网络B收敛；

(7)用log算子生成两幅翻译图像

和

的差异图DI；

(8)用FCM聚类算法对差异图DI进行聚类，得到变化检测图，并将其输出。

本发明与现有的技术相比具有以下优点：

1、本发明是一种完全无监督的方法，不需要任何人工标记的数据进行训练；

2、本发明采用滑动窗口进行采样，并且计算像素邻域间的杰森-香农距离作为像素未变化的概率系数对每个中心像素点进行加权，能有效降低未变化的像素以及噪声对检测结果的影响；

3、本发明采用两个互相耦合的深度生成对抗网络，通过样本之间不断的对抗学习，使翻译的图像质量更好，变化检测准确度更高。

4、本发明由于能将两幅异源图像翻译为同源图像，降低了对图像的来源、大小、分辨率等条件的限制，扩展了异源无监督变化检测算法的应用范围。

附图说明

图1是本发明的实现流程图；

图2是本发明仿真使用的第一组异源图像及参考图；

图3是用本发明对图2的仿真实验结果图；

图4是用分类比较法(PCC)对图2的仿真实验结果图；

图5是用对称卷积神经网络方法(SCCN)对图2的仿真实验结果图；

图6是本发明仿真使用的第二组异源图像及参考图；

图7是用本发明对图6的仿真实验结果图；

图8是用分类比较法(PCC)对图6的仿真实验结果图；

图9是用对称卷积神经网络方法(SCCN)对图6的仿真实验结果图。

具体实施方式

本发明是基于两个耦合的由生成对抗网络组成的翻译网络，其中每个翻译网络都包含一个生成器和一个判别器，参见I.Goodfellow,J.Pouget-Abadie,M.Mirza,B.Xu,D.Warde-Farley,S.Ozair,A.Courville,and Y.Bengio,“Generative adversarialnets,”in Advances in Neural Information Processing Systems,2014,pp.2672–2680。判别器负责判断输入图像的真假，而生成器学习生成假图像来“欺骗”判别器。两者不断对抗学习，生成器生成的图像与目标图像越来越相似，直到判别器无法判断出真假，生成器也就具备了将输入图像翻译成目标图像的能力。两个翻译网络分别对两幅异源图像进行翻译，直到各自的判别器都无法判别真假，生成的两幅图就具备了相似的统计属性，就可以直接比较两幅翻译后的图像得到变化检测图，其具体流程，如图1所示。

参照图1，本发明的实现步骤如下：

步骤1，设定两个翻译网络A和B及每个翻译网络的距离系数λ_A，λ_B。

1a)设定第一翻译网络A：其包括第一生成器G_A、第一判别器D_A和距离系数λ_A。生成器负责生成一个与输入大小相同的图像，判别器负责输出一个0到1之间的标量来表示判别器输入样本为真实样本的概率，生成器和判别器均由全连接网络构成；本实例设定网络层数为5，G_A的神经元节点数由输入到输出分别为25，50，200，100和25，D_A的神经元节点数由输入到输出分别为25，50，200，100和1。距离系数λ_A负责调节翻译网络A中保留输入图像特征和降低冗余信息之间的关系：如果λ_A过大，输入图像中被保留的冗余信息也就越多；如果λ_A过小，会导致翻译后图像与目标图像的像素差异变大，通过大量实验测试后，本实例设定λ_A为5；

1b)设定第二翻译网络B：设定第二翻译网络B与第一翻译网络A具有相同的结构，即：第二生成器G_B的神经元节点数由输入到输出分别为25，50，200，100和25，第二判别器D_B的神经元节点数由输入到输出分别为25，50，200，100和1；由于第二翻译网络B用于负责降低两幅翻译后的图像间像素差异，所以设定λ_B为的100。

步骤2，输入两幅配准后的异源图像I₁，I₂，计算其杰森-香农散度距离L，并根据L计算图像邻域块之间的概率系数P_u；

所述杰森-香农散度距离，是一种度量分布间相似度的指标，其按如下步骤进行计算：

2a)用一个大小为5×5的滑动窗口分别对两幅异源图像I₁，I₂提取邻域块，每幅图像提取到的邻域块数目为M；

2b)计算所有对应邻域块之间的杰森-香农散度距离L(I_1j,I_2j)：

其中P(I_1j)表示I₁中第j个邻域块I_1j中的像素点概率分布，P(I_2j)表示I₂中第j个邻域块I_2j中的像素点概率分布，P(I_1j+I_2j)表示这两个邻域块I_1j与I_2j之和的像素点概率分布；

2c)根据式<1>计算两幅图像所有对应邻域块I_1j和I_2j之间的概率系数：

P_u(I_1j,I_2j)＝1-L(I_1j,I_2j)，j＝1,2,…,M <2>

步骤3，以第二幅异源图像I₂为目标，以第一幅异源图像I₁为输入，训练第一翻译网络A，得到I₁的翻译图像

第一翻译网络A是由一个生成对抗网络和输入图像与目标图像之间的L₁范数组成的，按如下步骤进行训练：

3a)定义第一翻译网络A的目标函数TN_A：

TN_A＝V(D_A,G_A)+λ_AL₁(G_A,I₂) <3>

其中，V(D_A,G_A)表示第一翻译网络A的判别器D_A对G_A生成的图像G_A(I₁)和对第二幅异源图像I₂的判别信息的信息熵之和，L₁(G_A,I₂)表示G_A生成的图像G_A(I₁)与第二幅异源图像I₂之间的L₁范数，λ_A表示翻译网络A中V(D_A,G_A)与L₁(G_A,I₂)之间的距离系数：

L₁(G_A,I₂)＝||I₂-G_A(I₁)||₁ <5>

其中G_A为第一翻译网络A的生成器，D_A为第一翻译网络A的判别器，E表示信息熵的大小，p(I₁)表示第一幅异源图像I₁的像素点概率分布，p(I₂)表示第二幅异源图像I₂的像素点概率分布；

3b)利用随机梯度下降算法SGD优化如下目标函数，从而更新第一生成器G_A和第一判别器D_A中的参数，直到

的值小于0.01：

其中P_u(I₁,I₂)表示两幅异源图像I₁和I₂的邻域块之间的概率系数；

3c)将第一幅异源图像I₁输入到训练好的第一生成器G_A中，得到I₁的翻译后图像

步骤4以第一幅翻译图像

为目标，以第二幅异源图像I₂为输入，训练第二翻译网络B得到I₂翻译后的图像

本步骤的训练与第一翻译网络A类似，其实现如下：

4a)定义第二翻译网络B的目标函数TN_B：

TN_B＝V(D_B,G_B)+λ_BL₁(G_B) <7>

其中，V(D_B,G_B)表示第二翻译网络B的判别器D_B对生成器G_B生成的图像G_B(I₂)和对第一幅翻译图像

的判别信息的信息熵之和，

表示G_B生成的图像G_B(I₂)与第一幅翻译图像

之间的L₁范数，λ_B表示第二翻译网络B中V(D_B,G_B)与

之间的距离系数：

其中G_B为第二翻译网络B的生成器，D_B为第二翻译网络B的判别器，E表示信息熵的大小，

表示第一幅翻译图像

的像素点概率分布，p(I₂)表示第二幅异源图像I₂的像素点概率分布；

4b)利用随机梯度下降算法SGD优化如下目标函数，从而更新第二生成器G_B和第二判别器D_B中的参数，直到

的值小于0.01：

其中P_u(I₁,I₂)表示两幅异源图像I₁和I₂的邻域块之间的概率系数；

4c)将第二幅异源图像I₂输入到训练好的第二生成器G_B中，得到I₂翻译后的图像

步骤5，按如下公式更新概率系数P_u：

其中，I₁和I₂分别表示两幅原始异源图像，

和

分别表示I₁和I₂翻译后的图像。

步骤6，不断重复步骤3-5，直到第二翻译网络B的目标函数收敛，即公式<10>中的

数值稳定不变。

步骤7，利用log算子计算两幅翻译图像

和

之间的绝对值，得到两幅异源图像I₁和I₂的差异图DI(I₁,I₂)：

步骤8，利用FCM算法对差异图进行聚类，即将DI(I₁,I₂)作为FCM算法的输入，得到两类输出，即为最终变化检测结果图，其中数值大的一类表示变化的区域，数值小的一类表示未变化的区域。

本发明的效果可通过以下仿真进一步说明：

1.仿真条件与评价指标：

在Intel(R)Core(TM)i5-3210M CPU 2.5GHz Windows 10系统下，和Python2.7,Tensorflow1.3.0运行平台上进行。

主要评价指标有：

①漏检测数FN：统计实验结果图中发生变化区域的像素个数，与参考图中变化区域的像素个数进行对比，把参考图中发生变化但实验结果图中检测为未变化的像素个数，称为漏检数；

②误检测数FP：统计实验结果图中未发生变化区域的像素个数，与参考图中未发生变化区域的像素个数进行对比，把参考图中未发生变化但实验结果图中检测为变化的像素个数，称为误检个数；

③总错误数OE：漏检数和误检数的和；

④正确分类的概率OA：OA＝(TP+TN)/(TP+TN+FP+FN)；

⑤衡量检测结果图与参考图一致性的Kappa系数(KC)：KC＝(OA-PRE)/(1-PRE),

PRE＝(TP+FP)×Nc+(FN+TN)×Nu/N×N

这里，N表示总像素个数，Nc和Nu分别表示实际的变化像素数和未变化像素数。

2.仿真实验内容与结果

仿真1.基于耦合翻译网络的异源图像变化检测的仿真.

1.1)用本发明对图2所示的尺寸大小为291×343，拍摄于黄河区域的两幅SAR和光学图像进行翻译与变化检测，其中SAR图像与光学图像分别如图2(a)和图2(b)所示，图2(c)为标准变化检测图，翻译与变化检测后的结果如图3所示，其中：

图3(a)为SAR图像的翻译结果图，图3(b)为光学图像的翻译结果图，图3(c)为得到的差异图，图3(d)为变化检测结果图，其中的白色区域表示变化区域，黑色区域表示未变化区域。

从图3可见，本发明在保留了图像重要特征的同时降低了两幅图像像素间的差异,使两幅翻译图像图3(a)和图3(b)具有了相同的统计属性，从而使绝大部分的变化区域在图3(d)中被正确地检测出来。

1.2)用本发明对图6所示的尺寸大小为564×388，拍摄于曙光村庄区域的两幅SAR和光学图像进行翻译与变化检测，其中SAR图像与光学图像分别如图6(a)和图6(b)所示，图6(c)为标准变化检测图，翻译与变化检测后的结果如图7所示，其中：

图7(a)为SAR图像的翻译结果图，图7(b)为光学图像的翻译结果图，图7(c)为得到的差异图，图7(d)为变化检测结果图，其中的白色区域表示变化区域，黑色区域表示未变化区域。

从图7可见，本发明显著地突出了数据集中的重要目标，如建筑物，道路等，同时将图7(a)和图7(b)的背景区域翻译为相同的像素值，从而使变化的区域更加精确地在图7(d)中被检测出来。

仿真2.基于图像分类PCC的异源图像变化检测算法的仿真。

2.1)用现有PCC方法对图2所示的尺寸大小为291×343，拍摄于黄河区域的两幅SAR和光学图像进行分类与变化检测。结果如图4所示，其中：

图4(a)为SAR图像的分类结果图，图4(b)为光学图像的分类结果图，图4(c)为变化检测结果图，其中的白色区域表示变化区域，黑色区域表示未变化区域。

从图4可见，PCC方法对两幅图像的分类结果图4(a)和图4(b)中存在着大量由于噪声以及模糊边缘导致的误差，从而导致图4(c)中存在许多误检测的区域。

2.2)用现有PCC方法对图6所示的尺寸大小为564×388，拍摄于曙光村庄区域的两幅SAR和光学图像进行分类与变化检测。结果如图8所示，其中：

图8(a)为SAR图像的分类结果图，图8(b)为光学图像的分类结果图，图8(c)为变化检测结果图，其中的白色区域表示变化区域，黑色区域表示未变化区域。

从图8可见，由于本数据集中包含更多的目标区域，如建筑物，农田，池塘等，PCC方法将一些特征相似的区域错误分类成一类，如农田和道路，从而导致图8(c)中存在大量错误检测的区域。

仿真3.基于对称卷积网络SCCN的异源图像变化检测算法的仿真。

3.1)用现有SCCN方法对图2所示的尺寸大小为291×343，拍摄于黄河区域的两幅SAR和光学图像进行变化检测，结果如图5所示，其中：

图5(a)为得到的差异图，图5(b)为得到的变化检测结果图，其中的白色区域表示变化区域，黑色区域表示未变化区域。

从图5可见，SCCN方法得到的差异图图5(a)中包含一些由于异源图像的属性差异导致的冗余信息，从而使图5(b)中存在一些误检测的变化区域。

3.2)用现有SCCN方法对图6所示的尺寸大小为564×388，拍摄于曙光村庄区域的两幅SAR和光学图像进行变化检测。结果如图9所示，其中：

图9(a)为得到的差异图，图9(b)为得到的变化检测结果图，其中的白色区域表示变化区域，黑色区域表示未变化区域。

从图9可见，SCCN方法得到的差异图图9(a)中包含大量由于异源图像的属性差异导致的冗余信息，从而使图9(b)中存在许多误检测的变化区域。

对上述黄河数据集的变化检测仿真实验的实验数据进行分析，得到的定量评价分析表如表1所示。

表1黄河区域数据集的变化检测结果的定量评价分析表

从表1可以看出，无论哪种分类指标PCC的结果都是最差的。说明PCC方法受图像分类结果的影响较大，微小的分类错误都可能在检测结果中积聚成较大的检测误差。本发明的OE值虽然比SCCN方法多121个像素点，但本发明的FN值是最低的，比SCCN方法少371像素点，所以本发明的OA和KC指标都比SCCN方法高，尤其本发明的KC指标比SCCN方法高0.03。说明了本发明比PCC和SCCN具有更高的检测精度。

对上述曙光村庄数据集变化检测仿真实验的实验数据进行分析，得到的变化检测结果的定量评价分析表如表2所示。

表2曙光村庄数据集的变化检测结果的定量评价分析表

从表2可以看出，PCC方法的FP值最高，分类精度也很低，说明了PCC方法无法很好地应用到此类包含多目标的高分辨率数据集中。本发明的五种指标都是最优的，其中的KC指标比SCCN方法高了0.1，说明本发明比PCC和SCCN具有更高的检测精度和更广的应用范围。

综上所述，本发明针对SAR图像和光学图像的异源变化检测明显优于现有的PCC和SCCN方法。

Claims (7)

1.一种基于耦合翻译网络的异源图像变化检测方法，包括：

(1)设定两个参数不同的翻译网络A和B，其距离系数分别为λ_A和λ_B；

(2)输入两幅配准后的异源图像I₁和I₂，用一个滑动窗口提取这两幅图像的邻域信息，然后计算邻域块之间的杰森-香农散度距离L，并根据L计算图像邻域块的概率系数P_u，按如下步骤进行：

(2a)用一个大小为5×5的滑动窗口分别对两幅异源图像I₁和I₂提取邻域块，每幅图像提取到的邻域块数目为M；

(2b)计算邻域块之间的杰森-香农散度距离L(I_1j,I_2j)：

j＝1,2,…,M，其中P(I_1j)表示第一副图像中第j个邻域块I_1j中的像素点概率分布，P(I_2j)表示第二副图像中第j个邻域块I_2j中的像素点概率分布，P(I_1j+I_2j)表示这两个邻域块I_1j与I_2j之和的像素点概率分布；

(2c)计算两幅图像所有邻域块I_1j和I_2j之间的概率系数：

P_u(I_1j,I_2j)＝1-L(I_1j,I_2j)j＝1,2,…,M；

(3)以第二幅异源图像I₂为目标，以第一幅异源图像I₁为输入，对第一个翻译网络A进行训练，得到第一幅异源图像翻译后的图像

(4)以第一幅异源图像翻译后的图像

为目标，以第二幅异源图像I₂为输入，对第二个翻译网络B进行训练，得到第二幅异源图像翻译后的图像

(5)用与步骤(2)相同的方式计算翻译后的两幅图像

和

邻域块之间的杰森-香农散度距离

并根据

更新概率系数P_u；

(6)重复步骤(3)-(5)，直到第二个翻译网络B收敛；

(7)用log算子生成两幅翻译图像

和

的差异图DI；

(8)用FCM聚类算法对差异图DI进行聚类，得到变化检测图，并将其输出。

2.根据权利要求1所述的方法，其中步骤(1)设定的第一翻译网络A，由第一生成器G_A和第一判别器D_A组成，该第一生成器G_A由5层神经网络组成，其自上而下分别包含5、50、200、100、25个神经元；该第一判别器D_A由5层神经网络组成，其自上而下分别包含5、50、200、100、1个神经元，该第一翻译网络A的距离系数λ_A设为5。

3.根据权利要求1所述的方法，其中步骤(1)设定的第二翻译网络B，由第二生成器G_B和第二判别器D_B组成，该第二生成器G_B由5层神经网络组成，自上而下分别包含5、50、200、100、25个神经元；该第二判别器D_B由5层神经网络组成，自上而下分别包含5、50、200、100、1个神经元，该第二翻译网络B的距离系数λ_B设为100。

4.根据权利要求1所述的方法，其中，步骤(3)中获得第一幅异源图像I₁的翻译图像

按如下步骤进行：

(3a)计算翻译网络A的目标函数：

TN_A＝V(D_A,G_A)+λ_AL₁(G_A,I₂)，

其中，V(D_A,G_A)表示翻译网络A的判别器D_A对生成的图像G_A(I₁)和对第二幅原始图像I₂的判别信息的信息熵之和，L₁(G_A,I₂)表示生成的图像G_A(I₁)与第二幅图像I₂之间的L₁范数：

L₁(G_A,I₂)＝||I₂-G_A(I₁)||₁，

其中G_A为翻译网络A的生成器，D_A为翻译网络A的判别器，E表示信息熵的大小，p(I₁)表示第一幅异源图像I₁的像素点概率分布，p(I₂)表示第二幅异源图像I₂的像素点概率分布，λ_A表示翻译网络A中V(D_A,G_A)与L₁(G_A,I₂)之间的距离系数；

(3b)利用公式

更新生成器G_A和判别器D_A中的参数，直到

的值小于0.01，其中P_u(I₁,I₂)表示两幅异源图像I₁和I₂的邻域块之间的概率系数；

(3c)将第一幅异源图像I₁输入到训练好的生成器G_A中，得到I₁的翻译图像

即：

5.根据权利要求1所述的方法，其中，步骤(4)中获得第二幅异源图像I₂的翻译图像

按如下步骤进行：

(4a)计算翻译网络B的目标函数：

其中，V(D_B,G_B)表示翻译网络B的判别器D_B对生成器G_B生成的图像G_B(I₂)和对第一幅翻译图像

的判别信息的信息熵之和，

表示G_B生成的图像G_B(I₂)与第一幅翻译图像

之间的L₁范数：

其中G_B为翻译网络B的生成器，D_B为翻译网络B的判别器，E表示信息熵的大小，

表示第一幅翻译图像

的像素点概率分布，p(I₂)表示第二幅异源图像I₂的像素点概率分布，λ_B表示翻译网络B中V(D_B,G_B)与

之间的距离系数；

(4b)利用公式

更新生成器G_B和判别器D_B中的参数，直到

的值小于0.01，其中P_u(I₁,I₂)表示两幅异源图像I₁和I₂的邻域块之间的概率系数；

(4c)将第二幅异源图像I₂输入到训练好的生成器G_B中，获得I₂的翻译图像

即：

6.根据权利要求1所述的方法，其中，步骤(5)中的概率系数P_u，通过如下公式更新：

其中，I₁和I₂分别表示两幅原始异源图像，

和

分别表示I₁和I₂翻译后的图像。

7.根据权利要求1所述的方法，其中步骤(7)中用log算子生成两幅翻译图像

和

的差异图DI，是由log算子计算两幅翻译图像的绝对值得到，其公式表示如下：

其中，I₁和I₂分别表示两幅原始异源图像，

和

分别表示I₁和I₂翻译后的图像。

Images