CN109934154B - 一种遥感影像变化检测方法及检测装置 - Google Patents

Abstract

本发明提供一种遥感影像变化检测方法及检测装置，能够高模型对于变化区域的检测精度和变化发现能力。所述方法包括：S1，获取同一地区的两时相影像进行预处理，其中，影像为遥感影像；S2，在预处理后的两时相影像上，逐像素提取多尺度的光谱特征和纹理特征，得到训练数据集；S3，以堆栈降噪自编码器作为深度学习模型，利用得到的训练数据集训练深度学习模型；S4，获取需要测试的遥感影像并按照S1‑S2生成测试数据集，利用训练好的深度学习模型对测试数据集进行检测，将检测到的像素结果逆向拼接为图像，得到最终检测图。本发明涉及遥感影像处理技术领域。

Description

一种遥感影像变化检测方法及检测装置

技术领域

本发明涉及遥感影像处理技术领域，特别是指一种遥感影像变化检测方法及检测装置。

背景技术

近年来，由于气候变化、人类社会发展等诸多因素，自然环境变化加剧，同时城市也在迅速发展，便出现各种自然灾害频频发生、城镇乡村违建愈演愈烈等诸多问题。地物目标变化检测技术随之快速崛起，遥感图像因其覆盖地域大的特点被广泛应用于地物目标的变化检测。遥感图像的变化检测在各领域具有广泛的应用，如城市规划、灾害预测和战场情报分析等，因此，开展遥感图像变化检测方法的研究具有重要的应用价值。

现有研究中，基于深度学习的遥感影像变化检测技术，往往只是将单一尺度的邻域光谱信息作为变化与否的判断依据输入模型，运用深度网络学习特征后，进行变化检测。由于深度网络的输入数据尺度单一、特征较少，导致模型的检测精度低。

发明内容

本发明要解决的技术问题是提供一种遥感影像变化检测方法及检测装置，以解决现有技术所存在的深度网络的输入数据尺度单一、特征较少，导致模型的检测精度低的问题。

为解决上述技术问题，本发明实施例提供一种遥感影像变化检测方法，包括：

S1，获取同一地区的两时相影像进行预处理，其中，影像为遥感影像；

S2，在预处理后的两时相影像上，逐像素提取多尺度的光谱特征和纹理特征，得到训练数据集；

S3，以堆栈降噪自编码器作为深度学习模型，利用得到的训练数据集训练深度学习模型；

S4，获取需要测试的遥感影像并按照S1-S2生成测试数据集，利用训练好的深度学习模型对测试数据集进行检测，将检测到的像素结果逆向拼接为图像，得到最终检测图。

进一步地，所述获取同一地区的两时相影像进行预处理包括：

S11，获取同一地区的两时相影像，对两时相影像进行渲染增强处理；

S12，将增强效果较好的一时相影像的渲染图与另一时相影像的原始图进行直方图匹配。

进一步地，渲染增强方式包括：百分比截断拉伸、标准差拉伸、直方图均衡化拉伸、直方图规定化拉伸或最值拉伸。

进一步地，所述将增强效果较好的一时相影像的渲染图与另一时相影像的原始图进行直方图匹配包括：

将增强效果较好的一时相影像的渲染图与另一时相影像的原始图根据所配置的颜色空间、波段、匹配率进行直方图匹配。

进一步地，所述在预处理后的两时相影像上，逐像素提取多尺度的光谱特征和纹理特征，得到训练数据集包括：

S21，利用图像金字塔算法，对预处理后的两时相影像各制作三层图像金字塔，逐层、逐像素遍历三层图像金字塔，提取像素邻域范围内的光谱特征，得到两个多尺度的光谱特征向量；

S22，利用图像金字塔和灰度共生矩阵算法，逐像素遍历预处理后的两时相影像，以像素邻域为对象，计算其灰度共生矩阵，并在灰度共生矩阵的基础上提取统计学特征，以代表该像素的纹理特征，得到两个多尺度的纹理特征向量；

S23，按时相对应，分别将两个纹理特征向量与两个光谱特征向量拼接，得到两时相影像中某像素的特征向量，将得到的两时相影像中某像素的特征向量进行拼接，得到训练数据集，其中，训练数据集作为深度学习模型进行变化检测的特征向量，该特征向量中包含该像素两时相、多尺度、邻域内的光谱特征及纹理特征。

进一步地，所述利用图像金字塔算法，对预处理后的两时相影像各制作三层图像金字塔，逐层、逐像素遍历三层图像金字塔，提取像素邻域范围内的光谱特征，得到两个多尺度的光谱特征向量包括：

S211，利用图像金字塔算法，对预处理后的时相影像制作三层图像金字塔；

S212，逐像素遍历三层图像金字塔中的底层影像，对每一像素提取其邻域n×n范围内的光谱特征值，即RGB三通道特征值，将n×n×3个特征值拉伸为一个列向量，其中，底层影像为预处理后的时相影像；

S213，当S212进行逐像素遍历时，计算当前像素所在行列位置的百分比，通过该百分比计算得到三层图像金字塔的上两层影像所对应的像素坐标，逐层提取对应像素其邻域n×n范围内的光谱特征值，将n×n×3个特征值拉伸为一个列向量；

S214，对于同一时相影像的图像金字塔，将S212、S213中所得的三个尺度的光谱特征向量拼接为一个长向量，该长向量则包含预处理后的时相影像、单个像素的多尺度、邻域光谱特征；

S215，对预处理后的两时相影像分别执行S211-S214的操作，得到两个光谱特征长向量。

进一步地，所述利用图像金字塔和灰度共生矩阵算法，逐像素遍历预处理后的两时相影像，以像素邻域为对象，计算其灰度共生矩阵，并在灰度共生矩阵的基础上提取统计学特征，以代表该像素的纹理特征，得到两个多尺度的纹理特征向量包括：

S221，利用图像金字塔算法，对预处理后的时相影像制作两层图像金字塔，逐像素遍历两层图像金字塔中的底层影像，对每一像素提取其邻域n×n范围内的邻域矩阵，以该邻域矩阵为对象，计算其灰度共生矩阵；

S222，对S221中所得的某像素的灰度共生矩阵，计算其均值、方差、同质性、差异性，通过统计学特征代表该像素的纹理特征，将4个纹理特征拼接为一个纹理特征列向量；

S223，当S221进行逐像素遍历时，计算当前像素所在原始影像中行列位置的百分比，通过该百分比计算得到两层图像金字塔中上层影像所对应的像素坐标，提取上层影像对应像素其邻域n×n范围内的邻域矩阵，以该邻域矩阵为对象，计算其灰度共生矩阵，进一步计算该像素的纹理特征列向量；

S224，对于同一时相影像的图像金字塔，将S222、S223中所得的两个尺度的纹理特征向量拼接为一个长向量，该长向量则包含预处理后的时相影像、单个像素的多尺度、邻域纹理特征；

S225，对预处理后的两时相影像分别执行S221-S224的操作，得到两个纹理特征长向量；

其中，在邻域纹理特征时，通过多进程并行提取不同像素的特征并存储于数据库中。

进一步地，堆栈降噪自编码器的训练过程包括：无监督预训练和有监督微调；

在训练过程中，所述堆栈降噪自编码器自动对训练数据集进行加噪处理；

在有监督微调时，所述堆栈降噪自编码器的损失函数为不同样本间有权重区分的加权交叉熵损失函数。

进一步地，在无监督预训练过程中，使用包含影像全部数据的训练数据集；

在有监督微调过程中，使用三类标签训练方法，即在绘制标签时，对于变化与否不确定区域置为非0和255的第三种灰度值，在确定训练数据集时避开标签为该灰度值的像素。

本发明实施例还提供一种遥感影像变化检测装置，包括：

预处理模块，用于获取同一地区的两时相影像进行预处理，其中，影像为遥感影像；

提取模块，用于在预处理后的两时相影像上，逐像素提取多尺度的光谱特征和纹理特征，得到训练数据集；

训练模块，用于以堆栈降噪自编码器作为深度学习模型，利用得到的训练数据集训练深度学习模型；

检测模块，用于获取需要测试的遥感影像并按照预处理模块和生成模块生成测试数据集，利用训练好的深度学习模型对测试数据集进行检测，将检测到的像素结果逆向拼接为图像，得到最终检测图。

本发明的上述技术方案的有益效果如下：

上述方案中，获取同一地区的两时相影像进行预处理，其中，影像为遥感影像；在预处理后的两时相影像上，逐像素提取多尺度的光谱特征和纹理特征，得到训练数据集；以堆栈降噪自编码器作为深度学习模型，利用得到的训练数据集训练深度学习模型；这样，从两时相遥感影像中提取多尺度、多特征的数据集用于训练模型、提取地类地貌变化的区域，提高模型对于变化区域的检测精度和变化发现能力，降低了误检率和漏检率。

附图说明

图1为本发明实施例提供的遥感影像变化检测方法的流程示意图；

图2为本发明实施例提供的遥感影像变化检测方法的详细流程示意图；

图3为本发明实施例提供的某区域的时相1原始影像示意图；

图4为本发明实施例提供的某区域的时相1渲染后影像示意图；

图5为本发明实施例提供的时相2的原始影像；

图6为本发明实施例提供的做直方图匹配后的影像示意图；

图7为本发明实施例提供的三层图像金字塔示意图；

图8为本发明实施例提供的某区域的时相1遥感影像示意图；

图9为本发明实施例提供的某区域的时相2遥感影像示意图；

图10为本发明实施例提供的单一尺度光谱特征作为模型输入的变化检测结果示意图；

图11为本发明实施例提供的多尺度光谱特征作为模型输入的变化检测结果示意图；

图12为本发明实施例提供的某地区的时相1遥感影像示意图；

图13为本发明实施例提供的某地区的时相2遥感影像示意图；

图14为本发明实施例提供的未融入多尺度纹理特征的变化检测结果示意图；

图15为本发明实施例提供的融入多尺度纹理特征的变化检测结果的结构示意图；

图16为本发明实施例提供的某地区的时相1遥感影像示意图；

图17为本发明实施例提供的某地区的时相2遥感影像示意图；

图18为本发明实施例提供的图16、17的三类标签示意图；

图19为本发明实施例提供的预训练使用全样本、有监督微调使用精简样本的变化检测结果示意图；

图20为本发明实施例提供的预训练和有监督微调都使用精简样本的变化检测结果示意图；

图21为本发明实施例提供的遥感影像变化检测装置的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的深度网络的输入数据尺度单一、特征较少，导致模型的检测精度低的问题，提供一种遥感影像变化检测方法及检测装置。

实施例一

如图1所示，本发明实施例提供的遥感影像变化检测方法，包括：

S1，获取同一地区的两时相影像进行预处理，其中，影像为遥感影像；

S2，在预处理后的两时相影像上，逐像素提取多尺度的光谱特征和纹理特征，得到训练数据集；

S3，以堆栈降噪自编码器作为深度学习模型，利用得到的训练数据集训练深度学习模型；

S4，获取需要测试的遥感影像并按照S1-S2生成测试数据集，利用训练好的深度学习模型对测试数据集进行检测，将检测到的像素结果逆向拼接为图像，得到最终检测图。

本发明实施例所述的遥感影像变化检测方法，获取同一地区的两时相影像进行预处理，其中，影像为遥感影像；在预处理后的两时相影像上，逐像素提取多尺度的光谱特征和纹理特征，得到训练数据集；以堆栈降噪自编码器作为深度学习模型，利用得到的训练数据集训练深度学习模型；这样，从两时相遥感影像中提取多尺度、多特征的数据集用于训练模型、提取地类地貌变化的区域，提高模型对于变化区域的检测精度和变化发现能力，降低了误检率和漏检率。

在前述遥感影像变化检测方法的具体实施方式中，进一步地，如图2所示，所述获取同一地区的两时相影像进行预处理包括：

S11，获取同一地区的两时相影像，对两时相影像进行渲染增强处理；

S12，将增强效果较好的一时相影像的渲染图与另一时相影像的原始图进行直方图匹配。

本实施例中，假设，获取的两时相(时相1、时相2)遥感影像为宁夏银川部分地区遥感影像，影像尺寸为1000×1000，影像波段为R、G、B三通道，影像分辨率为1m。针对两时相遥感影像，根据地类地貌不同挑选出数张具有代表性的遥感影像，以其代表整个区域，进行渲染增强。

本实施例中，渲染增强方式包括：百分比截断拉伸、标准差拉伸、直方图均衡化拉伸、直方图规定化拉伸或最值拉伸。

本实施例中，可以使用百分比截断拉伸、标准差拉伸、直方图均衡化拉伸、直方图规定化拉伸、最值拉伸等多种渲染增强方式，对遥感影像进行渲染，所选用的渲染增强方式是可配置项，在实际应用中，可以根据具体场景以及渲染后效果改变设置。

本实施例中，为了更好地理解上述渲染增强方式，对其进行说明：

百分比截断拉伸：使用百分比范围内的数据作为极值，做线性拉伸，即数据范围的前n％和后n％的像素映射到极值上；

标准差拉伸：设定标准差倍数为n，统计影像像素的标准差，当像素值超过n×标准差，则将其值映射到目标像素域的极值上；

直方图均衡化拉伸：对图像进行非线性拉伸，重新分配图像象元值，使一定灰度范围内象元值的数量大致相等；

直方图规定化拉伸：指定灰度分布，将原始影像的灰度分布拉伸至与指定灰度分布一致；

最值拉伸：设定最大值和最小值，以二者作为端点，对影像像素值做线性拉伸；

不同拉伸方式适用于不同成像风格、不同地域的遥感影像，比如：百分比截断拉伸适用于增强较暗栅格图像的亮度；标准差拉伸经常用来使色调较暗的栅格数据集变亮；最值拉伸一般适用于拉伸像素值分布密集的栅格影像；经过直方图均衡化拉伸后，图像的整体对比度很强，但其实质是减少图像的灰度等级换取对比度的扩大，转换后易造成信息丢失。各种拉伸方式有其适合的场景，在预处理时需要对比各种方式、对比两时相影像的增强结果，选取增强效果最佳的渲染增强方式。

本实施例中，因为同期遥感影像的成像风格相近，所以需要对比两时相遥感影像的增强效果。本实施例中，可以逐方法、逐时相、逐张测试影像的增强效果，找到增强效果最佳的渲染增强方式以及对应时相，将该时相影像全部渲染，得到渲染图。

本实施例中，经过对比增强效果，得知渲染增强方式为百分比截断，参数设置中，截断最大值设定为1，截断最小值设定为0.3时，时相1的增强效果最佳。图3为时相1某区域原始影像，图4为时相1某区域渲染后影像，可发现：原始影像由于拍摄设备、光照等原因，整体色调偏暗，导致细节模糊不清，土地、草地纹理不明显。经过拉伸增强后，影像色调明亮，细节更加清晰，土地、草地的纹路特征更加明显，不同建筑、不同地貌间的差别加大，虽然经过渲染，但是影像更加符合实际，影像质量提升明显。

本实施例中，将时相1影像通过百分比截断方式渲染增强，使得该影像质量提升。由于成像时间不同，两时相影像拍摄时会因为成像设备、气候、光照等诸多因素存在差异，导致两期影像整体成像风格存在差异，即存在辐射误差。经过渲染增强后的时相1影像的渲染图与另一时相影像的原始图的辐射误差会进一步加大，为尽量减小除地类地貌改变外的其它影像间差异，降低两时相遥感影像间的辐射误差，使二者像素值分布和基础色调趋于一致，提高模型的变化检测精度，本实施例将未经处理的时相2影像的原始图与对应的、渲染后时相1影像的渲染图做直方图匹配，匹配二者的像素值分布直方图，当两幅影像的直方图一致时，二者的基础色调、成像风格会趋于一致，进而缩减了两幅影像间的辐射误差，减少了地类地貌改变外的无关差异，为后续步骤进行变化检测进行准备工作。

直方图匹配，是指将一幅遥感影像的直方图形状规定化为另一幅遥感影像的直方图形状，即匹配两影像的直方图形状使其一致。直方图形状一致的两幅影像基础色调一致，如此减小两影像间的辐射误差。在S11中挑选合适的渲染增强方式，对增强效果较好的一时相影像渲染至优秀效果。在S12中，将增强效果较好的一时相影像的渲染图与未经处理的另一遥感影像的原始图做直方图匹配。

需要注意的是：

在S12中，也可将增强效果较好的时相1影像的渲染图与增强处理后的时相2影像的渲染图做直方图匹配。本实施例中，将增强效果较好的时相1影像的渲染图与时相2影像的原始图进行直方图匹配，其原因主要是：实验后发现如此处理的两时相影像匹配效果更好，差异更小。

本实施例中，通过对遥感影像进行渲染增强处理、直方图匹配，能够提高影像质量和色彩丰富度，进而提高各地类间对比度；且能够降低两时相遥感影像间的辐射误差，使二者像素值分布和基础色调趋于一致。

在前述遥感影像变化检测方法的具体实施方式中，进一步地，所述将增强效果较好的一时相影像的渲染图与另一时相影像的原始图进行直方图匹配包括：

将增强效果较好的一时相影像的渲染图与另一时相影像的原始图根据所配置的颜色空间、波段、匹配率进行直方图匹配。

本实施例中，直方图匹配所运用的颜色空间(RGB、LAB、XYZ、LCH、LUV)、波段、匹配率设定为可配置项，在实际应用中，可以根据具体场景和影像成像风格改变设置，以达到更好的直方图匹配效果，进一步降低两时相影像的辐射误差。

本实施例中，在进行直方图匹配时，经过逐颜色空间、逐波段组合以及不同匹配率的实验后，选用的颜色空间为XYZ颜色空间，该颜色空间是1931年国际照明委员会(CIE)在RGB系统基础上，改用三个假象的原色X、Y、Z建立了一个新的色度系统，将它匹配等能光谱的三刺激值，并定名为“CIE1931标准色度观察者光谱三刺激值”。另一方面，实验后发现全波段匹配且匹配率为100％的效果最佳，图5为图3地区所对应时相2的原始影像，对其进行上述参数的直方图匹配后，效果如图6所示，可发现：时相2影像的原始色调偏墨绿，林草地区相比于时相1中的青绿色，时相2中更显深绿。时相2的水域受辐射误差影响更为显著，水体浅色区域呈墨绿色，水体深色区域呈黑色。并且红色屋顶建筑相比时相1颜色更为鲜艳。经过直方图匹配后，时相2影像改变明显，基础色调从原本的墨绿色向时相1中的青绿色改变，水体颜色变浅，更符合实际。红色房屋建筑也基本和时相1中同类建筑色调相近，由此可得，直方图匹配效果显著，两时相影像间辐射误差缩减明显。

在前述遥感影像变化检测方法的具体实施方式中，进一步地，所述在预处理后的两时相影像上，逐像素提取多尺度的光谱特征和纹理特征，得到训练数据集包括：

S21，利用图像金字塔算法，对预处理后的两时相影像各制作三层图像金字塔，逐层、逐像素遍历三层图像金字塔，提取像素邻域范围内的光谱特征，得到两个多尺度的光谱特征向量；

S22，利用图像金字塔和灰度共生矩阵算法，逐像素遍历预处理后的两时相影像，以像素邻域为对象，计算其灰度共生矩阵，并在灰度共生矩阵的基础上提取统计学特征，以代表该像素的纹理特征，得到两个多尺度的纹理特征向量；

S23，按时相对应，分别将两个纹理特征向量与两个光谱特征向量拼接，得到两时相影像中某像素的特征向量，将得到的两时相影像中某像素的特征向量进行拼接，得到训练数据集，其中，训练数据集作为深度学习模型进行变化检测的特征向量，该特征向量中包含该像素两时相、多尺度、邻域内的光谱特征及纹理特征。

本实施例中，经过预处理S1，两时相影像的质量提升，影像间无关误差减小，至此可制作用于训练模型的训练数据集。为了改善单一尺度特征作为模型输入的弊端，并增加模型的感受野，又避免邻域尺寸的选取问题，本实施例提出将模型输入从单一尺度光谱特征扩充为多尺度光谱特征，具体的：利用图像金字塔算法，对预处理后的两时相影像各制作三层图像金字塔，逐层、逐像素遍历三层图像金字塔，提取像素邻域范围内的光谱特征，得到两个多尺度的光谱特征向量(S21)，具体可以包括以下步骤：

S211，利用图像金字塔算法，对预处理后的时相影像缩放分辨率制作三层图像金字塔；

S212，逐像素遍历三层图像金字塔中的底层影像，对每一像素提取其邻域n×n范围内的光谱特征值，即RGB三通道特征值，将n×n×3个特征值拉伸为一个列向量，其中，底层影像为预处理后的时相影像；

S213，当S212进行逐像素遍历时，计算当前像素所在行列位置的百分比，通过该百分比计算得到三层图像金字塔的上两层影像所对应的像素坐标，逐层提取对应像素其邻域n×n范围内的光谱特征值，将n×n×3个特征值拉伸为一个列向量；

S214，对于同一时相影像的图像金字塔，将S212、S213中所得的三个尺度的光谱特征向量拼接为一个长向量，该长向量则包含预处理后的时相影像、单个像素的多尺度、邻域光谱特征；

S215，对预处理后的两时相影像分别执行S211-S214的操作，得到两个光谱特征长向量。

本实施例中，使用图像金字塔算法，将原始两时相遥感影像缩放分辨率，制作三层图像金字塔，其效果如图7所示。接下来逐层提取邻域内的光谱特征，经过实验，邻域尺寸设置为3×3时，变化检测效果最佳。在单层内，每个像素的光谱特征由邻域内像素的全波段值构成，即3×3×3个特征值。在各层间，由于图像金字塔改变了原始影像的尺寸，所以在原始影像(底层)上逐像素提取特征的方法不能直接用于高层影像。当提取金字塔中上两层影像的光谱特征时，计算当前像素在底层中行列位置的百分比，通过该百分比计算得到图像金字塔中上层影像所对应的像素坐标，计算公式如下：

x_top＝x_bot÷W_bot×W_top

y_top＝y_bot÷h_bot×h_top

其中，x_top为底层像素所对应的上层像素的行坐标，x_bot为当前遍历到的底层像素的行坐标，w_bot为原始影像(底层)的宽，w_top为上层影像的宽；y与x下标相对应，代表像素列坐标，h与w下表对应，代表影像的长。

通过上述方法，每个像素可提取得到3个3×3×3的特征矩阵，为便于输入模型进行训练，将特征矩阵拉伸为列向量并依次拼接，单时相、单像素可得到1个由81个特征值组成的光谱特征向量，两时相影像的每个像素则有2个光谱特征向量，将二者拼接则得到一个包含预处理后的时相影像、单个像素的多尺度、邻域光谱特征。

本实施例中，通过图像金字塔算法和邻域特征提取方式实现了神经网络中的卷积核和池化，并且选择堆栈降噪自编码器作为模型，其输入是像素级的特征，使得最终做变化检测时的预测结果也是像素级的，预测结果更加细致、准确。对预处理后的时相影像做三层图像金字塔，在每层金字塔上使用同一尺寸的邻域块提取特征，将原本对邻域尺寸的缩放调优问题，转换为对遥感影像进行缩放的方式来解决。在一定程度上规避了邻域尺寸的选取问题。

本实施例中，使用常规的堆栈降噪自编码器进行变化检测时，图8、图9为某区域的两时相遥感影像，图10为单一尺度光谱特征集用于训练、预测的变化检测效果，图11为使用图像金字塔算法制作多尺度光谱特征集用于训练、预测的变化检测效果。可发现：以多尺度特征为训练集的检测结果中，椒盐噪声明显减少，变化区域的连通性大大加强，变化区域镂空减少，检测效果整体提升。融入多尺度特征后，模型的感受野被多尺度化，既有细节特征，又有全局特征，使得检测效果的整体性变好，减少了由于观测过于局部产生的椒盐噪声。

本实施例中，通过S211-S214对两时相遥感影像制作多尺度光谱特征，改善传统变化检测方法中的输入特征尺度单一问题。

本实施例中，现有技术中的基于深度学习的变化检测方法，输入深度网络的特征往往只是邻域光谱特征，随着成像技术愈发先进，影像空间分辨率提升，遥感影像地物光谱异质性增加，同类地物类内方差增大，不同类地物类间方差减小，导致“同物异谱，同谱异物”的现象愈发严重，此时若仅依靠遥感影像的光谱特征作为模型判断变化的依据，模型检测效果往往不好，为改善此问题，本实施例扩充模型的输入特征数目，进行波段融合、光谱特征运算得到像素级的纹理特征，并将纹理特征和光谱特征一并输入模型进行训练和特征学习，可以提高变化发现能力和变化检测精度。另一方面，本实施例中，在提取纹理信息时，也融合多尺度思想，既增加纹理特征在总特征向量中的权重，又在不同的感受野上提取纹理特征，对模型学习有所帮助。

本实施例中，为扩充模型变化检测时所参考的特征数目，利用图像金字塔和灰度共生矩阵算法(Gray-level co-occurrence matrix，GLCM)，逐像素遍历预处理后的两时相影像，以像素邻域为对象，计算其灰度共生矩阵，并在灰度共生矩阵的基础上提取统计学特征，以代表该像素的纹理特征，得到两个多尺度的纹理特征向量(S22)，具体可以包括以下步骤：

S221，利用图像金字塔算法，对预处理后的时相影像制作两层图像金字塔，逐像素遍历两层图像金字塔中的底层影像，对每一像素提取其邻域n×n范围内的邻域矩阵，以该邻域矩阵为对象，计算其灰度共生矩阵；

S222，对S221中所得的某像素的灰度共生矩阵，计算其均值、方差、同质性、差异性，通过统计学特征代表该像素的纹理特征，将4个纹理特征(均值、方差、同质性、差异性)拼接为一个纹理特征列向量；

S223，当S221进行逐像素遍历时，计算当前像素所在原始影像中行列位置的百分比，通过该百分比计算得到两层图像金字塔中上层影像所对应的像素坐标，提取上层影像对应像素其邻域n×n范围内的邻域矩阵，以该邻域矩阵为对象，计算其灰度共生矩阵，进一步计算该像素的纹理特征列向量；

S224，对于同一时相影像的图像金字塔，将S222、S223中所得的两个尺度的纹理特征向量拼接为一个长向量，该长向量则包含预处理后的时相影像、单个像素的多尺度、邻域纹理特征；

S225，对预处理后的两时相影像分别执行S221-S224的操作，得到两个纹理特征长向量；

其中，在邻域纹理特征时，通过多进程并行提取不同像素的特征并存储于数据库中。

本实施例中，首先运用图像金字塔算法对两时相遥感影像做两层图像金字塔。而后逐像素遍历原始影像，邻域尺寸设置为5，这是因为纹理特征相较光谱特征更依赖于邻域的整体性，其将像素的邻域作为一个整体对象计算灰度共生矩阵，统计邻域内像素分布规律和变化情况，若邻域尺寸设定太小，则邻域内地貌整体性不强，纹理特征不准确。遍历像素时，对每一像素提取其5×5范围内的邻域矩阵，以该邻域矩阵为对象，计算其灰度共生矩阵，每个灰度共生矩阵可提取多个统计学特征作为该邻域的纹理特征，实验得到不同地貌间的均值、方差、同质性、差异性特征差异最大，最适合作为变化检测的依据，将上述4个纹理特征拼接为1个列向量。提取上层影像对应像素的纹理特征方法，与提取上层影像对应像素的光谱特征方法相似，通过像素坐标对应公式计算上层像素的坐标，而后计算纹理特征即可。对于同一时相影像，将之前所得两个尺度的纹理特征向量拼接为一个长向量，该长向量则包含预处理后的时相影像、单个像素的多尺度、邻域纹理特征；之后分别对两幅影像做上述处理，最终得到两个纹理特征长向量。

本实施例中，根据上述方法逐时相、逐层、逐像素计算影像的纹理特征时，会遇到一个问题：两时相、两层图像金字塔、每个像素提取四个纹理特征，则提取得到的纹理特征数目为2×2×4，共16个，相比于多尺度光谱特征的162个特征值而言，二者比例约为1：10，这使得纹理特征在总特征向量中所占权重过低，而模型会不重视对该特征的学习，使得纹理特征对变化检测起到的作用过小。由此本实施例对纹理特征进行扩充，从原本仅在灰度图上提取影像纹理特征，扩充为在R、G、B、灰度4通道上分别提取纹理特征并拼接，最终针对每个像素可获得16×4，共64个纹理特征值，此时纹理特征与光谱特征数目比约为2：5，纹理特征权重提升。

本实施例中，随着纹理特征扩充，产生了新问题：计算纹理特征需要对邻域内的像素值进行数理统计，获得灰度共生矩阵(GLCM)，以GLCM为对象进一步提取特征。由于纹理特征的提取是逐时相、逐层、逐像素的，本实施例所用遥感影像的尺寸为1000×1000，提取一组(两张)共需要计算获得2×4×1000×1000，共800万个GLCM，会产生极大的计算量，在实验中串行执行纹理特征提取程序，一组遥感影像需要花费13小时左右的制作时间。对于实验和测试，这种计算成本和时间花费是难以接受的。为加速纹理特征提取，本实施例组合运用多进程技术和数据库技术。基本流程为：数据集制作过程以像素为基本单位进行，通过多进程并行提取不同像素的特征并存储，实现加速提取特征。将单个像素特征存储为单独二进制文件并不实际，所以本实施例将像素特征存储于MySQL数据库中，以单个像素的特征提取作为子任务，各进程分别处理不同像素的特征提取任务，并将得到的二进制格式特征、像素的坐标及像素的变化标签作为一条数据存入数据库中。本实施例采用40进程并发提取遥感影像特征，最终单组影像耗时约40分钟，提速倍数约为：

13×60÷40＝19.5倍

提速倍数与进程数相差较大的主要原因是：为保证数据库的稳定以及数据插入正常，程序消耗大量时间用于数据库建立连接、插入数据、断开连接，导致提速倍数小于进程数的情况，总体而言提速效果比较显著，对于实验和预测，单组影像消耗40分钟是可接受的。

本实施例中，在执行S225后，共得到四个特征长向量，按时相对应，分别将两个纹理特征长向量与两个光谱特征长向量拼接，得到两时相遥感影像中某像素的特征向量，再将两个特征向量拼接，得到训练数据集；训练数据集输入模型训练模型，训练数据集中的特征向量中包含像素对应两时相、多尺度、邻域内的光谱特征及纹理特征，因此，得到的是多尺度、多特征、多波段融合、高准确度的训练数据集。

以图12、13所示区域为例，图14为未融入纹理特征的检测结果，图15为融入纹理特征的检测结果。可发现：融入纹理特征后，模型的检测能力整体提升，特别是水泥道路检测能力提升明显，检测结果连通性更好，形状更加规整；部分房屋的变化发现能力变强；伪变化检测减少；变化检测效果提升明显。但是仍然存在误检及椒盐噪声的问题。

在前述遥感影像变化检测方法的具体实施方式中，进一步地，堆栈降噪自编码器的训练过程包括：无监督预训练和有监督微调；

在训练过程中，所述堆栈降噪自编码器自动对训练数据集进行加噪处理；

在有监督微调时，所述堆栈降噪自编码器的损失函数为不同样本间有权重区分的加权交叉熵损失函数。

本实施例中，在得到训练数据集之后，便需要将训练数据集输入模型进行训练。本实施例所选用的模型是堆栈降噪自编码器(Stacked Denoising AutoEncoder，SDAE)，堆栈降噪自编码器的训练过程包括：无监督预训练和有监督微调。本实施例的SDAE共6层，各层神经元个数为：226，250，150，100，50，2；激活函数选择relu函数；优化器选择sgd优化器；自动编码器的正则化参数为5×10^-4；预训练时，自动编码器的损失函数选择mse函数。

在逐像素预训练的过程中，编码器逐层提取不同地类地貌的深层特征，将地类地貌的特征抽象化，便于加快有监督微调，利于区分像素地类变化与否，具体的：堆栈降噪自编码器进行栈展开，将多层网络按层展开为多个单层网络，训练第一层时，将包含光谱特征和纹理特征的列向量输入网络，并以其自身作为输出(标签)，通过单隐层特征的学习，实现重构输入的目的；在此过程中，输入向量的深层特征会被模型提取，该特征基本包含重构输入所需的特征，将基础特征抽象化。在训练下一层时，将上层模型的隐层作为下层模型的输入，而下层模型的输出(标签)仍为该输入，由此实现对上层模型所提取特征的进一步抽象。在预训练完毕后，将展开的各单层模型重新堆叠，作为一个整体的深度网络，其具备经过预训练的初始权重，使有监督微调加快收敛。权重微调时，模型在标签的指导下，进一步学习光谱、纹理特征，提取出利于区分变化与否的深层特征。

本实施例中，SDAE还具备降噪功能，在训练过程中会自动对训练数据集加噪处理，如对样本集添加椒盐噪声等，模型在受污染的输入特征下也能实现重构原始输入或进行正确分类，避免了模型过拟合，增强了模型的鲁棒性。

本实施例中，堆栈降噪自编码器虽然能对遥感影像进行有效的特征学习，但是由于遥感影像变化检测往往存在正负样本不均衡的问题，这是基础SDAE无法解决的。虽然当前社会发展迅速，城市建设拆除节奏快，但也难以出现地貌变化区域多于未变化区域的情况，所以变化样本少于未变化样本往往是变化检测的固有问题。在训练模型时减小损失函数的策略下，会让模型更倾向将待判断像素划分为未变化像素，因为这样会有较高的正确率。而变化检测往往应更关注和重视变化区域，二者产生矛盾。

为改善遥感影像变化检测中的正负样本不均衡这一问题，在有监督微调时，本实施例优化基础SDAE的损失函数，将原始损失函数修改为不同样本间有权重区分的加权交叉熵损失函数，调整训练数据集中正负样本对损失函数的影响权重，使模型更重视少量正样本不被错分，借此模型可学习到更有价值、更抽象、更有代表性的深层特征。正负样本的权重比例设定为可配置参数，根据训练数据集的具体样本情况修改权重比例，保证模型性能更佳。经过实验后，本实施例中正负样本的权重比例设定为3：1时，模型的检测性能最佳。

本实施例中，在改善模型损失函数以改善变化检测的固有样本问题后，需要面对另一个人为造成的样本问题：遥感影像变化检测的训练数据往往没有权威标签，仅靠工作人员绘制标签，对于变化与否判断困难的区域，会产生标注问题，进而降低训练数据的准确度。为避免此问题，提高训练样本准确度，本实施例中，基于三类标签训练方法，即在绘制标签时，对于变化与否不确定区域置为非0和255的第三种灰度值，在制作训练数据集时避开标签为该灰度值的样本，以保证训练集中样本的分类准确，提高训练数据的准确度。以图16、17所示区域为例，绘制的三类标签如图18所示。本实施例将变化判断困难区域的灰度值置为128，在逐像素遍历制作训练集时，遇到标签灰度值为128的像素，则跳过该点的光谱特征提取，即训练数据集中不包含该不确定点，以此提高训练集中样本准确度。

三类标签训练方法会引发另一问题：模型的训练过程中，训练遥感影像中部分地貌由于变化与否判断困难而未用于模型训练，致使模型对该地貌的变化检测能力不强，易错分类。

为改善此问题，本实施例在无监督预训练过程中不区分三类标签，即训练数据集不精简，使用包含影像全部数据的训练数据集以保证模型能提取训练影像中全部地类地貌的深层特征，提升模型的检测能力，既提高训练数据集的准确度，又不减少数据集中地貌的丰富度。在有监督微调过程中，使用三类标签训练方法，即在绘制标签时，对于变化与否不确定区域置为非0和255的第三种灰度值，在确定训练数据集时避开标签为该灰度值的像素。以图16、17所示区域为例，预训练使用全样本、有监督微调使用精简样本的变化检测结果(也可以称为预测结果)如图19，预训练和有监督微调都使用精简样本的变化检测结果如图20。这样，既提高训练数据集的准确度，又不减少训练数据集中地貌的丰富度。

综上，本发明实施例所述的遥感影像变化检测方法具有以下优点：

1)利用图像渲染增强算法对原始影像进行渲染，再运用直方图匹配算法降低两时相影像间的辐射误差；

2)运用图像金字塔算法提取多尺度光谱特征，扩大模型感受野、扩充输入特征尺度，使用灰度共生矩阵计算遥感影像的纹理特征，实现对光谱特征的二次运算及波段融合，得到多尺度、多特征、多波段融合、高准确度的训练数据集，丰富模型输入特征；

3)针对变化检测正负样本不均衡的固有问题，优化堆栈降噪自编码器的损失函数，将不同类间样本权重设为可配置项，根据训练样本情况修改权重比，使模型更重视少量变化样本的分类错误问题，保证模型学到更深层、抽象、有价值的特征；

4)由于变化检测所用样本多不是遥感专业领域人员标注，面对变化与否难以判断的地区，会产生样本标注不准确的问题，为改善这一问题，本实施例提出三类标签的训练方法，提高训练样本的准确度，并在预训练时将全样本输入，以改善三类标签训练法所带来的训练样本丰富度下降的问题，既保证训练样本的精度，又不降低样本丰富度。

实施例二

本发明还提供一种遥感影像变化检测装置的具体实施方式，由于本发明提供的遥感影像变化检测装置与前述遥感影像变化检测方法的具体实施方式相对应，该遥感影像变化检测装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述遥感影像变化检测方法具体实施方式中的解释说明，也适用于本发明提供的遥感影像变化检测装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。

如图21所示，本发明实施例还提供一种遥感影像变化检测装置，包括：

预处理模块11，用于获取同一地区的两时相影像进行预处理，其中，影像为遥感影像；

提取模块12，用于在预处理后的两时相影像上，逐像素提取多尺度的光谱特征和纹理特征，得到训练数据集；

训练模块13，用于以堆栈降噪自编码器作为深度学习模型，利用得到的训练数据集训练深度学习模型；

检测模块14，用于获取需要测试的遥感影像并按照预处理模块和生成模块生成测试数据集，利用训练好的深度学习模型对测试数据集进行检测，将检测到的像素结果逆向拼接为图像，得到最终检测图。

本发明实施例所述的遥感影像变化检测装置，获取同一地区的两时相影像进行预处理，其中，影像为遥感影像；在预处理后的两时相影像上，逐像素提取多尺度的光谱特征和纹理特征，得到训练数据集；以堆栈降噪自编码器作为深度学习模型，利用得到的训练数据集训练深度学习模型；这样，从两时相遥感影像中提取多尺度、多特征的数据集用于训练模型、提取地类地貌变化的区域，提高模型对于变化区域的检测精度和变化发现能力，降低了误检率和漏检率。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种遥感影像变化检测方法，其特征在于，包括：

S1，获取同一地区的两时相影像进行预处理，其中，影像为遥感影像；

S2，在预处理后的两时相影像上，逐像素提取多尺度的光谱特征和纹理特征，得到训练数据集；

S3，以堆栈降噪自编码器作为深度学习模型，利用得到的训练数据集训练深度学习模型；

S4，获取需要测试的遥感影像并按照S1-S2生成测试数据集，利用训练好的深度学习模型对测试数据集进行检测，将检测到的像素结果逆向拼接为图像，得到最终检测图；

其中，所述在预处理后的两时相影像上，逐像素提取多尺度的光谱特征和纹理特征，得到训练数据集包括：

S21，利用图像金字塔算法，对预处理后的两时相影像各制作三层图像金字塔，逐层、逐像素遍历三层图像金字塔，提取像素邻域范围内的光谱特征，得到两个多尺度的光谱特征向量；

S22，利用图像金字塔和灰度共生矩阵算法，逐像素遍历预处理后的两时相影像，以像素邻域为对象，计算其灰度共生矩阵，并在灰度共生矩阵的基础上提取统计学特征，以代表该像素的纹理特征，得到两个多尺度的纹理特征向量；

S23，按时相对应，分别将两个纹理特征向量与两个光谱特征向量拼接，得到两时相影像中某像素的特征向量，将得到的两时相影像中某像素的特征向量进行拼接，得到训练数据集，其中，训练数据集作为深度学习模型进行变化检测的特征向量，该特征向量中包含该像素两时相、多尺度、邻域内的光谱特征及纹理特征；

所述利用图像金字塔算法，对预处理后的两时相影像各制作三层图像金字塔，逐层、逐像素遍历三层图像金字塔，提取像素邻域范围内的光谱特征，得到两个多尺度的光谱特征向量包括：

S211，利用图像金字塔算法，对预处理后的时相影像制作三层图像金字塔；

S212，逐像素遍历三层图像金字塔中的底层影像，对每一像素提取其邻域n×n范围内的光谱特征值，即RGB三通道特征值，将n×n×3个特征值拉伸为一个列向量，其中，底层影像为预处理后的时相影像；

S213，当S212进行逐像素遍历时，计算当前像素所在行列位置的百分比，通过该百分比计算得到三层图像金字塔的上两层影像所对应的像素坐标，逐层提取对应像素其邻域n×n范围内的光谱特征值，将n×n×3个特征值拉伸为一个列向量；

S214，对于同一时相影像的图像金字塔，将S212、S213中所得的三个尺度的光谱特征向量拼接为一个长向量，该长向量则包含预处理后的时相影像、单个像素的多尺度、邻域光谱特征；

S215，对预处理后的两时相影像分别执行S211-S214的操作，得到两个光谱特征长向量；

所述利用图像金字塔和灰度共生矩阵算法，逐像素遍历预处理后的两时相影像，以像素邻域为对象，计算其灰度共生矩阵，并在灰度共生矩阵的基础上提取统计学特征，以代表该像素的纹理特征，得到两个多尺度的纹理特征向量包括：

S221，利用图像金字塔算法，对预处理后的时相影像制作两层图像金字塔，逐像素遍历两层图像金字塔中的底层影像，对每一像素提取其邻域n×n范围内的邻域矩阵，以该邻域矩阵为对象，计算其灰度共生矩阵；

S222，对S221中所得的某像素的灰度共生矩阵，计算其均值、方差、同质性、差异性，通过统计学特征代表该像素的纹理特征，将4个纹理特征拼接为一个纹理特征列向量；

S223，当S221进行逐像素遍历时，计算当前像素所在原始影像中行列位置的百分比，通过该百分比计算得到两层图像金字塔中上层影像所对应的像素坐标，提取上层影像对应像素其邻域n×n范围内的邻域矩阵，以该邻域矩阵为对象，计算其灰度共生矩阵，进一步计算该像素的纹理特征列向量；

S224，对于同一时相影像的图像金字塔，将S222、S223中所得的两个尺度的纹理特征向量拼接为一个长向量，该长向量则包含预处理后的时相影像、单个像素的多尺度、邻域纹理特征；

S225，对预处理后的两时相影像分别执行S221-S224的操作，得到两个纹理特征长向量；

其中，在邻域纹理特征时，通过多进程并行提取不同像素的特征并存储于数据库中。

2.根据权利要求1所述的遥感影像变化检测方法，其特征在于，所述获取同一地区的两时相影像进行预处理包括：

S11，获取同一地区的两时相影像，对两时相影像进行渲染增强处理；

S12，将增强效果较好的一时相影像的渲染图与另一时相影像的原始图进行直方图匹配。

3.根据权利要求2所述的遥感影像变化检测方法，其特征在于，渲染增强方式包括：百分比截断拉伸、标准差拉伸、直方图均衡化拉伸、直方图规定化拉伸或最值拉伸。

4.根据权利要求2所述的遥感影像变化检测方法，其特征在于，所述将增强效果较好的一时相影像的渲染图与另一时相影像的原始图进行直方图匹配包括：

将增强效果较好的一时相影像的渲染图与另一时相影像的原始图根据所配置的颜色空间、波段、匹配率进行直方图匹配。

5.根据权利要求1所述的遥感影像变化检测方法，其特征在于，堆栈降噪自编码器的训练过程包括：无监督预训练和有监督微调；

在训练过程中，所述堆栈降噪自编码器自动对训练数据集进行加噪处理；

在有监督微调时，所述堆栈降噪自编码器的损失函数为不同样本间有权重区分的加权交叉熵损失函数。

6.根据权利要求5所述的遥感影像变化检测方法，其特征在于，在无监督预训练过程中，使用包含影像全部数据的训练数据集；

在有监督微调过程中，使用三类标签训练方法，即在绘制标签时，对于变化与否不确定区域置为非0和255的第三种灰度值，在确定训练数据集时避开标签为该灰度值的像素。

7.一种遥感影像变化检测装置，其特征在于，包括：

预处理模块，用于获取同一地区的两时相影像进行预处理，其中，影像为遥感影像；

提取模块，用于在预处理后的两时相影像上，逐像素提取多尺度的光谱特征和纹理特征，得到训练数据集；

训练模块，用于以堆栈降噪自编码器作为深度学习模型，利用得到的训练数据集训练深度学习模型；

检测模块，用于获取需要测试的遥感影像并按照预处理模块和生成模块生成测试数据集，利用训练好的深度学习模型对测试数据集进行检测，将检测到的像素结果逆向拼接为图像，得到最终检测图；

其中，所述提取模块具体用于：

S21，利用图像金字塔算法，对预处理后的两时相影像各制作三层图像金字塔，逐层、逐像素遍历三层图像金字塔，提取像素邻域范围内的光谱特征，得到两个多尺度的光谱特征向量；

S22，利用图像金字塔和灰度共生矩阵算法，逐像素遍历预处理后的两时相影像，以像素邻域为对象，计算其灰度共生矩阵，并在灰度共生矩阵的基础上提取统计学特征，以代表该像素的纹理特征，得到两个多尺度的纹理特征向量；

S23，按时相对应，分别将两个纹理特征向量与两个光谱特征向量拼接，得到两时相影像中某像素的特征向量，将得到的两时相影像中某像素的特征向量进行拼接，得到训练数据集，其中，训练数据集作为深度学习模型进行变化检测的特征向量，该特征向量中包含该像素两时相、多尺度、邻域内的光谱特征及纹理特征；

所述利用图像金字塔算法，对预处理后的两时相影像各制作三层图像金字塔，逐层、逐像素遍历三层图像金字塔，提取像素邻域范围内的光谱特征，得到两个多尺度的光谱特征向量包括：

S211，利用图像金字塔算法，对预处理后的时相影像制作三层图像金字塔；

S212，逐像素遍历三层图像金字塔中的底层影像，对每一像素提取其邻域n×n范围内的光谱特征值，即RGB三通道特征值，将n×n×3个特征值拉伸为一个列向量，其中，底层影像为预处理后的时相影像；

S213，当S212进行逐像素遍历时，计算当前像素所在行列位置的百分比，通过该百分比计算得到三层图像金字塔的上两层影像所对应的像素坐标，逐层提取对应像素其邻域n×n范围内的光谱特征值，将n×n×3个特征值拉伸为一个列向量；

S214，对于同一时相影像的图像金字塔，将S212、S213中所得的三个尺度的光谱特征向量拼接为一个长向量，该长向量则包含预处理后的时相影像、单个像素的多尺度、邻域光谱特征；

S215，对预处理后的两时相影像分别执行S211-S214的操作，得到两个光谱特征长向量；

所述利用图像金字塔和灰度共生矩阵算法，逐像素遍历预处理后的两时相影像，以像素邻域为对象，计算其灰度共生矩阵，并在灰度共生矩阵的基础上提取统计学特征，以代表该像素的纹理特征，得到两个多尺度的纹理特征向量包括：

S221，利用图像金字塔算法，对预处理后的时相影像制作两层图像金字塔，逐像素遍历两层图像金字塔中的底层影像，对每一像素提取其邻域n×n范围内的邻域矩阵，以该邻域矩阵为对象，计算其灰度共生矩阵；

S222，对S221中所得的某像素的灰度共生矩阵，计算其均值、方差、同质性、差异性，通过统计学特征代表该像素的纹理特征，将4个纹理特征拼接为一个纹理特征列向量；

S223，当S221进行逐像素遍历时，计算当前像素所在原始影像中行列位置的百分比，通过该百分比计算得到两层图像金字塔中上层影像所对应的像素坐标，提取上层影像对应像素其邻域n×n范围内的邻域矩阵，以该邻域矩阵为对象，计算其灰度共生矩阵，进一步计算该像素的纹理特征列向量；

S224，对于同一时相影像的图像金字塔，将S222、S223中所得的两个尺度的纹理特征向量拼接为一个长向量，该长向量则包含预处理后的时相影像、单个像素的多尺度、邻域纹理特征；

S225，对预处理后的两时相影像分别执行S221-S224的操作，得到两个纹理特征长向量；

其中，在邻域纹理特征时，通过多进程并行提取不同像素的特征并存储于数据库中。

Images