CN115205710B - 一种结合色彩校正的双时相遥感图像变化检测方法 - Google Patents

Abstract

本发明公开了一种结合色彩校正的双时相遥感图像变化检测方法，包括：分别提取时相1图像和时相2图像，将时相1图像处理成图像向量，作为图像特征编码器的输入，生成图像特征；将生成的图像特征输入图像校正网络解码器中，得到对时相1图像的色彩校正结果；将校正后的时相1图像和时相2图像分别处理，得到对应的图像向量；使用图像特征编码器处理校正后的时相1图像向量和时相2图像向量，提取到两幅图像的特征；将提取到的双时相图像特征进行拼接，利用拼接的特征作为图像变化检测编码器的输入，输出变化检测结果。通过该方法可有效解决双时相图像因客观因素造成的色彩差异对遥感图像变化检测的影响，完成对双时相图像的遥感影像变化检测。

Description

一种结合色彩校正的双时相遥感图像变化检测方法

技术领域

本发明涉及数字图像处理技术领域，特别涉及一种结合色彩校正的双时相遥感图像变化检测方法。

背景技术

遥感是指运用传感器、遥感器等设备对物体进行远距离的探测技术。遥感数据的采集一般是在与物体在无接触的情况下，通过利用物体的电磁波的辐射、反射等特性探测目标，并以影像等方式记录其获取的目标地物的相关数据。利用遥感技术获取到的数据包含了丰富的地物信息，可以反映地面目标的分布情况，利用这些数据可以进行提取、判定、加工处理，经过分析可以应用到民用的各个方面。

变化检测是对同一区域或同一物体在不同时间点观测其状态形态是否改变的过程。通常情况下变化检测需要对两幅及以上的图像，遥感影像因为其获取手段，是通过卫星或遥感探测器等方式按一定时间周期，围绕地球重复采集数据，可以对一定区域在不同时间点重复获取数据，获得多时相的数据，此为变化检测提供了基础条件。变化检测在多方面都有着应用，如环境监测、土地利用监测和自然灾害评估。

在深度学习广泛应用于计算机视觉和数字图像处理领域之前，已有大量方法被提出，然而由于多时相获取时的不确定性、太阳角度、天气因素的影响，以及传感器成像能力的局限性和成像过程中固有的噪声等方面因素，使得变化检测问题变得复杂。并且人工设计的方法提取到的图像变化特征很难充分利用到物体的特征信息。随着深度学习的蓬勃发展，其被广泛应用于计算机视觉和遥感影像领域，并展示出比传统方法更好的性能。然而，当前采用遥感图像进行变化检测的精确度较低。

因此，在现有变化检测的基础上，如何提高遥感图像进行变化检测的精确度，成为本领域技术人员亟需解决的问题。

发明内容

鉴于上述问题，本发明提出了一种至少解决上述部分技术问题的结合色彩校正的双时相遥感图像变化检测方法，该方法可有效提高通过遥感图像进行变化检测的精确度。

本发明实施例提供一种结合色彩校正的双时相遥感图像变化检测方法，包括如下步骤：

S1、从已有的遥感图像变化检测数据集中获取双时相图像；从所述双时相图像中提取时相1图像和时相2图像，对所述时相1图像进行预处理，生成时相1图像向量；

S2、将所述时相1图像向量输入图像特征编码器中，生成预设数量不同尺度的时相1图像特征；所述图像特征编码器由预设数量的Transformer单元组成；每个所述Transformer单元均包含多个注意力单元；

S3、将生成的时相1图像特征输入图像校正网络解码器中，对所述时相1图像特征进行特征处理和特征融合；利用残差结构将处理后的所述时相1图像特征与所述时相1图像对应元素相加，得到对所述时相1图像的色彩校正结果，生成新时相1图像；

S4、将所述新时相1图像和所述时相2图像，组成新双时相图像；对所述新双时相图像进行预处理，生成新时相1图像向量和时相2图像向量；

S5、将所述新时相1图像向量和时相2图像向量，输入所述图像特征编码器中，分别生成预设数量的不同尺度的新双时相图像特征；

S6、将所述预设数量的不同尺度的新双时相图像特征输入图像变化检测网络解码器中，分别对所述预设数量的不同尺度的新双时相图像特征进行特征拼接、特征融合和上采样，输出所述双时相图像的变化检测结果。

进一步地，所述步骤S1中，对所述时相1图像进行预处理，包括：

将所述时相1图像进行图像切片，划分成多个图块；

将所述多个图块进行嵌入向量化处理，生成时相1图像向量。

进一步地，所述步骤S2中，所述图像特征编码器中的每个注意力单元均执行如下操作：

将所述时相1图像向量经过层标准化之后输入多头自注意力机制进行计算；

将计算完成的时相1图像向量经过第一残差结构处理；

将经过所述第一残差结构处理的时相1图像向量再次经过层标准化进行处理；

将层标准化处理之后的时相1图像向量输入第一多层感知器，输出的时相1图像向量经过第二残差结构，生成图像子特征；多个所述图像子特征构成所述时相1图像特征。

进一步地，所述步骤S3中，对所述时相1图像特征进行特征处理，包括：

将预设数量不同尺度的时相1图像特征分别根据相应特征尺寸的大小进行上采样，将所述预设数量不同尺度的时相1图像特征统一成相同尺寸；

将经过上采样之后的预设数量的时相1图像特征通过一维卷积进行降维，统一所述预设数量的时相1图像特征的通道维度；

将降维之后的所述预设数量的时相1图像特征通过拼接的方式进行连接。

进一步地，所述步骤S3中，对所述时相1图像特征进行特征融合，包括：

S31、将拼接完成的时相1图像特征输入Transformer单元进行处理；所述Transformer单元包含多个注意力单元；

S32、将经过所述Transformer单元处理之后的时相1图像特征通过深度可分离卷积进行进一步处理，完成特征融合。

进一步地，所述步骤S32，包括：

使用预设尺寸的卷积核对经过所述Transformer单元处理之后的时相1图像特征的每个通道分别卷积，并将结果拼接；

使用一维卷积核对组合的结果进行标准卷积，完成对所述时相1图像特征的处理。

进一步地，所述步骤S6，包括：

将所述预设数量的不同尺度的新双时相图像特征分别根据相应特征尺寸的大小进行上采样，将所述预设数量的不同尺度的新双时相图像特征统一成相同尺寸；

将经过上采样之后的预设数量的新双时相图像特征通过第二多层感知器，统一通道维度，使每个新双时相图像特征均具有相同的通道数量；

将统一通道维度之后的所述预设数量的新双时相图像特征通过拼接的方式进行连接；

通过第三多层感知器融合拼接完成的新双时相图像特征；

将融合完成的新双时相图像特征通过第四多层感知器预测变化检测的结果，生成预测结果；根据所述预测结果，得到所述双时相图像的变化检测结果。

进一步地，所述步骤S6，还包括：

将所述预测结果的尺寸经上采样放大至与输入的双时相图像的尺寸相同，得到所述双时相图像的变化检测结果。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明实施例提供的一种结合色彩校正的双时相遥感图像变化检测方法，包括：分别从双时相图像中提取任意一幅时相1图像和对应时相2图像，将时相1图像处理成图像向量；将时相1图像向量作为图像特征编码器的输入，生成图像特征；将生成的图像特征输入图像校正网络解码器中，得到对时相1图像的色彩校正结果；将校正后的时相1图像和时相2图像分别处理，得到对应的图像向量；使用图像特征编码器处理校正后的时相1图像向量和时相2图像向量，提取到两幅图像的特征；将提取到的双时相图像特征进行拼接，利用拼接的特征作为图像变化检测编码器的输入，输出变化检测结果。通过该方法可有效解决双时相图像因客观因素造成的色彩差异对遥感图像变化检测的影响，完成对双时相图像的遥感影像变化检测。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的结合色彩校正的双时相遥感图像变化检测方法流程图；

图2为本发明实施例提供的注意力单元结构示意图；

图3为本发明实施例提供的深度可分离卷积示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供一种结合色彩校正的双时相遥感图像变化检测方法，参照图1所示，包括如下步骤：

S1、从已有的遥感图像变化检测数据集中获取双时相图像；从双时相图像中提取时相1图像和时相2图像，对时相1图像进行预处理，生成时相1图像向量；

S2、将时相1图像向量输入图像特征编码器中，生成预设数量不同尺度的时相1图像特征；图像特征编码器由预设数量的Transformer单元组成；每个Transformer单元均包含多个注意力单元；

S3、将生成的时相1图像特征输入图像校正网络解码器中，对时相1图像特征进行特征处理和特征融合；利用残差结构将处理后的时相1图像特征与时相1图像对应元素相加，得到对时相1图像的色彩校正结果，生成新时相1图像；

S4、将新时相1图像和时相2图像，组成新双时相图像；对新双时相图像进行预处理，生成新时相1图像向量和时相2图像向量；

S5、将新时相1图像向量和时相2图像向量，输入图像特征编码器中，分别生成预设数量的不同尺度的新双时相图像特征；

S6、将预设数量的不同尺度的新双时相图像特征输入图像变化检测网络解码器中，分别对预设数量的不同尺度的新双时相图像特征进行特征拼接、特征融合和上采样，输出双时相图像的变化检测结果。

本实施例提供的结合色彩校正的双时相遥感图像变化检测方法，可有效提高采用遥感图像进行变化检测的精确度，采用图像校正网络解码器对双时相图像进行色彩校正，再通过变化检测的网络得到变化检测结果。利用图像校正网络解码器可以削减双时相图像上因客观因素造成的差异；利用特征提取编码器在不同阶段的权值共享，充分提取图像特征，提高变化检测的准确度。

下面具体对本实施例提供的结合色彩校正的双时相遥感图像变化检测方法进行详细阐述：

步骤01、构建神经网络图像特征编码器，将双时相图像其中的时相1图像作为网络的输入，输出图像特征。

首先，将已有的遥感图像变化检测数据集中的双时相图像中的一幅图像作为图像特征编码器的输入，将其划分为一些固定的图块（图像切片），并进行嵌入向量化处理记为图像向量，使用这些图像向量作为基于图像特征编码器的输入。图像特征编码器由四个Transformer单元组成，后三个Transformer单元包含一个用于减小特征图尺寸的块合并生成的模块，构成特征合并单元；第一个Transformer单元则不包含该模块。特征合并单元将输入的特征处理之后使得尺寸变为输入的二分之一，通道数量变为输入的四倍，再通过一维卷积的降维操作，减少通道数量，再进行下一步的操作，这样就提取到了四种不同尺度的图像特征。四个Transformer单元，相邻的块单元之间使用特征合并改变特征尺寸大小和通道数量，每个Transformer单元输出一组特征。

在Transformer单元中，其主要的计算结构就是注意力单元，其内由多个相同的结构连接而成，四个Transformer单元分别包含两个、两个、六个、两个注意力单元，每个注意力单元包含线性操作、多头自注意力、多层感知器操作以及残差结构，其结构参照图2所示。输入进来的数据经过层标准化之后输入多头自注意力机制进行计算，之后经过一个残差结构再次使用层标准化对数据进行处理，将处理之后的数据输入到多层感知器，多层感知器是一种前馈人工神经网络模型，可以将输入的多个数据集映射到单一的输出的数据集上，在输入层和输出层之间包含一到多个隐藏层，层与层之间均为全连接层。将输出再经过一个残差结构。这样的运算经过指定次之后得到一个尺度的图像特征，最后再经过块合并操作，完成一次完整的运算，生成四个不同尺度的图像特征。

其中，多头自注意力机制在特征提取中发挥着核心的作用，在了解多头自注意力之前，需要理解注意力机制，其公式如下：

其中，Q、K、V是用输入与不同的权值矩阵相乘的结果；权值矩阵是随机初始化且可学习的，其维度与输入数据维度相关。实际操作上首先通过输入值计算出（Q、K、V相对应的）矩阵，然后把由输入得到的嵌入值与相应的权值矩阵直接相乘得到Q、K、V；再将Q与K的转置，即K^T相乘，将结果除以K的维度数量开根号之后的值；然后做softmax运算，最后和V做矩阵乘法得到最后的注意力分值。多头自注意力机制就是初始化多组Q、K、V对应的矩阵，把得到的多组矩阵相连，再初始化一个矩阵用于和这个相连的矩阵做矩阵乘法，之后的操作便和自注意力相同。

步骤02、构建图像校正网络解码器，使用图像特征编码器的输出作为图像校正网络的输入，得到对时相1图像的校正结果：

图像预处理网络解码器（指图像校正网络解码器）接收由图像特征编码器提取到的特征，输出时相1图像的校正结果。图像预处理网络解码器由特征处理单元、特征拼接和特征融合构成。特征处理单元包括上采样模块、一维卷积操作；特征融合包括Transformer单元、深度可分离卷积模块和特征相加操作。

由步骤01输入双时相图像中的时相1图像，经过图像特征编码器处理，提取到四组具有不同尺度的图像特征。特征处理单元就是将提取到的四组具有不同尺度的图像特征，根据不同特征尺寸的大小，分别进行上采样，上采样之后的特征尺寸都与四组不同尺度的图像特征中尺寸最大的特征相同；之后将上采样之后的特征通过一维卷积进行降维来统一通道维度，使四组特征的通道数量保持一致。

每经过一个特征处理单元的上采样和降维之后的四组图像特征需要将其统一为一组数据，主要的方式有元素叠加的连接方式和拼接的连接方式。叠加的连接方式是通过将不同特征对应位置的数据进行简单的加法，它能够降低数据通道维度，但也会丢失部分特征信息；拼接的连接方式是将不同特征在通道层面进行堆叠，不改变原有数据的内容，能够充分保留图像特征信息。本实施例采用拼接的连接方式对特征进行处理。

Transformer单元同在步骤01中的结构，其主要的计算结构就是注意力单元，其内由多个注意力单元连接而成，每个注意力单元包含线性操作、多头自注意力、多层感知器操作以及残差结构，其结构参照图2所示。输入进来的数据经过层标准化之后输入多头自注意力机制进行计算，之后经过一个残差结构再次使用层标准化对数据进行处理，将处理之后的数据输入到多层感知器，也就是全连接层中，将输出再经过一个残差结构。这样的运算经过指定次之后得到一个尺度的特征图像，最后再经过块合并操作，完成一次完整的运算。

经过Transformer单元处理之后的特征通过深度可分离卷积得到进一步的处理。是深度可分离卷是卷积神经网络中对标准的卷积计算进行改进所得到的算法，其通过拆分空间维度和通道维度的相关性，减少了卷积计算所需要的参数个数，提升了卷积核参数的使用效率。深度可分离卷积计算方式如图3所示，可分为两部分，首先使用给定的卷积核尺寸对每个通道分别卷积并将结果组合，该部分被称为逐通道卷积，随后使用一维卷积核进行标准卷积并输出特征图，该部分被称为逐点卷积。

经过深度可分离卷积处理之后得到与输入的时相1图像维度相同的特征图像，再将输入的时相1图像与特征图像通过对应元素相加的残差结构，得到对时相1图像的色彩校正结果。

步骤03、使用图像特征编码器处理校正后的时相1图像和时相2图像，提取到两幅图像的特征：

经过步骤02对双时相图像中的时相1图像进行了校正，和时相2图像组成了新双时相图像，分别经过同步骤01中相同的图像特征编码器处理，即将其划分为一些固定的图块，并进行嵌入向量化处理记为图像向量，使用这些图像向量作为基于图像特征编码器的输入，得到新双时相图像对应的图像特征。

将校正之后的时相1图像作为输入数据输入到图像特征编码器中，经过四组Transfromer单元以及三次块合并操作，得到时相1图像对应地四组不同尺度的特征。同样地将时相2图像作为输入数据输入到图像特征编码器中，经过四组Transfromer单元以及三次块合并操作，得到时相2图像对应的四组不同尺度的特征，这样就得到新双时相图像对应的图像特征。并且在处理两幅图像（时相1图像和时相2图像）时，神经网络使用的权值共享。

Transformer单元中，其主要的计算结构就是注意力单元，其内由多个相同的结构连接而成，四个Transformer单元分别包含两个、两个、六个、两个注意力单元，每个注意力单元包含线性操作、多头自注意力、多层感知器操作以及残差结构。输入进来的数据经过层标准化之后输入多头自注意力机制进行计算，之后经过一个残差结构再次使用层标准化对数据进行处理，将处理之后的数据输入到多层感知器，也就是全连接层中，将输出在经过一个残差结构。这样的运算经过指定次之后得到一个尺度的特征图像，最后再经过块合并操作，完成一次完整的运算，提取得到新双时相图像特征。

步骤04、构建图像变化检测网络解码器，将提取到的新双时相图像特征进行拼接，利用拼接的特征作为输入，输出变化检测结果：

图像变化检测网络解码器接收由步骤03提取到的新双时相图像特征，输出变化检测结果。其主要结构由上采样操作、特征拼接和多层感知器组成。

将由步骤03提取到新双时相图像特征，分别经过上采样模块，将提取到的四组具有不同尺度的图像特征，根据不同特征尺寸的大小，分别进行上采样，上采样之后的特征尺寸都与四组不同尺度的图像特征中尺寸最大的特征相同；之后将上采样之后的特征通过多层感知器层来统一通道维度，使四组特征的通道数量保持一致。之后将新双时相图像对应的特征进行特征的拼接，再将拼接后的四组特征再次拼接，得到一组处理后的特征。将新双时相图像的相对应尺度的特征在通道层面拼接。

得到拼接后的特征后，采用多层感知器融合拼接后的特征。最后，再利用一个多层感知器预测变化检测的结果，其分辨率是输入图像的四分之一。将预测结果上采样放大至与输入的双时相图像的尺寸相同，就得到最终的变化检测预测结果。

此方法使用数据集中已有的用于表示双时相图像变化情况的二值图像作为提出的方法所构建的网络训练时的真值，使用平衡中心损失作为损失函数。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种结合色彩校正的双时相遥感图像变化检测方法，其特征在于，包括如下步骤：

S1、从已有的遥感图像变化检测数据集中获取双时相图像；从所述双时相图像中提取时相1图像和时相2图像，对所述时相1图像进行预处理，生成时相1图像向量；

S2、将所述时相1图像向量输入图像特征编码器中，生成预设数量不同尺度的时相1图像特征；所述图像特征编码器由预设数量的Transformer单元组成；每个所述Transformer单元均包含多个注意力单元；

S3、将生成的时相1图像特征输入图像校正网络解码器中，对所述时相1图像特征进行特征处理和特征融合；利用残差结构将处理后的所述时相1图像特征与所述时相1图像对应元素相加，得到对所述时相1图像的色彩校正结果，生成新时相1图像；

S4、将所述新时相1图像和所述时相2图像，组成新双时相图像；对所述新双时相图像进行预处理，生成新时相1图像向量和时相2图像向量；

S5、将所述新时相1图像向量和时相2图像向量，输入所述图像特征编码器中，分别生成预设数量的不同尺度的新双时相图像特征；

S6、将所述预设数量的不同尺度的新双时相图像特征输入图像变化检测网络解码器中，分别对所述预设数量的不同尺度的新双时相图像特征进行特征拼接、特征融合和上采样，输出所述双时相图像的变化检测结果；

所述步骤S3中，对所述时相1图像特征进行特征处理，包括：

将预设数量不同尺度的时相1图像特征分别根据相应特征尺寸的大小进行上采样，将所述预设数量不同尺度的时相1图像特征统一成相同尺寸；

将经过上采样之后的预设数量的时相1图像特征通过一维卷积进行降维，统一所述预设数量的时相1图像特征的通道维度；

将降维之后的所述预设数量的时相1图像特征通过拼接的方式进行连接；

所述步骤S3中，对所述时相1图像特征进行特征融合，包括：

S31、将拼接完成的时相1图像特征输入Transformer单元进行处理；所述Transformer单元包含多个注意力单元；

S32、将经过所述Transformer单元处理之后的时相1图像特征通过深度可分离卷积进行进一步处理，完成特征融合。

2.如权利要求1所述的一种结合色彩校正的双时相遥感图像变化检测方法，其特征在于，所述步骤S1中，对所述时相1图像进行预处理，包括：

将所述时相1图像进行图像切片，划分成多个图块；

将所述多个图块进行嵌入向量化处理，生成时相1图像向量。

3.如权利要求1所述的一种结合色彩校正的双时相遥感图像变化检测方法，其特征在于，所述步骤S2中，所述图像特征编码器中的每个注意力单元均执行如下操作：

将所述时相1图像向量经过层标准化之后输入多头自注意力机制进行计算；

将计算完成的时相1图像向量经过第一残差结构处理；

将经过所述第一残差结构处理的时相1图像向量再次经过层标准化进行处理；

将层标准化处理之后的时相1图像向量输入第一多层感知器，输出的时相1图像向量经过第二残差结构，生成图像子特征；多个所述图像子特征构成所述时相1图像特征。

4.如权利要求1所述的一种结合色彩校正的双时相遥感图像变化检测方法，其特征在于，所述步骤S32，包括：

使用预设尺寸的卷积核对经过所述Transformer单元处理之后的时相1图像特征的每个通道分别卷积，并将结果拼接；

使用一维卷积核对组合的结果进行标准卷积，完成对所述时相1图像特征的处理。

5.如权利要求1所述的一种结合色彩校正的双时相遥感图像变化检测方法，其特征在于，所述步骤S6，包括：

将所述预设数量的不同尺度的新双时相图像特征分别根据相应特征尺寸的大小进行上采样，将所述预设数量的不同尺度的新双时相图像特征统一成相同尺寸；

将经过上采样之后的预设数量的新双时相图像特征通过第二多层感知器，统一通道维度，使每个新双时相图像特征均具有相同的通道数量；

将统一通道维度之后的所述预设数量的新双时相图像特征通过拼接的方式进行连接；

通过第三多层感知器融合拼接完成的新双时相图像特征；

将融合完成的新双时相图像特征通过第四多层感知器预测变化检测的结果，生成预测结果；根据所述预测结果，得到所述双时相图像的变化检测结果。

6.如权利要求5所述的一种结合色彩校正的双时相遥感图像变化检测方法，其特征在于，所述步骤S6，还包括：

将所述预测结果的尺寸经上采样放大至与输入的双时相图像的尺寸相同，得到所述双时相图像的变化检测结果。

Images