CN117173587A - 一种基于异构图像深度转换的特征细化融合变化检测方法 - Google Patents
一种基于异构图像深度转换的特征细化融合变化检测方法 Download PDFInfo
- Publication number
- CN117173587A CN117173587A CN202311065026.XA CN202311065026A CN117173587A CN 117173587 A CN117173587 A CN 117173587A CN 202311065026 A CN202311065026 A CN 202311065026A CN 117173587 A CN117173587 A CN 117173587A
- Authority
- CN
- China
- Prior art keywords
- image
- features
- feature
- sar image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 72
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 230000004927 fusion Effects 0.000 title claims abstract description 29
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 78
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000003287 optical effect Effects 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 238000007670 refining Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 101100423891 Caenorhabditis elegans qars-1 gene Proteins 0.000 description 1
- 208000032538 Depersonalisation Diseases 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000000179 transient infrared spectroscopy Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提出一种基于异构图像深度转换的特征细化融合变化检测方法。所述方法通过特征细化模块按照从粗到细的方式进行多级拼接，获取不同级别的时间差异特征，解决了简单拼接或逐像素做差的方法在变化检测任务中适应性差的问题；在特征融合模块中，采用U‑Net++对差异特征进行编解码，得到不同层次的特征，并进行融合，以更好地挖掘具有上下文变化信息的差异特征，同时滤除低层特征的背景杂波并纠正高层特征的位置误差。总体而言，该方法稳定可靠，具备良好的训练泛化性能，且算法简单易于实施。
Description
技术领域
本发明属于异构图像变化检测技术领域，具体涉及一种基于光学图像和合成孔径雷达(Synthetic Aperture Radar，SAR)图像变化检测方法，特别是涉及一种基于异构图像深度转换的特征细化融合变化检测方法。
背景技术
遥感(Remote Sensing，RS)，即来自遥远的感知，指使用未接触的方式通过卫星传感器获取地球表面某一区域或地物场景的信息。遥感技术在各种地球观测任务中发挥了至关重要的作用，例如土地覆被分类、场景分类、矿物勘探和测绘、物体/目标检测、环境监测、城市规划、以及灾害应对与管理。遥感技术可用于观测地球表面的不同方面，例如特定区域内物体的空间组织、高度、组成物质的识别、物质表面的特征、地下的组成等。遥感变化检测是一种可以检测出特定的地表区域在某个时间段内变化区域的遥感图像分析技术。在遇到比如地震、火灾等情况下，可以通过处理灾害发生前后的图像，从而分析出受灾区域及影响，而不需要人员进入受灾区域，有利于快速安全地进行灾害评估并做出应对措施。
随着各种遥感卫星诸如高分辨率图像遥感卫星的出现，使得遥感数据的收集源越来越丰富，由单传感器获取或处理的遥感数据已经逐渐不能满足当前的大数据分析环境。光学图像能够反映地面物体丰富的纹理信息和几何形状，获得容易被人类视觉系统理解的特性，因此单模态的光学遥感数据在变化检测领域被广泛的使用。然而，光学图像容易受到光照和气候的影响。因此引入了由较长波长捕获的图像以减少上述的影响，特别是合成孔径雷达，可以穿云破雾而不受光照条件影响地捕获地面情况。但是SAR图像缺乏光谱信息且会被散斑噪声影响，使对SAR的变化检测更具挑战性。基于二者之间的相辅相成的特点，开发异构的遥感图像是详细和精确地描述地球特征的一个关键方面，在现实应用中精确地对光学和SAR图像的进行异构变化检测具有重要意义。
目前，大多数异构变化检测都是通过图像转换的方法将异构图像用相似的统计特性表示，但其变化图都是通过简单的做差或比值的方法得到的，但是转换模型的泛化性能容易受数据不足影响，且变化区域是通过普通的代数方法和阈值分割得到的，精度有限。因此，如何针对异构图像提取更精细的差异特征并进行二分类以细化对象的变化信息是关键且亟需解决的问题。
发明内容
本发明目的是为了解决异构图像变化检测过程中，现有的方法存在对异构图像转换困难、变化信息提取不够准确的问题，提出了一种基于异构图像深度转换的特征细化融合变化检测方法。
本发明是通过以下技术方案实现的，本发明提出一种基于异构图像深度转换的特征细化融合变化检测方法，所述方法包括：
步骤1：将不同时间同一地区的光学图像和SAR图像序列进行裁剪，对裁剪后的光学图像和SAR图像进行数据增强处理；
步骤2：对经过数据增强的光学图像向SAR图像进行转换，得到与原始SAR图像序列特征表示方式一致的伪SAR图像；
步骤3：将SAR图像和伪SAR图像对从不同特征水平上获得细化的差异特征并将其输入到U-Net++中；
步骤4：最后通过特征融合来提取上下文的变化信息，从而区分出变化和不变区间。
进一步地，在步骤1中，选择数据集，并根据所选数据图像块的大小设置步进，将图像裁剪成若干个256*256的训练图像块，随后采用数据增强对裁剪后的光学图像和SAR图像进行扩充。
进一步地，在步骤2中，采用基于无编码独立组件的生成对抗网络NICE-GAN来实现异构图像的深度图像转换，其中X域和Y域分别表示光学图像和SAR图像；NICE-GAN的鉴别器分为多尺度编码器和多尺度分类器；
X域中的数据增强光学图像通过鉴别器Dx中的多尺度编码器Ex，将获得的图像的隐藏特征作为生成器Gx→y的输入，Gx→y通过对隐藏特征进行编解码来生成伪SAR图像；在鉴别器Dy中，多尺度编码器Ey的输出作为多尺度分类器Cy的输入，将伪SAR图像输入到Ey中进行编码，并将得到的不同大小的特征图馈送到多尺度分类器Cy中，将其与真实SAR图像进行比较，以预测图像是真是假；Gx→y和Dy相互迭代训练，直到得到一个准确的Gx→y，并将其生成的伪SAR图像Transpre视为Y域中的图像。
进一步地，在图像转换过程中，对抗性损失为：
其中Ipre～Pre和Ipost～post分别表示光学图像和SAR图像的分布，Gx→y旨在基于Ex提取的隐藏特征来生成图像Gx→y(Ex(Ipre))；在生成器Gx→y的训练过程中，最小化了目标函数log(1-Dy(Gx→y(Ex(x))))，目标是使生成的伪SAR图像能够欺骗鉴别器Dy；在鉴别器Dy的训练过程中，最大化了目标函数log(Dy(y))，目标是使Dy可以正确区分真实SAR图像和伪SAR图像。
进一步地，在步骤2中，使用伪SAR图像的隐藏特征作为生成器Gy→x的输入，该生成器在X域中生成一个称为Cyclepre的循环图像；此过程防止了Gx→y和Gy→x之间的训练矛盾导致的模式崩溃；循环一致性损失函数为：
其中||·||1表示L1distance的计算，并且Ex和Ey保持不变；
光学图像的隐藏特征被用作Gy→x的输入，以获得重建的光学图像，身份重建损失被定义为：
其中Ex保持不变；
从X域中的光学图像到Y域中SAR图像的风格转移的总损失函数被定义为：
Ltotal＝αLadv+βLcyc+γLrecon
其中α、β、γ分别表示Ladv、Lcyc和Lrecon的权重。
进一步地，在步骤3中，采用共享权重的双路ResNet-18进行编码，分别提取出初始特征Ft1和Ft2，其次，将Ft1和Ft2通过逐像素做差的方法计算出粗差异特征：
其中，代表逐像素做差，|·|表示绝对值计算，Conv3×3(·)代表大小为3×3的2D卷积核，Dcoar表示粗差异特征；
然后，将初始特征Ft1和Ft2与粗差异特征Dcoar进行一系列组合操作，并通过一层卷积，包括卷积层、BN层和激活层，卷积层中的卷积核大小为3×3，从而得到增强的时间特征F1和F2，表示为：
其中，和/>表示逐像素相加和相乘。
进一步地，在步骤3中，为了最小化冗余层的数量，将F1和F2组合起来，并使用卷积层调整信道计数，接下来，添加粗差异特征Dcoar，并将结果馈送到另一个大小为1×1的卷积层，从而产生最终的精化差分特征Drefine，表示为：
其中，Cat(·)表示将特征进行拼接。
进一步地，在步骤4中，最初，细化的差异特征Drefine被输入到U-Net++网络中，U-Net++网络使用长连接和短连接来生成不同级别的特征并进行融合；多尺度特征融合旨在融合不同层次的特征，滤除低层次的背景噪声，同时校正高层次特征中变化对象的位置信息；为了更有效地融合所获得的多尺度特征，先将所述多尺度特征上采样到统一的大小，并将它们连接起来，以创建融合的差异图表示为：
其中D1、D2和D3表示U-Net++网络获得的多尺度特征，Up(·)表示上采样操作；
融合的差异映射被馈送到通道注意机制模块中，以获得增强的变化信息；对获得的特征图进行全局平均池化和全局最大池化，然后逐像素相加，然后将结果馈送到全连接层中，以获得均匀的全局注意力向量，具体表示为，
其中，Gapc(·)表示全局平均池化，Gmpc(·)代表全局最大池化，fc(·)代表全连接层，δ是sigmoid激活函数，fvt代表得到的均匀的全局注意力向量；
最后，将均匀的全局注意力向量fvt与逐元素相乘，并输入到大小为1×1的卷积核中，以减少不必要的通道，并获得最终的变化图，具体表示为：
本发明提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种基于异构图像深度转换的特征细化融合变化检测方法的步骤。
本发明提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述一种基于异构图像深度转换的特征细化融合变化检测方法的步骤。
与现有技术相比，本发明的有益效果是：
本发明提供了一种适用于异构光学和SAR图像的基于深度转换的特征细化融合的变化检测方法，至少包含以下有益效果：通过采用对图像数据进行旋转、翻转、噪声和调节亮度等方法，增加了数据的多样性，提高模型的鲁棒性和泛化性；通过特征细化模块将时间特征以一种由粗到细的结构进行多级拼接，以获得不同级别的细化的时间差异特征，解决了使用简单的拼接或逐像素做差获得差异图的方法在变化检测任务中适应性差的问题；在特征融合模块中，使用U-Net++对差异特征进行编解码，得到不同层次的特征，并融合起来以便更好地挖掘出具有上下文变化信息的差异特征，旨在过滤掉低层特征的背景杂波并矫正高层次特征的位置误差。总体来说，该方法效果稳定，训练泛化性好，算法简单，易于工程实现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明所述方法实施基于异构光学和SAR图像的基于深度转换的特征细化融合的变化检测方法的流程图。
图2是特征细化模块的框架图。
图3是特征融合模块的框架图。
图4是本发明输入数据的示意图。
图5是本发明所述方法与现有方法的效果比较图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明提供了一种用于异构光学和SAR图像的变化检测方法。该方法具有以下优势：增加数据多样性，提升模型的鲁棒性和泛化能力；通过特征细化模块按照从粗到细的方式进行多级拼接，获取不同级别的时间差异特征，解决了简单拼接或逐像素做差的方法在变化检测任务中适应性差的问题；在特征融合模块中，采用U-Net++对差异特征进行编解码，得到不同层次的特征，并进行融合，以更好地挖掘具有上下文变化信息的差异特征，同时滤除低层特征的背景杂波并纠正高层特征的位置误差。总体而言，该方法稳定可靠，具备良好的训练泛化性能，且算法简单易于实施。
结合图1说明本发明所述方法的实施方式：
本实施方式所述的一种基于异构图像深度转换的特征细化融合变化检测方法，包括以下步骤：
步骤1：选择数据集，并根据所选数据图像块的大小设置合适的步进，将图像裁剪成若干个256*256的训练图像块，随后采用数据增强的思想对裁剪后的光学图像和SAR图像进行扩充。通过对图像旋转、翻转90°、翻转180°、加噪声和调节亮度等一系列的操作，在非实质性的增加图像的情况下，让有限的图像数据产生等价于更多图像的价值。随后将增强后的数据图像输入到进行深度图像转化的网络中。
步骤2：本发明采用了基于无编码独立组件的生成对抗网络(NICE-GAN)来实现异构图像的深度图像转换，其中X域和Y域分别表示光学图像和SAR图像。NICE-GAN的特点是其独特的鉴别器，分为多尺度编码器和多尺度分类器。
首先，X域中的数据增强光学图像通过鉴别器Dx中的多尺度编码器Ex，将获得的图像的隐藏特征作为生成器Gx→y的输入。Gx→y通过对隐藏特征进行编解码来生成伪SAR图像。在鉴别器Dy中，多尺度编码器Ey的输出作为多尺度分类器Cy的输入，将伪SAR图像输入到Ey中进行编码，并将得到的不同大小的特征图馈送到多尺度分类器Cy中，将其与真实SAR图像进行比较，以预测图像是真是假。Gx→y和Dy相互迭代训练，直到得到一个准确的Gx→y，并将其生成的伪SAR图像Transpre视为Y域中的图像。在这个过程中，计算对抗性损失，
其中Ipre～Pre和Ipost～post分别表示光学图像和SAR图像的分布。Gx→y旨在基于Ex提取的隐藏特征来生成图像Gx→y(Ex(Ipre))。在生成器Gx→y的训练过程中，最小化了目标函数log(1-Dy(Gx→y(Ex(x))))，目标是使生成的伪SAR图像能够欺骗鉴别器Dy。在鉴别器Dy的训练过程中，最大化了目标函数log(Dy(y))，目标是使Dy可以正确区分真实SAR图像和伪SAR图像。
本发明使用伪SAR图像的隐藏特征作为生成器Gy→x的输入，该生成器在X域中生成一个称为Cyclepre的循环图像。该过程防止了Gx→y和Gy→x之间的训练矛盾导致的模式崩溃。
循环一致性损失函数是，
其中||·||1表示L1distance的计算，并且Ex和Ey保持不变。
光学图像的隐藏特征被用作Gy→x的输入，以获得重建的光学图像。身份重建损失被定义为，
其中Ex保持不变。
从X域中的光学图像到Y域中SAR图像的风格转移的总损失函数被定义为，
Ltotal＝αLadv+βLcyc+γLrecon
其中α、β、γ分别表示Ladv、Lcyc和Lrecon的权重。
步骤3：本发明采用共享权重的双路ResNet-18进行编码，分别提取出初始特征Ft1和Ft2，其次，将Ft1和Ft2通过逐像素做差的方法计算出粗差异特征：
其中，代表逐像素做差，|·|表示绝对值计算，Conv3×3(·)代表大小为3×3的2D卷积核，Dcoar表示粗差异特征。
然后，将初始特征Ft1和Ft2与粗差异特征Dcoar进行一系列组合操作，并通过一层卷积，包括卷积层、BN层、激活层，卷积层中的卷积核大小为3×3。从而得到增强的时间特征F1和F2，该过程表示为：
其中，和/>表示逐像素相加和相乘。
为了最小化冗余层的数量，本发明将F1和F2组合起来，并使用卷积层调整信道计数。接下来，添加粗差异特征Dcoar，并将结果馈送到另一个大小为1×1的卷积层，从而产生最终的精化差分特征Drefine。这个过程可以表示为，
其中，Cat(·)表示将特征进行拼接。
上述细化过程不仅提取低级背景特征和目标变化信息，而且捕获高级语义信息。然而，它可能会引入背景噪声和干扰。为了获得更准确的变化信息，本发明使用了融合模块。
步骤4：本发明采用了U-Net++网络，该网络的下采样可以增加对特征细化过程引入的一些小扰动的鲁棒性，减少过拟合的风险，降低运算量和增加感受野的大小。上采样可以把抽象的特征再解码到原图的尺寸。在特征提取阶段中，浅层结构可以获取图像的一些简单的特征，比如边界，颜色，而由于深层结构的感受野更大，并且卷积操作更多，其能更好地获取到图像的语义特征。
最初，细化的差异特征Drefine被输入到U-Net++网络中，U-Net++网络使用长连接和短连接来生成不同级别的特征并进行融合。多尺度特征融合旨在融合不同层次的特征，滤除低层次的背景噪声，同时校正高层次特征中变化对象的位置信息。为了更有效地融合所获得的多尺度特征，先将它们上采样到统一的大小，并将它们连接起来，以创建融合的差异图该过程表示为：
其中D1、D2和D3表示U-Net++获得的多尺度特征，Up(·)表示上采样操作。
融合的差异映射被馈送到通道注意机制模块中，以获得增强的变化信息。本发明对获得的特征图进行全局平均池化和全局最大池化，然后逐像素相加。然后将结果馈送到全连接层中，以获得均匀的全局注意力向量。该过程表示为，
其中，Gapc(·)表示全局平均池化，Gmpc(·)代表全局最大池化，fc(·)代表全连接层，δ是sigmoid激活函数，fvt代表得到的均匀的全局注意力向量。
最后，将均匀的全局注意力向量fvt与逐元素相乘，并输入到大小为1×1的卷积核中，以减少不必要的通道，并获得最终的变化图。该过程表示为，
这个过程包括将fvt与相乘，然后将所得乘积馈送到大小为1×1的卷积核中。
本发明提出了一种适用于异构光学和SAR图像的基于深度转换的特征细化融合的变化检测方法，该方法通过深度转换网络对图像进行转换，旨在将异构的图像转换到表达式较为一致的同一域中。然后通过特征细化模块和特征融合模块获得了具有深层语义信息和上下文信息的变化特征，最后区分出变化区间。实现了高效、准确的异构光学和SAR图像的变化检测。
下面通过仿真实验进一步对本发明所述方法进行阐述：
通过4组同一地区不同时间拍摄获得的四组图像对本发明的检测效果进行验证。
(1)加利福尼亚州洪水数据集
该数据集是关于SAR图像和可见光图像变化检测的数据集。图4展示了2017年1月5日Landsat 8采集的覆盖萨特县的第一时相的图像和2017年2月18日Sentinel-1A2在VV和VH两种不同强度的偏振中采集的第二时相图像，Landsat 8上的OLI和TIRS传感器一共采集了11个波段的信息，覆盖从深蓝到短波红外的光谱，外加两个长波红外通道，其中在本发明中只选取了RGB三个通道。真值图是由Luppino等人提供的，作为标签为执行实验的算法检测结果提供了精度评价的标准。真值图中黑色的区域代表未变化的样本，白色区域代表发生变化的样本。这些图像由原来的3500×2000像素重新采样到850×500像素，以减少实验的计算时间。
(2)曙光数据集
该数据集是来自中国东营市曙光村的曙光数据集。SAR图像拍摄于2008年6月，光学图像拍摄于2012年9月，用于探测曙光村城市建筑的变化。
(3)Gloucester I数据集
该数据集是Gloucester I数据集，其中光学图像由Quick-Bird 2于2006年7月在英国拍摄，SAR图像由TerraSAR-X于2007年7月拍摄，用于观察洪水的影响。
(4)Gloucester II数据集
该数据集是Gloucester II数据集，包含SPOT在1999年10月拍摄的光学图像和ERS-1在2000年11月拍摄的SAR图像。该数据集还用于分析洪水前后的变化。
本发明与现有变化检测算法的对比实验结果图如图5所示。对比实验中SCCN是由论文“A deep convolutional coupling network for change detection based onheterogeneous optical and radar images.”提出的；cGAN是由论文“A conditionaladversarial network for change detection in heterogeneous images.”提出的；X-Net和ACE-Net是由论文“Deep image translation with an affinity-based changeprior for unsupervisedmultimodal change detection.”提出的；DTCDN是由论文“Adeep translation(gan)based change detection network for optical and SARremote sensing images.”提出的；图5中黑色代表实际没变化检测为没变化的像素点，白色代表实际变化检测为变化的像素点，红色代表实际没变化检测为变化的像素点，绿色代表实际变化检测为未变化的像素点。从图5中可以看出，本发明在四个数据集上误检像素点(红色和绿色像素点)均少于其他方法，能够更精确的提取到图像中的变化信息。
在变化检测这种二分类算法中，混淆矩阵一般包括四项：TP、TN、FP、FN。其中T指的是True，即检测正确；F指的是False，即检测错误；P指的是Positive，即检测为正样本；N指的是Negative，即检测为负样本。
TP指实际上标签中是正类，在预测中也是正样本，即真正。
TN指实际上标签中是负类，在预测中也是负样本，即真负。
FP指实际上标签中是负类，在预测中则是正样本，即假正。
FN指实际上标签中是正类，在预测中则是负样本，即假负。
在遥感图像的变化检测中，TP的实际意义就是在真值图中是变化的样本，在检测出来的变化图中也是变化的样本；TN的实际意义就是在真值图中是未变化的样本，在检测出来的变化图中也是未变化的样本；FP的实际意义就是在真值图中是未变化的样本，但在检测出来的变化图中是变化的样本；FN的实际意义就是在真值图中是变化的样本，但在检测出来的变化图中是未变化的样本。
根据混淆矩阵能够推算出许多相关的评价指标，比如准确率(ACC)、精确率(PPV)、召回率(TPR)和Kappa系数(KC)。
1、准确率(Accuracy，ACC)
在预测中正确的样本点占总样本点的比例，准确率可以直观地衡量模型的好坏。
其中TP表示实际发生变化检测为变化的像素点个数，TN为实际未发生变化检测为未发生变化的像素点个数。
2、精确率(Precision，PPV)
又称查准率，被检测正确的正样本在所有检测出的正样本中占的比例，是针对预测结果而言的指标。
3、召回率(Recall，TPR)
又称查全率或灵敏度，被检测正确的正样本在全部正确的正样本中占的百分比，是针对原样本而言的指标。
4、Kappa系数
Kappa系数是一种统计方法，它可以测量出检验结果的一致性，能够反映出分类的准确性。用于统计计数式计量体系中的检验和标记的一致性，或者两种方法的一致性。Kappa系数的数值在-1～1之间，通常为0～1,Kappa数值愈接近1，则表示试验结果的一致性较好。
在变化检测这样的二分类问题中po和pe的定义如下：
通过以上变化检测指标可以观察出本发明所提方法与其他现有方法的对比结果。表1、2、3、4分别列出了本发明在四组不同数据集上与上述对比方法的检测结果。
表1本发明所提方法与对比算法在California数据集上的结果
表2本发明所提方法与对比算法在曙光数据集上的结果
表3本发明所提方法与对比算法在Gloucester I数据集上的结果
表4本发明所提方法与对比算法在Gloucester II数据集上的结果
本发明提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种基于异构图像深度转换的特征细化融合变化检测方法的步骤。
本发明提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述一种基于异构图像深度转换的特征细化融合变化检测方法的步骤。
本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasablePROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(doubledata rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambusRAM，DRRAM)。应注意，本发明描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disc，SSD))等。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
应注意，本申请实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
以上对本发明所提出的一种基于异构图像深度转换的特征细化融合变化检测方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于异构图像深度转换的特征细化融合变化检测方法，其特征在于：所述方法包括：
步骤1：将不同时间同一地区的光学图像和SAR图像序列进行裁剪，对裁剪后的光学图像和SAR图像进行数据增强处理；
步骤2：对经过数据增强的光学图像向SAR图像进行转换，得到与原始SAR图像序列特征表示方式一致的伪SAR图像；
步骤3：将SAR图像和伪SAR图像对从不同特征水平上获得细化的差异特征并将其输入到U-Net++中；
步骤4：最后通过特征融合来提取上下文的变化信息，从而区分出变化和不变区间。
2.根据权利要求1所述的方法，其特征在于：在步骤1中，选择数据集，并根据所选数据图像块的大小设置步进，将图像裁剪成若干个256*256的训练图像块，随后采用数据增强对裁剪后的光学图像和SAR图像进行扩充。
3.根据权利要求2所述的方法，其特征在于：在步骤2中，采用基于无编码独立组件的生成对抗网络NICE-GAN来实现异构图像的深度图像转换，其中X域和Y域分别表示光学图像和SAR图像；NICE-GAN的鉴别器分为多尺度编码器和多尺度分类器；
X域中的数据增强光学图像通过鉴别器Dx中的多尺度编码器Ex，将获得的图像的隐藏特征作为生成器Gx→y的输入，Gx→y通过对隐藏特征进行编解码来生成伪SAR图像；在鉴别器Dy中，多尺度编码器Ey的输出作为多尺度分类器Cy的输入，将伪SAR图像输入到Ey中进行编码，并将得到的不同大小的特征图馈送到多尺度分类器Cy中，将其与真实SAR图像进行比较，以预测图像是真是假；Gx→y和Dy相互迭代训练，直到得到一个准确的Gx→y，并将其生成的伪SAR图像Transpre视为Y域中的图像。
4.根据权利要求3所述的方法，其特征在于：在图像转换过程中，对抗性损失为：
其中Ipre～Pre和Ipost～post分别表示光学图像和SAR图像的分布，Gx→y旨在基于Ex提取的隐藏特征来生成图像Gx→y(Ex(Ipre))；在生成器Gx→y的训练过程中，最小化了目标函数log(1-Dy(Gx→y(Ex(x))))，目标是使生成的伪SAR图像能够欺骗鉴别器Dy；在鉴别器Dy的训练过程中，最大化了目标函数log(Dy(y))，目标是使Dy可以正确区分真实SAR图像和伪SAR图像。
5.根据权利要求4所述的方法，其特征在于：在步骤2中，使用伪SAR图像的隐藏特征作为生成器Gy→x的输入，该生成器在X域中生成一个称为Cyclepre的循环图像；此过程防止了Gx→y和Gy→x之间的训练矛盾导致的模式崩溃；循环一致性损失函数为：
其中||·||1表示L1distance的计算，并且Ex和Ey保持不变；
光学图像的隐藏特征被用作Gy→x的输入，以获得重建的光学图像，身份重建损失被定义为：
其中Ex保持不变；
从X域中的光学图像到Y域中SAR图像的风格转移的总损失函数被定义为：
Ltotal＝αLadv+βLcyc+γLrecon
其中α、β、γ分别表示Ladv、Lcyc和Lrecon的权重。
6.根据权利要求5所述的方法，其特征在于：在步骤3中，采用共享权重的双路ResNet-18进行编码，分别提取出初始特征Ft1和Ft2，其次，将Ft1和Ft2通过逐像素做差的方法计算出粗差异特征：
其中，代表逐像素做差，|·|表示绝对值计算，Conv3×3(·)代表大小为3×3的2D卷积核，Dcoar表示粗差异特征；
然后，将初始特征Ft1和Ft2与粗差异特征Dcoar进行一系列组合操作，并通过一层卷积，包括卷积层、BN层和激活层，卷积层中的卷积核大小为3×3，从而得到增强的时间特征F1和F2，表示为：
其中，和/>表示逐像素相加和相乘。
7.根据权利要求6所述的方法，其特征在于：在步骤3中，为了最小化冗余层的数量，将F1和F2组合起来，并使用卷积层调整信道计数，接下来，添加粗差异特征Dcoar，并将结果馈送到另一个大小为1×1的卷积层，从而产生最终的精化差分特征Drefine，表示为：
其中，Cat(·)表示将特征进行拼接。
8.根据权利要求7所述的方法，其特征在于：在步骤4中，最初，细化的差异特征Drefine被输入到U-Net++网络中，U-Net++网络使用长连接和短连接来生成不同级别的特征并进行融合；多尺度特征融合旨在融合不同层次的特征，滤除低层次的背景噪声，同时校正高层次特征中变化对象的位置信息；为了更有效地融合所获得的多尺度特征，先将所述多尺度特征上采样到统一的大小，并将它们连接起来，以创建融合的差异图表示为：
其中D1、D2和D3表示U-Net++网络获得的多尺度特征，Up(·)表示上采样操作；
融合的差异映射被馈送到通道注意机制模块中，以获得增强的变化信息；对获得的特征图进行全局平均池化和全局最大池化，然后逐像素相加，然后将结果馈送到全连接层中，以获得均匀的全局注意力向量，具体表示为，
其中，Gapc(·)表示全局平均池化，Gmpc(·)代表全局最大池化，fc(·)代表全连接层，δ是sigmoid激活函数，fvt代表得到的均匀的全局注意力向量；
最后，将均匀的全局注意力向量fvt与逐元素相乘，并输入到大小为1×1的卷积核中，以减少不必要的通道，并获得最终的变化图，具体表示为：
9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-8任一项所述方法的步骤。
10.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1-8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311065026.XA CN117173587B (zh) | 2023-08-23 | 一种基于异构图像深度转换的特征细化融合变化检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311065026.XA CN117173587B (zh) | 2023-08-23 | 一种基于异构图像深度转换的特征细化融合变化检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117173587A true CN117173587A (zh) | 2023-12-05 |
| CN117173587B CN117173587B (zh) | 2024-07-12 |
Family
ID=
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107239795A (zh) * | 2017-05-19 | 2017-10-10 | 西安电子科技大学 | 基于稀疏自编码器和卷积神经网络的sar图像变化检测系统及方法 |
| CN107833216A (zh) * | 2017-11-10 | 2018-03-23 | 西安电子科技大学 | 基于深度曲波差分dsn的极化sar图像变化检测方法 |
| CN109242889A (zh) * | 2018-08-27 | 2019-01-18 | 大连理工大学 | 基于上下文显著性检测与sae的sar图像变化检测方法 |
| CN110135309A (zh) * | 2019-05-02 | 2019-08-16 | 西安电子科技大学 | 基于深度共享表示的sar图像变化检测方法 |
| CN110555841A (zh) * | 2019-09-10 | 2019-12-10 | 西安电子科技大学 | 基于自注意图像融合和dec的sar图像变化检测方法 |
| KR102170260B1 (ko) * | 2019-05-03 | 2020-10-26 | 건국대학교 산학협력단 | 합성 개구 레이더 영상 및 다중분광영상의 융합 장치, 방법 및 그를 이용한 변화 검출 방법 |
| CN113901900A (zh) * | 2021-09-29 | 2022-01-07 | 西安电子科技大学 | 一种同源或异源遥感图像用无监督变化检测方法及系统 |
| CN114926746A (zh) * | 2022-05-25 | 2022-08-19 | 西北工业大学 | 基于多尺度差分特征注意力机制的sar图像变化检测方法 |
| CN115082780A (zh) * | 2022-05-25 | 2022-09-20 | 西北工业大学 | 基于增量式差异学习网络的多源异质影像变化检测方法 |
| CN115100091A (zh) * | 2022-06-23 | 2022-09-23 | 中国人民解放军国防科技大学 | 一种sar图像转光学图像的转换方法及装置 |
| CN115376019A (zh) * | 2022-09-05 | 2022-11-22 | 南京信息工程大学 | 一种异源遥感影像对象级变化检测方法 |
| CN115393706A (zh) * | 2022-07-11 | 2022-11-25 | 西安电子科技大学 | 一种基于无监督空频表征学习融合的sar图像变化检测方法 |
| US20230184927A1 (en) * | 2021-12-15 | 2023-06-15 | Anhui University | Contextual visual-based sar target detection method and apparatus, and storage medium |
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107239795A (zh) * | 2017-05-19 | 2017-10-10 | 西安电子科技大学 | 基于稀疏自编码器和卷积神经网络的sar图像变化检测系统及方法 |
| CN107833216A (zh) * | 2017-11-10 | 2018-03-23 | 西安电子科技大学 | 基于深度曲波差分dsn的极化sar图像变化检测方法 |
| CN109242889A (zh) * | 2018-08-27 | 2019-01-18 | 大连理工大学 | 基于上下文显著性检测与sae的sar图像变化检测方法 |
| CN110135309A (zh) * | 2019-05-02 | 2019-08-16 | 西安电子科技大学 | 基于深度共享表示的sar图像变化检测方法 |
| KR102170260B1 (ko) * | 2019-05-03 | 2020-10-26 | 건국대학교 산학협력단 | 합성 개구 레이더 영상 및 다중분광영상의 융합 장치, 방법 및 그를 이용한 변화 검출 방법 |
| CN110555841A (zh) * | 2019-09-10 | 2019-12-10 | 西安电子科技大学 | 基于自注意图像融合和dec的sar图像变化检测方法 |
| CN113901900A (zh) * | 2021-09-29 | 2022-01-07 | 西安电子科技大学 | 一种同源或异源遥感图像用无监督变化检测方法及系统 |
| US20230184927A1 (en) * | 2021-12-15 | 2023-06-15 | Anhui University | Contextual visual-based sar target detection method and apparatus, and storage medium |
| CN114926746A (zh) * | 2022-05-25 | 2022-08-19 | 西北工业大学 | 基于多尺度差分特征注意力机制的sar图像变化检测方法 |
| CN115082780A (zh) * | 2022-05-25 | 2022-09-20 | 西北工业大学 | 基于增量式差异学习网络的多源异质影像变化检测方法 |
| CN115100091A (zh) * | 2022-06-23 | 2022-09-23 | 中国人民解放军国防科技大学 | 一种sar图像转光学图像的转换方法及装置 |
| CN115393706A (zh) * | 2022-07-11 | 2022-11-25 | 西安电子科技大学 | 一种基于无监督空频表征学习融合的sar图像变化检测方法 |
| CN115376019A (zh) * | 2022-09-05 | 2022-11-22 | 南京信息工程大学 | 一种异源遥感影像对象级变化检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张建龙;王斌;: "DSSRM级联分割的SAR图像变化检测", 遥感学报, no. 04, 25 July 2017 (2017-07-25) * |
| 张潇予;赵凤军;李宁;: "基于多通道特征的SAR图像变化检测", 雷达科学与技术, no. 05, 31 October 2017 (2017-10-31) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | TransUNetCD: A hybrid transformer network for change detection in optical remote-sensing images | |
| Abdollahi et al. | Building footprint extraction from high resolution aerial images using generative adversarial network (GAN) architecture | |
| Shi et al. | Learning multiscale temporal–spatial–spectral features via a multipath convolutional LSTM neural network for change detection with hyperspectral images | |
| CN115331087B (zh) | 融合区域语义与像素特征的遥感影像变化检测方法及系统 | |
| Tian et al. | Multiscale building extraction with refined attention pyramid networks | |
| Wang et al. | Semantic segmentation of remote sensing ship image via a convolutional neural networks model | |
| Li et al. | Unsupervised hyperspectral image change detection via deep learning self-generated credible labels | |
| Bai et al. | Feature enhancement pyramid and shallow feature reconstruction network for SAR ship detection | |
| Jiang et al. | Building damage detection via superpixel-based belief fusion of space-borne SAR and optical images | |
| Hamida et al. | Deep learning for semantic segmentation of remote sensing images with rich spectral content | |
| CN113887472A (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
| CN114529462A (zh) | 一种基于改进YOLO V3-Tiny的毫米波图像目标检测方法及系统 | |
| Lv et al. | ShapeFormer: A shape-enhanced vision transformer model for optical remote sensing image landslide detection | |
| Wang et al. | Automatic SAR ship detection based on multifeature fusion network in spatial and frequency domains | |
| CN114724023A (zh) | 一种基于孪生网络的水体变化检测方法 | |
| CN113516084B (zh) | 高分辨率遥感影像半监督分类方法、装置、设备及介质 | |
| Verma et al. | Development of LR-PCA based fusion approach to detect the changes in mango fruit crop by using landsat 8 OLI images | |
| CN112633123B (zh) | 一种基于深度学习的异源遥感影像变化检测方法及装置 | |
| Liang et al. | High resolution representation‐based Siamese network for remote sensing image change detection | |
| Mo et al. | SAUNet3+ CD: A Siamese-attentive UNet3+ for change detection in remote sensing images | |
| Zhao et al. | Boundary-aware bilateral fusion network for cloud detection | |
| CN117173587B (zh) | 一种基于异构图像深度转换的特征细化融合变化检测方法 | |
| CN117173587A (zh) | 一种基于异构图像深度转换的特征细化融合变化检测方法 | |
| Gu et al. | Advances in Rapid Damage Identification Methods for Post-Disaster Regional Buildings Based on Remote Sensing Images: A Survey | |
| Tan et al. | Divide to attend: A multiple receptive field attention module for object detection in remote sensing images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |