CN116091492A - 一种图像变化像素级检测方法与系统 - Google Patents

一种图像变化像素级检测方法与系统 Download PDF

Info

Publication number
CN116091492A
CN116091492A CN202310358805.2A CN202310358805A CN116091492A CN 116091492 A CN116091492 A CN 116091492A CN 202310358805 A CN202310358805 A CN 202310358805A CN 116091492 A CN116091492 A CN 116091492A
Authority
CN
China
Prior art keywords
image
module
network
feature
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310358805.2A
Other languages
English (en)
Other versions
CN116091492B (zh
Inventor
吕文君
张文婷
康宇
李鲲
李泽瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202310358805.2A priority Critical patent/CN116091492B/zh
Publication of CN116091492A publication Critical patent/CN116091492A/zh
Application granted granted Critical
Publication of CN116091492B publication Critical patent/CN116091492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像变化检测技术领域，公开了一种图像变化像素级检测方法与系统，检测方法包括以下步骤：对多个成对的历史图像Xr和当前图像Xc进行预处理后，组成训练数据集；构建基于图像语义分割网络的图像变化检测模型；定义损失函数并进行网络训练；将采集到的历史图像和当前图像输入到完成训练的图像变化检测模型中，得到像素级的变化图，实现目标变化的像素级检测；本发明通过预训练的图像语义分割网络获取特征提取子网络，得到具有目标导向的特征图，能够显著消除非目标的影响；通过小波变换及其逆变换的引入使网络的上下采样信息损失减小；多种注意力机制的引入能够有效提升特征图融合性能。

Description

一种图像变化像素级检测方法与系统
技术领域
本发明涉及图像变化检测技术领域，具体涉及一种图像变化像素级检测方法与系统。
背景技术
图像变化检测作为计算机视觉中重要的一个方向，利用计算机技术对不同时刻拍摄到的同一地理区域的图像信息进行识别，并从中提取最为关键的视觉特征信息作为具体特征，最终确定变化信息，其研究的目的是找到感兴趣的变化信息，滤除干扰因素出现的不相干变化信息。该技术在资源和环境检测、自然灾害的监测评估、测绘以及军事方面极为重要，如对森林或者植被的动态变化检测，对农作物的生长情况、城镇变化(街道、建筑物等)的实时监测，对军事战略目标进行动态监视等方面，也可用于时延地震变化检测，以发现油藏变化情况。
近年来，随着人工智能技术的不断发展，基于深度学习的图像变化检测技术也不断涌现，大量研究表明，基于深度学习方法构建的模型在图像差异检测问题中能够取得良好的性能，但由于不确定因素的影响，如光照、季节、气候、拍摄角度等因素产生的其他变化，这种伪变化差异会对最终结果产生负面影响，正常去除伪变化需人工剔除，耗时耗力，效率低，局限性较大。同时，许多网络使用深层的特征信息，对细节纹理（如小物体）的检测存在不确定性，即小物体只有较少的像素信息，在下采样的过程当中容易丢失本身的主要特征信息。此外，在小样本情况下的图像差异检测很难达到满意的效果，会存在偏差以及缺乏泛化能力的问题。
发明内容
为解决上述技术问题，本发明提供一种图像变化像素级检测方法与系统。
为解决上述技术问题，本发明采用如下技术方案：
一种图像变化像素级检测方法，将采集到的历史图像和当前图像输入到完成训练的图像变化检测模型中，得到像素级的变化图；
图像变化检测模型的构建和训练方法，包括以下步骤：
步骤一：对多个成对的历史图像Xr和当前图像Xc进行预处理后，得到训练数据集；
步骤二、构建基于图像语义分割网络的图像变化检测模型：
图像变化检测模型包括特征提取子网络、融合模块、残差空谱协同注意力模块；
特征提取子网络通过图像语义分割网络得到，图像语义分割网络包括下采样路径和上采样路径，所述特征提取子网络为图像语义分割网络的下采样路径；特征提取子网络与融合模块组成多尺度特征差分融合子网络；
将训练数据集中成对的历史图像Xr和当前图像Xc输入到图像变化检测模型中时，历史图像Xr和当前图像Xc先输入到特征提取子网络，分别得到特征图组和特征图组,1≤i≤n，n为特征提取子网络输出的特征图组总数；将特征图组对(Mdri,Mdci)进行差分后上采样，将得到的不同尺度的特征差分图组Di输入至融合模块并按通道进行合并，得到多通道的特征差分图组，多通道的特征差分图组依次经过残差空谱协同注意力模块、卷积层和Sigmoid激活函数，得到历史图像Xr与当前图像Xc之间的变化图；
步骤三、定义损失函数并进行网络训练：
对图像语义分割网络进行训练，训练完成后提取图像语义分割网络的下采样路径得到预训练的特征提取子网络，图像语义分割网络训练过程中采用交叉熵损失函数表达像素分类误差；
将预训练的特征提取子网络并入多尺度特征差分融合子网络，在多尺度特征差分融合子网络训练过程中，特征提取子网络所有参数保持固定，标签为人工给定的变化图；其中变化图、历史图像和当前图像尺寸一致；变化图为灰度图，像素亮度最大表示发生变化，像素亮度最小表示未发生变化；多尺度特征差分融合子网络训练时，采用交叉熵损失函数表达像素级变化检测误差。
进一步地，图像包括遥感图像和地震图像。
进一步地，步骤一中，对多个成对的历史图像Xr和当前图像Xc进行预处理时，将历史图像和当前图像的位置对齐，并进行像素归一化处理。
进一步地，所述图像语义分割网络为结合小波变换的上采样路径、下采样路径和残差空谱协同注意力模块组成的U型网络。
进一步地，所述残差空谱协同注意力模块依次包括两个N1模块、谱注意力模块CAM、空间注意力模块SAM；
步骤二中，输入到残差空谱协同注意力模块中的多通道的特征差分图组记为特征图组Ma0；
特征图组Ma0依次经过两个N1模块，得到特征图组Ma1，其中N1模块包括卷积层、批归一化和ReLU激活函数；
特征组图Ma1输入到谱注意力模块CAM，CAM输出结果与特征图组Ma1按通道相乘后得到特征图组Ma2；其中CAM针对特征图组Ma1的各个通道计算注意力强度，对于特征图组，表示实数域，w、h、c分别表示特征图组Ma1中特征图的宽、高以及特征图组Ma1通道数，将特征图组Ma1中的每张特征图的最大值组成通道描述向量，将Ma1中每张特征图的平均值组成通道描述向量，和分别通过全连接层，得到向量，和相加后并输入到Sigmoid激活函数，得到的结果即为CAM的输出结果；
特征图组Ma2输入到空间注意力模块SAM，SAM输出结果与Ma2按空间相乘后得到特征图组Ma3；其中SAM针对特征图组Ma2的各个空间坐标计算注意力强度；对特征图组Ma2的同一空间坐标上的像素点求取最大值，得到空间描述矩阵，对特征图组Ma2的同一空间坐标上的像素点求取平均值，得到空间描述矩阵，将和进行特征拼接后依次输入卷积层和Sigmoid激活函数，得到的结果即为SAM的输出结果；
最后，Ma3与Ma1相加得到特征图组Ma4，Ma4与Ma0相加后并经过ReLU激活函数，得到残差空谱协同注意力模块的最终输出。
进一步地，历史图像Xr和当前图像Xc统一记为图像X；
图像语义分割网络的下采样路径如下：图像X依次经过N2模块、N1模块输出特征图组，依次经过N5模块、N1模块、N1模块，输出特征图组Md2，Md2依次经过N5模块、N1模块、N1模块输出特征图组Md3，Md3依次经过N5模块、N1模块、N1模块输出特征图组Md4，Md4依次经过N5模块、N1模块输出特征图组Md5；
图像语义分割网络的上采样路径如下：Md5经过N6模块后与Md4按通道合并后，再依次经过N1模块、N1模块输出特征图组Mu4，Mu4经过N6模块后与Md3按通道合并，再依次经过N1模块、N1模块输出特征图组Mu3，Mu3经过N6模块后与Md2按通道合并，再依次经过N1模块、N1模块输出特征图组Mu2，Mu2经过N6模块后与Md1按通道合并，再依次经过N1模块、N1模块、N4模块、N3模块；
N1模块由卷积层、批归一化和ReLU激活函数组成；N2模块由卷积层、批归一化组成；N3模块由卷积层、SoftMax激活函数组成；N4模块即为残差空谱协同注意力模块ResS2At；N5模块为离散小波变换，用于下采样；N6模块为小波逆变换，用于上采样。
进一步地，下采样路径包括四个下采样模块，四个下采样模块从浅至深形式依次如下：
Conv(1,64,3)+BN+Conv(64,64,3)+BN+ReLU+DWT；
Conv(256,128,3)+BN+ReLU+Conv(128,128,3)+BN+ReLU+DWT；
Conv(512,256,3)+BN+ReLU+Conv(256,256,3)+BN+ReLU+DWT；
Conv(1024,512,3)+BN+ReLU+Conv(512,512,3)+BN+ReLU+DWT；
其中，Conv()表示卷积操作，Conv()内的三个参数分别为输入通道数、输出通道数、方形卷积核边长；BN表示批归一化；ReLU为ReLU激活函数；DWT为离散小波变换；特征图组经过DWT后，特征图组内的各特征图大小缩小为原来的一半，通道数增加到原来的四倍。
进一步地，上采样路径由一个N1模块和四个上采样模块组成，从浅至深形式依次如下：
Conv(2048,1024,3)+BN+ReLU；
IWT+Conv(768,512,3)+BN+ReLU+Conv(512,512,3)+BN+ReLU；
IWT+Conv(384,256,3)+BN+ReLU+Conv(256,256,3)+BN+ReLU；
IWT+Conv(192,128,3)+BN+ReLU+Conv(128,128,3)+BN+ReLU；
IWT+Conv(96,64,3)+BN+ReLU+Conv(64,64,3)+BN+ReLU+ResS2At+Conv(64,1,3)+SoftMax；
其中，Conv()表示卷积操作，Conv()内的三个参数分别为输入通道数、输出通道数、方形卷积核边长；BN表示批归一化；ReLU为ReLU激活函数；IWT为小波逆变换；特征图组经过IWT后，特征图组内的各特征图大小增大为原来的2倍，通道数缩减到原来的1/4倍；SoftMax为SoftMax激活函数。
一种图像变化像素级检测系统，包括：
数据获取模块：对多个成对的历史图像Xr和当前图像Xc进行预处理后，得到训练数据集；
网络构建模块：构建基于图像语义分割网络的图像变化检测模型；图像变化检测模型包括特征提取子网络、融合模块、残差空谱协同注意力模块；特征提取子网络通过图像语义分割网络得到，图像语义分割网络包括下采样路径和上采样路径，所述特征提取子网络为图像语义分割网络的下采样路径；特征提取子网络与融合模块组成多尺度特征差分融合子网络；将训练数据集中成对的历史图像Xr和当前图像Xc输入到图像变化检测模型中时，历史图像Xr和当前图像Xc输入到特征提取子网络，分别得到特征图组Mdri和特征图组Mdci,1≤i≤n，n为特征提取子网络输出的特征图组总数；将特征图组对(Mdri,Mdci)进行差分后上采样，将得到的不同尺度的特征差分图组Di输入至融合模块并按通道进行合并，得到多通道的特征差分图组，多通道的特征差分图组依次经过残差空谱协同注意力模块、卷积层和Sigmoid激活函数，得到历史图像Xr与当前图像Xc之间的变化图；
网络训练模块：对图像语义分割网络进行训练，训练完成后提取图像语义分割网络的下采样路径得到预训练的特征提取子网络，图像语义分割网络训练过程中采用交叉熵损失函数来表达像素分类误差；将预训练的特征提取子网络并入多尺度特征差分融合子网络，在多尺度特征差分融合子网络训练过程中，特征提取子网络所有参数保持固定，标签为人工给定的变化图；其中变化图、历史图像、当前图像尺寸一致；变化图为灰度图，像素亮度最大表示发生变化，像素亮度最小表示未发生变化；多尺度特征差分融合子网络训练时，采用交叉熵损失函数来表达像素级变化检测误差；
推理模块：将实际采集到的历史图像和当前图像输入到完成训练的图像变化检测模型中，得到像素级的变化图。
本发明中的系统与方法对应，方法中的优选方案同样适用于系统。
与现有技术相比，本发明的有益技术效果是：
1、训练图像语义分割网络以获取特征提取子网络，得到具有目标导向的特征图，能够显著消除非目标的影响；2、小波变换及其逆变换的引入使网络的上下采样信息损失减小；3、多种注意力机制的引入能够有效提升特征图融合性能；4、实现目标变化的像素级检测。
附图说明
图1为本发明的整体模型框架图；
图2为本发明中残差空谱协同注意力模块的结构示意图；
图3为本发明中图像语义分割网络的结构图。
具体实施方式
下面结合附图对本发明的一种优选实施方式作详细的说明。
本实施例公开了一种图像变化像素级检测方法，具体包括如下步骤：
S1、选取图像并进行预处理，获得具有成对图像的训练数据集和测试数据集，具体包括：
S11、准备训练数据集和测试数据集，数据集中的图像包括但不限于遥感图像、地震图像；
S12、先将历史图像和当前图像位置对齐，对于每张图像，进行像素归一化处理，得到图像X；其中历史图像即当前图像对应的变化前图像，也可称为参考图像。
S2、搭建图像变化检测模型，包括特征提取子网络、融合模块、残差空谱协同注意力模块ResS2At，特征提取子网络通过图像语义分割网络得到，图像语义分割网络包括下采样路径和上采样路径，所述特征提取子网络为图像语义分割网络的下采样路径；特征提取子网络与融合模块组成多尺度特征差分融合子网络。具体如下：
S21、定义残差空谱协同注意力模块：
残差空谱协同注意力模块ResS2At（Residual Spatio-Spectral Attention）的结构如图2所示。对于给定的输入特征图组Ma0，依次经过两个N1模块，得到特征图组Ma1，其中N1模块由卷积层、批归一化和ReLU激活函数组成，卷积核尺寸为3×3，步长为1，填充为1。
特征组图Ma1输入到谱注意力模块CAM，CAM输出结果与特征图组Ma1按通道相乘后得到特征图组Ma2；其中CAM针对特征图组Ma1的各个通道计算注意力强度，对于特征图组，表示实数域，w、h、c分别表示特征图宽、高以及特征图组通道数，将特征图组Ma1中的每张特征图的最大值组成通道描述向量，将Ma1中每张特征图的平均值组成通道描述向量，和分别通过全连接层，得到向量，和相加后并输入到Sigmoid激活函数，得到的结果即为CAM的输出结果。CAM输出结果为的向量，向量的每个元素对应Ma1中每张特征图的通道注意力强度，上述的按通道相乘指的是每个通道的注意力强度与对应特征图所有像素值相乘。
特征图组Ma2输入到空间注意力模块SAM，SAM输出结果与Ma2按空间相乘后得到特征图组Ma3；其中SAM针对特征图组Ma2的各个空间坐标计算注意力强度；对特征图组Ma2的同一空间坐标上的像素点求取最大值，得到空间描述矩阵，对特征图组Ma2的同一空间坐标上的像素点求取平均值，得到空间描述矩阵，将和进行特征拼接后依次输入卷积层和Sigmoid激活函数，得到的结果即为SAM的输出结果。SAM输出结果为的矩阵，矩阵的每个元素对应Ma2中的每个空间坐标的空间注意力强度，上述按空间相乘指的是每个空间坐标的注意力强度与对应空间坐标所有像素值相乘。
最后，Ma3与Ma1相加得到特征图组Ma4，Ma4与Ma0相加后并经过ReLU激活函数，得到残差空谱协同注意力模块的最终输出。
S22、定义特征提取子网络：
特征提取子网络由预训练的图像语义分割网络得到，是图像语义分割网络的一部分，图像语义分割网络的结构如图3所示。图像语义分割网络是由基于结合小波变换的上采样路径（解码部分）、下采样路径（编码部分）和残差空谱协同注意力模块构建的U型深度网络分割模型。
图像语义分割网络的下采样路径整体如下：原始图像X依次经过N2模块、N1模块输出特征图组Md1，Md1依次经过N5模块、N1模块、N1模块，输出特征图组Md2，Md2依次经过N5模块、N1模块、N1模块输出特征图组Md3，Md3依次经过N5模块、N1模块、N1模块输出特征图组Md4，Md4依次经过N5模块、N1模块输出特征图组Md5。
图像语义分割网络的上采样路径整体如下：Md5经过N6模块后与Md4按通道合并后，依次经过N1模块、N1模块输出特征图组Mu4，Mu4经过N6模块后与Md3按通道合并，再依次经过N1模块、N1模块输出特征图组Mu3，Mu3经过N6模块后与Md2按通道合并，再依次经过N1模块、N1模块输出特征图组Mu2，Mu2经过N6模块后与Md1按通道合并，再依次经过N1模块、N1模块、N4模块、N3模块，输出分割结果图R。
特征提取子网络即图像语义分割网络的下采样路径。
N1模块由卷积层、批归一化和ReLU激活函数组成；N2模块由卷积层、批归一化组成，N3模块由卷积层、SoftMax激活函数组成，N4模块即为残差空谱协同注意力模块ResS2At；N5模块为离散小波变换DWT，用于下采样；N6模块为小波逆变换IWT，用于上采样；上述卷积核可设置为尺寸为3×3，步长为1，填充为1，DWT和IWT可设置为使用Haar小波的2DDWT。具体的，使用Haar小波的2D DWT对于给定的特征图Md进行变换，使用四个步长为2的卷积滤波器，将特征图Md分解成四个子带图像，即、、和，其中表示平均信息，表示水平信息，表示垂直信息，表示对角线信息，为低通滤波器，、、为高通滤波器，表示卷积运算符，表示因子为2的标准下采样运算符；使用Haar小波的2D IWT是2D DWT的逆变化，可将输入的四个子带图重构为原始图像。
本实施例中，下采样路径由四个下采样模块组成，四个下采样模块从浅至深形式依次如下：
Conv(1,64,3)+BN+Conv(64,64,3)+BN+ReLU+DWT；
Conv(256,128,3)+BN+ReLU+Conv(128,128,3)+BN+ReLU+DWT；
Conv(512,256,3)+BN+ReLU+Conv(256,256,3)+BN+ReLU+DWT；
Conv(1024,512,3)+BN+ReLU+Conv(512,512,3)+BN+ReLU+DWT。
其中，Conv()表示卷积操作，其内三个参数分别为输入通道数、输出通道数、方形卷积核边长，Conv()的卷积步长为1，填充为1，以保证卷积后特征图大小不变；BN表示批归一化；ReLU为ReLU激活函数；特征图组经过DWT后，特征图大小缩小为原来的一半，通道数增加到原来的4倍。
上采样路径由一个卷积层N1模块和四个上采样模块组成，从浅至深形式依次如下：
Conv(2048,1024,3)+BN+ReLU；
IWT+Conv(768,512,3)+BN+ReLU+Conv(512,512,3)+BN+ReLU；
IWT+Conv(384,256,3)+BN+ReLU+Conv(256,256,3)+BN+ReLU；
IWT+Conv(192,128,3)+BN+ReLU+Conv(128,128,3)+BN+ReLU；
IWT+Conv(96,64,3)+BN+ReLU+Conv(64,64,3)+BN+ReLU+ResS2At+Conv(64,1,3)+SoftMax。
其中，Conv的卷积步长为1，填充为1，特征图组经过IWT后，特征图大小增大为原来的2倍，通道数缩减到原来的1/4倍；SoftMax为SoftMax激活函数。
S23、定义多尺度特征差分融合子网络：
多尺度特征差分融合子网络由特征提取子网络和融合模块组成，由于特征提取子网络从预训练的图像语义分割网络中提取，因此特征提取子网络在多尺度特征差分融合子网络中是不可训练的。
如图1所示，将成对的历史图像Xr和当前图像Xc，输入到固定的特征提取子网络，分别得到与历史图像Xr对应的特征图组Mdr1、Mdr2、Mdr3、Mdr4、Mdr5，与当前图像对应的特征图组Mdc1、Mdc2、Mdc3、Mdc4、Mdc5，这里的Md对应到S22下采样路径中特征图组。(Mdr1,Mdc1)，(Mdr2,Mdc2)，(Mdr3,Mdc3)，(Mdr4,Mdc4)，(Mdr5,Mdc5)成组输入到N7模块，得到不同尺度的特征差分图组D1至D5，D1至D5经过融合模块按通道进行合并，得到多通道的特征差分图组，其中，N7模块为差分后上采样模块，Conc是Concatenate的缩写，表示特征连接合并；多通道的特征差分图组依次经过N4模块、N4模块和N8模块，即可得到历史图像Xr和当前图像Xc的变化图。该变化图为灰度图，发生变化像素点接近1，即亮度较大，无变化像素点接近0，即亮度较低。本实施例中，多通道的特征差分图组需要重复经过两次残差空谱协同注意力模块ResS2At，N8模块由1x1卷积层和Sigmoid激活函数组成。
S3、定义损失函数并进行网络训练：
首先训练图像语义分割网络，以遥感图像树木变化检测为例，训练图像语义分割网络时采用的标签为：树木、非树木，图像语义分割网络训练完毕后提取其下采样路径得到特征提取子网络，图像语义分割网络训练过程中采用交叉熵损失函数来表达像素分类误差。
将预训练的特征提取子网络并入多尺度特征差分融合子网络并固定特征提取子网络所有参数不参与训练，仅训练多尺度特征差分融合子网络中除去特征提取子网络的其余部分，标签为人工给定的变化图，其中变化图、历史图像、当前图像尺寸一致，变化图为灰度图，像素亮度最大表示发生变化，像素亮度最小表示未发生变化；多尺度特征差分融合子网络训练中采用交叉熵损失函数来表达像素级变化检测误差。
S4、模型应用：
把测试数据集中成对的历史图像和当前图像输入到训练好的图像变化检测模型中，得到像素级的变化图。
本发明还公开了一种图像变化像素级检测系统，本发明中的系统与方法对应，方法中的具体方案同样适用于系统。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立技术方案，说明书的这种叙述方式仅仅是为了清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种图像变化像素级检测方法，其特征在于，将采集到的历史图像和当前图像输入到完成训练的图像变化检测模型中，得到像素级的变化图；
图像变化检测模型的构建和训练方法，包括以下步骤：
步骤一：对多个成对的历史图像Xr和当前图像Xc进行预处理后，得到训练数据集；
步骤二、构建基于图像语义分割网络的图像变化检测模型：
图像变化检测模型包括特征提取子网络、融合模块、残差空谱协同注意力模块；
特征提取子网络通过图像语义分割网络得到，图像语义分割网络包括下采样路径和上采样路径，所述特征提取子网络为图像语义分割网络的下采样路径；特征提取子网络与融合模块组成多尺度特征差分融合子网络；
将训练数据集中成对的历史图像Xr和当前图像Xc输入到图像变化检测模型中时，历史图像Xr和当前图像Xc先输入到特征提取子网络，分别得到特征图组和特征图组,1≤i≤n，n为特征提取子网络输出的特征图组总数；将特征图组对(Mdri,Mdci)进行差分后上采样，将得到的不同尺度的特征差分图组Di输入至融合模块并按通道进行合并，得到多通道的特征差分图组，多通道的特征差分图组依次经过残差空谱协同注意力模块、卷积层和Sigmoid激活函数，得到历史图像Xr与当前图像Xc之间的变化图；
步骤三、定义损失函数并进行网络训练：
对图像语义分割网络进行训练，训练完成后提取图像语义分割网络的下采样路径得到预训练的特征提取子网络，图像语义分割网络训练过程中采用交叉熵损失函数表达像素分类误差；
将预训练的特征提取子网络并入多尺度特征差分融合子网络，在多尺度特征差分融合子网络训练过程中，特征提取子网络所有参数保持固定，标签为人工给定的变化图；其中变化图、历史图像和当前图像尺寸一致；变化图为灰度图，像素亮度最大表示发生变化，像素亮度最小表示未发生变化；多尺度特征差分融合子网络训练时，采用交叉熵损失函数表达像素级变化检测误差。
2.根据权利要求1所述的图像变化像素级检测方法，其特征在于：图像包括遥感图像和地震图像。
3.根据权利要求1所述的图像变化像素级检测方法，其特征在于：步骤一中，对多个成对的历史图像Xr和当前图像Xc进行预处理时，将历史图像和当前图像的位置对齐，并进行像素归一化处理。
4.根据权利要求1所述的图像变化像素级检测方法，其特征在于：所述图像语义分割网络为结合小波变换的上采样路径、下采样路径和残差空谱协同注意力模块组成的U型网络。
5.根据权利要求1所述的图像变化像素级检测方法，其特征在于：所述残差空谱协同注意力模块依次包括两个N1模块、谱注意力模块CAM、空间注意力模块SAM；
步骤二中，输入到残差空谱协同注意力模块中的多通道的特征差分图组记为特征图组Ma0；
特征图组Ma0依次经过两个N1模块，得到特征图组Ma1，其中N1模块包括卷积层、批归一化和ReLU激活函数；
特征组图Ma1输入到谱注意力模块CAM，CAM输出结果与特征图组Ma1按通道相乘后得到特征图组Ma2；其中CAM针对特征图组Ma1的各个通道计算注意力强度，对于特征图组，表示实数域，w、h、c分别表示特征图组Ma1中特征图的宽、高以及特征图组Ma1通道数，将特征图组Ma1中的每张特征图的最大值组成通道描述向量，将Ma1中每张特征图的平均值组成通道描述向量，和分别通过全连接层，得到向量，和相加后并输入到Sigmoid激活函数，得到的结果即为CAM的输出结果；
特征图组Ma2输入到空间注意力模块SAM，SAM输出结果与Ma2按空间相乘后得到特征图组Ma3；其中SAM针对特征图组Ma2的各个空间坐标计算注意力强度；对特征图组Ma2的同一空间坐标上的像素点求取最大值，得到空间描述矩阵，对特征图组Ma2的同一空间坐标上的像素点求取平均值，得到空间描述矩阵，将和进行特征拼接后依次输入卷积层和Sigmoid激活函数，得到的结果即为SAM的输出结果；
最后，Ma3与Ma1相加得到特征图组Ma4，Ma4与Ma0相加后并经过ReLU激活函数，得到残差空谱协同注意力模块的最终输出。
6.根据权利要求1所述的图像变化像素级检测方法，其特征在于：历史图像Xr和当前图像Xc统一记为图像X；
图像语义分割网络的下采样路径如下：图像X依次经过N2模块、N1模块输出特征图组，依次经过N5模块、N1模块、N1模块，输出特征图组Md2，Md2依次经过N5模块、N1模块、N1模块输出特征图组Md3，Md3依次经过N5模块、N1模块、N1模块输出特征图组Md4，Md4依次经过N5模块、N1模块输出特征图组Md5；
图像语义分割网络的上采样路径如下：Md5经过N6模块后与Md4按通道合并后，再依次经过N1模块、N1模块输出特征图组Mu4，Mu4经过N6模块后与Md3按通道合并，再依次经过N1模块、N1模块输出特征图组Mu3，Mu3经过N6模块后与Md2按通道合并，再依次经过N1模块、N1模块输出特征图组Mu2，Mu2经过N6模块后与Md1按通道合并，再依次经过N1模块、N1模块、N4模块、N3模块；
N1模块由卷积层、批归一化和ReLU激活函数组成；N2模块由卷积层、批归一化组成；N3模块由卷积层、SoftMax激活函数组成；N4模块即为残差空谱协同注意力模块ResS2At；N5模块为离散小波变换，用于下采样；N6模块为小波逆变换，用于上采样。
7.根据权利要求6所述的图像变化像素级检测方法，其特征在于，下采样路径包括四个下采样模块，四个下采样模块从浅至深形式依次如下：
Conv(1,64,3)+BN+Conv(64,64,3)+BN+ReLU+DWT；
Conv(256,128,3)+BN+ReLU+Conv(128,128,3)+BN+ReLU+DWT；
Conv(512,256,3)+BN+ReLU+Conv(256,256,3)+BN+ReLU+DWT；
Conv(1024,512,3)+BN+ReLU+Conv(512,512,3)+BN+ReLU+DWT；
其中，Conv()表示卷积操作，Conv()内的三个参数分别为输入通道数、输出通道数、方形卷积核边长；BN表示批归一化；ReLU为ReLU激活函数；DWT为离散小波变换；特征图组经过DWT后，特征图组内的各特征图大小缩小为原来的一半，通道数增加到原来的四倍。
8.根据权利要求6所述的图像变化像素级检测方法，其特征在于：上采样路径由一个N1模块和四个上采样模块组成，从浅至深形式依次如下：
Conv(2048,1024,3)+BN+ReLU；
IWT+Conv(768,512,3)+BN+ReLU+Conv(512,512,3)+BN+ReLU；
IWT+Conv(384,256,3)+BN+ReLU+Conv(256,256,3)+BN+ReLU；
IWT+Conv(192,128,3)+BN+ReLU+Conv(128,128,3)+BN+ReLU；
IWT+Conv(96,64,3)+BN+ReLU+Conv(64,64,3)+BN+ReLU+ResS2At+Conv(64,1,3)+SoftMax；
其中，Conv()表示卷积操作，Conv()内的三个参数分别为输入通道数、输出通道数、方形卷积核边长；BN表示批归一化；ReLU为ReLU激活函数；IWT为小波逆变换；特征图组经过IWT后，特征图组内的各特征图大小增大为原来的2倍，通道数缩减到原来的1/4倍；SoftMax为SoftMax激活函数。
9.一种图像变化像素级检测系统，其特征在于，包括：
数据获取模块：对多个成对的历史图像Xr和当前图像Xc进行预处理后，得到训练数据集；
网络构建模块：构建基于图像语义分割网络的图像变化检测模型；图像变化检测模型包括特征提取子网络、融合模块、残差空谱协同注意力模块；特征提取子网络通过图像语义分割网络得到，图像语义分割网络包括下采样路径和上采样路径，所述特征提取子网络为图像语义分割网络的下采样路径；特征提取子网络与融合模块组成多尺度特征差分融合子网络；将训练数据集中成对的历史图像Xr和当前图像Xc输入到图像变化检测模型中时，历史图像Xr和当前图像Xc输入到特征提取子网络，分别得到特征图组Mdri和特征图组Mdci,1≤i≤n，n为特征提取子网络输出的特征图组总数；将特征图组对(Mdri,Mdci)进行差分后上采样，将得到的不同尺度的特征差分图组Di输入至融合模块并按通道进行合并，得到多通道的特征差分图组，多通道的特征差分图组依次经过残差空谱协同注意力模块、卷积层和Sigmoid激活函数，得到历史图像Xr与当前图像Xc之间的变化图；
网络训练模块：对图像语义分割网络进行训练，训练完成后提取图像语义分割网络的下采样路径得到预训练的特征提取子网络，图像语义分割网络训练过程中采用交叉熵损失函数来表达像素分类误差；将预训练的特征提取子网络并入多尺度特征差分融合子网络，在多尺度特征差分融合子网络训练过程中，特征提取子网络所有参数保持固定，标签为人工给定的变化图；其中变化图、历史图像、当前图像尺寸一致；变化图为灰度图，像素亮度最大表示发生变化，像素亮度最小表示未发生变化；多尺度特征差分融合子网络训练时，采用交叉熵损失函数来表达像素级变化检测误差；
推理模块：将实际采集到的历史图像和当前图像输入到完成训练的图像变化检测模型中，得到像素级的变化图。
CN202310358805.2A 2023-04-06 2023-04-06 一种图像变化像素级检测方法与系统 Active CN116091492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310358805.2A CN116091492B (zh) 2023-04-06 2023-04-06 一种图像变化像素级检测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310358805.2A CN116091492B (zh) 2023-04-06 2023-04-06 一种图像变化像素级检测方法与系统

Publications (2)

Publication Number Publication Date
CN116091492A true CN116091492A (zh) 2023-05-09
CN116091492B CN116091492B (zh) 2023-07-14

Family

ID=86204812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310358805.2A Active CN116091492B (zh) 2023-04-06 2023-04-06 一种图像变化像素级检测方法与系统

Country Status (1)

Country Link
CN (1) CN116091492B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452983A (zh) * 2023-06-12 2023-07-18 合肥工业大学 一种基于无人机航拍影像的国土地貌变化快速发现方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063569A (zh) * 2018-07-04 2018-12-21 北京航空航天大学 一种基于遥感影像的语义级变化检测方法
US10203210B1 (en) * 2017-11-03 2019-02-12 Toyota Research Institute, Inc. Systems and methods for road scene change detection using semantic segmentation
US20190050625A1 (en) * 2017-08-08 2019-02-14 Spaceknow Inc. Systems, methods and computer program products for multi-resolution multi-spectral deep learning based change detection for satellite images
CN111274892A (zh) * 2020-01-14 2020-06-12 北京科技大学 一种鲁棒的遥感影像变化检测方法及系统
CN113420662A (zh) * 2021-06-23 2021-09-21 西安电子科技大学 基于孪生多尺度差异特征融合的遥感影像变化检测方法
CN113642698A (zh) * 2021-06-15 2021-11-12 中国科学技术大学 地球物理测井智能解释方法、系统及存储介质
CN114170154A (zh) * 2021-11-22 2022-03-11 西安理工大学 基于Transformer的遥感VHR图像变化检测方法
CN114359723A (zh) * 2021-12-27 2022-04-15 陕西科技大学 一种基于空谱特征融合网络的遥感影像变化检测方法
CN114743110A (zh) * 2022-03-01 2022-07-12 西北大学 多尺度嵌套的遥感图像变化检测方法、系统及计算机终端
WO2022160753A1 (zh) * 2021-01-27 2022-08-04 上海商汤智能科技有限公司 图像处理方法、装置、电子设备和存储介质
CN114926746A (zh) * 2022-05-25 2022-08-19 西北工业大学 基于多尺度差分特征注意力机制的sar图像变化检测方法
CN114937204A (zh) * 2022-04-29 2022-08-23 南京信息工程大学 一种轻量级多特征聚合的神经网络遥感变化检测方法
CN115035334A (zh) * 2022-06-07 2022-09-09 西北大学 多尺度融合双时相遥感图像的多分类变化检测方法及系统
CN115331087A (zh) * 2022-10-11 2022-11-11 水利部交通运输部国家能源局南京水利科学研究院 融合区域语义与像素特征的遥感影像变化检测方法及系统
CN115376019A (zh) * 2022-09-05 2022-11-22 南京信息工程大学 一种异源遥感影像对象级变化检测方法
US11521379B1 (en) * 2021-09-16 2022-12-06 Nanjing University Of Information Sci. & Tech. Method for flood disaster monitoring and disaster analysis based on vision transformer
CN115601661A (zh) * 2022-10-31 2023-01-13 湖北工业大学（Cn） 一种用于城市动态监测的建筑物变化检测方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190050625A1 (en) * 2017-08-08 2019-02-14 Spaceknow Inc. Systems, methods and computer program products for multi-resolution multi-spectral deep learning based change detection for satellite images
US10203210B1 (en) * 2017-11-03 2019-02-12 Toyota Research Institute, Inc. Systems and methods for road scene change detection using semantic segmentation
CN109063569A (zh) * 2018-07-04 2018-12-21 北京航空航天大学 一种基于遥感影像的语义级变化检测方法
CN111274892A (zh) * 2020-01-14 2020-06-12 北京科技大学 一种鲁棒的遥感影像变化检测方法及系统
WO2022160753A1 (zh) * 2021-01-27 2022-08-04 上海商汤智能科技有限公司 图像处理方法、装置、电子设备和存储介质
CN113642698A (zh) * 2021-06-15 2021-11-12 中国科学技术大学 地球物理测井智能解释方法、系统及存储介质
CN113420662A (zh) * 2021-06-23 2021-09-21 西安电子科技大学 基于孪生多尺度差异特征融合的遥感影像变化检测方法
US11521379B1 (en) * 2021-09-16 2022-12-06 Nanjing University Of Information Sci. & Tech. Method for flood disaster monitoring and disaster analysis based on vision transformer
CN114170154A (zh) * 2021-11-22 2022-03-11 西安理工大学 基于Transformer的遥感VHR图像变化检测方法
CN114359723A (zh) * 2021-12-27 2022-04-15 陕西科技大学 一种基于空谱特征融合网络的遥感影像变化检测方法
CN114743110A (zh) * 2022-03-01 2022-07-12 西北大学 多尺度嵌套的遥感图像变化检测方法、系统及计算机终端
CN114937204A (zh) * 2022-04-29 2022-08-23 南京信息工程大学 一种轻量级多特征聚合的神经网络遥感变化检测方法
CN114926746A (zh) * 2022-05-25 2022-08-19 西北工业大学 基于多尺度差分特征注意力机制的sar图像变化检测方法
CN115035334A (zh) * 2022-06-07 2022-09-09 西北大学 多尺度融合双时相遥感图像的多分类变化检测方法及系统
CN115376019A (zh) * 2022-09-05 2022-11-22 南京信息工程大学 一种异源遥感影像对象级变化检测方法
CN115331087A (zh) * 2022-10-11 2022-11-11 水利部交通运输部国家能源局南京水利科学研究院 融合区域语义与像素特征的遥感影像变化检测方法及系统
CN115601661A (zh) * 2022-10-31 2023-01-13 湖北工业大学（Cn） 一种用于城市动态监测的建筑物变化检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WENJUN LV 等: "LogRegX: An Explainable Regression Network for Cross-Well Geophysical Logs Generation", 《 IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》, vol. 72, pages 1 - 11 *
向阳;赵银娣;董霁红;: "基于改进UNet孪生网络的遥感影像矿区变化检测", 煤炭学报, no. 12, pages 3773 - 3780 *
王艳恒;高连如;陈正超;张兵;: "结合深度学习和超像元的高分遥感影像变化检测", 中国图象图形学报, no. 06, pages 1271 - 1282 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452983A (zh) * 2023-06-12 2023-07-18 合肥工业大学 一种基于无人机航拍影像的国土地貌变化快速发现方法
CN116452983B (zh) * 2023-06-12 2023-10-10 合肥工业大学 一种基于无人机航拍影像的国土地貌变化快速发现方法

Also Published As

Publication number Publication date
CN116091492B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN109800736B (zh) 一种基于遥感影像和深度学习的道路提取方法
CN110361778B (zh) 一种基于生成对抗网络的地震数据重建方法
CN113269818B (zh) 一种基于深度学习的地震数据纹理特征重建方法
CN113673590A (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN112561876A (zh) 基于图像的池塘和水库的水质检测方法及系统
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN116091492B (zh) 一种图像变化像素级检测方法与系统
CN113610070A (zh) 一种基于多源数据融合的滑坡灾害识别方法
CN116029902A (zh) 一种基于知识蒸馏的无监督真实世界图像超分辨方法
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
CN115205136A (zh) 一种基于傅里叶先验的图像去雨方法
CN112734638B (zh) 一种遥感影像超分辨重建方法、装置及存储介质
CN116912675B (zh) 一种基于特征迁移的水下目标检测方法及系统
CN114063168A (zh) 一种地震信号人工智能降噪方法
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN111524078B (zh) 一种基于稠密网络的显微镜图像去模糊方法
CN113421198A (zh) 一种基于子空间的非局部低秩张量分解的高光谱图像去噪方法
CN112150360A (zh) 一种基于稠密残差网络的ivus图像超分辨率重建方法
CN116823664A (zh) 一种遥感图像云去除方法及系统
CN116091893A (zh) 一种基于U-net网络的地震图像反褶积方法及系统
CN117474764B (zh) 一种针对复杂退化模型下遥感图像的高分辨率重建方法
CN117765410B (zh) 遥感影像双分支特征融合固废识别方法、系统及电子设备
CN117893559B (zh) 基于对象成像网络的水域标注方法、装置和电子设备
CN117576567B (zh) 一种使用多层级差异特征自适应融合的遥感图像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant