CN112560733A - 面向两期遥感影像的多任务处理系统及方法 - Google Patents
面向两期遥感影像的多任务处理系统及方法 Download PDFInfo
- Publication number
- CN112560733A CN112560733A CN202011532144.3A CN202011532144A CN112560733A CN 112560733 A CN112560733 A CN 112560733A CN 202011532144 A CN202011532144 A CN 202011532144A CN 112560733 A CN112560733 A CN 112560733A
- Authority
- CN
- China
- Prior art keywords
- feature
- module
- fusion
- information
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 70
- 230000007246 mechanism Effects 0.000 claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000002776 aggregation Effects 0.000 claims abstract description 31
- 238000004220 aggregation Methods 0.000 claims abstract description 31
- 238000005070 sampling Methods 0.000 claims abstract description 19
- 230000008859 change Effects 0.000 claims description 46
- 238000010586 diagram Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims description 2
- 230000005855 radiation Effects 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102100024508 Ficolin-1 Human genes 0.000 description 1
- 102100024521 Ficolin-2 Human genes 0.000 description 1
- 102100024520 Ficolin-3 Human genes 0.000 description 1
- 101001052785 Homo sapiens Ficolin-1 Proteins 0.000 description 1
- 101001052753 Homo sapiens Ficolin-2 Proteins 0.000 description 1
- 101001052749 Homo sapiens Ficolin-3 Proteins 0.000 description 1
- 101000642431 Homo sapiens Pre-mRNA-splicing factor SPF27 Proteins 0.000 description 1
- 102100036347 Pre-mRNA-splicing factor SPF27 Human genes 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 101100280824 Xenopus laevis fcn1-b gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种面向两期遥感影像的多任务处理系统及方法，包括：双路分支特征提取模块、金字塔融合模块、语义指导模块、特征聚合模块、双路注意力机制模块、边界提升模块和上采样模块，本发明通过构造双路网络进行两期遥感影像的特征提取，设计信息流模块引导高层语义信息指导底层空间信息进行特征学习，并通过特征聚合模块有效融合两期影像特征图，充分捕获两期影像之间的关联性和差异性。后续通过注意力机制模块增强特征信息的表达能力，从而实现多任务智能处理。
Description
技术领域
本发明涉及的是一种图像处理领域的技术，具体是一种面向两期遥感影像的多任务处理系统及方法。
背景技术
随着深度学习在遥感影像处理中成功应用，遥感影像的多任务智能处理成为研究热点，其目的是利用深度卷积网络，通过构建端到端的多任务学习模型，同时实现不同的任务，如影像分类、分割、变化检测等。现有深度网络被引入两期遥感影像变化区域的变化类别信息提取，主要包括基于语义分割的FullyConvolutional-Earlyfusion(FC-EF)，deepSiamese multi-scale convolutional network(DSMS-CN)等，基于目标检测的Faster R-CNN，以及基于双路网络与图块级检测方法的AggregationNet等。然而，两期遥感影像除变化区域外，其不变区域中也包含感兴趣的核心要素需要进行提取。现有用于遥感影像核心要素提取的方法主要有基于深度网络的方法，如Bilateral Segmentation Network(BiseNet)，Pyramid attention Network(PAN)以及Pyramid Scene Parsing Network(PSPNet)等。
现有技术的缺陷在于：在完成多任务时需要将两期影像分别送入模型进行分类，并将分类结果进行对比，这种方式大大增加了测试阶段的时间。另一方面，这种方式将两期影像当做两个单独的对象进行分析，无法利用两期影像特征之间的差异性和关联性，因此实现效果较差。
发明内容
本发明针对现有技术存在的上述不足，提出一种面向两期遥感影像的多任务处理系统及方法，通过构造双路网络进行两期遥感影像的特征提取，设计信息流模块引导高层语义信息指导底层空间信息进行特征学习，并通过特征聚合模块有效融合两期影像特征图，充分捕获两期影像之间的关联性和差异性。后续通过注意力机制模块增强特征信息的表达能力，从而实现多任务智能处理。
本发明是通过以下技术方案实现的：
本发明涉及一种面向两期遥感影像的多任务处理系统，包括：双路分支特征提取模块、金字塔融合模块、语义指导模块、特征聚合模块、双路注意力机制模块、边界提升模块和上采样模块，其中：双路分支特征提取模块输出两种不同尺寸的特征图至金字塔融合模块，金字塔融合模块将两种特征图融合后输出至语义指导模块，两个语义指导模块分别获得高层的特征图和低一层的特征图：将高层特征图利用双线性插值的上采样方式获得与低一层特征图相同的尺度，并作为权重与低一层的特征图相乘实现高层信息指导低层信息学习，特征聚合模块进行双路相同尺度的特征图融合处理，语义指导模块捕获两期影像特征之间的差异性和关联性：将相加和相减的结果进行通道上的拼接后输出至双路注意力机制模块，双路注意力机制模块分别构造针对特征图的像素隶属度矩阵和通道隶属度矩阵，并将计算的隶属度矩阵与原始特征图计算，从而生成一对像素注意力和通道注意力的特征图，并将这一对特征图进行相加并输出至边界提升模块，边界提升模块同时实现针对两期影像变化区域的具体变化种类识别以及不变区域的具体地物要素种类识别后输出至上采样模块，上采样模块输出原图大小的多任务处理结果，即同时实现针对两期影像变化区域的变化区域变化种类信息和不变区域地物要素信息。
本发明涉及一种基于上述系统的面向两期遥感影像的多任务处理方法，通过双路分支特征提取模块同时提取两期影像变化区域的变化类别信息以及不变区域中的核心要素信息，通过金字塔融合模块对提取到的两个特征进行融合后，由语义指导模块将高层特征金字塔的输出进行双线性插值的上采样并作为权重与低层特征金字塔的输出相乘，生成存在语义指导的特征图；再通过特征聚合模块对双路相同尺度的特征图融合生成包含两期影像特征之间的差异性与关联性的特征融合图，由双路注意力机制模块针对不同尺度的特征融合图通过双路注意力机制模块从像素注意力与通道注意力同时进行融合特征学习，实现基于该注意力机制的融合特征图同时进行变化区域的变化类别解译以及不变区域的核心要素提取。
所述的融合是指：将双路深度神经网络提取到的相同尺度的特征图在通道上的拼接、相加和相减操作，并将这三种操作生成的融合特征图相结合。
所述的融合特征学习是指：构建融合特征中不同的像素点之间和不同的通道之间的关系，有效地提升了原始融合特征的信息量。
所述的双路注意力机制是指：通道注意力和像素注意力机制，通过构造像素隶属度矩阵和通道隶属度矩阵，并作为权重与输入特征图相乘，并将像素注意力子模块的输出和通道注意力子模块的输出再进行结合作为输出。
所述的变化类别解译是指：识别两期影像变化区域的具体变化种类信息。
所述的核心要素提取是指：识别两期影像不变区域的具体地物种类信息。
技术效果
相较于原始的基于单时相遥感影像分类后对比分析的方式进行多任务学习，本发明通过一个网络模型同时输入两期影像，并直接生成变化区域的变化种类信息以及不变区域的地物要素类别信息；本发明将两期遥感影像通过多任务同时提取两期影像变化区域的变化类别信息以及不变区域中的核心要素信息，能够准确获取变化区域的变化种类信息以及实现不变区域的核心要素提取。
本发明通过设计多尺度的特征融合策略有效捕获到不同层次的特征关联性和差异性，并且通过引入注意力机制提升特征信息的表达能力，同时实现高精度的两期影像不变区域核心要素提取以及两期影像变化区域解译。
附图说明
图1为本发明双路深度神经网络示意图；
图2为金字塔融合模块示意图；
图3为语义引导模块示意图；
图4为特征聚合模块示意图；
图5为全卷积预测网络模块示意图；
图6为边界提升模块示意图；
图7为双路注意力机制模块示意图；
图8为实施例多任务智能处理流程图；
图9为实施例两期影像公开数据集示意图；
图中：第一行为第一期影像，第二行为第二期影像，其中第一期影像为无人机拍摄的2012年4月新西兰地区的遥感影像，第二期影像为无人机拍摄的2014年2月的遥感影像；
图10为人为定义的核心要素类别和多类别变化检测图；
图11为人工解译多任务智能处理标签示意图；
图中：第一行分别为第一期影像，第二期影像和不变区域核心要素提取标签；第二行分别为第一期影像，第二期影像和多类别变化检测标签；
图12为不同的多任务智能处理网络在数据集上的测试结果(测试结果为多任务综合效果)示意图；
图中：(a)第一期影像，(b)第二期影像，(c)标签，(d)Fully Convolutional-EarlyFusion(FC-EF)，(e)Fully Convolutional-Siamese(FC-Siam)，(f)deep Siamese multi-scale convolutional network(DSMS-CN)，(g)本发明多任务智能处理网络；
图13为实施例实验对比图；
图中：(a)部分第一期影像，(b)部分第二期影像，(c)相应标签，(d)FCN网络结果，(e)SegNet网络结果，(f)Unet网络结果，(g)Bisenet网络分割结果，(h)DAN网络结果，(i)多任务智能处理网络结果；
图14为新设计的网络结构在WHU公开数据集上的测试效果；
图中：(a)(b)分别为两期影像，(c)相应标签，(d)为无语义指导模块SGM的实验结果图，(e)为无双路注意力机制模块DAM的实验结果图，(f)为无特征聚合模块FFM融合的实验结果图(只有通道拼接实现的特征融合)，(g)所有模块都存在的实验结果图。
具体实施方式
如图1所示，为本实施例涉及的一种面向两期遥感影像的多任务处理系统，包括：第一至第八双路分支特征提取单元VGG1-1、VGG1-2、VGG1-3、VGG1-4、VGG2-1、VGG2-2、VGG2-3、VGG2-4、第一至第六金字塔融合单元FPM1-1、FPM1-2、FPM1-3、FPM2-1、FPM2-2、FPM2-3、第一至第六语义指导单元SGM1-1、SGM1-2、SGM1-3、SGM2-1、SGM2-2、SGM2-3、第一至第四特征聚合单元FFM1、FFM2、FFM3、FFM4、第一至第四双路注意力机制单元DAM1、DAM2、DAM3、DAM4、第一至第四边界提升单元BR1、BR2、BR3、BR4、第一至第四全卷积预测单元FCN1、FCN2、FCN3、FCN4和四个上采样单元Deconv，其中：四个双路分支特征提取单元组成的双路分支特征提取模块根据输入的两期影像信息进行并行的一对影像的特征提取处理并输出特征信息信息至金字塔融合模块FPM，六个金字塔融合单元组成的金字塔融合模块FPM根据输入的双路网络中单个特征提取的分支信息的相邻两个特征提取模块进行特征融合处理并输出融合信息至语义指导模块，六个语义指导单元组成的语义指导模块根据相邻两个特征金子塔模块的输出信息进行用高层特征作为权重与低层特征进行相乘处理并输出特征信息至特征聚合模块，四个特征聚合单元组成的特征聚合模块根据来自两期影像的相同尺寸信息的特征信息进行融合处理并输出融合特征信息至双路注意力机制模块，四个双路注意力机制单元组成的双路注意力机制模块根据融合特征信息进行像素与通道隶属度关系矩阵的计算并与原始的融合特征图相乘，最后将像素注意力的输出结果和通道注意力的输出结果做相加处理并输出基于注意力机制的融合信息至边界提升模块，四个边界提升单元组成的边界提升模块根据输入信息进行残差连接处理并输出信息至上采样，各个上采样单元根据特征信息进行反卷积处理并输出信息至输出。
如图2所示，每个金字塔融合单元包括：反池化层、3*3卷积层、相邻特征图相加操作层、3*3卷积层。
如图3所示，每个语义指导单元包括：3*3卷积层、双线性插值层、相邻特征图相乘操作。
如图4所示，每个特征聚合单元包括：相同尺度的特征图的相加操作、相减操作、通道上的拼接操作层、3*3卷积层、以及将不同融合操作的输出结果图进行二次通道上拼接的操作层、以及最后统一通道数至128的3*3卷积层。
如图5所示，每个全卷积预测单元包括：卷积操作层，其中最后一层卷积的输出结果的通道数即为要分类的类别数。
如图6所示，每个边界提升单元包括：3*3卷积层、激活函数层、以及残差连接的恒等映射。
如图7所示，每个双路注意力机制单元包括：用于维度转换的reshape层(reshape目的在于矩阵乘法运算)、特征图相乘操作层、以及通道与像素注意力特征图的相加操作层。
本实施例中的双路神经网络的输入端允许送入的影像对大小为64*64*3，其主体网络由一系列卷积层、最大池化层、反池化层、反卷积层构成，其中：VGG特征提取双路分支采用的深度为16层，可以通过特征提取网络的不同位置获取到不同尺度大小的特征图，其中：第一和第五双路分支特征提取单元VGG1-1和VGG2-1生成32*32*64大小的特征图，第二和第六双路分支特征提取单元VGG1-2和VGG2-2生成16*16*128大小的特征图，第三和第七双路分支特征提取单元VGG1-3和VGG2-3生成8*8*256大小的特征图，第四和第八双路分支特征提取单元VGG1-4和VGG2-4生成4*4*512大小的特征图。并对这些单个分支中不同尺寸的特征图进行特征融合和语义信息引导，并将双路的特征图进行融合，获取不同层次的特征关联性与差异性。具体操作为对双路分支中单个分支的特征图(以VGG1-3和VGG1-4生成的特征图为例)，对4*4大小的特征图进行反池化，并且将反池化到8*8大小的结果与原来VGG1-3输出的特征图在通道上拼接，并且通过1*1卷积将融合特征图的通道数设置为128，其中：第一和第四金字塔融合单元FPM1-1和FPM2-1生成32*32*128大小的特征图，第二和第五金字塔融合单元FPM1-2和FPM2-2生成16*16*128大小的特征图，第三和第六金字塔融合单元FPM1-3和FPM2-3生成8*8*128大小的特征图。后续通过语义引导模块构造单路分支中不同金字塔融合模块FPM之间的关系，具体操作为对高层特征金字塔的输出进行基于双线性差值的上采样，并对采样结果作为权重与低层特征金字塔的输出进行相乘，引导低层特征学习，其中：第一和第四语义指导单元SGM1-1和SGM2-1生成32*32*128大小的特征图，第二和第五语义指导单元SGM1-2和SGM2-2生成16*16*128大小的特征图，第三和第六语义指导单元SGM1-3和SGM2-3生成8*8*128大小的特征图。之后，对于双路分支生成的相同尺寸的特征图，送入特征聚合模块获取两期遥感影像不同尺度下的特征差异性和关联性，具体操作为同时对双路分支获取的相同尺寸的特征图进行通道上的拼接、相加和相减，并将结果进行二次融合，最后通过1*1的卷积使得输出通道固定为256，其中：第一特征聚合单元FFM1生成32*32*256大小的融合特征图，第二特征聚合单元FFM2生成16*16*256大小的融合特征图，第三特征聚合单元FFM3生成8*8*256大小的融合特征图，第四特征聚合单元FFM4生成4*4*256大小的融合特征图。对于生成的不同尺度特征融合图，分别送入双路注意力机制模块，通过通道注意力模块和像素注意力模块分别构造不同通道以及不同像素之间的依赖关系，提升多任务网络特征表达能力，其中：DAM1生成32*32*256的特征图，DAM2生成16*16*256的特征图，DAM3生成8*8*256的特征图，DAM4生成4*4*256的特征图。后续构造边界提升模块，构造网络特征输入与输出之间的恒等映射，其中：第一双路注意力机制单元BR1生成32*32*256的特征图，第二双路注意力机制单元BR2生成16*16*256的特征图，第三双路注意力机制单元BR3生成8*8*256的特征图，第四双路注意力机制单元BR4生成4*4*256的特征图。之后，进行多尺度全卷积预测，其中第一全卷积预测单元FCN1生成32*32*24的预测结果，第二全卷积预测单元FCN2生成16*16*24的预测结果，第三全卷积预测单元FCN3生成8*8*24的预测结果，第四全卷积预测单元FCN4生成4*4*24的预测结果，24为变化类别与要素类别之和。最后通过反卷积层进行上采样获取原图大小的多任务智能处理结果。
如图8所示，本实施例涉及上述系统的面向两期遥感影像的多任务处理方法，包括以下步骤：
预处理：本实施例中优选对图像先进行标准化预处理：采用辐射校正、两期影像匹配并对输入影像进行Z-score标准归一化处理。这种方法基于原始数据的均值和标准差进行数据标准化：X*＝(X-μ)/σ，其中：μ为遥感影像像素计算平均值(数学期望)，σ为标准差，X*为标准化后的变量值，X为实际变量值。标准化后的遥感影像像素值围绕0上下波动，大于0说明高于平均高水平，小于0说明低于平均水平。
第一步，特征提取：采用双路分支特征提取模块分别提取两期影像的特征，基础特征提取结构采用16层的VGG16(Visual Geometry Group16)，即：每个分支采用4个单元的VGG16结构来搭建共享权值的基础特征提取网络。通过卷积操作来不断增加特征图的通道数，并通过非线性激活函数来增加网络的语义表达能力；其次，池化操作降低特征图的大小，减少卷积计算的操作量。并且，通过堆叠小卷积代替大卷积核的方式使得网络减少计算量同时可以加深网络深度。最后，通过双路的VGG16网络分别生成基于原始输入大小的1/2，1/4，1/8，1/16的特征图。
第二步，特征融合：由于特征提取过程中不同层的特征信息具有差异系，因此构造特征聚合模块结合相邻两层特征图。即：将下一层特征图反池化到上一层特征图的大小，并将反池化的结果和上一层特征图进行通道上的拼接，并引入1*1卷积，统一拼接后的特征图通道大小为128。
第三步，特征交互：由于高层特征具有丰富的语义信息，低层特征具有丰富的空间信息，因此通过高层语义信息进行底层信息的引导学习能够更好地提升底层信息的表达能力。即：将高一层的特征图进行基于双线性插值的上采样，然后作为权重与低一层的特征图相乘，然后再通过1*1卷积固定语义引导模块的输出通道为128。
第四步，捕获特征差异性与关联性：经过第三步的操作，分别生成相较于原始输入1/2，1/4，1/8，1/16的特征图，并且通道数均为128。同时对来自两个分支的相同尺寸大小的特征图进行通道上的拼接、相加、相减，并通过1*1卷积使得特征聚合模块的输出通道数为固定的256。
第五步，注意力机制下的特征学习：对于生成的不同尺度的特征融合图，分别送入四个特征注意力模块，构造特征融合图内不同通道和不同像素点之间的关联。并且双路注意力机制模块(像素注意力机制和通道注意力机制)的输入和输出维度保持不变。
第六步，提升边界描述：通过构造残差连接，提供特征图在该模块输入输出之间的恒等映射。具体操作为构造残差连接：将特征图通过卷积核与激活函数之后的值与原始特征图相加，提升网络的特征表达能力。
第七步，全卷积预测：将不同尺度的特征图分别进行全卷积预测，其中预测的输出和输入的尺寸相同，输出通道数为预先定义的变化类别数和核心要素类别数之和。
第八步，上采样：将高一层特征图进行反卷积，并与低一层特征图相加，作为下一次反卷积的输入，最终的反卷积模块输出尺寸为原始输入大小尺寸。
如图1所示，基于双路输入均为64x64，并且通道数均为3的情况下，特征图尺寸的变化情况。其次，双路分支的特征提取部分采用ImageNet预训练权重，这些权重后续的更新则是通过A双路注意力机制模块DAM优化器与反向传播算法实现。初始学习率设置为0.001，每迭代10次衰减2％。
经过具体实际实验，在深度学习的tensorflow框架与Nvidia GTX2080ti GPU的硬件配置下，以学习率0.0001，训练周期为10，训练数据量为70148对两期影像对，多任务智能处理网络的损失函数则采用交叉熵损失函数，即：
其中：N为训练的批次大小，k与m为输入网络的图像的长度与宽度，y_pixelsj为每个像素的标签，p_pixelsj为每个像素的经过神经网络输出的实际值。
如图9所示，为本实施例采用一套公开数据集WHU数据集：第一期影像来自于2012年4月拍摄于新西兰地区的无人机航拍影像，第二期影像来自于2014年2月拍摄的同一地区的无人机航拍影像，分辨率0.075米。
如图10所示，该数据集涉及的主要有五类核心要素，包括建筑，道路，水体，植被和裸地，总共涉及的变化检测类别有十九类，包括从裸地变化到建筑，从植被变化到道路，从建筑变化到植被等等，其中核心要素占比最大的是裸地，而变化情况中占比最大的是从裸地变化到道路以及从林地变化到植被。
如图11所示，为双路深度神经网络的训练集和相应标签，第一列为第一期影像，第二列为第二期影像，第三列为相应的多任务标签。
本实施例结果以精度Accuracy(Acc)、查准率Precision、查全率Recall，平均交并比MIOU和F1-measure(F1)指标进行多任务网络性能的综合评价(同时计算不同任务的分析性能，并进行结果平均)，F1-measure是查准率和查全率的加权调和平均，反映模型的综合性能，其中：
TP代表正样本数量，TN代表负样本数量，FP代表误检数量，FN代表漏检数量。TP+FP+TN+FN是所有样本总数。
如表1所示，本方法在WHU公开数据集上能够获取较高的多任务智能处理性能。与现有双路网络实现的多任务智能处理(FullyConvolutional-Siamese(FC-Siam)，deepSiamese multi-scale convolutional network(DSMS-CN))等进行比较，本发明多任务智能处理网络在各评价指标上均获取优异的成果。并且与基于语义分割的“先分类后比较”的思路实现的多任务智能处理，本发明网络充分实现端到端的训练模式，并且能够充分基于两期影像特征信息捕获到特征之间的差异性与关联性，通过引入特殊模块(如语义信息引导模块，通道注意力与像素注意力机制的双路注意力机制模块、特征聚合模块等)进一步提升本发明多任务智能处理网络的性能，在各项指标上都超越现有方法。
表1.WHU公开数据集多任务智能处理测试结果
如图12所示，为不同的多任务智能处理网络在数据集上的测试结果(测试结果为多任务综合效果)：图中(a)第一期影像，(b)第二期影像，(c)标签，(d)FC-EF，(e)FC-Siam，(f)DSMS-CN，(g)本发明多任务智能处理网络。
如图13所示，为多种语义分割的先分类后对比方法在WHU公开数据集上的检测效果图：(a)部分第一期影像，(b)部分第二期影像，(c)相应标签，(d)FCN网络结果，(e)SegNet网络结果，(f)Unet网络结果，(g)Bisenet网络分割结果，(h)DAN网络结果，(i)多任务智能处理网络结果。
如图14所示，为不同模块设计前后的多任务智能处理网络的检测效果图：图中(a)(b)分别为两期影像，(c)相应标签，(d)为无语义指导模块SGM，(e)为无双路注意力机制模块DAM，(f)为无特征聚合模块FFM融合(只有通道拼接实现的特征融合)，(g)所有模块都存在。
综上所述，与现有变化检测方法相比，本发明可直接获取到不同类别的变化信息。与主流的语义分割方法相比，该网络能够通过不同时相影像的特征级融合，提升两期影像中不变区域核心要素提取的性能。
相比现有特征金字塔输出会结合所有深层特征图的信息，本发明特征金字塔只用于结合特征提取过程中相邻两层的特征图，减少了一定的计算量；相比目前用于特征图融合的方式一般采用concat实现，本发明同时使用了相加，相减和concat操作，尽可能地捕获了两期影像特征之间的关联性；本发明主要考虑到了两期影像的特征信息的关联性，并且针对单时相遥感影像的特征提取环节尽可能地挖掘了特征信息。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。
Claims (6)
1.一种面向两期遥感影像的多任务处理系统，其特征在于，包括：双路分支特征提取模块、金字塔融合模块、语义指导模块、特征聚合模块、双路注意力机制模块、边界提升模块和上采样模块，其中：双路分支特征提取模块输出两种不同尺寸的特征图至金字塔融合模块，金字塔融合模块将两种特征图融合后输出至语义指导模块，两个语义指导模块分别获得高层的特征图和低一层的特征图：将高层特征图利用双线性插值的上采样方式获得与低一层特征图相同的尺度，并作为权重与低一层的特征图相乘实现高层信息指导低层信息学习，特征聚合模块进行双路相同尺度的特征图融合处理，语义指导模块捕获两期影像特征之间的差异性和关联性：将相加和相减的结果进行通道上的拼接后输出至双路注意力机制模块，双路注意力机制模块分别构造针对特征图的像素隶属度矩阵和通道隶属度矩阵，并将计算的隶属度矩阵与原始特征图计算，从而生成一对像素注意力和通道注意力的特征图，并将这一对特征图进行相加并输出至边界提升模块，边界提升模块同时实现针对两期影像变化区域的具体变化种类识别以及不变区域的具体地物要素种类识别后输出至上采样模块，上采样模块输出原图大小的多任务处理结果，即同时实现针对两期影像变化区域的变化区域变化种类信息和不变区域地物要素信息。
2.根据权利要求1所述的面向两期遥感影像的多任务处理系统，其特征是，具体包括：第一至第八双路分支特征提取单元、第一至第六金字塔融合单元、第一至第六语义指导单元、第一至第四特征聚合单元、第一至第四双路注意力机制单元、第一至第四边界提升单元、第一至第四全卷积预测单元、和四个上采样单元，其中：四个双路分支特征提取单元组成的双路分支特征提取模块根据输入的两期影像信息进行并行的一对影像的特征提取处理并输出特征信息信息至金字塔融合模块，六个金字塔融合单元组成的金字塔融合模块根据输入的双路网络中单个特征提取的分支信息的相邻两个特征提取模块进行特征融合处理并输出融合信息至语义指导模块，六个语义指导单元组成的语义指导模块根据相邻两个特征金子塔模块的输出信息进行用高层特征作为权重与低层特征进行相乘处理并输出特征信息至特征聚合模块，四个特征聚合单元组成的特征聚合模块根据来自两期影像的相同尺寸信息的特征信息进行融合处理并输出融合特征信息至双路注意力机制模块，四个双路注意力机制单元组成的双路注意力机制模块根据融合特征信息进行像素与通道隶属度关系矩阵的计算并与原始的融合特征图相乘，最后将像素注意力的输出结果和通道注意力的输出结果做相加处理并输出基于注意力机制的融合信息至边界提升模块，四个边界提升单元组成的边界提升模块根据输入信息进行残差连接处理并输出信息至上采样，各个上采样单元根据特征信息进行反卷积处理并输出信息至输出。
3.根据权利要求2所述的面向两期遥感影像的多任务处理系统，其特征是，每个金字塔融合单元包括：反池化层、3*3卷积层、相邻特征图相加操作层、3*3卷积层；
每个语义指导单元包括：3*3卷积层、双线性插值层、相邻特征图相乘操作；
每个特征聚合单元包括：相同尺度的特征图的相加操作、相减操作、通道上的拼接操作层、3*3卷积层、以及将不同融合操作的输出结果图进行二次通道上拼接的操作层、以及最后统一通道数至128的3*3卷积层；
每个全卷积预测单元包括：卷积操作层，其中最后一层卷积的输出结果的通道数即为要分类的类别数；
每个边界提升单元包括：3*3卷积层、激活函数层、以及残差连接的恒等映射；
每个双路注意力机制单元包括：用于维度转换的reshape层、特征图相乘操作层、以及通道与像素注意力特征图的相加操作层。
4.一种基于权利要求1～3中任一所述系统的面向两期遥感影像的多任务处理方法，其特征在于，通过双路分支特征提取模块同时提取两期影像变化区域的变化类别信息以及不变区域中的核心要素信息，通过金字塔融合模块对提取到的两个特征进行融合后，由语义指导模块将高层特征金字塔的输出进行双线性插值的上采样并作为权重与低层特征金字塔的输出相乘，生成存在语义指导的特征图；再通过特征聚合模块对双路相同尺度的特征图融合生成包含两期影像特征之间的差异性与关联性的特征融合图，由双路注意力机制模块针对不同尺度的特征融合图通过双路注意力机制模块从像素注意力与通道注意力同时进行融合特征学习，实现基于该注意力机制的融合特征图同时进行变化区域的变化类别解译以及不变区域的核心要素提取；
所述的融合是指：将双路深度神经网络提取到的相同尺度的特征图在通道上的拼接、相加和相减操作，并将这三种操作生成的融合特征图相结合；
所述的融合特征学习是指：构建融合特征中不同的像素点之间和不同的通道之间的关系，有效地提升了原始融合特征的信息量；
所述的双路注意力机制是指：通道注意力和像素注意力机制，通过构造像素隶属度矩阵和通道隶属度矩阵，并作为权重与输入特征图相乘，并将像素注意力子模块的输出和通道注意力子模块的输出再进行结合作为输出；
所述的变化类别解译是指：识别两期影像变化区域的具体变化种类信息；
所述的核心要素提取是指：识别两期影像不变区域的具体地物种类信息。
5.根据权利要求4所述的面向两期遥感影像的多任务处理方法，其特征是，在提取两期影像变化区域的变化类别信息以及不变区域中的核心要素信息之前，先对图像先进行标准化预处理：采用辐射校正、两期影像匹配并对输入影像进行Z-score标准归一化处理，这种方法基于原始数据的均值和标准差进行数据标准化：X*＝(X-μ)/σ，其中：μ为遥感影像像素计算平均值，即数学期望，σ为标准差，X*为标准化后的变量值，X为实际变量值，标准化后的遥感影像像素值围绕0上下波动，大于0说明高于平均高水平，小于0说明低于平均水平。
6.根据权利要求4所述的面向两期遥感影像的多任务处理方法，其特征是，具体包括以下步骤：
第一步，特征提取：采用双路分支特征提取模块分别提取两期影像的特征，基础特征提取结构采用16层的VGG16，即：每个分支采用4个单元的VGG16结构来搭建共享权值的基础特征提取网络；通过卷积操作来不断增加特征图的通道数，并通过非线性激活函数来增加网络的语义表达能力，分别生成基于原始输入大小的1/2，1/4，1/8，1/16的特征图；
第二步，特征融合：由于特征提取过程中不同层的特征信息具有差异系，因此构造特征聚合模块结合相邻两层特征图；即：将下一层特征图反池化到上一层特征图的大小，并将反池化的结果和上一层特征图进行通道上的拼接，并引入1*1卷积，统一拼接后的特征图通道大小为128；
第三步，特征交互：由于高层特征具有丰富的语义信息，低层特征具有丰富的空间信息，因此通过高层语义信息进行底层信息的引导学习能够更好地提升底层信息的表达能力；即：将高一层的特征图进行基于双线性插值的上采样，然后作为权重与低一层的特征图相乘，然后再通过1*1卷积固定语义引导模块的输出通道为128；
第四步，捕获特征差异性与关联性：经过第三步的操作，分别生成相较于原始输入1/2，1/4，1/8，1/16的特征图，并且通道数均为128；同时对来自两个分支的相同尺寸大小的特征图进行通道上的拼接、相加、相减，并通过1*1卷积使得特征聚合模块的输出通道数为固定的256；
第五步，注意力机制下的特征学习：对于生成的不同尺度的特征融合图，分别送入四个特征注意力单元，构造特征融合图内不同通道和不同像素点之间的关联，且双路注意力机制模块的输入和输出维度保持不变；
第六步，提升边界描述：通过构造残差连接，提供特征图在该模块输入输出之间的恒等映射，即：构造残差连接：将特征图通过卷积核与激活函数之后的值与原始特征图相加，提升网络的特征表达能力；
第七步，全卷积预测：将不同尺度的特征图分别进行全卷积预测，其中预测的输出和输入的尺寸相同，输出通道数为预先定义的变化类别数和核心要素类别数之和；
第八步，上采样：将高一层特征图进行反卷积，并与低一层特征图相加，作为下一次反卷积的输入，最终的反卷积模块输出尺寸为原始输入大小尺寸。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011532144.3A CN112560733B (zh) | 2020-12-23 | 2020-12-23 | 面向两期遥感影像的多任务处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011532144.3A CN112560733B (zh) | 2020-12-23 | 2020-12-23 | 面向两期遥感影像的多任务处理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112560733A true CN112560733A (zh) | 2021-03-26 |
| CN112560733B CN112560733B (zh) | 2022-06-17 |
Family
ID=75031396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011532144.3A Active CN112560733B (zh) | 2020-12-23 | 2020-12-23 | 面向两期遥感影像的多任务处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112560733B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113095303A (zh) * | 2021-06-04 | 2021-07-09 | 成都数之联科技有限公司 | 模型训练方法及林地变化检测方法及系统及装置及介质 |
| CN114419449A (zh) * | 2022-03-28 | 2022-04-29 | 成都信息工程大学 | 一种自注意力多尺度特征融合的遥感图像语义分割方法 |
| CN114882292A (zh) * | 2022-05-31 | 2022-08-09 | 武汉理工大学 | 基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法 |
| CN117853738A (zh) * | 2024-03-06 | 2024-04-09 | 贵州健易测科技有限公司 | 一种用于对茶叶分级的图像处理方法及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180268195A1 (en) * | 2016-01-27 | 2018-09-20 | Shenzhen University | Gabor cube feature selection-based classification method and system for hyperspectral remote sensing images |
| CN109993220A (zh) * | 2019-03-23 | 2019-07-09 | 西安电子科技大学 | 基于双路注意力融合神经网络的多源遥感图像分类方法 |
| CN110188685A (zh) * | 2019-05-30 | 2019-08-30 | 燕山大学 | 一种基于双注意力多尺度级联网络的目标计数方法及系统 |
| CN111127470A (zh) * | 2019-12-24 | 2020-05-08 | 江西理工大学 | 一种基于上下文和浅层空间编解码网络的图像语义分割方法 |
| CN111160311A (zh) * | 2020-01-02 | 2020-05-15 | 西北工业大学 | 基于多注意力机制双流融合网络的黄河冰凌语义分割方法 |
-
2020
- 2020-12-23 CN CN202011532144.3A patent/CN112560733B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180268195A1 (en) * | 2016-01-27 | 2018-09-20 | Shenzhen University | Gabor cube feature selection-based classification method and system for hyperspectral remote sensing images |
| CN109993220A (zh) * | 2019-03-23 | 2019-07-09 | 西安电子科技大学 | 基于双路注意力融合神经网络的多源遥感图像分类方法 |
| CN110188685A (zh) * | 2019-05-30 | 2019-08-30 | 燕山大学 | 一种基于双注意力多尺度级联网络的目标计数方法及系统 |
| CN111127470A (zh) * | 2019-12-24 | 2020-05-08 | 江西理工大学 | 一种基于上下文和浅层空间编解码网络的图像语义分割方法 |
| CN111160311A (zh) * | 2020-01-02 | 2020-05-15 | 西北工业大学 | 基于多注意力机制双流融合网络的黄河冰凌语义分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| MOYANG WANG ET AL.: "Deep Siamese Network with Hybrid Convolutional Feature Extraction Module for Change Detection Based on Multi-sensor Remote Sensing Images", 《REMOTE SENSING》 * |
| 徐志京等: "自适应旋转区域生成网络的遥感图像舰船目标检测", 《激光与光电子学进展》 * |
| 边小勇等: "基于尺度注意力网络的遥感图像场景分类", 《计算机应用》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113095303A (zh) * | 2021-06-04 | 2021-07-09 | 成都数之联科技有限公司 | 模型训练方法及林地变化检测方法及系统及装置及介质 |
| CN113095303B (zh) * | 2021-06-04 | 2021-09-28 | 成都数之联科技有限公司 | 模型训练方法及林地变化检测方法及系统及装置及介质 |
| CN114419449A (zh) * | 2022-03-28 | 2022-04-29 | 成都信息工程大学 | 一种自注意力多尺度特征融合的遥感图像语义分割方法 |
| CN114419449B (zh) * | 2022-03-28 | 2022-06-24 | 成都信息工程大学 | 一种自注意力多尺度特征融合的遥感图像语义分割方法 |
| CN114882292A (zh) * | 2022-05-31 | 2022-08-09 | 武汉理工大学 | 基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法 |
| CN114882292B (zh) * | 2022-05-31 | 2024-04-12 | 武汉理工大学 | 基于跨样本关注机制图神经网络的遥感影像海洋目标识别方法 |
| CN117853738A (zh) * | 2024-03-06 | 2024-04-09 | 贵州健易测科技有限公司 | 一种用于对茶叶分级的图像处理方法及设备 |
| CN117853738B (zh) * | 2024-03-06 | 2024-05-10 | 贵州健易测科技有限公司 | 一种用于对茶叶分级的图像处理方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112560733B (zh) | 2022-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112560733B (zh) | 面向两期遥感影像的多任务处理系统及方法 | |
| CN110263705B (zh) | 面向遥感技术领域两期高分辨率遥感影像变化检测系统 | |
| Hazirbas et al. | Fusenet: Incorporating depth into semantic segmentation via fusion-based cnn architecture | |
| CN110443805B (zh) | 一种基于像素密切度的语义分割方法 | |
| CN112561027A (zh) | 神经网络架构搜索方法、图像处理方法、装置和存储介质 | |
| CN111126385A (zh) | 一种可变形活体小目标的深度学习智能识别方法 | |
| CN113592060A (zh) | 一种神经网络优化方法以及装置 | |
| CN116310850B (zh) | 基于改进型RetinaNet的遥感图像目标检测方法 | |
| Ye et al. | Efficient point cloud segmentation with geometry-aware sparse networks | |
| Zhao et al. | Bilateral U‐Net semantic segmentation with spatial attention mechanism | |
| CN115601692A (zh) | 数据处理方法、神经网络模型的训练方法及装置 | |
| Gendy et al. | Balanced spatial feature distillation and pyramid attention network for lightweight image super-resolution | |
| CN112149526A (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
| Guo et al. | Fully convolutional DenseNet with adversarial training for semantic segmentation of high-resolution remote sensing images | |
| CN111179272A (zh) | 一种面向道路场景的快速语义分割方法 | |
| CN116740362B (zh) | 一种基于注意力的轻量化非对称场景语义分割方法及系统 | |
| CN117636298A (zh) | 基于多尺度特征学习的车辆重识别方法、系统及存储介质 | |
| CN112132867B (zh) | 一种遥感影像变化检测方法及装置 | |
| Wang et al. | Cross-domain learning using optimized pseudo labels: toward adaptive car detection in different weather conditions and urban cities | |
| Gao et al. | Cost volume pyramid network with multi-strategies range searching for multi-view stereo | |
| CN116452900A (zh) | 一种基于轻量级神经网络的目标检测方法 | |
| Pei et al. | Neural network compression and acceleration by federated pruning | |
| Long et al. | Cascaded feature enhancement network model for real-time video monitoring of power system | |
| Gao et al. | Semantic segmentation of remote sensing images based on multiscale features and global information modeling | |
| Li et al. | A novel visual classification framework on panoramic attention mechanism network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |