CN109376804A - 基于注意力机制和卷积神经网络高光谱遥感图像分类方法 - Google Patents

基于注意力机制和卷积神经网络高光谱遥感图像分类方法 Download PDF

Info

Publication number
CN109376804A
CN109376804A CN201811566829.2A CN201811566829A CN109376804A CN 109376804 A CN109376804 A CN 109376804A CN 201811566829 A CN201811566829 A CN 201811566829A CN 109376804 A CN109376804 A CN 109376804A
Authority
CN
China
Prior art keywords
remote sensing
spectrum
sample
intermediate features
features map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811566829.2A
Other languages
English (en)
Other versions
CN109376804B (zh
Inventor
刘小波
尹旭
刘沛宏
汪敏
蔡耀明
乔禹霖
刘鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201811566829.2A priority Critical patent/CN109376804B/zh
Publication of CN109376804A publication Critical patent/CN109376804A/zh
Application granted granted Critical
Publication of CN109376804B publication Critical patent/CN109376804B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于注意力机制和卷积神经网络高光谱遥感图像分类方法,对原始高光谱遥感图像进行主成份分析法降维,将降维后的高光谱数据进行样本取块;之后进行3D卷积操作和池化操作,得到中间特征图谱;然后分别将中间特征的每一个光谱向量与光谱注意力模块和每一个空间特征与空间注意力模块进行按位相乘,得到注意力增强样本;之后再进行一次卷积操作与注意力增强操作;然后将通过3D卷积操作得到的中间特征图谱输入到分类器中进行分类。本发明的有益效果是:降低分类成本,提高分类性能,通过样本特征的提取与增强,实现自适应特征细化,进而提高了高光谱遥感图像的分类精度。

Description

基于注意力机制和卷积神经网络高光谱遥感图像分类方法
技术领域
本发明涉及高光谱图像分类领域,尤其涉及基于注意力机制和卷积神经网络高光谱遥感图像分类方法。
背景技术
遥感是一种远距离、非接触式的目标探测技术和方法,是人们研究地面物体特性的一种重要手段。随着硬件技术的快速发展以及应用需求的不断增长,所获遥感图像从宽波段逐渐向窄波段成像发展,同时呈现出高空间分辨率、高光谱分辨率、高时间分辨率等特点,高光谱遥感由此而产生。高光谱遥感技术是遥感发展史上极具标志性的成果,它的迅速发展引起了各国科学家的广泛重视,成为当前遥感领域的研究热点。
通过高光谱遥感技术所获得的图像,在记录地物空间信息的同时也采集到了光谱信息,因而具有图谱合一的性质。相比较于传统的遥感图像,高光谱遥感图像具有分辨率高、数据量大、光谱范围窄、波段多且连续等特点,因此特征维数和信息冗余程度也相对较高。基于上述特点,对高光谱遥感图像的利用已经在海洋监测、植被研究、精细农业、地质调查、大气环境等方面得到广泛体现。
由于高光谱遥感图像能够以较高分辨率收集到地物信息,并且丰富的光谱信息有利于物质的物理化学特性反演,因此对其进行分类是获取地物信息的一种重要手段。近年来,越来越多的人们投身于高光谱遥感图像分类的方法研究中,挖掘其蕴含的海量信息,实现充分有效的利用。
传统的算法如支持向量机、随机森林、贝叶斯等对早期的高光谱遥感图像分类做出了重要贡献,一般通过对高光谱遥感图像进行降维后,利用数学算法和机理实现样本的分类。Liu等人选用径向基函数作为支持向量机的核函数,通过提取到的光谱信息完成对高光谱图像的分类。Jonathan等人根据高光谱遥感图像的像素稀疏表示特征和光谱信息,分别构造随机森林,并利用投票机制完成了分类过程。但这些传统的方法具有一定的局限性,诸如高光谱遥感图像中存在“同物异谱”和“同谱异物”现象,数据结构呈现高度非线性,而基于统计识别模式的分类模型难以对原始图像进行处理;高光谱遥感图像存在“Hughes现象”的问题,传统算法只能获取光谱信息用于分类,因此容易出现分类精度随维度增加而降低的现象。
深度学习是基于对数据进行表征学习的一种机器学习方法,目的是建立、模拟人脑进行分析学习的多层神经网络,用来解释一些图像、声音、文本等数据,并且已经在高光谱遥感领域得到广泛应用。由于深度学习可以提取图像中更抽象、更深层的特征,相比较传统的分类方法,深度学习不但可以提取到光谱信息,还可以利用空间信息与光谱信息相结合进行分类,因此具有更强的分类能力。深度学习方法中以深度神经网络为代表,深度神经网络中的卷积神经网络在高光谱遥感图像分类中取得了良好的应用,然而卷积神经网络的输入信息量与分类效果并不是完全正相关,一定模型下,太过复杂的输入不仅会使得训练时间、分类时间变长,甚至会导致精度不增反而下降。因此有必要对卷积神经网络分类前的特征提取过程进行深入研究,能够在开销较小的前提下,达到特征的自适应细化的目的。
发明内容
为了解决上述问题,本发明提供了基于注意力机制和卷积神经网络高光谱遥感图像分类方法,基于注意力机制和卷积神经网络高光谱遥感图像分类方法,主要包括以下步骤:
S101:根据主成份分析法,对原始高光谱遥感图像R1进行降维,将降维后的高光谱遥感图像R2进行样本取块,得到一个高光谱样本块T1;获得的高光谱样本块即为高光谱样本的特征信息;
S102:对高光谱样本块T1进行3D卷积操作,得到样本块的中间特征图谱T2
S103:对样本块的中间特征图谱T2进行池化操作,得到中间特征图谱T3
S104:分别将中间特征图谱T3中每一个光谱向量与光谱注意力模块和每一个空间特征与空间注意力模块进行按位相乘,得到高光谱遥感图像的注意力增强样本T4;其中,光谱注意力模块和空间注意力模块由对中间特征图谱T3进行卷积操作或者池化操作得到的;
S105:对高光谱遥感图像的注意力增强样本T4依次进行3D卷积操作和池化操作,然后将得到的中间特征图谱T6中每一个光谱向量与光谱注意力模块以及每一个空间特征与空间注意力模块进行按位相乘,得到高光谱遥感图像的注意力增强样本T7
S106:对高光谱遥感图像的注意力增强样本T7进行3D卷积操作,得到一维的高光谱遥感图像的中间特征图谱T8
S107:将高光谱遥感图像的中间特征图谱T8输入到分类器中,对高光谱遥感图像进行分类。
进一步地,在步骤S101中,根据主成份分析法对原始高光谱遥感图像R1进行降维,得到高光谱遥感图像R2的过程如下:
用X=(x1,x2,...,xQ)=(X1,X2,...,XB)T表示原始高光谱遥感图像R1,其中,xi表示原始高光谱遥感图像R1的第i个像素点,i=1,2,...,Q,Xj表示原始高光谱遥感图像R1的第j个波段,j=1,2,...,B,分别利用公式(1)和公式(2)计算原始高光谱遥感图像R1的波段均值和协方差矩阵:
其中,Q和B均为正整数,为原始高光谱遥感图像R1的波段均值,Q为像素点个数,Q>0;为原始高光谱遥感图像R1的协方差矩阵,B为波段个数,B>0;计算的特征根λ1≥λ2≥...≥λB≥0,设定阈值θ,选择满足λ1≥λ2≥...≥λP≥θ的前P个主成分,P为正整数,且P>1,B远远大于P,由前P个主成分的特征根得到相应的单位特征向量t1,t2,...,tP,W=[t1,t2,...,tP],A为W的转置矩阵,即A=WT,以A为变换矩阵,对原始高光谱遥感图像进行变换,变换后的结果为Y,Y=(Y1,Y2,...,Yp)T=AX,Y即为得到的高光谱遥感图像R2 P ×L×H,即得到高光谱遥感图像R2 P×L×H,P为降维后的主成分个数,即降维后高光谱遥感图像R2 P ×L×H的波段数,L为高光谱遥感图像R2 P×L×H在空间长度方向上的像素点个数,H为高光谱遥感图像R2 P×L×H在空间宽度方向上的像素点个数。
进一步地,在步骤S101中,样本取块的操作过程为:在空间上,逐波段取相对应的a×a领域组成样本块,所述样本块以中间像素点为标签;其中,a为样本块在空间长度以及宽度方向上的像素点个数,且a为奇数;同时,保留所述a×a个像素点的所有光谱信息,即形成一个P×a×a的三维样本块,用于表征中间像素点的样本特征,利用下面的公式进行样本取块过程的特征变换:
其中,Q为单个波段中的像素点个数,也是取块样本个数,Dsamp表示样本取块过程。
进一步地,在步骤S101中,在样本取块操作中,边缘像素点没有空间邻域信息时,进行补0操作。
进一步地,在步骤S102中,利用卷积神经网络对高光谱样本块T1进行3D卷积操作的过程为:在每层卷积神经网络中采取h个不同的卷积核,对T1所包含的P个波段信息分别使用大小为e×f×f的3D卷积核进行卷积操作,得到中间特征图谱T2,其中,e为光谱维度的操作层数,即每次选取e个波段进行一组卷积,f表示图像块在空间长度和宽度方向上的像素点个数;得到的中间特征图谱T2所包含的波段数p为:p=[(P-e)+1]×h,中间特征图谱T2在空间长度和宽度方向上的像素点个数均为m,m=[(a-e)+1]。
进一步地,在步骤S103中,中间特征图谱T3与中间特征图谱T2中的波段数相同。
进一步地,在步骤S104中,在光谱和空间上分别对中间特征图谱T3进行加强操作,将中间特征图谱T3每一个光谱向量与光谱注意力模块进行逐个光谱通道的点乘;将中间特征图谱T3的空间特征与空间注意力模块进行逐个波段的点乘,得到高光谱遥感图像的注意力增强样本T4
其中,A1为光谱注意力模块,A2为空间注意力模块,u为中间特征图谱T3中单个波段所包含的第u个像素点,r为中间特征图谱T3中单个波段所包含的像素点个数,p为中间特征图谱T3的波段数,v为中间特征图谱T3的第v个波段,符号代表相同类型的矩阵所对应相同位置的元素相乘。
进一步地,在步骤S107中,分类器采用激活函数为softmax函数的神经网络,在softmax函数前有一层神经网络,中间特征图谱T8经过神经网络后得到一个向量T,向量T进入softmax函数后,实现分类;
softmax函数为:
其中,Yn表示向量T中的第n个元素,n为正整数,e为自然常数,softmax函数将输入向量中的元素映射到(0,1)区间内,得到输入向量的概率向量,则原始高光谱遥感图像R1的类别为softmax函数映射得到的概率向量中最大概率值所对应的类别。本发明提供的技术方案带来的有益效果是:降低分类成本,增强高光谱遥感图像的重要特征,较大限度地保留了高光谱遥感图像的特征信息,实现自适应特征细化,提高了高光谱图像的分类精度。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例中基于注意力机制和卷积神经网络高光谱遥感图像分类方法的流程图;
图2是本发明实施例中基于注意力机制和卷积神经网络高光谱遥感图像分类方法的流向图;
图3是本发明实施例中3D卷积核卷积操作示意图;
图4是本发明实施例中两种注意力模块的获得方法。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了基于注意力机制和卷积神经网络高光谱遥感图像分类方法。
请参考图1和图2,图1是本发明实施例中基于注意力机制和卷积神经网络高光谱遥感图像分类方法的流程图,图2是本发明实施例中基于注意力机制和卷积神经网络高光谱遥感图像分类方法的流向图;基于注意力机制和卷积神经网络高光谱遥感图像分类方法具体包括如下步骤:
S101:根据主成份分析法,对原始高光谱遥感图像R1进行降维,将降维后的高光谱遥感图像R2进行样本取块,得到一个高光谱样本块T1;获得的高光谱样本块即为高光谱样本的特征信息;
由于高光谱遥感图像数据量大、波段众多,因此有必要在数据处理前进行降维操作。主成份分析法(PCA)是一种统计方法,通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换后的这组变量叫主成分。原始高光谱遥感图像为三维数据模型R1 B×L×H,其中B为波段数,L为空间维度的长度,H为空间维度的宽度。在本步骤中,对光谱方向进行主成分分析的降维操作,即保持空间维度不变,降低光谱维度;具体的PCA计算过程如下:
用X=(x1,x2,...,xQ)=(X1,X2,...,XB)T表示原始高光谱遥感图像R1,其中,xi表示原始高光谱遥感图像R1的第i个像素点,i=1,2,...,Q,Xj表示原始高光谱遥感图像R1的第j个波段,j=1,2,...,B,分别利用公式(1)和公式(2)计算原始高光谱遥感图像R1的波段均值和协方差矩阵:
其中,的无偏估计为:
其中,Q和B均为正整数,为原始高光谱遥感图像R1的波段均值,Q为像素点个数,Q>0;为原始高光谱遥感图像R1的协方差矩阵,B为波段个数,B>0;
接下来计算的特征根λ1≥λ2≥...≥λB≥0,设定阈值θ,如θ为0.95,选择满足λ1≥λ2≥...≥λP≥θ的前P个主成分,P为正整数,且P>1,B远远大于P,由前P个主成分的特征根得到相应的单位特征向量t1,t2,...,tP,W=[t1,t2,...,tP],A为W=[t1,t2,...,tP]的转置矩阵,即A=WT,以A为变换矩阵,对原始高光谱遥感图像进行变换,变换后的结果为Y,
Y=(Y1,Y2,...,Yp)T=AX (4)
Y即为得到的高光谱遥感图像R2 P×L×H,P为降维后的主成分个数,即降维后高光谱遥感图像R2 P×L×H的波段数,L为高光谱遥感图像R2 P×L×H在空间长度方向上的像素点个数,H为高光谱遥感图像R2 P×L×H在空间宽度方向上的像素点个数。
样本取块的具体实现方法为:在空间维度上,逐波段取相对应的a×a领域组成样本块,所述样本块以中间像素点为标签;其中,a为样本块在空间长度以及宽度方向上的像素点个数,且a为奇数;同时,保留a×a个像素点的所有光谱信息,即形成一个P×a×a的三维样本块,用于表征中间像素点的样本特征,利用下面的公式(5)进行样本取块过程的特征变换:
其中Q为单个波段中的像素点个数,也是取块样本个数,Dsamp表示样本取块过程;在样本取块操作中,边缘像素点没有空间邻域信息时,进行补0操作;
S102:对高光谱样本块T1进行3D卷积操作,得到样本块的中间特征图谱T2;利用卷积神经网络对高光谱样本块T1进行3D卷积操作的过程为:在每层卷积神经网络中采取h个不同的卷积核,对T1所包含的P个波段信息分别使用大小为e×f×f的3D卷积核进行卷积操作,其中,e为光谱维度的操作层数,即每次选取e个波段进行一组卷积,f表示在空间维度上图像块在长度和宽度方向上的像素点个数,同时,在该层卷积神经网络采取h个不同的卷积核;利用公式(6)得到的中间特征图谱T2所包含的波段数p为:
p=[(P-e)+1]×h (6)
m为T2在空间长度和宽度方向上的像素点个数,m的计算如公式(7)所示:
m=[(a-e)+1] (7)
由公式(8)得到高光谱样本块T1经过变换特征得到中间特征图谱T2
其中,Con3D表示进行3D卷积操作,m为中间特征图谱T2在空间长度和宽度方向上的像素点个数。
在进行3D卷积操作中,卷积层中的每一个特征的映射都会与上一层中的多个相邻的连续波段相连,如图3所示,一个卷积映射的某一位置值是通过卷积上一层的三个连续的波段的同一个位置的局部感受野得到的,即3D卷积操作中,一个卷积核同时处理多个波段中的信息。一个卷积层有多个卷积核,一个卷积核只能提取一种信息,使用更多的卷积核才能提取更多的信息。3D卷积操作中的一个卷积核只能从三维数据中提取一种类型的特征,因为在整个三维数据块中卷积核的权值都是一样的,也就是共享权值,都是同一个卷积核,因此为了提取多种特征,需采用h种卷积核,h为正整数,且h>1。
S103:对样本块的中间特征图谱T2进行池化操作,得到中间特征图谱T3
在本步骤中,对样本块的中间特征图谱T2进行最大池化操作处理,池化操作处理即为降采样处理或丢弃特征处理,池化处理后,特征映射数量不变,即波段数在池化前后不变;通过该操作可以实现降维、扩大感知野、平移及旋转的不变性,同时也有利于防止过拟合。经过该降采样后,T3中每个波段在空间长度和宽度方向上的像素点个数均为r,利用公式(9)计算得到该像素点个数r:
r=(m÷2) (9)
其中,m为T2在空间长度和宽度方向上的像素点个数。
中间特征图谱T3与中间特征图谱T2中的波段数相同。
S104:分别将中间特征图谱T3中每一个光谱向量与光谱注意力模块和每一个空间特征与空间注意力模块进行按位相乘,得到高光谱遥感图像的注意力增强样本T4;其中,光谱注意力模块和空间注意力模块由对中间特征图谱T3进行卷积操作或者池化操作得到的;
即利用公式(10)对中间特征图谱T3进行变换,使中间特征图谱T3依次在光谱方向与光谱注意力模块进行逐个光谱通道的点乘、空间方向与空间注意力模块进行逐个波段的点乘,进而得到中间特征图谱T4
其中,A1为光谱注意力模块,A2为空间注意力模块,u为中间特征图谱T3中单个波段所包含的第u个像素点,r为中间特征图谱T3中单个波段所包含的像素点个数,p为中间特征图谱T3的波段数,v为中间特征图谱T3的第v个波段,符号代表相同类型的矩阵所对应相同位置的元素相乘。
也即如(11)所示对中间特征图谱T3进行加强操作,得到中间特征图谱T4的特征:
其中,Atenspe表示对中间特征图谱T3在光谱方向进行注意力增强,Atenspa表示对中间特征图谱T3在空间方向进行注意力增强。
在本步骤中,空间注意力模块和光谱注意力模块可通过两种方法获得,这两种方法均为有监督训练的过程:
方法一:如图4(a)所示,空间注意力模块由中间特征图谱T3在空间维度上进行多次卷积操作得到,在此过程中,保持波段数不变,最终得到p×1×1的一维向量,p为波段数,且该一维向量与T3中单个光谱向量相同;同理,光谱注意力模块由中间特征图谱T3在光谱上进行多次卷积操作得到,在此过程中,保持每个波段的尺寸大小不变,最终得到1×r×r的二维向量,且该二维向量与T3中单个波段的维度相同。
方法二:如图4(b)所示,利用公式(12)获得光谱注意力模块A1(T3),在空间维度上先对中间特征图谱T3分别进行最大池化和平均池化操作,产生两个池化向量,再将这两个池化向量输入到共享多层映射神经网络中进行训练,分别产生两个新向量;然后对这两个新向量进行逐位相加,再通过Sigmoid激活函数进行非线性映射:
A1(T3)=σ{MLP[AvePool(T3)]+MLP[MaxPool(T3)]} (12)
其中σ表示Sigmoid激活函数,MLP表示经过多层神经网络进行非线性映射,AvePool表示平均池化,MaxPool表示最大池化。
利用公式(13)获得空间注意力模块A2(T3),先在光谱维度上对中间特征图谱T3分别进行最大池化和平均池化操作,再经过卷积操作映射到一个单波段、相同尺寸的模型上,然后经过Sigmoid激活函数进行非线性映射:
其中,表示采用1×1的卷积神经网络进行特征变换,σ表示Sigmoid函数,Sigmoid函数σ的公式为:
S105:对高光谱遥感图像的注意力增强样本T4依次进行3D卷积操作和池化操作,然后将得到的中间特征图谱T6中每一个光谱向量与光谱注意力模块以及每一个空间特征与空间注意力模块进行按位相乘,得到高光谱遥感图像的注意力增强样本T7
对高光谱图像的注意力增强样本T4进行3D卷积操作后,得到中间特征图谱T5,对中间特征图谱T5进行降采样操作后得到中间特征图谱T6,T5即为其中,x为中间特征图谱T5在空间高度方向上的像素点个数,y为中间特征图谱T5在空间长度和宽度方向上的像素点个数。对中间特征图谱T5进行降采样操作后不改变中间特征图谱的波段数,只改变单个波段在空间维度的尺寸,即中间特征图谱T6的波段数与中间特征图谱T5的波段数相同,中间特征图谱T6的尺寸为:
z×z=[(y÷2)×(y÷2)] (15)
其中,z为中间特征图谱T6在空间长度和宽度方向上的像素点个数,y为中间特征图谱T5在空间长度和宽度方向上的像素点个数;
利用注意力机制对中间特征图谱T6进行注意力增强操作,光谱注意力模块A3和空间注意力模块A4也是由通过上述得到光谱注意力模块A1和空间注意力模块A2的两种方法得到,由公式(16)对中间特征图谱T6进行特征变换得到高光谱遥感图像的注意力增强样本T7,T7即为
其中,Atenspe表示对中间特征图谱T6在光谱方向进行注意力增强,Atenspa表示对中间特征图谱T6在空间方向进行注意力增强。
S106:对高光谱遥感图像的注意力增强样本T7进行3D卷积操作,得到一维的高光谱遥感图像的中间特征图谱T8
需要强调的是,对注意力增强样本T7进行3D卷积操作时,采用的卷积窗口大小为z×z,所以得到的中间特征图谱T8每个波段仅含一个像素点,即中间特征图谱T8为一个一维向量。本步骤中采用的卷积核大小为ρ×z×z,其中ρ为光谱上卷积尺寸的边长;本步骤中采用的卷积核的个数为η,输入卷积的向量长度为α,利用公式(17)得到卷积后的向量长度α:
α=[(α-ρ)+1]×η (17)
S107:将高光谱遥感图像的中间特征图谱T8输入到分类器中,对高光谱遥感图像进行分类。
将中间特征图谱T8输入到分类器中进行分类,其中,分类器采用激活函数为softmax函数的神经网络,在softmax函数前有一层神经网络,中间特征图谱T8经过神经网络后得到一个向量T,向量T进入softmax函数后,实现分类;
softmax函数为:
其中,Yn表示向量T中的第n个元素,n为正整数,e为自然常数,softmax函数将输入向量中的元素映射到(0,1)区间内,得到输入向量的概率向量,则原始高光谱遥感图像R1的类别为softmax函数映射得到的概率向量中最大概率值所对应的类别。
本发明的有益效果是:降低分类成本,增强高光谱遥感图像的重要特征,较大限度地保留了高光谱遥感图像的特征信息,实现自适应特征细化,提高了高光谱图像的分类精度。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.基于注意力机制和卷积神经网络高光谱遥感图像分类方法,高光谱遥感图像包含了光谱信息和空间信息;其特征在于:包括以下步骤:
S101:根据主成份分析法,对原始高光谱遥感图像R1进行降维,将降维后的高光谱遥感图像R2进行样本取块,得到一个高光谱样本块T1;获得的高光谱样本块即为高光谱样本的特征信息;
S102:对高光谱样本块T1进行3D卷积操作,得到样本块的中间特征图谱T2
S103:对样本块的中间特征图谱T2进行池化操作,得到中间特征图谱T3
S104:分别将中间特征图谱T3中每一个光谱向量与光谱注意力模块和每一个空间特征与空间注意力模块进行按位相乘,得到高光谱遥感图像的注意力增强样本T4;其中,光谱注意力模块和空间注意力模块由对中间特征图谱T3进行卷积操作或者池化操作得到的;
S105:对高光谱遥感图像的注意力增强样本T4依次进行3D卷积操作和池化操作,然后将得到的中间特征图谱T6中每一个光谱向量与光谱注意力模块以及每一个空间特征与空间注意力模块进行按位相乘,得到高光谱遥感图像的注意力增强样本T7
S106:对高光谱遥感图像的注意力增强样本T7进行3D卷积操作,得到一维的高光谱遥感图像的中间特征图谱T8
S107:将高光谱遥感图像的中间特征图谱T8输入到分类器中,对高光谱遥感图像进行分类。
2.如权利要求1所述的基于注意力机制和卷积神经网络高光谱遥感图像分类方法,其特征在于:
在步骤S101中,根据主成份分析法对原始高光谱遥感图像R1进行降维,得到高光谱遥感图像R2的过程如下:
用X=(x1,x2,...,xQ)=(X1,X2,...,XB)T表示原始高光谱遥感图像R1,其中,xi表示原始高光谱遥感图像R1的第i个像素点,i=1,2,...,Q,Xj表示原始高光谱遥感图像R1的第j个波段,j=1,2,...,B,分别利用公式(1)和公式(2)计算原始高光谱遥感图像R1的波段均值和协方差矩阵:
其中,Q和B均为正整数,为原始高光谱遥感图像R1的波段均值,Q为像素点个数,Q>0;为原始高光谱遥感图像R1的协方差矩阵,B为波段个数,B>0;
计算的特征根λ1≥λ2≥...≥λB≥0,设定阈值θ,选择满足λ1≥λ2≥...≥λP≥θ的前P个主成分,P为正整数,且P>1,B远远大于P,由前P个主成分的特征根得到相应的单位特征向量t1,t2,...,tP,W=[t1,t2,...,tP],A为W的转置矩阵,即A=WT,以A为变换矩阵,对原始高光谱遥感图像进行变换,变换后的结果为Y,Y=(Y1,Y2,...,Yp)T=AX,Y即为得到的高光谱遥感图像R2 P×L×H,P为降维后的主成分个数,即降维后高光谱遥感图像R2 P×L×H的波段数,L为高光谱遥感图像R2 P×L×H在空间长度方向上的像素点个数,H为高光谱遥感图像R2 P×L×H在空间宽度方向上的像素点个数。
3.如权利要求2所述的基于注意力机制和卷积神经网络高光谱遥感图像分类方法,其特征在于:
在步骤S101中,样本取块的操作过程为:在空间上,逐波段取相对应的a×a领域组成样本块,所述样本块以中间像素点为标签;其中,a为样本块在空间长度以及宽度方向上的像素点个数,且a为奇数;同时,保留所述a×a个像素点的所有光谱信息,即形成一个P×a×a的三维样本块,用于表征中间像素点的样本特征,利用下面的公式进行样本取块过程的特征变换:
其中,Q为单个波段中的像素点个数,也是取块样本个数,Dsamp表示样本取块过程。
4.如权利要求3所述的基于注意力机制和卷积神经网络高光谱遥感图像分类方法,其特征在于:在步骤S101中,在样本取块操作中,边缘像素点没有空间邻域信息时,进行补0操作。
5.如权利要求3所述的基于注意力机制和卷积神经网络高光谱遥感图像分类方法,其特征在于:
在步骤S102中,利用卷积神经网络对高光谱样本块T1进行3D卷积操作的过程为:在每层卷积神经网络中采取h个不同的卷积核,对T1所包含的P个波段信息分别使用大小为e×f×f的3D卷积核进行卷积操作,得到中间特征图谱T2,其中,e为光谱维度的操作层数,即每次选取e个波段进行一组卷积,f表示图像块在空间长度和宽度方向上的像素点个数;得到的中间特征图谱T2所包含的波段数p为:p=[(P-e)+1]×h,中间特征图谱T2在空间长度和宽度方向上的像素点个数均为m,m=[(a-e)+1]。
6.如权利要求1所述的基于注意力机制和卷积神经网络高光谱遥感图像分类方法,其特征在于:在步骤S103中,中间特征图谱T3与中间特征图谱T2中的波段数相同。
7.如权利要求1所述的基于注意力机制和卷积神经网络高光谱遥感图像分类方法,其特征在于:
在步骤S104中,在光谱和空间上分别对中间特征图谱T3进行加强操作,将中间特征图谱T3每一个光谱向量与光谱注意力模块进行逐个光谱通道的点乘;将中间特征图谱T3的空间特征与空间注意力模块进行逐个波段的点乘,得到高光谱遥感图像的注意力增强样本T4
其中,A1为光谱注意力模块,A2为空间注意力模块,u为中间特征图谱T3中单个波段所包含的第u个像素点,r为中间特征图谱T3中单个波段所包含的像素点个数,p为中间特征图谱T3的波段数,v为中间特征图谱T3的第v个波段,符号代表相同类型的矩阵所对应相同位置的元素相乘。
8.如权利要求1所述的基于注意力机制和卷积神经网络高光谱遥感图像分类方法,其特征在于:在步骤S107中,分类器采用激活函数为softmax函数的神经网络,在softmax函数前有一层神经网络,中间特征图谱T8经过神经网络后得到一个向量T,向量T进入softmax函数后,实现分类;
softmax函数为:
其中,Yn表示向量T中的第n个元素,n为正整数,e为自然常数,softmax函数将输入向量中的元素映射到(0,1)区间内,得到输入向量的概率向量,则原始高光谱遥感图像R1的类别为softmax函数映射得到的概率向量中最大概率值所对应的类别。
CN201811566829.2A 2018-12-19 2018-12-19 基于注意力机制和卷积神经网络高光谱遥感图像分类方法 Expired - Fee Related CN109376804B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811566829.2A CN109376804B (zh) 2018-12-19 2018-12-19 基于注意力机制和卷积神经网络高光谱遥感图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811566829.2A CN109376804B (zh) 2018-12-19 2018-12-19 基于注意力机制和卷积神经网络高光谱遥感图像分类方法

Publications (2)

Publication Number Publication Date
CN109376804A true CN109376804A (zh) 2019-02-22
CN109376804B CN109376804B (zh) 2020-10-30

Family

ID=65371228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811566829.2A Expired - Fee Related CN109376804B (zh) 2018-12-19 2018-12-19 基于注意力机制和卷积神经网络高光谱遥感图像分类方法

Country Status (1)

Country Link
CN (1) CN109376804B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993220A (zh) * 2019-03-23 2019-07-09 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法
CN110046598A (zh) * 2019-04-23 2019-07-23 中南大学 即插即用的多尺度空间和通道注意遥感影像目标检测方法
CN110084311A (zh) * 2019-05-05 2019-08-02 西安电子科技大学 基于三元权值卷积神经网络的高光谱图像波段选择方法
CN110288518A (zh) * 2019-06-28 2019-09-27 北京三快在线科技有限公司 图像处理方法、装置、终端及存储介质
CN110443296A (zh) * 2019-07-30 2019-11-12 西北工业大学 面向高光谱图像分类的数据自适应激活函数学习方法
CN110458192A (zh) * 2019-07-05 2019-11-15 中国地质大学(武汉) 基于视觉显著性的高光谱遥感图像分类方法及系统
CN110490813A (zh) * 2019-07-05 2019-11-22 特斯联(北京)科技有限公司 卷积神经网络的特征图增强方法、装置、设备及介质
CN110866494A (zh) * 2019-11-14 2020-03-06 三亚中科遥感研究所 一种基于光学遥感影像的城镇群提取方法及系统
CN111062403A (zh) * 2019-12-26 2020-04-24 哈尔滨工业大学 基于一维组卷积神经网络的高光谱遥感数据深度光谱特征提取方法
CN111191514A (zh) * 2019-12-04 2020-05-22 中国地质大学(武汉) 一种基于深度学习的高光谱图像波段选择方法
CN111274869A (zh) * 2020-01-07 2020-06-12 中国地质大学(武汉) 基于并行注意力机制残差网进行高光谱图像分类的方法
CN111563520A (zh) * 2020-01-16 2020-08-21 北京航空航天大学 一种基于空间-光谱联合注意力机制的高光谱图像分类方法
CN111783694A (zh) * 2020-07-06 2020-10-16 浙江工业大学 一种基于混合亚像素卷积的高光谱遥感图像分类方法
CN111814607A (zh) * 2020-06-24 2020-10-23 中国地质大学(武汉) 一种适用于小样本高光谱影像分类的深度学习模型
CN111985543A (zh) * 2020-08-06 2020-11-24 西北大学 一种高光谱图像分类模型的构建方法、分类方法及系统
CN112116563A (zh) * 2020-08-28 2020-12-22 南京理工大学 一种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法与系统
CN112232343A (zh) * 2020-09-03 2021-01-15 国家粮食和物资储备局科学研究院 一种粮食霉变粒识别神经网络和识别方法
CN112287978A (zh) * 2020-10-07 2021-01-29 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN113537239A (zh) * 2021-07-08 2021-10-22 宁波大学 一种基于全局关系感知注意力的高光谱图像波段选择方法
CN113643323A (zh) * 2021-08-20 2021-11-12 中国矿业大学 城市地下综合管廊尘雾环境下目标检测系统
CN116630828A (zh) * 2023-05-30 2023-08-22 中国公路工程咨询集团有限公司 基于地形环境适配的无人机遥感信息采集系统及方法
CN117765402A (zh) * 2024-02-21 2024-03-26 山东科技大学 一种基于注意力机制的高光谱图像匹配检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330362A (zh) * 2017-05-25 2017-11-07 北京大学 一种基于时空注意力的视频分类方法
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
US20180144208A1 (en) * 2016-11-18 2018-05-24 Salesforce.Com, Inc. Adaptive attention model for image captioning
WO2018106783A1 (en) * 2016-12-06 2018-06-14 Siemens Energy, Inc. Weakly supervised anomaly detection and segmentation in images
CN108364023A (zh) * 2018-02-11 2018-08-03 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和系统
CN108647736A (zh) * 2018-05-16 2018-10-12 南京大学 一种基于感知损失和匹配注意力机制的图像分类方法
CN108734290A (zh) * 2018-05-16 2018-11-02 湖北工业大学 一种基于注意力机制的卷积神经网络构建方法及应用
CN108764303A (zh) * 2018-05-10 2018-11-06 电子科技大学 一种基于注意力机制的遥感图像自然语言生成方法
CN108875807A (zh) * 2018-05-31 2018-11-23 陕西师范大学 一种基于多注意力多尺度的图像描述方法
CN108875592A (zh) * 2018-04-13 2018-11-23 哈尔滨工程大学 一种基于注意力的卷积神经网络优化方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180144208A1 (en) * 2016-11-18 2018-05-24 Salesforce.Com, Inc. Adaptive attention model for image captioning
WO2018106783A1 (en) * 2016-12-06 2018-06-14 Siemens Energy, Inc. Weakly supervised anomaly detection and segmentation in images
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
CN107330362A (zh) * 2017-05-25 2017-11-07 北京大学 一种基于时空注意力的视频分类方法
CN108364023A (zh) * 2018-02-11 2018-08-03 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和系统
CN108875592A (zh) * 2018-04-13 2018-11-23 哈尔滨工程大学 一种基于注意力的卷积神经网络优化方法
CN108764303A (zh) * 2018-05-10 2018-11-06 电子科技大学 一种基于注意力机制的遥感图像自然语言生成方法
CN108647736A (zh) * 2018-05-16 2018-10-12 南京大学 一种基于感知损失和匹配注意力机制的图像分类方法
CN108734290A (zh) * 2018-05-16 2018-11-02 湖北工业大学 一种基于注意力机制的卷积神经网络构建方法及应用
CN108875807A (zh) * 2018-05-31 2018-11-23 陕西师范大学 一种基于多注意力多尺度的图像描述方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHEN JINGBO 等: ""Remote Sensing Scene Classification Based on Convolutional Neural Networks Pre-Trained Using Attention-Guided Sparse Filters"", 《REMOTE SENSING》 *
LONG CHEN 等: ""SCA-CNN: Spatial and Channel-Wise Attention in Convolutional Networks for Image Captioning"", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
M.E.PAOLETTI 等: ""A new deep convolutional neural network for fast hyperspectral image classification"", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》 *
罗建华 等: ""基于深度卷积神经网络的高光谱遥感图像分类"", 《西华大学学报(自然科学版)》 *
赵爽: ""基于卷积神经网络的遥感图像分类方法研究"", 《中国优秀硕士学位论文全文数据库-基础科学辑》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993220A (zh) * 2019-03-23 2019-07-09 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法
CN109993220B (zh) * 2019-03-23 2022-12-06 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法
CN110046598A (zh) * 2019-04-23 2019-07-23 中南大学 即插即用的多尺度空间和通道注意遥感影像目标检测方法
CN110046598B (zh) * 2019-04-23 2023-01-06 中南大学 即插即用的多尺度空间和通道注意遥感影像目标检测方法
CN110084311B (zh) * 2019-05-05 2021-09-03 西安电子科技大学 基于三元权值卷积神经网络的高光谱图像波段选择方法
CN110084311A (zh) * 2019-05-05 2019-08-02 西安电子科技大学 基于三元权值卷积神经网络的高光谱图像波段选择方法
CN110288518A (zh) * 2019-06-28 2019-09-27 北京三快在线科技有限公司 图像处理方法、装置、终端及存储介质
CN110458192A (zh) * 2019-07-05 2019-11-15 中国地质大学(武汉) 基于视觉显著性的高光谱遥感图像分类方法及系统
CN110490813A (zh) * 2019-07-05 2019-11-22 特斯联(北京)科技有限公司 卷积神经网络的特征图增强方法、装置、设备及介质
CN110458192B (zh) * 2019-07-05 2022-06-14 中国地质大学(武汉) 基于视觉显著性的高光谱遥感图像分类方法及系统
CN110443296A (zh) * 2019-07-30 2019-11-12 西北工业大学 面向高光谱图像分类的数据自适应激活函数学习方法
CN110443296B (zh) * 2019-07-30 2022-05-06 西北工业大学 面向高光谱图像分类的数据自适应激活函数学习方法
CN110866494B (zh) * 2019-11-14 2022-09-06 三亚中科遥感研究所 一种基于光学遥感影像的城镇群提取方法及系统
CN110866494A (zh) * 2019-11-14 2020-03-06 三亚中科遥感研究所 一种基于光学遥感影像的城镇群提取方法及系统
CN111191514A (zh) * 2019-12-04 2020-05-22 中国地质大学(武汉) 一种基于深度学习的高光谱图像波段选择方法
CN111191514B (zh) * 2019-12-04 2023-09-01 中国地质大学(武汉) 一种基于深度学习的高光谱图像波段选择方法
CN111062403A (zh) * 2019-12-26 2020-04-24 哈尔滨工业大学 基于一维组卷积神经网络的高光谱遥感数据深度光谱特征提取方法
CN111274869A (zh) * 2020-01-07 2020-06-12 中国地质大学(武汉) 基于并行注意力机制残差网进行高光谱图像分类的方法
CN111563520A (zh) * 2020-01-16 2020-08-21 北京航空航天大学 一种基于空间-光谱联合注意力机制的高光谱图像分类方法
CN111563520B (zh) * 2020-01-16 2023-01-13 北京航空航天大学 一种基于空间-光谱联合注意力机制的高光谱图像分类方法
CN111814607A (zh) * 2020-06-24 2020-10-23 中国地质大学(武汉) 一种适用于小样本高光谱影像分类的深度学习模型
CN111814607B (zh) * 2020-06-24 2023-12-29 中国地质大学(武汉) 一种适用于小样本高光谱影像分类的深度学习模型
CN111783694A (zh) * 2020-07-06 2020-10-16 浙江工业大学 一种基于混合亚像素卷积的高光谱遥感图像分类方法
CN111985543B (zh) * 2020-08-06 2024-05-10 西北大学 一种高光谱图像分类模型的构建方法、分类方法及系统
CN111985543A (zh) * 2020-08-06 2020-11-24 西北大学 一种高光谱图像分类模型的构建方法、分类方法及系统
CN112116563A (zh) * 2020-08-28 2020-12-22 南京理工大学 一种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法与系统
CN112232343A (zh) * 2020-09-03 2021-01-15 国家粮食和物资储备局科学研究院 一种粮食霉变粒识别神经网络和识别方法
CN112232343B (zh) * 2020-09-03 2023-11-21 国家粮食和物资储备局科学研究院 一种粮食霉变粒识别神经网络和识别方法
CN112287978A (zh) * 2020-10-07 2021-01-29 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN112287978B (zh) * 2020-10-07 2022-04-15 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
WO2022073452A1 (zh) * 2020-10-07 2022-04-14 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
US11783579B2 (en) 2020-10-07 2023-10-10 Wuhan University Hyperspectral remote sensing image classification method based on self-attention context network
CN113537239A (zh) * 2021-07-08 2021-10-22 宁波大学 一种基于全局关系感知注意力的高光谱图像波段选择方法
CN113537239B (zh) * 2021-07-08 2022-02-18 宁波大学 一种基于全局关系感知注意力的高光谱图像波段选择方法
CN113643323A (zh) * 2021-08-20 2021-11-12 中国矿业大学 城市地下综合管廊尘雾环境下目标检测系统
CN113643323B (zh) * 2021-08-20 2023-10-03 中国矿业大学 城市地下综合管廊尘雾环境下目标检测系统
CN116630828B (zh) * 2023-05-30 2023-11-24 中国公路工程咨询集团有限公司 基于地形环境适配的无人机遥感信息采集系统及方法
CN116630828A (zh) * 2023-05-30 2023-08-22 中国公路工程咨询集团有限公司 基于地形环境适配的无人机遥感信息采集系统及方法
CN117765402A (zh) * 2024-02-21 2024-03-26 山东科技大学 一种基于注意力机制的高光谱图像匹配检测方法
CN117765402B (zh) * 2024-02-21 2024-05-17 山东科技大学 一种基于注意力机制的高光谱图像匹配检测方法

Also Published As

Publication number Publication date
CN109376804B (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN109376804A (zh) 基于注意力机制和卷积神经网络高光谱遥感图像分类方法
Stengel et al. Adversarial super-resolution of climatological wind and solar data
Shao et al. Remote sensing image fusion with deep convolutional neural network
CN109145992B (zh) 协作生成对抗网络和空谱联合的高光谱图像分类方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
Wang et al. Locality and structure regularized low rank representation for hyperspectral image classification
Jin et al. A survey of infrared and visual image fusion methods
Romero et al. Unsupervised deep feature extraction for remote sensing image classification
Ma et al. Local manifold learning-based $ k $-nearest-neighbor for hyperspectral image classification
CN111695467A (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
CN112347888B (zh) 基于双向特征迭代融合的遥感图像场景分类方法
CN110084159A (zh) 基于联合多级空谱信息cnn的高光谱图像分类方法
CN108764173A (zh) 基于多类生成对抗网络的高光谱图像分类方法
Yang et al. Superpixel-based unsupervised band selection for classification of hyperspectral images
CN109766858A (zh) 结合双边滤波的三维卷积神经网络高光谱影像分类方法
CN110728197B (zh) 基于深度学习的单木级树种识别方法
CN107330457B (zh) 一种基于多特征融合的极化sar图像分类方法
He et al. Multi-spectral remote sensing land-cover classification based on deep learning methods
CN109919242A (zh) 一种基于深度特征和联合稀疏的图像目标识别方法
WO2023277919A1 (en) Multi-scale transformer for image analysis
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN112508066A (zh) 一种基于残差全卷积分割网络的高光谱图像分类方法
CN109946241A (zh) 一种基于高光谱计算成像系统的土壤分类方法
CN113673556A (zh) 一种基于多尺度密集卷积网络的高光谱图像分类方法
CN114299398B (zh) 一种基于自监督对比学习的小样本遥感图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201030

Termination date: 20211219