CN117274725A - 基于张量ConvLSTM的高光谱图像分类方法和装置 - Google Patents

基于张量ConvLSTM的高光谱图像分类方法和装置 Download PDF

Info

Publication number
CN117274725A
CN117274725A CN202311569976.6A CN202311569976A CN117274725A CN 117274725 A CN117274725 A CN 117274725A CN 202311569976 A CN202311569976 A CN 202311569976A CN 117274725 A CN117274725 A CN 117274725A
Authority
CN
China
Prior art keywords
convolution
tensor
hyperspectral image
full
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311569976.6A
Other languages
English (en)
Other versions
CN117274725B (zh
Inventor
李恒超
马天宇
郑玉棒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202311569976.6A priority Critical patent/CN117274725B/zh
Publication of CN117274725A publication Critical patent/CN117274725A/zh
Application granted granted Critical
Publication of CN117274725B publication Critical patent/CN117274725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • G06N3/0442Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/58Extraction of image or video features relating to hyperspectral data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/194Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于张量ConvLSTM的高光谱图像分类方法和装置,涉及遥感图像处理技术领域,包括基于卷积核构建张量顺序卷积层,将已分类的高光谱图像数据发送至张量顺序卷积层,得到空间特征;构建全张量卷积长短时记忆单元,将空间特征发送至全张量卷积长短时记忆单元,得到空谱特征;将空谱特征进行分类训练,将训练结果和已分类的高光谱图像数据的类型标签进行匹配度计算,构建高光谱分类模型,将待分类的高光谱图像数据发送至所述高光谱分类模型,得到分类结果。本发明可以同时压缩模型参数量和计算量,也可以获得比原始模型更准确的高光谱图像分类结果,还保护了模型对特征提取能力。

Description

基于张量ConvLSTM的高光谱图像分类方法和装置
技术领域
本发明涉及遥感图像处理技术领域,具体而言,涉及基于张量ConvLSTM的高光谱图像分类方法和装置。
背景技术
高光谱遥感是一种将成像和光谱技术融为一体的多维信息获取技术。随着深度学习技术的不断发展,近年来,深度学习模型已经成为高光谱图像分类领域的重要技术手段。其中,卷积长短时记忆网络(ConvLSTM)具有同时捕捉二维数据序列中空间和时间相关性的能力,在高光谱图像分类领域受到广泛关注。然而,卷积长短时记忆网络所具有的多个门结构引入了较多的训练参数和较高的计算复杂度,使其存在训练不充分、过拟合问题,也导致其难以实际部署在计算和存储资源受限的机载或星载载荷中。
因此现在亟需一种减少高光谱图像的复杂度,并同时压缩模型参数量和计算量,也可以获得比原始模型更准确的高光谱图像分类结果的图像分类方法。
发明内容
本发明的目的在于提供一种基于张量ConvLSTM的高光谱图像分类方法和装置,以改善上述问题。为了实现上述目的,本发明采取的技术方案如下:
第一方面,本申请提供了一种基于张量ConvLSTM的高光谱图像分类方法,包括:获取第一信息和第二信息,所述第一信息包括已分类的高光谱图像数据和所述已分类的高光谱图像数据对应的类型标签,所述第二信息包括待分类的高光谱图像数据;基于预设数量的卷积核构建张量顺序卷积层,将所述已分类的高光谱图像数据发送至张量顺序卷积层,得到所述已分类的高光谱图像数据的空间特征;基于所述张量顺序卷积层和预设的非线性激活函数构建全张量卷积长短时记忆单元,将所述空间特征发送至全张量卷积长短时记忆单元,得到已分类的高光谱图像数据的空谱特征;将所述空谱特征发送至预设的全局池化层和预设的全连接层进行分类训练,得到训练结果,所述训练结果为基于空谱特征对所述已分类的高光谱图像数据进行分类的结果;将所述训练结果和所述类型标签发送至匹配度计算模型,若所述匹配度计算模型计算得到的结果大于预设阈值,则基于所述全张量卷积长短时记忆单元、所述全局池化层和所述全连接层构建高光谱分类模型;将所述第二信息发送至所述高光谱分类模型,得到所述第二信息的分类结果。
第二方面,本申请还提供了一种基于张量ConvLSTM的高光谱图像分类装置,包括:获取模块,用于获取第一信息和第二信息,所述第一信息包括已分类的高光谱图像数据和所述已分类的高光谱图像数据对应的类型标签,所述第二信息包括待分类的高光谱图像数据;第一构建模块,用于基于预设数量的卷积核构建张量顺序卷积层,将所述已分类的高光谱图像数据发送至张量顺序卷积层,得到所述已分类的高光谱图像数据的空间特征;第二构建模块,用于基于所述张量顺序卷积层和预设的非线性激活函数构建全张量卷积长短时记忆单元,将所述空间特征发送至全张量卷积长短时记忆单元,得到已分类的高光谱图像数据的空谱特征;第一处理模块,用于将所述空谱特征发送至预设的全局池化层和预设的全连接层进行分类训练,得到训练结果,所述训练结果为基于空谱特征对所述已分类的高光谱图像数据进行分类的结果;第三构建模块,用于将所述训练结果和所述类型标签发送至匹配度计算模型,若所述匹配度计算模型计算得到的结果大于预设阈值,则基于所述全张量卷积长短时记忆单元、所述全局池化层和所述全连接层构建高光谱分类模型;第二处理模块,用于将所述第二信息发送至所述高光谱分类模型,得到所述第二信息的分类结果。
本发明的有益效果为:
本发明通过对所述待分类的高光谱图像数据集进行降维,然后基于降维后的图像数据进行处理,其中通过张量卷积长短时记忆网络模型射将所有门结构的卷积核权重级联为一个大尺寸张量,然后再被映射为预设数量的小尺寸卷积核张量,替换了现有技术中所有卷积核权重所级联而成的大尺寸张量的构成方式,可以同时压缩模型参数量和计算量,也可以获得比原始模型更准确的高光谱图像分类结果,而且本发明还保护了模型对特征提取能力。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的基于张量ConvLSTM的高光谱图像分类方法流程示意图;
图2为本发明实施例中所述的基于张量ConvLSTM的高光谱图像分类装置结构示意图;
图3为本发明实施例中所述的张量卷积长短时记忆网络模型结构示意图;
图4为本发明实施例中所述的全张量长短时记忆单元的结构示意图。
图中标记:701、获取模块;702、第一构建模块;703、第二构建模块;704、第一处理模块;705、第三构建模块;706、第二处理模块;7021、第一构建单元;7022、第一运算单元;7023、第二运算单元;7024、第三运算单元;7025、第四运算单元;7026、第一处理单元;7027、第二处理单元;7051、第三处理单元;7052、第四处理单元;7053、第五处理单元;7054、第六处理单元;7055、第七处理单元;7056、第八处理单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例1:
在现有技术中基于张量分解理论的高光谱图像分类方法是一种新兴的轻量级分类技术。张量分解方法能将卷积长短时记忆网络中门结构的权重张量分解为小尺寸张量因子,在模型参数量上有很好的压缩效果,但是,其实施过程需将权重因子恢复为原始权重,这会增加模型的计算复杂度。
故,为降低基于张量分解理论对高光谱图像分类过程的计算复杂度,本实施例提供了一种基于张量卷积长短时记忆网络(ConvLSTM)的高光谱图像分类方法。
参见图1、图3和图4,图中示出了本方法包括步骤S1、步骤S2、步骤S3和步骤S4。
步骤S1、获取第一信息和第二信息,所述第一信息包括已分类的高光谱图像数据和所述已分类的高光谱图像数据对应的类型标签,所述第二信息包括待分类的高光谱图像数据;
可以理解的是本步骤中第一信息包括已分类的高光谱图像数据和所述已分类的高光谱图像数据对应的类型标签,其中所述已分类的高光谱图像数据为降维处理后的图像数据;本发明可以通过所述已分类的高光谱图像数据对张量卷积长短时记忆网络模型进行训练,进而快速进行分类,达到智能化,轻量化的目的。
步骤S2、基于预设数量的卷积核构建张量顺序卷积层,将所述已分类的高光谱图像数据发送至张量顺序卷积层,得到所述已分类的高光谱图像数据的空间特征;
可以理解的是本步骤通过预设的卷积核构建张量顺序卷积层,进而通过已分类的数据进行空间特征提取,本步骤中,步骤S2包括步骤S21、步骤S22、步骤S23、步骤S24和步骤S25。
步骤S21、基于预设数量的第一输入卷积核、第二输入卷积核、第一输出卷积核和第二输出卷积核构建张量顺序卷积层,其中,所述第一输入卷积核包含最大的输入通道的分解因子,所述第一输出卷积核包含最大的输出通道的分解因子;
可以理解的是所述卷积核是用于从输入数据中提取特征的小型过滤器。并且所述第一输入卷积核包含最大的输入通道的分解因子。这样的卷积核考虑了输入数据的通道数,以更好地捕捉输入数据的特征。通道分解因子可以对输入数据中不同通道信息的重要性进行权衡。输出数据的通道数。这有助于确定卷积层输出的特征图数量。其中不同的卷积核组合用于学习和提取输入数据中的多层次、多方面的特征。
其中,所述张量顺序卷积层的计算方法,包括:
步骤S22、将所述第一信息与所述第一输入卷积核做卷积运算得到第一卷积特征;
可以理解的是这一步的目的是通过卷积操作,从输入数据中提取出与第一输入卷积核相关的特征信息。卷积操作是一种特征提取的过程,通过卷积核在输入数据上滑动,生成卷积特征图。
步骤S23、将所述第一卷积特征与预设数量的第二输入卷积核做卷积运算得到第二卷积特征;
可以理解的是这一步的目的是在第一卷积特征的基础上,进一步提取和学习更高级别的特征。通过层层堆叠的卷积操作,网络可以逐渐学习到更抽象和复杂的表征。
步骤S24、将第二卷积特征与预设数量的第二输出卷积核做卷积运算得到第三卷积特征;
可以理解的是这一步的目的是通过第二输出卷积核,进一步调整和提炼网络学到的特征,以更好地适应任务需求。
步骤S25、将第三卷积特征与第一输出卷积核做卷积运算得到张量顺序卷积层的输出数据。
可以理解的是这一步的目的是将学到的特征整合在一起,生成最终的输出。第一输出卷积核在这里起到整体特征融合的作用,确保网络在前向传播过程中能够有效地捕捉输入数据中的关键信息。本步骤中,所述步骤S2还包括步骤S26和步骤S27。
步骤S26、将当前时刻输入的已分类的高光谱图像数据和前一时刻全张量卷积长短时记忆单元输出的数据进行级联处理,其中,将所有门结构的卷积核权重级联为一个张量数据;
可以理解的是将当前时刻的输入与前一时刻的输出数据进行级联。其中,将两个数据信息进行级联处理,形成一个张量数据。通过将这些门结构的卷积核权重级联,我们有效地将门结构的信息融合到当前时刻的输入数据中,以更好地捕捉序列数据中的长期依赖关系。本步骤增强了模型对序列数据的建模能力,使其能够更好地适应时序变化。这可以提高模型对高光谱图像数据的理解和表达能力,进一步提升分类性能,并且,在本申请中神经网络中将当前时刻输入数据和前一时刻输出数据级联为一个大尺寸张量数据,并通过预设数量的卷积核张量进行顺序卷积运算以提取特征。并且结合卷积核权重级联-映射替换,能有效减小了标准卷积长短时记忆单元的计算量和参数量,同时保护了中全张量长短时记忆单元的表达能力。其中,将所述张量数据输入到所述张量顺序卷积层中,级联后重构的张量数据的计算方法为:;
其中,和/>为级联后重构的输入和输出张量数据;/>,/>和/>,/>分别是小尺寸的输入和输出卷积核,且/>和/>分别是级联后的数据的输入和输出通道数;/>和/>分别输入和输出卷积核的个数;/>和/>是输入和输出通道的分解因子;/>是张量秩;/>是它们的索引;/>是非线性激活函数。
步骤S27、将所述张量数据输入到所述张量顺序卷积层中,并将顺序卷积层的运算结果沿通道维度被分成四个大小相等的部分,得到所述已分类的高光谱图像数据的空间特征。
可以理解的是本步骤通过对所述张量数据进行处理,对图像的不同通道特征进行更细粒度的分析,以便更好地捕捉图像的多层次信息。
步骤S3、基于所述张量顺序卷积层和预设的非线性激活函数构建全张量卷积长短时记忆单元,将所述空间特征发送至全张量卷积长短时记忆单元,得到已分类的高光谱图像数据的空谱特征;
可以理解的是,在本申请中全张量长短时记忆单元的数量由低维高光谱图像数据块的维度决定,即全张量长短时记忆单元的等于低维高光谱图像数据块的维度。并且在本申请中,提取最低维度的全张量长短时记忆单元所需前一时刻输出数据为一份初始化的全零特征,提取最低维度的全张量长短时记忆单元输出信息并作为下一个维度的全张量长短时记忆单元一份输入信息,以此构成链式结构的特征提取方式。本步骤通过通道分割与哈达玛乘积运算,将卷积运算结果沿通道维度分成四个相等大小的部分,每部分特征通过预设的非线性激活函数后,进行哈达玛乘积运算,有助于捕捉特定的空谱特征。这一系列操作有助于模型更好地学习高光谱图像数据中的时序和空谱特征,提高分类模型的性能。
可以理解的是,关于全张量长短时记忆单元结构可参见图4的示意图,并且本申请中还一并提供了全张量长短时记忆单元的数学表达式:
;
其中,、/>和/>分别表示当前时刻的输入、输出和状态数据,/>和/>分别表示前一时刻的输出和状态数据;、/>和/>分别表示输入、遗忘和输出门的输出;是当前时刻的状态更新量;/>、/>、/>为上述相应变量的中间变量;/>和/>是数据的空间维度的宽和高;/>、/>和/>分别代表在输入门、遗忘门、状态更新和输出门中与当前时刻输入数据做卷积运算的卷积核权重张量;/>、/>、/>和/>分别代表在输入门、遗忘门、状态更新和输出门中与前一时刻输出数据做卷积运算的卷积核权重张量;/>的尺寸为/>的尺寸为/>,/>代表/>、/>、/>或/>;/>表示偏置值;/>和/>是卷积核的输入和输出通道数;/>是卷积核的尺寸;/>和/>分别是卷积和哈德玛积运算;/>和/>是非线性激活函数;/>表示级联操作;/>为/>、/>、/>和/>沿第四个维度级联后的权重张量;/>为/>、/>、/>和/>沿第四个维度级联后的权重张量;为/>和/>沿第三个维度级联后的权重张量;表示顺序卷积层。
步骤S4、将所述空谱特征发送至预设的全局池化层和预设的全连接层进行分类训练,得到训练结果,所述训练结果为基于空谱特征对所述已分类的高光谱图像数据进行分类的结果;
可以理解的是本步骤中的全局池化层用于减少数据的空间维度,对整个特征图进行平均池化,使用全连接层将特征映射到最终的分类结果。
步骤S5、将所述训练结果和所述类型标签发送至匹配度计算模型,若所述匹配度计算模型计算得到的结果大于预设阈值,则基于所述全张量卷积长短时记忆单元、所述全局池化层和所述全连接层构建高光谱分类模型;
可以理解的是本步骤通过匹配度计算确保模型在验证数据上的性能达到预期水平,以提高模型的泛化性能,本步骤中,步骤S5包括步骤S51和步骤S52。
步骤S51、基于所述分类结果和所述验证数据构建混淆矩阵,并定义类别权重矩阵,其中,所述类别权重矩阵中的每个元素表示对应的分类结果和验证数据的余弦相似度;
可以理解的是本步骤通过所述分类结果和所述验证数据构建混淆矩阵C。混淆矩阵是一个n×n的矩阵,其中n表示类别的数量,元素表示验证数据i的样本被分类模型划分为分类结果j的数量。为了反映不同类别之间的重要性或关联性,定义类别权重矩阵W,其中元素/>表示验证数据i与分类结果j之间的余弦相似度。
步骤S52、基于匹配度计算公式对所述混淆矩阵和所述类别权重矩阵进行计算,得到所述分类结果和所述验证数据的匹配度。
可以理解的是本步骤中的匹配度计算公式如下所示:其中,所述A表示所述分类结果和所述验证数据的匹配度值,所述n表示类别的数量,/>表示验证数据i的样本被分类模型划分为分类结果j;/>表示验证数据i与分类结果j之间的余弦相似度。
可以理解的是本步骤中步骤S5还包括步骤S53、步骤S54、步骤S55和步骤S56。
步骤S53、基于全张量长短时记忆单元构建第一特征提取模块,其中,所述第一特征提取模块内的全张量长短时记忆单元并联设置;
步骤S54、将预设的最大池化层与所述第一特征提取模块串联设置,其中,每个所述最大池化层分别与第一特征提取模块内的一个全张量长短时记忆单元对应;
可以理解的是本步骤为了进一步提取和保留全张量长短时记忆单元的关键信息,我们引入最大池化层。最大池化的目的是在每个特征图上选择最显著的特征,从而减少数据的空间维度,同时保持重要信息。
步骤S55、基于全张量长短时记忆单元构建第二特征提取模块,其中,所述第二特征提取模块内的全张量长短时记忆单元并联设置,所述第二特征提取模块内的全张量长短时记忆单元的数目与第一特征提取模块内的全张量长短时记忆单元的数目相同;
需要说明的是,在本申请中第二特征提取模块内的全张量长短时记忆单元的数学表示式和结构示意图与第二特征提取模块内的全张量长短时记忆单元相同,故,本步骤中不再赘述。
在本申请中设置全张量卷积长短时记忆单元的小尺寸输入卷积核大小为4×4×11×12和4×4×36×12,小尺寸输出卷积核大小为4×4×12×96和4×4×12×16,全张量卷积长短时记忆单元的小尺寸输入卷积核大小为4×4×12×12和4×4×96×12,小尺寸输出卷积核大小为4×4×12×192和3×3×12×16,其中,前两个数字为卷积核的高度、宽度,后两个数字为卷积层的输入通道数和输出通道数;全连接层的输入通道数为64,输出通道数为16。
步骤S56、将所述第二特征提取模块与所述全局池化层串联设置,并将所述全局池化层与所述全连接层串联设置,得到高光谱分类模型;
步骤S6、将所述第二信息发送至所述高光谱分类模型,得到所述第二信息的分类结果。
在本实施例中为实现低复杂度的高光谱图像分类,采用“级联-映射”的策略设计了一种基于全张量卷积长短时记忆网络的高光谱图像轻量级分类方法,其可以同时压缩模型参数量和计算量,也可以获得比原始模型更准确的高光谱图像分类结果。
实施例2:
为了进一步验证实施例1的分类效果,本申请采用如下数据进行佐证。其中,本实施例在University of Pavia高光谱数据集上进行,采用平均分类精度、总体分类精度、Kappa系数作为模型分类精度的评价指标,采用参数量和浮点运算数作为模型空间和计算复杂度的评价指标。如表1所示,实施例1与对比模型相比,在模型参数量和浮点运算数上有明显的下降,同时具有更高分类精度。
实验结果表明,本申请提供高光谱图像分类模型中的全张量卷积长短时记忆单元利用一组呈现链式结构的小尺寸卷积核代替了原始卷积核,在降低标准卷积层复杂度的同时保证了单元的表达能力,依靠全张量卷积长短时记忆单元,高光谱图像分类模型可以低复杂度的从高光谱数据中提取判别性空谱特征,因此,本申请具有出色的分类性能和极低的复杂度。
表1 不同算法在University of Pavia数据集下对比结果(1%训练样本)
模型 SSCL2DNN SSTTCL2DNN 本发明
平均分类精度(%) 91.47 89.18 93.24
总体分类精度(%) 83.74 82.67 88.77
Kappa系数(%) 88.49 85.55 91.05
参数量(K) 1085.45 454.67 91.91
浮点运算数(M) 848.86 659.05 325.51
实施例3:
如图2所示,本实施例提供了一种基于张量ConvLSTM的高光谱图像分类装置,装置包括:
获取模块701,用于获取第一信息和第二信息,所述第一信息包括已分类的高光谱图像数据和所述已分类的高光谱图像数据对应的类型标签,所述第二信息包括待分类的高光谱图像数据;
第一构建模块702,用于基于预设数量的卷积核构建张量顺序卷积层,将所述已分类的高光谱图像数据发送至张量顺序卷积层,得到所述已分类的高光谱图像数据的空间特征;
第二构建模块703,用于基于所述张量顺序卷积层和预设的非线性激活函数构建全张量卷积长短时记忆单元,将所述空间特征发送至全张量卷积长短时记忆单元,得到已分类的高光谱图像数据的空谱特征;
第一处理模块704,用于将所述空谱特征发送至预设的全局池化层和预设的全连接层进行分类训练,得到训练结果,所述训练结果为基于空谱特征对所述已分类的高光谱图像数据进行分类的结果;
第三构建模块705,用于将所述训练结果和所述类型标签发送至匹配度计算模型,若所述匹配度计算模型计算得到的结果大于预设阈值,则基于所述全张量卷积长短时记忆单元、所述全局池化层和所述全连接层构建高光谱分类模型;
第二处理模块706,用于将所述第二信息发送至所述高光谱分类模型,得到所述第二信息的分类结果。
其中,所述第一构建模块702包括:
第一构建单元7021,用于基于预设数量的第一输入卷积核、第二输入卷积核、第一输出卷积核和第二输出卷积核构建张量顺序卷积层,其中,所述第一输入卷积核包含最大的输入通道的分解因子,所述第一输出卷积核包含最大的输出通道的分解因子;
其中,所述张量顺序卷积层的计算方法,包括:
第一运算单元7022,用于将所述第一信息与所述第一输入卷积核做卷积运算得到第一卷积特征;
第二运算单元7023,用于将所述第一卷积特征与预设数量的第二输入卷积核做卷积运算得到第二卷积特征;
第三运算单元7024,用于将第二卷积特征与预设数量的第二输出卷积核做卷积运算得到第三卷积特征;
第四运算单元7025,用于将第三卷积特征与第一输出卷积核做卷积运算得到张量顺序卷积层的输出数据。
其中,所述第一构建模块702,还包括:
第一处理单元7026,用于将当前时刻输入的已分类的高光谱图像数据和前一时刻全张量卷积长短时记忆单元输出的数据进行级联处理,其中,将所有门结构的卷积核权重级联为一个张量数据;
第二处理单元7027,用于将所述张量数据输入到所述张量顺序卷积层中,并将顺序卷积层的运算结果沿通道维度被分成四个大小相等的部分,得到所述已分类的高光谱图像数据的空间特征。
其中,所述第三构建模块705包括:
第三处理单元7051,用于基于所述训练结果和所述类型标签构建混淆矩阵,并定义类别权重矩阵,其中,所述类别权重矩阵中的每个元素表示对应的训练结果和类型标签的余弦相似度;
第四处理单元7052,用于基于匹配度计算公式对所述混淆矩阵和所述类别权重矩阵进行计算,得到所述训练结果和所述类型标签的匹配度。
其中,所述第三构建模块705,还包括:
第五处理单元7053,用于基于全张量长短时记忆单元构建第一特征提取模块,其中,所述第一特征提取模块内的全张量长短时记忆单元并联设置;
第六处理单元7054,用于将预设的最大池化层与所述第一特征提取模块串联设置,其中,每个所述最大池化层分别与第一特征提取模块内的一个全张量长短时记忆单元对应;
第七处理单元7055,用于基于全张量长短时记忆单元构建第二特征提取模块,其中,所述第二特征提取模块内的全张量长短时记忆单元并联设置,所述第二特征提取模块内的全张量长短时记忆单元的数目与第一特征提取模块内的全张量长短时记忆单元的数目相同;
第八处理单元7056,用于将所述第二特征提取模块与所述全局池化层串联设置,并将所述全局池化层与所述全连接层串联设置,得到高光谱分类模型。
需要说明的是,关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于张量ConvLSTM的高光谱图像分类方法,其特征在于,包括:
获取第一信息和第二信息,所述第一信息包括已分类的高光谱图像数据和所述已分类的高光谱图像数据对应的类型标签,所述第二信息包括待分类的高光谱图像数据;
基于预设数量的卷积核构建张量顺序卷积层,将所述已分类的高光谱图像数据发送至张量顺序卷积层,得到所述已分类的高光谱图像数据的空间特征;
基于所述张量顺序卷积层和预设的非线性激活函数构建全张量卷积长短时记忆单元,将所述空间特征发送至全张量卷积长短时记忆单元,得到已分类的高光谱图像数据的空谱特征;
将所述空谱特征发送至预设的全局池化层和预设的全连接层进行分类训练,得到训练结果,所述训练结果为基于空谱特征对所述已分类的高光谱图像数据进行分类的结果;
将所述训练结果和所述类型标签发送至匹配度计算模型,若所述匹配度计算模型计算得到的结果大于预设阈值,则基于所述全张量卷积长短时记忆单元、所述全局池化层和所述全连接层构建高光谱分类模型;
将所述第二信息发送至所述高光谱分类模型,得到所述第二信息的分类结果。
2.根据权利要求1所述的基于张量ConvLSTM的高光谱图像分类方法,其特征在于,所述基于预设数量的卷积核构建张量顺序卷积层,包括:
基于预设数量的第一输入卷积核、第二输入卷积核、第一输出卷积核和第二输出卷积核构建张量顺序卷积层,其中,所述第一输入卷积核包含最大的输入通道的分解因子,所述第一输出卷积核包含最大的输出通道的分解因子;
其中,所述张量顺序卷积层的计算方法,包括:
将所述第一信息与所述第一输入卷积核做卷积运算得到第一卷积特征;
将所述第一卷积特征与预设数量的第二输入卷积核做卷积运算得到第二卷积特征;
将第二卷积特征与预设数量的第二输出卷积核做卷积运算得到第三卷积特征;
将第三卷积特征与第一输出卷积核做卷积运算得到张量顺序卷积层的输出数据。
3.根据权利要求1所述的基于张量ConvLSTM的高光谱图像分类方法,其特征在于,将所述已分类的高光谱图像数据发送至张量顺序卷积层,包括:
将当前时刻输入的已分类的高光谱图像数据和前一时刻全张量卷积长短时记忆单元输出的数据进行级联处理,其中,将所有门结构的卷积核权重级联为一个张量数据;
将所述张量数据输入到所述张量顺序卷积层中,并将顺序卷积层的运算结果沿通道维度被分成四个大小相等的部分,得到所述已分类的高光谱图像数据的空间特征。
4.根据权利要求1所述的基于张量ConvLSTM的高光谱图像分类方法,其特征在于,将所述训练结果和所述类型标签发送至匹配度计算模型,包括:
基于所述训练结果和所述类型标签构建混淆矩阵,并定义类别权重矩阵,其中,所述类别权重矩阵中的每个元素表示对应的训练结果和类型标签的余弦相似度;
基于匹配度计算公式对所述混淆矩阵和所述类别权重矩阵进行计算,得到所述训练结果和所述类型标签的匹配度。
5.根据权利要求1所述的基于张量ConvLSTM的高光谱图像分类方法,其特征在于,则基于所述全张量卷积长短时记忆单元、所述全局池化层和所述全连接层构建高光谱分类模型,包括:
基于全张量长短时记忆单元构建第一特征提取模块,其中,所述第一特征提取模块内的全张量长短时记忆单元并联设置;
将预设的最大池化层与所述第一特征提取模块串联设置,其中,每个所述最大池化层分别与第一特征提取模块内的一个全张量长短时记忆单元对应;
基于全张量长短时记忆单元构建第二特征提取模块,其中,所述第二特征提取模块内的全张量长短时记忆单元并联设置,所述第二特征提取模块内的全张量长短时记忆单元的数目与第一特征提取模块内的全张量长短时记忆单元的数目相同;
将所述第二特征提取模块与所述全局池化层串联设置,并将所述全局池化层与所述全连接层串联设置,得到高光谱分类模型。
6.根据权利要求3所述的基于张量ConvLSTM的高光谱图像分类方法,其特征在于,将所述张量数据输入到所述张量顺序卷积层中,包括:;
其中,和/>为级联后重构的输入和输出张量数据;,/>和/>,/>分别是小尺寸的输入和输出卷积核,且/>和/>分别是级联后的数据的输入和输出通道数;/>和/>分别输入和输出卷积核的个数;/>和/>是输入和输出通道的分解因子;是张量秩;/>是它们的索引;/>是非线性激活函数。
7.根据权利要求1所述的基于张量ConvLSTM的高光谱图像分类方法,其特征在于,所述全张量卷积长短时记忆单元,包括:
;
其中,、/>和/>分别表示当前时刻的输入、输出和状态数据,/>和/>分别表示前一时刻的输出和状态数据;/>和/>分别表示输入、遗忘和输出门的输出;/>是当前时刻的状态更新量;/>、/>、/>和/>为上述相应变量的中间变量;/>和/>是数据的空间维度的宽和高;/>、/>、/>和/>分别代表在输入门、遗忘门、状态更新和输出门中与当前时刻输入数据做卷积运算的卷积核权重张量;/>、/>和/>分别代表在输入门、遗忘门、状态更新和输出门中与前一时刻输出数据做卷积运算的卷积核权重张量;/>的尺寸为/>,/>的尺寸为/>,/>代表/>、/>、/>或/>;/>表示偏置值;/>和/>是卷积核的输入和输出通道数;/>是卷积核的尺寸;/>和/>分别是卷积和哈德玛积运算;/>和/>是非线性激活函数;/>表示级联操作;/>为/>、/>、/>和/>沿第四个维度级联后的权重张量;为/>、/>、/>和/>沿第四个维度级联后的权重张量;为/>和/>沿第三个维度级联后的权重张量;/>表示顺序卷积层。
8.一种基于张量ConvLSTM的高光谱图像分类装置,其特征在于,包括:
获取模块,用于获取第一信息和第二信息,所述第一信息包括已分类的高光谱图像数据和所述已分类的高光谱图像数据对应的类型标签,所述第二信息包括待分类的高光谱图像数据;
第一构建模块,用于基于预设数量的卷积核构建张量顺序卷积层,将所述已分类的高光谱图像数据发送至张量顺序卷积层,得到所述已分类的高光谱图像数据的空间特征;
第二构建模块,用于基于所述张量顺序卷积层和预设的非线性激活函数构建全张量卷积长短时记忆单元,将所述空间特征发送至全张量卷积长短时记忆单元,得到已分类的高光谱图像数据的空谱特征;
第一处理模块,用于将所述空谱特征发送至预设的全局池化层和预设的全连接层进行分类训练,得到训练结果,所述训练结果为基于空谱特征对所述已分类的高光谱图像数据进行分类的结果;
第三构建模块,用于将所述训练结果和所述类型标签发送至匹配度计算模型,若所述匹配度计算模型计算得到的结果大于预设阈值,则基于所述全张量卷积长短时记忆单元、所述全局池化层和所述全连接层构建高光谱分类模型;
第二处理模块,用于将所述第二信息发送至所述高光谱分类模型,得到所述第二信息的分类结果。
9.根据权利要求8所述的基于张量ConvLSTM的高光谱图像分类装置,其特征在于,所述第一构建模块包括:
第一构建单元,用于基于预设数量的第一输入卷积核、第二输入卷积核、第一输出卷积核和第二输出卷积核构建张量顺序卷积层,其中,所述第一输入卷积核包含最大的输入通道的分解因子,所述第一输出卷积核包含最大的输出通道的分解因子;
其中,所述张量顺序卷积层的计算方法,包括:
第一运算单元,用于将所述第一信息与所述第一输入卷积核做卷积运算得到第一卷积特征;
第二运算单元,用于将所述第一卷积特征与预设数量的第二输入卷积核做卷积运算得到第二卷积特征;
第三运算单元,用于将第二卷积特征与预设数量的第二输出卷积核做卷积运算得到第三卷积特征;
第四运算单元,用于将第三卷积特征与第一输出卷积核做卷积运算得到张量顺序卷积层的输出数据。
10.根据权利要求8所述的基于张量ConvLSTM的高光谱图像分类装置,其特征在于,所述第一构建模块,还包括:
第一处理单元,用于将当前时刻输入的已分类的高光谱图像数据和前一时刻全张量卷积长短时记忆单元输出的数据进行级联处理,其中,将所有门结构的卷积核权重级联为一个张量数据;
第二处理单元,用于将所述张量数据输入到所述张量顺序卷积层中,并将顺序卷积层的运算结果沿通道维度被分成四个大小相等的部分,得到所述已分类的高光谱图像数据的空间特征。
CN202311569976.6A 2023-11-23 2023-11-23 基于张量ConvLSTM的高光谱图像分类方法和装置 Active CN117274725B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311569976.6A CN117274725B (zh) 2023-11-23 2023-11-23 基于张量ConvLSTM的高光谱图像分类方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311569976.6A CN117274725B (zh) 2023-11-23 2023-11-23 基于张量ConvLSTM的高光谱图像分类方法和装置

Publications (2)

Publication Number Publication Date
CN117274725A true CN117274725A (zh) 2023-12-22
CN117274725B CN117274725B (zh) 2024-04-12

Family

ID=89216486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311569976.6A Active CN117274725B (zh) 2023-11-23 2023-11-23 基于张量ConvLSTM的高光谱图像分类方法和装置

Country Status (1)

Country Link
CN (1) CN117274725B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308731A (zh) * 2018-08-24 2019-02-05 浙江大学 级联卷积lstm的语音驱动唇形同步人脸视频合成算法
CN111126256A (zh) * 2019-12-23 2020-05-08 武汉大学 一种基于自适应空谱多尺度网络的高光谱图像分类方法
CN113128471A (zh) * 2021-05-17 2021-07-16 辽宁工程技术大学 基于注意力机制和生成对抗网络的高光谱影像分类方法
CN114359735A (zh) * 2021-12-31 2022-04-15 中国科学院空天信息创新研究院 一种高光谱遥感影像变化检测方法
CN116051896A (zh) * 2023-01-28 2023-05-02 西南交通大学 一种轻量化混合张量神经网络的高光谱图像分类方法
CN116563649A (zh) * 2023-07-10 2023-08-08 西南交通大学 基于张量映射网络的高光谱图像轻量化分类方法及装置
CN116958709A (zh) * 2023-08-24 2023-10-27 北京理工大学 一种轻量级张量卷积长短时记忆网络的高光谱分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308731A (zh) * 2018-08-24 2019-02-05 浙江大学 级联卷积lstm的语音驱动唇形同步人脸视频合成算法
CN111126256A (zh) * 2019-12-23 2020-05-08 武汉大学 一种基于自适应空谱多尺度网络的高光谱图像分类方法
CN113128471A (zh) * 2021-05-17 2021-07-16 辽宁工程技术大学 基于注意力机制和生成对抗网络的高光谱影像分类方法
CN114359735A (zh) * 2021-12-31 2022-04-15 中国科学院空天信息创新研究院 一种高光谱遥感影像变化检测方法
CN116051896A (zh) * 2023-01-28 2023-05-02 西南交通大学 一种轻量化混合张量神经网络的高光谱图像分类方法
CN116563649A (zh) * 2023-07-10 2023-08-08 西南交通大学 基于张量映射网络的高光谱图像轻量化分类方法及装置
CN116958709A (zh) * 2023-08-24 2023-10-27 北京理工大学 一种轻量级张量卷积长短时记忆网络的高光谱分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEN-SHUAI HU等: "Hyperspectral Image Classification Based on Tensor-Train Convolutional Long Short-Term Memory", 《IGARSS 2020 - 2020 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》, 17 February 2021 (2021-02-17), pages 858 - 861 *
WEN-SHUAI HU等: "Lightweight Tensor Attention-Driven ConvLSTM Neural Network for Hyperspectral Image Classification", 《IEEE JOURNAL OF SELECTED TOPICS IN SIGNAL PROCESSING》, vol. 15, no. 3, 4 March 2021 (2021-03-04), pages 734 - 745, XP011847574, DOI: 10.1109/JSTSP.2021.3063805 *

Also Published As

Publication number Publication date
CN117274725B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN107480261B (zh) 一种基于深度学习细粒度人脸图像快速检索方法
CN111353076B (zh) 训练跨模态检索模型的方法、跨模态检索的方法和相关装置
CN111291809B (zh) 一种处理装置、方法及存储介质
US20170293838A1 (en) Deep high-order exemplar learning for hashing and fast information retrieval
CN113688304A (zh) 搜索推荐模型的训练方法、搜索结果排序的方法及装置
CN110929080B (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
CN108108354B (zh) 一种基于深度学习的微博用户性别预测方法
CN110222718B (zh) 图像处理的方法及装置
Shao et al. Deep canonical correlation analysis with progressive and hypergraph learning for cross-modal retrieval
CN112818861A (zh) 一种基于多模态上下文语义特征的情感分类方法及系统
CN114821164A (zh) 基于孪生网络的高光谱图像分类方法
CN112085565A (zh) 基于深度学习的信息推荐方法、装置、设备及存储介质
Zhang et al. Dual-constrained deep semi-supervised coupled factorization network with enriched prior
Kollapudi et al. A New Method for Scene Classification from the Remote Sensing Images.
Han et al. L-Net: lightweight and fast object detector-based ShuffleNetV2
Cao et al. Hyperspectral imagery classification based on compressed convolutional neural network
CN115879508A (zh) 一种数据处理方法及相关装置
WO2022063076A1 (zh) 对抗样本的识别方法及装置
Chen et al. HRCP: High-ratio channel pruning for real-time object detection on resource-limited platform
CN113378938B (zh) 一种基于边Transformer图神经网络的小样本图像分类方法及系统
Morales et al. Reduced-cost hyperspectral convolutional neural networks
Vieira et al. A novel content-based image retrieval system with feature descriptor integration and accuracy noise reduction
Gueguen et al. Hierarchical data representation structures for interactive image information mining
CN117274725B (zh) 基于张量ConvLSTM的高光谱图像分类方法和装置
Xu et al. Stacked autoencoder based weak supervision for social image understanding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant