CN112101467A - 一种基于深度学习的高光谱图像分类方法 - Google Patents

一种基于深度学习的高光谱图像分类方法 Download PDF

Info

Publication number
CN112101467A
CN112101467A CN202010981310.1A CN202010981310A CN112101467A CN 112101467 A CN112101467 A CN 112101467A CN 202010981310 A CN202010981310 A CN 202010981310A CN 112101467 A CN112101467 A CN 112101467A
Authority
CN
China
Prior art keywords
hyperspectral image
hyperspectral
extracting
deep learning
image classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010981310.1A
Other languages
English (en)
Inventor
孙崐
张天意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202010981310.1A priority Critical patent/CN112101467A/zh
Publication of CN112101467A publication Critical patent/CN112101467A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度学习的高光谱图像分类方法,属于高光谱图像分类技术领域。本发明所要解决的问题是深度学习时缺少训练样本,许多卷积神经网络的方法不能得到很好的训练从而造成过拟合现象的问题。包括S1.提取高光谱图像块,将高光谱图像提取为带有标签的B*B*L的像素块;S2.将高光谱数据块按照mixup方法进行混合;S3.通过3DCNN对数据进行特征提取;S4.将提取的特征进行特征融合;S5.特征融合后的高光谱图像分类。S6.运用SENet网络提取光谱信息。本发明针对提高网络分类性能降低高光谱图像样本与维度之间的不平衡容易产生的休斯现象以及小样本训练深度网络产生的过拟合现象,通过使用特征融合的方法将提取到的光谱信息和空间信息融合后进行分类。

Description

一种基于深度学习的高光谱图像分类方法
技术领域
本发明涉及高光谱图像分类方法,特别涉及一种基于深度学习的高光谱图像分类方法。
背景技术
高光谱遥感在获取目标空间信息的时候,同时也获得了目标光谱域上的信息。高光谱图像分类问题是高光谱遥感图像处理问题中的研究基础,它的主要目的是根据高光谱遥感图像中的光谱信息和空间信息将图像中的每个像元划分为不同的地物类别。高光谱图像分类技术被广泛应用于农业生产、环境监测、矿产勘测、军事目标识别等领域。高光谱图像具有小样本、维度高、数据结构三维等特点。高光谱图像具有小样本特性,标注高光谱图像复杂、昂贵而且只能由专家来完成导致了为高光谱图像分类提供的标注像素是有限的,但是深度学习通常需要大量的训练样本。由于训练样本不足许多卷积神经网络的方法不能得到很好的训练从而造成过拟合现象。并且高光谱图像具有高维特性当训练样本与光谱波段的数目比例过小时,会有“休斯”现象产生。
发明内容
本发明研发的目的是针对提高网络分类性能降低高光谱图像样本与维度之间的不平衡容易产生的休斯现象以及小样本训练深度网络产生的过拟合现象,通过使用特征融合的方法将提取到的光谱信息和空间信息融合后进行分类,从而提高网络分类性能。
在下文中给出了关于本发明的简要概述,以便提供关于本发明的某些方面的基本理解。应当理解,这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分,也不是意图限定本发明的范围。
一种基于深度学习的高光谱图像分类方法,包括以下步骤:
S1.提取高光谱图像块,将高光谱图像提取为带有标签的B*B*L的像素块;
S2.将高光谱数据块按照mixup方法进行混合;
S3.通过3DCNN对数据进行特征提取;
S4.将提取的特征进行特征融合;
S5.特征融合后的高光谱图像分类;
S6.运用SENet网络提取光谱信息;
优选的,所述S1.中提取高光谱图像块,将高光谱图像提取为带有标签的B*B*L的像素块的具体方法是:提取为带有标签的B*B*L的像素块,B*B是空间尺寸的大小,L为光谱的波段数。
优选的,所述S2.中将高光谱数据块按照mixup方法进行混合的具体方法为:对于输入的一个批次的高光谱数据块文本将其随机抽取进行混合,混合公式如下:
Figure BDA0002687620680000021
Figure BDA0002687620680000022
其中,(xi,yi),(xj,yj)是从训练数据中随机抽取的两个样本,λ是mixup方法的权值,λ服从Beta,其取值范围为λ∈[0,1]。
优选的,所述的S3.中通过3DCNN对数据进行特征提取的具体方法为:通过以下公式获得第l层的第j个特征图的位置(x,y,z)上的神经元
Figure BDA0002687620680000023
的值:
Figure BDA0002687620680000024
其中Hl,Wl,Rl为三维卷积核的大小,Rl为卷积核的深度,m为(l-1)层特征层的个数,
Figure BDA0002687620680000025
连接权重,blj为偏置,f′(·)为激活函数。
优选的,所述的S4.中,将提取的特征进行特征融合的具体方法为:利用三维卷积核对数据进行卷积运算,按照以下公式运算:
Figure BDA0002687620680000026
其中f(·)为激活函数,激活函数为线性整流函数(Relu),线性整流函数Relu计算方法f(v)=max(0,v)。
优选的,所述的S5.中,特征融合后的高光谱图像分类的具体方法为:将最后一个三维卷积层输出的特征图展成一维向量与全连接层相连,在输出层采用Softmax函数作为激活函数,以完成高光谱图像的多分类,Softmax激活函数计算方法如以下公式:
Figure BDA0002687620680000027
优选的,所述的S6.中,运用SE-Net网络提取光谱信息的具体方法为:利用squeeze及excitation这一对计算方式对特征通道进行标记,得到每个通道对模型的贡献情况,并根据这组权重对任务中影响较小的特征通道进行抑制,特征分权重算法公式如下:
Figure BDA0002687620680000031
Figure BDA0002687620680000032
其中uc是C’通过卷积操作得到的输出,vc是所用滤波器核的第c个通道参数;Feq代表压缩操作;Zc是得到的通道权值。
本发明的技术方案,具有如下有益效果:本发明提供的一种基于深度学习的高光谱图像分类方法通过将高光谱数据块按照mixup方法对高光谱图像进行混合,可以降低高光谱图像样本与维度之间的不平衡容易产生的休斯现象以及小样本训练深度网络产生的过拟合现象,提高网络的泛化能力;通过特征融合的方法将提取到的光谱信息和空间信息融合后进行分类,提高高光谱图像分类性能。
附图说明
图1是高光谱图像分类方法的流程图;
图2是M-3DCNN网络结构图;
图3是二维卷积与三维卷积操作对比图;
图4是特征融合的高光谱图像分类方法;
图5是SENet网络的示意图;
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面通过附图中示出的具体实施例来描述本发明。但是应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
一种基于深度学习的高光谱图像分类方法,包括以下步骤:
S1.提取高光谱图像块,将高光谱图像提取为带有标签的B*B*L的像素块的具体方法是:提取为带有标签的B*B*L的像素块,B*B是空间尺寸的大小,L为光谱的波段数。
S2.将高光谱数据块按照mixup方法进行混合的具体方法为:对于输入的一个批次的高光谱数据块文本将其随机抽取进行混合,混合公式如下:
Figure BDA0002687620680000041
Figure BDA0002687620680000042
其中,(xi,yi),(xj,yj)是从训练数据中随机抽取的两个样本,λ是mixup方法的权值,λ服从Beta,其取值范围为λ∈[0,1]。
利用mixup方法产生虚拟数据然后将虚拟数据送入到设计好的三维卷积神经网络提取特征,将提取的空间-光谱联合特征送入逻辑回归得到分类结果,M-3DCNN具体网络结构如图2所示。将mixup方法引入到高光谱图像分类的问题中以解决高光谱图像样本与维度之间的不平衡产生的休斯现象以及用小样本训练深度网络产生的过拟合现象,提高网络的泛化能力。
S3.通过3DCNN对数据进行特征提取的具体方法为:通过以下公式获得第l层的第j个特征图的位置(x,y,z)上的神经元
Figure BDA0002687620680000043
的值:
Figure BDA0002687620680000044
其中Hl,Wl,Rl为三维卷积核的大小,Rl为卷积核的深度,m为(l-1)层特征层的个数,
Figure BDA0002687620680000045
连接权重,blj为偏置,f′(·)为激活函数。
传统的二维卷积神经网络已经在图像分类以及目标识别等领域取得了显著的成果。卷积神经网络主要特点为:局部连接,权值共享。一个完整的CNN步骤应该包含一个卷积层一个池化层。二维卷积最显著的优点是,提供了一种直接从原始输入影像中直接提取特征的有效方法,然而,直接将二维卷积应用到高光谱图像中要求对网络的每一个二维输入做卷积,每个卷积都有一系列可学习的参数。高光谱图像的光谱维通常有几百个通道,这就将产生大量的需要学习的参数,随着计算成本的增加,这可能会导致过拟合。在三维卷积提出前,为了解决这一问题,通常使用降维的方法来减少光谱维数以进行特征提取和分类,但是降维可能会损失细节信息。我们在此将三维卷积应用到高光谱图像处理中。三维卷积用三维核函数来做三维卷积操作,可以同时提取空间特征和光谱特征。图3给出了二维卷积和三维卷积的操作对比图。
S4.将提取的特征进行特征融合的具体方法为:利用三维卷积核对数据进行卷积运算,按照以下公式运算:
Figure BDA0002687620680000051
其中f(·)为激活函数,激活函数为线性整流函数(Relu),线性整流函数Relu计算方法f(v)=max(0,v)。
S5.特征融合后的高光谱图像分类的具体方法为:将最后一个三维卷积层输出的特征图展成一维向量与全连接层相连,在输出层采用Softmax函数作为激活函数,以完成高光谱图像的多分类,Softmax激活函数计算方法如以下公式:
Figure BDA0002687620680000052
S6.运用SE-Net网络提取光谱信息的具体方法为:利用squeeze及excitation这一对计算方式对特征通道进行标记,得到每个通道对模型的贡献情况,并根据这组权重对任务中影响较小的特征通道进行抑制,特征分权重算法公式如下:
Figure BDA0002687620680000053
Figure BDA0002687620680000054
其中uc是C’通过卷积操作得到的输出,vc是所用滤波器核的第c个通道参数;Feq代表压缩操作;Zc是得到的通道权值。

Claims (7)

1.一种基于深度学习的高光谱图像分类方法,其特征在于,包括以下步骤:
S1.提取高光谱图像块,将高光谱图像提取为带有标签的B*B*L的像素块;
S2.将高光谱数据块按照mixup方法进行混合;
S3.通过3DCNN对数据进行特征提取;
S4.将提取的特征进行特征融合;
S5.特征融合后的高光谱图像分类;
S6.运用SENet网络提取光谱信息。
2.根据权利要求1所述的一种基于深度学习的高光谱图像分类方法,其特征在于:所述S1.中提取高光谱图像块,将高光谱图像提取为带有标签的B*B*L的像素块的具体方法是:提取为带有标签的B*B*L的像素块,B*B是空间尺寸的大小,L为光谱的波段数。
3.根据权利要求1所述的一种基于深度学习的高光谱图像分类方法,其特征在于:所述S2.中将高光谱数据块按照mixup方法进行混合的具体方法为:对于输入的一个批次的高光谱数据块文本将其随机抽取进行混合,混合公式如下:
Figure FDA0002687620670000011
Figure FDA0002687620670000012
其中,(xi,yi),(xj,yj)是从训练数据中随机抽取的两个样本,λ是mixup方法的权值,λ服从Beta,其取值范围为λ∈[0,1]。
4.根据权利要求1所述的一种基于深度学习的高光谱图像分类方法,其特征在于:所述的S3.中通过3DCNN对数据进行特征提取的具体方法为:通过以下公式获得第l层的第j个特征图的位置(x,y,z)上的神经元
Figure FDA0002687620670000013
的值:
Figure FDA0002687620670000014
其中Hl,Wl,Rl为三维卷积核的大小,Rl为卷积核的深度,m为(l-1)层特征层的个数,
Figure FDA0002687620670000015
连接权重,blj为偏置,f(·)为激活函数。
5.根据权利要求1所述的一种基于深度学习的高光谱图像分类方法,其特征在于:所述的S4.中,将提取的特征进行特征融合的具体方法为:利用三维卷积核对数据进行卷积运算,按照以下公式运算:
Figure FDA0002687620670000021
其中f(·)为激活函数,激活函数为线性整流函数(Relu),线性整流函数Relu计算方法f(v)=max(0,v)。
6.根据权利要求1所述的一种基于深度学习的高光谱图像分类方法,其特征在于:所述的S5.中,特征融合后的高光谱图像分类的具体方法为:将最后一个三维卷积层输出的特征图展成一维向量与全连接层相连,在输出层采用Softmax函数作为激活函数,以完成高光谱图像的多分类,Softmax激活函数计算方法如以下公式:
Figure FDA0002687620670000022
7.根据权利要求1所述的一种基于深度学习的高光谱图像分类方法,其特征在于:所述的S6.中,运用SE-Net网络提取光谱信息的具体方法为:利用squeeze及excitation这一对计算方式对特征通道进行标记,得到每个通道对模型的贡献情况,并根据这组权重对任务中影响较小的特征通道进行抑制,特征分权重算法公式如下:
Figure FDA0002687620670000023
Figure FDA0002687620670000024
其中uc是C’通过卷积操作得到的输出,vc是所用滤波器核的第c个通道参数;Feq代表压缩操作;Zc是得到的通道权值。
CN202010981310.1A 2020-09-17 2020-09-17 一种基于深度学习的高光谱图像分类方法 Pending CN112101467A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010981310.1A CN112101467A (zh) 2020-09-17 2020-09-17 一种基于深度学习的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010981310.1A CN112101467A (zh) 2020-09-17 2020-09-17 一种基于深度学习的高光谱图像分类方法

Publications (1)

Publication Number Publication Date
CN112101467A true CN112101467A (zh) 2020-12-18

Family

ID=73760303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010981310.1A Pending CN112101467A (zh) 2020-09-17 2020-09-17 一种基于深度学习的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN112101467A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990443A (zh) * 2021-05-06 2021-06-18 北京芯盾时代科技有限公司 神经网络评价方法及装置、电子设备、存储介质
CN113705580A (zh) * 2021-08-31 2021-11-26 西安电子科技大学 基于深度迁移学习的高光谱图像分类方法
CN114373120A (zh) * 2021-03-25 2022-04-19 河北地质大学 一种多尺度空间融合高光谱土壤重金属污染识别评价方法
CN114870416A (zh) * 2022-04-28 2022-08-09 福建德尔科技股份有限公司 用于电子级一氟甲烷制备的精馏控制系统及精馏控制方法
CN115546600A (zh) * 2022-11-10 2022-12-30 齐齐哈尔大学 基于Lush多层特征融合偏置网络的地物识别方法
CN113705580B (zh) * 2021-08-31 2024-05-14 西安电子科技大学 基于深度迁移学习的高光谱图像分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110182469A1 (en) * 2010-01-28 2011-07-28 Nec Laboratories America, Inc. 3d convolutional neural networks for automatic human action recognition
CN106022355A (zh) * 2016-05-09 2016-10-12 西北工业大学 基于3dcnn的高光谱图像空谱联合分类方法
CN110059625A (zh) * 2019-04-18 2019-07-26 重庆大学 一种基于mixup的人脸训练与识别方法
CN110544212A (zh) * 2019-07-31 2019-12-06 华南理工大学 基于层级特征融合的卷积神经网络高光谱图像锐化方法
CN111582363A (zh) * 2020-05-06 2020-08-25 西安电子科技大学 一种基于多视点深度特征融合SENet网络的分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110182469A1 (en) * 2010-01-28 2011-07-28 Nec Laboratories America, Inc. 3d convolutional neural networks for automatic human action recognition
CN106022355A (zh) * 2016-05-09 2016-10-12 西北工业大学 基于3dcnn的高光谱图像空谱联合分类方法
CN110059625A (zh) * 2019-04-18 2019-07-26 重庆大学 一种基于mixup的人脸训练与识别方法
CN110544212A (zh) * 2019-07-31 2019-12-06 华南理工大学 基于层级特征融合的卷积神经网络高光谱图像锐化方法
CN111582363A (zh) * 2020-05-06 2020-08-25 西安电子科技大学 一种基于多视点深度特征融合SENet网络的分类方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114373120A (zh) * 2021-03-25 2022-04-19 河北地质大学 一种多尺度空间融合高光谱土壤重金属污染识别评价方法
CN114373120B (zh) * 2021-03-25 2023-05-23 河北地质大学 一种多尺度空间融合高光谱土壤重金属污染识别评价方法
CN112990443A (zh) * 2021-05-06 2021-06-18 北京芯盾时代科技有限公司 神经网络评价方法及装置、电子设备、存储介质
CN113705580A (zh) * 2021-08-31 2021-11-26 西安电子科技大学 基于深度迁移学习的高光谱图像分类方法
CN113705580B (zh) * 2021-08-31 2024-05-14 西安电子科技大学 基于深度迁移学习的高光谱图像分类方法
CN114870416A (zh) * 2022-04-28 2022-08-09 福建德尔科技股份有限公司 用于电子级一氟甲烷制备的精馏控制系统及精馏控制方法
CN114870416B (zh) * 2022-04-28 2023-01-24 福建德尔科技股份有限公司 用于电子级一氟甲烷制备的精馏控制系统及精馏控制方法
CN115546600A (zh) * 2022-11-10 2022-12-30 齐齐哈尔大学 基于Lush多层特征融合偏置网络的地物识别方法
CN115546600B (zh) * 2022-11-10 2024-01-02 齐齐哈尔大学 基于Lush多层特征融合偏置网络的地物识别方法

Similar Documents

Publication Publication Date Title
Xiong et al. Material based object tracking in hyperspectral videos
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN112101467A (zh) 一种基于深度学习的高光谱图像分类方法
Li et al. Deep multilayer fusion dense network for hyperspectral image classification
CN107451565B (zh) 一种半监督小样本深度学习图像模式分类识别方法
CN107679250A (zh) 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN112200211B (zh) 一种基于残差网络和迁移学习的小样本鱼识别方法及系统
CN110633708A (zh) 一种基于全局模型和局部优化的深度网络显著性检测方法
CN112580590A (zh) 一种基于多语义特征融合网络的指静脉识别方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN112836671B (zh) 一种基于最大化比率和线性判别分析的数据降维方法
CN112200090A (zh) 基于交叉分组空谱特征增强网络的高光谱图像分类方法
CN108734199A (zh) 基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法
CN109871892A (zh) 一种基于小样本度量学习的机器人视觉认知系统
CN111079847A (zh) 一种基于深度学习的遥感影像自动标注方法
CN112580480A (zh) 一种高光谱遥感影像分类方法及装置
CN114842264A (zh) 一种基于多尺度空谱特征联合学习的高光谱图像分类方法
CN113920472A (zh) 一种基于注意力机制的无监督目标重识别方法及系统
CN111882000A (zh) 一种应用于小样本细粒度学习的网络结构及方法
CN110135435A (zh) 一种基于广度学习系统的显著性检测方法及装置
CN110991554A (zh) 一种基于改进pca的深度网络图像分类方法
Xu et al. Residual spatial attention kernel generation network for hyperspectral image classification with small sample size
CN117576467A (zh) 一种融合频率域和空间域信息的农作物病害图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201218