CN107578445B - 基于卷积特征谱的图像可判别区域提取方法 - Google Patents
基于卷积特征谱的图像可判别区域提取方法 Download PDFInfo
- Publication number
- CN107578445B CN107578445B CN201710825739.XA CN201710825739A CN107578445B CN 107578445 B CN107578445 B CN 107578445B CN 201710825739 A CN201710825739 A CN 201710825739A CN 107578445 B CN107578445 B CN 107578445B
- Authority
- CN
- China
- Prior art keywords
- picture
- convolution
- neural network
- discriminable
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 57
- 238000000605 extraction Methods 0.000 title claims abstract description 13
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 42
- 238000011176 pooling Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 241000282454 Ursus arctos Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积特征谱的图像可判别区域提取方法，其包括获取待提取图片，并将其输入VGG16卷积神经网络；计算待提取图片与VGG16卷积神经网络的训练集中所有类别的判别概率；选取待提取图片的所有判别概率中的最大判别概率所在类别作为待提取图片的类别；采用VGG16卷积神经网络中第k个卷积阶段的池化层的输入特征谱计算可判别区域；对k为3时得到的可判别区域和k为5时得到的可判别区域进行双线性插值处理，并将两个可判别区域进行融合形成待提取图片的最终可判别区域。
Description
技术领域
本发明属于图像处理领域，具体涉及一种基于卷积特征谱的图像可判别区域提取方法。
背景技术
可判别区域是指当利用深度卷积神经网络为图像进行分类时，图像中被卷积神经网络认为是分类依据的目标区域。卷积神经网络在应用到图像分类的任务的时候，从图像中提取到不同尺度的特征，并且利用这些特征来进行分类判别。这些作为分类判别的特征，描述着目标物体，提取出这些特征信息，将能够定位到网络“指出”的可判别目标，从而提取出图像的可判别区域。这样的可判别区域谱直观表示出了卷积神经网络提取到的最突出的特征信息，可视化了网络对于不同类别的目标物体的认知。提取图像的可判别区域，有利于深入理解和可视化深度卷积神经网络，对于卷积神经网络的研究有重要作用。同时，图像的可判别区域对于弱监督图像语义分割、目标检测等任务具有重要意义。
目前基于深度卷积神经网络进行图像可判别区域提取的算法，由于卷积神经网络的多层全连接层的结构难以利用从输入全连接层的特征中提取可判别区域，通常选择替换掉卷积神经网络的全连接层，使用一种新的层来实现分类功能，例如全局平均层，这种层的参数在网络训练完成以后可以被利用来从该层的输入特征中提取出可判别区域。这样的方法，存在两点不足：一、替换掉全连接层以后卷积神经网络的分类能力将受到影响，通常准确率降低百分之二到百分之四；二、通常网络输入到分类层的特征尺度都很小，缺乏目标物体的边缘信息，利用这样的特征提取到的可判别区域谱对目标物体的边缘把握不足，使得可判别区域谱十分模糊。
发明内容
针对现有技术中的上述不足，本发明提供的基于卷积特征谱的图像可判别区域提取方法能够提取出图像中具有目标边缘细节信息的可判别区域。
为了达到上述发明目的，本方采用的技术方案为：
提供一种基于卷积特征谱的图像可判别区域提取方法，其包括：
获取待提取图片，并将其输入VGG16卷积神经网络；
计算待提取图片与VGG16卷积神经网络的训练集中所有类别的判别概率；
选取待提取图片的所有判别概率中的最大判别概率所在类别作为待提取图片的类别；
采用VGG16卷积神经网络中第k个卷积阶段的池化层的输入特征谱计算可判别区域：
其中，Tk为第k个卷积阶段的池化层的输入特征谱；c为待提取图片的类别；
为在类别c，针对第k个卷积阶段的特征谱构建的特征提取器，
和Tk为大小相同的矩阵，k＝3时，
和Tk的大小均为56*56*256，k＝5时，
和Tk的大小均为14*14*512)；x，y和a分别表示
计算结果矩阵的三个维度上的元素下标，D为
计算结果矩阵第3维的大小；“*”为矩阵的哈达马乘积；
对k为3时得到的可判别区域和k为5时得到的可判别区域进行双线性插值处理，并将两个可判别区域进行融合形成待提取图片的最终可判别区域：
其中，δ为位于0～1之间的经验参数。
进一步地，经验参数δ为0.6。
进一步地，VGG16卷积神经网络的构建方法包括：
将数据库中的所有图片输入VGG16卷积神经网络，数据库内包括具有多个类别的图片；
将每张图片的第三个卷积阶段的池化层的输出特征谱和第五个卷积阶段的池化层输出的特征谱一起输入至级联层进行特征级联；
将级联层输出结果输入全连接层，并将全连接层的输出特征采用softmax回归得到图片在每一个类别上的判别概率；
根据每张图片的类别和每张图片在每个类别上的概率，采用分类误差损失函数计算每张图片在每个类别的训练损失；并采用误差反向传播算法反传训练损失直至VGG16卷积神经网络的网络参数(卷积核参数)收敛。
进一步地，特征提取器的构建方法包括：
计算VGG16卷积神经网络的全连接层fc7的卷积参数和全连接层fc8的卷积参数的关系式：
其中，Y为全连接层fc7的卷积参数，其大小为4096*4096，Yi为Y中的第i列元素；X为全连接层fc8的卷积参数，其大小为4096*38，Xi,n为X的第i行中的第n个元素；
获取VGG16卷积神经网络的全连接层fc6的卷积参数，并按照特征级联层的顺序针对第k个卷积阶段的池化层的输入特征谱构建特征提取器：
其中，Wk为全连接层fc6的卷积参数中针对第k个卷积阶段的池化层的输入特征谱的部分卷积参数(全连接层fc6的卷积核参数大小为7*7*768*4096，针对第3个卷积阶段特征谱的部分大小为7*7*256*4096，针对第5个卷积阶段特征谱的部分大小为7*7*512*4096)，
为Wk按照第四个维度顺序取出来的第i个矩阵(k＝3时，其大小为7*7*256；k＝5时，其大小为7*7*512)；
为在类别n，针对第k个卷积阶段的池化层的输入特征谱构建的特征提取器(k＝3时，其大小为7*7*256；k＝5时，其大小为7*7*512)。
进一步地，数据库的构建方法包括：获取具有多个类别的图片的数据集；
对数据集中所有图片的尺寸进行归一化处理，直至所有图片的尺寸与VGG16卷积神经网络的输入相匹配。
进一步地，构建数据库时还包括：
对数据集中的所有图片的尺寸进行归一化处理后，将每张图片的R、G、B三个通道分别减去整个数据集中所有图片分别在R、G、B三个通道上的均值。
进一步地，数据集为IcoSeg数据集。
本发明的有益效果为：本方案能够通过VGG16卷积神经网络的两个卷积阶段的池化层的输出特征谱生成不同尺度特征下的可判别区域，之后通过双线性插值操作使两个可判别区域转换的大小和原图相等，之后再将不同尺度的可判别区域谱融合，使得生成的可判别区域谱对目标物体的定位更加准确。
经过测试，本方案在IcoSeg数据集上面的AUC值为0.8561。同时，现有的基于卷积神经网络的可判别区域提取算法，由于其仅利用到低尺度的特征谱来进行提取，效果仅0.8317。
附图说明
图1为基于卷积特征谱的图像可判别区域提取方法一个实施例的流程图。
图2为基于卷积特征谱的图像可判别区域提取方法另一个实施例的流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
参考图1，图1示出了基于卷积特征谱的图像可判别区域提取方法一个实施例的流程图；如图1和图2所示，该方法100包括步骤101至步骤105。
在步骤101中，获取待提取图片，并将其输入VGG16卷积神经网络，VGG16卷积神经网络包括五个卷积阶段，三个全连接层(fc6、fc7和fc8)，每个卷积阶段的输出都是通过池化层输出。
在本发明的一个实施例中，VGG16卷积神经网络的构建方法包括：
将数据库中的所有图片输入VGG16卷积神经网络，数据库内包括具有多个类别的图片；
将每张图片的第三个卷积阶段的池化层的输出特征谱和第五个卷积阶段的池化层输出的特征谱一起输入至级联层进行特征级联；
将级联层输出结果输入全连接层，并将全连接层的输出特征采用softmax回归得到图片在每一个类别上的判别概率；
根据每张图片的类别和每张图片在每个类别上的概率，采用分类误差损失函数计算每张图片在每个类别的训练损失；并采用误差反向传播算法反传训练损失直至VGG16卷积神经网络的网络参数(卷积核参数)收敛。
实施时，将第三个卷积阶段的池化层的输出特征谱通过一个池化层将尺度缩小4倍以后和第五个卷积阶段的池化层的输出特征谱一起输入到一个级联层中进行特征级联，在这个级联后的特征谱的基础上，添加全连接层fc6，其输出特征维度为4096维；之后是全连接层fc7，输出特征维度同样为4096；然后是全连接层fc8输出特征维度和分类数量相同，为38；最后将全连接层fc8的输出特征利用softmax回归得到图片在每一个类别上的判别概率。
在步骤102中，计算待提取图片与VGG16卷积神经网络的训练集中所有类别的判别概率。
在实施时，在VGG16卷积神经网络中，将待提取图片的第三个卷积阶段的池化层的输出特征谱和第五个卷积阶段的池化层输出的特征谱一起输入至级联层进行特征级联；将级联层输出结果输入全连接层，并将全连接层的输出特征采用softmax回归得到待提取图片在每一个类别上的判别概率。
假设VGG16卷积神经网络的训练集中含有38个类别的图片，待提取图片则含有38个判别概率，38个判别概率之和等于1，若是待提取图片属于其中某一类别，那么待提取图片在这一类别上的判别概率将无限接近于1，在其他类别上的判别概率将无限接近于0。
在步骤103中，选取待提取图片的所有判别概率中的最大判别概率所在类别作为待提取图片的类别；假设待提取图片在第20类的判别概率无限接近于1，那么就将20作为待提取图片的类别。
在本发明的一个实施例中，可判别区域计算时用到的特征提取器的构建方法包括：
计算VGG16卷积神经网络的全连接层fc7的卷积参数和全连接层fc8的卷积参数的关系式：
其中，Y为全连接层fc7的卷积参数，其大小为4096*4096，Yi为Y中的第i列元素X为全连接层fc8的卷积参数，Xi,n为X的第i行中的第n个元素，其大小为4096*38；Zn为4096*1的列向量，其大小为4096*38。
获取VGG16卷积神经网络的全连接层fc6的卷积参数，设为W，其大小为7*7*778*4096；之后，按照特征级联层的顺序针对第k个卷积阶段的池化层的输入特征谱构建特征提取器：
其中，Wk为全连接层fc6的卷积参数中针对第k个卷积阶段的池化层的输入特征谱的部分卷积参数(全连接层fc6的卷积核参数大小为7*7*768*4096，针对第3个卷积阶段特征谱的部分大小为7*7*256*4096，针对第5个卷积阶段特征谱的部分大小为7*7*512*4096)，W5和W3(下面用Wk，k＝3，5表示)大小分别7*7*512*4096和7*7*256*4096。
针对上面计算得到的特征提取器
(k＝1～38)，在k＝3时，其大小为：7*7*256，对其进行双线性差值，将尺度变为：56*56*256；在k＝5时，其大小为：7*7*512，对其进行双线性差值，将尺度变为：14*14*512；这样，使得特征提取器适合与对应卷积阶段池化成的输入特征谱的尺度。
在步骤104中，采用VGG16卷积神经网络中第k个卷积阶段的池化层的输入特征谱计算可判别区域：
其中，Tk为第k个卷积阶段的池化层的输入特征谱；c为待提取图片的类别；
为在类别c，针对第k个卷积阶段的特征谱构建的特征提取器，其大小与Tk相同；x,y和a分别表示
计算结果矩阵的三个维度上的元素下标，D为
计算结果矩阵第3维的大小D为
计算结果矩阵第3维的大小(比如，k＝5时，矩阵为14*14*512，则D为512)；“*”为
计算结果矩阵的哈达马(Hadamard)乘积。
T3和T5大小分别为56*56*256和14*14*512，Ek(k＝3,5)表示E3和E5，
为E3或者E5中按照其第四维的顺序取出的矩阵，若Ek(k＝3,5)的大小为W*H*D*38,则
的大小为W*H*D，
的结果大小为W*H*D，其中W,H,D在k＝3时,分别为56，56，256，在k＝5时分别为14，14，512。
在步骤105中，对k为3时得到的可判别区域和k为5时得到的可判别区域进行双线性插值处理，并将两个可判别区域进行融合形成待提取图片的最终可判别区域：
其中，δ为位于0～1之间的经验参数；从实验中发现，
中含有较多前景物体的语义信息，因此将经验参数δ设置为0.6。
对两个特征提取器分别进行双线性插值处理，使其尺度大小与其针对的特征尺度相同，处理后E5的大小为14*14*512*38，E3的大小为56*56*256*38。
在本发明的一个实施例中，数据库的构建方法包括：获取具有多个类别的图片的数据集；对数据集中所有图片的尺寸进行归一化处理(归一化为长224宽224)，直至所有图片的尺寸与VGG16卷积神经网络的输入相匹配。
对数据集中的所有图片的尺寸进行归一化处理后，将每张图片的R、G、B三个通道分别减去整个数据集中所有图片分别在R、G、B三个通道上的均值。
实施时，本方案优选数据集为IcoSeg数据集，IcoSeg数据集包含了棕熊、棒球运动员、足球运动员、风筝等38个类别的图片，将每个图片分别加上标签1～38。
综上所述，本方案从图像的两个不同尺度的特征中分别提取出含较多语义信息定位准确的可判别谱和含有物体边界信息较多的可判别谱，并结合二者使得生成的图像可判别区域更加精确。
Claims (6)
1.基于卷积特征谱的图像可判别区域提取方法，其特征在于，包括：
获取待提取图片，并将其输入VGG16卷积神经网络；
计算待提取图片与VGG16卷积神经网络的训练集中所有类别的判别概率；
选取待提取图片的所有判别概率中的最大判别概率所在类别作为待提取图片的类别；
采用VGG16卷积神经网络中第k个卷积阶段的池化层的输入特征谱计算可判别区域：
其中，Tk为第k个卷积阶段的池化层的输入特征谱；c为待提取图片的类别；
为在类别c，针对第k个卷积阶段的特征谱构建的特征提取器，
和Tk为大小相同的矩阵；x,y和a分别表示
计算结果矩阵的三个维度上的元素下标，D为
计算结果矩阵第3维的大小；“*”为
计算结果矩阵的哈达马乘积；
对k为3时得到的可判别区域和k为5时得到的可判别区域进行双线性插值处理，并将两个可判别区域进行融合形成待提取图片的最终可判别区域：
其中，δ为位于0～1之间的经验参数；
所述VGG16卷积神经网络的构建方法包括：
将数据库中的所有图片输入VGG16卷积神经网络，数据库内包括具有多个类别的图片；
将每张图片的第三个卷积阶段的池化层的输出特征谱和第五个卷积阶段的池化层输出的特征谱一起输入至级联层进行特征级联；
将级联层输出结果输入全连接层，并将全连接层的输出特征采用softmax回归得到图片在每一个类别上的判别概率；
根据每张图片的类别和每张图片在每个类别上的概率，采用分类误差损失函数计算每张图片在每个类别的训练损失；并采用误差反向传播算法反传训练损失直至VGG16卷积神经网络的网络参数收敛。
2.根据权利要求1所述的基于卷积特征谱的图像可判别区域提取方法，其特征在于，所述经验参数δ为0.6。
3.根据权利要求1的基于卷积特征谱的图像可判别区域提取方法，其特征在于，特征提取器的构建方法包括：
计算VGG16卷积神经网络的全连接层fc7的卷积参数和全连接层fc8的卷积参数的关系式：
其中，Y为全连接层fc7的卷积参数，其大小为4096*4096，Yi为Y中的第i列元素；X为全连接层fc8的卷积参数，其大小为4096*38，Xi,n为X的第i行中的第n个元素；
获取VGG16卷积神经网络的全连接层fc6的卷积参数，并按照特征级联层的顺序针对第k个卷积阶段的池化层的输入特征谱构建特征提取器：
其中，Wk为全连接层fc6的卷积参数中针对第k个卷积阶段的池化层的输入特征谱的部分卷积参数，其大小为7*7*Dk*4096，Wi k为Wk按照第四个维度顺序取出来的第i个矩阵，其大小为7*7*Dk；
为在类别n，针对第k个卷积阶段的池化层的输入特征谱构建的特征提取器，其大小为7*7*Dk。
4.根据权利要求1或3的基于卷积特征谱的图像可判别区域提取方法，其特征在于，所述数据库的构建方法包括：
获取具有多个类别的图片的数据集；
对数据集中所有图片的尺寸进行归一化处理，直至所有图片的尺寸与VGG16卷积神经网络的输入相匹配。
5.根据权利要求4的基于卷积特征谱的图像可判别区域提取方法，其特征在于，构建数据库时还包括：
对数据集中的所有图片的尺寸进行归一化处理后，将每张图片的R、G、B三个通道分别减去整个数据集中所有图片分别在R、G、B三个通道上的均值。
6.根据权利要求5的基于卷积特征谱的图像可判别区域提取方法，其特征在于，所述数据集为IcoSeg数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710825739.XA CN107578445B (zh) | 2017-09-14 | 2017-09-14 | 基于卷积特征谱的图像可判别区域提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710825739.XA CN107578445B (zh) | 2017-09-14 | 2017-09-14 | 基于卷积特征谱的图像可判别区域提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107578445A CN107578445A (zh) | 2018-01-12 |
| CN107578445B true CN107578445B (zh) | 2020-06-09 |
Family
ID=61036416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710825739.XA Expired - Fee Related CN107578445B (zh) | 2017-09-14 | 2017-09-14 | 基于卷积特征谱的图像可判别区域提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107578445B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109658383B (zh) * | 2018-11-22 | 2023-01-17 | 杭州电子科技大学 | 基于卷积神经网络和卡尔曼滤波的道路损伤识别方法 |
| CN110619358A (zh) * | 2019-08-30 | 2019-12-27 | 电子科技大学 | 基于多组k分类的卷积特征谱的图像可判别区域联合提取方法 |
| CN110648332B (zh) * | 2019-09-12 | 2022-03-15 | 电子科技大学 | 基于多分支卷积神经网络特征正交的图像可判别区域提取方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104504055A (zh) * | 2014-12-19 | 2015-04-08 | 常州飞寻视讯信息科技有限公司 | 基于图像相似度的商品相似计算方法及商品推荐系统 |
| CN106156793A (zh) * | 2016-06-27 | 2016-11-23 | 西北工业大学 | 结合深层特征提取和浅层特征提取的医学图像分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9965719B2 (en) * | 2015-11-04 | 2018-05-08 | Nec Corporation | Subcategory-aware convolutional neural networks for object detection |
-
2017
- 2017-09-14 CN CN201710825739.XA patent/CN107578445B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104504055A (zh) * | 2014-12-19 | 2015-04-08 | 常州飞寻视讯信息科技有限公司 | 基于图像相似度的商品相似计算方法及商品推荐系统 |
| CN106156793A (zh) * | 2016-06-27 | 2016-11-23 | 西北工业大学 | 结合深层特征提取和浅层特征提取的医学图像分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107578445A (zh) | 2018-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108647742B (zh) | 基于轻量级神经网络的快速目标检测方法 | |
| Kao et al. | Visual aesthetic quality assessment with a regression model | |
| CN106599830B (zh) | 人脸关键点定位方法及装置 | |
| CN110770752A (zh) | 多尺度特征融合网络结合定位模型的害虫自动计数方法 | |
| CN112906720B (zh) | 基于图注意力网络的多标签图像识别方法 | |
| CN110533024B (zh) | 基于多尺度roi特征的双二次池化细粒度图像分类方法 | |
| Wang et al. | Learnable histogram: Statistical context features for deep neural networks | |
| CN105354581B (zh) | 融合颜色特征与卷积神经网络的彩色图像特征提取方法 | |
| KR20170091716A (ko) | 샘플링 및 특징 선택 없는 자동 결함 분류 | |
| CN114332621B (zh) | 一种基于多模型特征融合的病虫害识别方法及系统 | |
| CN111126256A (zh) | 一种基于自适应空谱多尺度网络的高光谱图像分类方法 | |
| CN107578445B (zh) | 基于卷积特征谱的图像可判别区域提取方法 | |
| CN108446599B (zh) | 一种p值统计量建模独立性的高光谱图像波段快速选择方法 | |
| Özkan et al. | Identification of wheat kernels by fusion of RGB, SWIR, and VNIR samples | |
| CN112381763A (zh) | 一种表面缺陷检测方法 | |
| CN113705641A (zh) | 基于富上下文网络的高光谱图像分类方法 | |
| CN107590505A (zh) | 联合低秩表示和稀疏回归的学习方法 | |
| Huang et al. | Fine-art painting classification via two-channel deep residual network | |
| Lu et al. | Plant detection and counting: Enhancing precision agriculture in UAV and general scenes | |
| Feng et al. | Hyperspectral band selection based on ternary weight convolutional neural network | |
| CN109145770B (zh) | 一种基于多尺度特征融合网络与定位模型相结合的麦蜘蛛自动计数方法 | |
| CN113066528B (zh) | 基于主动半监督图神经网络的蛋白质分类方法 | |
| Rakesh et al. | Explainable AI for Crop disease detection | |
| CN113496221A (zh) | 基于深度双边滤波的点监督遥感图像语义分割方法及系统 | |
| WO2024078112A1 (zh) | 一种舾装件智能识别方法、计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200609 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |