CN112750074B - 小样本图像特征增强方法及系统、图像分类方法及系统 - Google Patents

小样本图像特征增强方法及系统、图像分类方法及系统 Download PDF

Info

Publication number
CN112750074B
CN112750074B CN202110364860.3A CN202110364860A CN112750074B CN 112750074 B CN112750074 B CN 112750074B CN 202110364860 A CN202110364860 A CN 202110364860A CN 112750074 B CN112750074 B CN 112750074B
Authority
CN
China
Prior art keywords
image
key
images
feature
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110364860.3A
Other languages
English (en)
Other versions
CN112750074A (zh
Inventor
吴泽彬
徐洋
邓伟诗
龚航
詹天明
郑鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhiliansen Information Technology Co ltd
Original Assignee
Nanjing Zhiliansen Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhiliansen Information Technology Co ltd filed Critical Nanjing Zhiliansen Information Technology Co ltd
Priority to CN202110364860.3A priority Critical patent/CN112750074B/zh
Publication of CN112750074A publication Critical patent/CN112750074A/zh
Application granted granted Critical
Publication of CN112750074B publication Critical patent/CN112750074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种小样本图像特征增强方法及系统、图像分类方法及系统，本发明对图像进行多次仿射变换，产生原图像的多个特征图像，利用特征图像之间的相似性，对关键特征图像进行特征增强，提高小样本图像分类精度。

Description

小样本图像特征增强方法及系统、图像分类方法及系统
技术领域
本发明涉及一种小样本图像特征增强方法及系统、图像分类方法及系统，属于图像分类领域。
背景技术
近年来，计算机视觉在各个领域得到了广泛的应用，解放了社会生产力，图像分类是计算机视觉中一项十分重要的任务。
传统的图像分类方法主要分为特征提取与训练分类器两大步骤；在特征提取阶段，研究者使用HOG等通用特征，针对不同的任务会设计出专用的特征。在实际任务中，研究者基于计算复杂度与精度要求来选择一个合适的特征提取算法，然后使用朴素贝叶斯、随机森林、支持向量机等传统机器学习算法训练出一个分类模型。整个分类算法的实现过程需要很长的时间，而且特征提取过程与分类器的训练是分为两个过程的，其中每一个过程都需要做到比较好的效果才能最终达到最佳的分类精度。由于两个计算过程是独立的，所以这两个过程之间无法相互促进。
基于深度神经网络的图像分类算法是将特征提取过程与分类过程都放在一个神经网络，这使得图像分类中的特征提取模块与分类模块可以通过反向传播算法一起进行训练。随着深度学习的发展，图像分类得到了广泛的研究，促进了计算机视觉在各个领域的应用。但是基于深度学习的图像分类算法需要大量的样本进行训练才能表现出较好的分类效果，在小样本（即数据量较少）的情况下会导致图像分类精度下降。
发明内容
本发明提供了一种小样本图像特征增强方法及系统、图像分类方法及系统，解决了小样本图像分类精度下降的问题。
为了解决上述技术问题，本发明所采用的技术方案是：
小样本图像特征增强方法，包括，
对待增强图像分别进行多次仿射变换，获得待增强图像的多个特征图像；
计算所选的关键特征图像与其他非关键特征图像之间的相似性权重；
采用相似性权重对关键特征图像的特征进行增强，获得增强后的关键特征图像。
每次均采用不同的多级空间变换网络，对待增强图像进行仿射变换；其中，多级空间变换网络为，将原始空间变换网络中的卷积层替换为多个卷积层级联形式；级联形式的多个卷积层尺度小于原始空间变换网络中卷积层尺度。
采用时间非局部网络，计算所选的关键特征图像与其他非关键特征图像之间的相似性权重。
相似性权重计算公式为，
Figure DEST_PATH_IMAGE001
其中，
Figure 104353DEST_PATH_IMAGE002
为关键特征图像，
Figure DEST_PATH_IMAGE003
为第
Figure DEST_PATH_IMAGE005
个非关键特征图像，
Figure 910021DEST_PATH_IMAGE006
为
Figure 892889DEST_PATH_IMAGE002
和
Figure 800409DEST_PATH_IMAGE003
之 间的相似性权重，
Figure DEST_PATH_IMAGE007
为
Figure 603149DEST_PATH_IMAGE008
函数，
Figure DEST_PATH_IMAGE009
为矩阵乘法运算函数，
Figure 257246DEST_PATH_IMAGE010
分别为
Figure 376512DEST_PATH_IMAGE002
和
Figure 487556DEST_PATH_IMAGE003
对应的卷积运算函数。
采用相似性权重对关键特征图像的特征进行增强，具体公式为，
Figure DEST_PATH_IMAGE011
其中，
Figure 400761DEST_PATH_IMAGE012
为关键特征图像，
Figure DEST_PATH_IMAGE013
为
Figure 592970DEST_PATH_IMAGE014
个非关键特征图像，
Figure DEST_PATH_IMAGE015
为
Figure 753693DEST_PATH_IMAGE012
增强后的关键特征图像，
Figure 317530DEST_PATH_IMAGE016
为矩阵乘法运算函数，
Figure DEST_PATH_IMAGE017
分别为
Figure 327818DEST_PATH_IMAGE018
对应的 卷积运算函数，
Figure DEST_PATH_IMAGE019
为
Figure 884570DEST_PATH_IMAGE012
分别与
Figure 447269DEST_PATH_IMAGE020
之间的相似性权 重。
小样本图像特征增强系统，包括，
仿射变换模块：对待增强图像分别进行多次仿射变换，获得待增强图像的多个特征图像；
相似性权重计算模块：计算所选的关键特征图像与其他非关键特征图像之间的相似性权重；
特征增强模块：采用相似性权重对关键特征图像的特征进行增强，获得增强后的关键特征图像。
图像分类方法，包括，
采用小样本图像特征增强方法进行图像特征增强，获得图像增强后的关键特征图像；
将增强后的关键特征图像输入预先训练的特征提取网络，进行图像分类。
图像分类系统，包括，
小样本图像特征增强系统；
分类模块：将增强后的关键特征图像输入预先训练的特征提取网络，进行图像分类。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行小样本图像特征增强方法或图像分类方法。
一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行小样本图像特征增强方法或图像分类方法的指令。
本发明所达到的有益效果：本发明对图像进行多次仿射变换，产生原图像的多个特征图像，利用特征图像之间的相似性，对关键特征图像进行特征增强，从而提高小样本图像分类精度。
附图说明
图1为本发明方法对应的网络结构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
小样本图像特征增强方法，包括以下步骤：
步骤1，对待增强图像分别进行多次仿射变换，获得待增强图像的多个特征图像。
这里采用多级空间变换网络对待增强图像进行仿射变换，即进行空间变换，每次均采用不同的多级空间变换网络。
多级空间变换网络为：将原始空间变换网络中的卷积层替换为多个卷积层级联形式，级联形式的多个卷积层尺度小于原始空间变换网络中卷积层尺度；即将原始空间变换网络中的大尺度卷积层替换为多个小尺度卷积层级联形式，从而达到数据扩充的目的。
步骤2，采用时间非局部网络，计算所选的关键特征图像与其他非关键特征图像之间的相似性权重。
关键特征图像一般通过网络学习选定，当然也可以指定，相似性权重的计算公式为：
Figure DEST_PATH_IMAGE021
其中，
Figure 136002DEST_PATH_IMAGE002
为关键特征图像，
Figure 666209DEST_PATH_IMAGE003
为第
Figure 522258DEST_PATH_IMAGE005
个非关键特征图像，
Figure 486934DEST_PATH_IMAGE006
为
Figure 392573DEST_PATH_IMAGE002
和
Figure 410076DEST_PATH_IMAGE003
之 间的相似性权重，
Figure 324943DEST_PATH_IMAGE007
为
Figure 633475DEST_PATH_IMAGE008
函数，
Figure 975594DEST_PATH_IMAGE009
为矩阵乘法运算函数，
Figure 745973DEST_PATH_IMAGE010
分别为
Figure 667793DEST_PATH_IMAGE002
和
Figure 607061DEST_PATH_IMAGE003
对应的卷积运算函数。
步骤3，采用相似性权重对关键特征图像的特征进行增强，获得增强后的关键特征图像。
具体公式为，
Figure 854503DEST_PATH_IMAGE022
其中，
Figure 846598DEST_PATH_IMAGE013
为
Figure 103267DEST_PATH_IMAGE005
个非关键特征图像，
Figure 943047DEST_PATH_IMAGE015
为
Figure 843614DEST_PATH_IMAGE012
增强后的关键特 征图像，
Figure 339317DEST_PATH_IMAGE017
分别为
Figure 383366DEST_PATH_IMAGE018
对应的卷积运算函数，
Figure 749756DEST_PATH_IMAGE019
为
Figure 355312DEST_PATH_IMAGE012
分别与
Figure 259683DEST_PATH_IMAGE020
之间的相 似性权重。
以图1为例，采用多级空间变换网络1、多级空间变换网络2和多级空间变换网络3 进行3次仿射变换，获得三张特征图像，特征增强模块以第三张特征图像作为关键特征图 像，计算出第三张特征图像和第一张特征图像之间的相似性权重
Figure DEST_PATH_IMAGE023
、第三张特征图像和第二张特征图像 之间的相似性权重
Figure 278061DEST_PATH_IMAGE024
，根据相似性权 重，可得到增强的特征图为：
Figure DEST_PATH_IMAGE025
。
上述方法对应的软件系统为样本图像特征增强系统，包括，
仿射变换模块：对待增强图像分别进行多次仿射变换，获得待增强图像的多个特征图像；
相似性权重计算模块：计算所选的关键特征图像与其他非关键特征图像之间的相似性权重；
特征增强模块：采用相似性权重对关键特征图像的特征进行增强，获得增强后的关键特征图像。
根据上述方法依次对小样本中的每个图像进行特征增强，即可获得增强后的样本，基于增强后的样本进行网络训练，同样根据上述方法对待分类图像进行增强，输入训练好的网络，即可获得分类结果。
图像分类方法，包括，
1）采用样本图像特征增强方法进行图像特征增强，获得图像增强后的关键特征图像；
2）将增强后的关键特征图像输入预先训练的特征提取网络，进行图像分类。
上述分类方法对应的软件系统为图像分类系统，包括样本图像特征增强系统和分类模块；分类模块：将增强后的关键特征图像输入预先训练的特征提取网络，进行图像分类。
上述方法对图像进行多次仿射变换，产生原图像的多个特征图像，利用特征图像之间的相似性，对关键特征图像进行特征增强，提高小样本图像分类精度。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行小样本图像特征增强方法或图像分类方法。
一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行小样本图像特征增强方法或图像分类方法的指令。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (9)

1.小样本图像特征增强方法，其特征在于：包括，
对待增强图像分别进行多次仿射变换，获得待增强图像的多个特征图像；
计算所选的关键特征图像与其他非关键特征图像之间的相似性权重；
采用相似性权重对关键特征图像的特征进行增强，获得增强后的关键特征图像，
采用相似性权重对关键特征图像的特征进行增强，具体公式为，
Figure 149865DEST_PATH_IMAGE001
其中，X k 为关键特征图像，
Figure 527757DEST_PATH_IMAGE002
为i个非关键特征图像，Z k 为X k 增强后的关 键特征图像，F为矩阵乘法运算函数，
Figure 331765DEST_PATH_IMAGE003
分别为X k 、
Figure 919741DEST_PATH_IMAGE004
对应的卷积运算函数，
Figure 467397DEST_PATH_IMAGE005
为X k 分别与
Figure 699795DEST_PATH_IMAGE006
之间的相似性权重。
2.根据权利要求1所述的小样本图像特征增强方法，其特征在于：每次均采用不同的多级空间变换网络，对待增强图像进行仿射变换；其中，多级空间变换网络为，将原始空间变换网络中的卷积层替换为多个卷积层级联形式；级联形式的多个卷积层尺度小于原始空间变换网络中卷积层尺度。
3.根据权利要求1所述的小样本图像特征增强方法，其特征在于：采用时间非局部网络，计算所选的关键特征图像与其他非关键特征图像之间的相似性权重。
4.根据权利要求3所述的小样本图像特征增强方法，其特征在于：相似性权重计算公式为，
Figure 330497DEST_PATH_IMAGE007
其中，X k 为关键特征图像，X i 为第i个非关键特征图像，W i 为X k 和 X i 之间的相似性权重，softMax为softmax函数，F为矩阵乘法运算函数，conv k 、conv i 分别为X k 和 X i 对应的卷积运算函数。
5.小样本图像特征增强系统，其特征在于：包括，
仿射变换模块：对待增强图像分别进行多次仿射变换，获得待增强图像的多个特征图像；
相似性权重计算模块：计算所选的关键特征图像与其他非关键特征图像之间的相似性权重；
特征增强模块：采用相似性权重对关键特征图像的特征进行增强，获得增强后的关键特征图像，
采用相似性权重对关键特征图像的特征进行增强，具体公式为，
Figure 749977DEST_PATH_IMAGE001
其中，X k 为关键特征图像，
Figure 366903DEST_PATH_IMAGE002
为i个非关键特征图像，Z k 为X k 增强后的关 键特征图像，F为矩阵乘法运算函数，
Figure 309932DEST_PATH_IMAGE003
分别为X k 、
Figure 986901DEST_PATH_IMAGE004
对应的卷积运算函数，
Figure 18311DEST_PATH_IMAGE005
为X k 分别与
Figure 173349DEST_PATH_IMAGE006
之间的相似性权重。
6.图像分类方法，其特征在于：包括，
采用权利要求1~4任意一项所述方法进行图像特征增强，获得图像增强后的关键特征图像；
将增强后的关键特征图像输入预先训练的特征提取网络，进行图像分类。
7.图像分类系统，其特征在于：包括，
权利要求5所述的小样本图像特征增强系统；
分类模块：将增强后的关键特征图像输入预先训练的特征提取网络，进行图像分类。
8.一种存储一个或多个程序的计算机可读存储介质，其特征在于：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1~4、或6所述的方法中的任一方法。
9.一种计算设备，其特征在于：包括，
一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1~4、或6所述的方法中的任一方法的指令。
CN202110364860.3A 2021-04-06 2021-04-06 小样本图像特征增强方法及系统、图像分类方法及系统 Active CN112750074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110364860.3A CN112750074B (zh) 2021-04-06 2021-04-06 小样本图像特征增强方法及系统、图像分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110364860.3A CN112750074B (zh) 2021-04-06 2021-04-06 小样本图像特征增强方法及系统、图像分类方法及系统

Publications (2)

Publication Number Publication Date
CN112750074A CN112750074A (zh) 2021-05-04
CN112750074B true CN112750074B (zh) 2021-07-02

Family

ID=75651717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110364860.3A Active CN112750074B (zh) 2021-04-06 2021-04-06 小样本图像特征增强方法及系统、图像分类方法及系统

Country Status (1)

Country Link
CN (1) CN112750074B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885901B1 (en) * 2013-10-22 2014-11-11 Eyenuk, Inc. Systems and methods for automated enhancement of retinal images
CN111126307A (zh) * 2019-12-26 2020-05-08 东南大学 联合稀疏表示神经网络的小样本人脸识别方法
CN111476292A (zh) * 2020-04-03 2020-07-31 北京全景德康医学影像诊断中心有限公司 医学图像分类处理人工智能的小样本元学习训练方法
CN112070123A (zh) * 2020-08-14 2020-12-11 五邑大学 小样本sar图像识别方法、装置及存储介质
CN112215280A (zh) * 2020-10-12 2021-01-12 西安交通大学 一种基于元骨干网络的小样本图像分类方法
CN112215282A (zh) * 2020-10-12 2021-01-12 西安交通大学 一种基于小样本图像分类的元泛化网络系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885901B1 (en) * 2013-10-22 2014-11-11 Eyenuk, Inc. Systems and methods for automated enhancement of retinal images
CN111126307A (zh) * 2019-12-26 2020-05-08 东南大学 联合稀疏表示神经网络的小样本人脸识别方法
CN111476292A (zh) * 2020-04-03 2020-07-31 北京全景德康医学影像诊断中心有限公司 医学图像分类处理人工智能的小样本元学习训练方法
CN112070123A (zh) * 2020-08-14 2020-12-11 五邑大学 小样本sar图像识别方法、装置及存储介质
CN112215280A (zh) * 2020-10-12 2021-01-12 西安交通大学 一种基于元骨干网络的小样本图像分类方法
CN112215282A (zh) * 2020-10-12 2021-01-12 西安交通大学 一种基于小样本图像分类的元泛化网络系统

Also Published As

Publication number Publication date
CN112750074A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
Liu et al. Bi-real net: Enhancing the performance of 1-bit cnns with improved representational capability and advanced training algorithm
Su et al. Vitas: Vision transformer architecture search
US20180260709A1 (en) Calculating device and method for a sparsely connected artificial neural network
Yang et al. Condensenet v2: Sparse feature reactivation for deep networks
CN110175628A (zh) 一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法
Niimi Deep learning for credit card data analysis
US11775832B2 (en) Device and method for artificial neural network operation
Guo et al. A fully-pipelined expectation-maximization engine for Gaussian mixture models
CN112508190A (zh) 结构化稀疏参数的处理方法、装置、设备及存储介质
Fang et al. EAT-NAS: Elastic architecture transfer for accelerating large-scale neural architecture search
Liu et al. EACP: An effective automatic channel pruning for neural networks
CN116644804A (zh) 分布式训练系统、神经网络模型训练方法、设备和介质
López et al. E-DNAS: Differentiable neural architecture search for embedded systems
Qi et al. Learning low resource consumption cnn through pruning and quantization
US20210232895A1 (en) Flexible Parameter Sharing for Multi-Task Learning
Li et al. Ds-net++: Dynamic weight slicing for efficient inference in cnns and transformers
CN112750074B (zh) 小样本图像特征增强方法及系统、图像分类方法及系统
Guo et al. Efficient convolutional networks learning through irregular convolutional kernels
Li et al. Towards optimal filter pruning with balanced performance and pruning speed
Fan et al. A dual rank-constrained filter pruning approach for convolutional neural networks
US20220147826A1 (en) Method and system for convolution with workload-balanced activation sparsity
Gou et al. Re-training and parameter sharing with the Hash trick for compressing convolutional neural networks
CN110147804B (zh) 一种不平衡数据处理方法、终端及计算机可读存储介质
Ahn et al. Differentiable architecture search based on coordinate descent
Xu et al. Efficient block pruning based on kernel and feature stablization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant