CN109344893B - 一种基于移动终端的图像分类方法 - Google Patents
一种基于移动终端的图像分类方法 Download PDFInfo
- Publication number
- CN109344893B CN109344893B CN201811119618.4A CN201811119618A CN109344893B CN 109344893 B CN109344893 B CN 109344893B CN 201811119618 A CN201811119618 A CN 201811119618A CN 109344893 B CN109344893 B CN 109344893B
- Authority
- CN
- China
- Prior art keywords
- neural network
- deep neural
- weight
- codebook
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013139 quantization Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 claims abstract description 34
- 238000003062 neural network model Methods 0.000 claims abstract description 25
- 230000006835 compression Effects 0.000 claims abstract description 10
- 238000007906 compression Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000269350 Anura Species 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282994 Cervidae Species 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于移动终端的图像分类方法,采用深度神经网络训练分类器,利用分类器对图像进行分类。训练中将深度神经网络模型中的权重量化为2的指数,能有效提高嵌入式系统的移位操作运算,同时对量化码本进行动态更新,能有效减小量化误差,提升模型的预测性能及在移动状态上的运算效率。本发明还提供了实现上述方法的系统。本发明对深度神经网络的压缩效果明显,可以减小大型深度神经网络模型在存储资源和计算资源上的消耗,促进了深度神经网络在智能手机等资源受限移动终端上的部署,具有极强的现实应用。
Description
技术领域
本发明属于图像处理与模式识别领域,具体涉及一种基于移动终端的图像分类方法及系统。
背景技术
随着互联网技术的迅速发展,智能手机中高像素拍照功能的实现以及移动通讯网络的普遍覆盖,使得大量的图像信息涌入我们的生活。因此,如何在智能手机等移动终端上将海量的图像数据中区分为不同的类别是迫切需要解决的技术难题。
近年来深度神经网络从众多机器学习方法中脱颖而出,使图像分类的性能取得显著的突破,从而引起了广泛的关注。为了得到更好的特征,提升神经网络的性能,往往会构建很深的多层网络结构。这导致了深度神经网络具有数以百万计的参数量,需要消耗大量的计算和存储资源。而这给深度神经网络应用到智能手机等移动终端带来了巨大的困难。
为了将深度神经网络部署到智能手机等嵌入式设备上,目前常用的方法是对深度模型进行压缩,在保证分类性能的同时尽可能减少深度模型所需要的存储空间。目前,该领域已展开诸多研究,但依旧存在压缩网络训练难以收敛、分类精度低以及在移动终端运算效率低等问题。
发明内容
针对现有技术存在的问题和改进需求,本发明提出了一种基于移动终端的图像分类方法及系统,将深度神经网络模型中的权重量化为 2的指数,能有效提高嵌入式系统的移位操作运算。不同于现有的采用静态量化编码的方法,本发明提出的方法在模型训练过程中同时对量化码本进行动态更新,能有效减小量化误差,提升模型的预测性能及在移动状态上的运算效率。
一种基于移动终端的图像分类方法,包括离线训练阶段和在线分类阶段:
所述离线训练阶段具体为:
S1制定码本:
采用深度神经网络模型,获取深度神经网络模型的每层中权重绝对值最大值,并将其量化为底数为2的指数形式,从而得到码本的量化上限;在量化上限限定下,确定当前模型量化的码本;
S2量化权重:
对深度神经网络模型中的权重进行指数量化,将权重量化为最接近码本的值;
S3网络模型重训练:
输入样本图像,对量化的深度神经网络模型进行训练,在训练的前向过程中得到深度网络的交叉熵损失,在反向过程中根据交叉熵损失更新网络中的权重参数。
S4迭代与终止:
迭代执行步骤S2和S3,直到深度神经网络模型收敛或者达到设置的训练次数,则终止迭代,得到最终分类器;
所述在线分类阶段具体为:将待分类图像送入分类器,得到分类结果。
进一步地,所述码本的量化上限表示为:其由 n2=floor(log2(max(|Wl|))),floor(·)为向下取整操作,wl为深度神经网络的第l层权重,max()表示求最大值,| |表示取绝对值。
进一步地,当量化为b比特时,所述码本表示为: Pl={±2n},n∈[n1,n2],n∈Z,其中l代表是深度神经网络的第l层,n1和n2是两个整数,满足n1<n2,n1=n2-2b-1+1,Z表示正整数。
进一步地,当量化为b比特时,所述码本表示为:
Pl={±2n,0},n∈[n1,n2],n∈Z,其中l代表是深度神经网络的第l层,n1和n2是两个整数,满足n1<n2,n1=n2-2b-2+1,Z表示正整数。
进一步地,对深度神经网络各层量化如下:
进一步地,对深度神经网络各层量化如下:
进一步地,在训练的前向过程中得到深度网络的交叉熵损失,所述交叉熵损失表示为:
进一步地,在反向过程中根据交叉熵损失更新网络中的权重参数:
一种基于移动终端的图像分类系统,包括离线训练模块和在线分类模块:
所述离线训练阶段用于:
S1制定码本:
采用深度神经网络模型,获取深度神经网络模型的每层中权重绝对值最大值,并将其量化为底数为2的指数形式,从而得到码本的量化上限;在量化上限限定下,确定当前模型量化的码本;
S2量化权重:
对深度神经网络模型中的权重进行指数量化,将权重量化为最接近码本的值;
S3网络模型重训练:
输入样本图像,对量化的深度神经网络模型进行训练,在训练的前向过程中得到深度网络的交叉熵损失,在反向过程中根据交叉熵损失更新网络中的权重参数。
S4迭代与终止:
迭代执行步骤S2和S3,当深度神经网络模型收敛或者达到设置的训练次数,则终止迭代,得到最终分类器;
所述在线分类阶段用于:将待分类图像送入分类器,得到分类结果。
与现有技术相比,本发明的优点和效果在于:
1.本发明提出采用动态更新码本自适应网络中的绝对值较大的权值参数,尽可能减小这些参数的量化对模型精度的影响;
2.本发明提出交替迭代算法用于模型训练,使得权值参数和码本交替更新,让训练过程的收敛速度更快。
附图说明
图1为本发明基于移动终端的图像分类方法的实现流程图;
图2为网络权值的量化规则
图3为本发明基于移动终端的图像分类模块图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
附图1为本发明基于移动终端的图像分类方法的实现流程图。本发明方法包括离线训练和在线分类两个阶段:
离线训练阶段具体为:
S1制定码本:对随机初始化或者预训练的深度神经网络模型,获取每层中权重绝对值最大值,从而确定码本的量化上限,根据量化的位数,得到当前模型量化的码本。
在步骤S1中,获取初始未量化深度神经网络模型每层中权重绝对值最大值,并将其量化为底数为2的指数形式,具体量化表现为:其中n2=floor(log2(max(|Wl|))),floor(·)为向下取整操作,wl为深度神经网络的第l层权重,| |表示取绝对值。通过对深度神经网络每层权重绝对值最大值量化,得到码本的上限。
在步骤S1中,当量化为b比特时,码本可以表示为: Pl={±2n},n∈[n1,n2],n∈Z,其中l代表是深度神经网络的第l层,n1和n2是两个整数,满足n1<n2,Z表示正整数。由于n1和n2之间有 n2-n1+1个整数,且码本中正负整数的个数是相等的,因此码本中总的取值有2*(n2-n1+1)=2b个,即有n1=n2-2b-1+1,从而确定了码本Pl。
在步骤S1中,制定的码本中也可引入0作为量化值,码本可以表示为Pl={±2n,0},n∈[n1,n2],n∈Z。由于0不能表示2的n(n为整数) 次幂,需要额外的一个比特来表示0这个量化值,此时n1=n2- 2b-2+1,其他处理不变。
S2量化权重:根据步骤S1制定的码本对深度神经网络模型中的权重进行量化,将权重量化为码本中最相近的值。
在步骤S2中,对权重进行量化,将深度神经网络中的权重量化为离码本中最近的值,具体量化规则如图2所示,对深度神经网络各层量化如下:
在步骤S2中,在码本中引入0作为量化值,码本下限进行截断取0值即可,对应的量化方式如下:
S3网络模型重训练:对步骤S2量化的深度神经网络进行重训练。输入有类别标签的训练图像,在训练的前向过程中得到深度网络的交叉熵损失,在反向过程中根据交叉熵损失更新网络中的权重参数。
在步骤S3中,是在步骤S2上将深度神经网络中的权重量化完成后,对深度神经网络重训练,分为两个过程:前向传播和反向传播。在前向传播过程中,输入训练数据,在深度神经网络得到网络的交叉熵损失,其定义如下:
其中,是网络的损失,是L2范数正则项,本发明采用L2正则项,λ是正则项的系数,是模型压缩后的网络权值,是总损失函数。在反向传播过程中,网络的残差由后一层逐层向前传递,网络的权重根据残差计算的梯度进行更新,更新方式如下:
因此在实际反向传播过程时,权重更新的方式为:
S4迭代与终止:步骤S3对权值的更新会破坏原有的量化,因此迭代执行步骤S2和步骤S3,当深度神经网络模型收敛或者达到设置的训练次数,则终止迭代,得到最终量化压缩模型。
S5图像目标分类:将未分类的图像送入步骤S4得到的量化压缩模型进行预测,根据预测结果对图像进行分类。
本发明基于移动终端的图像分类方法,将深度神经网络模型中的权重量化为2的指数,能有效提高嵌入式系统的移位操作运算。不同于现有的采用静态量化编码的方法,本发明提出的方法在模型训练过程中同时对量化码本进行动态更新,能有效减小量化误差,提升模型的预测性能及在移动状态上的运算效率。
实例:
本实例为提出基于移动终端的图像分类装置,包括三个模块:图像读取模块,图像分类模块以及图像整理模块,如图3所示。
本实例在标准数据集CIFAR-10上进行了测试。CIFAR-10是一个图像分类数据集,包括10个类别,分别为:飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船和卡车。所有的图像都是大小为32×32的三通道彩色图像,包含60000张图片,其中训练集为50000,验证集为 10000。本实例在实验中所采用的深度神经网络是残差网络ResNet。具体的步骤如下:
1.图像读取
逐一读取测试数据,并将尺寸规整为32*32.
2.图像分类
对读取的图像用动态量化的压缩深度神经网络进行预测。
所述压缩深度神经网络的训练过程为:对训练数据进行增强预处理,即在原32*32的图像边界上填补0扩充为36*36的图像,再随机的裁剪为32*32的图像,然后随机左右翻转;对模型进行动态量化编码,直至模型收敛,在训练过程中,都迭代了80000轮,每轮送进网络一个批次的数据是128,初始的学习率为0.1,当训练达到40000 次学习率为0.01,达到60000次之后学习率为0.001,训练中使用L2正则项,其系数设置为0.001。
图像分类的预测结果如表1所示,分别比较了在码本中引入0和不引入0两种情况。
表1不同深度的ResNet在不同位宽下,码本中引入0和不引入0 对量化的影响。预训练的32位宽模型在ResNet-20、ResNet-32、 ResNet-44和ResNet-56下的在验证集上的准确率依次为0.9212、 0.9246、0.9332和0.9323,表中第五列和第七列表示的是量化后模型在验证集上的准确率减去预训练32位宽模型的准确率。
表1
从表1可以看到,本发明提出的方法能有效将深度神经网络模型进行压缩到很高的倍数,模型均能保证较高的性能,甚至将原始模型压缩到10.67倍时,模型的性能也只有较小的下降。
3.图像整理
根据预测结果将图片整理到相应类别的文件夹内。
本发明对深度神经网络的压缩效果明显,可以减小大型深度神经网络模型在存储资源和计算资源上的消耗,促进了深度神经网络在智能手机等资源受限移动终端上的部署,具有极强的现实应用。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于移动终端的图像分类方法,其特征在于,包括离线训练阶段和在线分类阶段:
所述离线训练阶段具体为:
S1制定码本:
采用深度神经网络模型,获取深度神经网络模型的每层中权重绝对值最大值,并将其量化为底数为2的指数形式,从而得到码本的量化上限;在量化上限限定下,确定当前模型量化的码本;
S2量化权重:
对深度神经网络模型中的权重进行指数量化,将权重量化为最接近码本的值;
S3网络模型重训练:
输入样本图像,对量化的深度神经网络模型进行训练,在训练的前向过程中得到深度网络的交叉熵损失,在反向过程中根据交叉熵损失更新网络中的权重参数;
S4迭代与终止:
迭代执行步骤S1、S2和S3,在模型训练过程中同时对量化码本进行动态更新,直到深度神经网络模型收敛或者达到设置的训练次数,则终止迭代,得到最终分类器;
所述在线分类阶段具体为:将待分类图像送入分类器,得到分类结果;
当量化为b比特时,码本表示为:Pl={±2n},n∈[n11,n12],n∈Z,其中l代表是深度神经网络的第l层,n11和n12是两个整数,满足n11<n12,n11=n12-2b-1+1,Z表示正整数,或表示为:Pl={±2n,0},n∈[n21,n22],n∈Z,其中l代表是深度神经网络的第l层,n21和n22是两个整数,满足n21<n22,n21=n22-2b-2+1,Z表示正整数;
其中,若码本表示为:Pl={±2n},n∈[n11,n12],n∈Z,则对深度神经网络各层量化如下:
若码本表示为:Pl={±2n,0},n∈[n21,n22],n∈Z,则对深度神经网络各层量化如下:
在训练的前向过程中得到深度网络的交叉熵损失,所述交叉熵损失表示为:
在反向过程中根据交叉熵损失更新网络中的权重参数:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811119618.4A CN109344893B (zh) | 2018-09-25 | 2018-09-25 | 一种基于移动终端的图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811119618.4A CN109344893B (zh) | 2018-09-25 | 2018-09-25 | 一种基于移动终端的图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109344893A CN109344893A (zh) | 2019-02-15 |
CN109344893B true CN109344893B (zh) | 2021-01-01 |
Family
ID=65306861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811119618.4A Active CN109344893B (zh) | 2018-09-25 | 2018-09-25 | 一种基于移动终端的图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109344893B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110245753A (zh) * | 2019-05-27 | 2019-09-17 | 东南大学 | 一种基于幂指数量化的神经网络压缩方法 |
CN110414630A (zh) * | 2019-08-12 | 2019-11-05 | 上海商汤临港智能科技有限公司 | 神经网络的训练方法、卷积计算的加速方法、装置及设备 |
CN110782021B (zh) * | 2019-10-25 | 2023-07-14 | 浪潮电子信息产业股份有限公司 | 一种图像分类方法、装置、设备及计算机可读存储介质 |
CN113298224B (zh) * | 2020-02-24 | 2024-09-17 | 上海商汤智能科技有限公司 | 神经网络模型的重训练方法和相关产品 |
CN111582377A (zh) * | 2020-05-09 | 2020-08-25 | 济南浪潮高新科技投资发展有限公司 | 一种基于模型压缩的边缘端目标检测方法及系统 |
CN112668630B (zh) * | 2020-12-24 | 2022-04-29 | 华中师范大学 | 一种基于模型剪枝的轻量化图像分类方法、系统及设备 |
CN114462592A (zh) * | 2021-12-24 | 2022-05-10 | 光子算数(北京)科技有限责任公司 | 模型训练方法、装置、电子设备及计算机可读存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7089178B2 (en) * | 2002-04-30 | 2006-08-08 | Qualcomm Inc. | Multistream network feature processing for a distributed speech recognition system |
CN105590116B (zh) * | 2015-12-18 | 2019-05-14 | 华南理工大学 | 一种基于头部部件对齐的鸟类图像识别方法 |
US10218976B2 (en) * | 2016-03-02 | 2019-02-26 | MatrixView, Inc. | Quantization matrices for compression of video |
CN106203624B (zh) * | 2016-06-23 | 2019-06-21 | 上海交通大学 | 基于深度神经网络的矢量量化系统及方法 |
CN106713929B (zh) * | 2017-02-16 | 2019-06-28 | 清华大学深圳研究生院 | 一种基于深度神经网络的视频帧间预测增强方法 |
CN107239793B (zh) * | 2017-05-17 | 2020-01-17 | 清华大学 | 多量化深度二值特征学习方法及装置 |
CN107423814A (zh) * | 2017-07-31 | 2017-12-01 | 南昌航空大学 | 一种采用深度卷积神经网络建立动态网络模型的方法 |
CN108229681A (zh) * | 2017-12-28 | 2018-06-29 | 郑州云海信息技术有限公司 | 一种神经网络模型压缩方法、系统、装置及可读存储介质 |
-
2018
- 2018-09-25 CN CN201811119618.4A patent/CN109344893B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109344893A (zh) | 2019-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109344893B (zh) | 一种基于移动终端的图像分类方法 | |
CN112101190B (zh) | 一种遥感图像分类方法、存储介质及计算设备 | |
US11604960B2 (en) | Differential bit width neural architecture search | |
EP3735658A1 (en) | Generating a compressed representation of a neural network with proficient inference speed and power consumption | |
WO2019155064A1 (en) | Data compression using jointly trained encoder, decoder, and prior neural networks | |
CN113850272A (zh) | 基于本地差分隐私的联邦学习图像分类方法 | |
CN113869420B (zh) | 基于对比学习的文本推荐方法及相关设备 | |
WO2020207410A1 (zh) | 一种数据压缩方法、电子设备及存储介质 | |
CN112200296A (zh) | 网络模型量化方法、装置、存储介质及电子设备 | |
CN111127360A (zh) | 一种基于自动编码器的灰度图像迁移学习方法 | |
CN113947136A (zh) | 图像压缩和分类方法、装置及电子设备 | |
CN114677535A (zh) | 域适应图像分类网络的训练方法、图像分类方法及装置 | |
CN111582284B (zh) | 用于图像识别的隐私保护方法、装置和电子设备 | |
CN113743277A (zh) | 一种短视频分类方法及系统、设备和存储介质 | |
KR102305981B1 (ko) | 신경망 압축 훈련 방법 및 압축된 신경망을 이용하는 방법 | |
CN116797850A (zh) | 基于知识蒸馏和一致性正则化的类增量图像分类方法 | |
CN112200275B (zh) | 人工神经网络的量化方法及装置 | |
CN115953849A (zh) | 活体检测模型的训练方法、活体检测方法及系统 | |
Jiao et al. | Realization and improvement of object recognition system on raspberry pi 3b+ | |
CN115063374A (zh) | 模型训练、人脸图像质量评分方法、电子设备及存储介质 | |
CN114357219A (zh) | 一种面向移动端实例级图像检索方法及装置 | |
CN113743593A (zh) | 神经网络量化方法、系统、存储介质及终端 | |
CN114065913A (zh) | 模型量化方法、装置及终端设备 | |
CN113438482A (zh) | 基于感兴趣区域的视频编码 | |
CN114372205B (zh) | 特征量化模型的训练方法、装置以及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |