CN110728303B - 基于卷积神经网络数据复杂度的动态自适应计算阵列 - Google Patents
基于卷积神经网络数据复杂度的动态自适应计算阵列 Download PDFInfo
- Publication number
- CN110728303B CN110728303B CN201910862957.XA CN201910862957A CN110728303B CN 110728303 B CN110728303 B CN 110728303B CN 201910862957 A CN201910862957 A CN 201910862957A CN 110728303 B CN110728303 B CN 110728303B
- Authority
- CN
- China
- Prior art keywords
- convolution
- calculation
- array
- classification
- array module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于卷积神经网络数据复杂度的动态自适应计算阵列,属于计算、推算、计数的技术领域。在原始卷积计算阵列模块基础上,增设动态卷积计算决策模块根据不同的输入数据复杂度选择合适的网络模型。动态卷积计算决策模块包括用于当前网络卷积层预分类计算的预分类层控制器及用于将预分类计算结果与预先设定阈值比较的置信度控制器,置信度控制器输出判别结果决定后续卷积计算阵列是否开启并支持不同尺寸卷积核卷积计算阵列的动态选择。本发明设计简单,可靠性强,动态卷积计算决策模块与其它传统模块协同配合,尽量降低网络的冗余计算,避免计算资源的浪费。
Description
技术领域
本发明公开了基于卷积神经网络输入数据复杂度的动态自适应计算阵列,根据当前网络任务的输入数据复杂度动态选取一种自适应、低功耗的卷积网络计算模式,涉及神经网络的物理实现,属于计算、推算、计数的技术领域。
背景技术
卷积神经网络是由传统浅层网络进化而来的深度人工神经网络。卷积的局部感受野、权值共享以及子采样等特性大大减少卷积神经网络的神经元互联,极大地缩小了原来传统浅层神经网络的计算规模。卷积神经网络根据图像信息的空间局部性,通过对输入图像进行卷积、子采样、激活等一系列操作实现图像特征的提取和归并。多层次的网络结构保证卷积神经网络能够充分地提取图像的有效信息。相对于传统的手动标记特征方式,卷积神经网络的特征提取不需要外界的调整和干预,简化了图像的处理过程。卷积神经网络已经在图像分类、人脸检测和目标追踪等计算机视觉领域取得了显著的效果。卷积神经网络具有计算密集和存储密集两个特征。卷积神经网络包含大量的二维卷积、非线性激活以及池化等操作。每层网络计算都需要读取大量的权重、输入数据并产生大量的中间结果,频繁的数据交换会导致较大的访存延迟和访存功耗。
不同的网络任务包含的信息量存在差异,适用的卷积神经网络模型也不同。例如,在图像识别系统中,图片信息的丰富度决定了适用网络模型的复杂度。针对特定任务选择合适的网络模型至关重要。对于比较简单、信息量少的图像使用简单网络就可以完成识别任务,对于复杂、信息量多的图像使用大型的网络才会取得较好的识别效果。为了提高系统识别精度,传统的卷积计算阵列多采用饱和计算的工作模式,无法根据网络输入数据复杂度而做出最优选择,因此造成了大量的硬件计算资源浪费。根据不同网络任务的不同的数据复杂度,从而动态选择并适配一种高可靠性的计算模式,是改善现今单一化、复杂化的卷积计算阵列的关键所在。
发明内容
本发明的发明目的在于针对不同的网络任务即不同的输入数据复杂度,传统的卷积计算阵列无法提供可变的、动态适应的计算模式,从而造成硬件计算资源浪费的技术问题,本发明提供了基于卷积神经网络数据复杂度的动态自适应计算阵列,在任务要求较低即输入数据比较简单时只使用复杂网络的部分卷积层就可以实现特征提取,避免了运行完整网络造成的计算资源浪费,实现卷积计算阵列的高可靠性和低功耗。
本发明为实现上述发明目的采用如下技术方案:
一种基于卷积神经网络数据复杂度的动态自适应计算阵列,包括:5个卷积计算阵列模块、4个动态卷积计算决策模块、1个全连接计算阵列模块,其中,卷积计算阵列动态可配,可同时完成卷积计算,批量归一化乘加计算以及池化激活计算。
卷积计算阵列模块为本发明进行卷积、激活等计算的子单元模块,其中,卷积计算阵列模块动态可配,可支持卷积计算,批量归一化乘加计算以及池化激活计算,同时卷积计算阵列模块最小子单元PE,可适配3*3和5*5两种计算组合方式。批量归一化乘加计算完成对卷积计算结果的归一化处理,通过均衡数据分布和降低数据位宽,以减少后续网络计算量。池化激活计算用于减少特征数据个数,减少冗余计算。
动态卷积计算决策模块包括预分类层控制器和置信度控制器,预分类层控制器用于当前网络卷积层预分类计算,并实时将预分类的结果送至置信度控制器,预分类层控制器采用全局平均池化方法进行分类计算,即对当前卷积计算阵列输出的N(N=16,32,64)通道结果分别进行均值计算并输出M个分类结果,其中,M为当前网络任务分类个数;置信度控制器包括一个M输入的数值比较单元以及一个卷积激活译码单元,其中,M输入的数值比较单元用于与预设定的阈值进行比较,并输出2位的控制信号Q1Q0。工作时动态可重构计算阵列的第1个卷积计算阵列总是处于激活状态,后续4层卷积计算阵列的工作状态由前一层的动态卷积计算决策模块输出决定。动态卷积网络每完成一层卷积层的计算,提取的特征都直接送入预分类层进行预分类计算。然后,置信度控制逻辑根据预先设置的置信度阈值与预分类层的计算结果进行比较。如果预分类的结果高于置信度阈值,表示当前卷积层提取的特征信息充分,预分类结果置信度较高,可以直接作为最后的结果输出,当前输入图像的识别任务完成,不再进行后面网络层的计算。这种情况下,卷积神经网络动态可重构计算阵列只进行了部分卷积层的计算,提前结束了网络的运行,节省了网络的计算量。
置信度控制器CCL作用在于将新的预分类的结果与置信度阈值作对比,根据比较结果决定后续网络层的运行状况,即根据动态卷积计算决策模块置信度输出动态调整下一层卷积计算的计算阵列子单元PE个数,即调整卷积计算卷积核大小,避免计算资源浪费,卷积计算的计算阵列子单元PE支持3*3和5*5两种适配方式。
本发明采用上述技术方案,具有以下有益效果:本发明公开的基于卷积神经网络数据复杂度的动态自适应计算阵列,通过动态卷积计算决策模块对当前层神经网络输出的特征图进行预分类并根据分类结果启动下一层神经网络并选择下一层神经网络列子单元PE个数,各个模块动态协同配合,在任务要求较低或者输入数据比较简单时,只使用复杂网络的部分卷积层就可以实现特征提取,即可完成分类任务,避免了运行完整网络造成的计算资源浪费;对于输入数据比较复杂或特征效果较差的情况,根据任务复杂度,开启数个卷积计算阵列模块并为每个卷积计算阵列选择合适尺寸卷积核的数个子单元PE以充分提取特征,在保证网络识别精度的同时,极大地提高了系统运行的可靠性和容错性。
附图说明
图1是本发明提出的动态卷积神经网络的计算阵列的模块框图。
图2是本发明提出的一种适用于神经网络的全连接层分类模块。
图3是本发明提出的一种适用于神经网络的预分类层模块。
图4是本发明提出的一种适用于神经网络的置信度控制器CCL单元。
图5是动态卷积神经网络的工作流程图。
具体实施方式
下面结合具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示,本发明公开的基于卷积神经网络数据复杂度的动态自适应计算阵列,包含:卷积计算阵列、全连接计算阵列、预分类控制器(Pre-Classify,PC)、和置信度控制器(Confidence Control Logic,CCL)等。其中,权重存储器存储各网络层权重参数,包括:卷积计算权重参数W、卷积计算偏置参数b、批量归一化(BN)乘法参数α和偏移加法系数β。动态卷积计算决策模块包括预分类层控制器和置信度控制器,并输出2位控制信号Q1Q0,其中高位Q1控制数据输入buff阵列、卷积计算子单元PE阵列以及数据输出选择器(MUX),当Q1为0,则关闭当前层卷积计算;低位Q0控制并动态选择每个卷积计算子单元PE开启个数并适配3*3和5*5两种组合计算方式。
与常规的卷积网络相比,本文所设计的动态卷积神经网络主要增加了预分类层PC和置信度控制器CCL。前四层卷积层后面都跟着一层预分类层,最后一层卷积层后面是全连接层。动态卷积网络的第一层卷积层总是处于激活状态,后面卷积层的状态由前一层的置信度控制器CCL控制,并与前一层预分类的结果有关。动态卷积网络每完成一层卷积层的计算,提取的特征都直接送入预分类层进行预分类计算。然后,置信度控制逻辑根据预先设置的置信度阈值与预分类层的计算结果进行比较。如果预分类的结果高于置信度阈值,表示当前卷积层提取的特征信息充分,预分类结果置信度较高,可以直接作为最后的结果输出,当前输入图像的识别任务完成,不再进行后面网络层的计算。这种情况下,动态卷积神经网络只进行了部分卷积层的计算,提前结束了网络的运行,节省了网络的计算量。如果预分类层的结果低于置信度阈值,则说明还没有提取用于分类的充足特征,当前预分类的结果是不可靠的。此时置信度控制器CCL激活下一个卷积层,并把当前卷积层的输出特征图送入下一卷积层进一步提取特征。经过下一个卷积层的特征提取后,继续通过预分类层进行预分类计算和置信度逻辑判断。置信度控制逻辑把新的预分类的结果与置信度阈值作对比,根据比较结果决定后续网络层的运行状况。如果最后一层的卷积操作被激活,说明前几层的预分类都失败了,此时,需要执行原始网络的全连接层进行分类。相对于非动态卷积神经网络,这种情况多进行了几个预分类层的计算。卷积输入与权重经过卷积操作之后进入预分类控制器,得到当前层的分类结果,分类结果输入到置信度控制器CCL模块中,经过置信度判断,选择当前输出以及之后网络层的选择。
如图3所示,本发明涉及的预分类控制器,由全局平均池化分类模块和softmax模块构成。全局平均池化将卷积层输出的特征图分别进行GAP操作并形成一个特征点,然后将这些特征点被传输到softmax层进行分类计算。用全局平均池化代替全连接分类,来大大缩小乘加操作。
如图2所示,本发明涉及的卷积神经网络所包含的唯一一个全连接分类模块。由于全连接分类操作存在大量的乘加操作,因此,在一般工作状态下,由于输入数据复杂度较低,该模块始终处于关闭状态。只有当当前网络任务输入数据复杂度较高时,为了提供整个计算整列最终识别输出结果的可靠性才会动态开启该全连接分类模块。
如图4所示,本发明涉及的置信度控制器CCL模块,包括:数值比较单元,中间数据寄存器以及卷积激活译码单元。当预分类控制器输出结果时,数据进入数值比较器,选择当前M分类的最佳输出判断,判断结果进入中间数据寄存器,再进入卷积激活寄存器。如果输出结果高于Vth1(0.8)则当前网络层足够适用,直接输出结果;如果输出结果低于Vth1(0.8)但是高于Vth2(0.7),则进入下一层网络且选择3*3卷积核;如果输出结果低于Vth2(0.7)则进入下一层网络且选择5*5卷积核。最终CCL模块译码输出2位大小的控制信号Q1Q0,驱动并确定后续卷积计算阵列是否运作。
本发明的动态自适应计算阵列的工作流程如图5。工作时,对于不同的输入数据,本文所发明的动态可重构计算阵列的第一级卷积计算阵列始终处于激活状态,并将卷积计算所得的特征结果直接送入卷积计算决策模块,即进行预分类处理和置信度检测,最终输出2位控制信号Q1Q0,其中,Q1为卷积激活信号,Q0为卷积核大小控制信号,且Q1的控制优先级高于Q0。当Q1Q0=1×表明当前场景下网络计算精度不够需要激活下一层卷积,当Q1Q0=0×表明可直接输出当前层计算结果;当Q1Q0=11,则表明当前置信度结果很差,下一个卷积计算阵列模块动态选择5*5的阵列单元,当Q1Q0=10,则表明当前置信度结果较差,下一个卷积计算阵列模块可动态选择3*3的阵列单元,以降低当前网络任务计算量。每完成一次卷积计算都需要通过卷积计算决策模块进行决策处理,已确定当前网络任务的最优网络计算模型并避免由于网络冗余计算所引起的硬件资源浪费。
Claims (7)
1.基于卷积神经网络数据复杂度的动态自适应计算阵列,其特征在于,包括:N个依次串联的卷积计算阵列模块及接在第N个卷积计算阵列模块输出端的全连接计算阵列模块,第1至第N-1个卷积计算阵列模块各配置有一个动态卷积计算决策模块,第i个动态卷积计算决策模块对第i个卷积计算阵列模块输出的特征图进行预分类并根据预分类结果的置信度输出表征输入数据复杂程度和特征提取充分程度的控制信号至第i+1个卷积计算阵列模块,在第i个卷积计算阵列模块充分提取特征时关闭第i+1至第N个卷积计算阵列模块并直接输出计算结果,在第i个卷积计算阵列模块未充分提取特征但能满足置信度约束时选择第i+1个卷积计算阵列模块中的小尺寸卷积核,在第i个卷积计算阵列模块未充分提取特征以至于不满足置信度约束时选择第i+1个卷积计算阵列模块中的大尺寸卷积核,在第N个卷积计算阵列模块仍未充分提取特征以至于不满足置信度约束时以全连接计算阵列模块的输出为计算结果,i=1,2,…,N-1,N为大于1的整数。
2.根据权利要求1所述基于卷积神经网络数据复杂度的动态自适应计算阵列,其特征在于,所述动态卷积计算决策模块包括:
预分类层控制器,对卷积计算阵列模块输出的特征图进行预分类,及,
置信度控制器,根据预分类层控制器输出的预分类结果生成下一卷积计算阵列模块的激活信号及卷积核大小的控制信号。
3.根据权利要求2所述基于卷积神经网络数据复杂度的动态自适应计算阵列,其特征在于,所述预分类层控制器包括:
全局平均池化层,对卷积计算阵列模块输出的特征图进行全局池化操作后输出特征点,及,
归一化指数层,对全局平均池化层输出的特征点进行分类计算后输出输入数据属于各分类的概率。
4.根据权利要求2所述基于卷积神经网络数据复杂度的动态自适应计算阵列,其特征在于,所述置信度控制器,包括:
数值比较单元,其输入端接预分类结果,选择预分类结果中的最大值输出,及,
卷积激活译码单元,其输入端接预分类结果中的最大值,与置信度约束比较后输出表征输入数据复杂程度和特征提取充分程度的控制信号。
5.根据权利要求4所述基于卷积神经网络数据复杂度的动态自适应计算阵列,其特征在于,所述置信度控制器还包括一个用于存储预分类结果中最大值的中间数据寄存器。
6.根据权利要求4所述基于卷积神经网络数据复杂度的动态自适应计算阵列,其特征在于,所述卷积激活译码单元,包括:
第一比较器,其输入端接预分类结果的最大值和最小置信度数据,输出预分类结果最大值与最小置信度的比较结果,
第二比较器,其输入端接第一比较器输出端和最大置信度数据,输出预分类结果最大值与置信度约束的比较结果,及,
译码输出寄存器,其输入端接第一比较器的输出端和第二比较器的输出端,对第一比较器的输出结果或第二比较器的输出结果进行译码得到下一卷积计算阵列模块的激活信号及卷积核大小的控制信号。
7.一种低功耗动态自适应计算阵列的构建方法,其特征在于,对于由N个依次串联的卷积计算阵列模块及接在第N个卷积计算阵列模块输出端的全连接计算阵列模块组成的计算阵列,第1至第N-1个卷积计算阵列模块各配置有一个动态卷积计算决策模块,第i个动态卷积计算决策模块对第i个卷积计算阵列模块输出的特征图进行预分类并根据预分类结果的置信度输出表征输入数据复杂程度和特征提取充分程度的控制信号至第i+1个卷积计算阵列模块,在第i个卷积计算阵列模块充分提取特征时关闭第i+1至第N个卷积计算阵列模块,在第i个卷积计算阵列模块未充分提取特征但能满足置信度约束时选择第i+1个卷积计算阵列模块中的小尺寸卷积核,在第i个卷积计算阵列模块未充分提取特征以至于不满足置信度约束时选择第i+1个卷积计算阵列模块中的大尺寸卷积核,在第N个卷积计算阵列模块仍未充分提取特征以至于不满足置信度约束时启动全连接计算阵列模块,i=1,2,…,N-1,N为大于1的整数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910862957.XA CN110728303B (zh) | 2019-09-12 | 2019-09-12 | 基于卷积神经网络数据复杂度的动态自适应计算阵列 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910862957.XA CN110728303B (zh) | 2019-09-12 | 2019-09-12 | 基于卷积神经网络数据复杂度的动态自适应计算阵列 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110728303A CN110728303A (zh) | 2020-01-24 |
CN110728303B true CN110728303B (zh) | 2022-03-11 |
Family
ID=69218945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910862957.XA Active CN110728303B (zh) | 2019-09-12 | 2019-09-12 | 基于卷积神经网络数据复杂度的动态自适应计算阵列 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110728303B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113642486A (zh) * | 2021-08-18 | 2021-11-12 | 国网江苏省电力有限公司泰州供电分公司 | 一种具有机载前端识别模型的无人机配网巡检方法 |
CN116781484B (zh) * | 2023-08-25 | 2023-11-07 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107886162A (zh) * | 2017-11-14 | 2018-04-06 | 华南理工大学 | 一种基于wgan模型的可变形卷积核方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3050846B1 (fr) * | 2016-04-27 | 2019-05-03 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Dispositif et procede de distribution de donnees de convolution d'un reseau de neurones convolutionnel |
WO2018057749A1 (en) * | 2016-09-26 | 2018-03-29 | Arizona Board Of Regents On Behalf Of Arizona State University | Cascaded computing for convolutional neural networks |
-
2019
- 2019-09-12 CN CN201910862957.XA patent/CN110728303B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107886162A (zh) * | 2017-11-14 | 2018-04-06 | 华南理工大学 | 一种基于wgan模型的可变形卷积核方法 |
Non-Patent Citations (3)
Title |
---|
ARA: Cross-Layer approximate computing framework based reconfigurable architecture for CNNs;Yu Gong et.al;《Microelectronics Journal》;20190327;第33-44页 * |
基于动态精度的可扩展高能效CNN加速器设计;陈壮;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190515(第05期);第22-23页 * |
基于计算机视觉的人体动作识别研究;张颖;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190115(第01期);第27-28页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110728303A (zh) | 2020-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110322446B (zh) | 一种基于相似性空间对齐的域自适应语义分割方法 | |
CN108509978B (zh) | 基于cnn的多级特征融合的多类目标检测方法及模型 | |
CN109478144B (zh) | 一种数据处理装置和方法 | |
CN106250939B (zh) | 基于fpga+arm多层卷积神经网络的手写体字符识别方法 | |
CN102665049B (zh) | 基于可编程视觉芯片的视觉图像处理系统 | |
CN108510063B (zh) | 一种应用于卷积神经网络的加速方法和加速器 | |
CN112329760B (zh) | 基于空间变换网络端到端印刷体蒙古文识别翻译的方法 | |
CN110991362A (zh) | 一种基于注意力机制的行人检测模型 | |
CN109214353B (zh) | 一种基于剪枝模型的人脸图像快速检测训练方法和装置 | |
CN111242844B (zh) | 图像处理方法、装置、服务器和存储介质 | |
CN113326930B (zh) | 数据处理方法、神经网络的训练方法及相关装置、设备 | |
CN106228185A (zh) | 一种基于神经网络的通用图像分类识别系统及方法 | |
CN112529146B (zh) | 神经网络模型训练的方法和装置 | |
CN110533022B (zh) | 一种目标检测方法、系统、装置及存储介质 | |
CN110728303B (zh) | 基于卷积神经网络数据复杂度的动态自适应计算阵列 | |
CN113469236A (zh) | 一种自我标签学习的深度聚类图像识别系统及方法 | |
CN111160481B (zh) | 基于深度学习的adas目标检测方法及系统 | |
CN113743505A (zh) | 基于自注意力和特征融合的改进ssd目标检测方法 | |
CN114897782B (zh) | 基于生成式对抗网络的胃癌病理切片图像分割预测方法 | |
US11151416B2 (en) | Method and apparatus for efficiently processing convolution neural network operations | |
CN114780767A (zh) | 一种基于深度卷积神经网络的大规模图像检索方法及系统 | |
CN111783688B (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 | |
Du et al. | Asymformer: Asymmetrical cross-modal representation learning for mobile platform real-time rgb-d semantic segmentation | |
CN112132207A (zh) | 基于多分支特征映射目标检测神经网络构建方法 | |
CN114494284B (zh) | 一种基于显式监督区域关系的场景解析模型及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |