CN111652352B - 一种针对迁移学习的神经网络模型输入通道整合方法 - Google Patents
一种针对迁移学习的神经网络模型输入通道整合方法 Download PDFInfo
- Publication number
- CN111652352B CN111652352B CN202010404179.2A CN202010404179A CN111652352B CN 111652352 B CN111652352 B CN 111652352B CN 202010404179 A CN202010404179 A CN 202010404179A CN 111652352 B CN111652352 B CN 111652352B
- Authority
- CN
- China
- Prior art keywords
- network model
- channel
- neural network
- data
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
一种针对迁移学习的神经网络模型输入通道整合方法,首先对网络模型描述文件中的数据输入层描述进行修改,删除原数据输入层描述,增加基于图像数据列表的数据输入层描述,并将待修改的第一个卷积层重命名;然后读取神经网络模型权重文件,并对其进行修改,使对应的神经网络模型仅需要单通道数据作为输入;最后进行单通道图像数据的实时目标检测识别测试。本发明通过对经三通道训练样本数据训练的网络模型权重文件进行分析整合,形成了单通道输入的网络模型权重文件,直接在嵌入式平台部署,无需经过通道复制操作,不需要占用多余的内存空间,减轻了神经网络的计算量,降低了对信息处理资源的压力,可直接在单通道数据上完成实时目标检测识别。
Description
技术领域
本发明涉及一种针对迁移学习的神经网络模型输入通道整合方法,属于神经网络智能目标检测识别领域。
背景技术
基于卷积神经网络的目标检测识别算法在模型权重训练过程中,需要大量的训练样本数据。针对某些特定应用环境,含有效目标的图像数据量较少,无法支撑算法模型训练,必须结合采用公开数据库进行预训练等操作。然而,公开数据库大多为自然采集的三通道彩色图像,因此训练出来的模型的输入也要求是三通道数据。但当前常采用的可见光、红外或雷达SAR景象数据大多为单通道,无法满足神经网路模型输入要求。
在实际应用时,一种简单可行的方法是将单通道图数据复制两个通道并在通道维度拼接生成三通道数据,然而经测试,这种方法存在不可避免的缺陷:在嵌入式信息处理平台上进行图像通道复制,既占用了多余的内存空间,又增加了复制通道的处理时间,同时还增加了神经网络的计算量,对已经比较紧张的信息处理资源造成了压力,降低了整个目标检测识别系统运行的实时性。
发明内容
本发明的技术解决问题是:克服现有技术的不足,提供一种针对迁移学习的神经网络模型输入通道整合方法,生成的单通道输入网络模型和权重文件可以直接在嵌入式信息处理平台上部署,探测装置获取的原始图像数据无需经过通道复制操作,可直接在单通道数据上完成目标实时检测识别。
本发明的技术解决方案是:
一种针对迁移学习的神经网络模型输入通道整合方法,步骤如下:
步骤一:对网络模型描述文件中的数据输入层描述进行修改,删除原数据输入层描述,增加基于图像数据列表的数据输入层描述;并将待修改的第一个卷积层重命名;
步骤二:读取神经网络模型权重文件,并对其进行修改,使对应的神经网络模型仅需要单通道数据作为输入;
步骤三:将修改后的权重文件使用步骤一修改的网络模型描述文件进行单通道图像数据的实时目标检测识别测试,完成神经网络模型输入通道整合。
所述步骤二的实现方法如下:
(1)根据修改所使用的处理程序语言类型,引用网络框架和数值计算库;
(2)指定改动前的神经网络模型描述文件地址input_model_path、神经网络模型权重文件地址input_weights_path和需要修改的第一层卷积名称“conv1_1”;
(3)指定改动后的神经网络模型描述文件地址output_model_path、神经网络模型权重文件地址output_weights_path和经过修改的第一层卷积名称“conv1_1C”;
(4)使用网络框架加载改变前的神经网络模型结构input_model和神经网络模型权重文件input_weights,存入结构体变量input_net;
(5)使用网络框架加载改变后的神经网络模型结构output_model和改变前的神经网络模型权重文件input_weights,存入结构体变量output_net;
(6)使用网络框架读取input_net中指定层conv1_1的权重数据,所述权重数据包括训练三通道图像样本数据集所获得的卷积系数和卷积偏置量;
(7)将步骤(6)的卷积系数在通道维度进行叠加,形成单通道卷积系数;
(8)构建新的偏置补偿矩阵BE,利用该偏置补偿矩阵BE将步骤(6)的卷积偏置量处理成单通道卷积偏置量;
(9)使用网络框架将步骤(7)、步骤(8)的计算结果赋值到output_net的指定位置,将output_net保存至output_weights_path的文件中,即修改完毕,所述output_net中指定层的权重数据为测试单通道图像样本数据的卷积系数和卷积偏置量。
所述步骤(6)的权重数据中,卷积系数weights_conv1_1_data记作D0,D0为4维矩阵,维度为3×3×3×N,N为conv1_1层的卷积核个数,D0中每个元素记作i为行坐标,j为列坐标,k为通道编号,i=1,2,3,j=1,2,3,k=1,2,3,n=1,...,N。
所述步骤(7)中,单通道卷积系数weights_conv1_1C_data记作D1,D1为4维矩阵,维度为3×3×1×N,N为conv1_1C层的卷积核个数,与conv1_1层的卷积个数相同,D1中每个元素记作i=1,2,3,j=1,2,3,n=1,...,N。
所述步骤(7)中,形成单通道卷积系数的公式如下:
所述步骤(6)的权重数据中,卷积偏置量weights_conv1_1_bias记作B0,B0为4维矩阵,维度为1×1×1×N,B0中每个元素记作B0n,n=1,...,N,N为conv1_1层的卷积核个数。
所述步骤(8)中,BE为4维矩阵,维度为1×1×3×N,数据矩阵BE中每个元素记作k为通道编号,k=1,2,3,n=1,...,N,N为conv1_1层的卷积核个数,BE中每个元素的数值根据训练样本图像数据集三个通道的均值和测试样本图像数据集单通道的均值确定。
设训练样本数据集图像数据三个通道的均值分别为M1、M2、M3,测试样本数据集图像数据单通道的均值为M0,BE中每个元素记作k=1,2,3,n=1,...,N;且N维度中每个元素等于{(M0-M1) (M0-M2) (M0-M3)},即
所述步骤(8)中,单通道卷积偏置量weights_conv1_1C_bias记作B1,B1为4维矩阵,维度为1×1×1×N,数据矩阵B1中每个元素记作B1n,n=1,...,N。
所述步骤(8)中,形成单通道卷积偏置量的公式如下:
与现有技术相比,本发明具有如下有益效果:
本发明通过对经三通道训练样本数据训练的网络模型权重文件进行分析整合,形成了新的单通道输入的网络模型权重文件,在完全等效的前提下解决了输入数据通道数不一致的问题,同时,生成的单通道输入网络模型和权重文件可以直接在嵌入式信息处理平台上部署,探测装置获取的原始图像数据无需经过通道复制操作,不需要占用多余的内存空间,缩短了处理时间,减轻了神经网络的计算量,降低了对信息处理资源造成的压力,可直接在单通道数据上完成实时目标检测识别。
附图说明
图1为本发明三通道输入图像、conv1_1卷积核与卷积特征层示意图;
图2为单通道输入图像、conv1_1卷积核与卷积特征层示意图;
图3为本发明方法流程图。
具体实施方式
本发明涉及一种针对迁移学习的神经网络模型输入通道整合方法,适用于基于卷积神经网络的各类通用目标检测识别算法和网路框架,实现异源训练数据与实际测试数据之间的数据格式统一。
一种针对迁移学习的神经网络模型输入通道整合方法,步骤如下:
步骤一:对网络模型描述文件中的数据输入层描述进行修改,删除原数据输入层描述,增加基于图像数据列表的数据输入层描述;并将待修改的第一个卷积层重命名;
本发明不限于特定的神经网络框架,针对主流框架tensorflow、caffe、pytorch均可实现,下面为具体描述,暂使用caffe框架为例。
针对训练样本数据集Φ,进行神经网络训练。除训练样本数据外,训练输入包括训练协议train.prototxt、测试协议test.prototxt和部署协议deploy.prototxt,训练结束后生成性能满足需求的模型权重文件weights.caffemodel。
首先,对部署协议deploy.prototxt(网络模型描述文件)进行修改,删除原数据输入层,增加基于图像数据列表的数据输入层描述:
然后,将网络模型描述文件中第一个卷积层conv1_1的名字(name字段)改为conv1_1C:
步骤二:读取神经网络模型权重文件weights.caffemodel,并对其进行修改,使对应的神经网络模型仅需要单通道数据作为输入;
修改步骤如下:
(1)根据修改所使用的处理程序语言类型,引用网络框架和数值计算库。例如,基于python语言编写的处理程序,使用caffe框架则import caffe,同时引用数值计算库numpy;
(2)指定改动前的神经网络模型描述文件地址input_model_path、神经网络模型权重文件地址input_weights_path和需要修改的第一层卷积名称“conv1_1”;
(3)指定改动后的神经网络模型描述文件地址output_model_path、神经网络模型权重文件地址output_weights_path和经过修改的第一层卷积名称“conv1_1C”;
(4)使用网络框架加载改变前的神经网络模型结构input_model和神经网络模型权重文件input_weights,存入结构体变量input_net;
(5)使用网络框架加载改变后的神经网络模型结构output_model和改变前的神经网络模型权重文件input_weights,存入结构体变量output_net;
(6)使用网络框架读取input_net中指定层conv1_1的权重数据,权重数据包括两部分,分别是卷积系数weights_conv1_1_data,(记作D0)和卷积偏置量weights_conv1_1_bias(记作B0);D0为4维矩阵,维度为3×3×3×N,N为conv1_1层的卷积核个数,D0中每个元素记作i为行坐标,j为列坐标,k为通道编号,i=1,2,3,j=1,2,3,k=1,2,3,n=1,...,N;B0为4维矩阵,维度为1×1×1×N,B0中每个元素记作B0n,n=1,...,N;
(7)设训练样本图像数据集三个通道的均值分别为M1、M2、M3,测试样本图像数据集单通道的均值为M0,则构建新的偏置补偿矩阵BE,BE为4维矩阵,维度为1×1×3×N,数据矩阵BE中每个元素记作k=1,2,3,n=1,...,N;且N维度中每个元素等于{(M0-M1)(M0-M2) (M0-M3)},即
(8)计算output_net中指定层的权重数据,权重数据包括两部分,分别是卷积系数weights_conv1_1C_data(记作D1)和卷积偏置量weights_conv1_1C_bias(记作B1);D1为4维矩阵,维度为3×3×1×N,N为conv1_1C层的卷积核个数,与conv1_1层的卷积个数相同,D1中每个元素记作i=1,2,3,j=1,2,3,n=1,...,N;B1为4维矩阵,维度为1×1×1×N,数据矩阵B1中每个元素记作B1n,n=1,...,N。具体计算公式为
(9)使用网络框架将上述计算结果赋值到output_net的指定位置,将output_net保存至output_weights_path的文件中,即修改完毕;
步骤三:将output_weights_path处的权重文件使用步骤一修改的网络模型描述文件进行单通道图像数据的实时目标检测识别测试,完成神经网络模型输入通道整合。
图1为本发明三通道输入图像、conv1_1卷积核与卷积特征层示意图。图2为单通道输入图像、conv1_1卷积核与卷积特征层示意图。图3为本发明方法流程图。
本发明通过对经三通道训练样本数据训练的网络模型权重文件进行分析整合,形成了新的单通道输入的网络模型权重文件,在完全等效的前提下解决了输入数据通道数不一致的问题,同时,生成的单通道输入网络模型和权重文件可以直接在嵌入式信息处理平台上部署,探测装置获取的原始图像数据无需经过通道复制操作,不需要占用多余的内存空间,缩短了处理时间,减轻了神经网络的计算量,降低了对信息处理资源造成的压力,可直接在单通道数据上完成实时目标检测识别。
本发明未详细说明部分属本领域技术人员公知常识。
Claims (6)
1.一种针对迁移学习的神经网络模型输入通道整合方法,其特征在于步骤如下:
步骤一:对网络模型描述文件中的数据输入层描述进行修改,删除原数据输入层描述,增加基于图像数据列表的数据输入层描述;并将待修改的第一个卷积层重命名;
步骤二:读取神经网络模型权重文件,并对其进行修改,使对应的神经网络模型仅需要单通道数据作为输入;
所述步骤二的实现方法如下:
(1)根据修改所使用的处理程序语言类型,引用网络框架和数值计算库;
(2)指定改动前的神经网络模型描述文件地址input_model_path、神经网络模型权重文件地址input_weights_path和需要修改的第一层卷积名称“conv1_1”;
(3)指定改动后的神经网络模型描述文件地址output_model_path、神经网络模型权重文件地址output_weights_path和经过修改的第一层卷积名称“conv1_1C”;
(4)使用网络框架加载改变前的神经网络模型结构input_model和神经网络模型权重文件input_weights,存入结构体变量input_net;
(5)使用网络框架加载改变后的神经网络模型结构output_model和改变前的神经网络模型权重文件input_weights,存入结构体变量output_net;
(6)使用网络框架读取input_net中指定层conv1_1的权重数据,所述权重数据包括训练三通道图像样本数据集所获得的卷积系数和卷积偏置量;
权重数据中,卷积系数weights_conv1_1_data记作D0,D0为4维矩阵,维度为3×3×3×N,N为conv1_1层的卷积核个数,D0中每个元素记作i为行坐标,j为列坐标,k为通道编号,i=1,2,3,j=1,2,3,k=1,2,3,n=1,...,N;
(7)将步骤(6)的卷积系数在通道维度进行叠加,形成单通道卷积系数;
单通道卷积系数weights_conv1_1C_data记作D1,D1为4维矩阵,维度为3×3×1×N,N为conv1_1C层的卷积核个数,与conv1_1层的卷积个数相同,D1中每个元素记作i=1,2,3,j=1,2,3,n=1,...,N;
形成单通道卷积系数的公式如下:
(8)构建新的偏置补偿矩阵BE,利用该偏置补偿矩阵BE将步骤(6)的卷积偏置量处理成单通道卷积偏置量;
(9)使用网络框架将步骤(7)、步骤(8)的计算结果赋值到output_net的指定位置,将output_net保存至output_weights_path的文件中,即修改完毕,所述output_net中指定层的权重数据为测试单通道图像样本数据的卷积系数和卷积偏置量;
步骤三:将修改后的权重文件使用步骤一修改的网络模型描述文件进行单通道图像数据的实时目标检测识别测试,完成神经网络模型输入通道整合。
2.根据权利要求1所述的一种针对迁移学习的神经网络模型输入通道整合方法,其特征在于:所述步骤(6)的权重数据中,卷积偏置量weights_conv1_1_bias记作B0,B0为4维矩阵,维度为1×1×1×N,B0中每个元素记作B0n,n=1,...,N,N为conv1_1层的卷积核个数。
3.根据权利要求2所述的一种针对迁移学习的神经网络模型输入通道整合方法,其特征在于:所述步骤(8)中,BE为4维矩阵,维度为1×1×3×N,数据矩阵BE中每个元素记作BEnk,k为通道编号,k=1,2,3,n=1,...,N,N为conv1_1层的卷积核个数,BE中每个元素的数值根据训练样本图像数据集三个通道的均值和测试样本图像数据集单通道的均值确定。
4.根据权利要求3所述的一种针对迁移学习的神经网络模型输入通道整合方法,其特征在于:设训练样本数据集图像数据三个通道的均值分别为M1、M2、M3,测试样本数据集图像数据单通道的均值为M0,BE中每个元素记作且N维度中每个元素等于{(M0-M1)(M0-M2)(M0-M3)},即
5.根据权利要求4所述的一种针对迁移学习的神经网络模型输入通道整合方法,其特征在于:所述步骤(8)中,单通道卷积偏置量weights_conv1_1C_bias记作B1,B1为4维矩阵,维度为1×1×1×N,数据矩阵B1中每个元素记作B1n,n=1,...,N。
6.根据权利要求5所述的一种针对迁移学习的神经网络模型输入通道整合方法,其特征在于:所述步骤(8)中,形成单通道卷积偏置量的公式如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010404179.2A CN111652352B (zh) | 2020-05-13 | 2020-05-13 | 一种针对迁移学习的神经网络模型输入通道整合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010404179.2A CN111652352B (zh) | 2020-05-13 | 2020-05-13 | 一种针对迁移学习的神经网络模型输入通道整合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111652352A CN111652352A (zh) | 2020-09-11 |
CN111652352B true CN111652352B (zh) | 2023-08-04 |
Family
ID=72349637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010404179.2A Active CN111652352B (zh) | 2020-05-13 | 2020-05-13 | 一种针对迁移学习的神经网络模型输入通道整合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111652352B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112308883A (zh) * | 2020-11-26 | 2021-02-02 | 哈尔滨工程大学 | 一种基于可见光和红外图像的多船舶融合跟踪方法 |
CN113076895B (zh) * | 2021-04-09 | 2022-08-02 | 太原理工大学 | 一种基于红外计算机视觉的输送带纵向损伤振动感知方法 |
CN113516580B (zh) * | 2021-09-14 | 2021-12-28 | 翱捷智能科技(上海)有限公司 | 提高神经网络图像处理效率的方法、装置及一种npu |
WO2023051377A1 (zh) * | 2021-09-30 | 2023-04-06 | 北京地平线信息技术有限公司 | 图像数据的脱敏方法和装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107862741A (zh) * | 2017-12-10 | 2018-03-30 | 中国海洋大学 | 一种基于深度学习的单帧图像三维重建装置及方法 |
CN109389037A (zh) * | 2018-08-30 | 2019-02-26 | 中国地质大学(武汉) | 一种基于深度森林和迁移学习的情感分类方法 |
CN109508634A (zh) * | 2018-09-30 | 2019-03-22 | 上海鹰觉科技有限公司 | 基于迁移学习的船舶类型识别方法及系统 |
CN109978136A (zh) * | 2019-03-05 | 2019-07-05 | 厦门美图之家科技有限公司 | 一种训练目标网络的方法、计算设备及存储介质 |
CN110494890A (zh) * | 2017-05-24 | 2019-11-22 | 赫尔实验室有限公司 | 卷积神经网络从可见颜色(rbg)到红外(ir)域的迁移学习 |
CN111127360A (zh) * | 2019-12-20 | 2020-05-08 | 东南大学 | 一种基于自动编码器的灰度图像迁移学习方法 |
-
2020
- 2020-05-13 CN CN202010404179.2A patent/CN111652352B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110494890A (zh) * | 2017-05-24 | 2019-11-22 | 赫尔实验室有限公司 | 卷积神经网络从可见颜色(rbg)到红外(ir)域的迁移学习 |
CN107862741A (zh) * | 2017-12-10 | 2018-03-30 | 中国海洋大学 | 一种基于深度学习的单帧图像三维重建装置及方法 |
CN109389037A (zh) * | 2018-08-30 | 2019-02-26 | 中国地质大学(武汉) | 一种基于深度森林和迁移学习的情感分类方法 |
CN109508634A (zh) * | 2018-09-30 | 2019-03-22 | 上海鹰觉科技有限公司 | 基于迁移学习的船舶类型识别方法及系统 |
CN109978136A (zh) * | 2019-03-05 | 2019-07-05 | 厦门美图之家科技有限公司 | 一种训练目标网络的方法、计算设备及存储介质 |
CN111127360A (zh) * | 2019-12-20 | 2020-05-08 | 东南大学 | 一种基于自动编码器的灰度图像迁移学习方法 |
Non-Patent Citations (1)
Title |
---|
李彦枝 ; 陈昌红 ; 谢晓芳 ; .基于改进卷积神经网络的极光图像分类算法研究.南京邮电大学学报(自然科学版).2019,(第06期),86-93. * |
Also Published As
Publication number | Publication date |
---|---|
CN111652352A (zh) | 2020-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111652352B (zh) | 一种针对迁移学习的神经网络模型输入通道整合方法 | |
CN111739075B (zh) | 一种结合多尺度注意力的深层网络肺部纹理识别方法 | |
DE102018132069A1 (de) | Äquivariante Orientierungspunkt-Transformation für Orientierungspunkt-Lokalisierung | |
CN110516095B (zh) | 基于语义迁移的弱监督深度哈希社交图像检索方法和系统 | |
CN110555399B (zh) | 手指静脉识别方法、装置、计算机设备及可读存储介质 | |
CN108182260B (zh) | 一种基于语义选择的多变量时间序列分类方法 | |
CN109409327B (zh) | 基于端到端深度神经网络的rru模块物件位姿检测方法 | |
US20220156944A1 (en) | Apparatus and method with video processing | |
CN112132776A (zh) | 基于联邦学习的视觉检测方法及系统、存储介质、设备 | |
CN114514561A (zh) | 神经光传输 | |
CN114331985A (zh) | 电子元器件划痕缺陷检测方法、装置和计算机设备 | |
CN114324336B (zh) | 一种大豆全生育期生物量无损测量方法 | |
CN111242870A (zh) | 一种基于深度学习知识蒸馏技术的低光图像增强方法 | |
CN113420593A (zh) | 基于混合推理网络的小样本sar自动目标识别方法 | |
CN111191690B (zh) | 基于迁移学习的空间目标自主识别方法、电子设备和存储介质 | |
CN112633246A (zh) | 开放场景中多场景识别方法、系统、设备及存储介质 | |
CN114663662B (zh) | 超参数搜索方法、装置、计算机设备和存储介质 | |
CN112801201B (zh) | 一种基于标准化的深度学习视觉惯导组合导航设计方法 | |
US20220189806A1 (en) | Estimating heights of defects in a wafer | |
CN113642232B (zh) | 一种面波智能反演勘探方法、存储介质及终端设备 | |
Chen et al. | Alfpn: adaptive learning feature pyramid network for small object detection | |
CN114386527A (zh) | 一种用于域自适应目标检测的类别正则化方法及系统 | |
CN114299500A (zh) | 识别方法、装置、计算机设备和存储介质 | |
Bao et al. | Research on the Detection and Analysis of Students’ Classroom Behavioral Features Based on Deep CNNs | |
Suri et al. | Project# 2 cnns and pneumonia detection from chest x-rays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |