CN113971427B - 基于改进模型的岩屑识别方法 - Google Patents
基于改进模型的岩屑识别方法 Download PDFInfo
- Publication number
- CN113971427B CN113971427B CN202010718897.7A CN202010718897A CN113971427B CN 113971427 B CN113971427 B CN 113971427B CN 202010718897 A CN202010718897 A CN 202010718897A CN 113971427 B CN113971427 B CN 113971427B
- Authority
- CN
- China
- Prior art keywords
- model
- unet
- rock debris
- network
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于改进模型的岩屑识别方法,该方法基于Unet模型结构,运用了金字塔池化模块聚合不同区域的上下文特征信息,以充分利用全局信息。本发明模型采用了残差网络ResNeXt101,在提高岩屑识别准确率前提下,减少了超参数数量。该模型采用了焦点损失函数,在一定程度上解决了岩屑类别不平衡的问题。同时运用深度可分离卷积代替传统卷积,较大程度减少网络的参数以及预测的时间。实验结果表明,本发明模型得到的识别准确率对比同类先进算法有一定的提升,对岩屑识别的结果更加准确。
Description
技术领域
本发明涉及计算机视觉领域中的岩屑识别问题,尤其涉及一种基于改进模型的岩屑识别方法。
背景技术
岩屑是在钻井过程中产生的岩石的碎块,其种类繁多,按照岩屑的组成成分可以将岩石大致分成沉积岩、变质岩和岩浆岩。岩屑是岩屑录井的直观材料,而岩屑识别工作是岩屑录井的主要工作。对底层岩石岩性的识别工作可以反映出相关的地段地质的地层特性,从而能帮助勘探地层的工作者分析地层的具体特性。岩性的准确识别是地质人员储层特征研究和地质建模的基础。
目前国内对岩屑的识别鉴定传统的做法是采用人工标记的方式对岩屑进行采集分析。这需要专业人员来识别,并且工作量巨大,人工方式的标记对岩屑提取的信息与分析的结论存在不稳定的误差,对地质专家分析地质存在较大影响。绝大多数在岩屑录井上采用数字图像识别和机器学习等技术手段。运用数字图像处理技术分析岩屑图像,从而得到岩屑的纹理、颜色、空洞等特征,然后利用这些特征来用作区分岩屑岩性的识别分类。虽然利用数字图像处理等方法解决了传统特定方法中人为标记岩性的问题,但是由于这些方法需要在分类时人为设置相应的特征,在某些程度上限制了识别的准确度。随着深度神经网络广泛被应用于计算机视觉领域,且不同的实验场景推出了不同深度神经网络模型,如FCN、DeconvNet、VGG等,通过将较低的分辨率图片的特征映射到像素级尺度对图片中的每个像素进行识别,从而大幅度提升了图像识别的水平。但随着深度神经网络模型深度增加,增大了网络模型的复杂度,以及增加了岩屑识别所耗费时长,对于岩屑的识别准确率也有很大的提升空间。
本发明为了提高岩屑识别算法的准确率和效率,设计了一种基于改进的岩屑识别模型,本模型主要特点是融合了传统的Unet网络、金字塔池化模块、深度残差网络ResNeXt101以及焦点损失函数。
发明内容
本发明提出了一种基于改进模型的岩屑识别方法,首先通过采集设备采集所需要的样本,制作相应的标签,最后将其输入到改进的P-Unet模型,利用P-Unet模型对岩屑进行识别,P-Unet模型结构图如附图1。
本发明通过以下技术方案来实现上述目的:
(1)利用采集软件对岩屑样本的采集,从而获得所需样本;
(2)将(1)的样本通过人工的方式对样本进行人为标记,将样本标记之后转为灰度图得到所需标签;
(3)在改进的P-Unet模型中采用了深度残差网络ResNeXt101、焦点损失函数、深度可分离卷积以及金字塔池化模块;
(4)将(1)和(2)中的样本和标签送入步骤(3)中的P-Unet模型进行训练,得到训练好的模型权重之后,再对岩屑样本进行分类。
附图说明
图1 P-Unet模型结构图;
图2升级版的ResNeXt和ResNet结构对比图;
图3金字塔池化模块结构图;
图4传统卷积核、深度卷积核、点卷积核;
具体实施方式
下面结合附图对本发明作进一步说明:
基于改进模型的岩屑识别具体方法如下:
首先通过采集软件对岩屑样本进行采集,再通过将采集得到的图片进行裁剪得到初步样本。再将样本经过旋转、镜像、平移等数据增强操作的方式得到最终所需的数据集,总共得到570张512×512的岩屑的训练集样本,以及通过随机选取得到的60张512×512的岩屑的测试集样本。得到的数据集之后,用PhotoShop软件将样本中不同岩屑类别用不同RGB值进行标记,在采集的岩屑样本中总共分为7类,其中本发明将背景(背景指的是装岩屑的盒子)也当成一类,将背景的RGB值设置为全0。将原始样本用RGB颜色标记之后得到的标签是彩色图片,然后将得到的彩色图片转换为灰度图,所得到的灰度图即为训练所需标签。
然后实现了如附图3的金字塔池化模块模型结构,该模块很大程度上解决了上下层通过卷积特征提取后特征丢失的问题。金字塔池化模块融合了4种不同金字塔尺度的特征,附图3中Level1显示最粗略的全局池化后产生的层级,该层是单个特征输出。附图3中Level2、Level3和Level4是不同尺度池化后的特征,能获取不同的全局范围的特征。为了获取全局特征的权重,假如金字塔总共有n个不同的级别,则在池化之后产生的每一个级别分别进行卷积将每个级别的通道数变为原来的1/n。将每个级别卷积之后所得到的特征再通过双线性插值的方式得到与输入尺寸大小相同的特征,最后将得到每个级别的特征与输入的特征拼接在一起,则实现了金字塔池化模块的整个过程。其中金字塔池化等级的池化核的大小是可以人为的设定,池化核的不同的大小对应不同的级别,池化核的大小与输入的尺寸有关。
在P-Unet模型中采用了残差网络ResNeXt101网络中的4层作为P-Unet模型下采样的过程,具体的4层为表1中Conv2、Conv3、Conv4和Conv5。利用了升级版的残差网络ResNeXt101来代替传统残差网络ResNet,两者的区别主要在于基本块结构发生了改进。附图2中长方形中的第一个数字表示参加卷积操作的输入的通道数,长方形中的第二个表达式中的相同数字表示卷积操作卷积核的大小,第三个数字表示卷积的通道数,如附图2(a)显示了ResNet结构中的一个基本块结构,附图2(b)表示了ResNeXt结构中的对应ResNet结构的一个基本块结构。在附图2中引入了一个名叫基数(cardinality)的超参数,指的是独立路径的数量,通过这个参数可以调整模型的容量,在附图2(b)中基数为32,通过扩大基数值,网络模型的准确率能得到一定的提升。
表1ResNeXt101结构与ResNet101的结构对比
P-Unet模型中采用的焦点损失函数是在交叉熵损失函数基础上进行改进得到的损失函数,焦点损失函数表示为:
FL(p)=-α×(1-p)γ×log(p) (1)
从公式(1)可以看到焦点损失函数相比交叉熵损失函数引入了两个超参数α和γ,α是用来平衡样本数量,即可以平衡正负样本本身的比例不均衡的问题,γ是用来调节简单样本和复杂样本所占的权重,即调节简单样本权重降低的速率,当γ增加时,调整因子的影响也在增加。当γ=0且α=1即为交叉熵损失函数,对于交叉熵损失函数,正样本的输出概率越高损失越小,负样本输出概率越小损失越小。岩屑识别是多分类问题,因此焦点损失函数中α是一个数组。数组大小为岩屑类别个数,分别代表着每一个类别对应的权重。普通交叉损失函数在大量简单样本的迭代过程中存在着比较缓慢而且可能无法达到最优的问题。焦点损失函数能有效的解决交叉损失函数所不能解决的样本比例不平衡的问题以及上述问题。
P-Unet模型中采用了深度可分离卷积,大大减少了网络参数量,从而减少了预测和训练的时间。深度可分离卷积主要是将传统的卷积分为两部分,一部分是深度卷积,另一部分为卷积核大小1×1的卷积。如附图4所示,附图4中(a)、(b)、(c)图分别表示为传统卷积、深度卷积和1×1的卷积。传统卷积的卷积核是对输入的特征图所有通道设计的,即正常卷积对特征图的所有通道同时卷积,无论多少个通道只输出一个数。深度可分离卷积将正常的卷积过程分为两步,假设输入有N个通道,第一步是用N个卷积对N个通道分别做卷积,这样可以得到N个数,第二步是将第一步得到的特征图再通过1×1×N的卷积核进行卷积,然后得到了一个数。假设输入的特征图的尺寸为W×W×N,输出特征图的大小为W×W×N,卷积核的大小为H×H,则通过传统卷积的性质可知该计算量为:
H×H×M×N×W×W(2)
深度可分离卷积的计算量为上述两步的计算量之和,第一步的深度卷积的计算量为:
H×H×M×W×W(3)第二步的1×1卷积的计算量为:
W×W×M×N(4)根据上述的计算量得到深度可分离卷积和传统卷积之比,如式(5)所示:
假设卷积核大小为C×C,可以得到传统卷积的计算量大致是深度可分离卷积的C2倍。
在实现上述相应模块之后,然后具体的P-Unet模型搭建过程如下:改进的P-Unet模型采用了Unet网络模型编码和解码过程,改进的P-Unet模型利用了ResNeXt101网络其中的4层作为本模型编码的过程。本发明模型利用了金字塔池化模块,该模块能对每一层不同区域的特征进行提取,能充分利用全局特征。首先将P-Unet模型的最后一层结果直接输入金字塔池化模块,输入特征通过该模块的多尺度的池化过程得到不同尺度的特征,然后通过双线性插值方法得到指定大小的特征。最后将不同尺度级别的特征与输入特征拼接在一起,最后得到上采样的第一层。然后将下采样的第三层结果经过金字塔池化模块,将上述得到的结果与上采样的第一层连接,接着将连接后的结果进行反卷积,反卷积之后就得到了上采样的第二层,多次经过上述上采样操作得到上采样的所有层,就实现了P-Unet模型。最后将模型中的传统卷积替换成深度可分离卷积,并且在改进的模型中用焦点损失函数进行调参。
得到P-Unet模型之后。最后将人为制定得到的训练的标签和样本送入构建好的P-Unet模型当中进行训练,本发明采用的客观评价指标是准确率,具体公式如下:
式中:PN表示预测值与标签值相同的像素;FN表示预测值与标签值不同的像素。
从表2看出:改进P-Unet网络准确率相比Linknet网络、传统的Unet网络分别上升了2.31%、2.65%。同时对比了采用不同残差网络得到的准确率,运用了ResNeXt101的Unet网络准确率比运用了ResNet101的Unet网络准确率上升了0.16%。改进的模型可以更加准确的预测出岩屑的种类。
表2本发明模型与其他模型准确率对比
根据表2和表3可知使用传统卷积的P-Unet网络准确率高,但是模型的复杂度高。本发明中使用深度可分离卷积替换传统卷积之后,虽然准确率下降了0.41%,但使用深度可分离卷积的P-Unet网络训练参数大约是使用传统卷积的P-Unet网络训练参数的1/3倍,网络的复杂度也相应大大降低。
表3本发明模型与其他模型参数的对比
Claims (3)
1.基于改进模型的岩屑识别方法,其特征在于包括以下步骤:
(1)利用采集软件对岩屑样本进行采集,从而获得所需样本;
(2)将(1)中的样本借助PhotoShop软件将不同岩屑种类用不同RGB值进行人工标记,接着将得到的彩色样本标签转为灰度图得到所需的灰度标签;
(3)在传统的Unet模型基础上,采用深度残差网络ResNeXt101、焦点损失函数、深度可分离卷积以及金字塔池化模块,得到改进的P-Unet模型;
(4)将(1)和(2)中的样本和标签送入步骤(3)中的P-Unet模型进行训练,得到训练好的模型权重之后,再对岩屑样本进行识别分类。
2.根据权利要求1所论述的方法,其特征在于步骤(3)中P-Unet模型采用了深度残差网络ResNeXt101、焦点损失函数、深度可分离卷积以及金字塔池化模块,其主要的特征如下:
特征1:改进的P-Unet模型采用了Unet网络模型编码和解码过程,在改进的P-Unet模型中,利用了ResNeXt101网络中间的4层作为本模型编码的过程;
特征2:利用了金字塔池化模块,该模块能对每一层不同区域的特征进行提取,能充分利用全局特征;首先将P-Unet模型的最后一层结果直接输入金字塔池化模块,输入特征通过该模块的多尺度池化过程得到不同尺度的特征,然后通过双线性插值方法得到指定大小的特征;最后将不同尺度级别的特征与输入特征拼接在一起,最后得到上采样的第一层,然后将下采样的第三层结果经过金字塔池化模块,将上述得到的结果与上采样的第一层连接,接着将连接后的结果进行反卷积,反卷积之后就得到了上采样的第二层,多次经过上述上采样操作得到上采样的所有层,就实现了P-Unet模型;
特征3:将P-Unet模型中的传统卷积替换成深度可分离卷积;
特征4:P-Unet模型中用焦点损失函数进行调参。
3.根据权利要求1所论述的方法,利用了P-Unet网络模型进行岩屑识别,采用了深度可分离卷积,能大量减少网络模型参数,利用焦点损失函数能一定程度解决岩屑类别不平衡的问题。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010718897.7A CN113971427B (zh) | 2020-07-23 | 2020-07-23 | 基于改进模型的岩屑识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010718897.7A CN113971427B (zh) | 2020-07-23 | 2020-07-23 | 基于改进模型的岩屑识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113971427A CN113971427A (zh) | 2022-01-25 |
CN113971427B true CN113971427B (zh) | 2023-08-18 |
Family
ID=79585394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010718897.7A Active CN113971427B (zh) | 2020-07-23 | 2020-07-23 | 基于改进模型的岩屑识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113971427B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114863187B (zh) * | 2022-06-13 | 2024-06-18 | 中国石油天然气集团有限公司 | 一种岩屑类型识别方法、装置、电子设备及存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510012A (zh) * | 2018-05-04 | 2018-09-07 | 四川大学 | 一种基于多尺度特征图的目标快速检测方法 |
WO2018201180A1 (en) * | 2017-05-02 | 2018-11-08 | PETRA Data Science Pty Ltd | Automated, real time processing, analysis, mapping and reporting of data for the detection of geotechnical features |
CN109447994A (zh) * | 2018-11-05 | 2019-03-08 | 陕西师范大学 | 结合完全残差与特征融合的遥感图像分割方法 |
EP3480730A1 (en) * | 2017-11-02 | 2019-05-08 | Siemens Healthcare GmbH | 3d anisotropic hybrid network: transferring convolutional features from 2d images to 3d anisotropic volumes |
CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
CN110458169A (zh) * | 2019-07-22 | 2019-11-15 | 中海油信息科技有限公司 | 一种岩屑ct图像特征识别方法 |
CN110675379A (zh) * | 2019-09-23 | 2020-01-10 | 河南工业大学 | 一种融合空洞卷积的u形脑肿瘤分割网络 |
CN110889449A (zh) * | 2019-11-27 | 2020-03-17 | 中国人民解放军国防科技大学 | 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法 |
WO2020078268A1 (zh) * | 2018-10-16 | 2020-04-23 | 腾讯科技(深圳)有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
CN111080654A (zh) * | 2019-11-18 | 2020-04-28 | 中国科学院深圳先进技术研究院 | 图像的病变区域分割方法、装置及服务器 |
CN111145188A (zh) * | 2019-12-25 | 2020-05-12 | 西安电子科技大学 | 一种基于ResNet与UNet模型的图像分割方法 |
CN111192245A (zh) * | 2019-12-26 | 2020-05-22 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
CN111191741A (zh) * | 2020-01-15 | 2020-05-22 | 中国地质调查局发展研究中心 | 一种岩石识别深度学习模型岩石分类约束继承性损失方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10370964B2 (en) * | 2016-03-11 | 2019-08-06 | Baker Hughes, A Ge Company, Llc | Estimation of formation properties based on borehole fluid and drilling logs |
-
2020
- 2020-07-23 CN CN202010718897.7A patent/CN113971427B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018201180A1 (en) * | 2017-05-02 | 2018-11-08 | PETRA Data Science Pty Ltd | Automated, real time processing, analysis, mapping and reporting of data for the detection of geotechnical features |
EP3480730A1 (en) * | 2017-11-02 | 2019-05-08 | Siemens Healthcare GmbH | 3d anisotropic hybrid network: transferring convolutional features from 2d images to 3d anisotropic volumes |
CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
CN108510012A (zh) * | 2018-05-04 | 2018-09-07 | 四川大学 | 一种基于多尺度特征图的目标快速检测方法 |
WO2020078268A1 (zh) * | 2018-10-16 | 2020-04-23 | 腾讯科技(深圳)有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
CN109447994A (zh) * | 2018-11-05 | 2019-03-08 | 陕西师范大学 | 结合完全残差与特征融合的遥感图像分割方法 |
CN110458169A (zh) * | 2019-07-22 | 2019-11-15 | 中海油信息科技有限公司 | 一种岩屑ct图像特征识别方法 |
CN110675379A (zh) * | 2019-09-23 | 2020-01-10 | 河南工业大学 | 一种融合空洞卷积的u形脑肿瘤分割网络 |
CN111080654A (zh) * | 2019-11-18 | 2020-04-28 | 中国科学院深圳先进技术研究院 | 图像的病变区域分割方法、装置及服务器 |
CN110889449A (zh) * | 2019-11-27 | 2020-03-17 | 中国人民解放军国防科技大学 | 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法 |
CN111145188A (zh) * | 2019-12-25 | 2020-05-12 | 西安电子科技大学 | 一种基于ResNet与UNet模型的图像分割方法 |
CN111192245A (zh) * | 2019-12-26 | 2020-05-22 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
CN111191741A (zh) * | 2020-01-15 | 2020-05-22 | 中国地质调查局发展研究中心 | 一种岩石识别深度学习模型岩石分类约束继承性损失方法 |
Non-Patent Citations (1)
Title |
---|
郑尊凯.深度学习模型下岩屑图像识别研究.《中国优秀硕士学位论文全文数据库 基础科学辑》.2019,(第(2019)12期),A011-63. * |
Also Published As
Publication number | Publication date |
---|---|
CN113971427A (zh) | 2022-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110135468B (zh) | 一种煤矸石的识别方法 | |
CN109447977B (zh) | 一种基于多光谱深度卷积神经网络的视觉缺陷检测方法 | |
CN108764138B (zh) | 一种基于多维多粒度级联森林的高原地区云雪分类方法 | |
CN110222681A (zh) | 一种基于卷积神经网络的铸件缺陷识别方法 | |
CN115829999A (zh) | 一种绝缘子缺陷检测模型生成方法、装置、设备和存储介质 | |
CN108446616B (zh) | 基于全卷积神经网络集成学习的道路提取方法 | |
CN112232328A (zh) | 基于卷积神经网络的遥感影像建筑区提取方法、装置 | |
CN109344891A (zh) | 一种基于深度神经网络的高光谱遥感数据分类方法 | |
CN113034506B (zh) | 遥感图像语义分割方法、装置、计算机设备和存储介质 | |
CN113344050A (zh) | 一种基于深度学习的岩性智能化识别方法及系统 | |
CN115909006B (zh) | 基于卷积Transformer的乳腺组织图像分类方法及系统 | |
CN112541926B (zh) | 一种基于改进FCN和DenseNet的歧义像素优化分割方法 | |
CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
CN111222545A (zh) | 基于线性规划增量学习的图像分类方法 | |
CN115359353A (zh) | 一种花卉识别分类方法及装置 | |
CN114359617A (zh) | 一种基于轻量级卷积神经网络识别岩石岩性的方法 | |
CN111738052A (zh) | 基于深度学习的多特征融合高光谱遥感地物分类方法 | |
CN113971427B (zh) | 基于改进模型的岩屑识别方法 | |
CN112926533A (zh) | 基于双向特征融合的光学遥感图像地物分类方法及系统 | |
CN116863217A (zh) | 一种野外露头岩石图像岩性识别方法 | |
CN115457327A (zh) | 基于视觉的烤后烟烟叶部位分类方法、装置及电子设备 | |
CN109002771A (zh) | 一种基于递归神经网络的遥感图像分类方法 | |
CN118037865A (zh) | 基于图像数据的城市及其组成元素色彩关联定量分析方法 | |
CN112784806A (zh) | 一种基于全卷积神经网络的含锂伟晶岩脉提取方法 | |
CN113538199B (zh) | 一种基于多层感知卷积和通道加权的图像隐写检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |