CN113313203B - 一种基于可拓理论和深度学习的医学图像分类方法 - Google Patents

一种基于可拓理论和深度学习的医学图像分类方法 Download PDF

Info

Publication number
CN113313203B
CN113313203B CN202110690614.7A CN202110690614A CN113313203B CN 113313203 B CN113313203 B CN 113313203B CN 202110690614 A CN202110690614 A CN 202110690614A CN 113313203 B CN113313203 B CN 113313203B
Authority
CN
China
Prior art keywords
image
extension
region
blue
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110690614.7A
Other languages
English (en)
Other versions
CN113313203A (zh
Inventor
潘海为
边晓菲
张可佳
陈春伶
崔倩娜
牟雪莲
滕腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202110690614.7A priority Critical patent/CN113313203B/zh
Publication of CN113313203A publication Critical patent/CN113313203A/zh
Application granted granted Critical
Publication of CN113313203B publication Critical patent/CN113313203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明属于图像识别技术领域,具体涉及一种基于可拓理论和深度学习的医学图像分类方法。本发明提供了融合医学领域知识、深度学习和精细化策略的分类方法,该方法结合了医学领域特征和深度学习特征,对医学图像进行快速、准确的分类。本发明利用可拓理论中可拓关联函数来检测蓝白结构的存在性,将医学图像初步分类为良性病图像和疑似恶性病图像,采用了基于YOLOv3的改进模型YoDyCK模型,可快速准确地提取疑似恶性病图像的深度学习特征,从而提高医学图像的最终分类准确度和效率。

Description

一种基于可拓理论和深度学习的医学图像分类方法
技术领域
本发明属于图像识别技术领域,具体涉及一种基于可拓理论和深度学习的医学图像分类方法。
背景技术
近年来医学图像的研究成为医学和计算机交叉学科研究的热点。随着医疗数字化设备的快速发展,医学图像被广泛应用于临床诊断过程中,因此医生对医学图像进行准确且快速的诊断尤为重要。对于医生来说,对医学图像进行分类是一项繁琐且耗时的工作。以皮肤病图像为例,在中国这样人口众多的国家,医生每天可能需要阅读数百张皮肤病图像。从每张图像中获取诊断信息大约需要5-10分钟。这对医生来说是一项非常繁重的工作,将花费他们大量的时间,且易导致误诊率的增加。因此基于可拓理论和深度学习的医学图像分类模型具有较高的学术价值和实际应用前景。
目前,国内外的医学图像分类方法主要分为传统方法与深度学习方法。传统方法,基于图像的颜色和纹理等特征,提出了颜色直方图等方法,但是这些方法的局限性较大,无法对医学图像分类的指征做全面提取,且工作量较大,费时费力。深度学习方法,能较好的提取图像的颜色和纹理等特征,提升图像分类的效率,然而部分重要医学领域特征无法被有效利用。因此,如何将医学领域特征与深度学习特征进行有效的融合,快速的对医学图像进行准确的分类是现有技术中需要解决的主要技术问题。
发明内容
本发明的目的在于提供能够有效提取、融合医学领域特征与深度学习领域特征,准确、高效地进行医学图像分类的一种基于可拓理论和深度学习的医学图像分类方法。
本发明的目的通过如下技术方案来实现:
包括以下步骤:
步骤1:获取三种不同类别的医学图像,筛选每类医学图像清晰的等量样本数据,实现医学图像样本的均衡,获取医学图像样本集;
步骤2:针对医学图像颜色特点,将样本图像进行R、G、B三通道转化,通过B、G通道结果的差值完成图像的颜色增强,获取Bg像素矩阵;
步骤3:利用平均池化操作对颜色增强后的图像像素矩阵进行降噪降维处理,减弱像素间误差,得到Bg-avg像素矩阵;
步骤4:利用基于可拓理论的分类器对图像进行第一阶段的分类,将图像初步分为良性病图像和疑似恶性病图像,得到第一阶段分类结果集;
步骤4.1:针对Bg-avg像素矩阵,确定蓝白结构区域的经典域U′bw、蓝白结构区域的节域Ubw、其他病变区域的经典域U′o、其他病变区域的节域Uo、健康区域的经典域U′hs、健康区域的节域Uhs
步骤4.2:根据可拓距离公式,分别计算像素区间与蓝白结构区域、其他病变区域以及健康区域在经典域中的可拓距离,记为ρm(Xij,U′m);分别计算各像素区间与蓝白结构区域、其他病变区域以及健康区域在节域中的可拓距离,记为ρm(Xij,Um);
Figure BDA0003126562240000021
Figure BDA0003126562240000022
其中,Xij为Bg-avg像素矩阵中位置(i,j)的像素区间;m∈{bw,o,hs};
步骤4.3:根据可拓位值公式,分别计算各像素区间与蓝白结构区域、其他病变区域以及健康区域的位值,记为Dm(Xij,U′m,Um);
Figure BDA0003126562240000023
步骤4.4:利用可拓关联函数公式,分别计算各像素区间与蓝白结构区域、其他病变区域以及健康区域的关联度,记为Km(Xij);
Figure BDA0003126562240000024
步骤4.5:根据关联度值,利用可拓关联函数的分类原理对图像进行第一阶段的分类;
若maxKm(Xij)=Kbw(Xij),则判定对应像素位于蓝白结构区域内;
若maxKm(Xij)=Ko(Xij),则判定对应像素位于其他病变区域内;
若maxKm(Xij)=Khs(Xij),则判定对应像素位于健康区域内;
步骤5:将第一阶段的结果输入到基于深度学习的第二阶段分类器中,使用YOLOv3对第一阶段的良性结果集进行分类;使用YoDyCK对第一阶段的疑似恶性结果集进行分类,合并第二阶段分类输出,最终得到图像分类结果。。
本发明的有益效果在于:
本发明提供了融合医学领域知识、深度学习和精细化策略的分类方法,该方法结合了医学领域特征和深度学习特征,对医学图像进行快速、准确的分类。本发明利用可拓理论中可拓关联函数来检测蓝白结构的存在性,将医学图像初步分类为良性病图像和疑似恶性病图像,采用了基于YOLOv3的改进模型YoDyCK模型,可快速准确地提取疑似恶性病图像的深度学习特征,从而提高医学图像的最终分类准确度和效率。
附图说明
图1为本发明的整体架构图。
图2为本发明中第二阶段分类器的框架图。
图3为本发明中第二阶段分类器的检测过程图。
图4为本发明与其他方法的准确率比较图。
图5为本发明与其他方法的训练时间比较图。
图6为本发明的分类结果图。
具体实施方式
下面结合附图对本发明做进一步描述。
本发明属于图像识别技术领域,具体涉及一种基于可拓理论和深度学习的医学图像分类模型,主要以可拓理论和深度学习为理论基础。
一种基于可拓理论和深度学习的医学图像分类方法,包括以下步骤:
步骤1:获取三种不同类别的医学图像,筛选每类医学图像清晰的等量样本数据,实现医学图像样本的均衡,获取医学图像样本集;
步骤2:针对医学图像颜色特点,将样本图像进行R、G、B三通道转化,通过B、G通道结果的差值完成图像的颜色增强,获取Bg像素矩阵;
步骤3:利用平均池化操作对颜色增强后的图像像素矩阵进行降噪降维处理,减弱像素间误差,得到Bg-avg像素矩阵;
步骤4:利用基于可拓理论的分类器对图像进行第一阶段的分类,将图像初步分为良性病图像和疑似恶性病图像,得到第一阶段分类结果集;
步骤4.1:针对Bg-avg像素矩阵,确定蓝白结构区域的经典域U′bw、蓝白结构区域的节域Ubw、其他病变区域的经典域U′o、其他病变区域的节域Uo、健康区域的经典域U′hs、健康区域的节域Uhs
步骤4.2:根据可拓距离公式,分别计算像素区间与蓝白结构区域、其他病变区域以及健康区域在经典域中的可拓距离,记为ρm(Xij,U′m);分别计算各像素区间与蓝白结构区域、其他病变区域以及健康区域在节域中的可拓距离,记为ρm(Xij,Um);
Figure BDA0003126562240000041
Figure BDA0003126562240000042
其中,Xij为Bg-avg像素矩阵中位置(i,j)的像素区间;m∈{bw,o,hs};
步骤4.3:根据可拓位值公式,分别计算各像素区间与蓝白结构区域、其他病变区域以及健康区域的位值,记为Dm(Xij,U′m,Um);
Figure BDA0003126562240000043
步骤4.4:利用可拓关联函数公式,分别计算各像素区间与蓝白结构区域、其他病变区域以及健康区域的关联度,记为Km(Xij);
Figure BDA0003126562240000044
步骤4.5:根据关联度值,利用可拓关联函数的分类原理对图像进行第一阶段的分类;
若maxKm(Xij)=Kbw(Xij),则判定对应像素位于蓝白结构区域内;
若maxKm(Xij)=Ko(Xij),则判定对应像素位于其他病变区域内;
若maxKm(Xij)=Khs(Xij),则判定对应像素位于健康区域内;
步骤5:将第一阶段的结果输入到基于深度学习的第二阶段分类器中,使用YOLOv3对第一阶段的良性结果集进行分类;使用YoDyCK对第一阶段的疑似恶性结果集进行分类,合并第二阶段分类输出,最终得到图像分类结果。
与现有技术相比,本发明的优势在于:
(1)本发明提出了一种融合医学领域知识、深度学习和精细化策略的分类框架。该框架结合了医学领域特征和深度学习特征,对医学图像进行快速、准确的分类;
(2)本发明提出了利用可拓理论中可拓关联函数来检测蓝白结构的存在性。将医学图像初步分类为良性病图像和疑似恶性病图像;
(3)本发明采用了基于YOLOv3的改进模型——YoDyCK模型,快速准确地提取疑似恶性病图像的深度学习特征,从而提高医学图像的最终分类准确度和效率。
实施例1:
本发明基于可拓理论和深度学习的医学图像分类模型的架构图。本发明包括以下5个步骤。
步骤1:对原始医学图像进行增量和筛选,准备好每类样本量数目均衡的医学图像样本集。样本集包含300张A类图像、300张B类和300张C类图像,图像分辨率为768×576。
步骤2:进行图像颜色增强处理,经过处理后的图像像素矩阵为Bg=IM×N。增强公式为:
Bg=B-G
步骤3:进行Bg像素矩阵平均池化操作,卷积核的大小设为3*3,步长设为1。平均池化公式为:
Figure BDA0003126562240000051
其中,n是平均池化中每个网格的像素总数,vw是网格中的像素。平均池化后的像素矩阵记为Bg-avg=I'i×j
步骤4:利用基于可拓理论的分类器对图像进行第一阶段的分类,将图像初步分为良性病图像和疑似恶性病图像。
4-1)根据提取的像素矩阵,分别确定蓝白结构区域、其他病变区域以及健康皮肤区域的经典域和节域范围值。
4-2)根据可拓距离公式,首先,分别计算像素区间与蓝白结构区域、其他病变区域以及健康皮肤区域在经典域中的可拓距离,其次,分别计算各像素区间与蓝白结构区域、其他病变区域以及健康皮肤区域在节域中的可拓距离。可拓距离公式为:
Figure BDA0003126562240000052
Figure BDA0003126562240000053
其中,Xij为图像像素矩阵中位置(i,j)的像素区间,Um为经典域,U'm为节域。
4-3)根据可拓距离计算可拓位值,分别计算各像素区间与蓝白结构区域、其他病变区域以及健康皮肤区域的位值,可拓位值公式为:
Figure BDA0003126562240000061
其中,D(xij,U'm,Um)表示图像中每个像素区间与蓝白结构区域、健康皮肤区域或其他病变区域的位置关系。
4-4)根据可拓位值计算可拓关联函度,分别计算各像素区间与蓝白结构区域、其他病变区域以及健康皮肤区域的关联度,可拓关联函数公式为:
Figure BDA0003126562240000062
得到图像的可拓关联矩阵K(X)=(Kbw(X),Khs(X),Ko(X))。
4-5)根据关联度值,利用可拓关联函数的分类原理对图像进行第一阶段的分类。分类原则为K(X)=maxKm(X),如果Kbw(X)最大,则对应像素位于蓝白结构区域内。
步骤5:将第一阶段的结果分别输入到基于深度学习的分类器中,输出最终的图像分类结果。具体为使用YOLOv3分类第一阶段输出的良性病结果集;使用YoDyCK分类第一阶段输出的疑似恶性病结果集。在YOLOv3训练过程中,batch size大小为64,momentum为0.9,学习率衰减因子为0.33。输出结果为A类和B类。根据医学图像的特点,改进YOLOv3中的filter size,构建YoDyCK模型。在YoDyCK模型中,设置第一层卷积层的filter size为11×11,逐渐将filter size减小到3×3,以保证快速定位医学图像的病变区域,提取图像的医学特征。输出结果为A类、B类和C类。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于可拓理论和深度学习的医学图像分类方法,其特征在于,包括以下步骤:
步骤1:获取三种不同类别的医学图像,筛选每类医学图像清晰的等量样本数据,实现医学图像样本的均衡,获取医学图像样本集;
步骤2:针对医学图像颜色特点,将样本图像进行R、G、B三通道转化,通过B、G通道结果的差值完成图像的颜色增强,获取Bg像素矩阵;
步骤3:利用平均池化操作对颜色增强后的图像像素矩阵进行降噪降维处理,减弱像素间误差,得到Bg-avg像素矩阵;
步骤4:利用基于可拓理论的分类器对图像进行第一阶段的分类,将图像初步分为良性病图像和疑似恶性病图像,得到第一阶段分类结果集;
步骤4.1:针对Bg-avg像素矩阵,确定蓝白结构区域的经典域U′bw、蓝白结构区域的节域Ubw、其他病变区域的经典域U′o、其他病变区域的节域Uo、健康区域的经典域U′hs、健康区域的节域Uhs
步骤4.2:根据可拓距离公式,分别计算像素区间与蓝白结构区域、其他病变区域以及健康区域在经典域中的可拓距离,记为ρm(Xij,U′m);分别计算各像素区间与蓝白结构区域、其他病变区域以及健康区域在节域中的可拓距离,记为ρm(Xij,Um);
Figure FDA0003812050250000011
Figure FDA0003812050250000012
其中,Xij为Bg-avg像素矩阵中位置(i,j)的像素区间;m∈{bw,o,hs};
步骤4.3:根据可拓位值公式,分别计算各像素区间与蓝白结构区域、其他病变区域以及健康区域的位值,记为Dm(Xij,U′m,Um);
Figure FDA0003812050250000013
步骤4.4:利用可拓关联函数公式,分别计算各像素区间与蓝白结构区域、其他病变区域以及健康区域的关联度,记为Km(Xij);
Figure FDA0003812050250000021
步骤4.5:根据关联度值,利用可拓关联函数的分类原理对图像进行第一阶段的分类;
若maxKm(Xij)=Kbw(Xij),则判定对应像素位于蓝白结构区域内;
若maxKm(Xij)=Ko(Xij),则判定对应像素位于其他病变区域内;
若maxKm(Xij)=Khs(Xij),则判定对应像素位于健康区域内;
步骤5:将第一阶段的结果输入到基于深度学习的第二阶段分类器中,使用YOLOv3对第一阶段的良性结果集进行分类;使用YoDyCK对第一阶段的疑似恶性结果集进行分类,合并第二阶段分类输出,最终得到图像分类结果;
根据医学图像的特点,改进YOLOv3中的filter size,构建YoDyCK模型,在YoDyCK模型中,filter size为动态变化的。
CN202110690614.7A 2021-06-22 2021-06-22 一种基于可拓理论和深度学习的医学图像分类方法 Active CN113313203B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110690614.7A CN113313203B (zh) 2021-06-22 2021-06-22 一种基于可拓理论和深度学习的医学图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110690614.7A CN113313203B (zh) 2021-06-22 2021-06-22 一种基于可拓理论和深度学习的医学图像分类方法

Publications (2)

Publication Number Publication Date
CN113313203A CN113313203A (zh) 2021-08-27
CN113313203B true CN113313203B (zh) 2022-11-01

Family

ID=77380018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110690614.7A Active CN113313203B (zh) 2021-06-22 2021-06-22 一种基于可拓理论和深度学习的医学图像分类方法

Country Status (1)

Country Link
CN (1) CN113313203B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330883A (zh) * 2017-07-04 2017-11-07 南京信息工程大学 一种医学图像病变区域定位和分类方法
CN110232719A (zh) * 2019-06-21 2019-09-13 腾讯科技(深圳)有限公司 一种医学图像的分类方法、模型训练方法和服务器
CN111899229A (zh) * 2020-07-14 2020-11-06 武汉楚精灵医疗科技有限公司 一种基于深度学习多模型融合技术的胃早癌辅助诊断方法
CN112906804A (zh) * 2021-03-02 2021-06-04 华南理工大学 一种针对组织病理学图像的哈希样本平衡癌症标注方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217213B (zh) * 2014-08-20 2018-04-27 哈尔滨工程大学 一种基于对称性理论的医学图像多阶段分类方法
CN108182231A (zh) * 2017-12-27 2018-06-19 贵州联科卫信科技有限公司 一种基于灰色关联度的可拓聚类方法及系统
CN110674866B (zh) * 2019-09-23 2021-05-07 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN110889844B (zh) * 2019-11-29 2023-03-21 哈尔滨工程大学 一种基于深度聚类分析的珊瑚分布及健康状况评估方法
CN112651450B (zh) * 2020-12-30 2022-10-25 哈尔滨工程大学 一种基于多示例深度学习的医学图像分类方法
CN112700434A (zh) * 2021-01-12 2021-04-23 苏州斯玛维科技有限公司 医学图像的分类方法及其分类装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330883A (zh) * 2017-07-04 2017-11-07 南京信息工程大学 一种医学图像病变区域定位和分类方法
CN110232719A (zh) * 2019-06-21 2019-09-13 腾讯科技(深圳)有限公司 一种医学图像的分类方法、模型训练方法和服务器
CN111899229A (zh) * 2020-07-14 2020-11-06 武汉楚精灵医疗科技有限公司 一种基于深度学习多模型融合技术的胃早癌辅助诊断方法
CN112906804A (zh) * 2021-03-02 2021-06-04 华南理工大学 一种针对组织病理学图像的哈希样本平衡癌症标注方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Skin lesion image classification method based on extension theory and deep learning;Xiaofei Bian等;《 Multimedia Tools and Applications》;20220303;第81卷(第12期);第16389-16409页 *
基于可拓分类器的高分辨率遥感影像分类;汤家法;《遥感信息》;20120615(第03期);第83-86、92页 *

Also Published As

Publication number Publication date
CN113313203A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN106056595B (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统
CN109840554B (zh) 一种基于svm-rfe-mrmr算法的阿兹海默症mri图像分类方法
He et al. Automated model design and benchmarking of deep learning models for covid-19 detection with chest ct scans
Bhargava et al. Machine learning-based automatic detection of novel coronavirus (COVID-19) disease
CN106295124A (zh) 利用多种图像检测技术综合分析基因子图相似概率量的方法
CN109934278B (zh) 一种信息增益混合邻域粗糙集的高维度特征选择方法
Falconí et al. Transfer learning and fine tuning in mammogram bi-rads classification
Rajee et al. Gender classification on digital dental x-ray images using deep convolutional neural network
Malik et al. BDCNet: Multi-classification convolutional neural network model for classification of COVID-19, pneumonia, and lung cancer from chest radiographs
Taher et al. Bayesian classification and artificial neural network methods for lung cancer early diagnosis
Xu et al. Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients
CN111325750A (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
JP2022547722A (ja) 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習
Iqbal et al. DeNeRD: high-throughput detection of neurons for brain-wide analysis with deep learning
CN111738997A (zh) 一种基于深度学习的计算新冠肺炎病变区域占比的方法
Khademi et al. Whole volume brain extraction for multi-centre, multi-disease FLAIR MRI datasets
Markkandeyan et al. Deep learning based semantic segmentation approach for automatic detection of brain tumor
CN115270874A (zh) 一种基于密度估计的流式细胞分类和计数的方法和系统
CN114549452A (zh) 基于半监督深度学习的新冠肺炎ct图像分析方法
Komal et al. Transfer learning method with deep residual network for COVID-19 diagnosis using chest radiographs images
CN113313203B (zh) 一种基于可拓理论和深度学习的医学图像分类方法
Yang et al. Self-supervised learning assisted diagnosis for mitral regurgitation severity classification based on color Doppler echocardiography
CN115908950B (zh) 基于相似度正切映射的快速医学高光谱影像分类方法
Singh et al. A novel neural network based automated system for diagnosis of breast cancer from real time biopsy slides
Cao et al. A convolutional neural network-based COVID-19 detection method using chest CT images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant