CN110992309B - 基于深层信息传递网络的眼底图像分割方法 - Google Patents

基于深层信息传递网络的眼底图像分割方法 Download PDF

Info

Publication number
CN110992309B
CN110992309B CN201911082827.0A CN201911082827A CN110992309B CN 110992309 B CN110992309 B CN 110992309B CN 201911082827 A CN201911082827 A CN 201911082827A CN 110992309 B CN110992309 B CN 110992309B
Authority
CN
China
Prior art keywords
deep
network
deep information
image segmentation
fundus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911082827.0A
Other languages
English (en)
Other versions
CN110992309A (zh
Inventor
刘萍萍
赵宏伟
金白鑫
王鹏
石立达
周求湛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201911082827.0A priority Critical patent/CN110992309B/zh
Publication of CN110992309A publication Critical patent/CN110992309A/zh
Application granted granted Critical
Publication of CN110992309B publication Critical patent/CN110992309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深层信息传递网络的眼底图像分割方法，所述方法通过构建深层信息提取网络，以预处理的眼底图片训练构建的深层信息传递网络，为眼底图像分割提供更好的网络模型，拟合出眼底图像的视盘区域，提升图像分割的精度。本发明使用预训练网络对编码层进行初始化，训练得到与图像分割任务需求相关的网络，在网络中采用解码层网络模块，提升了分割精度；深层信息传递网络模块与特征图上下文提取模块相结合，将特征图的高维特征传递到最终输出的预测图，使解码路径信息丢失更少；对编码层的深层网络采用了空洞卷积，保持参数不变的情况下扩大了卷积核的感受野，提取了更全面的特征图信息。

Description

基于深层信息传递网络的眼底图像分割方法
技术领域
本发明属于计算机技术领域，涉及一种图像处理方法，尤其涉及一种基于深层信息传递网络的眼底图像分割方法。
背景技术
伴随着人们生活水平的日益提高，生活质量逐渐提升，人们对自身疾病的治疗和预防的关注度日益增强。近年来青光眼疾病频发，医生检查手段繁琐，耗费人力物力。如何快速准确诊断青光眼成为学术界关注的话题。随着计算机技术的蓬勃发展以及神经网络的迅速崛起，利用计算机技术解决医疗问题成为了现阶段技术问题的主流。在这种趋势下，基于计算机技术的医疗器械得到了全面发展。
近年来，随着医学成像技术和计算机技术的不断发展和进步，医学图像分析已经成为医学研究、临床疾病诊断和治疗中一个不可或缺的工具和技术手段。医学图像分割的任务通常被定义为识别特定对象的轮廓，也可用于定量分析体积和形状有关的临床参数。近几年来，深度学习，特别是深度卷积神经网络，已经迅速发展成为医学图像分析的研究热点，它能够从医学图像数据中自动区分隐含的疾病诊断特征。大量研究表明，基于深度学习的图像分割对医学病灶识别具有很好的应用效果，并具有出色的扩展性。因而，基于深度学习的图像分割医疗诊断方法层出不穷。
早期医学图像分割的深度学习方法大多基于图像块。端到端全卷积网络(FCN)的出现，实现了对图像进行像素级的分类，从而解决了语义级别的图像分割问题。与传统的卷积神经网络不同，全卷积网络可以对任何尺寸的图片进行处理，从而对每个像素进行分类，完成图像分割。然而，FCN在图像分割时，上采样层在将特征恢复到源图像大小的过程中，由于图像信息的缺失，会导致像素定位不精确，从而影响了图像分割的精度。在这种情况下，有学者提出了用于生物医学图像分割的Ushape Net(U-Net)框架，U-Net是一种基于FCN的语义分割网络，其网络结构中只有卷积层和池化层，没有全连接层，保留了原始图像的大部分信息。在U-Net网络结构中，上采样和下采样过程具有相同数量层次的卷积操作，使下采样层提取到的特征可以直接传递到上采样层，使得U-Net网络的像素定位更加精确，并且提高了效率。U-Net在医学图像分割方面取得了良好的提升，它已经成为生物医学图像分割任务的一种流行的神经网络结构。
基于深层信息传递网络的眼底图像分割方法的关键在于训练出一个与分割任务高度匹配的神经网络，因此构建一个分割精度更高的深度神经网络成为了关注的焦点。通过训练更好的网络，以达到更好的分割效果和准确性，从而帮助医生更加精准的诊断疾病。在医学图像分割中，关键在于合理利用医学图像的深层特征，保留图像信息，以提升图像分割精度。可见，基于深度学习的医学图像分割方法具有广泛的应用前景。
发明内容
本发明的目的是提供一种基于深层信息传递网络的眼底图像分割方法，通过构建深层信息提取网络，以预处理的眼底图片训练构建的深层信息传递网络，为眼底图像分割提供更好的网络模型，拟合出眼底图像的视盘区域，提升图像分割的精度。
本发明的目的是通过以下技术方案实现的：
一种基于深层信息传递网络的眼底图像分割方法，包括如下步骤：
步骤一、获取眼底图片；
步骤二、将步骤一中获取的眼底图片进行裁剪预处理；
步骤三、构建深层信息传递网络；
步骤四、使用步骤二中预处理后的眼底图片对步骤三构建的深层信息传递网络进行训练，将眼底图片输入深层信息传递网络，得到眼底视盘区域的预测图；
步骤五、将步骤四中得到的预测图与标签输入损失函数进行比较，当达到预设训练轮数或学习率小于预设值时则深层信息传递网络训练完成，执行步骤六；若训练未完成，则返回步骤四进行下一轮训练；
步骤六、将待分割图片输入训练好的深层信息传递网络，得到预测视盘区域；
步骤七、计算步骤六中得到的预测视盘区域与标签的重叠误差，以重叠误差的大小体现图像分割精度。
相比于现有技术，本发明具有如下优点：
(1)使用预训练网络对编码层进行初始化，训练得到与图像分割任务需求相关的网络，在网络中采用解码层网络模块，提升了分割精度。
(2)深层信息传递网络模块与特征图上下文提取模块相结合，将特征图的高维特征传递到最终输出的预测图，使解码路径信息丢失更少。
(3)对编码层的深层网络采用了空洞卷积，保持参数不变的情况下扩大了卷积核的感受野，提取了更全面的特征图信息。
附图说明
图1为本发明基于深层信息传递网络的眼底图像分割方法的网络结构图；
图2为密集卷积模块结构；
图3为多尺度池化模块结构；
图4为解码深层信息传递网络模块结构；
图5为本发明基于深层信息传递网络的眼底图像分割方法的流程图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。
本发明提供了一种基于深层信息传递网络的眼底图像分割方法，该方法所用深层信息传递网络的结构如图1所示，包括预训练编码模块、特征图上下文提取模块、解码深层信息传递模块，其中：
所述预训练编码模块首先将预处理的眼底图片输入初始卷积层提取特征，得到特征图。再将特征图输入四层预训练的ResNet34模块提取深层特征。在编码层第五层，采用了密集空洞卷积模块。四层预训练的ResNet使用了Adam优化策略并设置初始化学习率为0.008，训练网络时输入数据的Batch设置为8，输入的裁剪图像大小为448*448。
所述初始卷积层为一个7*7卷积层，步长为2，将尺寸为448*448原始图片处理成224*224的特征图。
所述特征图上下文提取模块包括密集空洞卷积模块和多尺度池化模块，其中：密集卷积模块结构如图2所示，包括4条分支，每条分支分别有1、2、3、4个卷积层，卷积层的膨胀率为1、3、5三种；多尺度池化模块结构如图3所示，分别对特征图进行2*2、3*3、5*5、6*6的池化操作，再将特征输入到1*1的卷积层中进行降维处理，最后将池化后的特征与原始特征连接起来。
所述解码深层信息传递模块结构如图4所示，由两条分支组成，一条为3*3反卷积，另一条为平均全局池化，再将两条分支得到的结果逐通道对应相乘，将深层特征图信息传递到与之相邻的浅层特征图中。
使用本发明提出的基于深层信息传递网络的眼底图像分割方法进行眼底图像分割，分割结果用重叠误差来衡量，如图5所示，进行图像分割的具体步骤如下：
步骤一、眼底图片和标签预处理：将眼底图片和标签的视盘差分区域裁剪为指定大小。
本步骤中，预处理操作是对眼底图片和标签视盘区域进行裁剪，预处理后的图片为448*448的图像块。
本步骤中，眼底图片通常是指包括视盘区域的图像，其可以是彩色图像，也可以是灰度图像，对图像格式不做要求，只需能够被执行主体识别即可。
步骤二、使用预处理后的眼底图片对构建的深层信息传递网络进行训练，通过深层信息传递网络得到视盘预测图。
本步骤中，训练采用Adam优化方法，初始学习率为0.008，随训练轮数增加学习率减半。
步骤三、将网络输出的预测图与标签利用损失函数进行比较，反向传播优化网络，当达到预设训练轮数或学习率小于预设值时则深层信息传递网络训练完成，执行步骤四；若训练未完成，则返回步骤二进行下一轮训练。
本步骤中，损失函数为骰子系数损失函数，它是一种图片差分区域重叠度量，用来衡量预测图与标签的差异大小。骰子系数损失函数公式如下：
其中，N为像素数，i为像素号，p(k,i)和g(k,i)分别表示像素点为第k类的预测概率和标签类别，K是类别号，ωk为类别权重。
本步骤中，预设训练轮数为200，预设学习率最小值为0.0000005。
步骤四、将待预测眼底图片输入训练好的深层信息传递网络，得到预测视盘区域。
步骤五、计算预测眼底图片查分区域与标签的重叠误差，重叠误差的计算公式如下：
其中，S为分割后的预测视盘区域，G为标签视盘区域。
采用本发明提出的深层信息传递网络，通过上述步骤完成眼底图片分割。所述眼底图片取自Messidor数据集。表1的实验结果表明，本发明提出的基于深层信息传递网络的眼底图像分割方法与现有的CE-Net相比，在眼底视盘图像分割领域取得了显著的提升效果，具有广泛的应用前景。
表1
实验网络 CE-Net 深层信息传递网络
重叠误差 0.0582 0.0536

Claims (7)

1.一种基于深层信息传递网络的眼底图像分割方法，其特征在于所述方法包括如下步骤：
步骤一、获取眼底图片；
步骤二、将步骤一中获取的眼底图片进行裁剪预处理；
步骤三、构建深层信息传递网络，所述深层信息传递网络包括预训练编码模块、特征图上下文提取模块、解码深层信息传递模块，其中：
所述预训练编码模块首先将预处理的眼底图片输入初始卷积层提取特征，得到特征图；再将特征图输入四层预训练的ResNet34模块提取深层特征；
所述特征图上下文提取模块包括密集空洞卷积模块和多尺度池化模块，其中：密集卷积模块包括4条分支，每条分支分别有1、2、3、4个卷积层，卷积层的膨胀率为1、3、5三种；多尺度池化模块分别对特征图进行2*2、3*3、5*5、6*6的池化操作，再将特征输入到1*1的卷积层中进行降维处理，最后将池化后的特征与原始特征连接起来；
所述解码深层信息传递模块结构由两条分支组成，一条为3*3反卷积，另一条为平均全局池化，再将两条分支得到的结果逐通道对应相乘，将深层特征图信息传递到与之相邻的浅层特征图中；
步骤四、使用步骤二中预处理后的眼底图片对步骤三构建的深层信息传递网络进行训练，将眼底图片输入深层信息传递网络，得到眼底视盘区域的预测图；
步骤五、将步骤四中得到的预测图与标签输入损失函数进行比较，当达到预设训练轮数或学习率小于预设值时则深层信息传递网络训练完成，执行步骤六；若训练未完成，则返回步骤四进行下一轮训练；
步骤六、将待分割图片输入训练好的深层信息传递网络，得到预测视盘区域；
步骤七、计算步骤六中得到的预测视盘区域与标签的重叠误差，以重叠误差的大小体现图像分割精度。
2.根据权利要求1所述的基于深层信息传递网络的眼底图像分割方法，其特征在于所述眼底图片指包括视盘区域的图像。
3.根据权利要求1所述的基于深层信息传递网络的眼底图像分割方法，其特征在于所述裁剪预处理后的眼底图片为448*448的图像块。
4.根据权利要求1所述的基于深层信息传递网络的眼底图像分割方法，其特征在于所述四层预训练的ResNet使用Adam优化策略并设置初始化学习率为0.008，训练网络时输入数据的Batch设置为8，输入的裁剪图像大小为448*448。
5.根据权利要求1所述的基于深层信息传递网络的眼底图像分割方法，其特征在于所述初始卷积层为一个7*7卷积层，步长为2，将尺寸为448*448原始图片处理成224*224的特征图。
6.根据权利要求1所述的基于深层信息传递网络的眼底图像分割方法，其特征在于所述损失函数为骰子系数损失函数，其公式如下：
其中，N为像素数，i为像素号，p(k,i)和g(k,i)分别表示像素点为第k类的预测概率和标签类别，K是类别号，ωk为类别权重。
7.根据权利要求1所述的基于深层信息传递网络的眼底图像分割方法，其特征在于所述重叠误差的计算公式如下：
其中，S为分割后的预测视盘区域，G为标签视盘区域。
CN201911082827.0A 2019-11-07 2019-11-07 基于深层信息传递网络的眼底图像分割方法 Active CN110992309B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911082827.0A CN110992309B (zh) 2019-11-07 2019-11-07 基于深层信息传递网络的眼底图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911082827.0A CN110992309B (zh) 2019-11-07 2019-11-07 基于深层信息传递网络的眼底图像分割方法

Publications (2)

Publication Number Publication Date
CN110992309A CN110992309A (zh) 2020-04-10
CN110992309B true CN110992309B (zh) 2023-08-18

Family

ID=70083373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911082827.0A Active CN110992309B (zh) 2019-11-07 2019-11-07 基于深层信息传递网络的眼底图像分割方法

Country Status (1)

Country Link
CN (1) CN110992309B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256638A (zh) * 2021-05-11 2021-08-13 北京航空航天大学 基于卷积神经网络模型的眼球角膜神经分割方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009139722A1 (en) * 2008-05-14 2009-11-19 Agency For Science, Technology And Research Automatic cup-to-disc ratio measurement system
CN108520522A (zh) * 2017-12-31 2018-09-11 南京航空航天大学 基于深度全卷积神经网络的视网膜眼底图像分割方法
CN108764342A (zh) * 2018-05-29 2018-11-06 广东技术师范学院 一种对于眼底图中视盘和视杯的语义分割方法
CN109325942A (zh) * 2018-09-07 2019-02-12 电子科技大学 基于全卷积神经网络的眼底图像结构分割方法
CN109615632A (zh) * 2018-11-09 2019-04-12 广东技术师范学院 一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109829877A (zh) * 2018-09-20 2019-05-31 中南大学 一种视网膜眼底图像杯盘比自动评估方法
CN109919938A (zh) * 2019-03-25 2019-06-21 中南大学 青光眼的视盘分割图谱获取方法
CN110110782A (zh) * 2019-04-30 2019-08-09 南京星程智能科技有限公司 基于深度学习的视网膜眼底图像视盘定位方法
WO2019180742A1 (en) * 2018-03-21 2019-09-26 Artificial Learning Systems India Private Limited System and method for retinal fundus image semantic segmentation

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680684B (zh) * 2017-10-12 2021-05-07 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009139722A1 (en) * 2008-05-14 2009-11-19 Agency For Science, Technology And Research Automatic cup-to-disc ratio measurement system
CN108520522A (zh) * 2017-12-31 2018-09-11 南京航空航天大学 基于深度全卷积神经网络的视网膜眼底图像分割方法
WO2019180742A1 (en) * 2018-03-21 2019-09-26 Artificial Learning Systems India Private Limited System and method for retinal fundus image semantic segmentation
CN108764342A (zh) * 2018-05-29 2018-11-06 广东技术师范学院 一种对于眼底图中视盘和视杯的语义分割方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109325942A (zh) * 2018-09-07 2019-02-12 电子科技大学 基于全卷积神经网络的眼底图像结构分割方法
CN109829877A (zh) * 2018-09-20 2019-05-31 中南大学 一种视网膜眼底图像杯盘比自动评估方法
CN109615632A (zh) * 2018-11-09 2019-04-12 广东技术师范学院 一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法
CN109919938A (zh) * 2019-03-25 2019-06-21 中南大学 青光眼的视盘分割图谱获取方法
CN110110782A (zh) * 2019-04-30 2019-08-09 南京星程智能科技有限公司 基于深度学习的视网膜眼底图像视盘定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进卷积神经网络的视网膜血管图像分割;吴晨;易本顺;章云港;黄松;冯雨;;光学学报(第11期);全文 *

Also Published As

Publication number Publication date
CN110992309A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110992382B (zh) 用于辅助青光眼筛查的眼底图像视杯视盘分割方法及系统
CN110428432B (zh) 结肠腺体图像自动分割的深度神经网络算法
CN108806792B (zh) 深度学习面诊系统
WO2019200747A1 (zh) 分割股骨近端的方法、装置、计算机设备和存储介质
CN109242860B (zh) 基于深度学习及权重空间集成的脑肿瘤图像分割方法
CN111242288B (zh) 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法
CN113674253B (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
Liu et al. A framework of wound segmentation based on deep convolutional networks
CN112132817A (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN111161287A (zh) 基于对称双向级联网络深度学习的视网膜血管分割方法
CN113554665A (zh) 一种血管分割方法及装置
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN112381846A (zh) 一种基于非对称网络的超声甲状腺结节分割方法
CN113554668B (zh) 一种皮肤镜图像黑色素瘤分割方法、装置及相关组件
CN111696109A (zh) 面向视网膜oct三维影像的高精度层分割方法
CN110992309B (zh) 基于深层信息传递网络的眼底图像分割方法
CN112634308B (zh) 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN111798455A (zh) 一种基于全卷积密集空洞网络的甲状腺结节实时分割方法
CN115937590A (zh) 一种并联融合CNN和Transformer的皮肤病图像分类方法
CN112686912B (zh) 基于逐步学习和混合样本的急性脑卒中病变分割方法
CN114022494A (zh) 一种基于轻型卷积神经网络和知识蒸馏的中医舌图像自动分割方法
CN113011362A (zh) 基于双线性池化与注意力机制的细粒度眼底图像分级算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant