CN113793301B - 基于稠密卷积网络模型的眼底影像分析模型的训练方法 - Google Patents

基于稠密卷积网络模型的眼底影像分析模型的训练方法 Download PDF

Info

Publication number
CN113793301B
CN113793301B CN202110956629.3A CN202110956629A CN113793301B CN 113793301 B CN113793301 B CN 113793301B CN 202110956629 A CN202110956629 A CN 202110956629A CN 113793301 B CN113793301 B CN 113793301B
Authority
CN
China
Prior art keywords
image
fundus
training
focus
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110956629.3A
Other languages
English (en)
Other versions
CN113793301A (zh
Inventor
张琳
杨金奎
朱晓蓉
杨芳远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Diabetes Institute Beijing Diabetes Prevention And Control Office
Beijing Tongren Hospital
Original Assignee
Beijing Diabetes Institute Beijing Diabetes Prevention And Control Office
Beijing Tongren Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Diabetes Institute Beijing Diabetes Prevention And Control Office, Beijing Tongren Hospital filed Critical Beijing Diabetes Institute Beijing Diabetes Prevention And Control Office
Priority to CN202110956629.3A priority Critical patent/CN113793301B/zh
Publication of CN113793301A publication Critical patent/CN113793301A/zh
Application granted granted Critical
Publication of CN113793301B publication Critical patent/CN113793301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本公开实施例涉及一种基于稠密卷积网络模型的眼底影像分析模型的训练方法，方法包括：对第一训练数据集中每一张图像进行图像增强处理，获得增强后的每一增强图像；借助于人工标注方式获取每一增强图像的病灶信息，针对每一增强图像，并基于增强图像所属的病灶信息对增强图像进行提取，获取增强图像内每一病灶的掩模图，将增强图像的所有掩模图进行组合，得到对应增强图像的标注图像；将所有的标注图像作为第二训练数据集；采用第二训练数据集对建立的稠密卷积网络模型进行训练，获得训练后的用于对任一待分析的眼底彩色图像进行预测的眼底影像分析模型。通过本方法训练的模型对医学眼底彩色图像的预测准确率更高，且鲁棒性和泛化性更强。

Description

基于稠密卷积网络模型的眼底影像分析模型的训练方法
技术领域
本申请属于图像处理技术领域，具体涉及一种基于稠密卷积网络模型的眼底影像分析模型的训练方法。
背景技术
近年来，越来越多的图像处理算法被广泛地应用在各个领域。对于疾病诊断方法而言，传统的图像处理算法主要是依据已有的病理分析，在图像当中找到相应的病理特征进行提取并利用统计学的方法进行权值计算，从而对疾病的进展进行预测。这种算法首先利用专家知识对相关特征进行筛选，然后利用图像分割等算法制作样本，训练分类器，最终完成对疾病进展的预测。这类算法的优点是模型的物理意义明确，算法复杂程度相对较低，执行效率高。缺点之处在于对人工设计的特征依赖很大，很难应用于病理未知的疾病，同时，对于一些低质量的图像适应性较差。例如在本项目当中，如果选用传统的算法就需要对眼底图像当中的不同病灶进行分析评定，自主的选取有效的病灶特征并确定其对病情进展的贡献率从而确定其权值。但由于病灶特征的差异性较大，因此很难逐一的进行评定，确定其权值。与此同时原始的眼底图像由于光线和拍摄角度的原因，很难从中准确的分离出各种病灶。因此传统的疾病预测技术无法适用于眼底图像中疾病的筛查。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足，本申请提供一种基于稠密卷积网络模型的眼底影像分析模型的训练方法。
(二)技术方案
为达到上述目的，本申请采用如下技术方案：
第一方面，本发明实施例提供一种基于稠密卷积网络模型的眼底影像分析模型的训练方法，该方法包括：
A10、对第一训练数据集中每一张原始图像进行图像增强处理，获得增强后的每一增强图像，所述第一训练数据集中每一图像为原始采集的眼底彩色图像；
A20、借助于人工标注方式获取每一增强图像的病灶信息，针对每一增强图像，并基于该增强图像所属的病灶信息对该增强图像进行提取，获取该增强图像内每一病灶的掩模图，将该增强图像的所有掩模图进行组合，得到对应该增强图像的标注图像；将所有增强图像的标注图像作为第二训练数据集；
A30、采用第二训练数据集对建立的稠密卷积网络模型进行训练，获得训练后的用于对任一待分析的眼底彩色图像进行预测的眼底影像分析模型。
可选地，所述A30之前，所述方法还包括：
对第二训练数据集的每一标注图像进行旋转、缩放或者剪裁处理，获得新的标注图像，将新的标注图像和原标注图像组成第三训练数据集，相应地，A30可包括：
采用第三训练数据集对建立的稠密卷积网络模型进行训练，获得训练后的用于对任一待分析的眼底彩色图像进行预测的眼底影像分析模型。
可选地，所述A30之前，所述方法还包括：
A40、对其他训练数据集中的每一原始图像按照病灶特征信息进行粗分割，获取分割后的具有病灶特征信息的特征图，将这些特征图和第二训练数据集中的标注图像组成第四训练数据集；所述第四训练数据集中第二训练数据集的图像占比大于50％；
相应地，A30可包括：
采用第四训练数据集对建立的稠密卷积网络模型进行训练，获得训练后的用于对任一待分析的眼底彩色图像进行预测的眼底影像分析模型。
可选地，A10包括：
A11、针对待增强处理的一张原始图像，将该原始图像从RGB空间转换到YUV空间；
A12、在YUV空间中对Y空间进行初调整，使得初调整后的Y空间图像的像素值范围处于20-245之间，将调整后的Y空间和原UV空间组合并转换为第一类RGB图像；
A13、对第一类RGB图像进行彩色对比度增强，并对增强后的RGB图像采用gamma校正，得到第二类RGB图像，将得到的第二类RGB图像作为该原始图像的增强图像。
可选地，A12包括：
利用限制对比度自适应直方图均衡算法将Y空间的颜色对比度进行初调整，调整过程中使用的颜色对比度的阈值为3-3.5，像素均衡化的网格大小为8x8；
和/或，A13包括：
gamma校正过程中校正系数为1.2。
可选地，A20包括：
A21、以人工操作标注程序的方式在每一增强图像上进行标注，且标注使用的标识不同，生成包括病灶信息的文件，所述病灶信息包括：病灶名称、位置、病灶类型和/或标注框的位置信息；
A22、针对每一增强图像，选择该增强图像中一种类型的病灶信息，利用选择的病灶信息中的类型从该增强图像对应的文件中筛选出该类型的病灶信息所属的所有标注框的位置信息；
基于筛选的标注框的位置信息，滤除增强图像中其他区域的图像，保留的标注框的区域，并对保留的区域填充第一指定像素，其他区域填充第二指定像素，得到该类型病灶信息对应的掩模图；
对该增强图像中所有类型的病灶信息进行相同方式的处理，得到该增强图像中所有病灶信息分别对应的掩模图，将该增强图像的所有病灶信息的掩模图按照“图像与”操作方式组合，得到该增强图像的标注图像；
其中，任一病灶信息所属标注框内填充的指定像素唯一。
可选地，A40包括：
从MESSIDOR眼底图像数据库官网获取部分未进行人工标注的原始眼底彩色图像作为其他训练数据集中的原始图像；
针对每一原始图像，按照各类病灶的通用特征信息对原始图像进行粗分割；所述病灶的通用特征信息包括：颜色、形状、灰度信息、和/或尺寸信息；
具体地，按照各类病灶的通用特征信息对原始图像进行粗分割，包括：
首先：依据病灶的灰度信息利用两个高低阈值TL＝50,TH＝200对该原始图像进行二值化处理，获取各类病灶的候选区域；所述候选区域包括：眼底结构、噪声、病灶结构；
接着：选取5,11,23三个尺寸的核对包含血管的候选区域进行连续的形态学开闭运算以单独获取血管结构；即：
g(x,y)o＝open[f(x,y),B]＝dilate{erode[f(x,y),B],B}
g(x,y)c＝close[f(x,y),B]＝erode{dilate[f(x,y),B],B}
其中，f(x,y)表示原始图像，B为核的大小，g(x,y)o为开运算结果，g(x,y)c为闭运算结果；
然后，结合血管的走向以及灰度直方图像素值确定血管的聚集点坐标，以该坐标为圆心，图像分辨率的1/15为半径绘制一个圆形区域作为视盘的定位区域；
最后，从各类病灶的候选区域当中去除血管结构及视盘的定位区域，利用连通域计算、图像逻辑运算对病灶结构进行鉴别与提取，获取原始图像中病灶的快速粗分割，进而获得每种病灶的独立掩模图；
对每一种病灶的独立掩模图进行指定像素的填充，并将所有填充有指定像素的独立掩模图进行“图像与”操作方式组合，得到该原始图像的特征图。
可选地，A30包括：
将用于训练的训练数据集分为训练集和验证集，按照图像类别送入稠密卷积网络模型进行训练；
稠密卷积网络模型的训练过程中采用小批量梯度下降法对稠密卷积网络模型的损失函数进行优化，使得稠密卷积网络模型收敛到全局最优值；其中Batch size＝4；
获取并分析训练集与测试集的损失曲线，结合模型的评价指标选择最佳节点导出稠密卷积网络模型的训练权重，作为最终预测模型的加载权重，得到眼底影像分析模型。
第二方面，本发明实施例还公开一种基于眼底影像分析模型的眼底疾病进展预测方法，所述方法包括：
获取待分析的眼底彩色图像；
将获取的眼底彩色图像输入至训练得到的眼底影像分析模型，获得输出的疾病进展结果信息；
其中，所述眼底影像分析模型为采用上述第一方面任一所述的基于稠密卷积网络模型的眼底影像分析模型的训练方法进行训练得到的。
第三方面，本发明实施例还提供一种电子设备，其包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上第一方面任一项所述的基于稠密卷积网络模型的眼底影像分析模型的训练方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面任一项所述的基于稠密卷积网络模型的眼底影像分析模型的训练方法的步骤。
(三)有益效果
本申请提供的技术方案可以包括以下有益效果：
本发明的方法使用训练的眼底影像分析模型对医学眼底彩照进行自动预测，无需人工对特征进行筛选，预测效果不易受图像质量及特征筛选结果的影响。
在训练过程中，本发明的方法对训练数据集进行图像增强处理，并标注组合的方式获取训练数据集，获取的训练数据集可较好的训练出鲁棒性和泛化性更强的眼底影像分析模型。
该方法训练的眼底影像分析模型解决了现有眼底影像分析技术中特征选择过程繁琐，算法适应性不强，预测效果易受图像质量及特征筛选结果影响的问题。
附图说明
本申请借助于以下附图进行描述：
图1A和图1B均为本发明提出的基于稠密卷积网络模型的眼底影像分析模型的训练方法的流程示意图；
图2为本发明提供的实施例中原始病人眼底彩照的样例(原始图像)；
图3(a)为本发明提供的实施例中原始眼底彩照使用限制对比度自适应直方图均衡(CLAHE)算法进行预处理操作后的增强图像样例图；
图3(b)为同一实施例使用本发明提出的改进图像增强算法进行图像增强操作后获得的图像样例图；
图4为本发明提供的实施例中由医生在增强图像当中对病灶使用标注框进行标注后生成的图像样例图；
图5为本发明提供的实施例中根据病灶类型及标注框信息生成的每种病灶的独立掩模图样例图，其中(a)为硬渗(Hard Exudates)的样例图，(b)为软渗(Soft Exudates)的样例图，(c)为微动脉瘤(Microaneurysms)的样例图，(d)为出血(Haemorrhages)的样例图，(e)为黄斑区域(Macula)的样例图；
图6为本发明提供的实施例中每种病灶的独立掩模图在赋予合适的颜色后再加以组合生成的每张眼底图像对应的病灶标注图样例图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。可以理解的是，以下所描述的具体的实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合；为了便于描述，附图中仅示出了与发明相关的部分。
当前，深度学习的诞生使得现有眼底图像中分离出病灶结构的问题得到了很好的解决。由于深度学习卓越的自学能力使得疾病预测技术不再依赖于人工设计的特征，能够自主的找到有效且具有显异性差异的特征，因而能够更好的适用于复杂和低质量的图像当中。对于基于深度学习的疾病预测算法而言，采用图像分类算法。早期的分类模型运用了比较简单网络架构，网络的深度较浅，特征的提取能力也有限，包括LeNet、VGG16、RCNN等。随着深度学习的不断发展，又相继衍生出了ResNet、DenseNet等网络深度更深的模型，这类模型利用残差模块等结构使得网络在提高深度的同时能够有效的学习到更多的特征，从而使得分类结果更加准确。这些基于深度学习的图像分类算法为眼底图像的疾病进展预测提供了非常有利工具，也使得这一领域得到了更快的发展。
实施例一
图1A为本申请一个实施例中的基于稠密卷积网络模型的眼底影像分析模型的训练方法流程示意图，本实施例可适用于眼底图像的疾病进展初步筛选的情况，该方法可以由任一计算设备来执行，该计算设备可以通过软件和/或硬件的形式实现，如图1A所示，该方法包括下述的步骤：
A10、对第一训练数据集中每一张原始图像进行图像增强处理，获得增强后的每一增强图像，所述第一训练数据集中每一图像为原始采集的眼底彩色图像；
A20、借助于人工标注方式获取每一增强图像的病灶信息，针对每一增强图像，并基于该增强图像所属的病灶信息对该增强图像进行提取，获取该增强图像内每一病灶的掩模图，将该增强图像的所有掩模图进行组合，得到对应该增强图像的标注图像；将所有增强图像的标注图像作为第二训练数据集；
A30、采用第二训练数据集对建立的稠密卷积网络模型进行训练，获得训练后的用于对任一待分析的眼底彩色图像进行预测的眼底影像分析模型。
在实际应用中，可针对待分析的眼底彩色图像，将其输入至上述训练的眼底影像分析模型中，输出眼底彩色图像对应的结果。
本实施例的方法使用训练的眼底影像分析模型对医学眼底彩照进行自动预测，无需人工对特征进行筛选，预测效果不易受图像质量及特征筛选结果的影响。
上述方法对应在训练过程中，对训练数据集进行图像增强处理，并标注组合的方式，可较好的训练出鲁棒性和泛化性更强的眼底影像分析模型。
实施例二
本实施例的方法训练的模型在图像预测过程中，可有效解决现有眼底影像分析技术中特征选择过程繁琐，算法适应性不强，预测效果易受图像质量及特征筛选结果影响的问题。
结合图1B至图6所示，本实施例的方法可包括以下步骤：
步骤1，针对第一训练数据集中的每一张原始医学眼底彩照图像进行增强处理，获取增强后的图像。
针对由眼底照相机获取的原始医学眼底彩照图像/彩色图像光照不均，病灶特征不明显的问题提出一种改进的限制对比度自适应直方图均衡算法，利用该算法对眼底彩照进行图像增强处理，使图像当中的病灶区域更为突出，同时削弱图像中的无关噪声，获得增强图像。
本实施例中的眼底彩照图像，分辨率可为1330*1199，如图2所示。根据步骤1，首先对原始的眼底彩照使用改进图像增强算法进行预处理操作，增强图像中的病灶区域，削弱图像中的噪声，增强结果如图3(b)所示，原始的CLAHE算法增强效果如图3(a)所示。
每一张原始医学眼底彩照图像增强的步骤如下：
步骤1.1，将原始的医学眼底彩照图像从RGB空间转换到YUV空间，对其中的Y(亮度)空间利用限制对比度自适应直方图均衡算法将颜色对比度的阈值设置为3，像素均衡化的网格大小设置为8x8，进行对比度初调整。
步骤1.2，将初调整后的Y空间图像的最小/最大像素值范围由原始的(0,255)调整为(20,245)，然后将调整后的图像作为新的Y空间，与原始的UV空间进行组合并进一步回转为RGB图像。
步骤1.3，对还原后的RGB图像使用大小为2的增强因子进行彩色对比度增强。然后，基于医学病理性资料描述的病灶特点，将图像的高、低灰度值区域的动态范围利用gamma校正进行调整。具体来讲，将gamma值设定为1.2，从而让高低亮度的病灶在图像当中得到更好的突出效果，得到最终的增强图像。
步骤2，借助于人工标注方式获取每一增强图像的病灶信息。
即增强图像病灶标注，举例来说，可以由经验丰富的医生或科研人员利用labelimg软件在每一幅增强后的图像中利用矩形框进行病灶标注，在标注时选取不同颜色的矩形框对不同病灶加以区分并对病灶名称加以注释，最终保存为一个包含该幅图像上所有病灶有效信息的文本文件。文本中包含了图像的名称，图像中的病灶类型及其对应的病灶标注框的位置及相对坐标等信息。
也就是说，本实施例中给出的是由医生或相关科研人员根据自身经验在预处理后的眼底图像上使用矩形标注框对不同的病灶进行标注，如图4所示。
步骤3，针对每一增强图像，并基于该增强图像所属的病灶信息对该增强图像进行提取，获取该增强图像内每一病灶的掩模图，将该增强图像的所有掩模图进行组合，得到对应该增强图像的标注图像；将所有增强图像的标注图像作为第二训练数据集。
也就是说，利用病灶类型及标注框信息生成每种病灶的独立掩模图，如图5所示，其中(a)为硬渗(Hard Exudates)的样例图，(b)为软渗(Soft Exudates)的样例图，(c)为微动脉瘤(Microaneurysms)的样例图，(d)为出血(Haemorrhages)的样例图，(e)为黄斑区域(Macula)的样例图。最后为每一种病灶赋予一种合适的颜色再加以组合得到得到每张眼底图像对应的病灶标注图，如图6所示。
通过上述对每一增强图像进行处理，进而建立病灶标注图像数据库：对标注后生成的每幅图像的文本信息按照病灶类型分别进行提取，再结合与之名称相同的增强图像分离出该图像中各种病灶的独立掩模图，最后对该图像中每种病灶的独立掩模图按照不相交的原则进行颜色填充并加以组合生成病灶标注图像。建立病灶标注图像数据库的步骤如下：
步骤3.1，对每一幅图像而言，首先任意选定一种病灶，利用该病灶的类型对该图像对应的文本文件中的所有病灶标注框及其绑定信息(标注框的位置及相对坐标)进行筛选，滤除所有非该类型病灶的标注框信息；接着根据剩余标注框的绑定信息绘制所有该类病灶的矩形区域并进行填充(0或255的像素值)，其余区域视为背景并填充与矩形区域内相反的像素值。得到该类型病灶对应的独立掩模图。
步骤3.2，重复步骤3.1，得到该图像中每种病灶对应的独立掩模图。
步骤3.3，为每种病灶选择一种特定的颜色。由于病灶的类别数量大于三种，因此在进行颜色分配时需要保证各种病灶叠加后的颜色不等同于任意一种独立病灶的颜色，即对于病灶全集Ω中的任意一种病灶i，j，k∈Ω而言满足：
lesion(i)&lesion(j)≠lesion(k)
然后对步骤3.2得到的每种病灶的独立掩模图中的病灶区域按照选择的颜色进行填充。
步骤3.4，将填充后的所有类型病灶的独立掩模图进行图像按“与”操作，得到该图像对应的病灶标注图像。即：
g(x,y)mix＝f(x,y)MA∧f(x,y)HE∧f(x,y)EX∧f(x,y)SE∧f(x,y)ML
式中g(x,y)mix表示病灶标注图像，f(x,y)Z表示病灶类型为z的独立掩模图。
步骤3.5，重复步骤3.1至步骤3.4，得到所有增强图像对应的病灶标注图像，进而得到病灶标注图像数据库。
步骤4，实施数据扩增
由于由医生进行人工标注的图像相对较少，目前获取到的数据仅有426张，而模型的训练需要大量的数据作为支撑，这里至少需要600张以上的数据。因此需要对数据集进行扩增。
一种数据扩增的方式为对现有的数据使用旋转，缩放，剪裁等经典的方法进行扩增。即对步骤3得到病灶标注图像数据库中的图像进行旋转，缩放，裁剪等操作，以获得尺度空间的数据扩增图像。
另一种数据扩增的方式可包括下述的步骤：
从MESSIDOR眼底图像数据库官网获取部分未经医生标注的原始眼底彩照图像，根据眼底图像中各类病灶的颜色及形态学(形状，大小)等特征对其进行粗分割。
步骤4.1，具体来讲，首先：依据病灶的灰度信息利用两个高低阈值TL＝50,TH＝200对图像进行二值化处理获取各类病灶的候选区域，这些候选区域当中包含各类病灶结构、部分眼底结构(例如，视盘和血管)以及噪声。
需要说明的是，图像中病灶的灰度值与背景部分的灰度值有可见的差异，因此通过设立两个高低阈值就可以直接舍弃大部分的无关背景信息。
步骤4.2，接着：选取(5,11,23)三个尺寸的核对包含血管的候选区域进行连续的形态学开闭运算以单独获取其中的血管结构。即：
g(x,y)o＝open[f(x,y),B]＝dilate{erode[f(x,y),B],B}
g(x,y)c＝close[f(x,y),B]＝erode{dilate[f(x,y),B],B}
其中，f(x,y)表示原始图像，B为核的大小，g(x,y)o为开运算结果，g(x,y)c为闭运算结果。
步骤4.3，然后：结合血管的走向以及灰度直方图像素值计算找到血管的聚集点坐标，以该坐标为圆心，图像分辨率的1/15为半径绘制一个圆形区域作为视盘的大致定位区域。
步骤4.4，最后，从各类病灶的候选区域当中去除血管及视盘区域，利用连通域计算(包括连通域的面积计算，周长计算，面积的比值计算)，图像逻辑运算(包括图像的“与”运算，“或”运算以及“异或”运算)等方法对病灶进行鉴别与提取，实现眼底图像中病灶的快速粗分割，进而获得每种病灶的独立掩模图。
步骤4.5，再对每一种病灶的独立掩模图进行指定像素的填充，并将所有填充有指定像素的独立掩模图进行“图像与”操作方式组合，得到该原始图像的特征图。即参照前述步骤3.3和步骤3.4的方法进行颜色填充和组合作为新的样本数据对原始的样本数据集实现扩增。
当然，对独立掩模图填充像素之前，可对病灶的独立掩模图进行人工筛选和评定，去除部分分割效果过差的图像。
步骤5，训练深度学习模型
使用预训练好的稠密卷积网络(DenseNet)模型在上述数据扩增后的病灶标注图像数据集上进行模型迁移学习，得到用于眼底疾病进展预测的模型。模型的训练步骤如下：
步骤5.1，搭建DenseNet121网络模型；
步骤5.2，根据扩增后数据集的数量将制作好的分类样本按照4:1的比例分为训练集和验证集；
步骤5.3，将制作好的训练集和验证集按照图像类别(有进展(会发展为更为严重的级别)和无进展(不会发展为更为严重的级别))送入模型进行训练。
模型的训练过程中采用小批量梯度下降法(Mini-Batch Gradient Descent)对模型的损失函数进行优化，使得模型更容易收敛到全局最优值。其中批量大小(Batch size)选取硬件支持范围内的最大值，这里选择的Batch size＝4。
步骤5.4，训练结束后，观察训练集与测试集的损失曲线，结合模型的各项评价指标(准确率、精确率、召回率、f1score等)选择最佳节点导出模型的训练权重，作为最终疾病进展预测模型的加载权重，得到眼底影像分析模型。节点的选择的依据要优先考虑模型的召回率，其次是准确率和精确率，即模型将尽可能将可疑的图像都归为有进展(会发展为更为严重的级别)的类别，降低发生假阴性(即将有进展图像误分为无进展)的概率。
通常，将经过数据扩增后获得的病灶标注图样本数据集按照4:1分为训练集和验证集，有进展和无进展的病灶图按照类别放入不同的文件夹当中，并将其转换成pytorch平台需要的tensor类型送入模型训练。
批量大小(Batchsize)设定为4，初始学习率设定为0.0001，学习率更新步长为(4,8,12,16)，迭代次数为100步。通过综合训练集与验证集的精确率和召回率，最终选择验证集平均召回率为0.901，平均精确率为0.932的节点导出模型，作为后续的疾病进展预测模型。最终对模型进行测试，测试集的平均预测准确率能够达到85％以上。
步骤6，模型预测。
在具体应用场景中，针对每一待分析的眼底彩色图像，将其输入到训练的眼底影像分析模型中，获得对应该眼底彩色图像的输出结果。
上述方法训练后的模型可对医学眼底彩照进行自动预测，无需人工对特征进行筛选，预测效果不易受图像质量及特征筛选结果的影响。
本实施例的方法中引入了多种数据扩增方法，使本方法可以充分利用大数据优势，训练出鲁棒性和泛化性更强的眼底影像分析模型。
本实施例的方法还可为眼底病变的机理研究和特征的筛选提供了新的研究对象和分析方法。
实施例三
本申请第三方面通过实施例三提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上实施例中任意一项所述的稠密卷积网络模型的训练方法的步骤。
电子设备可包括：至少一个处理器、至少一个存储器、至少一个网络接口和其他的用户接口。电子设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。其中，用户接口可以包括显示器、键盘或者点击设备或者触感板等。
可以理解，本实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
在一些实施方式中，存储器存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如工业控制设备运行管理系统，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序中。
在本发明实施例中，处理器通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于执行第一方面所提供的方法步骤。
上述本发明实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
另外，结合上述实施例中的稠密卷积网络模型的训练方法，本发明实施例可提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上方法实施例中的任意一种稠密卷积网络模型的训练方法。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例做出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (10)

1.一种基于稠密卷积网络模型的眼底影像分析模型的训练方法，其特征在于，该方法包括：
A10、对第一训练数据集中每一张原始图像进行图像增强处理，获得增强后的每一增强图像，所述第一训练数据集中每一图像为原始采集的眼底彩色图像；
A20、借助于人工标注方式获取每一增强图像的病灶信息，针对每一增强图像，并基于该增强图像所属的病灶信息对该增强图像进行提取，获取该增强图像内每一病灶的掩模图，将该增强图像的所有掩模图进行组合，得到对应该增强图像的标注图像；将所有增强图像的标注图像作为第二训练数据集；
A30、采用第二训练数据集对建立的稠密卷积网络模型进行训练，获得训练后的用于对任一待分析的眼底彩色图像进行预测的眼底影像分析模型。
2.根据权利要求1所述的方法，其特征在于，所述A30之前，所述方法还包括：
对第二训练数据集的每一标注图像进行旋转、缩放或者剪裁处理，获得新的标注图像，将新的标注图像和原标注图像组成第三训练数据集，相应地，A30可包括：
采用第三训练数据集对建立的稠密卷积网络模型进行训练，获得训练后的用于对任一待分析的眼底彩色图像进行预测的眼底影像分析模型。
3.根据权利要求1所述的方法，其特征在于，所述A30之前，所述方法还包括：
A40、对其他训练数据集中的每一原始图像按照病灶特征信息进行粗分割，获取分割后的具有病灶特征信息的特征图，将这些特征图和第二训练数据集中的标注图像组成第四训练数据集；所述第四训练数据集中第二训练数据集的图像占比大于50％；
相应地，A30可包括：
采用第四训练数据集对建立的稠密卷积网络模型进行训练，获得训练后的用于对任一待分析的眼底彩色图像进行预测的眼底影像分析模型。
4.根据权利要求1所述的方法，其特征在于，A10包括：
A11、针对待增强处理的一张原始图像，将该原始图像从RGB空间转换到YUV空间；
A12、在YUV空间中对Y空间进行初调整，使得初调整后的Y空间图像的像素值范围处于20-245之间，将调整后的Y空间和原UV空间组合并转换为第一类RGB图像；
A13、对第一类RGB图像进行彩色对比度增强，并对增强后的RGB图像采用gamma校正，得到第二类RGB图像，将得到的第二类RGB图像作为该原始图像的增强图像。
5.根据权利要求4所述的方法，其特征在于，A12包括：
利用限制对比度自适应直方图均衡算法将Y空间的颜色对比度进行初调整，调整过程中使用的颜色对比度的阈值为3-3.5，像素均衡化的网格大小为8x8；
和/或，A13包括：
gamma校正过程中校正系数为1.2。
6.根据权利要求1所述的方法，其特征在于，A20包括：
A21、以人工操作标注程序的方式在每一增强图像上进行标注，且标注使用的标识不同，生成包括病灶信息的文件，所述病灶信息包括：病灶名称、位置、病灶类型和/或标注框的位置信息；
A22、针对每一增强图像，选择该增强图像中一种类型的病灶信息，利用选择的病灶信息中的类型从该增强图像对应的文件中筛选出该类型的病灶信息所属的所有标注框的位置信息；
基于筛选的标注框的位置信息，滤除增强图像中其他区域的图像，保留的标注框的区域，并对保留的区域填充第一指定像素，其他区域填充第二指定像素，得到该类型病灶信息对应的掩模图；
对该增强图像中所有类型的病灶信息进行相同方式的处理，得到该增强图像中所有病灶信息分别对应的掩模图，将该增强图像的所有病灶信息的掩模图按照“图像与”操作方式组合，得到该增强图像的标注图像；
其中，任一病灶信息所属标注框内填充的指定像素唯一。
7.根据权利要求3所述的方法，其特征在于，A40包括：
从MESSIDOR眼底图像数据库官网获取部分未进行人工标注的原始眼底彩色图像作为其他训练数据集中的原始图像；
针对每一原始图像，按照各类病灶的通用特征信息对原始图像进行粗分割；所述病灶的通用特征信息包括：颜色、形状、灰度信息、和/或尺寸信息；
具体地，按照各类病灶的通用特征信息对原始图像进行粗分割，包括：
首先：依据病灶的灰度信息利用两个高低阈值TL＝50,TH＝200对该原始图像进行二值化处理，获取各类病灶的候选区域；所述候选区域包括：眼底结构、噪声、病灶结构；
接着：选取5,11,23三个尺寸的核对包含血管的候选区域进行连续的形态学开闭运算以单独获取血管结构；即：
g(x,y)o＝open[f(x,y),B]＝dilate{erode[f(x,y),B],B}
g(x,y)c＝close[f(x,y),B]＝erode{dilate[f(x,y),B],B}
其中，f(x,y)表示原始图像，B为核的大小，g(x,y)o为开运算结果，g(x,y)c为闭运算结果；
然后，结合血管的走向以及灰度直方图像素值确定血管的聚集点坐标，以该坐标为圆心，图像分辨率的1/15为半径绘制一个圆形区域作为视盘的定位区域；
最后，从各类病灶的候选区域当中去除血管结构及视盘的定位区域，利用连通域计算、图像逻辑运算对病灶结构进行鉴别与提取，获取原始图像中病灶的快速粗分割，进而获得每种病灶的独立掩模图；
对每一种病灶的独立掩模图进行指定像素的填充，并将所有填充有指定像素的独立掩模图进行“图像与”操作方式组合，得到该原始图像的特征图。
8.根据权利要求1所述的方法，其特征在于，A30包括：
将用于训练的训练数据集分为训练集和验证集，按照图像类别送入稠密卷积网络模型进行训练；
稠密卷积网络模型的训练过程中采用小批量梯度下降法对稠密卷积网络模型的损失函数进行优化，使得稠密卷积网络模型收敛到全局最优值；其中Batch size＝4；
获取并分析训练集与测试集的损失曲线，结合模型的评价指标选择最佳节点导出稠密卷积网络模型的训练权重，作为最终预测模型的加载权重，得到眼底影像分析模型。
9.一种基于眼底影像分析模型的眼底疾病进展预测方法，其特征在于，所述方法包括：
获取待分析的眼底彩色图像；
将获取的眼底彩色图像输入至训练得到的眼底影像分析模型，获得输出的疾病进展结果信息；
其中，所述眼底影像分析模型为采用上述权利要求1至8任一所述的基于稠密卷积网络模型的眼底影像分析模型的训练方法进行训练得到的。
10.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上权利要求1至8任一项所述的基于稠密卷积网络模型的眼底影像分析模型的训练方法的步骤。
CN202110956629.3A 2021-08-19 2021-08-19 基于稠密卷积网络模型的眼底影像分析模型的训练方法 Active CN113793301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110956629.3A CN113793301B (zh) 2021-08-19 2021-08-19 基于稠密卷积网络模型的眼底影像分析模型的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110956629.3A CN113793301B (zh) 2021-08-19 2021-08-19 基于稠密卷积网络模型的眼底影像分析模型的训练方法

Publications (2)

Publication Number Publication Date
CN113793301A CN113793301A (zh) 2021-12-14
CN113793301B true CN113793301B (zh) 2023-07-21

Family

ID=79181840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110956629.3A Active CN113793301B (zh) 2021-08-19 2021-08-19 基于稠密卷积网络模型的眼底影像分析模型的训练方法

Country Status (1)

Country Link
CN (1) CN113793301B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283143B (zh) * 2022-03-04 2022-05-06 北京鹰瞳科技发展股份有限公司 对眼底疾病的治疗效果进行预测的方法及其相关产品
CN114782337A (zh) * 2022-04-08 2022-07-22 平安国际智慧城市科技股份有限公司 基于人工智能的oct图像推荐方法、装置、设备及介质
CN115985472B (zh) * 2022-12-01 2023-09-22 珠海全一科技有限公司 基于神经网络的眼底图像标注方法及系统
CN117952964B (zh) * 2024-03-25 2024-06-07 重庆医科大学绍兴柯桥医学检验技术研究中心 基于计算机视觉技术的眼底医学影像分析方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171709A (zh) * 2018-01-30 2018-06-15 北京青燕祥云科技有限公司 肝占位性病灶区域的检测方法、装置和实现装置
CN108665456A (zh) * 2018-05-15 2018-10-16 广州尚医网信息技术有限公司 基于人工智能的乳腺超声病灶区域实时标注的方法及系统
CN110264443A (zh) * 2019-05-20 2019-09-20 平安科技（深圳）有限公司 基于特征可视化的眼底图像病变标注方法、装置及介质
CN111161278A (zh) * 2019-12-12 2020-05-15 西安交通大学 一种基于深层网络聚合的眼底图像病灶分割方法
CN112258488A (zh) * 2020-10-29 2021-01-22 山西三友和智慧信息技术股份有限公司 一种医疗影像病灶分割方法
CN112288720A (zh) * 2020-10-29 2021-01-29 苏州体素信息科技有限公司 一种基于深度学习的彩色眼底图像青光眼筛查方法及系统
WO2021114630A1 (zh) * 2020-05-28 2021-06-17 平安科技（深圳）有限公司 医学图像样本筛查方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171709A (zh) * 2018-01-30 2018-06-15 北京青燕祥云科技有限公司 肝占位性病灶区域的检测方法、装置和实现装置
CN108665456A (zh) * 2018-05-15 2018-10-16 广州尚医网信息技术有限公司 基于人工智能的乳腺超声病灶区域实时标注的方法及系统
CN110264443A (zh) * 2019-05-20 2019-09-20 平安科技（深圳）有限公司 基于特征可视化的眼底图像病变标注方法、装置及介质
CN111161278A (zh) * 2019-12-12 2020-05-15 西安交通大学 一种基于深层网络聚合的眼底图像病灶分割方法
WO2021114630A1 (zh) * 2020-05-28 2021-06-17 平安科技（深圳）有限公司 医学图像样本筛查方法、装置、计算机设备和存储介质
CN112258488A (zh) * 2020-10-29 2021-01-22 山西三友和智慧信息技术股份有限公司 一种医疗影像病灶分割方法
CN112288720A (zh) * 2020-10-29 2021-01-29 苏州体素信息科技有限公司 一种基于深度学习的彩色眼底图像青光眼筛查方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度卷积神经网络的糖尿病视网膜病变分期及病灶检测;谢云霞;黄海于;胡建斌;;计算机应用(08);全文 *

Also Published As

Publication number Publication date
CN113793301A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN113793301B (zh) 基于稠密卷积网络模型的眼底影像分析模型的训练方法
CN110399929B (zh) 眼底图像分类方法、装置以及计算机可读存储介质
CN109741346B (zh) 感兴趣区域提取方法、装置、设备及存储介质
CN108021916B (zh) 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN111931865B (zh) 图像分类模型的训练方法、装置、计算机设备及存储介质
CN109241967B (zh) 基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质
CN111145209B (zh) 一种医学图像分割方法、装置、设备及存储介质
CN109816666B (zh) 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质
CN112927799B (zh) 融合多示例学习和多任务深度影像组学的生存期分析系统
WO2019184851A1 (zh) 图像处理方法和装置及神经网络模型的训练方法
CN110796659B (zh) 一种目标检测结果的鉴别方法、装置、设备及存储介质
CN111080579A (zh) 基于深度学习实现图像分割和分类的骨龄评估方法
CN109255786B (zh) 一种检测骨龄的方法及装置
Wang et al. Medical matting: a new perspective on medical segmentation with uncertainty
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN113643297B (zh) 一种基于神经网络的计算机辅助牙龄分析方法
CN116797504A (zh) 图像融合方法、电子设备及存储介质
CN115100494A (zh) 一种病灶图像的识别方法、装置、设备及可读存储介质
Goutham et al. Automatic localization of landmarks in cephalometric images via modified U-Net
CN117152507B (zh) 一种牙齿健康状态检测方法、装置、设备及存储介质
CN113237881A (zh) 一种特定细胞的检测方法、装置和病理切片检测系统
Xian et al. Automatic tongue image quality assessment using a multi-task deep learning model
CN116977260A (zh) 目标物的缺陷检测方法、装置、电子设备及存储介质
CN116012639A (zh) 一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法
CN115880358A (zh) 定位模型的构建方法、影像标志点的定位方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhang Lin

Inventor after: Yang Jinkui

Inventor after: Zhu Xiaorong

Inventor after: Yang Fangyuan

Inventor before: Yang Jinkui

Inventor before: Zhang Lin

Inventor before: Zhu Xiaorong

Inventor before: Yang Fangyuan

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant