CN114693961B - 眼底照片分类方法、眼底图像处理方法和系统 - Google Patents
眼底照片分类方法、眼底图像处理方法和系统 Download PDFInfo
- Publication number
- CN114693961B CN114693961B CN202011450625.XA CN202011450625A CN114693961B CN 114693961 B CN114693961 B CN 114693961B CN 202011450625 A CN202011450625 A CN 202011450625A CN 114693961 B CN114693961 B CN 114693961B
- Authority
- CN
- China
- Prior art keywords
- fundus
- image
- training
- model
- training set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000012545 processing Methods 0.000 title claims abstract description 22
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 126
- 238000012360 testing method Methods 0.000 claims abstract description 38
- 238000007781 pre-processing Methods 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000003062 neural network model Methods 0.000 claims abstract description 11
- 230000003321 amplification Effects 0.000 claims abstract description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 7
- 208000023445 Congenital pulmonary airway malformation Diseases 0.000 claims description 32
- 208000020832 chronic kidney disease Diseases 0.000 claims description 31
- 238000013527 convolutional neural network Methods 0.000 claims description 30
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 14
- 238000013136 deep learning model Methods 0.000 claims description 10
- 238000000586 desensitisation Methods 0.000 claims description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 230000005284 excitation Effects 0.000 claims description 4
- 238000001125 extrusion Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000007667 floating Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 2
- 230000005012 migration Effects 0.000 claims description 2
- 230000004931 aggregating effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 210000001367 artery Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 210000003462 vein Anatomy 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000003908 quality control method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000000502 dialysis Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007427 paired t-test Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明的一种眼底照片分类方法、眼底图像处理方法和系统，可解决现有眼底照片分类方法效率低、误差大的技术问题。包括获取眼底照片并进行预处理，生成标准化的眼底图片；把处理后的眼底照片划分为训练集和测试集，并对训练集进行数据扩增；对训练集和测试集进行数据预处理，保证在训练阶段输入模型的每个训练数据集(batch)类别均匀；集成学习策略，并训练分支神经网络模型；进行模型融合，得到最终检测模型，实现对眼底照片的分类。本发明效果高，自动化程度优秀；提取眼底照片的视杯/视盘比、动静脉比等特征，并结合机器学习的方法进行分类的方法，本发明计算速度快，运行时占用计算机资源较少。
Description
技术领域
本发明涉及到医疗图像分类检测技术领域，具体涉及一种眼底照片分类方法、眼底图像处理方法和系统。
背景技术
慢性肾病(CKD)是一种影响全球公共卫生问题的慢性疾病。慢性肾病的流行率和发病率逐年增加，具有高发病率、治疗困难、死亡率高和知晓率低的特点。慢性肾病往往伴随着高血压、糖尿病等心血管疾病，当慢性肾病逐渐恶化，患者需要肾移植或长期依赖透析来维持生命。
研究表明，对慢性肾病患者进行早期诊断和治疗能够有效地防止病情的进一步恶化，而防治的其中一个手段是通过眼底照相检查，定期体检观察病情的进展，以便及时干预。但是仅凭医生肉眼观察眼底照片有诸多不便，一来只靠经验很难准确判断和分类，二来需要巨大的阅片工作量。如何把潜在的目标眼底照片分类并挑选出来，供医生参考，提高分类的准确性，是一直以来急需解决的问题。
近年来，随着计算机视觉技术的发展，许多深度学习模型已经在医疗图像领域得到广泛应用。因此，为了在保证识别准确率的同时减少人工筛查的时间和精力，设计一种可用于慢性肾病检测的眼底照片的图像预处理和深度学习分类方法是十分必要的。
目前基于眼底照片的分类方法主要分为三类：第一类是通过医生肉眼观察，手动标定疾病相关区域；第二类是使用图像分割、特征提取等手段，提取眼底照片的视杯/视盘比、动静脉比等特征，并结合机器学习的方法进行分类；第三类是使用端对端的深度学习模型，直接进行预测。
通过医生肉眼观察、手动标定的手段，较为依靠医生的主观经验，且工作量巨大、效率低下；使用图像分割、特征提取等手段，提取眼底照片的视杯/视盘比、动静脉比等特征，并结合机器学习的方法进行分类，一般算法流程设计复杂，计算速度慢，非常考验疾病和提取特征的相关性，如果提取的特征和疾病的相关性不佳或是提取特征的算法不稳定，都可能导致分类效果不理想；使用端对端的深度学习模型进行分类，需要保证输入端眼底照片的质量控制，一旦输入的眼底照片质量不佳，深度学习模型无法达到正常的分类效果。
发明内容
本发明提出的一种眼底照片分类方法和系统，可解决现有慢性肾病检测中基于眼底照片的分类方法效率低且准确度低的技术问题。
为实现上述目的，本发明采用了以下技术方案：
根据本发明一方面，提供了一种可用于慢性肾病检测的眼底照片分类方法，
包括以下步骤：
S100、获取眼底照片并进行预处理，生成标准化的眼底图片；
S200、把所述眼底图片划分为训练集和测试集，并对训练集进行数据扩增；
S300、对S200的训练集和测试集进行数据预处理，保证在训练阶段输入模型的每个batch类别均匀；
S400、基于S300集成学习策略，并训练分支神经网络模型；
S500、进行模型融合，得到最终检测模型，实现对眼底照片的分类。
进一步的，所述S100获取眼底照片并进行预处理，生成标准化的眼底图片；
包括：
1.8)对于每张眼底照片，首先提取感兴趣区域(ROI)，提取眼底照片的R通道分量，二值化处理；
1.9)对二值化之后的R通道分量使用5x5的卷积核进行闭运算，选定种子点(int(h/2),int(w/2))，其中h为图像的高度，w为图像的宽度，int表示对浮点数进行取整，使用连通组件分析算法提取位于眼底照片正中央的圆形/圆形截面区域作为掩模1；
1.10)求出二值化掩模1图像的最小外接矩形，并向外扩张10个像素点值作为掩模2；
1.11)基于掩模1图像对原始眼底照片进行pixel-wise操作，即对于原始图像和二值化掩模1图像中相对应的点，若掩模1图像上对应的点值为1，则保留原始图像RGB三通道的值；若掩模1图像上对应的点值为0，则将原始图像RGB三通道的值均置0；
1.12)基于二值化掩模2图像，剪切原始眼底照片得到中间图像，达到提取ROI区域的目的；
1.13)提取中间图像的G通道分量，对于相应掩模1图像中像素值不为0的点使用直方图均衡化的方法，增强图像对比度，其中，N为像素点数总数目，v为原始灰度级，s为直方图均衡化处理后的灰度级，取值从0到255，cdf为v的累计分布函数，round表示四舍五入为整数；cdfmin为cdf的最小值；
1.14)合并中间图像和R通道分量、直方图均衡化处理后的G通道分量以及B通道分量，得到预处理之后的眼底照片。
进一步的，所述S200、把处理后的眼底照片划分为训练集和测试集，并对训练集进行数据扩增；
其中，把处理后的眼底照片划分为训练集和测试集，具体包括：
按照4:1的比例，使用分层抽样的方法将原始的眼底照片数据集随机划分为训练集和测试集；
在训练集中，再次使用分层抽样的方法将数据随机划分为训练集1、训练集2、训练集3、训练集4、训练集5一共5个互不相交的子集。
进一步的，所述S200、把处理后的眼底照片划分为训练集和测试集，并对训练集进行数据扩增；
其中，并对训练集进行数据扩增，具体包括：
对于每一个训练集子集中的眼底照片，通过随机使用以下任意一种方法实现数据扩增：
3.1)左右翻转；
3.2)以0到0.1之间的随机比例裁剪图像后resize成原始图像尺寸；
3.3)使用尺寸为5x5，σ随机的高斯滤波器进行平滑处理。
进一步的，所述S300、对S200的训练集和测试集进行数据预处理，保证在训练阶段输入模型的每个batch类别均匀；
具体包括：
4.1)经过图像预处理后的眼底照片维度为：(h,w,c)，其中h为图像的高度，w为图像的宽度，c为通道数；每个通道的像素点取值范围为0～255，对像素点的取值范围进行归一化处理，将其映射到0～1区间；
4.2)设定模型训练的超参数；
批处理量batch size和尺寸l，设定各训练集中的batch size＝16，l＝600；
对于训练集，按阴性样本即无慢性肾病和阳性样本即有慢性肾病以12:4的比例准备输入数据，其中阴性样本为无放回抽样，阳性样本为有放回抽样；测试集的batch size＝1，阴性和阳性样本均为无放回抽样；
对输入的眼底图像进行resize操作，使其维度为(l,l,c)，进而得到的输入数据格式为m个(l,l,c,n)的张量数据，其中n即batch size，m为总的batch个数。
进一步的，所述S400基于S300集成学习策略，并训练分支神经网络模型；
其中，集成学习策略，具体包括：
在5个互不相交的训练集子集的基础上各训练5个分支模型；
每一个模型使用4个训练集子集作为训练集，留下的一个训练集子集作为测试集调整参数分支模型；
每一个分支模型的训练和调参过程互相独立。
进一步的，所述S400基于S300集成学习策略，并训练分支神经网络模型；
其中，训练分支神经网络模型；具体包括：
6.1)对于每一个分支模型，都以DenseNet-101为基本网络结构，并去掉DenseNet-101最后的全连接层，添加输出维度为2的全连接层，模型参数使用基于ImageNet预训练好的参数进行迁移学习或重新训练；
6.2)深度学习模型的损失函数采用focal loss损失函数，其具体公式为：
其中，α和γ为人工设置的超参数，具体的α＝0.6，γ＝0.25，p为softmax输出的图像为阳性样本的概率值，y为图像的真实标签，y＝1表示患有慢性肾病，y＝0表示未患慢性肾病，为了防止过拟合现象，再使用L2正则化对模型进行约束；
6.3)模型的优化策略采用Adam优化器进行；Adam优化步骤如下：
mt＝β1mt-1+(1-β1)gt
其中，gt为t时刻损失函数L对参数θ的梯度，β1和β2均为超参数，β1＝0.9和β2＝0.999，且m0＝0，v0＝0，α为学习率，e为分母保护参数；α＝0.0001，e＝1*10-8，θt为更新后的参数；
6.4)Dropout策略，在训练过程中模型后层有40％的随机参数不参与梯度的反向传播；
6.5)Early-Stop策略，在分支模型的训练过程中，一旦出现训练集上的loss和测试集上的loss绝对值距离明显越来越大时，停止训练，保留出现偏差过大情况之前的模型。
进一步的，所述S500进行模型融合，得到最终检测模型，实现对眼底照片的分类；
具体包括：
对于训练完毕的分支模型，在测试过程中，使用soft-voting的方式求得模型的最终分类结果。
另一方面，本发明还公开一种眼底照片分类系统，包括以下单元：
眼底照片预处理单元，用于获取眼底照片并进行预处理，生成标准化的眼底图片；
眼底照片划分单元，用于把处理后的眼底照片划分为训练集和测试集，并对训练集进行数据扩增；
训练集和测试集处理单元，对训练集和测试集进行数据预处理，保证在训练阶段输入模型的每个batch类别均匀；
模型训练单元，用于基于集成学习策略，并训练分支神经网络模型；
模型融合确定单元，用于进行模型融合，得到最终检测模型，实现对眼底照片的分类。
根据本发明又一方面，还提供了一种眼底图像处理方法，其特征在于包括以下步骤：
构建第一数据集,包括原始眼底图像预处理以及对预处理后的眼底图像进行数据筛选，所述原始眼底图像预处理包括数据脱敏、提取ROI以及增强对比度，所述对预处理后的眼底图像进行数据筛选包括利用MobileNet v3 large模型以及soft voting的方法对预处理后的眼底图像进行筛选，清除质量不达标的眼底图像，构建所述第一数据集；
构建具有CCAM模块的卷积神经网络模型，所述卷积神经网络模型包括主干网络和所述CCAM模块，所述主干网络包括输入、第一卷积层、MLP和第一Sigmoid，所述CCAM模块包括上层支路和下层支路，所述上层支路用于在第一特征图的基础上使用第二卷积层实现CAM的提取，并用第二Sigmoid差异化特征的重要性；所述下层支路使用激励和挤压操作提取第一特征图的通道权重，结合CAM进行scale操作得到带通道注意力机制的通道CAM图，所述通道CAM图再与所述第一特征图做哈达玛积操作并与所述第一特征图相加输入全连接层或者GAP中；所述第一特征图为第一卷积层的输出；
以Focal Loss作为损失函数，利用所述第一数据集训练所述具有CCAM模块的卷积神经网络模型；
利用训练后的所述具有CCAM模块的卷积神经网络模型对用户的眼底图像进行处理并输出分类结果。
根据本发明又一方面，MLP为全连接层或者GAP(全局平均池化)。
根据本发明又一方面，采集用户的左右眼底图像并进行数据脱敏、提取ROI以及增强对比度。
根据本发明又一方面，采用训练后的所述具有CCAM模块的卷积神经网络模型并行对所述左右眼底图像进行处理，分别输出左眼第二特征图和右眼第二特征图，然后以通道为轴，聚合到一起，作为输入全连接层或GAP的特征张量，最后输出分类结果。
根据本发明又一方面，利用SmoothGrad-CAM++方法对所述卷积神经网络模型的决策依据区域进行可视化并生成热力图。
由上述技术方案可知，本发明的眼底照片分类方法基于眼底照片进行实现。本发明的针对眼底照片预处理的方法以及对于深度学习分类模型；具体来说，包括通过眼底照片预处理，生成标准化的眼底照片整个的图像预处理步骤；以及输入数据预处理中的按比例分配每个batch中阳性与阴性样本的数量；集成学习加上focal loss解决眼底照片分类中的类不平衡问题。
相比于通过医生肉眼观察、手动标定的手段，本发明效果高，自动化程度优秀；相比于使用图像分割、特征提取等手段，提取眼底照片的视杯/视盘比、动静脉比等特征，并结合机器学习的方法进行分类的方法，本发明计算速度快，运行时占用计算机资源较少；相比于使用端对端的深度学习模型进行分类，本发明保证了输入端眼底照片的质量控制，且在一定程度上解决了过拟合的问题。
附图说明
图1是本发明的方法的原理图；
图2是本发明的方法中通过眼底照片预处理，生成标准化的眼底照片的示意图；
图3是本发明网络模型训练示意图；
图4是本发明模型融合示意图；
图5是本发明具有CCAM模块的卷积神经网络模型的示意图；
图6是本发明左右眼特征融合网络示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
实施例1
本发明实施例所述的眼底照片分类方法，主要运用图像形态学和深度学习方法，使用形态学的方法对眼底照片进行预处理，然后在参照DenseNet-101网络模型的基础上引入了更适用于发病率问题的focal loss损失函数和类不平衡问题的训练策略，设计出了一种基于DenseNet-101网络模型的自动分类方法。
为实现上述发明目的，本发明实施例提出一种基于深度学习算法的眼底照片的图像预处理和自动分类方法，包括以下步骤：
(1)通过眼底照片预处理，生成标准化的眼底照片，如图2所示
1.15)对于每张眼底照片，首先提取感兴趣区域(ROI)，提取眼底照片的R通道分量，二值化处理；
1.16)对二值化之后的R通道分量使用5x5的卷积核进行闭运算，选定种子点(int(h/2),int(w/2))，其中h为图像的高度，w为图像的宽度，int表示对浮点数进行取整，使用连通组件分析算法提取位于眼底照片正中央的圆形/圆形截面区域作为掩模1；
1.17)求出二值化掩模1图像的最小外接矩形，并向外扩张10个像素点值作为掩模2；
1.18)基于掩模1图像对原始眼底照片进行pixel-wise操作，即对于原始图像和二值化掩模1图像中相对应的点，若掩模1图像上对应的点值为1，则保留原始图像RGB三通道的值；若掩模1图像上对应的点值为0，则将原始图像RGB三通道的值均置0；
1.19)基于二值化掩模2图像，剪切原始眼底照片得到中间图像，达到提取ROI区域的目的；
1.20)提取中间图像的G通道分量，对于相应掩模1图像中像素值不为0的点使用直方图均衡化的方法，增强图像对比度，其中，N为像素点数总数目，v为原始灰度级，s为直方图均衡化处理后的灰度级，取值从0到255，cdf为v的累计分布函数，round表示四舍五入为整数；cdfmin为cdf的最小值；
1.21)合并中间图像和R通道分量、直方图均衡化处理后的G通道分量以及B通道分量，得到预处理之后的眼底照片。
(2)划分训练集和测试集·
按照4:1的比例，使用分层抽样的方法将原始的眼底照片数据集随机划分为训练集和测试集。在训练集中，再次使用分层抽样的方法将数据随机划分为训练集1、训练集2、训练集3、训练集4、训练集5一共5个互不相交的子集。
(3)通过数据扩增，扩充训练集
对于每一个训练集子集中的眼底照片，通过随机使用以下一种或多种方法实现数据扩增：
3.1)左右翻转；
3.2)以0到0.1之间的随机比例裁剪图像后resize成原始图像尺寸；
3.3)使用尺寸为5x5，σ随机的高斯滤波器进行平滑处理。
(4)输入数据预处理
4.1)经过图像预处理后的眼底照片维度为(h,w,c)，其中h为图像的高度，w为图像的宽度，c为通道数。每个通道的像素点取值范围为0～255，这里对像素点的取值范围进行归一化处理，将其映射到0～1区间；
4.2)设定模型训练的超参数——批处理量batch size和尺寸l，这里设定各训练集中的batch size＝16，l＝600。对于训练集，按阴性样本(无慢性肾病)和阳性样本(有慢性肾病)以12:4的比例准备输入数据，其中阴性样本为无放回抽样，阳性样本为有放回抽样；测试集的batch size＝1，阴性和阳性样本均为无放回抽样。训练集维持阳性样本与阴性样本比例恒定是为了保证每次更新梯度时不会因为类不平衡问题而陷入局部最小点。对输入的眼底图像进行resize操作，使其维度为(l,l,c)，进而得到的输入数据格式为m个(l,l,c,n)的张量数据，其中n即batch size，m为总的batch个数。
(5)集成学习策略
训练深度学习模型的主要策略为集成学习，即在5个互不相交的训练集子集的基础上各训练5个分支模型。每一个模型使用4个训练集子集作为训练集，留下的一个训练集子集作为测试集调整参数分支模型。举例而言，分支模型1使用训练集2、3、4、5作为训练集训练，以训练集1作为验证集调整参数。每一个分支模型的训练和调参过程互相独立。
(6)网络模型训练，如图3所示
6.1)对于每一个分支模型，都以DenseNet-101为基本网络结构，并去掉DenseNet-101最后的全连接层，添加输出维度为2的全连接层，模型参数可以使用基于ImageNet预训练好的参数进行迁移学习，也可以重新训练；
其中网络模型结构还可以采用VGG、ResNet等；
6.2)深度学习模型的损失函数采用focal loss损失函数，其具体公式为：
其中，α和γ为人工设置的超参数，这里α＝0.6，γ＝0.25，p为softmax输出的图像为阳性样本的概率值，y为图像的真实标签，y＝1表示患有慢性肾病，y＝0表示未患慢性肾病，为了防止过拟合现象，再使用L2正则化对模型进行约束；
6.3)模型的优化策略采用Adam优化器进行。Adam优化步骤如下：
mt＝β1mt-1+(1-β1)gt
其中，gt为t时刻损失函数L对参数θ的梯度，β1和β2均为超参数，β1＝0.9和β2＝0.999，且m0＝0，v0＝0，α为学习率，e为分母保护参数。这里α＝0.0001，e＝1*10-8，θt为更新后的参数；
6.4)Dropout策略，在训练过程中模型后层有40％的随机参数不参与梯度的反向传播；
6.5)Early-Stop策略，在分支模型的训练过程中，一旦出现训练集上的loss和测试集上的loss偏差绝对值明显越来越大时，停止训练，保留出现偏差过大情况之前的模型。
(7)测试集上的模型融合，如图4所示
对于训练完毕的5个分支模型，在测试过程中，使用soft-voting的方式求得模型的最终分类结果，将该最终分类结果提供给例如医生参考。
其中本步骤还可以采用Hard-voting替换Soft-voting。
可以理解是的，采用本发明实施例的方法确定后的训练模型，可以直接输入眼底照片然后自动输出分类结果，快速且准确。
综上可知，本发明实施例的眼底照片分类方法，相比于通过医生肉眼观察、手动标定的手段，本发明效果高，自动化程度优秀；相比于使用图像分割、特征提取等手段，提取眼底照片的视杯/视盘比、动静脉比等特征，并结合机器学习的方法进行分类的方法，本发明计算速度快，运行时占用计算机资源较少；相比于使用端对端的深度学习模型进行分类，本发明保证了输入端眼底照片的质量控制，且在一定程度上解决了过拟合的问题。
另一方面，本发明还公开一种眼底照片分类系统，包括以下单元：
眼底照片预处理单元，用于获取眼底照片并进行预处理，生成标准化的眼底图片；
眼底照片划分单元，用于把处理后的眼底照片划分为训练集和测试集，并对训练集进行数据扩增；
训练集和测试集处理单元，对训练集和测试集进行数据预处理，保证在训练阶段输入模型的每个batch类别均匀；
模型训练单元，用于基于集成学习策略，并训练分支神经网络模型；
模型融合确定单元，用于进行模型融合，得到最终检测模型，实现对眼底照片的分类。
可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述眼底照片分类方法；
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一眼底照片分类方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一眼底照片分类方法。
实施例2
现有技术中，采用注意力分支模块的卷积神经网络模型被用于处理眼底图像数据，但注意力分支模块仍存在很多不足。首先，注意力分支模块参考了CAM的做法，将与softmax相连的全连接层替换为GAP，相比于参数可训练的全连接层，GAP只是池化操作，无法调参，增加了前一层卷积层的训练压力，导致全局收敛速度变慢。其次，注意力分支模块接收来自上一卷积层输出的特征图，通过普通卷积和1x1x1卷积的方式将特征图信息压缩成CAM；另一条分路上，注意力分支模块用1x1卷积与GAP的方式约束损失函数，实际上1x1卷积与GAP这两个部件本身就可以直接导出CAM，可以认为GAP导出的CAM是实际约束损失函数的，而1x1x1卷积导出的CAM则是作用于原始特征图增强有效特征表达的。这种由于结构设计而引起的CAM歧义性，导致了注意力分支模块的两个分支的关注点可能存在差异。然后，注意力分支模块对主干网络添加的损失函数约束只作用于训练阶段，也就是说在测试阶段，注意力分支模块中的参数很大部分都处于被动冻结状态，占用存储空间的同时不参与计算，增加了无端的硬件开销。
为了提高对眼底照片或图像进行分类的准确性，解决上述的一个或多个技术问题，本发明进一步提出了一种新的卷积神经网络模型，以解决现有技术中模型训练速度慢、CAM歧义性的问题；同时将模块融入网络之中，删除了对损失函数的约束，减小了无端的硬件开销。
具体地，参见图5，根据本发明一种优选实施方式，提供了一种眼底图像处理方法，其特征在于包括以下步骤：
构建第一数据集,包括原始眼底图像预处理以及对预处理后的眼底图像进行数据筛选，所述原始眼底图像预处理包括数据脱敏、提取ROI以及增强对比度，所述对预处理后的眼底图像进行数据筛选包括利用MobileNet v3 large模型以及soft voting的方法对预处理后的眼底图像进行筛选，清除质量不达标的眼底图像，构建所述第一数据集；
构建具有CCAM模块的卷积神经网络模型，所述卷积神经网络模型包括主干网络和所述CCAM模块，所述主干网络包括输入、第一卷积层、MLP和第一Sigmoid，所述CCAM模块包括上层支路和下层支路，所述上层支路用于在第一特征图的基础上使用第二卷积层实现CAM的提取，并用第二Sigmoid差异化特征的重要性；所述下层支路使用激励和挤压操作提取第一特征图的通道权重，结合CAM进行scale操作得到带通道注意力机制的通道CAM图，所述通道CAM图再与所述第一特征图做哈达玛积操作并与所述第一特征图相加输入全连接层或者GAP中；所述第一特征图为第一卷积层的输出；
以Focal Loss作为损失函数，利用所述第一数据集训练所述具有CCAM模块的卷积神经网络模型；
利用训练后的所述具有CCAM模块的卷积神经网络模型对用户的眼底图像进行处理并输出分类结果。
优选地，MLP为全连接层或者GAP(全局平均池化)。CCAM具体为CAM和通道注意力模块(Class activation mapping and Channel Attention Module)。
有利地，MobileNet v3 large模型实现了良好的数据筛选效果，在5折交叉验证的情况下取得了平均准确率为0.9800、平均Kappa系数为0.9686、平均Macro F1为0.9769的表现，同时FLOPs只有299.88M，参数规模为4199259，Size占用为16.11Mb，平均执行任务时间为0.1221秒。
有利地，Focal Loss可以显著改善模型的灵敏度，CCAM提升了AUC以及模型分类准确度。
有利地，具有CCAM模块的卷积神经网络模型在例如TRCKDS数据集上取得了平均AUC为0.8450、平均准确率为0.8024、平均灵敏度为0.7138、平均特异性为0.8261的表现，多种指标下的结果显示，该泛化能力较强，在跨人种的数据集上没有太多的性能损失。CCAM可以自适应地增强与慢性肾病相关联的局部特征的表达以及对最终分类结果的贡献。
具体地，同仁慢性肾病研究(TongRen Chronic Kidney Disease Study,TRCKDS)数据集主要收录的是在中国北京市首都医科大学附属北京同仁医院进行眼科检查和体检的对象，共有12740个对象的慢性肾病相关数据和20461张眼底图像。
优选地，参见图5，所述上层支路包括第二卷积层、BN(批标准化)、1X1卷积、ReLU函数、1X1卷积(尖端通道数为1)、BN以及第二Sigmoid。所述下层支路包括GAP(全局平均池化,Global Average Pooling)、BN(批标准化)、FC(全连接层)、FC以及第一Sigmoid。
根据本发明又一种优选实施方式，所述分类结果可用于表达慢性肾病的相关度，例如可以输出一个分值。优选地，该分类结果用于提供给医生参考。优选地，所述分类结果还可以为慢性肾病的概率或预测概率。
根据本发明又一种优选实施方式，采集用户的左右眼底图像并进行数据脱敏、提取ROI以及增强对比度。ROI为感兴趣区域。
根据本发明又一种优选实施方式，参见图6，采用训练后的所述具有CCAM模块的卷积神经网络模型并行对所述左右眼底图像进行处理，分别输出左眼第二特征图和右眼第二特征图，然后以通道为轴，聚合到一起，作为输入全连接层或GAP的特征张量，最后输出分类结果(第一分类结果)。有利地，本发明整合了左右眼的特征，使左右眼特征融合，能够有效地提高对慢性肾病患者的分类准确度。
根据本发明又一种优选实施方式，进一步，采用训练后的所述具有CCAM模块的卷积神经网络模型分别对所述左右眼底图像进行处理，分别输出左眼第二特征图和右眼第二特征图，分别作为输入全连接层或GAP的特征张量，最后输出对应的第二分类结果(左眼)和第三分类结果(左眼)。优选地，比较第二分类结果与第三分类结果获得第一差值，当第一差值位于第一预定范围时，输出第一分类结果作为最终的分类结果。进一步，当第一差值位于第一预定范围之外时，将第二分类结果和第三分类结果中的较大值作为最终的分类结果。这是考虑到左右眼的分类结果相差较大时，存在某种潜在的误差，此时的第一分类结果(融合结果)将会偏离实际情况，针对这种情形，本发明采取将第二分类结果和第三分类结果中的较大值(即与慢性肾病相关度较高)作为最终的分类结果，有利于将该用户定位出来以供医生进一步检测，而不发生遗漏或误检测的风险，这种风险对于用户而言可能是相当不利的。
优选地，当第一差值位于第一预定范围时，在第二分类结果与第三分类结果之中确定更接近第一分类结果的一者作为邻近结果，根据第一分类结果和所述邻近结果输出最终的分类结果。例如可以对第一分类结果和所述邻近结果取均值等等。该方法能够进一步提升检测的准确度。
根据本发明又一种优选实施方式，利用SmoothGrad-CAM++方法对所述卷积神经网络模型的决策依据区域进行可视化并生成热力图。有利地，通过SmoothGrad-CAM++方法获得的热力图，可以提升聚焦区域的准确性以及且能够聚焦到异常区域。
通过实验验证，本发明的具有CCAM模块的卷积神经网络模型(ResNet-CCAM)与其它主流的分类网络模型SKNet、DenseNet、Inception V4的对比结果如下表所示。
不同模型在TRCKDS上的表现
/>
附注1：AUC、准确率、灵敏度和特异性的表示方法为均值(标准差)，其中加粗的结果为最好的结果，*表示和最好的结果之间配对t检验的结果在显著性水平为0.05的情况下有显著性差异。
可见，本发明在AUC、准确率、灵敏度和特异性的多种评价指标上都取得了最好的效果。
最后，需要说明的是，实施例2中的具有CCAM模块的卷积神经网络模型可以结合到实施例1中使用。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种眼底照片分类方法，其特征在于：
包括以下步骤：
S100、获取眼底照片并进行预处理，生成标准化的眼底图片；
S200、把眼底图片划分为训练集和测试集，并对训练集进行数据扩增；
S300、对S200的训练集和测试集进行数据预处理，保证在训练阶段输入模型的每个训练数据集batch类别均匀；
S400、基于S300集成学习策略，并训练分支神经网络模型；
S500、进行模型融合，得到最终检测模型，实现对眼底照片的分类；
所述S400基于S300集成学习策略，并训练分支神经网络模型；
其中，S400中训练分支神经网络模型；具体包括：
6.1) 对于每一个分支模型，都以DenseNet-101为基本网络结构，并去掉DenseNet-101最后的全连接层，添加输出维度为2的全连接层，模型参数使用基于ImageNet预训练好的参数进行迁移学习或重新训练；
6.2)深度学习模型的损失函数采用focal loss损失函数，其具体公式为：
；
其中，α和γ为人工设置的超参数，具体的α=0.6，γ=0.25，p为softmax输出的图像为阳性样本的概率值，y为图像的真实标签，y=1表示患有慢性肾病，y=0表示未患慢性肾病，为了防止过拟合现象，再使用L2正则化对模型进行约束；
6.3）模型的优化策略采用Adam优化器进行；Adam优化步骤如下：
；
其中，gt为t时刻损失函数L对参数θ的梯度，β1和β2均为超参数，β1=0.9和β2=0.999，且m0=0，v0=0，α为学习率，e为分母保护参数；α=0.0001，e=1*10-8，θt为更新后的参数；
6.4) Dropout策略，在训练过程中模型后层有40%的随机参数不参与梯度的反向传播；
6.5) Early-Stop策略，在分支模型的训练过程中，一旦出现训练集上的loss和测试集上的loss偏差绝对值明显越来越大时，停止训练，保留出现偏差过大情况之前的模型。
2.根据权利要求1所述的眼底照片分类方法，其特征在于：所述S100获取眼底照片并进行预处理，生成标准化的眼底图片；
包括：
1.1）对于每张眼底照片，首先提取感兴趣区域 ROI，提取眼底照片的R通道分量，二值化处理；
1.2）对二值化之后的R通道分量使用5x5的卷积核进行闭运算，选定种子点(int(h/2),int(w/2))，其中h为图像的高度，w为图像的宽度，int表示对浮点数进行取整，使用连通组件分析算法提取位于眼底照片正中央的圆形或圆形截面区域作为掩模1；
1.3）求出二值化掩模1图像的最小外接矩形，并向外扩张10个像素点值作为掩模2；
1.4）基于掩模1图像对原始眼底照片进行pixel-wise操作，即对于原始图像和二值化掩模1图像中相对应的点，若掩模1图像上对应的点值为1，则保留原始图像RGB三通道的值；若掩模1图像上对应的点值为0，则将原始图像RGB三通道的值均置0；
1.5）基于二值化掩模2图像，剪切原始眼底照片得到中间图像，达到提取ROI区域的目的；
1.6）提取中间图像的G通道分量，对于相应掩模1图像中像素值不为0的点使用直方图均衡化的方法，增强图像对比度，，其中，N为像素点数总数目，v为原始灰度级，s为直方图均衡化处理后的灰度级，取值从0到255，cdf为v的累计分布函数，round表示四舍五入为整数；cdfmin为cdf的最小值；
1.7）合并中间图像和R通道分量、直方图均衡化处理后的G通道分量以及B通道分量，得到预处理之后的眼底照片。
3.根据权利要求2所述的眼底照片分类方法，其特征在于：所述S200、把处理后的眼底照片划分为训练集和测试集，并对训练集进行数据扩增；
其中，把处理后的眼底照片划分为训练集和测试集，具体包括：
按照4:1的比例，使用分层抽样的方法将原始的眼底照片数据集随机划分为训练集和测试集；
在训练集中，再次使用分层抽样的方法将数据随机划分为训练集1、训练集2、训练集3、训练集4、训练集5一共5个互不相交的子集。
4.根据权利要求3所述的眼底照片分类方法，其特征在于：所述S200、把处理后的眼底照片划分为训练集和测试集，并对训练集进行数据扩增；
其中，并对训练集进行数据扩增，具体包括：
对于每一个训练集子集中的眼底照片，通过随机使用以下任意一种方法实现数据扩增：
3.1)左右翻转；
3.2) 以0到0.1之间的随机比例裁剪图像后resize成原始图像尺寸；
3.3)使用尺寸为5x5，σ随机的高斯滤波器进行平滑处理。
5.根据权利要求4所述的眼底照片分类方法，其特征在于：所述S300、对S200的训练集和测试集进行数据预处理，保证在训练阶段输入模型的每个batch类别均匀；
具体包括：
4.1)经过图像预处理后的眼底照片维度为：（h, w, c），其中h为图像的高度，w为图像的宽度，c为通道数；每个通道的像素点取值范围为0~255，对像素点的取值范围进行归一化处理，将其映射到0~1区间；
4.2)设定模型训练的超参数；
批处理量batch size和尺寸l，设定各训练集中的batch size=16，l=600；
对于训练集，按阴性样本即无慢性肾病和阳性样本即有慢性肾病以12:4的比例准备输入数据，其中阴性样本为无放回抽样，阳性样本为有放回抽样；测试集的batch size=1，阴性和阳性样本均为无放回抽样；
对输入的眼底图像进行resize操作，使其维度为(l, l, c)，进而得到的输入数据格式为m个(l, l, c, n)的张量数据，其中n即batch size，m为总的batch个数。
6.根据权利要求5所述的眼底照片分类方法，其特征在于：所述S400基于S300集成学习策略，并训练分支神经网络模型；
其中，集成学习策略，具体包括：
在5个互不相交的训练集子集的基础上各训练5个分支模型；
每一个模型使用4个训练集子集作为训练集，留下的一个训练集子集作为测试集调整参数分支模型；
每一个分支模型的训练和调参过程互相独立。
7.根据权利要求6所述的眼底照片分类方法，其特征在于： 所述S500进行模型融合，得到最终检测模型，实现对眼底照片的分类；
具体包括：
对于训练完毕的分支模型，在测试过程中，使用soft-voting的方式求得模型的最终分类结果。
8.一种眼底图像处理方法，其特征在于包括以下步骤：
构建第一数据集,包括原始眼底图像预处理以及对预处理后的眼底图像进行数据筛选，所述原始眼底图像预处理包括数据脱敏、提取ROI以及增强对比度，所述对预处理后的眼底图像进行数据筛选包括利用MobileNet v3 large模型以及soft voting的方法对预处理后的眼底图像进行筛选，清除质量不达标的眼底图像，构建所述第一数据集；
构建具有CCAM模块的卷积神经网络模型，所述卷积神经网络模型包括主干网络和所述CCAM模块，所述主干网络包括输入、第一卷积层、MLP和第一Sigmoid，所述CCAM模块包括上层支路和下层支路，所述上层支路用于在第一特征图的基础上使用第二卷积层实现CAM的提取，并用第二Sigmoid差异化特征的重要性；所述下层支路使用激励和挤压操作提取第一特征图的通道权重，结合CAM进行scale操作得到带通道注意力机制的通道CAM图，所述通道CAM图再与所述第一特征图做哈达玛积操作并与所述第一特征图相加输入全连接层或者GAP中；所述第一特征图为第一卷积层的输出；
以Focal Loss作为损失函数，利用所述第一数据集训练所述具有CCAM模块的卷积神经网络模型；
采集用户的左右眼底图像并进行数据脱敏、提取ROI以及增强对比度；
采用训练后的所述具有CCAM模块的卷积神经网络模型并行对所述左右眼底图像进行处理，分别输出左眼第二特征图和右眼第二特征图，然后以通道为轴，聚合到一起，作为输入全连接层或GAP的特征张量，最后输出分类结果，所述分类结果用于表达慢性肾病的相关度；
利用SmoothGrad-CAM++方法对所述卷积神经网络模型的决策依据区域进行可视化并生成热力图；
采用训练后的所述具有CCAM模块的卷积神经网络模型分别对所述左右眼底图像进行处理，分别输出左眼第二特征图和右眼第二特征图，分别作为输入全连接层或GAP的特征张量，最后输出对应的第二分类结果和第三分类结果；比较第二分类结果与第三分类结果获得第一差值，当第一差值位于第一预定范围时，输出第一分类结果作为最终的分类结果；当第一差值位于第一预定范围之外时，将第二分类结果和第三分类结果中的较大值作为最终的分类结果；
当第一差值位于第一预定范围时，在第二分类结果与第三分类结果之中确定更接近第一分类结果的一者作为邻近结果，根据第一分类结果和所述邻近结果输出最终的分类结果。
9.一种眼底图像处理装置，其特征在于包括：
第一模块，用于构建第一数据集,包括原始眼底图像预处理以及对预处理后的眼底图像进行数据筛选，所述原始眼底图像预处理包括数据脱敏、提取ROI以及增强对比度，所述对预处理后的眼底图像进行数据筛选包括利用MobileNet v3 large模型以及soft voting的方法对预处理后的眼底图像进行筛选，清除质量不达标的眼底图像，构建所述第一数据集；
第二模块，用于构建具有CCAM模块的卷积神经网络模型，所述卷积神经网络模型包括主干网络和所述CCAM模块，所述主干网络包括输入、第一卷积层、MLP和第一Sigmoid，所述CCAM模块包括上层支路和下层支路，所述上层支路用于在第一特征图的基础上使用第二卷积层实现CAM的提取，并用第二Sigmoid差异化特征的重要性；所述下层支路使用激励和挤压操作提取第一特征图的通道权重，结合CAM进行scale操作得到带通道注意力机制的通道CAM图，所述通道CAM图再与所述第一特征图做哈达玛积操作并与所述第一特征图相加输入全连接层或者GAP中；所述第一特征图为第一卷积层的输出；
第三模块，用于以Focal Loss作为损失函数，利用所述第一数据集训练所述具有CCAM模块的卷积神经网络模型；
第四模块，用于采集用户的左右眼底图像并进行数据脱敏、提取ROI以及增强对比度；
第五模块，用于采用训练后的所述具有CCAM模块的卷积神经网络模型并行对所述左右眼底图像进行处理，分别输出左眼第二特征图和右眼第二特征图，然后以通道为轴，聚合到一起，作为输入全连接层或GAP的特征张量，最后输出分类结果，所述分类结果用于表达慢性肾病的相关度；
第六模块，用于通过SmoothGrad-CAM++方法对所述卷积神经网络模型的决策依据区域进行可视化并生成热力图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011450625.XA CN114693961B (zh) | 2020-12-11 | 2020-12-11 | 眼底照片分类方法、眼底图像处理方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011450625.XA CN114693961B (zh) | 2020-12-11 | 2020-12-11 | 眼底照片分类方法、眼底图像处理方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114693961A CN114693961A (zh) | 2022-07-01 |
| CN114693961B true CN114693961B (zh) | 2024-05-14 |
Family
ID=82130796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011450625.XA Active CN114693961B (zh) | 2020-12-11 | 2020-12-11 | 眼底照片分类方法、眼底图像处理方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114693961B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115456981A (zh) * | 2022-09-02 | 2022-12-09 | 南通大学 | 一种基于深度残差收缩网络的眼病诊断方法 |
| CN115496954B (zh) * | 2022-11-03 | 2023-05-12 | 中国医学科学院阜外医院 | 眼底图像分类模型构建方法、设备及介质 |
| CN115424084B (zh) * | 2022-11-07 | 2023-03-24 | 浙江省人民医院 | 基于类别加权网络的眼底照片分类方法与装置 |
| CN116502069B (zh) * | 2023-06-25 | 2023-09-12 | 四川大学 | 一种基于深度学习的触觉时序信号识别方法 |
| CN117372744A (zh) * | 2023-09-21 | 2024-01-09 | 深圳市眼科医院(深圳市眼病防治研究所) | 眼表彩色照相图像分类方法、系统、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| CN108021916A (zh) * | 2017-12-31 | 2018-05-11 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| CN109376636A (zh) * | 2018-10-15 | 2019-02-22 | 电子科技大学 | 基于胶囊网络的眼底视网膜图像分类方法 |
| KR20200020079A (ko) * | 2018-08-16 | 2020-02-26 | 한국과학기술원 | 안저 사진에서 녹내장 진단을 위해 cam에서 추출된 roi를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크 |
| CN111476283A (zh) * | 2020-03-31 | 2020-07-31 | 上海海事大学 | 基于迁移学习的青光眼眼底图像识别方法 |
-
2020
- 2020-12-11 CN CN202011450625.XA patent/CN114693961B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| CN108021916A (zh) * | 2017-12-31 | 2018-05-11 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
| KR20200020079A (ko) * | 2018-08-16 | 2020-02-26 | 한국과학기술원 | 안저 사진에서 녹내장 진단을 위해 cam에서 추출된 roi를 중간 입력자로 사용하는 2단계 랭킹 컨볼루셔널 뉴럴 네트워크 |
| CN109376636A (zh) * | 2018-10-15 | 2019-02-22 | 电子科技大学 | 基于胶囊网络的眼底视网膜图像分类方法 |
| CN111476283A (zh) * | 2020-03-31 | 2020-07-31 | 上海海事大学 | 基于迁移学习的青光眼眼底图像识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114693961A (zh) | 2022-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114693961B (zh) | 眼底照片分类方法、眼底图像处理方法和系统 | |
| CN110399929B (zh) | 眼底图像分类方法、装置以及计算机可读存储介质 | |
| Al-Antary et al. | Multi-scale attention network for diabetic retinopathy classification | |
| Dharmawan et al. | A new hybrid algorithm for retinal vessels segmentation on fundus images | |
| CN108898595B (zh) | 一种胸部图像中病灶区域的定位模型的构建方法及应用 | |
| CN112016626B (zh) | 基于不确定度的糖尿病视网膜病变分类系统 | |
| CN105640577A (zh) | 一种自动检测放射影像中局部性病变的方法和系统 | |
| CN112733961A (zh) | 基于注意力机制的糖尿病视网膜病变的分类方法及系统 | |
| CN109919254B (zh) | 乳腺密度分类方法、系统、可读存储介质和计算机设备 | |
| CN114494263B (zh) | 融合临床信息的医学影像病变检测方法、系统及设备 | |
| Sharma et al. | Machine learning approach for detection of diabetic retinopathy with improved pre-processing | |
| Zhang et al. | Automated quality classification of colour fundus images based on a modified residual dense block network | |
| CN116563932A (zh) | 基于多任务学习的眼部图像识别方法及相关设备 | |
| Elayaraja et al. | An efficient approach for detection and classification of cancer regions in cervical images using optimization based CNN classification approach | |
| Tursynova et al. | Brain Stroke Lesion Segmentation Using Computed Tomography Images based on Modified U-Net Model with ResNet Blocks. | |
| CN113011340B (zh) | 一种基于视网膜图像的心血管手术指标风险分类方法及系统 | |
| Roshan et al. | Fine-tuning of pre-trained convolutional neural networks for diabetic retinopathy screening: a clinical study | |
| Kanse et al. | HG-SVNN: harmonic genetic-based support vector neural network classifier for the glaucoma detection | |
| BERBAR | Diabetic retinopathy detection and grading using deep learning | |
| Wu et al. | Mscan: Multi-scale channel attention for fundus retinal vessel segmentation | |
| Paul et al. | Computer-Aided Diagnosis Using Hybrid Technique for Fastened and Accurate Analysis of Tuberculosis Detection with Adaboost and Learning Vector Quantization | |
| Shraddha et al. | Identification of Suitable Machine Learning or Deep Learning Algorithmfor Diabetic Retinopathy Detection | |
| CN117058467B (zh) | 一种胃肠道病变类型识别方法及系统 | |
| US12016696B2 (en) | Device for the qualitative evaluation of human organs | |
| Durai et al. | Automatic severity grade classification of diabetic retinopathy using deformable ladder Bi attention U-net and deep adaptive CNN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |