CN113011340B - 一种基于视网膜图像的心血管手术指标风险分类方法及系统 - Google Patents
一种基于视网膜图像的心血管手术指标风险分类方法及系统 Download PDFInfo
- Publication number
- CN113011340B CN113011340B CN202110299772.XA CN202110299772A CN113011340B CN 113011340 B CN113011340 B CN 113011340B CN 202110299772 A CN202110299772 A CN 202110299772A CN 113011340 B CN113011340 B CN 113011340B
- Authority
- CN
- China
- Prior art keywords
- image
- blood vessel
- map
- gray level
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001525 retina Anatomy 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000002526 effect on cardiovascular system Effects 0.000 title claims abstract description 11
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 51
- 238000013519 translation Methods 0.000 claims abstract description 7
- 230000004256 retinal image Effects 0.000 claims description 29
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000010606 normalization Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 230000002792 vascular Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 230000035945 sensitivity Effects 0.000 claims description 7
- 210000001210 retinal vessel Anatomy 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000013130 cardiovascular surgery Methods 0.000 claims description 5
- 230000002207 retinal effect Effects 0.000 claims description 5
- 238000001356 surgical procedure Methods 0.000 claims description 4
- 238000012886 linear function Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 10
- 208000029078 coronary artery disease Diseases 0.000 description 5
- 206010058046 Post procedural complication Diseases 0.000 description 3
- 208000035965 Postoperative Complications Diseases 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 208000024172 Cardiovascular disease Diseases 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008713 feedback mechanism Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 208000002177 Cataract Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 238000012274 Preoperative evaluation Methods 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010038923 Retinopathy Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视网膜图像的心血管手术指标风险分类方法及系统，为了解决实际视网膜图像不清晰以及曝光不一致等问题，首先对视网膜图像进行对比度增强和血管提取的预处理；利用提取后的血管图进行随机旋转、平移等数据增强来增加数据的训练量从而提高模型的泛化能力；设计了一种两阶段有监督卷积神经网络模型用于血管图的分类任务，不仅可以学习视网膜图像的特征，而且考虑了视网膜图像之间的相关性；采用局部化泛化误差来选择合适的隐藏层节点数，提高模型的泛化能力；另外，模型还具有生成像素级细粒度pixel‑level的显著热度图的能力，具有良好的可解释性。
Description
技术领域
本发明涉及图像处理、图像分析技术领域，具体而言，尤其涉及一种基于视网膜图像的心血管手术指标风险分类方法及系统。
背景技术
患有复杂心血管疾病的人数逐年增加。复杂冠心病患者手术指标的评估对于选择合适的手术方式至关重要，但在术前评估手术风险和预后方面仍缺乏一种准确和可解释的方法。复杂冠心病患者视网膜图像中的血管模式可以反映心血管的严重程度，因此视网膜图像可用于预测心血管手术指标的风险分类。由于患者可用的视网膜图像数据有限，以及实际视网膜图像成像质量差造成的干扰，从视网膜图像进行手术指标风险分类具有挑战性。因此，本文提出了一种基于深度学习的手术指标风险分类器(DLPPC)方法，能根据复杂冠心病患者的视网膜图像中预估手术指标风险，并且提供可视化重点特征区域来给临床医生术前参考。
近年来，在视网膜图像分析方面有大量研究，包括白内障分级、糖尿病视网膜病变诊断、青光眼早期检测、视网膜病变分级等。这些方法基于清晰的诊断特征和良好的准确性，更适合作为自动化系统来减少临床医生的工作量。然而，很少有研究探索将重要的临床参数与视网膜图像联系起来的潜在用途，目前对复杂冠心病患者的手术指标风险评估仍主要基于当地医疗团队积累的经验和主观判断。利用视网膜图像进行手术指标风险分类面临一定的挑战。首先，患有复杂的冠心病患者拍摄视网膜图像的人数很少。其次，相对较新的ROP筛选技术也限制了潜在参与者的数量。第三，视网膜图像是由手持和接触视网膜摄像机拍摄的，因此视网膜图像的特征会由于光线曝光、对比度、传感器灵敏度和照度等因素而受到干扰。由于光线不均匀、图像模糊和对比度低，劣质视网膜图像极大地降低了可用性。第四，大多数基于深度学习的分类模型对临床医生没有可解释的反馈机制。
而本文提出一种基于视网膜图像来分类心血管疾病的手术指标风险的新方法及系统。现阶段的图像分类主流方法基本存在较大的人工标注的工作量、一定规模的数据量要求以及明确的病理特征等局限性，本文的方法针能一定程度上改善上述问题带来对性能的影响，同时具有一定的可解释性，对临床医生有一定数据参考价值。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明公开了一种基于视网膜图像的心血管手术指标风险分类方法及系统，所述方法包括如下步骤：
步骤1，将视网膜RGB图像转换为灰度图，然后进行线性归一化和自适应限制直方图均衡化，得到对比度增强后的视网膜灰度图；
步骤2，采用预训练好的U型结构的神经网络U-net神经网络模型提取所述增强后的视网膜灰度图的血管，得到血管灰度图；
步骤3，对所述血管灰度图进行随机旋转、平移等数据增强；
步骤4，采用两阶段训练的有监督卷积神经网络模型DCRBFNN用于所述血管灰度图的分类任务；
步骤5，利用训练好的所述有监督卷积神经网络模型DCRBFNN生成显著热度图。
更进一步地，所述步骤1进一步包括：对视网膜灰度图图像进行线性归一化，线性归一化定义为：
其中，src(x,y)表示处理前灰度图所有像素点的灰度值，src(i,j)表示处理前灰度图中坐标为(i,j)的像素值，max被设为255，min被设为0，dst(i,j)表示线性归一化处理后灰度图中坐标为(i,j)的像素值；
对线性归一化后的视网膜灰度图切分成n个不重叠的8*8网格，分别对每个网格进行直方图的均衡化操作，最后按原位置拼接得到血管特征更清晰的对比度增强后的视网膜灰度图。
更进一步地，所述步骤2进一步包括：
血管分割的训练数据集为公开的视网膜血管分割图像数据集HRF，将所述公开的视网膜血管分割图像数据集HRF中的视网膜图像以及对应的血管图来进行分割，分割后的子图片尺寸为256*256个像素点，处理好的训练数据集采用U-net神经网络模型训练血管分割模型。训练好血管分割模型后，将视网膜灰度图不重叠地切割成若干个尺寸为256*256个像素的子图片，接着把全部子图片输入到训练好的血管分割模型得到血管图切片，然后按原位置拼接好所述血管图切片最后得到完整的血管灰度图。
更进一步地，所述步骤3进一步包括：为了克服训练时视网膜图像数量不足的问题，应用数据增强技术，视网膜图像中的血管纹理特征不会因移动、旋转和翻转而改变，与此同时，数据增强使所述血管分割模型能够更多地关注血管的整体纹理，而不是它们的相对位置，分别对每个血管灰度图通过随机旋转角度-30°到30°之间，以0.5概率随机水平翻转,和从向左10％的总宽度到向右10％的总宽度的范围内随机水平平移,和从向上10％的总高度到向下10％的总高度的范围内随机垂直平移，每个血管灰度图通过上述操作生成10倍血管灰度图。
更进一步地，所述步骤4进一步包括：两阶段有监督卷积神经网络模型DCRBFNN分为D-CNN和RBFNN两个组件；
其中所述D-CNN组件为有监督的CNN分类器，由卷积层、池化层和全连接层三个部分组成，对于所述D-CNN组件，输入数据为血管灰度图，预测标签为手术风险二分类，0表示正常，1表示严重；具体步骤为，将血管灰度图输入到D-CNN组件并训练D-CNN分类器，接着提取训练好的D-CNN分类器的第一层全连接层参数作为该血管灰度图的特征向量；
所述RBFNN组件为有监督分类器，输入数据为D-CNN组件中提取的血管灰度图的特征向量，预测标签为手术风险二分类，0表示正常，1表示严重；具体步骤为，将血管灰度图的特征向量输入到RBFNN组件训练RBFNN分类器，最终RBFNN分类器的分类结果作为两阶段有监督卷积神经网络模型DCRBFNN的分类结果。
更进一步地，所述RBFNN组件的隐藏层激活函数为高斯激活函数，公式为：
其中x为输入值，σ为高斯函数的宽度，ui为高斯函数的中心，所述RBFNN组件最终输出公式表示为：
其中yj为输出层的概率值，M为隐含层节点数，wij为第i个隐含层与第j个输出层之间的权值；
采用局部泛化误差模型LGEM来确定合适的隐含层节点数M。我们假定未知样本与训练样本的误差不会超过一个常数值Q，这个常数值是人为设定的，于是未知样本可被定义为：
Sij＝{x|x＝xi+Δxij；|Δxi|≤Qi，i＝1，…，n，j＝1，...，m} (4)
其中，xi表示为第i个训练样本，Qi表示为第i个训练样本最大变化的边界值，Δxij表示为基于第i个训练样本对未知样本Sij之间的扰动值，Sij表示为基于第i个训练样本生成的未知样本j，n定义为训练总样本数，m定义为生成未知样本的总个数
基于上面的假设，局部泛化误差公式为:
其中，RSM(Q)为未知样本的误差值，为未知样本的最大误差值，/>为训练误差，/>表示为敏感度，A为目标输出最大值与最小值之差，ε为常数，敏感度的公式可表示为：
其中，N、H、gk(xb)、gk(Sbh)分别表示训练样本个数，生成未知样本的总个数，训练样本xb的预测值，生成样本Sbh的预测值，Sbh的定义如前面公式(4)。
最后，计算不同隐藏层节点数下的局部泛化误差将最小值的泛化误差对应的隐藏层节点数作为最优隐藏层节点数。
更进一步地，所述步骤5进一步包括：利用训练好的DCRBFNN模型中的D-CNN模块生成显著热度图，公式为：
Mc(I)＝Wc TI+bc (7)
热度图Mc(I)可以用图像I中的每个像素的线性函数来近似，Wc是每个颜色通道中每个点的梯度，代表图像每个像素对分类结果的贡献，bc表示为对应类别c的偏移值。然后，每个像素点选择每个颜色通道的梯度的最大绝对值，因此，假设输入图像宽度为W,高度为H，则输入图像的形状为(3,H,W)，最终的显著性映射的形状为(H,W)。
本发明进一步公开了一种基于视网膜图像的心血管手术指标风险分类系统，其特征在于，所述系统包含：
视网膜灰度处理模块，所述灰度处理模块将视网膜RGB图像转换为灰度图，然后进行线性归一化和自适应限制直方图均衡化，得到对比度增强后的视网膜灰度图；
视网膜灰度图增强模块，所述灰度图增强模块采用预训练好的U型神经网络U-net神经网络模型提取所述增强后的视网膜灰度图的血管，得到血管灰度图；
血管灰度图处理模块，所述血管灰度图处理模块对所述血管灰度图进行随机旋转、平移等数据增强；
血管灰度图分类模块，所述血管灰度图分类模块采用两阶段训练的有监督卷积神经网络模型DCRBFNN用于所述血管灰度图的分类任务；
热度图生成模块，所述热度图生成模块利用训练好的所述有监督卷积神经网络模型DCRBFNN生成显著热度图。
采用本发明产生的有益效果在于：
(1)通过对视网膜图像进行对比度增强，解决了实际视网膜图像不清晰以及曝光度不一致等问题；
(2)采用预训练模型提取图像血管，减少了视网膜图像中无关生物特征所带来的干扰；利用提取后的血管灰度图进行随机旋转、平移等数据增强来增加数据的训练量从而提高模型的泛化能力；
(3)设计了一种两阶段有监督卷积神经网络(DCRBFNN)模型用于血管灰度图的分类任务，不仅可以学习视网膜图像的特征，而且考虑了视网膜图像之间的相关性；
(4)采用局部化泛化误差(LGEM)来选择合适的隐藏层节点数，提高模型的泛化能力；另外，模型还具有生成像素级细粒度pixel-level的显著热度图的能力，具有良好的可解释性，此外，该方法能快速地复用到其他利用视网膜图像的分类任务中，具有高效性和高可扩展性。
上述说明仅对本发明的技术方案进行概述，具体实施可依据说明书内容进行实施，以下以本发明的较佳实施例并配合详细说明。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。
图1为本发明逻辑流程示意图。
图2为本发明提取视网膜血管效果示意图。
图3为本发明所使用的D-CNN和RBFNN结构示意图。
图4为本实例通过D-CNN生成的显著热度图效果。
具体实施方式
实施例一
本实施例采用视网膜图像对术后并发症风险二分类进行预测，预测结果1为术后并发症风险高，预测结果0表示术后并发症风险低。图1为具体的逻辑流程示意图，输入图像，将视网膜RGB图像转换为灰度图，然后进行线性归一化和自适应限制直方图均衡化，得到对比度增强后的视网膜灰度图；采用预训练好的U型结构的神经网络U-net神经网络模型提取所述增强后的视网膜灰度图的血管，得到血管灰度图；对所述血管灰度图进行随机旋转、平移等数据增强；采用两阶段训练的有监督卷积神经网络模型DCRBFNN用于所述血管灰度图的分类任务；利用训练好的所述有监督卷积神经网络模型DCRBFNN生成显著热度图。
其中，对视网膜灰度图图像进行线性归一化，线性归一化定义为：
其中src(i,j)表示处理前灰度图中坐标为(i,j)的像素值，max被设为255，min被设为0，dst(i,j)表示线性归一化处理后灰度图中坐标为(i,j)的像素值；对线性归一化后的视网膜灰度图切分成n个不重叠的8*8网格，分别对每个网格进行直方图的均衡化操作，最后按原位置拼接得到血管特征更清晰的视网膜灰度图。
然后血管分割的训练数据集为公开的视网膜血管分割图像数据集HRF，将公开数据集中的视网膜图像以及对应的血管图进行切片，切片大小为256*256，步长为128，将处理好的训练数据集采用U-net神经网络模型训练血管分割模型。训练好血管分割模型后，将视网膜灰度图不重叠地切割成若干个256*256的切片，接着把这些切片输入到训练好的血管分割模型得到血管图切片，然后按原位置拼接好血管图切片最后得到完整的血管灰度图，图2为原始视网膜图像与对应提取后的血管灰度图。
接着为了克服训练时视网膜图像数量不足的问题，对血管图数据进行数据增强。视网膜图像中的血管纹理特征不会因移动、旋转和翻转而改变。与此同时，数据增强使模型能够更多地关注血管的整体纹理，而不是它们的相对位置。所以，分别对每个血管灰度图通过随机旋转角度-30°和30°之间,与0.5概率随机水平翻转,和随机水平变化的总宽度的范围从-0.1到0.1的总宽度,和随机垂直转移范围从-0.1的总高度0.1的总高度。每个血管灰度图通过上述操作生成10倍血管灰度图。
本发明提出的双阶段训练卷积神经网络方法，它属于有监督的深度学习方法。两阶段有监督卷积神经网络模型DCRBFNN分为D-CNN和RBFNN两个组件，两者皆为有监督分类器。该方法可复用到图像分类任务中，图3显示了D-CNN和RBFNN的网络结构图。本实例的任务是对血管灰度图进行分类，输入为血管灰度图图像，输出为二分类标签，0表示正常，1表示不正常。
首先将待预测图像输入到D-CNN模型中进行第一次训练，从D-CNN模块获得图像的高维语义特征。在D-CNN的结构中，为了加快训练的收敛速度，在卷积层之后增加了批处理归一化层。激活函数采用ReLU单元可以使大型网络的训练速度更快。由于D-CNN的输入是灰度血管图像，所以网络在结构简单的情况下能够保持良好的性能。与目前流行的深度分类网络相比，我们的模型的参数量分别比主流图像分类网络模型MobileNet的参数量少2倍，比Densenet121的参数量少4倍。在本研究中，输入的血管灰度图像的大小为224*224，并输入到D-CNN模块，训练完成后提取D-CNN第一层全连接层参数作为图像的特征向量。
D-CNN模型的目的在于学习图像本身的特征表示，而RBFNN模型的作用在于学习图像之间的相关性。将D-CNN模型得到的图像的特征向量输入到RBFNN模型中，RBFNN的输出为二分类标签，对RBFNN模型进行训练。
RBFNN的隐藏层激活函数为高斯激活函数，公式可简化为：
其中x为输入值，σ为高斯函数的宽度，ui为高斯函数的中心。RBFNN最终输出公式表示为：
其中yj为输出层的概率值，M为隐含层节点数，wij为第i个隐含层与第j个输出层之间的权值。
其中高斯函数的中心ui用k-means聚类方法对D-CNN模型得到的图像特征向量进行聚类，得到的聚类中心认为是具有代表性的图像特征，而聚类的个数为隐含层节点数。然后采用局部泛化误差模型LGEM来确定合适的隐含层节点数M。我们假定未知样本与训练样本的误差不会超过一个常数值Q，这个常数值是人为设定的，于是未知样本可被定义为：
Sij＝{x|x＝xi+Δxij；|Δxij|≤Qi，i＝1，…，n，j＝1，...，m} (4)
其中，xi表示为第i个训练样本，Qi表示为第i个训练样本最大变化的边界值，Δxij表示为基于第i个训练样本对未知样本Sij之间的扰动值，Sij表示为基于第i个训练样本生成的未知样本j，n定义为训练总样本数，m定义为生成未知样本的总个数
基于上面的假设，局部泛化误差公式为:
其中，RSM(Q)为未知样本的误差值，为未知样本的最大误差值，/>为训练误差，/>表示为敏感度，A为目标输出最大值与最小值之差，ε为常数，敏感度的公式可表示为：
其中，N、H、gk(xb)、gk(Sbh)分别表示训练样本个数，生成未知样本的总个数，训练样本xb的预测值，生成样本Sbh的预测值，而Sbh的定义如前面公式(4)。
然后计算不同隐藏层节点数下的局部泛化误差将最小值的泛化误差对应的隐藏层节点数作为最优隐藏层节点数来训练RBFNN模型，最终RBFNN分类器的分类结果作为两阶段有监督卷积神经网络(DCRBFNN)模型的分类结果。
最后，利用训练好的DCRBFNN模型生成显著热度图。图4为视网膜图像和对应生成的显著热度图，体现该方法的可解释反馈机制。核心公式为：
Mc(I)＝Wc TI+bc (7)
热度图Mc(I)可以用图像I中的每个像素的线性函数来近似。Wc是每个颜色通道中每个点的梯度，利用D-CNN的输出值对输入图像中每个像素点进行反向传播计算梯度值，将梯度值作为图像中每个像素点的贡献度，每个像素点选择每个颜色通道的梯度的最大绝对值。因此，期望输入图像的形状为(3,H,W)，最终的显著性映射的形状为(H,W)。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。因此，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以下权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (6)
1.一种针对视网膜图像的心血管手术指标风险分类方法，其特征在于，所述方法包括如下步骤：
步骤1，将视网膜RGB图像转换为灰度图，然后进行线性归一化和自适应限制直方图均衡化，得到对比度增强后的视网膜灰度图；
步骤2，采用预训练好的U型结构的神经网络U-net神经网络模型提取所述增强后的视网膜灰度图的血管，得到血管灰度图；
步骤3，对所述血管灰度图进行随机旋转、平移数据增强；
步骤4，采用两阶段训练的有监督卷积神经网络模型DCRBFNN用于所述血管灰度图的分类任务；
步骤5，利用训练好的所述有监督卷积神经网络模型DCRBFNN生成显著热度图；
所述步骤4进一步包括：两阶段有监督卷积神经网络模型DCRBFNN分为D-CNN和RBFNN两个组件；
其中所述D-CNN组件为有监督的CNN分类器，由卷积层、池化层和全连接层三个部分组成，对于所述D-CNN组件，输入数据为血管灰度图，预测标签为手术风险二分类，0表示正常，1表示严重；具体步骤为，将血管灰度图输入到D-CNN组件并训练D-CNN分类器，接着提取训练好的D-CNN分类器的第一层全连接层参数作为该血管灰度图的特征向量；
所述RBFNN组件为有监督分类器，输入数据为D-CNN组件中提取的血管灰度图的特征向量，预测标签为手术风险二分类，0表示正常，1表示严重；具体步骤为，将血管灰度图的特征向量输入到RBFNN组件训练RBFNN分类器，最终RBFNN分类器的分类结果作为两阶段有监督卷积神经网络模型DCRBFNN的分类结果；
所述步骤5进一步包括：利用训练好的DCRBFNN模型中的D-CNN模块生成显著热度图，公式为：
Mc(I)＝Wc TI+bc (7)
热度图Mc(I)可以用图像I中的每个像素的线性函数来近似，Wc是每个颜色通道中每个点的梯度，代表图像每个像素对分类结果的贡献，bc表示为对应类别c的偏移值；然后，每个像素点选择每个颜色通道的梯度的最大绝对值，因此，假设输入图像宽度为W,高度为H，则输入图像的形状为(3,H,W)，最终的显著性映射的形状为(H,W)。
2.根据权利要求1所述的一种针对视网膜图像的心血管手术指标风险分类方法，其特征在于，
所述步骤1进一步包括：对视网膜灰度图图像进行线性归一化，线性归一化定义为：
其中，src(x,y)表示处理前灰度图所有像素点的灰度值，src(i,j)表示处理前灰度图中坐标为(i,j)的像素值，max被设为255，min被设为0，dst(i,j)表示线性归一化处理后灰度图中坐标为(i,j)的像素值；
对线性归一化后的视网膜灰度图切分成n个不重叠的8*8网格，分别对每个网格进行直方图的均衡化操作，最后按原位置拼接得到血管特征更清晰的对比度增强后的视网膜灰度图。
3.根据权利要求1所述的一种针对视网膜图像的心血管手术指标风险分类方法，其特征在于，
所述步骤2进一步包括：血管分割的训练数据集为公开的视网膜血管分割图像数据集HRF，将所述公开的视网膜血管分割图像数据集HRF中的视网膜图像以及对应的血管图来进行分割，分割后的子图片尺寸为256*256个像素点，处理好的训练数据集采用U-net神经网络模型训练血管分割模型；训练好血管分割模型后，将视网膜灰度图不重叠地切割成若干个尺寸为256*256个像素的子图片，接着把全部子图片输入到训练好的血管分割模型得到血管图切片，然后按原位置拼接好所述血管图切片最后得到完整的血管灰度图。
4.根据权利要求3所述的一种针对视网膜图像的心血管手术指标风险分类方法，其特征在于，
所述步骤3进一步包括：为了克服训练时视网膜图像数量不足的问题，应用数据增强技术，视网膜图像中的血管纹理特征不会因移动、旋转和翻转而改变，与此同时，数据增强使所述血管分割模型能够更多地关注血管的整体纹理，而不是它们的相对位置，分别对每个血管灰度图通过随机旋转角度-30°到30°之间，以0.5概率随机水平翻转,和从向左10％的总宽度到向右10％的总宽度的范围内随机水平平移,和从向上10％的总高度到向下10％的总高度的范围内随机垂直平移，每个血管灰度图通过上述操作生成10倍血管灰度图。
5.根据权利要求4所述的一种针对视网膜图像的心血管手术指标风险分类方法，其特征在于，
所述RBFNN组件的隐藏层激活函数为高斯激活函数，公式为：
其中x为输入值，σ为高斯函数的宽度，ui为高斯函数的中心，所述RBFNN组件最终输出公式表示为：
其中yj为输出层的概率值，M为隐含层节点数，wij为第i个隐含层与第j个输出层之间的权值；
采用局部泛化误差模型LGEM来确定合适的隐含层节点数M；假定未知样本与训练样本的误差不会超过一个常数值Q，这个常数值是人为设定的，于是未知样本可被定义为：
Sij＝{x|x＝xi+Δxij；|Δxij|≤Qi,i＝1,…,n,j＝1,…,m} (4)
其中，xi表示为第i个训练样本，Qi表示为第i个训练样本最大变化的边界值，Δxij表示为基于第i个训练样本对未知样本Sij之间的扰动值，Sij表示为基于第i个训练样本生成的未知样本j，n定义为训练总样本数，m定义为生成未知样本的总个数；
基于上面的假设，局部泛化误差公式为:
其中，RSM(Q)为未知样本的误差值，为未知样本的最大误差值，/>为训练误差，/>表示为敏感度，A为目标输出最大值与最小值之差，ε为常数，敏感度的公式可表示为：
其中，N、H、gk(xb)、gk(Sbh)分别表示训练样本个数，生成未知样本的总个数，训练样本xb的预测值，生成样本Sbh的预测值，Sbh的定义为基于第b个训练样本生成的未知样本h；
最后，计算不同隐藏层节点数下的局部泛化误差将最小值的泛化误差/>对应的隐藏层节点数作为最优隐藏层节点数。
6.一种实现权利要求1-5中任意一项所述的针对视网膜图像的心血管手术指标风险分类方法的系统，其特征在于，所述系统包含：
视网膜灰度处理模块，所述灰度处理模块将视网膜RGB图像转换为灰度图，然后进行线性归一化和自适应限制直方图均衡化，得到对比度增强后的视网膜灰度图；
视网膜灰度图增强模块，所述灰度图增强模块采用预训练好的U型神经网络U-net神经网络模型提取所述增强后的视网膜灰度图的血管，得到血管灰度图；
血管灰度图处理模块，所述血管灰度图处理模块对所述血管灰度图进行随机旋转、平移数据增强；
血管灰度图分类模块，所述血管灰度图分类模块采用两阶段训练的有监督卷积神经网络模型DCRBFNN用于所述血管灰度图的分类任务；
热度图生成模块，所述热度图生成模块利用训练好的所述有监督卷积神经网络模型DCRBFNN生成显著热度图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110299772.XA CN113011340B (zh) | 2021-03-22 | 2021-03-22 | 一种基于视网膜图像的心血管手术指标风险分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110299772.XA CN113011340B (zh) | 2021-03-22 | 2021-03-22 | 一种基于视网膜图像的心血管手术指标风险分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113011340A CN113011340A (zh) | 2021-06-22 |
| CN113011340B true CN113011340B (zh) | 2023-12-19 |
Family
ID=76403836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110299772.XA Active CN113011340B (zh) | 2021-03-22 | 2021-03-22 | 一种基于视网膜图像的心血管手术指标风险分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113011340B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537298A (zh) * | 2021-06-23 | 2021-10-22 | 广东省人民医院 | 一种视网膜图像分类方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| CN107248161A (zh) * | 2017-05-11 | 2017-10-13 | 江西理工大学 | 一种多特征融合的有监督视网膜血管提取方法 |
| CN108986124A (zh) * | 2018-06-20 | 2018-12-11 | 天津大学 | 结合多尺度特征卷积神经网络视网膜血管图像分割方法 |
| CN109345538A (zh) * | 2018-08-30 | 2019-02-15 | 华南理工大学 | 一种基于卷积神经网络的视网膜血管分割方法 |
-
2021
- 2021-03-22 CN CN202110299772.XA patent/CN113011340B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
| CN107248161A (zh) * | 2017-05-11 | 2017-10-13 | 江西理工大学 | 一种多特征融合的有监督视网膜血管提取方法 |
| CN108986124A (zh) * | 2018-06-20 | 2018-12-11 | 天津大学 | 结合多尺度特征卷积神经网络视网膜血管图像分割方法 |
| CN109345538A (zh) * | 2018-08-30 | 2019-02-15 | 华南理工大学 | 一种基于卷积神经网络的视网膜血管分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113011340A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11295178B2 (en) | Image classification method, server, and computer-readable storage medium | |
| CN108021916B (zh) | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 | |
| CN112132817B (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| JP6998959B2 (ja) | 神経生理学的信号を使用する反復分類のためのシステムと方法 | |
| Lin et al. | Automatic retinal vessel segmentation via deeply supervised and smoothly regularized network | |
| Alghamdi et al. | A comparative study of deep learning models for diagnosing glaucoma from fundus images | |
| CN111080643A (zh) | 基于眼底图像的糖尿病及相关疾病的分类方法及设备 | |
| CN114287878A (zh) | 一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法 | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| CN113782184A (zh) | 一种基于面部关键点与特征预学习的脑卒中辅助评估系统 | |
| CN110991254A (zh) | 超声图像视频分类预测方法及系统 | |
| Xu et al. | Retinal vessel segmentation algorithm based on residual convolution neural network | |
| Zhou et al. | Automatic microaneurysms detection based on multifeature fusion dictionary learning | |
| WO2024074921A1 (en) | Distinguishing a disease state from a non-disease state in an image | |
| CN113011340B (zh) | 一种基于视网膜图像的心血管手术指标风险分类方法及系统 | |
| Roshan et al. | Fine-tuning of pre-trained convolutional neural networks for diabetic retinopathy screening: a clinical study | |
| Kanse et al. | HG-SVNN: harmonic genetic-based support vector neural network classifier for the glaucoma detection | |
| Huang et al. | DBFU-Net: Double branch fusion U-Net with hard example weighting train strategy to segment retinal vessel | |
| Leopold et al. | Use of Gabor filters and deep networks in the segmentation of retinal vessel morphology | |
| CN115661185A (zh) | 一种眼底图像血管分割方法及系统 | |
| Chakravarthy et al. | DR-NET: A Stacked Convolutional Classifier Framework for Detection of Diabetic Retinopathy | |
| Khan et al. | A Computer-Aided Diagnostic System to Identify Diabetic Retinopathy, Utilizing a Modified Compact Convolutional Transformer and Low-Resolution Images to Reduce Computation Time. Biomedicines. 2023. No. 11. Art. 1566 | |
| Saranya et al. | Detection of exudates from retinal images for non-proliferative diabetic retinopathy detection using deep learning model | |
| Mohan et al. | Comparison of Convolutional Neural Network for Classifying Lung Diseases from Chest CT Images | |
| Sankari et al. | Automated Detection of Retinopathy of Prematurity Using Quantum Machine Learning and Deep Learning Techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |