CN115661101A - 基于随机采样和深度学习的早产儿视网膜病变检测系统 - Google Patents

Abstract

本发明公开了基于随机采样和深度学习的早产儿视网膜病变检测系统，该系统包括：采集设备端、设备检测应用端、云端服务器及应用展示端；其中，采集设备端，用于构成视网膜图像数据集；设备检测应用端，用于对视网膜图像数据集进行调取预处理；云端服务器，用于用户信息数据和病变检测数据的存储，用户信息数据和病变检测数据通过数据传输到应用展示端上；应用展示端，用于将用户信息数据和病变检测数据计进行可视化展示。本发明可以提高病变程度检测的准确率，使得可以帮助医生将分数整合到患者总体评估中，可以大大减少医生的眼底镜检查次数对视网膜病变严重程度的客观测量的途径，防止诊断不足导致的病情延误。

Description

基于随机采样和深度学习的早产儿视网膜病变检测系统

技术领域

本发明涉及计算机视觉与医疗辅助技术领域，具体来说，涉及基于随机采样和深度学习的早产儿视网膜病变检测系统。

背景技术

随着机器学习与人工智能技术的飞速发展，机器学习开始和各种传统科学领域进行交叉结合，推动了各行各业的发展。特别是在医疗领域，有效的机器学习技术使医疗专业人员能够做出更好的决策，为疾病的识别和研究带来创新，也能更好地提高医疗诊断和临床实验的效率。

早产儿视网膜病是一种视网膜血管疾病，发生在出生时视网膜血管未完全发育的早产儿。据估计，全球每年有1500万婴儿早产。早产儿视网膜病的风险随着早产程度和新生儿复苏暴露于氧气的增加而增加。随着全球新生儿死亡率的下降，有早产儿视网膜病失明风险的人口正在增加，所以迫切需要对这部分新生人口进行筛查；然而，这些地区专门从事早产儿视网膜病的眼科医生很少，严重威胁了早产儿的身体健康。

早产儿是指孕周不足37周出生的婴儿，高浓度吸氧是保证早产儿成活率的一项重要技术，但过度吸氧会引发早产儿视网膜病变，随着现在医疗水平的不断提高，早产儿的存活率显著增加，但早产儿视网膜病变的发病率呈上升趋势，早产儿视网膜病变己成为全球儿童失明的主要原因。

现有的早产儿视网膜病变自动诊断方法均是采用诊断模型自动诊断出病变处于3个等级中哪个级别，但是并不能给出精细的病变程度指导，进而不能对早产婴儿视网膜病变程度的进行客观的比较及衡量，从而不能给预测或跟踪疾病走势提供良好的指导意见。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出基于随机采样和深度学习的早产儿视网膜病变检测系统，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

基于随机采样和深度学习的早产儿视网膜病变检测系统，该系统包括：采集设备端、设备检测应用端、云端服务器及应用展示端；

其中，所述采集设备端，用于构成视网膜图像数据集；

所述设备检测应用端，用于对所述视网膜图像数据集进行调取预处理；

所述云端服务器，用于用户信息数据和病变检测数据的存储，所述用户信息数据和所述病变检测数据通过数据传输到应用展示端上；

所述应用展示端，用于将所述用户信息数据和所述病变检测数据计进行可视化展示。

进一步的，所述采集设备端包括采集模块；

所述采集模块用于采集大量早产儿视网膜图像，并发送至所述设备检测应用端。

进一步的，所述设备检测应用端包括处理模块、检测模块及分析诊断模块；

所述处理模块用于接收所述采集模块发送的大量早产儿视网膜图像，并利用空域直方图增强方法和频域同态滤波增强方法对其进行图像参数方面的优化处理，所述图像参数包括图像分辨率、图像大小及图像颜色；

所述检测模块还包括病变检测模型，用于在本地执行所述视网膜图像的检测任务；

所述检测模块用于对经过所述处理模块优化处理后的大量早产儿视网膜图像进行目标检测，识别分析出其目标区域，得到早产儿视网膜病变中的各类病理形态学特征进行训练，得到多个目标检测子模型。

进一步的，所述目标检测子模型具体生成过程包括：

利用所述采集模块提取大量早产儿视网膜图像，并通过处理模块和目标检测子模型对其经过处理，得到各类病理形态学特征集合；

将各类病理形态学特征集合进行随机分配，形成训练集1、训练集 2、……和训练集N；

构建多个分类器，分别将训练集1、训练集2、……和训练集N放入多个分类器中，得到目标检测子模型1、目标检测子模型2、……和目标检测子模型N；

所述深度学习算法具体为神经网络模型。

进一步的，对所述检测的视网膜图像进行质量评估，包括：评估所述检测的视网膜图像是否同时满足视网膜图像、视网膜后极图像及高质量图像的标准，当同时满足时质量合格。

进一步的，训练所述病变检测模型的过程包括：

将包含病变类型为plus、pre-plus及no-plus的多个图像样本，进行类型标注后分为训练集、验证集及测试集，将训练集输入到所述神经网络模型中进行训练，利用测试集进行计算误差，当误差值小于预设值时得到训练好的病变检测模型。

进一步的，所述病变检测模型根据所述数据集的处理分析得到，所述病变检测模型的建立包括：

将所述训练集集中的视网膜图像输入到神经网络模型中，调整所述神经网络模型的第一参数；

将所述验证集输入到所述神经网络模型中，调整所述神经网络模型的第二参数；

将所述测试集输入到所述神经网络模型中，对所述神经网络模型进行评价，最终得到针对早产儿视网膜的所述病变检测模型。

进一步的，对所述神经网络模型进行评价采用准确率、精确率、召回率及综合评价指标四个性能评估指标，具体定义如下：

其中，TP：将正类预测为正类数；TN：将负类预测为负类数；FP：将负类预测为正类数，误报；FN：将正类预测为负类数，漏报。

进一步的，所述利用空域直方图增强方法和频域同态滤波增强方法对其进行图像参数方面的优化处理包括以下步骤：

步骤一：对于一幅输入图像D(x,y)，大小为M×N，定义其输出视网膜图像为H(x,y)，累加次数为count；

步骤二：定义一个大小为m×n的滑动窗口fT，并设其水平与垂直方向的移动步长分别为w和h，滑动窗口的初始位置位于视网膜图像左上角；

步骤三：对滑动窗口当前所覆盖的视网膜图像进行直方图均衡化，且均衡后结果累加至对应像素点上，即HT＝HT+T(fT)，同时累加次数加1，即count x,y＝count x,y+1；

步骤四：将滑动窗口继续向右移动步长w；

步骤五：将滑动窗口继续向下移动步长h；

步骤六：将输出图像中每个像素点的值除以对应的运算次数即得到最终输出图像，即

步骤七：将优化处理后的视网膜图像作为输入图。

进一步的，所述优化处理后的视网膜图像作为输入图形成诊断报告，所述应用展示端用于将所述诊断报告进行可视化展示，为医护人员提供视网膜病变诊断辅助。

本发明的有益效果为：

1、本发明提供的早产儿视网膜病变检测系统可以提高病变程度检测的准确率，可以帮助医生将分数整合到患者总体评估中，在任何时间点进行早产儿视网膜病变筛查评估，可以大大减少医生的眼底镜检查次数对plus病变严重程度的客观测量的途径，可以随时间跟踪严重程度以提供疾病进展或消退的客观评估；通过分析分数随时间的变化可以在大多数情况下提前识别出进展为 plus病变早产儿视网膜病的眼睛进行早期介入，防止诊断不足导致的病情延误。

2、通过设置有处理模块和检测模块，使得处理模会接收采集模块发送的大量早产儿视网膜的图像，并利用空域直方图增强方法和频域同态滤波增强方法对其进行图像参数方面的优化处理；而检测模块会对经过处理模块优化处理后的大量早产儿视网膜图像进行目标检测，识别分析出其目标区域，得到早产儿视网膜病变中的各类病理形态学特征，从而有利于提高眼底照片各项参数，提高后续多个目标检测子模型的准确度；进而有利于提高整个系统的检测诊断。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的基于随机采样和深度学习的早产儿视网膜病变检测系统的原理框图。

图中：

1、采集设备端；2、设备检测应用端；3、云端服务器；4、应用展示端。

具体实施方式

为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

根据本发明的实施例，提供了基于随机采样和深度学习的早产儿视网膜病变检测系统。

现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于随机采样和深度学习的早产儿视网膜病变检测系统，该系统包括：采集设备端1、设备检测应用端2、云端服务器3及应用展示端4；

其中，所述采集设备端1，用于构成视网膜图像数据集；

所述设备检测应用端2，用于对所述视网膜图像数据集进行调取预处理；

所述云端服务器3，用于用户信息数据和病变检测数据的存储，所述用户信息数据和所述病变检测数据通过数据传输到应用展示端4上；

所述应用展示端4，用于将所述用户信息数据和所述病变检测数据计进行可视化展示。

在一个实施例中，所述采集设备端1包括采集模块；

所述采集模块用于采集大量早产儿视网膜图像，并发送至所述设备检测应用端2。

在一个实施例中，所述设备检测应用端2包括处理模块、检测模块及分析诊断模块；

所述处理模块用于接收所述采集模块发送的大量早产儿视网膜图像，并利用空域直方图增强方法和频域同态滤波增强方法对其进行图像参数方面的优化处理，所述图像参数包括图像分辨率、图像大小及图像颜色；

所述检测模块还包括病变检测模型，用于在本地执行所述视网膜图像的检测任务；

所述检测模块用于对经过所述处理模块优化处理后的大量早产儿视网膜图像进行目标检测，识别分析出其目标区域，得到早产儿视网膜病变中的各类病理形态学特征进行训练，得到多个目标检测子模型。

在一个实施例中于，所述目标检测子模型具体生成过程包括：

利用所述采集模块提取大量早产儿视网膜图像，并通过处理模块和目标检测子模型对其经过处理，得到各类病理形态学特征集合；

将各类病理形态学特征集合进行随机分配，形成训练集1、训练集 2、……和训练集N；

构建多个分类器，分别将训练集1、训练集2、……和训练集N放入多个分类器中，得到目标检测子模型1、目标检测子模型2、……和目标检测子模型N；

所述深度学习算法具体为神经网络模型。

在一个实施例中，对所述检测的视网膜图像进行质量评估，包括：评估所述检测的视网膜图像是否同时满足视网膜图像、视网膜后极图像及高质量图像的标准，当同时满足时质量合格。

在一个实施例中，训练所述病变检测模型的过程包括：

将包含病变类型为plus、pre-plus及no-plus的多个图像样本，进行类型标注后分为训练集、验证集及测试集，将训练集输入到所述神经网络模型中进行训练，利用测试集进行计算误差，当误差值小于预设值时得到训练好的病变检测模型。

在一个实施例中，所述病变检测模型根据所述数据集的处理分析得到，所述病变检测模型的建立包括：

将所述训练集集中的视网膜图像输入到神经网络模型中，调整所述神经网络模型的第一参数；

将所述验证集输入到所述神经网络模型中，调整所述神经网络模型的第二参数；

将所述测试集输入到所述神经网络模型中，对所述神经网络模型进行评价，最终得到针对早产儿视网膜的所述病变检测模型。

在一个实施例中，对所述神经网络模型进行评价采用准确率 (Accuracy)、精确率(Precision)、召回率(Recall)及综合评价指标 (F1-Measure)四个性能评估指标，具体定义如下：

其中，TP(True Positive，真正)：将正类预测为正类数；TN (True Negative，真负)：将负类预测为负类数；FP(False Positive，假正)：将负类预测为正类数，误报；FN(FalseNegative，假负)：将正类预测为负类数，漏报。

在一个实施例中，所述利用空域直方图增强方法和频域同态滤波增强方法对其进行图像参数方面的优化处理包括以下步骤：

步骤一：对于一幅输入图像D(x,y)，大小为M×N，定义其输出视网膜图像为H(x,y)，累加次数为count；

步骤二：定义一个大小为m×n的滑动窗口fT，并设其水平与垂直方向的移动步长分别为w和h，滑动窗口的初始位置位于视网膜图像左上角；

步骤三：对滑动窗口当前所覆盖的视网膜图像进行直方图均衡化，且均衡后结果累加至对应像素点上，即HT＝HT+T(fT)，同时累加次数加1，即count x,y＝count x,y+1；

步骤四：将滑动窗口继续向右移动步长w；

具体的，若窗口未超出图像边界，则转至步骤三，否则转至下一步。

步骤五：将滑动窗口继续向下移动步长h；

具体的，若窗口未超出图像边界，则转至步骤三，否则转至下一步。

步骤六：将输出图像中每个像素点的值除以对应的运算次数即得到最终输出图像，即

步骤七：将优化处理后的视网膜图像作为输入图。

在一个实施例中，所述优化处理后的视网膜图像作为输入图形成诊断报告，所述应用展示端4用于将所述诊断报告进行可视化展示，为医护人员提供视网膜病变诊断辅助。

综上所述，借助于本发明的上述技术方案，通过设置有处理模块和检测模块，使得处理模会接收采集模块发送的大量早产儿视网膜的图像，并利用空域直方图增强方法和频域同态滤波增强方法对其进行图像参数方面的优化处理；而检测模块会对经过处理模块优化处理后的大量早产儿视网膜图像进行目标检测，识别分析出其目标区域，得到早产儿视网膜病变中的各类病理形态学特征，从而有利于提高眼底照片各项参数，提高后续多个目标检测子模型的准确度；进而有利于提高整个系统的检测诊断。本发明提供的早产儿视网膜病变检测系统可以提高病变程度检测的准确率，使得可以帮助医生将分数整合到患者总体评估中，在任何时间点进行ROP病变筛查评估，可以大大减少医生的眼底镜检查次数对plus病变严重程度的客观测量的途径，可以随时间跟踪严重程度以提供疾病进展或消退的客观评估；通过分析分数随时间的变化可以在大多数情况下提前识别出进展为plus病变早产儿视网膜病的眼睛进行早期介入，防止诊断不足导致的病情延误。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于随机采样和深度学习的早产儿视网膜病变检测系统，其特征在于，该系统包括：采集设备端、设备检测应用端、云端服务器及应用展示端；

其中，所述采集设备端，用于构成视网膜图像数据集；

所述设备检测应用端，用于对所述视网膜图像数据集进行调取预处理；

所述云端服务器，用于用户信息数据和病变检测数据的存储，所述用户信息数据和所述病变检测数据通过数据传输到应用展示端上；

所述应用展示端，用于将所述用户信息数据和所述病变检测数据计进行可视化展示。

2.根据权利要求1所述的基于随机采样和深度学习的早产儿视网膜病变检测系统，其特征在于，所述采集设备端包括采集模块；

所述采集模块用于采集大量早产儿视网膜图像，并发送至所述设备检测应用端。

3.根据权利要求2所述的基于随机采样和深度学习的早产儿视网膜病变检测系统，其特征在于，所述设备检测应用端包括处理模块、检测模块及分析诊断模块；

所述处理模块用于接收所述采集模块发送的大量早产儿视网膜图像，并利用空域直方图增强方法和频域同态滤波增强方法对其进行图像参数方面的优化处理，所述图像参数包括图像分辨率、图像大小及图像颜色；

所述检测模块还包括病变检测模型，用于在本地执行所述视网膜图像的检测任务；

所述检测模块用于对经过所述处理模块优化处理后的大量早产儿视网膜图像进行目标检测，识别分析出其目标区域，得到早产儿视网膜病变中的各类病理形态学特征进行训练，得到多个目标检测子模型。

4.根据权利要求3所述的基于随机采样和深度学习的早产儿视网膜病变检测系统，其特征在于，所述目标检测子模型具体生成过程包括：

利用所述采集模块提取大量早产儿视网膜图像，并通过处理模块和目标检测子模型对其经过处理，得到各类病理形态学特征集合；

将各类病理形态学特征集合进行随机分配，形成训练集1、训练集2、……和训练集N；

构建多个分类器，分别将训练集1、训练集2、……和训练集N放入多个分类器中，得到目标检测子模型1、目标检测子模型2、……和目标检测子模型N；

所述深度学习算法具体为神经网络模型。

5.根据权利要求4所述的基于随机采样和深度学习的早产儿视网膜病变检测系统，其特征在于，对所述检测的视网膜图像进行质量评估，包括：评估所述检测的视网膜图像是否同时满足视网膜图像、视网膜后极图像及高质量图像的标准，当同时满足时质量合格。

6.根据权利要求5所述的基于随机采样和深度学习的早产儿视网膜病变检测系统，其特征在于，训练所述病变检测模型的过程包括：

将包含病变类型为plus、pre-plus及no-plus的多个图像样本，进行类型标注后分为训练集、验证集及测试集，将训练集输入到所述神经网络模型中进行训练，利用测试集进行计算误差，当误差值小于预设值时得到训练好的病变检测模型。

7.根据权利要求6所述的基于随机采样和深度学习的早产儿视网膜病变检测系统，其特征在于，所述病变检测模型根据所述数据集的处理分析得到，所述病变检测模型的建立包括：

将所述训练集集中的视网膜图像输入到神经网络模型中，调整所述神经网络模型的第一参数；

将所述验证集输入到所述神经网络模型中，调整所述神经网络模型的第二参数；

将所述测试集输入到所述神经网络模型中，对所述神经网络模型进行评价，最终得到针对早产儿视网膜的所述病变检测模型。

8.根据权利要求7所述的基于随机采样和深度学习的早产儿视网膜病变检测系统，其特征在于，对所述神经网络模型进行评价采用准确率、精确率、召回率及综合评价指标四个性能评估指标，具体定义如下：

其中，TP：将正类预测为正类数；TN：将负类预测为负类数；FP：将负类预测为正类数，误报；FN：将正类预测为负类数，漏报。

9.根据权利要求8所述的基于随机采样和深度学习的早产儿视网膜病变检测系统，其特征在于，所述利用空域直方图增强方法和频域同态滤波增强方法对其进行图像参数方面的优化处理包括以下步骤：

步骤一：对于一幅输入图像D(x,y)，大小为M×N，定义其输出视网膜图像为H(x,y)，累加次数为count；

步骤二：定义一个大小为m×n的滑动窗口fT，并设其水平与垂直方向的移动步长分别为w和h，滑动窗口的初始位置位于视网膜图像左上角；

步骤三：对滑动窗口当前所覆盖的视网膜图像进行直方图均衡化，且均衡后结果累加至对应像素点上，即HT＝HT+T(fT)，同时累加次数加1，即count x,y＝count x,y+1；

步骤四：将滑动窗口继续向右移动步长w；

步骤五：将滑动窗口继续向下移动步长h

步骤六：将输出图像中每个像素点的值除以对应的运算次数即得到最终输出图像，即

步骤七：将优化处理后的视网膜图像作为输入图。

10.根据权利要求9所述的基于随机采样和深度学习的早产儿视网膜病变检测系统，其特征在于，所述优化处理后的视网膜图像作为输入图形成诊断报告，所述应用展示端4用于将所述诊断报告进行可视化展示，为医护人员提供视网膜病变诊断辅助。

Images