CN115187547A - 一种基于增量神经网络的社区居民眼部疾病辅助识别方法 - Google Patents

一种基于增量神经网络的社区居民眼部疾病辅助识别方法 Download PDF

Info

Publication number
CN115187547A
CN115187547A CN202210806964.XA CN202210806964A CN115187547A CN 115187547 A CN115187547 A CN 115187547A CN 202210806964 A CN202210806964 A CN 202210806964A CN 115187547 A CN115187547 A CN 115187547A
Authority
CN
China
Prior art keywords
eye disease
eye
fundus image
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210806964.XA
Other languages
English (en)
Inventor
郑毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202210806964.XA priority Critical patent/CN115187547A/zh
Publication of CN115187547A publication Critical patent/CN115187547A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于增量神经网络的社区居民眼部疾病辅助识别方法，包括获取多张病变眼底图像，建立眼部疾病信息数据库；根据数据库，对神经网络模型进行训练，得到训练好的初始眼部疾病诊断神经网络模型；对社区居民的眼底图像进行采集；对眼底图像进行预处理后，输入网络模型中进行实时眼部疾病诊断，得到诊断结果；并对结果再次判断。本发明结合蒸馏函数、小批次回放以及动态修正向量实现增量学习，使神经网络模型可针对遇到的新情况不断做出更新于修正，在增量学习的过程中尽量抑制灾难性遗忘问题，同时对动态修正向量方法做出改进，减少不必要的计算，降低了增量计算的计算开销与时间开销，同时提供联合计算的功能以解决灾难性遗忘问题。

Description

一种基于增量神经网络的社区居民眼部疾病辅助识别方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于增量神经网络的社区居民眼部疾病辅助识别方法。
背景技术
现有的眼部疾病辅助诊断系统往往只专注于一种疾病的诊断，且往往采用已经离线训练完成的神经网络模型进行诊断，训练得到的神经网络模型难以随着新情况的出现而不断更新，诊断出错后不能根据错误对模型进行动态修正。
申请号为2021116061039，发明名称为一种基于多尺度融合注意力机制的糖尿病性视网膜病变分级方法，首先使用具有不同卷积核大小的过滤器从眼底图像中提取特征，并给不同尺度的特征赋予不同的权重；同时融合不同尺度的特征，并使用融合了空间和通道信息的注意力机制对融合后的特征进行权重分配，以实现更高精度的分类结果。该方法应用多尺度卷积神经网络诊断糖尿病性视网膜病变，但将其应用至眼部疾病诊断时，由于样本类别增多，结合了注意力机制的多尺度卷积神经网络在眼部疾病诊断任务上会有参数较多、训练困难的问题，而且该方法为离线训练，难以动态修正模型以适应新变化。
申请号为2019113086075，发明名称为一种基于动态修正向量的图像增量学习方法，该方法以ResNet32为基础，首先引入蒸馏函数进行增量学习，然后构建了动态修正向量以在节约计算开销与系统内存的同时进一步提高精度，同时解决预测结果倾向于样本较多的类别的问题。但该方法的模型骨架ResNet32深度较浅且尺度单一，在训练时会出现精准率较低、特征稀释等问题；代表性记忆方法和动态修正向量方法虽然提高了增量学习任务的识别能力，但无法解决灾难性遗忘问题，且考虑到常见眼部疾病的种类相对并不很多，其流程中的一些计算是没有必要的。
申请号为2020114681780，发明名称为一种基于增量学习的眼底病变图像识别方法和系统，该方法用梯度相加将基础模型参数集合和所述优化增量模型参数集合组合，实现对眼底图像识别机器学习模型的增量优化。该方法利用梯度相加方法，但梯度相加方法本质为对未训练完成的模型进行继续训练，其增量过程计算开销与时间开销相对较大且模型收敛困难、对新数据的数量要求较高。
发明内容
本发明的目的是提高诊断精确率的同时，解决现有的眼部疾病辅助诊断系统难以随新情况不断更新和更新开销大的问题，而提供一种基于增量神经网络的社区居民眼部疾病辅助识别方法。
本发明的具体技术方案如下：
一种基于增量神经网络的社区居民眼部疾病辅助识别方法，包括如下步骤：
步骤1：获取多张病变眼底图像，从图像中获得多种眼部疾病的特征信息与每幅图像对应的类别信息，建立眼部疾病信息数据库；
步骤2：根据步骤1建立的眼部疾病信息数据库，以离线的方式对神经网络模型进行训练，以得到训练好的初始眼部疾病诊断神经网络模型；
步骤3：通过智能眼底摄像机对社区居民的眼底图像进行采集，并将采集的眼底图像传送到电子平台，再由电子平台发送至服务器，服务器将社区居民的眼底图像分别存放到各个社区居民对应的眼部疾病数据记录表中；
步骤4：从每个社区居民的眼部疾病数据记录表中提取最新的眼底图像，对该最新的眼底图像进行预处理后，输入步骤2训练好的初始眼部疾病诊断神经网络模型中进行实时眼部疾病诊断，得到诊断结果，服务器将诊断结果存放到眼部疾病数据记录表中，同时将诊断结果和诊断结果对应的眼部疾病的特征信息，发送至相应的电子平台，以向社区医生展示；
步骤5：当用户被诊断为患有某种眼部疾病后，由社区医生进行人工检查，并将检查结果通过电子平台传送回服务器，服务器判断诊断结果是否正确；如果社区医生认为检查结果错误，则说明眼部疾病诊断神经网络模型诊断不准确，如果社区医生认为检查结果正确，则说明眼部疾病诊断神经网络模型诊断准确；
步骤6：当检查结果错误时，将对应社区居民的眼部疾病数据记录表中保存的最新的诊断结果修改为正确的诊断结果，若眼部疾病信息数据库中存在与正确的诊断结果对应的眼部疾病类别，则将该社区居民最新采集的眼底图像保存至眼部疾病信息数据库中对应的眼部疾病类别中，若眼部疾病信息数据库中不存在与正确的诊断结果对应的眼部疾病类别，则在眼部疾病信息数据库中新增一个与正确的诊断结果对应的眼部疾病类别，并将该社区居民最新采集的眼底图像保存至该类别中；
步骤7：当社区医生在电子平台上选择进行增量式训练后，从眼部疾病信息数据库中提取最新保存的眼底图像及其类别信息，执行增量学习算法，对眼部疾病诊断神经网络模型进行动态修正，得到增量眼部疾病诊断神经网络模型，并将增量眼部疾病诊断神经网络模型的评估结果发送至电子平台向社区医生展示，社区医生可根据评估结果选择是否对模型进行联合训练。
进一步地，若医生选择对模型进行联合训练，则根据眼部疾病信息数据库中所有的眼底图像及其类别信息重新对增量眼部疾病诊断神经网络模型进行训练，再次得到新的初始眼部疾病诊断神经网络模型。
本发明优选地，所述神经网络模型为ResNet-101。
具体地，步骤4中提取最新的眼底图像并输入初始眼部疾病诊断神经网络模型进行训练的具体步骤为：
1)对输入眼底图像数据进行预处理，所述预处理包括去噪、尺寸调整与数据归一化，所述尺寸调整具体指将眼底图像尺寸调整为256×256；去噪算法为高斯去噪算法或小波去噪算法；
2)使用16个3×3的卷积核对经过预处理的眼底图像数据进行卷积操作；
3)使用6个改进的残差学习模块对眼底图像数据进行处理，并将输出数据的尺寸除以2，该步骤中单个改进的残差学习模块中多尺度卷积层的卷积核的总数为n；
4)使用6个改进的残差学习模块对眼底图像数据进行处理，并将输出数据的尺寸除以2，该步骤中单个改进的残差学习模块中多尺度卷积层的卷积核的总数为2n；
5)使用6个改进的残差学习模块对眼底图像数据进行处理，并将输出数据的尺寸除以2，该步骤中单个改进的残差学习模块中多尺度卷积层的卷积核的总数为4n；
6)使用6个所述改进的残差学习模块对眼底图像数据进行处理，并将输出数据的尺寸除以2，该步骤中单个所述改进的残差学习模块中多尺度卷积层的卷积核的总数为8n；
7)使用一个全局平均池化层对经过残差学习的数据进行平均池化操作；
8)使用全连接层将计算得到的特征空间映射到样本标记空间，得到对输入眼底图像数据的诊断结果，全连接层采用Softmax函数。
具体地，步骤3)中所述改进的残差学习模块包含五层，第一层包含多个1×1、3×3、5×5的卷积核，且三类卷积核数目相等，第二层为一个连接层，第三层包含多个1×1、3×3、5×5的卷积核，且三类卷积核数目相等，第四层为一个连接层，第五层包含多个1×1的卷积核。
具体地，采用改进的残差学习模块对眼底图像数据进行处理的步骤如下：
1)规定输入眼底图像数据为d_orign，其尺度为h*h*depth，并令d＝d_origin，即d为输入眼底图像数据d_orign的一个副本数据，步骤2)至步骤4)均为对该副本数据d进行的操作；
2)进行第一步卷积，并对卷积的输出结果在第三维上进行连接操作，然后对连接后的眼底图像数据进行Batch Normalization操作，之后再进行Relu激活，该过程的公式如下：
Figure BDA0003738259510000041
其中，Relu代表激活函数，BN代表Batch Normalization操作，
Figure BDA0003738259510000042
代表对所有卷积核的输出进行在第三维上的连接操作，C代表该卷积层的卷积核的集合，zoom代表缩放参数，*代表卷积运算，
Figure BDA0003738259510000043
代表该卷积层第i个卷积核，该卷积核的尺寸为j×j；
3)进行第二步卷积，该步骤的流程与步骤2)相同；
4)通过第四层的1×1的卷积核对d的特征矩阵进行升维操作，将特征矩阵的深度升至与d_orign相同；
5)求和：d＝d+d_orign；
6)输出d。
具体地，步骤7中对眼部疾病诊断神经网络模型进行动态修正的增量学习算法为：
1)将所述眼部疾病诊断神经网络模型中的全连接层的输出个数修改为原有的眼部疾病总类别数和新增的眼部疾病总类别数的和，所述原有的眼部疾病指在眼部疾病信息数据库中原有的眼底图像对应的眼部疾病，所述新增的眼部疾病为新保存至眼部疾病信息数据库中的眼底图像对应的、不属于原有的眼部疾病的眼部疾病；
2)构建原有的眼部疾病眼底图像数据，如公式：
Figure BDA0003738259510000051
其中，n_old表示所述原有的眼部疾病眼底图像对应的总类别数,N_origin表示所述原有的眼部疾病样本集的样本总数,xi_origin和yi_origin分别表示所述原有的眼部疾病样本集中的第i_origin个眼底图像及其类别信息；
从原有的眼部疾病眼底图像数据中，按照原有的眼部疾病眼底图像对应的类别选择一定数量的眼部疾病眼底图像，构成筛选后的原有的眼部疾病眼底图像数据：
Figure BDA0003738259510000052
Figure BDA0003738259510000053
其中，N_old表示所述筛选后的原有的眼部疾病样本集的样本总数,xi_old和yi_old分别表示所述筛选后的原有的眼部疾病样本集中的第i_old个眼底图像及其类别信息,Sift代表筛选函数，筛选后的原有的眼部疾病眼底图像数据即为进行小批量回放所用数据；
构建新增的眼部疾病的眼底图像数据，如公式：
Figure BDA0003738259510000054
其中，m_new表示所述新增的眼部疾病的总类别数，M_new表示新增的眼部疾病样本集的样本总数，xj_new和yj_new分别表示新增的眼部疾病样本集中的第j_new个眼底图像及其类别信息；
3)针对原有的眼部疾病，构建蒸馏损失函数，如公式：
Figure BDA0003738259510000061
Figure BDA0003738259510000062
Figure BDA0003738259510000063
其中，T代表温度标量；
Figure BDA0003738259510000064
为第k个类别在所述初始眼部疾病诊断神经网络模型中的全连接层的Softmax输出，
Figure BDA0003738259510000065
为第k个类别在所述增量眼部疾病诊断神经网络模型中的全连接层的Softmax输出，
Figure BDA0003738259510000066
为所有原有的类别在所述初始眼部疾病诊断神经网络模型中的全连接层的Softmax输出之和，
Figure BDA0003738259510000067
为所有原有的类别在所述增量眼部疾病诊断神经网络模型中的全连接层的Softmax输出之和；
针对新增的眼部疾病，构建交叉熵损失函数，如公式：
Figure BDA0003738259510000068
其中，δy＝k为眼底图像数据被归类为第k个类别的概率；δy≠k为眼底图像数据被归类为第k个类别以外类别的概率；pk(x)为新增的眼部疾病眼底图像数据和原有的眼部疾病眼底图像数据中的第k个类别的输出概率；
将蒸馏损失函数和交叉熵函数加权相加，得到总损失函数，如公式：
Loss＝rLossD+(1-r)LossCE
其中，r为蒸馏损失函数和交叉熵损失函数之间的调节参数；
4)构建修正向量，对总损失函数作出二次修正，如公式：
Figure BDA0003738259510000071
其中，xi、yi分别表示所述原有的眼部疾病样本集以及所述新增的眼部疾病样本集的并集中第i个眼底图像及其类别信息，vn_old+m_new为本次增量过程的修正向量，vn_old为上次增量过程的修正向量，||vn_old||表示vn_old的二范数，pred(yi)表示所述眼部疾病诊断神经网络模型对所述原有的眼部疾病样本集以及所述新增的眼部疾病样本集的并集中的第i个眼部疾病眼底图像的预测类别信息。
修正后的损失函数如下式：
Figure BDA0003738259510000072
5)将所述眼部疾病诊断神经网络模型中的损失函数更新为所述总损失函数，进行小批量回放训练，即利用筛选后的原有的眼部疾病眼底图像数据以及新增的眼部疾病的眼底图像数据作为输入，重新训练所述眼部疾病诊断神经网络模型，更新所述眼部疾病诊断神经网络模型的参数；社区医生根据评估结果选择是否对模型进行联合训练。
具体地，所述增量眼部疾病诊断神经网络模型的评估结果，为以下公式的计算结果：
Figure BDA0003738259510000081
其中，
Figure BDA0003738259510000082
Figure BDA0003738259510000083
β为常数。
优选地，筛选函数采用根据原有的眼部疾病样本集中各眼部疾病类别下所包含的样本数进行按比例随机分层筛选。
本发明的有益效果在于：
本发明通过一种改进的残差学习模块构成的神经网络，对眼底图像做出识别与分类，该改进的残差学习模块增加每层卷积核的数量，扩展了残差神经网络的尺度，减少了训练参数，有效抑制梯度消失与特征稀释问题，提高了精确率，同时使得卷积层可以从多个尺度观察数据，从而获得更为丰富的输入特征。
本发明结合蒸馏函数、小批次回放以及动态修正向量实现增量学习，使神经网络模型可针对遇到的新情况不断做出更新于修正，在增量学习的过程中尽量抑制灾难性遗忘问题，同时对动态修正向量方法做出改进，减少不必要的计算，降低了增量计算的计算开销与时间开销，同时提供联合计算的功能以解决灾难性遗忘问题。
附图说明
图1是本发明的整体框架；
图2是改进的残差学习模块。
具体实施方式
一种基于增量神经网络的社区居民眼部疾病辅助识别方法，包括如下步骤：
步骤1：获取多张病变眼底图像，从图像中获得多种眼部疾病的特征信息与每幅图像对应的类别信息，建立眼部疾病信息数据库；
本实施例所述多种眼部疾病包括糖尿病视网膜病变、青光眼、白内障、年龄相关性黄斑变性、高度近视、裂孔性视网膜脱离、后巩膜葡萄肿等；所述眼部疾病的特征信息包括该种疾病的类别信息、该种疾病的症状描述、该种疾病的建议治疗方式、该种疾病的建议处方；每种疾病对应的病变眼底图像应不少于500张。
步骤2：根据步骤1建立的眼部疾病信息数据库，以离线的方式对神经网络模型进行训练，以得到训练好的初始眼部疾病诊断神经网络模型；
所述神经网络模型的骨架网络模型为ResNet-101。
步骤3：通过智能眼底摄像机对社区居民的眼底图像进行采集，并将采集的眼底图像传送到电子平台，再由电子平台发送至服务器，电子平台与智能眼底摄像机相连，电子平台与服务器相连，连接方式可以为数据线，或是通过无线网络；服务器将社区居民的眼底图像分别存放到各个社区居民对应的眼部疾病数据记录表中；
步骤4：从每个社区居民的眼部疾病数据记录表中提取最新的眼底图像，对该最新的眼底图像进行预处理后，输入步骤2训练好的初始眼部疾病诊断神经网络模型中进行实时眼部疾病诊断，得到诊断结果，服务器将诊断结果存放到眼部疾病数据记录表中，同时将诊断结果发送至相应的电子平台以向社区医生展示；电子平台在向社区医生展示诊断结果之前，从眼部疾病信息数据库中提取诊断结果对应的眼部疾病的特征信息，并与诊断结果一同向社区医生展示。
从眼部疾病信息数据库中提取最新的眼底图像及其类别信息，对步骤2得到的初始眼部疾病诊断神经网络模型进行训练，其具体步骤为：
1)对输入眼底图像数据进行预处理，所述预处理包括去噪、尺寸调整与数据归一化，所述尺寸调整具体指将眼底图像尺寸调整为256×256；去噪算法为高斯去噪算法或小波去噪算法；
2)使用16个3×3的卷积核对经过预处理的眼底图像数据进行卷积操作；
3)使用6个改进的残差学习模块对眼底图像数据进行处理，并将输出数据的尺寸除以2，该步骤中单个改进的残差学习模块中多尺度卷积层的卷积核的总数为n；
4)使用6个改进的残差学习模块对眼底图像数据进行处理，并将输出数据的尺寸除以2，该步骤中单个改进的残差学习模块中多尺度卷积层的卷积核的总数为2n；
5)使用6个改进的残差学习模块对眼底图像数据进行处理，并将输出数据的尺寸除以2，该步骤中单个改进的残差学习模块中多尺度卷积层的卷积核的总数为4n；
6)使用6个所述改进的残差学习模块对眼底图像数据进行处理，并将输出数据的尺寸除以2，该步骤中单个所述改进的残差学习模块中多尺度卷积层的卷积核的总数为8n；
7)使用一个全局平均池化层对经过残差学习的数据进行平均池化操作；
8)使用全连接层将计算得到的特征空间映射到样本标记空间，得到对输入眼底图像数据的诊断结果，全连接层采用Softmax函数；
将所述骨架网络中的Bottleneck残差学习模块替换为改进的残差学习模块，该改进的残差学习模块包含五层，第一层包含多个1×1、3×3、5×5的卷积核，且三类卷积核数目相等，第二层为一个连接层，第三层包含多个1×1、3×3、5×5的卷积核，且三类卷积核数目相等，第四层为一个连接层，第五层包含多个1×1的卷积核。
采用改进的残差学习模块对眼底图像数据进行处理的步骤如下：
1)规定输入眼底图像数据为d_orign，其尺度为h*h*depth，并令d＝d_origin，即d为输入眼底图像数据d_orign的一个副本数据，步骤2)至步骤4)均为对该副本数据d进行的操作；
2)进行第一步卷积，并对卷积的输出结果在第三维上进行连接操作，然后对连接后的眼底图像数据进行Batch Normalization操作，之后再进行Relu激活，该过程的公式如下：
Figure BDA0003738259510000101
其中，Relu代表激活函数，BN代表Batch Normalization操作，
Figure BDA0003738259510000102
代表对所有卷积核的输出进行在第三维上的连接操作，C代表该卷积层的卷积核的集合，zoom代表缩放参数，*代表卷积运算，
Figure BDA0003738259510000103
代表该卷积层第i个卷积核，该卷积核的尺寸为j×j；
3)进行第二步卷积，该步骤的流程与步骤2)相同；
4)通过第四层的1×1的卷积核对特征矩阵进行升维操作，将特征矩阵的深度升至与d_orign相同；
5)求和：d＝d+d_orign；
6)输出d。
采用改进的残差学习模块对眼底图像数据进行处理的步骤，第一步卷积输入数据的深度与输出数据的深度分别为depth与num×zoom，其中num为单位宽度上卷积核的数量，第二步卷积的输入数据的深度与输出数据的深度分别为3×num×zoom，num×zoom，所述对卷积的输出结果在第三维上进行连接后，输出数据的深度将为所有卷积的输出结果的深度之和。
本实施例取n为2×3×32＝192，即若所述改进的残差学习模块中多尺度卷积层的卷积核的总数为n，则单个所述改进的残差学习模块中每层多尺度卷积层均有3×32个卷积核，每类卷积核各有32个。
步骤5：当用户被诊断为患有某种眼部疾病后，由社区医生进行人工检查，并将检查结果通过电子平台传送回服务器，服务器判断诊断结果是否正确；如果社区医生认为检查结果错误，则说明眼部疾病诊断神经网络模型诊断不准确，如果社区医生认为检查结果正确，则说明眼部疾病诊断神经网络模型诊断准确；
步骤6：当检查结果错误时，将对应社区居民的眼部疾病数据记录表中保存的最新的诊断结果修改为正确的诊断结果，若眼部疾病信息数据库中存在与正确的诊断结果对应的眼部疾病类别，则将该社区居民最新采集的眼底图像保存至眼部疾病信息数据库中对应的眼部疾病类别中，若眼部疾病信息数据库中不存在与正确的诊断结果对应的眼部疾病类别，则在眼部疾病信息数据库中新增一个与正确的诊断结果对应的眼部疾病类别，并将该社区居民最新采集的眼底图像保存至该类别中；
新增的与正确的诊断结果对应的眼部疾病类别，其对应的特征信息可通过医生手动输入，也可通过网络获得；
步骤7：当社区医生在电子平台上选择进行增量式训练后，从眼部疾病信息数据库中提取最新保存的眼底图像及其类别信息，执行增量学习算法，对眼部疾病诊断神经网络模型进行动态修正，得到增量眼部疾病诊断神经网络模型，并将增量眼部疾病诊断神经网络模型的评估结果发送至电子平台向社区医生展示，社区医生可根据评估结果选择是否对模型进行联合训练；
对眼部疾病诊断神经网络模型进行动态修正的增量学习算法为：
1)将所述眼部疾病诊断神经网络模型中的全连接层的输出个数修改为原有的眼部疾病总类别数和新增的眼部疾病总类别数的和，所述原有的眼部疾病指在眼部疾病信息数据库中原有的眼底图像对应的眼部疾病，所述新增的眼部疾病为新保存至眼部疾病信息数据库中的眼底图像对应的、不属于原有的眼部疾病的眼部疾病；
2)构建原有的眼部疾病眼底图像数据，如以下公式：
Figure BDA0003738259510000121
其中，n_old表示所述原有的眼部疾病眼底图像对应的总类别数,N_origin表示所述原有的眼部疾病样本集的样本总数,xi_origin和yi_origin分别表示所述原有的眼部疾病样本集中的第i_origin个眼底图像及其类别信息；
从原有的眼部疾病眼底图像数据中，按照原有的眼部疾病眼底图像对应的类别选择一定数量的眼部疾病眼底图像，构成筛选后的原有的眼部疾病眼底图像数据：
Figure BDA0003738259510000122
Figure BDA0003738259510000123
其中，N_old表示所述筛选后的原有的眼部疾病样本集的样本总数,xi_old和yi_old分别表示所述筛选后的原有的眼部疾病样本集中的第i_old个眼底图像及其类别信息,Sift代表筛选函数，筛选后的原有的眼部疾病眼底图像数据即为进行小批量回放所用数据；
筛选函数可采用根据原有的眼部疾病样本集中各眼部疾病类别下所包含的样本数进行按比例随机分层筛选；
构建新增的眼部疾病的眼底图像数据，如以下公式：
Figure BDA0003738259510000131
其中，m_new表示所述新增的眼部疾病的总类别数，M_new表示新增的眼部疾病样本集的样本总数，xj_new和yj_new分别表示新增的眼部疾病样本集中的第j_new个眼底图像及其类别信息。
3)针对原有的眼部疾病，构建蒸馏损失函数，如以下公式：
Figure BDA0003738259510000132
Figure BDA0003738259510000133
Figure BDA0003738259510000134
其中，T代表温度标量；
Figure BDA0003738259510000135
为第k个类别在所述初始眼部疾病诊断神经网络模型中的全连接层的Softmax输出，
Figure BDA0003738259510000136
为第k个类别在所述增量眼部疾病诊断神经网络模型中的全连接层的Softmax输出，
Figure BDA0003738259510000137
为所有原有的类别在所述初始眼部疾病诊断神经网络模型中的全连接层的Softmax输出之和，
Figure BDA0003738259510000138
为所有原有的类别在所述增量眼部疾病诊断神经网络模型中的全连接层的Softmax输出之和；
针对新增的眼部疾病，构建交叉熵损失函数，如以下公式：
Figure BDA0003738259510000141
其中，δy＝k为眼底图像数据被归类为第k个类别的概率；δy≠k为眼底图像数据被归类为第k个类别以外类别的概率；pk(x)为新增的眼部疾病眼底图像数据和原有的眼部疾病眼底图像数据中的第k个类别的输出概率；
将蒸馏损失函数和交叉熵函数加权相加，得到总损失函数，如以下公式：
Loss＝rLossD+(1-r)LossCE
其中，r为蒸馏损失函数和交叉熵损失函数之间的调节参数；
4)构建修正向量，对总损失函数作出二次修正，如以下公式：
Figure BDA0003738259510000142
其中，xi、yi分别表示所述原有的眼部疾病样本集以及所述新增的眼部疾病样本集的并集中第i个眼底图像及其类别信息，vn_old+m_new为本次增量过程的修正向量，vn_old为上次增量过程的修正向量，||vn_old||表示vn_old的二范数，pred(yi)表示所述眼部疾病诊断神经网络模型对所述原有的眼部疾病样本集以及所述新增的眼部疾病样本集的并集中的第i个眼部疾病眼底图像的预测类别信息。
修正后的损失函数如下式：
Figure BDA0003738259510000143
5)将所述眼部疾病诊断神经网络模型中的损失函数更新为所述总损失函数，进行小批量回放训练，即利用筛选后的原有的眼部疾病眼底图像数据以及新增的眼部疾病的眼底图像数据作为输入，重新训练所述眼部疾病诊断神经网络模型，更新所述眼部疾病诊断神经网络模型的参数；
社区医生可根据评估结果选择是否对模型进行联合训练，所述增量眼部疾病诊断神经网络模型的评估结果，为以下公式的计算结果：
Figure BDA0003738259510000151
其中，
Figure BDA0003738259510000152
Figure BDA0003738259510000153
β为常数，此处取1，即将P与R视为同等重要。
步骤8：若医生选择对模型进行联合训练，则根据眼部疾病信息数据库中所有的眼底图像及其类别信息重新对增量眼部疾病诊断神经网络模型进行训练，再次得到新的初始眼部疾病诊断神经网络模型。

Claims (9)

1.一种基于增量神经网络的社区居民眼部疾病辅助识别方法，其特征在于，包括如下步骤：
步骤1：获取多张病变眼底图像，从图像中获得多种眼部疾病的特征信息与每幅图像对应的类别信息，建立眼部疾病信息数据库；
步骤2：根据步骤1建立的眼部疾病信息数据库，以离线的方式对神经网络模型进行训练，以得到训练好的初始眼部疾病诊断神经网络模型；
步骤3：通过智能眼底摄像机对社区居民的眼底图像进行采集，并将采集的眼底图像传送到电子平台，再由电子平台发送至服务器，服务器将社区居民的眼底图像分别存放到各个社区居民对应的眼部疾病数据记录表中；
步骤4：从每个社区居民的眼部疾病数据记录表中提取最新的眼底图像，对该最新的眼底图像进行预处理后，输入步骤2训练好的初始眼部疾病诊断神经网络模型中进行实时眼部疾病诊断，得到诊断结果，服务器将诊断结果存放到眼部疾病数据记录表中，同时将诊断结果和诊断结果对应的眼部疾病的特征信息，发送至相应的电子平台，以向社区医生展示；
步骤5：当用户被诊断为患有某种眼部疾病后，由社区医生进行人工检查，并将检查结果通过电子平台传送回服务器，服务器判断诊断结果是否正确；如果社区医生认为检查结果错误，则说明眼部疾病诊断神经网络模型诊断不准确，如果社区医生认为检查结果正确，则说明眼部疾病诊断神经网络模型诊断准确；
步骤6：当检查结果错误时，将对应社区居民的眼部疾病数据记录表中保存的最新的诊断结果修改为正确的诊断结果，若眼部疾病信息数据库中存在与正确的诊断结果对应的眼部疾病类别，则将该社区居民最新采集的眼底图像保存至眼部疾病信息数据库中对应的眼部疾病类别中，若眼部疾病信息数据库中不存在与正确的诊断结果对应的眼部疾病类别，则在眼部疾病信息数据库中新增一个与正确的诊断结果对应的眼部疾病类别，并将该社区居民最新采集的眼底图像保存至该类别中；
步骤7：当社区医生在电子平台上选择进行增量式训练后，从眼部疾病信息数据库中提取最新保存的眼底图像及其类别信息，执行增量学习算法，对眼部疾病诊断神经网络模型进行动态修正，得到增量眼部疾病诊断神经网络模型，并将增量眼部疾病诊断神经网络模型的评估结果发送至电子平台向社区医生展示，社区医生可根据评估结果选择是否对模型进行联合训练。
2.根据权利要求1所述的一种基于增量神经网络的社区居民眼部疾病辅助识别方法，其特征在于，若医生选择对模型进行联合训练，则根据眼部疾病信息数据库中所有的眼底图像及其类别信息重新对增量眼部疾病诊断神经网络模型进行训练，再次得到新的初始眼部疾病诊断神经网络模型。
3.根据权利要求1所述的一种基于增量神经网络的社区居民眼部疾病辅助识别方法，其特征在于，所述神经网络模型为ResNet-101。
4.根据权利要求3所述的一种基于增量神经网络的社区居民眼部疾病辅助识别方法，其特征在于，步骤4中提取最新的眼底图像并输入初始眼部疾病诊断神经网络模型进行训练的具体步骤为：
1)对输入眼底图像数据进行预处理，所述预处理包括去噪、尺寸调整与数据归一化，所述尺寸调整具体指将眼底图像尺寸调整为256×256；去噪算法为高斯去噪算法或小波去噪算法；
2)使用16个3×3的卷积核对经过预处理的眼底图像数据进行卷积操作；
3)使用6个改进的残差学习模块对眼底图像数据进行处理，并将输出数据的尺寸除以2，该步骤中单个改进的残差学习模块中多尺度卷积层的卷积核的总数为n；
4)使用6个改进的残差学习模块对眼底图像数据进行处理，并将输出数据的尺寸除以2，该步骤中单个改进的残差学习模块中多尺度卷积层的卷积核的总数为2n；
5)使用6个改进的残差学习模块对眼底图像数据进行处理，并将输出数据的尺寸除以2，该步骤中单个改进的残差学习模块中多尺度卷积层的卷积核的总数为4n；
6)使用6个所述改进的残差学习模块对眼底图像数据进行处理，并将输出数据的尺寸除以2，该步骤中单个所述改进的残差学习模块中多尺度卷积层的卷积核的总数为8n；
7)使用一个全局平均池化层对经过残差学习的数据进行平均池化操作；
8)使用全连接层将计算得到的特征空间映射到样本标记空间，得到对输入眼底图像数据的诊断结果，全连接层采用Softmax函数。
5.根据权利要求4所述的一种基于增量神经网络的社区居民眼部疾病辅助识别方法，其特征在于，步骤3)中所述改进的残差学习模块包含五层，第一层包含多个1×1、3×3、5×5的卷积核，且三类卷积核数目相等，第二层为一个连接层，第三层包含多个1×1、3×3、5×5的卷积核，且三类卷积核数目相等，第四层为一个连接层，第五层包含多个1×1的卷积核。
6.根据权利要求5所述的一种基于增量神经网络的社区居民眼部疾病辅助识别方法，其特征在于，采用改进的残差学习模块对眼底图像数据进行处理的步骤如下：
1)规定输入眼底图像数据为d_orign，其尺度为h*h*depth，并令d＝d_origin，即d为输入眼底图像数据d_orign的一个副本数据，步骤2)至步骤4)均为对该副本数据d进行的操作；
2)进行第一步卷积，并对卷积的输出结果在第三维上进行连接操作，然后对连接后的眼底图像数据进行Batch Normalization操作，之后再进行Relu激活，该过程的公式如下：
Figure FDA0003738259500000031
其中，Relu代表激活函数，BN代表Batch Normalization操作，
Figure FDA0003738259500000032
代表对所有卷积核的输出在第三维上进行的连接操作，C代表该卷积层的卷积核的集合，zoom代表缩放参数，*代表卷积运算，convi j代表该卷积层第i个卷积核，该卷积核的尺寸为j×j；
3)进行第二步卷积，该步骤的流程与步骤2)相同；
4)通过第四层的1×1的卷积核对d的特征矩阵进行升维操作，将特征矩阵的深度升至与d_orign相同；
5)求和：d＝d+d_orign；
6)输出d。
7.根据权利要求1所述的一种基于增量神经网络的社区居民眼部疾病辅助识别方法，其特征在于，步骤7中对眼部疾病诊断神经网络模型进行动态修正的增量学习算法为：
1)将所述眼部疾病诊断神经网络模型中的全连接层的输出个数修改为原有的眼部疾病总类别数和新增的眼部疾病总类别数的和，所述原有的眼部疾病指在眼部疾病信息数据库中原有的眼底图像对应的眼部疾病，所述新增的眼部疾病为新保存至眼部疾病信息数据库中的眼底图像对应的、不属于原有的眼部疾病的眼部疾病；
2)构建原有的眼部疾病眼底图像数据，如公式：
Figure FDA0003738259500000041
其中，n_old表示所述原有的眼部疾病眼底图像对应的总类别数,N_origin表示所述原有的眼部疾病样本集的样本总数,xi_origin和yi_origin分别表示所述原有的眼部疾病样本集中的第i_origin个眼底图像及其类别信息；
从原有的眼部疾病眼底图像数据中，按照原有的眼部疾病眼底图像对应的类别选择一定数量的眼部疾病眼底图像，构成筛选后的原有的眼部疾病眼底图像数据：
Figure FDA0003738259500000042
Figure FDA0003738259500000043
其中，N_old表示所述筛选后的原有的眼部疾病样本集的样本总数,xi_old和yi_old分别表示所述筛选后的原有的眼部疾病样本集中的第i_old个眼底图像及其类别信息,Sift代表筛选函数，筛选后的原有的眼部疾病眼底图像数据即为进行小批量回放所用数据；
构建新增的眼部疾病的眼底图像数据，如公式：
Figure FDA0003738259500000044
其中，m_new表示所述新增的眼部疾病的总类别数，M_new表示新增的眼部疾病样本集的样本总数，xj_new和yj_new分别表示新增的眼部疾病样本集中的第j_new个眼底图像及其类别信息；
3)针对原有的眼部疾病，构建蒸馏损失函数，如公式：
Figure FDA0003738259500000051
Figure FDA0003738259500000052
Figure FDA0003738259500000053
其中，T代表温度标量；
Figure FDA0003738259500000054
为第k个类别在所述初始眼部疾病诊断神经网络模型中的全连接层的Softmax输出，
Figure FDA0003738259500000055
为第k个类别在所述增量眼部疾病诊断神经网络模型中的全连接层的Softmax输出，
Figure FDA0003738259500000056
为所有原有的类别在所述初始眼部疾病诊断神经网络模型中的全连接层的Softmax输出之和，
Figure FDA0003738259500000057
为所有原有的类别在所述增量眼部疾病诊断神经网络模型中的全连接层的Softmax输出之和；
针对新增的眼部疾病，构建交叉熵损失函数，如以下公式：
Figure FDA0003738259500000058
其中，δy＝k为眼底图像数据被归类为第k个类别的概率；δy≠k为眼底图像数据被归类为第k个类别以外类别的概率；pk(x)为新增的眼部疾病眼底图像数据和原有的眼部疾病眼底图像数据中的第k个类别的输出概率；
将蒸馏损失函数和交叉熵函数加权相加，得到总损失函数，如以下公式：
Loss＝rLossD+(1-r)LossCE
其中，r为蒸馏损失函数和交叉熵损失函数之间的调节参数；
4)构建修正向量，对总损失函数作出二次修正，如以下公式：
Figure FDA0003738259500000061
其中，xi、yi分别表示所述原有的眼部疾病样本集以及所述新增的眼部疾病样本集的并集中第i个眼底图像及其类别信息，vn_old+m_new为本次增量过程的修正向量，vn_old为上次增量过程的修正向量，||vn_old||表示vn_old的二范数，pred(yi)表示所述眼部疾病诊断神经网络模型对所述原有的眼部疾病样本集以及所述新增的眼部疾病样本集的并集中的第i个眼部疾病眼底图像的预测类别信息。
修正后的损失函数如下式：
Figure FDA0003738259500000062
5)将所述眼部疾病诊断神经网络模型中的损失函数更新为所述总损失函数，进行小批量回放训练，即利用筛选后的原有的眼部疾病眼底图像数据以及新增的眼部疾病的眼底图像数据作为输入，重新训练所述眼部疾病诊断神经网络模型，更新所述眼部疾病诊断神经网络模型的参数；社区医生根据评估结果选择是否对模型进行联合训练。
8.根据权利要求7所述的一种基于增量神经网络的社区居民眼部疾病辅助识别方法，其特征在于，所述增量眼部疾病诊断神经网络模型的评估结果，为以下公式的计算结果：
Figure FDA0003738259500000071
其中，
Figure FDA0003738259500000072
Figure FDA0003738259500000073
β为常数。
9.根据权利要求7所述的一种基于增量神经网络的社区居民眼部疾病辅助识别方法，其特征在于，筛选函数采用根据原有的眼部疾病样本集中各眼部疾病类别下所包含的样本数进行按比例随机分层筛选。
CN202210806964.XA 2022-07-09 2022-07-09 一种基于增量神经网络的社区居民眼部疾病辅助识别方法 Pending CN115187547A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210806964.XA CN115187547A (zh) 2022-07-09 2022-07-09 一种基于增量神经网络的社区居民眼部疾病辅助识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210806964.XA CN115187547A (zh) 2022-07-09 2022-07-09 一种基于增量神经网络的社区居民眼部疾病辅助识别方法

Publications (1)

Publication Number Publication Date
CN115187547A true CN115187547A (zh) 2022-10-14

Family

ID=83517759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210806964.XA Pending CN115187547A (zh) 2022-07-09 2022-07-09 一种基于增量神经网络的社区居民眼部疾病辅助识别方法

Country Status (1)

Country Link
CN (1) CN115187547A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760824A (zh) * 2022-11-28 2023-03-07 脉得智能科技(无锡)有限公司 一种皮肤病辅助诊断系统及方法、电子设备、存储介质
CN116433644A (zh) * 2023-04-22 2023-07-14 深圳市江机实业有限公司 一种基于识别模型的眼部图像动态诊断方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760824A (zh) * 2022-11-28 2023-03-07 脉得智能科技(无锡)有限公司 一种皮肤病辅助诊断系统及方法、电子设备、存储介质
CN115760824B (zh) * 2022-11-28 2024-03-01 脉得智能科技(无锡)有限公司 一种皮肤病辅助诊断系统及方法、电子设备、存储介质
CN116433644A (zh) * 2023-04-22 2023-07-14 深圳市江机实业有限公司 一种基于识别模型的眼部图像动态诊断方法
CN116433644B (zh) * 2023-04-22 2024-03-08 深圳市江机实业有限公司 一种基于识别模型的眼部图像动态诊断方法

Similar Documents

Publication Publication Date Title
EP3445250B1 (en) Echocardiographic image analysis
CN115187547A (zh) 一种基于增量神经网络的社区居民眼部疾病辅助识别方法
CN110837803B (zh) 基于深度图网络的糖尿病视网膜病变分级方法
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN110680326B (zh) 基于深度卷积神经网络的尘肺病鉴别及分级判定方法
WO2020023959A1 (en) System and method for ai-based eye condition determinations
EP3944185A1 (en) Computer-implemented method, system and computer program product for detecting a retinal condition from eye fundus images
CN112508953B (zh) 基于深度神经网络的脑膜瘤快速分割定性方法
CN111798439A (zh) 线上线下融合的医疗影像质量判读方法、系统及存储介质
CN112869697A (zh) 同时识别糖尿病视网膜病变的分期和病变特征的判断方法
CN112434737A (zh) 用于脑卒中分析的多智能体评价准则融合的特征选择系统
WO2021021657A1 (en) System and method for ai-based eye condition determinations
CN110766665A (zh) 基于强监督算法和深度学习网络的舌象数据分析方法
KR20050043869A (ko) 적응 퍼지-뉴럴 네트워크를 이용한 유방암 자동 진단기의개발
WO2023151578A1 (en) Embryo selection process
Kumari et al. Automated process for retinal image segmentation and classification via deep learning based cnn model
CN114021630B (zh) 一种面向类别不平衡数据集的序数回归问题解决方法
Zhong et al. CeCNN: Copula-enhanced convolutional neural networks in joint prediction of refraction error and axial length based on ultra-widefield fundus images
CN112365474A (zh) 血管提取方法、装置、电子设备和存储介质
Duraichi et al. Detection and Classification of Diabetic Retinopathy using Deep Learning
CN116433607B (zh) 基于关键区域特征双重加权融合的儿童手骨x光图像骨龄评估方法及系统
Sheikh Diabetic reinopathy classification using deep learning
CN113096828B (zh) 基于癌症基因组大数据核心算法的诊断、预测以及大健康管理平台
Toledo-Cortés et al. Deep Density Estimation for Cone Counting and Diagnosis of Genetic Eye Diseases From Adaptive Optics Scanning Light Ophthalmoscope Images
US20230230699A1 (en) Methods and systems for utilizing an ecg database

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination