CN115083005B - 一种基于深度学习的rop图像分类系统及方法 - Google Patents

一种基于深度学习的rop图像分类系统及方法 Download PDF

Info

Publication number
CN115083005B
CN115083005B CN202210661154.XA CN202210661154A CN115083005B CN 115083005 B CN115083005 B CN 115083005B CN 202210661154 A CN202210661154 A CN 202210661154A CN 115083005 B CN115083005 B CN 115083005B
Authority
CN
China
Prior art keywords
rop
fundus
illumination
function value
fundus color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210661154.XA
Other languages
English (en)
Other versions
CN115083005A (zh
Inventor
余洪华
杨小红
吴乔伟
胡一骏
张滨
方莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong General Hospital
Original Assignee
Guangdong General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong General Hospital filed Critical Guangdong General Hospital
Priority to CN202210661154.XA priority Critical patent/CN115083005B/zh
Publication of CN115083005A publication Critical patent/CN115083005A/zh
Application granted granted Critical
Publication of CN115083005B publication Critical patent/CN115083005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的ROP图像分类系统及方法，包括：收集新生儿的眼底彩照和临床变量文本数据，并对眼底彩照进行预处理；通过特征提取模型对预处理后的眼底彩照进行图像特征提取；将特征提取后的眼底彩照的图像特征与临床变量文本数据进行串联融合，获得眼底彩照的融合特征；基于深度神经网络对融合特征进行处理，获得眼底彩照的平均模型函数值；根据平均模型函数值，获得ROP的二进制分类函数值；基于二进制分类函数值以及预设阈值的大小关系，对眼底彩照进行分类，获得分类结果。本发明能有效减少低危新生儿接受不必要筛查的次数、辅助医生提高对于ROP筛查与分析的效率，同时减轻眼科医生的工作负担。

Description

一种基于深度学习的ROP图像分类系统及方法
技术领域
本发明属于临床医学眼科和计算机工程领域，特别是涉及一种基于深度学习的ROP图像分类系统及方法。
背景技术
作为儿童失明的主要原因，ROP是一种神经血管性视网膜疾病，其特征是早产儿视网膜有血管区和无血管区交界处异常的纤维血管增殖改变。ROP的发生和严重程度与多种因素相关，例如出生体重、出生胎龄、吸氧治疗和输血等。既往研究还发现多个与ROP发病相关的全身危险因素。早期筛查可有效降低ROP导致的失明。ROP早期治疗试验表明，早期治疗对于提高高危ROP患儿的视力至关重要。因此，早期ROP筛查和定期随访对早产儿来说至关重要。
每次ROP筛查均需要使用眼底摄影设备(例如，RetCam3)或间接检眼镜联合巩膜压迫法检查新生儿视网膜。然而，这种检查方法对新生儿有一定的损伤性，也加大了眼科和新生儿科医生的工作负荷，并且通常无法在偏远地区进行。有能力和意愿进行ROP筛查的儿科眼科医生或视网膜疾病专家也日益短缺。此外，ROP筛查中只有不到10％的轻度ROP患儿进展为需要治疗的严重ROP。因此，由于ROP筛查仍需较大工作量、严重ROP的治疗率较低以及不规律的随访易导致严重ROP的误诊，开发更具成本效益且能及早识别严重ROP的筛查手段十分重要。既往研究基于出生体重、出生胎龄、性别和/或产后体重增加等危险因素使用传统的回归分析方法来辅助医生对ROP的发生和严重程度进行分析。然而，采用传统回归分析方法建立的预测模型虽易于使用和解释，但当多变量存在、变量之间的非线性关系错综复杂时，其可靠程度有限。并且ROP患儿发病前视网膜结构的特征变化与ROP患儿的预后相关。因此，患儿在首次筛查中的眼底照片对ROP的发生和严重程度也有一定的参考作用。近年来，深度学习已被应用于帮助分析各种眼部疾病。然而，目前仍缺乏能基于眼底彩照辅助医生准确预测ROP的发生和严重程度的深度学习模型。
发明内容
本发明为减少严重ROP的误诊，提高ROP筛查的效率，减轻临床眼科医生的负担，弥补使用眼底彩照准确预测ROP的深度学习模型的空缺，而提供一种基于深度学习的ROP图像分类系统及方法。
为实现上述目的，本发明提供了如下方案：一种基于深度学习的ROP图像分类方法，包括，
收集新生儿的眼底彩照和临床变量文本数据，并对所述眼底彩照进行预处理；
通过特征提取模型对预处理后的眼底彩照进行图像特征提取；将特征提取后的眼底彩照的图像特征与临床变量文本数据进行串联融合，获得所述眼底彩照的融合特征；
基于深度神经网络对所述融合特征进行处理，获得所述眼底彩照的平均模型函数值；根据所述平均模型函数值，获得ROP的二进制分类函数值；基于所述二进制分类函数值以及预设阈值的大小关系，对所述眼底彩照进行分类，获得分类结果。
优选地，对所述眼底彩照进行预处理的过程包括，对所述眼底彩照进行饱和像素值移除、去噪、边缘切除后，读取预处理后的眼底彩照，并将读取的眼底彩照的像素调整为统一预设大小。
优选地，通过深度学习模型对预处理后的眼底彩照进行图像特征提取的过程包括，
基于卷积神经网络构建特征提取模型，采用交叉熵损失函数评估卷积神经网络输出值和真实值之间的差异程度；
采用Dropout层作用在卷积神经网络的全连接层；采用Batchnorm层作用在卷积神经网络中每层卷积层之后，将每层神经网络层的神经元输入值的分布拉回到标准正态分布；
对在ImageNet数据集上进行了预训练的卷积神经网络进行调整，构建图像特征提取模型；基于图像特征提取模型的全局平均池化层从所述眼底彩照中提取图像特征。
优选地，将特征提取后的眼底彩照的图像特征与临床变量文本数据进行串联融合，获得所述眼底彩照的融合特征的过程包括，
将所述图像特征作为主输入，临床变量文本数据的临床文本特征作为辅助输入，将所述主输入、辅助输入投影到同一个共享向量空间，获取主输入与辅助输入之间的相关性，并通过softmax函数进行量化，获得基于注意力机制的辅助输入；将所述主输入与所述基于注意力机制的辅助输入在全连接层进行拼接，获得融合特征。
优选地，基于深度神经网络对所述融合特征进行处理，获得所述眼底彩照的平均模型函数值；根据所述平均模型函数值，获得ROP的二进制分类函数值的过程包括，
基于初始深层神经网络构建获得深度神经网络模型，将所述眼底彩照的融合特征映射到ROP的发生和严重程度中，并将最后一层全连接层的输出分别调整为是否发生ROP以及发生的ROP是否需要治疗的二进制分类函数值，获得所述眼底彩照的模型函数值；
通过数据处理模块汇总所述模型函数值并计算眼底彩照模型函数值的平均值，获得ROP的二进制分类函数值。
一种基于深度学习的ROP图像分类系统，包括：
预处理模块，用于获取眼底彩照并对所述眼底彩照进行预处理；
特征提取模块，与所述预处理模块连接，用于通过特征提取模型对预处理后的眼底彩照进行图像特征提取；
特征融合模块，与所述特征提取模块连接，用于将特征提取后的眼底彩照的图像特征与临床变量文本数据进行串联融合，获得所述眼底彩照的融合特征；
网络构建模块，与所述特征融合模块连接，用于基于所述融合特征与深度神经网络生成所述眼底彩照的模型函数值；
数据处理模块，与所述网络构建模块连接，用于根据所述模型函数值计算所述眼底彩照的平均模型函数值，获得ROP的二进制分类函数值；
预测模块，与所述数据处理模块连接，用于根据所述二进制分类函数值以及预设阈值的大小关系，对所述眼底彩照进行分类，获得分类结果。
优选地，所述预处理包括对所述眼底彩照的饱和像素值移除、去噪、边缘切除。
本发明公开了以下技术效果：
本发明提供的一种基于深度学习的ROP图像分类系统及方法，通过收集新生儿的眼底彩照和临床变量文本数据，并对眼底彩照进行预处理；通过特征提取模型对预处理后的眼底彩照进行图像特征提取；将特征提取后的眼底彩照的图像特征与临床变量文本数据进行串联融合，获得眼底彩照的融合特征；基于深度神经网络对融合特征进行处理，获得眼底彩照的平均模型函数值；根据平均模型函数值，获得ROP的二进制分类函数值；基于二进制分类函数值以及预设阈值的大小关系，对眼底彩照进行分类，获得分类结果。本发明能有效减少低危新生儿接受不必要筛查的次数、辅助医生提高对于ROP筛查与分析的效率，同时减轻眼科医生的工作负担。此外，本发明的深度学习模型还能通过减少分析眼底彩照所需的时间和专业知识来提高缺乏医疗资源的偏远地区的ROP筛查和诊疗水平。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的系统结构示意图；
图2为本发明实施例的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供了一种基于深度学习的ROP图像分类系统,包括：预处理模块、特征提取模块、特征融合模块、网络构建模块、数据处理模块和预测模块；其中：
预处理模块对一名新生儿的所有眼底彩照进行预处理，并将结果发送至特征提取模块；
特征提取模块通过训练好的特征提取模型对经过预处理的眼底彩照进行图像特征提取；
特征融合模块将特征提取模块得到眼底彩照的图像特征作为主输入，将该名新生儿的临床变量文本数据作为辅助输入，将两种输入模态融合来生成目标模态输出，得到该名新生儿每张眼底彩照的融合特征；
网络构建模块使用深度神经网络处理特征融合模块得到的融合特征，得到该名新生儿每张眼底彩照对应的模型函数值；
数据处理模块汇总网络构建模块得到的该名新生儿所有眼底彩照的模型函数值并计算所有眼底彩照模型函数值的平均值，得到该名新生儿预设是否发生ROP以及发生的ROP是否需要治疗的二进制分类函数值；
预测模块根据数据处理模块得到的二进制分类函数值以及预设阈值分别得到该名新生儿发生ROP和ROP的严重程度两个任务的预测结果。
其中，眼底彩照为TIFF格式。
其中，临床变量文本数据包括:性别、出生体重、出生胎龄、母亲年龄、剖宫产、多胎、体外受精-胚胎移植、妊娠期高血压、妊娠期糖尿病、孕期宫内感染、产前激素应用、小于胎龄儿、宫内窘迫、1分钟和5分钟Apgar评分、新生儿窒息、呼吸窘迫综合症、肺支气管发育不良、肺炎、败血症、坏死性小肠结肠炎、颅内出血、新生儿缺血缺氧性脑病、动脉导管未闭、新生儿黄疸、吸氧史、机械通气治疗史、机械通气治疗天数、输血史、输红细胞史、红细胞输入量和次数、生后12小时内血常规、超敏C反应蛋白和住院期间血清总胆红素。
其中，对眼底彩照进行预处理具体为：对饱和像素值移除、去噪、边缘切除。
其中，特征提取模块是在ResNet-50卷积神经网络的基础上构建得到的。
如图2所示，本实施例还提供了一种基于深度学习的ROP图像分类方法，包括以下步骤：
S1：收集确诊新生儿的眼底彩照和临床变量文本数据，对眼底彩照进行预处理；
S2：使用训练好的特征提取模型对预处理后的眼底彩照进行图像特征提取，将图像特征与临床变量文本数据融合得到融合特征；
S3：使用深度神经网络对融合特征进行处理生成同一名新生儿所有眼底彩照的平均模型函数值；
S4：根据平均模型函数值分别生成该名新生儿发生ROP和ROP的严重程度两个任务的预测结果。
其中，步骤S1的具体过程为：
S11：对一名新生儿的所有眼底彩照进行饱和像素值的移除、降噪以及边缘切除处理；
S12：读取处理后的眼底彩照，并将读取的眼底彩照统一调整为预设大小256*256像素。
其中，步骤S2的具体过程为：
S21：在ResNet-50卷积神经网络的基础上构建得到特征提取模型；
S22：采用交叉熵损失函数评估ResNet-50卷积神经网络输出值和真实值之间的差异程度；
S23：采用ReLU激活函数，提高ResNet-50卷积神经网络的非线性，增加ResNet-50卷积神经网络的稀疏性；
S24：采用Dropout层作用在ResNet-50卷积神经网络的全连接层；
S25：采用Batchnorm层作用在ResNet-50卷积神经网络中每层卷积层之后，将每层神经网络层的神经元输入值的分布拉回到标准正态分布；
S26：对在ImageNet数据集上进行了预训练的ResNet-50卷积神经网络进行调整，构建图像特征提取模型；
S27：从图像特征提取模型的全局平均池化层中提取从眼底彩照中学习到的图像特征；
S28：将图像特征作为主输入
Figure BDA0003690911360000091
临床文本特征作为辅助输入/>
Figure BDA0003690911360000092
将主输入和辅助输入投影到同一个共享向量空间中:
Figure BDA0003690911360000093
Figure BDA0003690911360000094
上式的
Figure BDA0003690911360000095
是训练参数，dv表示共享向量空间的维数。
S29：使用Eemb和Gemb来计算注意力矩阵M∈Rn×l,
Mij表示主输入的第i个内容与辅助输入的第j个内容之间的相关性，可以用下式表示注意力矩阵M：
Figure BDA0003690911360000101
为了衡量每个辅助输入对主输入的重要性，使用softmax函数来量化M：
Figure BDA0003690911360000102
之后就得到了基于注意力机制的辅助输入J：
J＝G.MT
最后，主输入E和基于注意力机制的辅助输入J在全连接层进行拼接，得到融合特征U＝{U1，U2，...Un}：
U＝tanh(Pu[Ei:Ji]+Cu)
其中，步骤S3的具体过程：
S31：在初始深层神经网络的基础上构建得到网络构建模型
S32：将每张眼底彩照的融合特征映射到ROP的发生和严重程度中，并将最后一层全连接层的输出分别调整为是否发生ROP以及发生的ROP是否需要治疗的二进制分类函数值，得到该名新生儿每张眼底彩照对应的模型函数值；
S33：数据处理模块汇总网络构建模块得到的该名新生儿所有眼底彩照的模型函数值并计算所有眼底彩照模型函数值的平均值，得到该名新生儿预设是否发生ROP以及发生的ROP是否需要治疗的二进制分类函数值。
其中，步骤S4的具体过程：
S41：预测模块根据数据处理模块得到该名新生儿的二进制分类函数值，按函数值＜0.10为0、函数值≥0.10为1的标准得出该名新生儿发生ROP的预测结果；
S42：预测模块根据数据处理模块得到该名新生儿的二进制分类函数值，按函数值＜0.26为0、函数值≥0.26为1的标准得出ROP严重程度的预测结果。
ROP是全球儿童致盲的首要原因，而早ROP筛查和定期随访能有效阻止病情进展，降低ROP导致的失明，对早产儿来说至关重要。本实施例通过收集815个新生儿的7,796张眼底彩照和37490个临床变量文本数据，通过深度学习技术使ROP图像分类系统实现辅助医生提高ROP的筛查效率，有利于减少严重ROP的误诊、减轻临床眼科医生的负担。本发明的深度学习模型辅助医生提高诊断准确性，降低工作强度，提高工作效率，从而及早识别严重ROP患儿，减少严重ROP所致的失明风险。
当存在多变量、且变量之间的非线性关系错综复杂时，基于临床文本数据构建的传统回归分析方法建立的预测模型的能力有限，且ROP患儿发病前视网膜结构的特征变化与ROP患儿的预后相关。因此，与传统回归分析模型相比，本发明的深度学习模型能自动处理眼底彩照的重要信息并自动提供客观、准确的ROP预测结果，供各地区、各水平的临床眼科医生使用。本发明的深度学习模型在预测ROP发生和严重程度的任务中均实现了优越的性能，其内部验证的总体曲线下面积分别为0.90和0，87，外部验证的总体曲线下面积分别为0.94和0，88，且内、外部验证的敏感度均为100％。未来，有望经过继续加大样本、多次反复训练后，进一步提高模型性能。此外，本发明的深度学习模型还能通过减少分析眼底彩照所需的时间和专业知识来提高缺乏医疗资源的偏远地区的ROP筛查和诊疗水平。
以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (5)

1.一种基于深度学习的ROP图像分类方法，其特征在于，包括，
收集新生儿的眼底彩照和临床变量文本数据，并对所述眼底彩照进行预处理；
通过特征提取模型对预处理后的眼底彩照进行图像特征提取；将特征提取后的眼底彩照的图像特征与临床变量文本数据进行串联融合，获得所述眼底彩照的融合特征；
将特征提取后的眼底彩照的图像特征与临床变量文本数据进行串联融合，获得所述眼底彩照的融合特征的过程包括，
将所述图像特征作为主输入，临床变量文本数据的临床文本特征作为辅助输入，将所述主输入、辅助输入投影到同一个共享向量空间，获取主输入与辅助输入之间的相关性，并通过softmax函数进行量化，获得基于注意力机制的辅助输入；将所述主输入与所述基于注意力机制的辅助输入在全连接层进行拼接，获得融合特征；
基于深度神经网络对所述融合特征进行处理，获得所述眼底彩照的平均模型函数值；根据所述平均模型函数值，获得ROP的二进制分类函数值；基于所述二进制分类函数值以及预设阈值的大小关系，对所述眼底彩照进行分类，获得分类结果；
基于深度神经网络对所述融合特征进行处理，获得所述眼底彩照的平均模型函数值；根据所述平均模型函数值，获得ROP的二进制分类函数值的过程包括，
基于初始深层神经网络构建获得深度神经网络模型，将所述眼底彩照的融合特征映射到ROP的发生和严重程度中，并将最后一层全连接层的输出分别调整为是否发生ROP以及发生的ROP是否需要治疗的二进制分类函数值，获得所述眼底彩照的模型函数值；
通过数据处理模块汇总所述模型函数值并计算眼底彩照模型函数值的平均值，获得ROP的二进制分类函数值。
2.根据权利要求1所述的基于深度学习的ROP图像分类方法，其特征在于，
对所述眼底彩照进行预处理的过程包括，对所述眼底彩照进行饱和像素值移除、去噪、边缘切除后，读取预处理后的眼底彩照，并将读取的眼底彩照的像素调整为统一预设大小。
3.根据权利要求1所述的基于深度学习的ROP图像分类方法，其特征在于，通过深度学习模型对预处理后的眼底彩照进行图像特征提取的过程包括，
基于卷积神经网络构建特征提取模型，采用交叉熵损失函数评估卷积神经网络输出值和真实值之间的差异程度；
采用Dropout层作用在卷积神经网络的全连接层；采用Batchnorm层作用在卷积神经网络中每层卷积层之后，将每层神经网络层的神经元输入值的分布拉回到标准正态分布；
对在ImageNet数据集上进行了预训练的卷积神经网络进行调整，构建图像特征提取模型；基于图像特征提取模型的全局平均池化层从所述眼底彩照中提取图像特征。
4.一种基于深度学习的ROP图像分类系统，其特征在于，包括：
预处理模块，用于获取眼底彩照并对所述眼底彩照进行预处理；
特征提取模块，与所述预处理模块连接，用于通过特征提取模型对预处理后的眼底彩照进行图像特征提取；
特征融合模块，与所述特征提取模块连接，用于将特征提取后的眼底彩照的图像特征与临床变量文本数据进行串联融合，获得所述眼底彩照的融合特征；
获得所述眼底彩照的融合特征的过程包括，
将所述图像特征作为主输入，临床变量文本数据的临床文本特征作为辅助输入，将所述主输入、辅助输入投影到同一个共享向量空间，获取主输入与辅助输入之间的相关性，并通过softmax函数进行量化，获得基于注意力机制的辅助输入；将所述主输入与所述基于注意力机制的辅助输入在全连接层进行拼接，获得融合特征；
网络构建模块，与所述特征融合模块连接，用于基于所述融合特征与深度神经网络生成所述眼底彩照的模型函数值；
数据处理模块，与所述网络构建模块连接，用于根据所述模型函数值计算所述眼底彩照的平均模型函数值，获得ROP的二进制分类函数值；
预测模块，与所述数据处理模块连接，用于根据所述二进制分类函数值以及预设阈值的大小关系，对所述眼底彩照进行分类，获得分类结果；
获得ROP的二进制分类函数值的过程包括，
基于初始深层神经网络构建获得深度神经网络模型，将所述眼底彩照的融合特征映射到ROP的发生和严重程度中，并将最后一层全连接层的输出分别调整为是否发生ROP以及发生的ROP是否需要治疗的二进制分类函数值，获得所述眼底彩照的模型函数值；
通过数据处理模块汇总所述模型函数值并计算眼底彩照模型函数值的平均值，获得ROP的二进制分类函数值。
5.根据权利要求4所述的基于深度学习的ROP图像分类系统，其特征在于，
所述预处理包括对所述眼底彩照的饱和像素值移除、去噪、边缘切除。
CN202210661154.XA 2022-06-13 2022-06-13 一种基于深度学习的rop图像分类系统及方法 Active CN115083005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210661154.XA CN115083005B (zh) 2022-06-13 2022-06-13 一种基于深度学习的rop图像分类系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210661154.XA CN115083005B (zh) 2022-06-13 2022-06-13 一种基于深度学习的rop图像分类系统及方法

Publications (2)

Publication Number Publication Date
CN115083005A CN115083005A (zh) 2022-09-20
CN115083005B true CN115083005B (zh) 2023-07-04

Family

ID=83252263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210661154.XA Active CN115083005B (zh) 2022-06-13 2022-06-13 一种基于深度学习的rop图像分类系统及方法

Country Status (1)

Country Link
CN (1) CN115083005B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376636A (zh) * 2018-10-15 2019-02-22 电子科技大学 基于胶囊网络的眼底视网膜图像分类方法
CN111144296A (zh) * 2019-12-26 2020-05-12 湖南大学 基于改进cnn模型的视网膜眼底图片分类方法
WO2020149518A1 (ko) * 2019-01-14 2020-07-23 주식회사 에이아이인사이트 안저영상 자동판독을 위한 딥러닝 아키텍처 시스템 및 딥러닝 아키텍쳐 시스템을 이용한 안저영상 자동판독 방법
CN111951933A (zh) * 2020-08-07 2020-11-17 平安科技（深圳）有限公司 眼底彩照图像分级方法、装置、计算机设备及存储介质
CN112308830A (zh) * 2020-10-27 2021-02-02 苏州大学 一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法
KR20210138439A (ko) * 2020-05-12 2021-11-19 부산대학교병원 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템
CN114511738A (zh) * 2022-01-25 2022-05-17 阿里巴巴（中国）有限公司 眼底病变识别方法、装置、电子设备和可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945870B (zh) * 2017-12-13 2020-09-01 四川大学 基于深度神经网络的早产儿视网膜病变检测方法及装置
CN110309862A (zh) * 2019-06-11 2019-10-08 广东省人民医院(广东省医学科学院) 基于集成机器学习的dme预后信息预测系统及其应用方法
CN111259982B (zh) * 2020-02-13 2023-05-12 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置
CN111444960A (zh) * 2020-03-26 2020-07-24 上海交通大学 基于多模态数据输入的皮肤病图像分类系统
EP3944185A1 (en) * 2020-07-23 2022-01-26 INESC TEC - Instituto de Engenharia de Sistemas e Computadores, Tecnologia e Ciência Computer-implemented method, system and computer program product for detecting a retinal condition from eye fundus images
CN112132782B (zh) * 2020-08-21 2023-09-05 广东省人民医院 一种基于深度神经网络对dme分型进行处理的方法和终端
CN112133441B (zh) * 2020-08-21 2024-05-03 广东省人民医院 一种mh术后裂孔状态预测模型的建立方法和终端
CN112508077B (zh) * 2020-12-02 2023-01-03 齐鲁工业大学 一种基于多模态特征融合的社交媒体情感分析方法及系统
AU2020103938A4 (en) * 2020-12-07 2021-02-11 Capital Medical University A classification method of diabetic retinopathy grade based on deep learning
CN113435496B (zh) * 2021-06-24 2022-09-02 湖南大学 一种基于注意力机制的自适应融合的多模态情感分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376636A (zh) * 2018-10-15 2019-02-22 电子科技大学 基于胶囊网络的眼底视网膜图像分类方法
WO2020149518A1 (ko) * 2019-01-14 2020-07-23 주식회사 에이아이인사이트 안저영상 자동판독을 위한 딥러닝 아키텍처 시스템 및 딥러닝 아키텍쳐 시스템을 이용한 안저영상 자동판독 방법
CN111144296A (zh) * 2019-12-26 2020-05-12 湖南大学 基于改进cnn模型的视网膜眼底图片分类方法
KR20210138439A (ko) * 2020-05-12 2021-11-19 부산대학교병원 실시간 안저사진 품질 판독을 위한 딥러닝 아키텍처 시스템
CN111951933A (zh) * 2020-08-07 2020-11-17 平安科技（深圳）有限公司 眼底彩照图像分级方法、装置、计算机设备及存储介质
CN112308830A (zh) * 2020-10-27 2021-02-02 苏州大学 一种基于注意力机制和深监督策略的早产儿视网膜病变自动分区识别方法
CN114511738A (zh) * 2022-01-25 2022-05-17 阿里巴巴（中国）有限公司 眼底病变识别方法、装置、电子设备和可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Automated Stage Analysis of Retinopathy of Prematurity Using Joint Segmentation and Multi-instance Learning;Guozhen Chen et al.;《Ophthalmic Medical Image Analysis》;173-181 *
卷积神经网络和注意力机制在医学图像分割与识别中的应用研究;黄珊;《中国优秀硕士学位论文全文数据库医药卫生科技辑》;E060-4 *
新生儿眼底疾病筛查结果及早产儿视网膜病变高危因素分析;童林利;熊永强;林春堤;林琳;吕月娥;;中国妇幼保健(18);187-190 *

Also Published As

Publication number Publication date
CN115083005A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN111598867B (zh) 用于检测特定面部综合征的方法、装置及计算机可读存储介质
CN113768461B (zh) 一种眼底图像分析方法、系统和电子设备
Boral et al. Classification of diabetic retinopathy based on hybrid neural network
WO2021184802A1 (zh) 一种血压分类预测方法和装置
CN115024725A (zh) 融合心理状态多参数检测的肿瘤治疗辅助决策系统
Bao et al. Current application of digital diagnosing systems for retinopathy of prematurity
Reddy et al. Discovering optimal algorithm to predict diabetic retinopathy using novel assessment methods
Li et al. EVALUATION OF ARTIFICIAL INTELLIGENCE–BASED QUANTITATIVE ANALYSIS TO IDENTIFY CLINICALLY SIGNIFICANT SEVERE RETINOPATHY OF PREMATURITY
CN114974585A (zh) 一种妊娠期代谢综合征早期风险预测评估模型构建方法
CN114023440A (zh) 可解释分层老年mods早期死亡风险评估模型、装置及其建立方法
Phridviraj et al. A bi-directional Long Short-Term Memory-based Diabetic Retinopathy detection model using retinal fundus images
CN115083005B (zh) 一种基于深度学习的rop图像分类系统及方法
CN113273959B (zh) 一种便携式糖尿病视网膜病变诊疗仪
CN115661101A (zh) 基于随机采样和深度学习的早产儿视网膜病变检测系统
CN112132782B (zh) 一种基于深度神经网络对dme分型进行处理的方法和终端
CN114512240A (zh) 一种痛风预测模型系统、设备及存储介质
CN116635889A (zh) 从外部眼睛前部图像检测疾病的机器学习
Kavya et al. Heart Disease Prediction Using Logistic Regression
US20220262516A1 (en) Atrial Fibrillation Prediction Model And Prediction System Thereof
Yeh et al. Deep-learning based automated segmentation of Diabetic Retinopathy symptoms
Akter et al. CKD. Net: A novel deep learning hybrid model for effective, real-time, automated screening tool towards prediction of multi stages of CKD along with eGFR and creatinine
US20220207732A1 (en) Systems and methods for processing of fundus images
US20230281816A1 (en) Method and System for Predicting Manifestation or Progression of a Retinal Malady and Method for Training Machine Learning (ML) Models for the Same
Cordero-Mendieta et al. Support tool for presumptive diagnosis of Glaucoma using fundus image processing and artificial intelligence implementation
US11766223B1 (en) Systems and methods for processing of fundus images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant