CN117038088B - 糖尿病视网膜病变的发病确定方法、装置、设备及介质 - Google Patents

糖尿病视网膜病变的发病确定方法、装置、设备及介质 Download PDF

Info

Publication number
CN117038088B
CN117038088B CN202311293821.4A CN202311293821A CN117038088B CN 117038088 B CN117038088 B CN 117038088B CN 202311293821 A CN202311293821 A CN 202311293821A CN 117038088 B CN117038088 B CN 117038088B
Authority
CN
China
Prior art keywords
diabetic retinopathy
fundus image
blood vessel
feature map
onset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311293821.4A
Other languages
English (en)
Other versions
CN117038088A (zh
Inventor
李文雪
马彤
琚烈
王斌
戈宗元
张大磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eaglevision Medical Technology Co Ltd
Beijing Airdoc Technology Co Ltd
Original Assignee
Shanghai Eaglevision Medical Technology Co Ltd
Beijing Airdoc Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eaglevision Medical Technology Co Ltd, Beijing Airdoc Technology Co Ltd filed Critical Shanghai Eaglevision Medical Technology Co Ltd
Priority to CN202311293821.4A priority Critical patent/CN117038088B/zh
Publication of CN117038088A publication Critical patent/CN117038088A/zh
Application granted granted Critical
Publication of CN117038088B publication Critical patent/CN117038088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明提供一种糖尿病视网膜病变的发病确定方法、装置、电子设备及存储介质，所述方法包括：获取糖尿病用户的眼底图像；基于糖尿病性视网膜病变发病预测模型，对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果，其中，所述糖尿病性视网膜病变发病预测模型是基于深度神经网络对眼底图像样本中的视觉特征进行训练得到的模型。本发明中，利用糖尿病性视网膜病变发病预测模型，可以快速、准确的为糖尿病患者提供未来糖尿病性视网膜病变发病的风险预测，使糖尿病患者实现提前干预和治疗。

Description

糖尿病视网膜病变的发病确定方法、装置、设备及介质
技术领域
本发明涉及医疗图像处理技术，尤其涉及一种糖尿病视网膜病变的发病确定方法、装置、电子设备及计算机可读存储介质。
背景技术
糖尿病性视网膜病变可以分为非增生性糖尿病性视网膜病变（Nonproliferativediabetic retinopathy, NPDR）和增生性糖尿病性视网膜病变（Proliferative diabeticretinopathy, PDR）两种类型，其中PDR是最为严重的一种类型，容易患者视力丧失。DR最初表现为视网膜出现微动脉瘤，即轻度NPDR。进一步发展可能会出现棉绒斑、出血斑和静脉串珠，即中度NPDR。持续发展可能会导致重度NPDR或PDR。
基于眼底图像的糖尿病性视网膜病变的诊断和治疗，具有重要的临床意义，但是，相关技术中，基于眼底图像只能进行糖尿病视网膜病变的筛查和诊断，并不能预测出糖尿病视网膜病变的发病风险。
因此，基于眼底图像如何准确的预测出糖尿病性视网膜病变的发病风险，是目前有待解决的技术问题。
发明内容
本发明提供一种糖尿病视网膜病变的发病确定方法、装置、电子设备及计算可读存储介质，以至少解决相关技术中基于眼底图像只能进行糖尿病视网膜病变的筛查和诊断，并不能准确的预测出糖尿病视网膜病变的发病风险，导致糖尿病视网膜病变的发病风险增加的技术问题。本发明的技术方案如下：
根据本发明实施例的第一方面，提供一种糖尿病视网膜病变的发病确定方法，包括：
获取糖尿病用户的眼底图像；
基于糖尿病性视网膜病变发病预测模型，对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果，其中，所述糖尿病性视网膜病变发病预测模型是基于深度神经网络对眼底图像样本中的视觉特征进行训练得到的模型。
可选的，所述基于糖尿病性视网膜病变发病预测模型，对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果，包括：
基于糖尿病性视网膜病变发病预测模型，对所述眼底图像的特征分别进行分类流提取和分割流提取；
对分类流提取的特征图和分割流提取的特征图进行融合；
基于融合结果对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果。
可选的，所述基于糖尿病性视网膜病变发病预测模型，对所述眼底图像的特征分别进行分类流提取和分割流提取，包括：
基于所述糖尿病性视网膜病变发病预测模型中的发病预测分类模型，对所述眼底图像进行分类流提取，得到所述眼底图像的多尺度特征图；以及
基于所述糖尿病性视网膜病变发病预测模型中的血管分割网络模型，对所述眼底图像视网膜血管进行分割流提取，得到所述眼底图像的血管特征图。
可选的，所述发病预测分类模型是基于PVT网络的发病预测分类模型，所述PVT网络包括金字塔结构和神经网络；其中，
所述基于糖尿病性视网膜病变发病预测模型中的发病预测分类模型，对所述眼底图像进行分类流提取，得到所述眼底图像的多尺度特征图，包括：
利用所述金字塔结构对所述眼底图像进行像素级分类，得到不同层次的特征图；
在所述不同层次的特征图上与不同大小的卷积核进行卷积，获取不同尺度的特征图；
对所述不同尺度的特征图逐步下采样和上采样来构建不同尺度信息的特征金字塔；
基于所述特征金字塔，利用所述神经网络对所述眼底图像中的细节和全局上下文进行处理，得到所述眼底图像的多尺度特征图。
可选的，所述血管分割网络模型包括：对称的编码器-解码器结构，用来对所述眼底图像的视网膜血管进行提取并分割，其中，
所述基于所述糖尿病性视网膜病变发病预测模型中的血管分割网络模型，对所述眼底图像视网膜血管进行分割流提取，得到所述眼底图像的血管特征图，包括：
利用所述编码器采用收缩通路对输入所述眼底图像的血管特征图进行下采样，以提取输入在不同分辨率下的语义信息；以及利用所述解码器采用扩张通路对所述眼底图像进行上采样，以恢复所述眼底图像的尺寸和纹理细节；以及
将所述收缩通路的路径上的血管特征图和所述扩张通路的路径上的眼底图像跳跃连接并拼接；
将拼接后的特征图不断上采样到原始输入所述眼底图像的尺寸，得到拼接后所述眼底图像的血管特征图。
可选的，所述方法还包括：在所述收缩通路的路径最后，增加一个金字塔池化模块来学习不同尺度的上下文信息，其中，
利用所述金字塔池化模块对所述收缩通路的路径上每个分支的血管特征图采用最大池化下采样方式，每个分支并行计算在其步长下的血管特征图；
利用设定卷积核对每个分支的所述血管特征图进行卷积计算；
对于经过卷积计算后的血管特征图，利用插值的上采样方式对低维度特征图的尺寸进行恢复，得到与原始血管特征图分辨率相同的血管特征图；
将所述与原始血管特征图分辨率相同的血管特征图与输入的所述眼底图像的特征图进行拼接，并将得到的拼接结果作为所述金字塔池化模块最终输出的血管特征图。
可选的，所述基于分类流提取的特征和分割流提取的特征，对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果，包括：
将所述血管特征图分别与所述多尺度特征进行融合，得到血管特征加强后的图像特征图；
对所述血管特征加强后的眼底特征图进行糖尿病视网膜病变的发病风险预测，得到所述糖尿病视网膜病变的发病风险评估结果。
可选的，所述将所述血管特征图分别与所述多尺度特征图进行融合，得到血管特征加强后的图像特征图，包括：
将所述血管特征图与所述多尺度特征图在通道维度上依次进行拼接；
对拼接后的特征依次进行卷积处理，得到血管特征加强后的图像特征图。
可选的，在所述获取糖尿病用户的眼底图像之后，所述方法还包括：
对获取的所述眼底图像通过眼底图像质量控制模型进行图像质量控制，得到质量控制后的眼底图像，其中，所述眼底图像质量控制模型利用生成对抗网络判断所述眼底图像的清晰度，以及判断所述眼底图像的质量是否达标的眼底图像。
根据本发明实施例的第二方面，提供一种糖尿病视网膜病变的发病确定装置，所述装置包括：
获取模块，用于获取糖尿病用户的眼底图像；
预测模块，用于基于糖尿病性视网膜病变发病预测模型，对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果，其中，所述糖尿病性视网膜病变发病预测模型是基于深度神经网络对眼底图像样本中的视觉特征进行训练得到的模型。
可选的，所述预测模块包括：
提取模块，用于基于糖尿病性视网膜病变发病预测模型，对所述眼底图像的特征分别进行分类流提取和分割流提取；
融合模块，用于对分类流提取的特征图和分割流提取的特征图进行融合；
发病风险预测模块，用于基于所述融合结果对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果。
可选的，所述提取模块包括：
分类流提取模块，用于基于所述糖尿病性视网膜病变发病预测模型中的发病预测分类模型，对所述眼底图像进行分类流提取，得到所述眼底图像的多尺度特征图；以及
分割流提取模块，用于基于所述糖尿病性视网膜病变发病预测模型中的血管分割网络模型，对所述眼底图像视网膜血管进行分割流提取，得到所述眼底图像的血管特征图。
可选的，所述发病预测分类模型是基于PVT网络的发病预测分类模型，所述PVT网络包括金字塔结构和神经网络；其中，
所述分类流提取模块包括：
像素分类模块，用于利用所述金字塔结构对所述眼底图像进行像素级分类，得到不同层次的特征图；
卷积模块，用于在所述不同层次的特征图上与不同大小的卷积核进行卷积，获取不同尺度的特征图；
采样模块，用于对所述不同尺度的特征图逐步下采样和上采样来构建不同尺度信息的特征金字塔；
处理模块，用于基于所述特征金字塔，利用所述神经网络对所述眼底图像中的细节和全局上下文进行处理，得到所述眼底图像的多尺度特征图。
可选的，所述血管分割网络模型包括：对称的编码器-解码器结构，用来对所述眼底图像的视网膜血管进行提取并分割，其中，
所述分割流提取模块还包括：
编解码模块，用于利用所述编码器采用收缩通路对输入所述眼底图像的血管特征图进行下采样，以提取输入在不同分辨率下的语义信息；以及利用所述解码器采用扩张通路对所述眼底图像进行上采样，以恢复所述眼底图像的尺寸和纹理细节；以及
第一拼接模块，用于将所述收缩通路的路径上的血管特征图和所述扩张通路的路径上的眼底图像跳跃连接并拼接；
采样模块，用于将拼接后的特征图不断上采样到原始输入所述眼底图像的尺寸，得到拼接后所述眼底图像的血管特征图。
可选的，所述装置还包括：
增加模块，用于在所述收缩通路的路径最后，增加一个金字塔池化模块来学习不同尺度的上下文信息，其中，
池化模块，用于利用所述金字塔池化模块对所述收缩通路的路径上每个分支的血管特征图采用最大池化下采样方式，每个分支并行计算在其步长下的血管特征图；
卷积计算模块，用于利用设定卷积核对每个分支的所述血管特征图进行卷积计算；
尺寸恢复模块，用于对于经过卷积计算后的血管特征图，利用插值的上采样方式对低维度特征图的尺寸进行恢复，得到与原始特血管征图分辨率相同的血管特征图；
第二拼接模块，用于将所述与原始血管特征图分辨率相同的血管特征图与输入的所述眼底图像的特征图进行拼接，并将得到的拼接结果作为所述金字塔池化模块最终输出的血管特征图。
可选的，
所述融合模块,，具体用于将所述血管特征图分别与所述多尺度特征进行融合，得到血管特征加强后的图像特征图；
所述发病风险预测模块，具体用于对所述血管特征加强后的眼底特征图进行糖尿病视网膜病变的发病风险预测，得到所述糖尿病视网膜病变的发病风险评估结果。
可选的，所述融合模块包括：
第三拼接模块，用于将所述血管特征图与所述多尺度特征图在通道维度上依次进行拼接；
卷积处理模块，用于对拼接后的特征依次进行卷积处理，得到血管特征加强后的图像特征图。
可选的，所述装置还包括：
质量控制模块，用于在所述获取模块获取糖尿病用户的眼底图像之后，对获取的所述眼底图像通过眼底图像质量控制模型进行图像质量控制，得到质量控制后的眼底图像，其中，所述眼底图像质量控制模型利用生成对抗网络判断所述眼底图像的清晰度，以及判断所述眼底图像的质量是否达标的眼底图像。
根据本发明实施例的第三方面，本发明实施例还提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器;
其中，所述处理器被配置为执行所述指令，以实现如上所述的糖尿病视网膜病变的发病确定方法。
根据本发明实施例的第四方面，本发明实施例还提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上所述的糖尿病视网膜病变的发病确定方法。
根据本发明实施例的第五方面，本发明实施例还提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被电子设备的处理器执行时实现如上所述的糖尿病视网膜病变的发病确定方法。
本发明的实施例提供的技术方案至少带来以下有益效果：
本发明实施例中，获取糖尿病用户的眼底图像；基于糖尿病性视网膜病变发病预测模型，对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果，其中，所述糖尿病性视网膜病变发病预测模型是基于深度神经网络对眼底图像样本中的视觉特征进行训练得到的模型。也就是说，本发明实施例中，基于糖尿病用户的眼底图像，利用糖尿病性视网膜病变发病预测模型，可以快速、准确的为糖尿病患者提供未来糖尿病性视网膜病变发病的风险预测。
进一步，基于糖尿病视网膜病变发病的风险预测，可以让患者实现提前干预和治疗，避免视网膜病变疾病导致严重的视力低下和失明，有效提高了糖尿病视网膜病变的诊断和治疗效率，减轻医疗资源压力和医疗成本。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理，并不构成对本发明的不当限定。为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种糖尿病视网膜病变的发病确定方法的流程图。
图2是本发明实施例提供的一种血管分割网络模型的示意图。
图3是本发明实施例提供的一种金字塔池化模块处理的示意图。
图4是本发明实施例提供的一种血管特征和眼底特征融合的示意图。
图5是本发明实施例提供的一种糖尿病性视网膜病变发病风险预测模型预测过程的示意图。
图6是本发明实施例提供的一种糖尿病视网膜病变的发病确定装置的框图。
图7是本发明实施例提供的一种预测模块的框图。
图8是本发明实施例提供的一种电子设备的框图。
图9是本发明实施例提供的一种用于糖尿病视网膜病变的发病确定的装置的框图。
具体实施方式
为了使本领域普通人员更好地理解本发明的技术方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能（ArtificialIntelligence，AI）是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索等技术。
图1是本发明实施例提供的一种糖尿病视网膜病变的发病确定方法的流程图，如图1所示，该糖尿病视网膜病变的发病确定方法包括以下步骤：
步骤101：获取糖尿病用户的眼底图像；
步骤102：基于糖尿病性视网膜病变发病预测模型，对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果，其中，所述糖尿病性视网膜病变发病预测模型是基于深度神经网络对眼底图像样本中的视觉特征进行训练得到的模型。
本发明所述的糖尿病视网膜病变的发病确定方法可以应用于终端、服务器等，在此不作限制，其终端实施设备可以是智能手机，笔记本电脑、平板电脑、台式电脑、个人数字助理(PDA，Personal Digital Assistant)和穿戴式设备等电子设备，服务器可以为独立的服务器，也可以是服务器集群，或者是提供云服务、云数据库、云计算、云函数，云存储，网络服务、云通信、中间服务，域名服务、安全服务、内容分发网络的服务器，或者是大数据和人工智能平台等，在此不作限制。
下面结合图1，对本发明实施例提供的一种糖尿病视网膜病变的发病确定方法的具体实施步骤进行详细说明。
在步骤101中，获取糖尿病用户的眼底图像；
该步骤中，获取的眼底图像为高清彩色的眼底图像，其获取的方式有多种，可以从临床医疗数据库中获取糖尿病用户的眼底图像，也可以从云端获取糖尿病用户的眼底图像。其中，该眼底图像，也可以通过专业的眼底拍照设备来获取，比如通过医院的眼底拍照设备，或者通过人工智能（AI，Artificial Intelligence）眼底影像识别技术或人工眼底筛查平台对糖尿病用户的眼底进行拍照，从而获得该糖尿病用户的眼底图像。
可选的，本实施例中，可以利用单目相机对糖尿病用户（患者）拍摄彩色的眼底图像等，在实际应用中，并不限于此。
其中，彩色的眼底图像是目前临床上最常用的眼底成像方法之一，它具有以下几方面的优势：（1）非侵入性：彩色眼底图像不需要接触眼球，不会给患者带来任何不适和风险，是一种非常安全的眼部检查方法；（2）高分辨率：彩色眼底图像的分辨率非常高，可以显示眼底各个细节，包括血管、视网膜、视神经等，有助于更加准确地诊断眼部疾病；（3）快速：彩色眼底图像可以在很短的时间内完成拍摄和分析，不需要患者进行任何准备工作，非常适合作为日常眼部检查的一部分；（4）易于保存和分享：彩色眼底图像是一种数字化的图像，可以很方便地保存和分享，有助于医生进行远程会诊和病例管理。通过对眼底图像进行分析和诊断，可以发现和诊断多种眼部疾病，如糖尿病视网膜病变、青光眼、白内障等。
在步骤102中，基于糖尿病性视网膜病变发病预测模型，对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果，其中，所述糖尿病性视网膜病变发病预测模型是基于深度神经网络对眼底图像样本中的视觉特征进行训练得到的模型。
该实施例中，糖尿病性视网膜病变预测模型是基于分类和分割双流结构，由两个主要部分组成：分类流和分割流。糖尿病性视网膜病变预测模型通过将分类流的全局眼底特征和分割流的血管特征进行融合，形成分类和分割双流结构，以提高模型的预测性能。
也就是说，本实施例中，可以基于糖尿病性视网膜病变发病预测模型，对所述眼底图像的特征分别进行分类流提取和分割流提取；以及基于分类流提取的特征图和分割流提取的特征图，对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果，该发病风险评估结果用0或1表示，其中，0为未来没有糖尿病性视网膜病变（DR，Diabetic retinopathy）发病的风险，1为未来有DR发病的风险。
其中，DR是指糖尿病患者由于高血糖等因素引起的视网膜病变，是糖尿病最常见的并发症之一。DR是不可逆的致盲性眼部疾病。所以，糖尿病病人需要通过定期检查眼部，及时发现糖尿病视网膜病变的早期症状。尽管定期眼部检查对预防糖尿病病人眼部病发症发病至关重要，因此，基于计算机辅助的DR发病风险预测具有重要的临床应用价值。
糖尿病性视网膜病变可以分为非增生性糖尿病性视网膜病变（NPDR,Nonproliferative diabetic retinopathy）和增生性糖尿病性视网膜病变（PDR,Proliferative diabetic retinopathy）两种类型，其中PDR是最为严重的一种类型，容易患者视力丧失。DR最初表现为视网膜出现微动脉瘤，即轻度NPDR。进一步发展可能会出现棉绒斑、出血斑和静脉串珠，即中度NPDR。持续发展可能会导致重度NPDR或PDR。
本发明实施例中，获取糖尿病用户的眼底图像；基于糖尿病性视网膜病变发病预测模型，对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果，其中，所述糖尿病性视网膜病变发病预测模型是基于深度神经网络对眼底图像样本中的视觉特征进行训练得到的模型。也就是说，本发明实施例中，基于糖尿病用户的眼底图像，利用糖尿病性视网膜病变发病预测模型，可以快速、准确的为糖尿病患者提供未来糖尿病性视网膜病变发病的风险预测。
进一步，糖尿病性视网膜病变发病的风险预测，让患者实现提前干预和治疗，避免视网膜病变疾病导致严重的视力低下和失明，有效提高了糖尿病视网膜病变的诊断和治疗效率，减轻医疗资源压力和医疗成本。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述基于糖尿病性视网膜病变发病预测模型，对所述眼底图像的特征分别进行分类流提取和分割流提取，包括：
1）基于所述糖尿病性视网膜病变发病预测模型中的发病预测分类模型，对所述眼底图像进行分类流提取，得到所述眼底图像的多尺度特征图；
该实施例中，所述发病预测分类模型是基于PVT（Pyramid Vision Transformer）网络的发病预测分类模型，所述PVT网络包括金字塔结构和神经网络的图像分类模型；该步骤1）具体包括：
首先，利用所述金字塔结构对所述眼底图像进行像素级分类，得到不同层次的特征图；其次，在所述不同层次的特征图上与不同大小的卷积核进行卷积，获取不同尺度的特征图；最后，对所述不同尺度的特征图逐步下采样和上采样，得到所述眼底图像的多尺度特征图。
也就是说，采用了PVT 网络作为发病预测分类模型的骨干网络。PVT网络是一种结合了金字塔结构（Pyramid Vision）和神经网络（Transformer）的图像分类模型，对特征图进行像素级分类。PVT网络的设计目标是在处理不同尺度特征的同时保持全局上下文的建模能力。
PVT网络首先利用金字塔结构来处理多尺度特征。它通过在不同层次的特征图上应用不同大小的卷积核来捕捉不同尺度的信息，并通过逐步下采样和上采样操作来构建具有丰富尺度信息的特征金字塔。基于所述特征金字塔，利用神经网络能够对该眼底图像中的细节和全局上下文进行有效的处理，从而得到所述眼底图像的多尺度特征图。其中，该多尺度特征图中，包括低尺度特征和高尺度特征，其中，低尺度特征往往包含了更多纹理细节信息（如血管等），高尺度特征包含了更多的语义信息（如视杯视盘等部位）。这种融合了金字塔结构和Transformer的设计使得PVT网络能够同时处理多尺度的特征，并具有较强的建模能力和表达能力。
2）基于所述糖尿病性视网膜病变发病预测模型中的血管分割网络模型，对所述眼底图像视网膜血管进行分割流提取，得到所述眼底图像的血管特征图。
其中，所述血管分割网络模型包括：对称的编码器-解码器结构，所述步骤2）具体包括：采用所述对称的编码器-解码器结构对所述眼底图像的视网膜血管进行提取并分割，其中，所述编码器采用收缩通路对输入所述眼底图像的血管特征图进行下采样，以提取输入在不同分辨率下的语义信息；所述解码器采用扩张通路对所述眼底图像进行上采样，以恢复所述眼底图像的尺寸和纹理细节；以及将所述收缩通路的路径上的血管特征图和所述扩张通路的路径上的眼底图像跳跃连接并拼接；将拼接后的特征图不断上采样到原始输入所述眼底图像的尺寸，得到拼接后所述眼底图像的血管特征图。
也就是说，该实施例中的血管分割网络模型是基于深度学习预先训练的，用来对眼底图像中的血管进行自动分割。即通过血管分割网络模型，对眼底图像中对血管特征进行提取并分割。其血管分割网络模型的一种示意图如图2所示。如图2所示，该实施例中的血管分割网络模型采用对称的编码器-解码器结构。其中，H，W，Ｃ分别表示特征向量的长度，宽度和特征通道数；标号1表示Conv3×3，ReLU；标号2表示Copy and Concat；标号3表示MaxPooling；标号4表示Up-Sample,Conv3×3；标号5表示Conv1×1，ReLU。编码器（即图中左边部分）采用收缩通路对输入眼底图像的特征图进行下采样，以提取输入在不同分辨率下的语义信息；解码器（即图中的右边部分）采用扩张通路对眼底图像进行上采样，以恢复该眼底图像的尺寸和纹理细节。
该实施例中，编码器的编码阶段由一系列卷积核大小为3x3的卷积层和最大池化层组成，可以将该网络根据特征图大小分为四层，每层利用两个卷积操作提取特征，在相邻层之间通过最大池化操作降低图像尺寸，扩大感受野。
进一步地，在编码器和解码器连接中间，应用金字塔池化模块进行处理，通过将输入特征图分别经过多个不同大小的池化操作，从而获取多个不同尺度的特征表示。该操作可以获取更加丰富的语义信息，使得分割网络能够更好地理解图像中的目标并准确地进行像素级别的分割。
解码器的解码阶段分为四层，除第一层外，每层的输入为解码器前一层的特征和相同尺度的编码器特征。解码器的第一层，通过卷积操作进一步处理编码器最后一层的特征。在解码器的后三层，通过将相同尺度的编码器特征和前一层解码器特征拼接，并利用卷积操作融合并降维，实现了不同尺度的特征交互，以进一步提升特征提取质量。经过卷积操作后，将特征进行上采样，以便于后一层对此特征进行操作。解码器的最后一层不进行上采样，直接利用特征图输出分割结果，实现了像素级别的密集预测，从而得到所述眼底图像的血管特征图。
可选的，该实施例中，在所述收缩通路的路径最后，增加了金字塔池化模块，用来融合不同尺度血管特征图的下采样核和对应的池化核，具体包括：
在所述收缩通路的最后，利用所述金字塔池化模块对所述眼底图像的血管特征图采用最大池化下采样方式，每个分支并行计算在其步长下的血管特征图；并利用设定卷积核（比如1×1卷积核）对每个分支的所述血管特征图进行卷积计算；以及对于经过卷积计算后的血管特征图，利用插值的上采样方式对低维度特征图的尺寸进行恢复，得到与原始血管特征图分辨率相同的血管特征图；最后，将所述与原始血管特征图分辨率相同的血管特征图与输入的所述眼底图像的特征图拼接在一起，作为所述金字塔池化模块最终输出的血管特征图。
也就是说，在收缩通路的路径最后，本实施例引入了金字塔池化模块，来自适应学习多尺度的特征表示增强模型的分割性能。其金字塔池化模块处理的示意图如图3所示，该金字塔池化模块以融合了四个不同尺度的下采样核和四个池化核为例，四个池化核分别为：2×2MaxPooling、3×3MaxPooling、5×5MaxPooling和6×6MaxPooling。但在实际应用中，并不限于此。其中，金字塔池化模块的计算过程如图3所示，包括：
首先，四个分支（即2×2MaxPooling、3×3MaxPooling、5×5MaxPooling和6×6MaxPooling）都采用最大池化下采样方法，每个分支并行计算在其步长下的血管特征图；其次，为了降低权重的维度和计算成本，本实施例以采用1×1Conv的卷积核为例进行卷积计算，在卷积计算后还会有一个 pooling的操作；再次，针对经过卷积层的血管特征图，利用插值的上采样方式（Upsample）对低维度特征图尺寸进行恢复，得到与原始血管特征图分辨率相同的特征；最后，将输入的原始血管特征图与经过金字塔池化模块计算的血管特征图拼接（Concat)在一起，作为金字塔池化模块最终的输出的血管特征图。
该实施例中，Max Pooling的定义是对某个Filter抽取到若干特征值，只取得其中最大的那个Pooling层作为保留值，其他特征值全部抛弃。.
max pooling的操作：就是整个眼底图像被不重叠的分割成若干个同样大小的小块（pooling size）。每个小块内只取最大的数字，再舍弃其他节点后，保持原有的平面结构得出输出output。
Max pooling 的功能是 downsampling，却不会损坏识别结果。 这意味着卷积后的 Feature Map 中有对于识别物体不必要的冗余信息。
本实施例提供的这种金字塔结构和金字塔池化模块，使得血管分割网络模型能够对血管的不同尺度和形态进行更全面的分析和建模，提高了血管分割网络模型分割的准确性和鲁棒性。
其中，血管分割网络模型的预训练过程，可以采用下述公式Dice Loss来训练，它度量了预测分割结果和真实分割掩码之间的相似度。如：
在每个训练批次中，将血管分割网络模型的输出分割结果与真实的分割掩码进行比较，并计算Dice Loss。根据计算出的loss，进行反向传播计算梯度，并使用梯度下降更新血管分割网络模型的参数。重复这一步骤，直到达到预定义的训练迭代次数或停止条件。
该公式中，类像素点，/>为预测的像素点分布，/>为标签数据的真实像素点分布。/>为平滑系数，取值可以为0.0001，当然，也可以根据实际需要，调整为其他值，本实施例不作限制。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述基于分类流提取的特征和分割流提取的特征，对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果，包括：
1）将所述血管特征图分别与所述多尺度特征进行融合，得到血管特征加强后的图像特征图；如图4所示，为本发明实施例提供的一种血管特征和眼底特征融合的示意图，具体包括：
先将所述血管特征图与所述多尺度特征图在通道维度上依次进行拼接©；之后，对拼接后的特征依次进行卷积（convenience）处理，得到血管特征加强后的图像特征图。
比如，将血管特征和图像特征/>在通道维度进行拼接（concatenation）操作，得到/>，然后，用3*3卷积操作对拼接后的特征进行进一步特征提取，得到融合后的特征表示/>。
2）对所述血管特征加强后的眼底特征图进行糖尿病视网膜病变的发病风险预测，得到所述糖尿病视网膜病变的发病风险评估结果。
该步骤中，通过分析血管特征加强后的眼底特征图中血管的形态和特征，可以更准确的预测和诊断糖尿病性视网膜病变的发病风险。
本发明实施例中，通过将所述血管特征图分别与所述多尺度特征进行融合，增强图像中的血管特征，糖尿病性视网膜病变发病预测模型可以更准确地识别和分割出血管区域，并分析血管的形态和特征，从而更好地预测和诊断糖尿病性视网膜病变的发病风险。
进一步，基于糖尿病视网膜病变发病的风险预测，可以让患者实现提前干预和治疗，避免视网膜病变疾病导致严重的视力低下和失明，有效提高了糖尿病视网膜病变的诊断和治疗效率，减轻医疗资源压力和医疗成本。
可选的，在另一个实施例中，该实施例在上述实施例的基础上，在所述获取糖尿病用户的眼底图像之后，所述方法还可以包括：对获取的所述眼底图像通过眼底图像质量控制模型进行图像质量控制，得到质量控制后的眼底图像，其中，所述眼底图像质量控制模型利用生成对抗网络判断所述眼底图像的清晰度，以及判断所述眼底图像的质量是否达标的眼底图像。
该实施例中，可以通过质量控制模型来判断输入的眼底图像的质量是否符合能够输入网络的标准，如果输出结果合格，则用数字1表示，如果不合格，则用数字0表示，当然，在实际应用中，也可以用其他数字表示，本实施例不作限制。
质量控制模型就是对输入的眼底图像进行图像质量的控制，以确保眼底图像的清晰度和准确性。
本实施例中，经过质控模型质控输出后的眼底图像，具有较高的质量和可用性，可以更好地揭示眼底图像中的信息和特征。通过对这些图像进行特征提取，以便于糖尿病性视网膜病变发病预测模型模型可以更好地了解眼底图像中的结构和特性，并进一步运用这些特征进行疾病诊断和预测。
本发明利用深度学习方法对原始眼底图像中与糖尿病性视网膜病变相关的特征进行相对精确的预测，能够较大提高对糖尿病性视网膜病变的早期筛查和诊断准确率。
本发明实施例采用了基于深度学习的糖尿病性视网膜病变发病预测模型，能够自动地从大量的眼底图像中学习和提取与糖尿病性视网膜病变相关的复杂特征和模式，避免了传统方法中需要手动提取特征的繁琐过程和主观性。
本发明实施例提供一种基于预训练分割网络的特征融合方法，将眼底特征和血管特征进行融合，进一步加强血管相关特征，能够提升对糖尿病性视网膜病变的早期病变特征的学习。
还请参阅图5，为本发明实施例提供的一种糖尿病性视网膜病变发病风险预测模型预测过程的示意图，其中，糖尿病性视网膜病变预测模型是基于分类和分割双流结构，由两个主要部分组成：分类流和分割流。糖尿病性视网膜病变预测模型通过将分类流的全局眼底特征和分割流的血管特征进行融合，形成分类和分割双流结构，以提高模型的预测性能。
该实施例中，基于所述糖尿病性视网膜病变发病预测模型中的发病预测分类模型，对所述眼底图像进行分类流提取，得到所述眼底图像的多尺度特征图；以及基于所述糖尿病性视网膜病变发病预测模型中的血管分割网络模型，对所述眼底图像视网膜血管进行分割流提取，得到所述眼底图像的血管特征图；将所述血管特征图分别与所述多尺度特征进行融合，得到血管特征加强后的图像特征图；对所述血管特征加强后的眼底特征图进行糖尿病视网膜病变的发病风险预测，得到所述糖尿病视网膜病变的发病风险评估结果。
该实施例中，各个步骤的具体实现过程，详见上述方法中对应步骤的实现过程，在此不在赘述。
也就是说，本实施例，将输入的眼底图像首先经过训练好的眼底血管分割网络模型对视网膜血管进行分割，生成血管相关特征。糖尿病性视网膜病变的症状通常与眼部血管紧密相关。因此，本实施例在研究和开发预测和诊断糖尿病性视网膜病变的深度学习模型时，融合并增强血管特征。通过融合和增强血管特征，糖尿病性视网膜病变发病预测模型可以更准确地识别和分割出血管区域，并进一步分析血管的形态和特征，从而更好地预测和诊断糖尿病性视网膜病变。因此，在深度学习模型中融合并增强血管特征可以提高模型的准确性和鲁棒性，为预防和治疗糖尿病性视网膜病变提供更好的支持。血管特征用于和上述四个不同尺度的特征进行融合（其融合过程详见上述），进一步提高糖尿病性视网膜病变发病预测模型模型的准确率。但在实际应用中，并不限于此如图所示不同尺度的特征。
本发明实施例提供了一种端到端的预测方法，使得从原始眼底图像到糖尿病性视网膜病变的预测结果的整个流程可以高效地完成，方便临床医生进行病情诊断和治疗决策。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本实施公开并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的。
还请参阅图6，是本发明实施例提供的一种糖尿病视网膜病变的发病确定装置框图。参照图6，该装置包括：获取模块601和预测模块602，其中，
获取模块601，用于获取糖尿病用户的眼底图像；
预测模块602，用于基于糖尿病性视网膜病变发病预测模型，对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果，其中，所述糖尿病性视网膜病变发病预测模型是基于深度神经网络对眼底图像样本中的视觉特征进行训练得到的模型。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述预测模块602包括：提取模块701，融合模块702和发病风险预测模块703，其结构框图如图7所示，其中，
提取模块701，用于基于糖尿病性视网膜病变发病预测模型，对所述眼底图像的特征分别进行分类流提取和分割流提取；
融合模块702，用于对分类流提取的特征图和分割流提取的特征图进行融合；
发病风险预测模块703，用于基于所述融合结果对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述提取模块包括：
分类流提取模块，用于基于所述糖尿病性视网膜病变发病预测模型中的发病预测分类模型，对所述眼底图像进行分类流提取，得到所述眼底图像的多尺度特征图；以及
分割流提取模块，用于基于所述糖尿病性视网膜病变发病预测模型中的血管分割网络模型，对所述眼底图像视网膜血管进行分割流提取，得到所述眼底图像的血管特征图。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述发病预测分类模型是基于PVT网络的发病预测分类模型，所述PVT网络包括金字塔结构和神经网络；其中，
所述分类流提取模块包括：
像素分类模块，用于利用所述金字塔结构对所述眼底图像进行像素级分类，得到不同层次的特征图；
卷积模块，用于在所述不同层次的特征图上与不同大小的卷积核进行卷积，获取不同尺度的特征图；
采样模块，用于对所述不同尺度的特征图逐步下采样和上采样来构建不同尺度信息的特征金字塔；
处理模块，用于基于所述特征金字塔，利用所述神经网络对所述眼底图像中的细节和全局上下文进行处理，得到所述眼底图像的多尺度特征图。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述血管分割网络模型包括：对称的编码器-解码器结构，用来对所述眼底图像的视网膜血管进行提取并分割，其中，
所述分割流提取模块还包括：
编解码模块，用于利用所述编码器采用收缩通路对输入所述眼底图像的血管特征图进行下采样，以提取输入在不同分辨率下的语义信息；以及利用所述解码器采用扩张通路对所述眼底图像进行上采样，以恢复所述眼底图像的尺寸和纹理细节；以及
第一拼接模块，用于将所述收缩通路的路径上的血管特征图和所述扩张通路的路径上的眼底图像跳跃连接并拼接；
采样模块，用于将拼接后的特征图不断上采样到原始输入所述眼底图像的尺寸，得到拼接后所述眼底图像的血管特征图。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述装置还包括：增加模块，池化模块，卷积计算模块，尺寸恢复模块和第二拼接模块，其中，
增加模块，用于在所述收缩通路的路径最后，增加一个金字塔池化模块来学习不同尺度的上下文信息，其中，
池化模块，用于利用所述金字塔池化模块对所述收缩通路的路径上每个分支的血管特征图采用最大池化下采样方式，每个分支并行计算在其步长下的血管特征图；
卷积计算模块，用于利用设定卷积核对每个分支的所述血管特征图进行卷积计算；
尺寸恢复模块，用于对于经过卷积计算后的血管特征图，利用插值的上采样方式对低维度特征图的尺寸进行恢复，得到与原始血管特征图分辨率相同的血管特征图；
第二拼接模块，用于将所述与原始血管特征图分辨率相同的血管特征图与输入的所述眼底图像的特征图进行拼接，并将得到的拼接结果作为所述金字塔池化模块最终输出的血管特征图。
可选的，在另一实施例中，该实施例在上述实施例的基础上，
所述融合模块,，具体用于将所述血管特征图分别与所述多尺度特征进行融合，得到血管特征加强后的图像特征图；
所述发病风险预测模块，具体用于对所述血管特征加强后的眼底特征图进行糖尿病视网膜病变的发病风险预测，得到所述糖尿病视网膜病变的发病风险评估结果。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述融合模块包括：第三拼接模块和卷积处理模块，其中，
第三拼接模块，用于将所述血管特征图与所述多尺度特征图在通道维度上依次进行拼接；
卷积处理模块，用于对拼接后的特征依次进行卷积处理，得到血管特征加强后的图像特征图。
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述装置还包括：
质量控制模块，用于在所述获取模块获取糖尿病用户的眼底图像之后，对获取的所述眼底图像通过眼底图像质量控制模型进行图像质量控制，得到质量控制后的眼底图像，其中，所述眼底图像质量控制模型利用生成对抗网络判断所述眼底图像的清晰度，以及判断所述眼底图像的质量是否达标的眼底图像。
可选的，本发明实施例还提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器;
其中，所述处理器被配置为执行所述指令，以实现如上所述的糖尿病视网膜病变的发病确定方法。
可选的，本发明实施例还提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上所述的糖尿病视网膜病变的发病确定方法。
可选的，本发明实施例还提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被电子设备的处理器执行时实现如上所述的糖尿病视网膜病变的发病确定方法。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
图8是本发明实施例提供的一种电子设备800的框图。例如，电子设备800可以为移动终端也可以为服务器，本发明实施例中以电子设备为移动终端为例进行说明。例如,电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图8，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出（I/ O）的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器（LCD）和触摸面板（TP）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风（MIC），当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/ O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，运营商网络（如2G、3G、4G或5G），或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。
在实施例中，电子设备800可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述所示的糖尿病视网膜病变的发病确定方法。
在实施例中，还提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备800能够执行上述所示的糖尿病视网膜病变的发病确定方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
在实施例中，还提供了一种计算机程序产品，包括计算机程序或指令，当计算机程序或指令由电子设备800的处理器820执行时，使得电子设备800执行上述所示的糖尿病视网膜病变的发病确定方法。
图9是本发明实施例提供的一种用于糖尿病视网膜病变的发病确定的装置900的框图。例如，装置900可以被提供为一服务器。参照图9，装置900包括处理组件922，其进一步包括一个或多个处理器，以及由存储器932所代表的存储器资源，用于存储可由处理组件922的执行的指令，例如应用程序。存储器932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件922被配置为执行指令，以执行上述方法。
装置900还可以包括一个电源组件926被配置为执行装置900的电源管理，一个有线或无线网络接口950被配置为将装置900连接到网络，和一个输入输出（I/O）接口958。装置900可以操作基于存储在存储器932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种糖尿病视网膜病变的发病确定方法，其特征在于，包括：
获取糖尿病用户的眼底图像；
基于糖尿病性视网膜病变发病预测模型，对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果，其中，所述糖尿病性视网膜病变发病预测模型是基于分类和分割的双流结构，是基于深度神经网络对眼底图像样本中的视觉特征进行训练得到的模型；
其中，所述基于糖尿病性视网膜病变发病预测模型，对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果，包括：
基于糖尿病性视网膜病变发病预测模型，对所述眼底图像的特征分别进行分类流提取和分割流提取，具体包括：基于所述糖尿病性视网膜病变发病预测模型中的发病预测分类模型，对所述眼底图像进行分类流提取，得到所述眼底图像的多尺度特征图；以及基于所述糖尿病性视网膜病变发病预测模型中的血管分割网络模型，对所述眼底图像视网膜血管进行分割流提取，得到所述眼底图像的血管特征图；
对分类流提取的特征图和分割流提取的特征图进行融合；
基于融合结果对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果，所述发病风险评估结果包括：未来没有糖尿病性视网膜病变发病的风险，或未来有糖尿病性视网膜病变发病的风险。
2.根据权利要求1所述的糖尿病视网膜病变的发病确定方法，其特征在于，所述发病预测分类模型是基于PVT网络的发病预测分类模型，所述PVT网络包括金字塔结构和神经网络；其中，
所述基于糖尿病性视网膜病变发病预测模型中的发病预测分类模型，对所述眼底图像进行分类流提取，得到所述眼底图像的多尺度特征图，包括：
利用所述金字塔结构对所述眼底图像进行像素级分类，得到不同层次的特征图；
在所述不同层次的特征图上与不同大小的卷积核进行卷积，获取不同尺度的特征图；
对所述不同尺度的特征图逐步下采样和上采样来构建不同尺度信息的特征金字塔；
基于所述特征金字塔，利用所述神经网络对所述眼底图像中的细节和全局上下文进行处理，得到所述眼底图像的多尺度特征图。
3.根据权利要求1所述的糖尿病视网膜病变的发病确定方法，其特征在于，所述血管分割网络模型包括：对称的编码器-解码器结构，用来对所述眼底图像的视网膜血管进行提取并分割，其中，
所述基于所述糖尿病性视网膜病变发病预测模型中的血管分割网络模型，对所述眼底图像视网膜血管进行分割流提取，得到所述眼底图像的血管特征图，包括：
利用所述编码器采用收缩通路对输入所述眼底图像的血管特征图进行下采样，以提取输入在不同分辨率下的语义信息；以及利用所述解码器采用扩张通路对所述眼底图像进行上采样，以恢复所述眼底图像的尺寸和纹理细节；以及
将所述收缩通路的路径上的血管特征图和所述扩张通路的路径上的眼底图像跳跃连接并拼接；
将拼接后的特征图不断上采样到原始输入所述眼底图像的尺寸，得到拼接后所述眼底图像的血管特征图。
4.根据权利要求3所述的糖尿病视网膜病变的发病确定方法，其特征在于，所述方法还包括：在所述收缩通路的路径最后，增加一个金字塔池化模块来学习不同尺度的上下文信息，其中，
利用所述金字塔池化模块对所述收缩通路的路径上每个分支的血管特征图采用最大池化下采样方式，每个分支并行计算在其步长下的血管特征图；
利用设定卷积核对每个分支的所述血管特征图进行卷积计算；
对于经过卷积计算后的血管特征图，利用插值的上采样方式对低维度特征图的尺寸进行恢复，得到与原始血管特征图分辨率相同的血管特征图；
将所述与原始血管特征图分辨率相同的血管特征图与输入的所述眼底图像的特征图进行拼接，并将得到的拼接结果作为所述金字塔池化模块最终输出的血管特征图。
5.根据权利要求1所述的糖尿病视网膜病变的发病确定方法，其特征在于，
所述对分类流提取的特征图和分割流提取的特征图进行融合，包括：
将分割流提取的血管特征图分别与分类流提取的多尺度特征进行融合，得到血管特征加强后的图像特征图；
所述基于融合结果对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果，包括：
对所述血管特征加强后的图像特征图进行糖尿病视网膜病变的发病风险预测，得到所述糖尿病视网膜病变的发病风险评估结果。
6.根据权利要求5所述的糖尿病视网膜病变的发病确定方法，其特征在于，所述将分割流提取的所述血管特征图分别与分类流提取的所述多尺度特征图进行融合，得到血管特征加强后的图像特征图，包括：
将所述血管特征图与所述多尺度特征图在通道维度上依次进行拼接；
对拼接后的特征依次进行卷积处理，得到血管特征加强后的图像特征图。
7.根据权利要求1至6任一项所述的糖尿病视网膜病变的发病确定方法，在所述获取糖尿病用户的眼底图像之后，其特征在于，所述方法还包括：
对获取的所述眼底图像通过眼底图像质量控制模型进行图像质量控制，得到质量控制后的眼底图像，其中，所述眼底图像质量控制模型利用生成对抗网络判断所述眼底图像的清晰度，以及判断所述眼底图像的质量是否达标的眼底图像。
8.一种糖尿病视网膜病变的发病确定装置，其特征在于，包括：
获取模块，用于获取糖尿病用户的眼底图像；
预测模块，用于基于糖尿病性视网膜病变发病预测模型，对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果，其中，所述糖尿病性视网膜病变发病预测模型是基于分类和分割的双流结构，是基于深度神经网络对眼底图像样本中的视觉特征进行训练得到的模型；
其中，所述预测模块包括：
提取模块，用于基于糖尿病性视网膜病变发病预测模型，对所述眼底图像的特征分别进行分类流提取和分割流提取；其中，所述提取模块包括：分类流提取模块，用于基于所述糖尿病性视网膜病变发病预测模型中的发病预测分类模型，对所述眼底图像进行分类流提取，得到所述眼底图像的多尺度特征图；以及分割流提取模块，用于基于所述糖尿病性视网膜病变发病预测模型中的血管分割网络模型，对所述眼底图像视网膜血管进行分割流提取，得到所述眼底图像的血管特征图；
融合模块，用于对分类流提取的特征图和分割流提取的特征图进行融合；
发病风险预测模块，用于基于融合结果对所述眼底图像进行糖尿病性视网膜病变的发病风险预测，得到糖尿病视网膜病变的发病风险评估结果，所述发病风险评估结果包括：未来没有糖尿病性视网膜病变发病的风险，或未来有糖尿病性视网膜病变发病的风险。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器;
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的糖尿病视网膜病变的发病确定方法。
10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的糖尿病视网膜病变的发病确定方法。
CN202311293821.4A 2023-10-09 2023-10-09 糖尿病视网膜病变的发病确定方法、装置、设备及介质 Active CN117038088B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311293821.4A CN117038088B (zh) 2023-10-09 2023-10-09 糖尿病视网膜病变的发病确定方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311293821.4A CN117038088B (zh) 2023-10-09 2023-10-09 糖尿病视网膜病变的发病确定方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN117038088A CN117038088A (zh) 2023-11-10
CN117038088B true CN117038088B (zh) 2024-02-02

Family

ID=88645233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311293821.4A Active CN117038088B (zh) 2023-10-09 2023-10-09 糖尿病视网膜病变的发病确定方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117038088B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154505A (zh) * 2017-12-26 2018-06-12 四川大学 基于深度神经网络的糖尿病视网膜病变检测方法及装置
CN111325756A (zh) * 2020-02-18 2020-06-23 广州柏视医疗科技有限公司 基于深度学习网络的三维影像动静脉分割方法及系统
CN111612856A (zh) * 2020-05-25 2020-09-01 中南大学 用于彩色眼底图像的视网膜新生血管检测方法及成像方法
CN112786203A (zh) * 2021-03-03 2021-05-11 天津医科大学 一种机器学习糖尿病视网膜病变发病风险预测方法及应用
WO2021169128A1 (zh) * 2020-02-29 2021-09-02 平安科技（深圳）有限公司 眼底视网膜血管识别及量化方法、装置、设备及存储介质
CN114419020A (zh) * 2022-01-26 2022-04-29 深圳大学 医学图像分割方法、装置、计算机设备及存储介质
CN114627354A (zh) * 2022-03-24 2022-06-14 Oppo广东移动通信有限公司 目标检测方法、装置、存储介质与电子设备
KR20220164953A (ko) * 2021-06-07 2022-12-14 주식회사 지오비전 딥러닝을 이용한 망막 혈관 검출 시스템
CN116051471A (zh) * 2022-12-16 2023-05-02 广东技术师范大学 一种基于糖尿病视网膜病变的极小病灶自动分割方法
CN116759095A (zh) * 2023-07-12 2023-09-15 遵义市第一人民医院(遵义医学院第三附属医院) 视网膜病变发病风险预测方法、装置以及服务器

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154505A (zh) * 2017-12-26 2018-06-12 四川大学 基于深度神经网络的糖尿病视网膜病变检测方法及装置
CN111325756A (zh) * 2020-02-18 2020-06-23 广州柏视医疗科技有限公司 基于深度学习网络的三维影像动静脉分割方法及系统
WO2021169128A1 (zh) * 2020-02-29 2021-09-02 平安科技（深圳）有限公司 眼底视网膜血管识别及量化方法、装置、设备及存储介质
CN111612856A (zh) * 2020-05-25 2020-09-01 中南大学 用于彩色眼底图像的视网膜新生血管检测方法及成像方法
CN112786203A (zh) * 2021-03-03 2021-05-11 天津医科大学 一种机器学习糖尿病视网膜病变发病风险预测方法及应用
KR20220164953A (ko) * 2021-06-07 2022-12-14 주식회사 지오비전 딥러닝을 이용한 망막 혈관 검출 시스템
CN114419020A (zh) * 2022-01-26 2022-04-29 深圳大学 医学图像分割方法、装置、计算机设备及存储介质
CN114627354A (zh) * 2022-03-24 2022-06-14 Oppo广东移动通信有限公司 目标检测方法、装置、存储介质与电子设备
CN116051471A (zh) * 2022-12-16 2023-05-02 广东技术师范大学 一种基于糖尿病视网膜病变的极小病灶自动分割方法
CN116759095A (zh) * 2023-07-12 2023-09-15 遵义市第一人民医院(遵义医学院第三附属医院) 视网膜病变发病风险预测方法、装置以及服务器

Also Published As

Publication number Publication date
CN117038088A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
US11295178B2 (en) Image classification method, server, and computer-readable storage medium
Hacisoftaoglu et al. Deep learning frameworks for diabetic retinopathy detection with smartphone-based retinal imaging systems
Masud et al. Leveraging deep learning techniques for malaria parasite detection using mobile application
WO2020199593A1 (zh) 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN107729929B (zh) 用于获取信息的方法及装置
CN112017185B (zh) 病灶分割方法、装置及存储介质
Khan et al. Retinal vessel segmentation via a Multi-resolution Contextual Network and adversarial learning
US11721023B1 (en) Distinguishing a disease state from a non-disease state in an image
Toğaçar Detection of retinopathy disease using morphological gradient and segmentation approaches in fundus images
CN113349810B (zh) 脑出血病灶识别及血肿扩大预测系统及装置
Hwang et al. Smartphone-based diabetic macula edema screening with an offline artificial intelligence
Ayoub et al. Minimized computations of deep learning technique for early diagnosis of diabetic retinopathy using iot-based medical devices
Bali et al. Analysis of Deep Learning Techniques for Prediction of Eye Diseases: A Systematic Review
CN117038088B (zh) 糖尿病视网膜病变的发病确定方法、装置、设备及介质
KR20210122560A (ko) 피부 병변의 원인 분석 방법 및 장치
Chen et al. ARA-net: an attention-aware retinal atrophy segmentation network coping with fundus images
Li et al. A Deep-Learning-Enabled Monitoring System for Ocular Redness Assessment
Bajaj et al. Diabetic retinopathy stage classification
Suwandi et al. A Systematic Literature Review: Diabetic Retinopathy Detection Using Deep Learning
CN117437249B (zh) 眼底血管图像的分割方法、终端设备及存储介质
Al-Absi et al. Dmegrader: Android mobile application for diabetic macular edema grading prediction
AlSaad et al. A deep learning based automatic severity detector for diabetic retinopathy
Jolly et al. Eye Disease Detection using MobiNet
Ali et al. Classifying Three Stages of Cataract Disease using CNN
Escorcia-Gutierrez et al. Grading Diabetic Retinopathy Using Transfer Learning-Based Convolutional Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant