CN116386860A - 基于多模态的糖尿病及其并发症智能辅助预测与诊断平台 - Google Patents

基于多模态的糖尿病及其并发症智能辅助预测与诊断平台 Download PDF

Info

Publication number
CN116386860A
CN116386860A CN202211654263.5A CN202211654263A CN116386860A CN 116386860 A CN116386860 A CN 116386860A CN 202211654263 A CN202211654263 A CN 202211654263A CN 116386860 A CN116386860 A CN 116386860A
Authority
CN
China
Prior art keywords
prediction
diagnosis
module
diabetes
cad
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211654263.5A
Other languages
English (en)
Inventor
谢怡宁
曹军
单丹丹
齐鹤
陈宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Forestry University
Original Assignee
Northeast Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Forestry University filed Critical Northeast Forestry University
Priority to CN202211654263.5A priority Critical patent/CN116386860A/zh
Publication of CN116386860A publication Critical patent/CN116386860A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/08—Computing arrangements based on specific mathematical models using chaos models or non-linear system models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Optimization (AREA)
  • Pathology (AREA)
  • Nonlinear Science (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Molecular Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

基于多模态的糖尿病及其并发症智能辅助预测与诊断平台，本发明涉及人工智能，医疗诊断，深度学习，图像处理，辅助诊断系统。糖尿病的主要血管并发症如DR及CAD的诊断则需要多种医疗技术进行辅助诊断，DR的诊断主要通过眼底检查明确，CAD的诊断则需要依靠于患者的症状、体征、心电图、运动试验、冠脉CT或者冠脉造影等结果综合进行诊断。通过人工智能的方式，开发一款自动化的、实时的糖尿病及DR和CAD的预测评估模型，进而辅助医生诊断。本发明应用于在给出患者视网膜眼底图像以及相应临床指标的前提下，利用人工智能的算法实现糖尿病及DR和CAD的准确预测与评估。

Description

基于多模态的糖尿病及其并发症智能辅助预测与诊断平台
技术领域
本发明涉及的领域：人工智能，医疗诊断，深度学习，图像处理，辅助诊断系统。
背景技术
糖尿病致死致残率高的核心就是血管并发症，其中冠状动脉病变(coronaryartery disease,CAD)是最主要的大血管并发症，糖尿病视网膜病变(diabetesretinopathy,DR)是最主要的微血管并发症之一。糖尿病患者CAD的发病率可高达55％,是糖尿病患者最常见的死亡原因,DR是主要的致盲疾病,均需要庞大的社会资源及医疗资源支出。因此，如何更准确地预测、预防、减少糖尿病及其血管并发症(CAD、DR)的发生是今后糖尿病及其并发症防控的关键。未病先防，可从源头上减少糖尿病的发生，是最基础、最经济有效的管理策略，但传统的糖尿病风险预测模型存在效能差、稳定性差、成本高、实施难度大等特点。因此，开发高效、稳定性高、无创、可及性高的糖尿病及DR和CAD的预测评估模型十分必要。
糖尿病的确诊至今仍依靠单一的血糖指标，即血清葡萄糖水平或糖化血红蛋白(HbA1C)水平。从诊断上看，糖尿病已经成为一种“数字病”。而糖尿病的主要血管并发症如DR及CAD的诊断则需要多种医疗技术进行辅助诊断，DR的诊断主要通过眼底检查明确，CAD的诊断则需要依靠于患者的症状、体征、心电图、运动试验、冠脉CT或者冠脉造影等结果综合进行诊断。这种方式不仅增加了诊断开销与临床医师的压力，同时难以满足糖尿病及DR和CAD早期预测的需求。
从以上痛点出发，本文提出通过人工智能的方式，开发一款自动化的、实时的糖尿病及DR和CAD的预测评估模型，进而辅助医生诊断。在给出患者视网膜眼底图像以及相应临床指标的前提下，利用人工智能的算法实现糖尿病及DR和CAD的准确预测与评估，有效预防疾病的发生，减轻家庭及社会的负担，为经济社会发展做出贡献。
发明内容
基于多模态的糖尿病及其并发症智能辅助预测与诊断平台包括：
信息采集存储处理模块，眼底视网膜图像预处理模块，糖尿病风险预测模块，DR评估与预测模块，CAD预测评估模块，初步诊断生成模块，预测评估模型更新优化模块；
所述的信息采集存储处理模块用于该平台的信息录入人员将社会面上的正常人群、糖尿病前期人群的病例数据信息录入平台；
所述的眼底视网膜图像预处理模块用于将采集的眼底视网膜图像进行预处理操作并将其与个人编码信息进行特征融合得到临床与生物指标特征；
所述的糖尿病风险预测模块用于将临床与生物指标特征输入风险预测模块进行风险等级预测；
所述的DR预测与评估模块用于对于糖尿病检测为阳性的患者，进行糖尿病并发症DR的评估与预测；
所述的CAD预测评估模块用于提取患者视网膜眼底图像的特征，随后利用注意力机制捕获患者个人信息与生物指标的编码结果以及图像特征上下文联系并构建并行分支，最后将并行分支进行决策融合得到CAD评估结果；
所述的初步诊断生成模块用于根据预测评估模块得到预测结果生成初步诊断意见和初步分析报告，医生查看初步诊断意见和初步分析报告，进行人工复核生成最终分析报告；
所述的预测诊断评估模型更新优化模块用于将糖尿病及DR和CAD评估与风险预测模型部署到不同的医疗机构，利用联邦学习策略实现模型的实时更新。
进一步地，所述的信息采集存储处理模块用于该平台的信息录入人员将社会面上的正常人群、糖尿病前期人群的病例数据信息录入平台；实现步骤如下；
(1)预测糖尿病前瞻性纵向队列的构建
所述的信息采集人群包括健康受试者或糖尿病前期患者，年龄范围为18-70周岁，具备视网膜照片，血糖代谢，肝肾功能；
所述的病例数据信息包括人口资料，糖代谢病史及家族史，视网膜照片，血糖代谢，肝肾功能；
(2)预测DR纵向队列的构建
所述的信息采集人群包括既往诊断为2型糖尿病患者，年龄范围为18-70周岁，具备不少于两次视网膜照片，其中第一次视网膜照片显示无DR，具备血糖代谢，肝肾功能相关数据；
所述的病例数据信息包括人口资料，糖代谢病史及家族史，眼底照片；
(3)评估糖尿病CAD横断面数据构建
所述的信息采集人群包括既往诊断为2型糖尿病患者，年龄范围为18-70周岁，完成冠状动脉造影，具备视网膜照片，血糖代谢，肝肾功能相关数据；
所述的病例数据信息包括人口资料，糖代谢病史及家族史，冠状动脉造影狭窄结果、眼底照片。
进一步地，所述的眼底视网膜图像预处理模块用于将采集的眼底视网膜图像进行预处理操作并将其与个人编码信息进行特征融合得到临床与生物指标特征；实现步骤如下：
(1)生物指标计算模块
所述的生物指标包括：眼底图像血管分支角度、弯曲度、分形维数、CRAE、CRVE、AVR；
(2)个人信息编码模块
所述的个人信息为年龄、性别、吸烟、喝酒、BMI、血压、血糖、血脂；
进一步地，所述的糖尿病风险预测模块用于将临床与生物指标特征输入风险预测模型进行风险等级预测；具体步骤为：
(1)首先构建糖尿病风险预测网络，对输入的眼底视网膜图像进行模型训练
(2)将用户的临床特征与相关生物标志物特征以及糖尿病预测模型特征融合，输入至多层感知机(MLP)进行预测用户两年后2型糖尿病患病风险分层。
进一步地，所述的DR评估与预测模块用于对于糖尿病检测为阳性的患者，进行糖尿病并发症DR的评估与预测；具体步骤为：
(1)DR评估模块
采用多尺度特征提取技术，输入不同尺寸的图像，提取低分辨率特征图的语义信息和高分辨率特征图的细节信息，并将其进行融合，提高网络的性能，之后将编码器的结果连接到一个全连接层，实现DR等级评估任务，最后，通过解码器实现分割任务，实现硬参数共享的分割、分类；
(2)DR预测模块
采用2年后患DR状况作为标签，用基线视网膜眼底图像进行特征提取器的预训练并得到热图，随后利用2年后眼底图像的病变区域与热图突出显示区域对比，对网络的特征提取模块进行校正，以提升提取有效特征的能力，用训练好的特征提取模块提取眼底图像的特征，并将吸烟状况及高血脂等临床指标和CRVE及小动脉弯曲度等生物指标进行编码得到向量，最后采用特征拼接的方式将这些特征进行融合送到全连接层中进行分类得到DR的风险分层预测；
进一步地，所述的CAD预测评估模块用于提取患者视网膜眼底图像的特征，随后利用注意力机制捕获患者个人信息与生物指标的编码结果以及图像特征上下文联系并构建并行分支，最后将并行分支进行决策融合得到CAD评估结果；具体步骤如下：
(1)通过视网膜眼底图像、临床数据与提取的视网膜血管指标三种信息进行多模态混合融合，以造影检测结果为辅助作为诊断标签，对患者是否患有CAD及所患CAD严重等级进行诊断
(2)临床数据与提取的视网膜血管指标通过特征融合以扩充信息量，融合信息与视网膜眼底图像分别输入到网络中进行并行训练，该网络以深度学习网络为主干，添加注意力模块以提升模型性能，网络训练结果通过决策融合方法统筹网络输出结果得到患者所患CAD严重等级
(3)CAD严重等级根据心血管狭窄程度分类
进一步地，所述的初步诊断模块用于根据各预测评估模块得到预测结果生成初步诊断意见和初步分析报告；具体步骤如下：
医生将视网膜眼底图像及病例信息和初步分析报告进行复核，结合初步诊断意见通过报告生成模块生成诊断报告。
进一步地，所述的预测诊断评估模型更新优化模块用于将糖尿病及DR和CAD评估与风险预测模型部署到不同的医疗机构，利用联邦学习策略实现模型的实时更新；实现步骤如下：
(1)采用融合先验知识与混沌理论的多用户诊断模型联合迭代方法，将先验分布与源客户端数据一同训练，使得每一个源客户端的训练过程中优化目标包含三个分量，即源监督损失、先验监督损失和先验对齐损失
(2)将训练后的参数进行混沌加密生成与客户端模型训练所得模型参数数量相同的随机数列，然后对该随机数列进行顺序排列，得到其索引序列，通过索引序列的值，对各个客户端的训练模型参数进行置乱，将置乱后的参数进行同态加密后送入中心服务器进行聚合运算
(3)服务器将计算后的密文传回客户端经过同态解密、混沌解密后可以更新客户端模型且保护数据隐私，在源客户端训练完毕后将模型参数与先验分布运用于目标客户端进行训练优化先验监督损失和领域适应损失以完善模型。
发明效果
1.多模式构建糖尿病及DR和CAD数据平台，积累数据资源
本平台以前瞻性队列为研究基础，为预测糖尿病、DR提供更精准可靠的数据，提供更加准确预测发病的风险和时机，据此方可制定更有针对性的预防策略。评估CAD方面，独创性的使用视网膜图片评估CAD诊断金标准：冠脉造影狭窄程度，为CAD的评估提供更加精准详细的分析结果。通过视网膜影像技术在糖尿病及其相关并发症发生之前进行预测，将关口前移使本平台更具有疾病预防的价值。
2.以深度学习为主线，结合糖尿病及DR和CAD诊断先验知识
本平台是深度学习在糖尿病及其并发症早期预测与评估的具体应用。大多数深度模型为一般性任务或者其他特殊任务提出，直接用在本项目的任务上难以取得好的效果。通过结合具体情况设计不同的深度神经网络，同时融入糖尿病及其并发症诊断相关的先验知识，有效提高深度模型的性能。
3.量化糖尿病及DR和CAD生物指标，探索未知风险因素
当前对于糖尿病、DR以及CAD的早期预测与评估的研究较少，临床上缺少早期预测与评估的量化指标与规律，但这些规律对于临床诊断是至关重要的。通过对视网膜眼底图像进行大数据分析，探索糖尿病及DR和CAD早期阶段引起的眼底形态结构的变化，为临床诊断提供宝贵的经验，同时也可以进一步提升自动诊断系统的性能。
4.联邦知识迁移，实时更新模型
目前的方法泛化性能较差，只适用于部分医疗机构，且无法实现模型的实时更新，难以满足实际应用中眼底图像复杂多变的要求。将模型进行云端部署，利用联邦学习策略，在保护数据隐私的前提下利用不同医疗机构的实现模型的实时更新，不断提升模型的泛化性能，以使本软件具有跨平台、跨机构的普适性。
附图说明
图1基于多模态的糖尿病及其并发症智能辅助预测与诊断平台系统框架图示
具体实施方法
具体实施方式一：
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示本文提供的基于多模态的糖尿病及其并发症智能辅助预测与诊断平台系统框架，包含信息采集存储处理模块，眼底视网膜图像预处理模块，糖尿病风险预测模块，DR评估与预测模块，CAD预测评估模块，初步诊断生成模块，预测评估模型更新优化模块。
所述平台包含的操作步骤：
S1、利用信息采集存储处理模块，录入社会面上的正常人群、糖尿病前期人群的病例数据信息，以此为基础分别构建糖尿病与DR预测队列以及CAD横断面数据集；
S2、对于糖尿病检测为阴性的患者将其视网膜图像输入眼底视网膜图像预处理模块进行预处理，将处理后得到的患者临床与生物指标特征输入糖尿病风险预测模块，得到风险预测结果；
S3、对于糖尿病检测为阳性的患者，进行糖尿病并发症的评估与预测，主要包括对DR以及CAD的预测与评估；
S4、对于DR预测与评估，首先将患者视网膜图像和临床与生物指标特征输入DR评估与预测模块得到DR诊断结果，随后将DR诊断结果为阴性患者的视网膜眼底图像以及生物指标与个人信息的编码结果输入DR风险预测模型中得到DR风险预测结果，风险等级：无风险，低风险，中风险，高风险；
S5、对于CAD评估，首先将患者的视网膜图像和临床生物指标特征输入CAD预测评估模块提取患者视网膜眼底图像的特征，随后利用注意力机制捕获患者个人信息与生物指标的编码结果以及图像特征上下文联系并构建并行分支，最后将并行分支进行决策融合得到CAD评估结果，CAD严重等级根据心血管狭窄程度分类：无狭窄组、轻微狭窄组1-24％、轻度狭窄组25-49％、中度狭窄组50-69％、重度狭窄组70-99％和闭塞组；
S6、初步诊断生成模块输出打印评估诊断报告单；
S7、预测评估模型更新优化模块负责将糖尿病及DR和CAD评估与风险预测模型部署到不同的医疗机构，利用联邦学习策略实现模型的实时更新。

Claims (8)

1.基于多模态的糖尿病及其并发症智能辅助预测与诊断平台，其特征在于：所述系统平台包括：
信息采集存储处理模块，眼底视网膜图像预处理模块，糖尿病风险预测模块，DR评估与预测模块，CAD预测评估模块，初步诊断生成模块，预测评估模型更新优化模块；
所述的信息采集存储处理模块用于该平台的信息录入人员将社会面上的正常人群、糖尿病前期人群的病例数据信息录入平台；
所述的眼底视网膜图像预处理模块用于将采集的眼底视网膜图像进行预处理操作并将其与个人编码信息进行特征融合得到临床与生物指标特征；
所述的糖尿病风险预测模块用于将临床与生物指标特征输入风险预测模块进行风险等级预测；
所述的DR预测与评估模块用于对于糖尿病检测为阳性的患者，进行糖尿病并发症DR的评估与预测；
所述的CAD预测评估模块用于提取患者视网膜眼底图像的特征，随后利用注意力机制捕获患者个人信息与生物指标的编码结果以及图像特征上下文联系并构建并行分支，最后将并行分支进行决策融合得到CAD评估结果；
所述的初步诊断生成模块用于根据预测评估模块得到预测结果生成初步诊断意见和初步分析报告，医生查看初步诊断意见和初步分析报告，进行人工复核生成最终分析报告；
所述的预测诊断评估模型更新优化模块用于将糖尿病及DR和CAD评估与风险预测模型部署到不同的医疗机构，利用联邦学习策略实现模型的实时更新。
2.如权利要求1所述的基于多模态的糖尿病及其并发症智能辅助预测与诊断平台，其特征在于，所述的信息采集存储处理模块用于该平台的信息录入人员将社会面上的正常人群、糖尿病前期人群的病例数据信息录入平台；实现步骤如下；
(1)预测糖尿病前瞻性纵向队列的构建
所述的信息采集人群包括健康受试者或糖尿病前期患者，年龄范围为18-70周岁，具备视网膜照片，血糖代谢，肝肾功能；
所述的病例数据信息包括人口资料，糖代谢病史及家族史，视网膜照片，血糖代谢，肝肾功能；
(2)预测DR纵向队列的构建
所述的信息采集人群包括既往诊断为2型糖尿病患者，年龄范围为18-70周岁，具备不少于两次视网膜照片，其中第一次视网膜照片显示无DR，具备血糖代谢，肝肾功能相关数据；
所述的病例数据信息包括人口资料，糖代谢病史及家族史，眼底照片；
(3)评估糖尿病CAD横断面数据构建
所述的信息采集人群包括既往诊断为2型糖尿病患者，年龄范围为18-70周岁，完成冠状动脉造影，具备视网膜照片，血糖代谢，肝肾功能相关数据；
所述的病例数据信息包括人口资料，糖代谢病史及家族史，冠状动脉造影狭窄结果、眼底照片。
3.如权利要求1所述的基于多模态的糖尿病及其并发症智能辅助预测与诊断平台，其特征在于，所述的眼底视网膜图像预处理模块用于将采集的眼底视网膜图像进行预处理操作并将其与个人编码信息进行特征融合得到临床与生物指标特征；实现步骤如下：
(1)生物指标计算模块
所述的生物指标包括：眼底图像血管分支角度、弯曲度、分形维数、CRAE、CRVE、AVR；
(2)个人信息编码模块
所述的个人信息为年龄、性别、吸烟、喝酒、BMI、血压、血糖、血脂。
4.如权利要求1所述的基于多模态的糖尿病及其并发症智能辅助预测与诊断平台，其特征在于，所述的糖尿病风险预测模块用于将临床与生物指标特征输入风险预测模型进行风险等级预测；具体步骤为：
(1)首先构建糖尿病风险预测网络，对输入的眼底视网膜图像进行模型训练
(2)将用户的临床特征与相关生物标志物特征以及糖尿病预测模型特征融合，输入至多层感知机(MLP)进行预测用户两年后2型糖尿病患病风险分层。
5.如权利要求1所述的基于多模态的糖尿病及其并发症智能辅助预测与诊断平台，其特征在于，所述的DR评估与预测模块用于对于糖尿病检测为阳性的患者，进行糖尿病并发症DR的评估与预测；具体步骤为：
(1)DR评估模块
采用多尺度特征提取技术，输入不同尺寸的图像，提取低分辨率特征图的语义信息和高分辨率特征图的细节信息，并将其进行融合，提高网络的性能，之后将编码器的结果连接到一个全连接层，实现DR等级评估任务，最后，通过解码器实现分割任务，实现硬参数共享的分割、分类；
(2)DR预测模块
采用2年后患DR状况作为标签，用基线视网膜眼底图像进行特征提取器的预训练并得到热图，随后利用2年后眼底图像的病变区域与热图突出显示区域对比，对网络的特征提取模块进行校正，以提升提取有效特征的能力，用训练好的特征提取模块提取眼底图像的特征，并将吸烟状况及高血脂等临床指标和CRVE及小动脉弯曲度等生物指标进行编码得到向量，最后采用特征拼接的方式将这些特征进行融合送到全连接层中进行分类得到DR的风险分层预测。
6.如权利要求1所述的基于多模态的糖尿病及其并发症智能辅助预测与诊断平台，其特征在于，所述的CAD预测评估模块用于提取患者视网膜眼底图像的特征，随后利用注意力机制捕获患者个人信息与生物指标的编码结果以及图像特征上下文联系并构建并行分支，最后将并行分支进行决策融合得到CAD评估结果；具体步骤如下：
(1)通过视网膜眼底图像、临床数据与提取的视网膜血管指标三种信息进行多模态混合融合，以造影检测结果为辅助作为诊断标签，对患者是否患有CAD及所患CAD严重等级进行诊断
(2)临床数据与提取的视网膜血管指标通过特征融合以扩充信息量，融合信息与视网膜眼底图像分别输入到网络中进行并行训练，该网络以深度学习网络为主干，添加注意力模块以提升模型性能，网络训练结果通过决策融合方法统筹网络输出结果得到患者所患CAD严重等级
(3)CAD严重等级根据心血管狭窄程度分类。
7.如权利要求1所述的基于多模态的糖尿病及其血管并发症智能辅助预测与诊断平台，其特征在于，所述的初步诊断模块用于根据各预测评估模块得到预测结果生成初步诊断意见和初步分析报告；具体步骤如下：
医生将视网膜眼底图像及病例信息和初步分析报告进行复核，结合初步诊断意见通过报告生成模块生成诊断报告。
8.如权利要求1所述的基于多模态的糖尿病及其并发症智能辅助预测与诊断平台，其特征在于，所述的预测诊断评估模型更新优化模块用于将糖尿病及DR和CAD评估与风险预测模型部署到不同的医疗机构，利用联邦学习策略实现模型的实时更新；实现步骤如下：
(1)采用融合先验知识与混沌理论的多用户诊断模型联合迭代方法，将先验分布与源客户端数据一同训练，使得每一个源客户端的训练过程中优化目标包含三个分量，即源监督损失、先验监督损失和先验对齐损失
(2)将训练后的参数进行混沌加密生成与客户端模型训练所得模型参数数量相同的随机数列，然后对该随机数列进行顺序排列，得到其索引序列，通过索引序列的值，对各个客户端的训练模型参数进行置乱，将置乱后的参数进行同态加密后送入中心服务器进行聚合运算
(3)服务器将计算后的密文传回客户端经过同态解密、混沌解密后可以更新客户端模型且保护数据隐私，在源客户端训练完毕后将模型参数与先验分布运用于目标客户端进行训练优化先验监督损失和领域适应损失以完善模型。
CN202211654263.5A 2022-12-22 2022-12-22 基于多模态的糖尿病及其并发症智能辅助预测与诊断平台 Pending CN116386860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211654263.5A CN116386860A (zh) 2022-12-22 2022-12-22 基于多模态的糖尿病及其并发症智能辅助预测与诊断平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211654263.5A CN116386860A (zh) 2022-12-22 2022-12-22 基于多模态的糖尿病及其并发症智能辅助预测与诊断平台

Publications (1)

Publication Number Publication Date
CN116386860A true CN116386860A (zh) 2023-07-04

Family

ID=86968079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211654263.5A Pending CN116386860A (zh) 2022-12-22 2022-12-22 基于多模态的糖尿病及其并发症智能辅助预测与诊断平台

Country Status (1)

Country Link
CN (1) CN116386860A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117009924A (zh) * 2023-10-07 2023-11-07 之江实验室 电子病历引导的多模态自适应多中心数据融合方法及系统
CN117350982A (zh) * 2023-10-23 2024-01-05 郑州大学 一种基于多医学图像的糖尿病肾病分析方法及系统
CN117457229A (zh) * 2023-12-26 2024-01-26 吉林大学 基于人工智能的麻醉深度监测系统及方法
CN117936079A (zh) * 2024-03-21 2024-04-26 中国人民解放军总医院第三医学中心 基于流形学习的糖尿病视网膜病变识别方法、介质及系统
CN117954082A (zh) * 2024-03-26 2024-04-30 中国人民解放军总医院 基于联邦大模型的复杂疾病间共病临床辅助决策方法及系统
CN118115466A (zh) * 2024-03-07 2024-05-31 珠海全一科技有限公司 一种眼底伪病灶检测方法
CN118280579A (zh) * 2024-05-31 2024-07-02 东莞市东南部中心医院(东莞市东南部中医医疗服务中心) 基于多模态数据融合的脓毒症患者病情评估方法及系统
CN118520508A (zh) * 2024-07-23 2024-08-20 长春中医药大学 一种基于回顾性校正的冠状动脉微血管病变预测方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117009924B (zh) * 2023-10-07 2024-01-26 之江实验室 电子病历引导的多模态自适应多中心数据融合方法及系统
CN117009924A (zh) * 2023-10-07 2023-11-07 之江实验室 电子病历引导的多模态自适应多中心数据融合方法及系统
CN117350982B (zh) * 2023-10-23 2024-05-14 郑州大学 一种基于多医学图像的糖尿病肾病分析方法及系统
CN117350982A (zh) * 2023-10-23 2024-01-05 郑州大学 一种基于多医学图像的糖尿病肾病分析方法及系统
CN117457229A (zh) * 2023-12-26 2024-01-26 吉林大学 基于人工智能的麻醉深度监测系统及方法
CN117457229B (zh) * 2023-12-26 2024-03-08 吉林大学 基于人工智能的麻醉深度监测系统及方法
CN118115466A (zh) * 2024-03-07 2024-05-31 珠海全一科技有限公司 一种眼底伪病灶检测方法
CN117936079B (zh) * 2024-03-21 2024-06-14 中国人民解放军总医院第三医学中心 基于流形学习的糖尿病视网膜病变识别方法、介质及系统
CN117936079A (zh) * 2024-03-21 2024-04-26 中国人民解放军总医院第三医学中心 基于流形学习的糖尿病视网膜病变识别方法、介质及系统
CN117954082A (zh) * 2024-03-26 2024-04-30 中国人民解放军总医院 基于联邦大模型的复杂疾病间共病临床辅助决策方法及系统
CN118280579A (zh) * 2024-05-31 2024-07-02 东莞市东南部中心医院(东莞市东南部中医医疗服务中心) 基于多模态数据融合的脓毒症患者病情评估方法及系统
CN118280579B (zh) * 2024-05-31 2024-09-03 东莞市东南部中心医院(东莞市东南部中医医疗服务中心) 基于多模态数据融合的脓毒症患者病情评估方法及系统
CN118520508A (zh) * 2024-07-23 2024-08-20 长春中医药大学 一种基于回顾性校正的冠状动脉微血管病变预测方法

Similar Documents

Publication Publication Date Title
CN116386860A (zh) 基于多模态的糖尿病及其并发症智能辅助预测与诊断平台
Jin et al. Multimodal deep learning with feature level fusion for identification of choroidal neovascularization activity in age‐related macular degeneration
Williams et al. An artificial intelligence-based deep learning algorithm for the diagnosis of diabetic neuropathy using corneal confocal microscopy: a development and validation study
JP7170145B2 (ja) 情報処理装置、プログラム、学習済みモデル、診断支援装置、学習装置及び予測モデルの生成方法
CN113011485B (zh) 多模态多病种长尾分布眼科疾病分类模型训练方法和装置
Das et al. Hypertension diagnosis: a comparative study using fuzzy expert system and neuro fuzzy system
CN114023441A (zh) 基于可解释机器学习模型的严重aki早期风险评估模型、装置及其开发方法
CN115831364B (zh) 基于多模态特征融合的2型糖尿病风险分层预测方法
Pal et al. Deep learning techniques for prediction and diagnosis of diabetes mellitus
CN113724876A (zh) 基于多模态融合和dfs-lle算法的脑卒中院内并发症预测模型
Pitchai et al. [Retracted] An Artificial Intelligence‐Based Bio‐Medical Stroke Prediction and Analytical System Using a Machine Learning Approach
CN114038564A (zh) 一种糖尿病无创风险预测方法
Hsu et al. Deep learning for automated diabetic retinopathy screening fused with heterogeneous data from EHRs can lead to earlier referral decisions
Lachinov et al. Learning spatio-temporal model of disease progression with NeuralODEs from longitudinal volumetric data
CN117426748B (zh) 一种基于多模态视网膜成像的mci检测方法
Duan et al. Machine learning aided non-invasive diagnosis of coronary heart disease based on tongue features fusion
CN115607113B (zh) 基于深度学习模型的冠心病患者手诊数据处理方法及其系统
CN115953781A (zh) 基于热层析影像的乳腺人工智能分析系统及方法
CN113273959B (zh) 一种便携式糖尿病视网膜病变诊疗仪
KR102591395B1 (ko) 딥러닝 기반의 입천장심장얼굴 증후군(vcfs) 진단 지원 시스템 및 방법
Sridhar et al. Artificial intelligence in medicine: diabetes as a model
Tang et al. A neural network to pulmonary embolism aided diagnosis with a feature selection approach
Fan et al. Automatic detection of Horner syndrome by using facial images
Wan et al. Automatic diagnosis of different types of retinal vein occlusion based on fundus images
Mani et al. An automated hybrid decoupled convolutional network for laceration segmentation and grading of retinal diseases using optical coherence tomography (OCT) images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination