CN115376698A - 用于对眼底疾病的演进进行预测的装置、方法和存储介质 - Google Patents

用于对眼底疾病的演进进行预测的装置、方法和存储介质 Download PDF

Info

Publication number
CN115376698A
CN115376698A CN202211310923.8A CN202211310923A CN115376698A CN 115376698 A CN115376698 A CN 115376698A CN 202211310923 A CN202211310923 A CN 202211310923A CN 115376698 A CN115376698 A CN 115376698A
Authority
CN
China
Prior art keywords
stage
fundus
patient
cluster
evolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211310923.8A
Other languages
English (en)
Other versions
CN115376698B (zh
Inventor
刘从新
韩宇星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Airdoc Technology Co Ltd
Original Assignee
Beijing Airdoc Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Airdoc Technology Co Ltd filed Critical Beijing Airdoc Technology Co Ltd
Priority to CN202211310923.8A priority Critical patent/CN115376698B/zh
Publication of CN115376698A publication Critical patent/CN115376698A/zh
Application granted granted Critical
Publication of CN115376698B publication Critical patent/CN115376698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种用于对眼底疾病的演进进行预测的装置、方法和存储介质。所述装置包括：处理器；以及存储器，其存储有用于对眼底疾病的演进进行预测的程序指令，当所述程序指令由所述处理器执行时，使得所述装置执行以下操作：获取至少包含待预测的患者的眼底图像和多模态信息的数据集；基于演进阶段对所述数据集进行划分，以获得各阶段的子数据集；对所述各阶段的子数据集进行聚类，以获得各阶段对应的聚类结果；根据所述对应的聚类结果计算所述演进阶段中的群体方向向量；以及基于所述群体方向向量生成所述待预测的患者的预测眼底图像，以对眼底疾病的演进进行预测。利用本申请的方案，可以获得准确的对眼底疾病的演进进行预测的预测结果。

Description

用于对眼底疾病的演进进行预测的装置、方法和存储介质
技术领域
本申请一般涉及疾病演进预测技术领域。更具体地，本申请涉及一种用于对眼底疾病的演进进行预测的装置、方法和计算机可读存储介质。
背景技术
在医疗人工智能应用中，最基础功能的是识别疾病，包括预测患者患病的可能性及风险。其中，更有价值的是让患者或者医护人员了解疾病的演进或者让患者或者医护人员了解采取了干预措施或治疗手段后疾病演进的趋势是否会发生变化，以便医护人员辅助患者或者促进患者更有效地管理和改善健康状况。目前预测疾病演进的方式，是通过将全人群作为整体来计算其演进方向，忽略了患者各阶段的演进变化，从而使得预测结果不准确。
发明内容
为了至少部分地解决背景技术中提到的技术问题，本申请提供了对眼底疾病的演进进行预测的方案。利用本申请的方案，可以更准确地预测眼底疾病的演进。为此，本申请在如下的多个方面提供解决方案。
在第一方面中，本申请提供一种用于对眼底疾病的演进进行预测的装置，包括：处理器；以及存储器，其存储有用于对眼底疾病的演进进行预测的程序指令，当所述程序指令由所述处理器执行时，使得所述装置执行以下操作：获取至少包含待预测的患者的眼底图像和多模态信息的数据集；基于演进阶段对所述数据集进行划分，以获得各阶段的子数据集；对所述各阶段的子数据集进行聚类，以获得各阶段对应的聚类结果；根据所述对应的聚类结果计算所述演进阶段中的群体方向向量；以及基于所述群体方向向量生成所述待预测的患者的预测眼底图像，以对眼底疾病的演进进行预测。
在一个实施例中，其中所述多模态信息包括所述患者的基础信息、生化指标信息或者疾病史信息中的一种或者多种，其中所述基础信息包括年龄、性别、教育或者职业中的一种或者多种；所述生化指标包括肝功能、肾功能或者血脂类中的一种或者多种；所述疾病史信息包括基础疾病信息、药史信息或者家族疾病史信息中的一种或者多种。
在另一个实施例中，其中所述演进阶段至少包括时间维度或者病程维度。
在又一个实施例中，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得各阶段对应的聚类结果：将所述各阶段的子数据集中的眼底图像和多模态信息进行合并，以获得各阶段的合并数据；以及使用训练完成的模型对所述各阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。
在又一个实施例中，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得各阶段的合并数据：使用训练好的嵌入模型获取所述各阶段的子数据集中的眼底图像的嵌入向量；分别对所述嵌入向量和所述各阶段的子数据集中的多模态信息执行归一化操作，以获得各自的归一化结果；以及将所述各自的归一化结果进行合并，以获得各阶段的合并数据。
在又一个实施例中，其中所述训练完成的模型包括特征提取子模型和聚类子模型，并且当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得各阶段对应的聚类结果：使用所述特征提取子模型对所述各阶段的合并数据执行特征提取操作，以获得对应的特征并各自形成统一表示的特征空间；以及使用所述聚类子模型在所述各自的特征空间内对相应阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。
在又一个实施例中，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作计算所述演进阶段中的群体方向向量：根据所述对应的聚类结果确定当前阶段的聚类演进至下一阶段的聚类的子方向向量和迁移概率矩阵；以及基于所述子方向向量和所述迁移概率矩阵计算所述演进阶段中的群体方向向量。
在又一个实施例中，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定当前阶段的聚类演进至下一阶段的聚类的子方向向量：根据所述对应的聚类结果计算各阶段的聚类中眼底图像的嵌入向量的平均值，以获得各聚类的中心嵌入向量；以及基于所述下一阶段的聚类和所述当前阶段的聚类各自的中心嵌入向量的差值确定所述当前阶段的聚类演进至所述下一阶段的聚类的子方向向量。
在又一个实施例中，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定当前阶段的聚类演进至下一阶段的聚类的迁移概率矩阵：根据所述对应的聚类结果确定属于所述当前阶段的聚类的样本迁移至下一阶段的样本总集合；根据所述对应的聚类结果确定属于所述当前阶段的聚类的样本迁移至所述下一阶段的各聚类的样本子集合；以及基于所述样本子集合和所述样本总集合的比值确定当前阶段的聚类演进至下一阶段的聚类的迁移概率矩阵。
在又一个实施例中，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作：设置修正概率，并且使用所述修正概率对所述迁移概率矩阵进行修正。
在又一个实施例中，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作生成所述待预测的患者的预测眼底图像：基于所述迁移概率矩阵确定所述患者在下一阶段的眼底图像的嵌入向量；以及基于所述下一阶段的眼底图像的嵌入向量，使用生成网络生成所述待预测的患者的预测眼底图像。
在又一个实施例中，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定所述患者在下一阶段的眼底图像的嵌入向量：响应于所述患者在数据库中无记录，将所述当前阶段的眼底图像的嵌入向量和所述群体方向向量之和确定为所述下一阶段的眼底图像的嵌入向量；或者响应于所述患者在数据库中有历史记录，基于所述患者的历史记录设置个体历史趋势贡献和群体趋势贡献，将所述当前阶段的眼底图像的嵌入向量、所述个体历史趋势贡献和所述群体趋势贡献之和确定为所述患者在下一阶段的眼底图像的嵌入向量。
在又一个实施例中，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作设置个体历史趋势贡献和群体趋势贡献：基于所述历史记录确定演进至所述当前阶段的方向向量的加权平均值；设置个体趋势动量和群体趋势动量；将所述个体趋势动量和所述加权平均值的乘积设置为所述个体历史趋势贡献；以及将所述群体趋势动量和所述群体方向向量的乘积设置为所述群体趋势贡献。
在第二方面中，本申请还提供一种用于对眼底疾病的演进进行预测的方法，包括：获取至少包含待预测的患者的眼底图像和多模态信息的数据集；基于演进阶段对所述数据集进行划分，以获得各阶段的子数据集；对所述各阶段的子数据集进行聚类，以获得各阶段对应的聚类结果；根据所述对应的聚类结果计算所述演进阶段中的群体方向向量；以及基于所述群体方向向量生成所述待预测的患者的预测眼底图像，以对眼底疾病的演进进行预测。
在第三方面中，本申请还提供一种计算机可读存储介质，其上存储有用于对眼底疾病的演进进行预测的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现前述第二方面中的实施例。
通过本申请的上述方案，通过将待进行预测的患者的眼底图像和多模态信息的数据集根据演进阶段进行划分并且聚类，以获得各阶段的聚类结果。接着，通过各阶段的聚类结果获取演进阶段中的群体方向向量，进而获得预测眼底图像。基于此，可以获取各阶段下的演进变化，并且通过聚类的方法获得与待进行预测的患者相似的类，将该类的迁移概率矩阵作为演进的依据，以获得准确的预测眼底疾病的演进的预测结果。进一步地，本申请实施例生成演进后的预测眼底图像，以便为患者和医护工作者提供直观的、可视化的参考。此外，本申请实施例还将有历史记录的患者的个体趋势与群体趋势相结合，以获得更精确的预测眼底疾病的演进的预测结果。
附图说明
通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
图1是示出根据本申请实施例的用于对眼底疾病的演进进行预测的装置的示例性结构框图；
图2是示出根据本申请实施例的嵌入模型的示例性示意图；
图3是示出根据本申请实施例的特征提取子模型的示例性示意图；
图4是示出根据本申请实施例的两个聚类结果的方向向量的示例性示意图；
图5是示出根据本申请实施例的各阶段的聚类结果的示例性示意图；
图6是示出根据本申请实施例的使用生成网络模型生成预测眼底图像的示例性示意图；
图7是示出根据本申请实施例的预测眼底豹纹密度演进的预测眼底图像；
图8是示出根据本申请实施例的用于对眼底疾病的演进进行预测的方法的示例性流程框图；以及
图9是示出根据本申请实施例的用于对眼底疾病的演进进行预测的设备的示例性结构框图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本申请为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例，而并非可以实现本申请的所有实施例。基于本说明书公开的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1是示出根据本申请实施例的用于对眼底疾病的演进进行预测的装置100的示例性结构框图。如图1中所示，该装置100可以包括处理器101和存储器102。其中，前述处理器101可以包括例如通用处理器(“CPU”)或专用图形处理器(“GPU”)，前述存储器102中存储有可在所述处理器上执行的程序指令。在一些实施例中，前述存储器102可以包括但不仅限于阻变式存储器RRAM（Resistive Random Access Memory）、动态随机存取存储器DRAM（Dynamic Random Access Memory）、静态随机存取存储器SRAM（Static Random-AccessMemory）、增强动态随机存取存储器EDRAM（Enhanced Dynamic Random Access Memory）。
进一步地，上述存储器102存储有用于对眼底疾病的演进进行预测的程序指令，当程序指令由处理器执行时，使得装置100执行以下操作：获取至少包含待预测的患者的眼底图像和多模态信息的数据集，基于演进阶段对数据集进行划分，以获得各阶段的子数据集。接着，对各阶段的子数据集进行聚类，以获得各阶段对应的聚类结果，根据对应的聚类结果计算演进阶段中的群体方向向量，以基于群体方向向量生成待预测的患者的预测眼底图像，以对眼底疾病的演进进行预测。
在一个实施例中，上述患者的眼底图像可以通过例如眼底相机拍摄获得，上述多模态信息可以从医疗数据库中获得。其中，前述多模态信息可以包括患者的基础信息、生化指标信息或者疾病史信息中的一种或者多种。其中，基础信息可以包括但不仅限于是年龄、性别、教育或者职业中的一种或者多种，例如还可以包括患者的婚姻状况等。生化指标可以包括但不仅限于是肝功能、肾功能或者血脂类中的一种或者多种，而疾病史信息可以包括但不仅限于是基础疾病信息、药史信息或者家族疾病史信息中的一种或者多种。此外，还可以从医疗数据库中获得患者的身份标识信息和检查时间戳信息，以形成数据集。在实现场景中，可以采用元组描述前述数据集，例如
Figure 506115DEST_PATH_IMAGE001
，其中id表示患者唯一身份标识，m表示患者的眼底图像，X表示患者的多模态信息，ts表示检查时间戳。
在获得上述数据集后，装置100进一步可以基于演进阶段对数据集进行划分，以获得各阶段的子数据集。在一个实施例中，前述演进阶段可以包括但不仅限于是时间维度或者病程维度。其中，前述时间维度可以基于患者的年龄或者患者做检查的时间间隔设置的。在一些实施例中，前述患者的年龄可以通过患者的生日确定，也可以通过检查时间戳计算患者做检查时的年龄。前述病程维度例如是病程的严重性等级。在实现场景中，基于时间维度或者病程维度可以获得各阶段的子数据集。例如以时间维度为例，假设时间的总刻度为T，则根据时间维度对数据集进行划分，可以将数据集划分为若干子数据集
Figure 111671DEST_PATH_IMAGE002
，并且每组的子数据集的元组可以描述为
Figure 625829DEST_PATH_IMAGE003
。其中，
Figure 958721DEST_PATH_IMAGE004
表示阶段t患者的眼底图像，
Figure 960044DEST_PATH_IMAGE005
表示阶段t患者的多模态数据。
基于划分后的各阶段的子数据集，装置100进一步对各阶段的子数据集进行聚类，以获得各阶段对应的聚类结果。在一个实施例中，首先可以将各阶段的子数据集中的眼底图像和多模态信息进行合并，以获得各阶段的合并数据，接着使用训练完成的模型对各阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。其中，在获取各阶段的合并数据时，可以使用训练好的嵌入模型获取各阶段的子数据集中的眼底图像的嵌入向量，接着分别对嵌入向量和各阶段的子数据集中的多模态信息执行归一化操作，以获得各自的归一化结果，通过将各自的归一化结果进行合并，以获得各阶段的合并数据。其中，前述嵌入模型可以例如是Pixel2Style2Pixel网络（数学符号记为ME）模型，通过将眼底图像输入至训练好的Pixel2Style2Pixel网络模型中，可以输出眼底图像的嵌入向量。在获得眼底图像的嵌入向量后，分别对嵌入向量和多模态信息执行归一化操作，以获得对应的归一化结果。
具体地，在一个实施例中，可以通过如下式子来对嵌入向量执行归一化操作，即：
Figure 251348DEST_PATH_IMAGE006
（1）
其中，
Figure 206797DEST_PATH_IMAGE007
表示嵌入向量对应的归一化结果，
Figure 77801DEST_PATH_IMAGE008
表示所有眼底图像的嵌入向 量，
Figure 481101DEST_PATH_IMAGE009
表示所有嵌入向量的集合，mean和std分别表示计算集合的均值和方差。在一些实施 例中，由于存在标准差极微小的异常情况，由此可以在分母加上缺省值
Figure 395836DEST_PATH_IMAGE010
做修正，并且该缺 省值可以约为1e-7。
在对上述多模态信息执行归一化操作时，可以根据多模态信息的数据类型分别进行归一化操作，以获得归一化结果。在应用场景中，多模态信息的数据类型可以分为类别数据或者实数值的数据。其中，对于类别数据而言，可以按照one-hot encoding的方式执行归一化操作。例如，假设特征x一共有C个类别，x属于某单类或同时属于多个类别，可以将x转换为C维的特征向量，其属于某个类别对应下标的元素为1，其它均为0。由此，可以获得针对类别数据的归一化结果，其对应的数学表示式为
Figure 87848DEST_PATH_IMAGE011
。以患者的教育程度为例，教育程度可以划分为初中、高中、大学等，当患者为初中教育时，其归一化结果可对应为（1,0,…,0）。相应地，当教育程度为高中或者大学时，其归一化结果可分别对应为（0,1,…,0）或者（0,0,1,…,0）。
对于实数值的数据来说，可以通过如下式子来执行归一化操作，即：
Figure 44434DEST_PATH_IMAGE012
（2）
其中，
Figure 302240DEST_PATH_IMAGE013
表示实数值的数据的归一化结果，
Figure 404189DEST_PATH_IMAGE014
表示单个特征，
Figure 629502DEST_PATH_IMAGE015
表示特征
Figure 576730DEST_PATH_IMAGE014
对应的所有值构成的集合，mean和std分别表示计算集合的均值和方差。类似地，可以在分母加上缺省值
Figure 689042DEST_PATH_IMAGE016
做修正，并且该缺省值可以约为1e-7。例如对于患者的年龄（例如18，25，30，25）而言，可以采用上述公式（2）来执行归一化操作。
基于上述各阶段的嵌入向量和多模态信息各自对应的归一化结果，可以将其各自对应的归一化结果进行合并，以获得各阶段的合并数据，例如通过如下式子表示合并数据：
Figure 509362DEST_PATH_IMAGE017
（3）
其中，
Figure 910387DEST_PATH_IMAGE018
表示合并数据，
Figure 176152DEST_PATH_IMAGE007
表示嵌入向量对应的归一化结果，
Figure 408551DEST_PATH_IMAGE019
表示多模态信息对应的归一化结果，
Figure 852301DEST_PATH_IMAGE020
，
Figure 491355DEST_PATH_IMAGE021
表示眼底图像的嵌入向量的维数，
Figure 108282DEST_PATH_IMAGE022
表示多模态信息的维数。在该场景下，眼底图像和多模态信息合并后的合并数据为
Figure 647716DEST_PATH_IMAGE023
维。
在一些实施例中，响应于对应的归一化结果之间的维度差异，对合并数据增加维度惩罚因子。可以理解，嵌入向量和多模态信息的维数的维度差异过大（例如嵌入向量为512维，而多模态信息为18维），会导致某部分特征的贡献过大，从而影响模型的训练结果。由此，在本申请实施例中，可以通过对合并数据增加维度惩罚因子来避免前述问题。具体地，通过将嵌入向量和多模态信息对应的归一化结果除以其维度的平方根来增加维度惩罚因子，例如如下式子表示：
Figure 527948DEST_PATH_IMAGE024
（4）
其中，
Figure 642579DEST_PATH_IMAGE018
表示合并数据，
Figure 735300DEST_PATH_IMAGE007
表示嵌入向量对应的归一化结果，
Figure 942290DEST_PATH_IMAGE019
表示多模态信息对应的归一化结果，
Figure 977111DEST_PATH_IMAGE021
表示眼底图像的嵌入向量的维数，
Figure 636763DEST_PATH_IMAGE022
表示多模态信息的维数。
在获得上述各阶段的合并数据后，可以使用训练完成的模型对各阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。在一个实施例中，上述训练完成的模型可以包括特征提取子模型和聚类子模型，通过使用特征提取子模型对各阶段的合并数据执行特征提取操作，以获得对应的特征并各自形成统一表示的特征空间，接着使用聚类子模型在各自的特征空间内对相应阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。
在一个实施场景中，上述特征提取子模型可以例如是栈式降噪自编码器（StackedDenoising Autoencoder，“SDAE”）模型，该SDAE模型可以括编码器和解码器，并且编码器和解码器均包含多层。经训练完成的SDAE模型，通过将各阶段的合并数据输入至前述SDAE模型，经其编码器可以获取各阶段的合并数据的特征，并形成统一表示的特征空间。可以理解，经训练完成的聚类子模型可以获得最优的聚类质点（或者说聚类中心），由此在前述特征空间下，使用经训练完成的聚类子模型进行聚类，能够获得各阶段对应的聚类结果。例如，假设阶段t最优的聚类类别记为
Figure 549486DEST_PATH_IMAGE025
，则其各个阶段对应的聚类结果可以表示如下：
Figure 283087DEST_PATH_IMAGE026
接着，装置100进一步根据对应的聚类结果计算演进阶段中的群体方向向量。在一个实施例中，首先根据对应的聚类结果确定当前阶段的聚类演进至下一阶段的聚类的子方向向量和迁移概率矩阵，以基于子方向向量和迁移概率矩阵计算演进阶段中的群体方向向量。可以理解，经上述对各阶段的数据进行聚类后，其在每个阶段会存在多个相似的类（即多个聚类），即每个阶段对应有多个子聚类，并且其每个聚类演进至下一阶段的多个聚类时会存在多个子方向向量。由此，前述群体方向向量为当前阶段的各聚类演进至下一阶段的各聚类的多个子方向向量的加权和，其中迁移概率矩阵为加权系数。
在实现场景中，可以根据对应的聚类结果计算各阶段的聚类中眼底图像的嵌入向量的平均值，以获得各聚类的中心嵌入向量，接着基于下一阶段的聚类和当前阶段的聚类各自的中心嵌入向量的差值确定当前阶段的聚类演进至下一阶段的聚类的子方向向量。在一个示例性场景中，各阶段的各聚类中眼底图像的嵌入向量的平均值记为：
Figure 19968DEST_PATH_IMAGE027
基于各平均值获得各聚类的中心嵌入向量
Figure 839019DEST_PATH_IMAGE028
，假设将当前阶段i的各聚类的中心嵌入向量记为
Figure 555434DEST_PATH_IMAGE029
，下一阶段j的各聚类的中心嵌入向量记为
Figure 674699DEST_PATH_IMAGE030
,则可以获得前阶段的各聚类演进至下一阶段的各聚类的子方向向量
Figure 520164DEST_PATH_IMAGE031
。
在一个实施例中，还可以根据对应的聚类结果确定属于当前阶段的聚类的样本迁移至下一阶段的样本总集合，接着根据对应的聚类结果确定属于当前阶段的聚类的样本迁移至下一阶段的各聚类的样本子集合，进而基于样本子集合和样本总集合的比值确定当前阶段的聚类演进至下一阶段的聚类的迁移概率矩阵。也就是说，对于当前阶段中属于一个类的患者，在下一阶段也进行了检查（或者复诊），则这部分患者构成样本总集合。进一步地，这部分患者会迁移到下一阶段的各聚类中（或者说分散至下一阶段的各个聚类中），每个聚类中的包含的患者构成样本子集合。通过计算相应样本子集合的样本数与样本总集合的总样本数的比值，可以获得当前阶段的各聚类演进至下一阶段的各聚类的迁移概率矩阵。
例如，假设当前阶段t属于聚类
Figure 842824DEST_PATH_IMAGE032
中的患者，在下一阶段t+1也进行了检查，并且将这部分患者集合记为
Figure 346617DEST_PATH_IMAGE033
。接着，此集合会迁移到下一阶段t+1的各个聚类
Figure 835236DEST_PATH_IMAGE034
中，并将各聚类对应的患者集合记为
Figure 133494DEST_PATH_IMAGE035
，则：
Figure 959760DEST_PATH_IMAGE036
由此，当前阶段t的各聚类演进至下一阶段t+1的各聚类的迁移概率矩阵
Figure 860720DEST_PATH_IMAGE037
可以通过如下式子表示：
Figure 361103DEST_PATH_IMAGE038
（5）
其中，
Figure 784256DEST_PATH_IMAGE039
表示集合中元素的个数（也即样本数）。在一些实施例中，还可以通过设置修正概率，并且使用修正概率对迁移概率矩阵进行修正。这是由于考虑到并非每个
Figure 534038DEST_PATH_IMAGE040
都存在迁移的患者，也即存在
Figure 1140DEST_PATH_IMAGE041
。因此，为了避免统计偏差，本申请实施例提出设置一个修正概率，并将其平均分配至下一阶段的各聚类，以对迁移概率矩阵进行修正。作为示例，假定义设修正概率
Figure 136455DEST_PATH_IMAGE042
（例如0.05），则修正后的迁移概率矩阵为：
Figure 58406DEST_PATH_IMAGE043
（6）
根据上述获得的子方向向量和迁移概率矩阵，可以获得群体方向向量。稍后将结合图5详细描述前述迁移概率矩阵的计算。在一个实施例中，假设群体方向向量记为
Figure 92221DEST_PATH_IMAGE044
，则其可以通过如下公式表示：
Figure 990775DEST_PATH_IMAGE045
（7）
进一步地，装置100进一步基于群体方向向量生成待预测的患者的预测眼底图像，以对眼底疾病的演进进行预测。在一个实施例中，首先可以基于群体方向向量确定患者在下一阶段的眼底图像的嵌入向量，接着基于下一阶段的眼底图像的嵌入向量，使用生成网络生成待预测的患者的预测眼底图像。具体地，响应于患者在数据库中无记录，将当前阶段的眼底图像的嵌入向量和群体方向向量之和确定为下一阶段的眼底图像的嵌入向量；或者响应于患者在数据库中有历史记录，基于患者的历史记录设置个体历史趋势贡献和群体趋势贡献，将当前阶段的眼底图像的嵌入向量、个体历史趋势贡献和群体趋势贡献之和确定为患者在下一阶段的眼底图像的嵌入向量。更为具体地，首先可以基于历史记录确定演进至当前阶段的方向向量的加权平均值，接着设置个体趋势动量和群体趋势动量，进而将个体趋势动量和加权平均值的乘积设置为个体历史趋势贡献，以及将群体趋势动量和群体方向向量的乘积设置为群体趋势贡献。
换言之，在确定患者的下一阶段的嵌入向量时，首先判断该患者是否有历史检查数据。当该患者首次检查，即无历史检查数据时，其下一阶段的嵌入向量为当前阶段的眼底图像的嵌入向量和群体方向向量之和。当该患者有历史检查数据时，其可以形成其个体的演进趋势，由此还需考虑其历史记录中各阶段的演进的方向向量。即，通过联合该患者的个体趋势和群体趋势来对眼底疾病的演进进行预测，其下一阶段的嵌入向量为当前阶段的眼底图像的嵌入向量、个体历史趋势贡献以及群体趋势贡献之和。
在一个示例性场景中，假设当前阶段的眼底图像的嵌入向量记为
Figure 793646DEST_PATH_IMAGE046
，对于患者在数据库中无记录的情形，其下一阶段的嵌入向量
Figure 620919DEST_PATH_IMAGE047
表示成如下式子：
Figure 876451DEST_PATH_IMAGE048
（8）
其中，
Figure 313118DEST_PATH_IMAGE049
表示群体方向向量，可以经由上述公式（7）获得。
对于患者在数据库中有记录的情形，假设当前阶段的眼底图像的嵌入向量记为
Figure 924490DEST_PATH_IMAGE046
，对于患者在数据库中无记录的情形，其下一阶段的嵌入向量
Figure 171931DEST_PATH_IMAGE047
表示成如下式子：
Figure 695185DEST_PATH_IMAGE050
（9）
其中，
Figure 420696DEST_PATH_IMAGE051
表示当前阶段t与历史记录中按一定时间间隔对应的方向向量的加权平均形成的个体历史趋势贡献，
Figure 994897DEST_PATH_IMAGE052
表示群体方向向量的加权平均形成的群体趋势贡献，
Figure 836076DEST_PATH_IMAGE053
表示患者历史记录中的眼底图像的嵌入向量，
Figure 784309DEST_PATH_IMAGE054
表示个体趋势动量，
Figure 798664DEST_PATH_IMAGE055
表示群体趋势动量。优先地，
Figure 148743DEST_PATH_IMAGE054
可以为0.7。
基于上述获得的下一阶段的眼底图像的嵌入向量，可以使用生成网络生成待预测的患者的预测眼底图像。在应用场景中，该生成网络可以例如是训练完成的生成对抗网络（Generative Adversarial Network，“GAN”），该GAN网络可以包括映射网络（MappingNetwork，简写为“MP”）和生成器（“Generator”，简写为“MG”）。其中，前述映射网络可以将高维空间中的随机点映射成风格空间，以得到风格编码，该风格编码经由前述生成器可以生成眼底图像。例如，假设患者的预测眼底图像记为
Figure 472408DEST_PATH_IMAGE056
，则可以表示成如下式子：
Figure 674981DEST_PATH_IMAGE057
（10）
结合上述描述可知，本申请实施例通过基于演进阶段将包含患者的眼底图像和多模态信息的数据集划分为若干组并对每一组分别进行聚类。基于聚类结果找出相似的一类中的患者在不同阶段的数据，计算当前阶段的每个类演进到下一阶段的群体方向向量，以获取下一阶段的眼底图像的嵌入向量，并且通过将下一阶段的眼底图像的嵌入向量输入生成网络中，以获得预测眼底疾病的演进的预测结果。基于本申请实施例，可以获取各阶段的演进方向，从而获得准确的预测眼底疾病的演进的预测结果，并且通过生成的预测图像，可以为患者和医护工作者提供直观的、可视化的参考。进一步地，本申请实施例还考虑了患者的个体趋势，通过联合个体趋势与群体趋势进行预测，能够获得更精确的预测眼底疾病的演进的预测结果。
图2是示出根据本申请实施例的嵌入模型200的示例性示意图。如前所述，该嵌入 模型200可以例如是Pixel2Style2Pixel网络模型。如图2中所示，该Pixel2Style2Pixel网 络模型（也即ME模型）200可以包括编码器201和生成器（例如生成器MG）202，其中编码器201 可以包括残差模块203和map2style模块204，生成器202可以是styleGAN网络。在应用场景 中，当将图像输入至Pixel2Style2Pixel网络模型200后，首先经编码器201中的残差模块 203提取图像中的特征，接着经map2style模块204对前述特征进行编码后获得图像的嵌入 向量。图中进一步示出，前述提取的嵌入向量可以输入至生成器202，经生成器202中的多级 结构由粗到细逐渐生成逼真的图像，以获得重建图像。在本申请实施例中，前述图像m为眼 底图像，通过Pixel2Style2Pixel网络模型中的编码器可以获得眼底图像的嵌入向量
Figure 725983DEST_PATH_IMAGE058
。
根据前文知，在获得上述眼底图像的嵌入向量后，可以基于上述公式（1）对其执行归一化操作获得对应的归一化结果。进一步地，还可以基于
Figure 900875DEST_PATH_IMAGE059
或者上述公式（2）对患者的多模态信息执行归一化操作获得对应的归一化结果，通过将其各自对应的归一化结果进行合并，进而获得各阶段的合并数据（例如上述公式（3）所示）。其中，关于获得合并数据的更多细节，可以参考上述图1的描述，本申请在此不再赘述。进一步地，基于各阶段的合并数据，使用训练完成的特征提取子模型（例如SDAE模型）对各阶段的合并数据执行特征提取操作，以获得对应的特征并各自形成统一表示的特征空间，并且使用聚类子模型在各自的特征空间内对相应阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。
图3是示出根据本申请实施例的特征提取子模型300的示例性示意图。在一个实施例中，该特征提取子模型300可以例如是SDAE模型。如图3中所示，该SDAE模型300可以包括编码器301和解码器302，并且编码器301和解码器302均包含多层。在实现场景中，其原始输入数据
Figure 847971DEST_PATH_IMAGE060
经由编码器301的非线性变换，得到多个隐含层303的表示(也称为隐含编码)，接着前述表示（隐含编码）再经由解码器302可以重构出与原始输入数据相似的输出数据
Figure 729384DEST_PATH_IMAGE061
。在本申请实施例中，可以使用训练完成的SDAE模型中的编码器对各阶段的合并数据进行编码获得对应的特征，并形成统一表示的特征空间
Figure 944596DEST_PATH_IMAGE062
。基于该特征空间，使用训练完成的聚类子模型对各阶段的合并数据进行聚类，从而获得各阶段对应的聚类结果。
根据各阶段对应的聚类结果，可以计算当前阶段的各聚类演进至下一阶段的各聚类的子方向向量和迁移概率矩阵，进而获得演进阶段中的群体方向向量。其中，前述当前阶段的聚类演进至下一阶段的聚类的子方向向量为下一阶段的聚类和当前阶段的聚类各自的中心嵌入向量的差值。前述迁移概率矩阵为当前阶段中属于一个类的患者也在下一阶段进行检查的患者迁移至下一阶段各聚类的样本数与当前阶段中属于一个类的患者也在下一阶段进行检查的样本总数的比值。下面将结合图4-图5详细描述前述子方向向量和迁移概率矩阵。
图4是示出根据本申请实施例的两个聚类结果的方向向量的示例性示意图。如图4中示例性示出两个聚类结果，即聚类A和聚类B。假设聚类A为当前阶段的一个聚类，聚类B为下一阶段的一个聚类。在计算当前阶段的聚类演进至下一阶段的聚类的子方向向量时，首先可以分别计算各聚类中嵌入向量的平均值，以确定各聚类的中心嵌入向量，接着计算两个中心嵌入向量的差值即为两个聚类的子方向向量。例如，假设图中a所示为当前阶段的一个聚类A的中心嵌入向量，b所示为下一阶段的一个聚类B的中心嵌入向量，则b-a即为聚类A和聚类B之间的子方向向量（例如图中两个聚类之间的箭头所示）。
图5是示出根据本申请实施例的各阶段的聚类结果的示例性示意图。如图5中所 示，
Figure 144633DEST_PATH_IMAGE063
分别表示阶段1至阶段T各自对应的聚类结果，并 且每个聚类结果中包括多个子聚类。以当前阶段t和下一阶段t+1为例，以各自包括子聚类
Figure 747784DEST_PATH_IMAGE064
、
Figure 174217DEST_PATH_IMAGE065
、
Figure 68486DEST_PATH_IMAGE066
等和子聚类
Figure 185347DEST_PATH_IMAGE067
、
Figure 506869DEST_PATH_IMAGE068
、
Figure 607549DEST_PATH_IMAGE069
等。图中还进一步示出，属于当前阶段t的
Figure 836667DEST_PATH_IMAGE070
的患者在下一阶段t+1也进行检查的患者的总集合
Figure 886663DEST_PATH_IMAGE071
，
Figure 674359DEST_PATH_IMAGE072
、
Figure 294958DEST_PATH_IMAGE073
以及
Figure 577035DEST_PATH_IMAGE074
表示前述总集合
Figure 261963DEST_PATH_IMAGE075
迁移至下一阶段t+1各聚类的子集合。基于各子集合的样本数与总 集合的样本总数可以获得迁移概率矩阵，即
Figure 394130DEST_PATH_IMAGE076
、
Figure 548030DEST_PATH_IMAGE077
以及
Figure 86328DEST_PATH_IMAGE078
。进一步地，假设当 前阶段t的子聚类的中心嵌入向量为
Figure 376495DEST_PATH_IMAGE079
，并且下一阶段t+1的子聚类的中心嵌入向量为
Figure 222440DEST_PATH_IMAGE080
，可以获得子方向向量
Figure 847325DEST_PATH_IMAGE081
。根据获得的子方向向量和迁移概率矩阵，基于 上述公式（7）可以获得群体方向向量。
基于获得群体方向向量，基于上述公式（8）或者公式（9）可以获得下一阶段的嵌入向量。其中，当患者在数据库中无历史记录时，可以采用上述公式（8）计算下一阶段的嵌入向量，即通过群体趋势来获得预测结果。当患者在数据库中有历史记录时，可以采用上述公式（9）计算下一阶段的嵌入向量。在该情形下，考虑了个体趋势和群体趋势进行预测，以获得更精确的预测结果。在获得下一阶段的嵌入向量时，可以将下一阶段的嵌入向量的输入至训练好的生成网络中，以获得预测眼底图像。
图6是示出根据本申请实施例的使用生成网络模型生成预测眼底图像的示例性示意图。其中，生成网络可以例如是训练完成的GAN网络。如图6中所示，该GAN网络可以包括MP模型601和MG模型602。在实现场景中，MP模型601可以将高维空间
Figure 205625DEST_PATH_IMAGE082
中的随机点映射成风格空间
Figure 366610DEST_PATH_IMAGE083
，以得到风格编码（“style code”）
Figure 948902DEST_PATH_IMAGE084
。接着，通过将前述风格编码
Figure 811815DEST_PATH_IMAGE084
输入至MG模型602中，以输出生成眼底照片
Figure 223074DEST_PATH_IMAGE085
，对应的数学表示方式为：
Figure 441828DEST_PATH_IMAGE086
在本申请实施例中，可以通过将上述获得的下一阶段的嵌入向量输入至MG模型602中，经由MG模型602重建获得预测眼底图像603。基于预测的眼底图像可以直观地、可视化地观察患者眼底疾病的演进过程。作为示例，可以基于预测的眼底图像观察观察无病或无症状的眼底图像到具有某种疾病或症状的眼底图像的演进过程。
图7是示出根据本申请实施例的预测眼底豹纹密度演进的预测眼底图像。如图7中所示，其从左向右从上至下依次示出待进行预测患者的眼底豹纹密度的初始状态（第一幅图，为“轻度”水平）、中间状态（第二和第三幅图，为“中度”水平）和最终状态（第四幅图，为“重度水平”），也即可视化的展示了眼底豹纹密度从“轻度”发展到“中度”，并且接着从“中度”发展到“重度”的演进变化过程。
图8是示出根据本申请实施例的用于对眼底疾病的演进进行预测的方法800的示例性流程框图。如图8中所示，在步骤802处，获取至少包含待预测的患者的眼底图像和多模态信息的数据集。在一个实施例中，该数据集中的待进行聚类的患者的眼底图像可以通过例如眼底相机拍摄获得。待进行聚类的患者的多模态信息可以从医疗数据库中获取，并且该多模态信息可以包括但不仅限于是患者的年龄、性别、教育、职业、肝功能、肾功能或者血脂类或者基础疾病信息、药史信息或者家族疾病史信息中的一种或者多种。此外，前述数据集还可以包括例如患者的身份标识信息和检查时间戳信息。
接着，在步骤804处，基于演进阶段对数据集进行划分，以获得各阶段的子数据集。其中，该演进阶段可以包括时间维度或者病程维度。由此，基于时间维度或者病程维度可以将数据集划分为若干子数据集。基于各阶段的子数据集，在步骤806处，对各阶段的子数据集进行聚类，以获得各阶段对应的聚类结果。具体地，可以对各阶段的子数据集中的眼底图像和多模态信息进行合并，以获得各阶段的合并数据，接着使用训练完成的模型对各阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。其中，关于合并的更多细节，可以参考上述图1的描述，本申请在此不再赘述。
在实现场景中，上述训练完成的模型可以包括特征提取子模型（例如SDAE模型）和聚类子模型，通过特征提取子模型对各阶段的合并数据执行特征提取操作，以获得对应的特征并统一表示成各自的特征空间，接着使用聚类子模型在各自的特征空间内对相应阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。
进一步地，在步骤808处，根据对应的聚类结果计算演进阶段中的群体方向向量。在一个实施例中，首先可以根据对应的聚类结果确定当前阶段的聚类演进至下一阶段的聚类的子方向向量和迁移概率矩阵，以基于子方向向量和迁移概率矩阵计算演进阶段中的群体方向向量。其中，前述子方向向量为两个子聚类的中心嵌入向量的差值，前述迁移概率矩阵可以基于上述公式（5）获得，进而通过上述公式（7）获得群体方向向量。
在获得群体方向向量后，在步骤810处，基于群体方向向量生成待预测的患者的预测眼底图像，以对眼底疾病的演进进行预测。在实现场景中，首先可以基于群体方向向量确定患者在下一阶段的眼底图像的嵌入向量，接着基于下一阶段的眼底图像的嵌入向量，使用生成网络生成待预测的患者的预测眼底图像。具体地，可以基于上述公式（8）或者公式（9）获得下一阶段的眼底图像的嵌入向量，通过将下一阶段的眼底图像的嵌入向量输入至生成网络（例如GAN网络）中，能够输出预测眼底图像，从而能够直观地、可视化的观察眼底疾病的演进过程。
图9是示出根据本申请实施例的用于对眼底疾病的演进进行预测的设备900的示例性结构框图。可以理解的是，实现本申请方案的设备可以是单一的设备（例如计算设备）或包括各种外围设备的多功能设备。
如图9中所示，本申请的设备可以包括中央处理器或中央处理单元（“CPU”）911，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，设备900还可以包括大容量存储器912和只读存储器（“ROM”）913，其中大容量存储器912可以配置用于存储各类数据，包括各种与患者的眼底图像和多模态信息、算法数据、中间结果和运行设备900所需要的各种程序。ROM 913可以配置成存储对于设备900的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据和指令。
可选地，设备900还可以包括其他的硬件平台或组件，例如示出的张量处理单元（“TPU”）914、图形处理单元（“GPU”）915、现场可编程门阵列（“FPGA”）916和机器学习单元（“MLU”）917。可以理解的是，尽管在设备900中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备900可以仅包括CPU、相关存储设备和接口设备来实现本申请的用于对眼底疾病的演进进行预测的方法。
在一些实施例中，为了便于数据与外部网络的传递和交互，本申请的设备900还包括通信接口918，从而可以通过该通信接口918连接到局域网/无线局域网（“LAN/WLAN”）905，进而可以通过该LAN/WLAN连接到本地服务器906或连接到因特网（“Internet”）907。替代地或附加地，本申请的设备900还可以通过通信接口918基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第3代（“3G”）、第4代（“4G”）或第5代（“5G”）的无线通信技术。在一些应用场景中，本申请的设备900还可以根据需要访问外部网络的服务器908和数据库909，以便获得各种已知的算法、数据和模块，并且可以远程地存储各种数据，例如用于呈现例如患者的眼底图像、多模态信息、嵌入向量或者聚类结果等的各类数据或指令。
设备900的外围设备可以包括显示装置902、输入装置903和数据传输接口904。在一个实施例中，显示装置902可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本申请的预测眼底疾病的演进进行语音提示和/或图像视频显示。输入装置903可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件，其配置用于接收音频数据的输入和/或用户指令。数据传输接口904可以包括例如串行接口、并行接口或通用串行总线接口（“USB”）、小型计算机系统接口（“SCSI”）、串行ATA、火线（“FireWire”）、PCI Express和高清多媒体接口（“HDMI”）等，其配置用于与其他设备或系统的数据传输和交互。根据本申请的方案，该数据传输接口904可以接收来自于眼底相机拍摄的眼底图像和医疗数据库记录的患者的多模态信息，并且向设备900传送包括眼底图像和多模态信息或各种其他类型的数据或结果。
本申请的设备900的上述CPU 911、大容量存储器912、ROM 913、TPU 914、GPU 915、FPGA 916、MLU 917和通信接口918可以通过总线919相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线919，CPU 911可以控制设备900中的其他硬件组件及其外围设备。
以上结合图9描述了可以用于执行本申请的用于对眼底疾病的演进进行预测的设备。需要理解的是这里的设备结构或架构仅仅是示例性的，本申请的实现方式和实现实体并不受其限制，而是可以在不偏离本申请的精神下做出改变。
根据上述结合附图的描述，本领域技术人员也可以理解本申请的实施例还可以通过软件程序来实现。由此本申请还提供了一种计算机程序产品。该计算机程序产品可以用于实现本申请结合附图8所描述的用于对眼底疾病的演进进行预测的方法。
应当注意，尽管在附图中以特定顺序描述了本申请方法的操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
应当理解，当本申请的权利要求、当说明书及附图中使用到术语“第一”、“第二”、“第三”和“第四”等时，其仅用于区别不同对象，而不是用于描述特定顺序。本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
虽然本申请的实施方式如上，但所述内容只是为便于理解本申请而采用的实施例，并非用以限定本申请的范围和应用场景。任何本申请所述技术领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (15)

1.一种用于对眼底疾病的演进进行预测的装置，其特征在于，包括：
处理器；以及
存储器，其存储有用于对眼底疾病的演进进行预测的程序指令，当所述程序指令由所述处理器执行时，使得所述装置执行以下操作：
获取至少包含待预测的患者的眼底图像和多模态信息的数据集；
基于演进阶段对所述数据集进行划分，以获得各阶段的子数据集；
对所述各阶段的子数据集进行聚类，以获得各阶段对应的聚类结果；
根据所述对应的聚类结果计算所述演进阶段中的群体方向向量；以及
基于所述群体方向向量生成所述待预测的患者的预测眼底图像，以对眼底疾病的演进进行预测。
2.根据权利要求1所述的装置，其特征在于，所述多模态信息包括所述患者的基础信息、生化指标信息或者疾病史信息中的一种或者多种，其中所述基础信息包括年龄、性别、教育或者职业中的一种或者多种；所述生化指标包括肝功能、肾功能或者血脂类中的一种或者多种；所述疾病史信息包括基础疾病信息、药史信息或者家族疾病史信息中的一种或者多种。
3.根据权利要求1所述的装置，其特征在于，所述演进阶段至少包括时间维度或者病程维度。
4.根据权利要求2所述的装置，其特征在于，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得各阶段对应的聚类结果：
将所述各阶段的子数据集中的眼底图像和多模态信息进行合并，以获得各阶段的合并数据；以及
使用训练完成的模型对所述各阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。
5.根据权利要求4所述的装置，其特征在于，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得各阶段的合并数据：
使用训练好的嵌入模型获取所述各阶段的子数据集中的眼底图像的嵌入向量；
分别对所述嵌入向量和所述各阶段的子数据集中的多模态信息执行归一化操作，以获得各自的归一化结果；以及
将所述各自的归一化结果进行合并，以获得各阶段的合并数据。
6.根据权利要求5所述的装置，其特征在于，所述训练完成的模型包括特征提取子模型和聚类子模型，并且当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得各阶段对应的聚类结果：
使用所述特征提取子模型对所述各阶段的合并数据执行特征提取操作，以获得对应的特征并各自形成统一表示的特征空间；以及
使用所述聚类子模型在所述各自的特征空间内对相应阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。
7.根据权利要求6所述的装置，其特征在于，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作计算所述演进阶段中的群体方向向量：
根据所述对应的聚类结果确定当前阶段的聚类演进至下一阶段的聚类的子方向向量和迁移概率矩阵；以及
基于所述子方向向量和所述迁移概率矩阵计算所述演进阶段中的群体方向向量。
8.根据权利要求7所述的装置，其特征在于，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定当前阶段的聚类演进至下一阶段的聚类的子方向向量：
根据所述对应的聚类结果计算各阶段的聚类中眼底图像的嵌入向量的平均值，以获得各聚类的中心嵌入向量；以及
基于所述下一阶段的聚类和所述当前阶段的聚类各自的中心嵌入向量的差值确定所述当前阶段的聚类演进至所述下一阶段的聚类的子方向向量。
9.根据权利要求7所述的装置，其特征在于，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定当前阶段的聚类演进至下一阶段的聚类的迁移概率矩阵：
根据所述对应的聚类结果确定属于所述当前阶段的聚类的样本迁移至下一阶段的样本总集合；
根据所述对应的聚类结果确定属于所述当前阶段的聚类的样本迁移至所述下一阶段的各聚类的样本子集合；以及
基于所述样本子集合和所述样本总集合的比值确定当前阶段的聚类演进至下一阶段的聚类的迁移概率矩阵。
10.根据权利要求7所述的装置，其特征在于，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作：
设置修正概率，并且使用所述修正概率对所述迁移概率矩阵进行修正。
11.根据权利要求8所述的装置，其特征在于，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作生成所述待预测的患者的预测眼底图像：
基于所述群体方向向量确定所述患者在下一阶段的眼底图像的嵌入向量；以及
基于所述下一阶段的眼底图像的嵌入向量，使用生成网络生成所述待预测的患者的预测眼底图像。
12.根据权利要求11所述的装置，其特征在于，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定所述患者在下一阶段的眼底图像的嵌入向量：
响应于所述患者在数据库中无记录，将所述当前阶段的眼底图像的嵌入向量和所述群体方向向量之和确定为所述下一阶段的眼底图像的嵌入向量；或者
响应于所述患者在数据库中有历史记录，基于所述患者的历史记录设置个体历史趋势贡献和群体趋势贡献，将所述当前阶段的眼底图像的嵌入向量、所述个体历史趋势贡献和所述群体趋势贡献之和确定为所述患者在下一阶段的眼底图像的嵌入向量。
13.根据权利要求12所述的装置，其特征在于，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作设置个体历史趋势贡献和群体趋势贡献：
基于所述历史记录确定演进至所述当前阶段的方向向量的加权平均值；
设置个体趋势动量和群体趋势动量；
将所述个体趋势动量和所述加权平均值的乘积设置为所述个体历史趋势贡献；以及
将所述群体趋势动量和所述群体方向向量的乘积设置为所述群体趋势贡献。
14.一种用于对眼底疾病的演进进行预测的方法，其特征在于，包括：
获取至少包含待预测的患者的眼底图像和多模态信息的数据集；
基于演进阶段对所述数据集进行划分，以获得各阶段的子数据集；
对所述各阶段的子数据集进行聚类，以获得各阶段对应的聚类结果；
根据所述对应的聚类结果计算所述演进阶段中的群体方向向量；以及
基于所述群体方向向量生成所述待预测的患者的预测眼底图像，以对眼底疾病的演进进行预测。
15.一种计算机可读存储介质，其上存储有用于对眼底疾病的演进进行预测的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现根据权利要求14所述的方法。
CN202211310923.8A 2022-10-25 2022-10-25 用于对眼底疾病的演进进行预测的装置、方法和存储介质 Active CN115376698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211310923.8A CN115376698B (zh) 2022-10-25 2022-10-25 用于对眼底疾病的演进进行预测的装置、方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211310923.8A CN115376698B (zh) 2022-10-25 2022-10-25 用于对眼底疾病的演进进行预测的装置、方法和存储介质

Publications (2)

Publication Number Publication Date
CN115376698A true CN115376698A (zh) 2022-11-22
CN115376698B CN115376698B (zh) 2023-04-11

Family

ID=84074016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211310923.8A Active CN115376698B (zh) 2022-10-25 2022-10-25 用于对眼底疾病的演进进行预测的装置、方法和存储介质

Country Status (1)

Country Link
CN (1) CN115376698B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140226888A1 (en) * 2011-05-11 2014-08-14 Frank M. Skidmore Method, Systems and Computer Program Products for Medical Brian Imaging Analysis
CN107273685A (zh) * 2017-06-14 2017-10-20 广东工业大学 一种针对临床疾病的多模态大数据的数据分析方法
CN107292103A (zh) * 2017-06-19 2017-10-24 京东方科技集团股份有限公司 一种预测图像生成方法及装置
CN110729044A (zh) * 2019-10-08 2020-01-24 腾讯医疗健康(深圳)有限公司 糖网病变阶段识别模型的训练方法及糖网病变识别设备
CN111462909A (zh) * 2020-03-30 2020-07-28 安徽科大讯飞医疗信息技术有限公司 疾病演化跟踪和病情提示方法、装置及电子设备
JP2021074095A (ja) * 2019-11-06 2021-05-20 株式会社ニデック 眼科画像処理装置および眼科画像処理プログラム
CN113035279A (zh) * 2021-04-13 2021-06-25 西北工业大学 基于miRNA测序数据的帕金森疾病演化关键模块识别方法
CN113171075A (zh) * 2021-04-16 2021-07-27 东北大学 基于深度生成模型的神经退行性疾病脑影像生成预测方法
CN113793667A (zh) * 2021-09-16 2021-12-14 平安科技（深圳）有限公司 基于聚类分析的疾病预测方法、装置及计算机设备
CN114119359A (zh) * 2022-01-25 2022-03-01 北京鹰瞳科技发展股份有限公司 用于基于眼底图像的疾病演进的图像生成方法及其相关产品
US20220093261A1 (en) * 2020-09-23 2022-03-24 Baxter International Inc. Chronic kidney disease (ckd) machine learning prediction system, methods, and apparatus
CN114724231A (zh) * 2022-04-13 2022-07-08 东北大学 一种基于迁移学习的青光眼多模态智能识别系统
CN114758774A (zh) * 2022-02-23 2022-07-15 北京科技大学 基于丘脑皮层神经计算模型的阿尔茨海默病演化趋势分析

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140226888A1 (en) * 2011-05-11 2014-08-14 Frank M. Skidmore Method, Systems and Computer Program Products for Medical Brian Imaging Analysis
CN107273685A (zh) * 2017-06-14 2017-10-20 广东工业大学 一种针对临床疾病的多模态大数据的数据分析方法
CN107292103A (zh) * 2017-06-19 2017-10-24 京东方科技集团股份有限公司 一种预测图像生成方法及装置
CN110729044A (zh) * 2019-10-08 2020-01-24 腾讯医疗健康(深圳)有限公司 糖网病变阶段识别模型的训练方法及糖网病变识别设备
JP2021074095A (ja) * 2019-11-06 2021-05-20 株式会社ニデック 眼科画像処理装置および眼科画像処理プログラム
CN111462909A (zh) * 2020-03-30 2020-07-28 安徽科大讯飞医疗信息技术有限公司 疾病演化跟踪和病情提示方法、装置及电子设备
US20220093261A1 (en) * 2020-09-23 2022-03-24 Baxter International Inc. Chronic kidney disease (ckd) machine learning prediction system, methods, and apparatus
CN113035279A (zh) * 2021-04-13 2021-06-25 西北工业大学 基于miRNA测序数据的帕金森疾病演化关键模块识别方法
CN113171075A (zh) * 2021-04-16 2021-07-27 东北大学 基于深度生成模型的神经退行性疾病脑影像生成预测方法
CN113793667A (zh) * 2021-09-16 2021-12-14 平安科技（深圳）有限公司 基于聚类分析的疾病预测方法、装置及计算机设备
CN114119359A (zh) * 2022-01-25 2022-03-01 北京鹰瞳科技发展股份有限公司 用于基于眼底图像的疾病演进的图像生成方法及其相关产品
CN114758774A (zh) * 2022-02-23 2022-07-15 北京科技大学 基于丘脑皮层神经计算模型的阿尔茨海默病演化趋势分析
CN114724231A (zh) * 2022-04-13 2022-07-08 东北大学 一种基于迁移学习的青光眼多模态智能识别系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ANGEL AYALA ET AL.: "Diabetic Retinopathy Improved Detection Using Deep Learning", 《APPLIED SCIENCES》 *
ISURU WIJESINGHE ET AL.: "A Smart Telemedicine System with Deep Learning to Manage Diabetic Retinopathy and Foot Ulcers", 《2019 MORATUWA ENGINEERING RESEARCH CONFERENCE (MERCON)》 *
LI DONG ET AL.: "Artificial Intelligence for Screening of Multiple Retinal and Optic Nerve Diseases", 《JAMA NETWORK OPEN》 *
粘伟杰: "基于深度学习的糖尿病视网膜病变眼底图像生成和分类研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑(月刊)》 *
闫育铭 等: "基于深度迁移学习的糖尿病视网膜病变的检测", 《光学仪器》 *

Also Published As

Publication number Publication date
CN115376698B (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
US11983850B2 (en) Image processing method and apparatus, device, and storage medium
US10853409B2 (en) Systems and methods for image search
JP6975253B2 (ja) エンティティ間のコンテキスト的類似度の学習及び適用
US10430716B2 (en) Data driven featurization and modeling
WO2022105117A1 (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
WO2020057052A1 (en) Machine-aided dialog system and medical condition inquiry apparatus and method
JP2021500692A (ja) 系図エンティティ解決システムおよび方法
WO2021135449A1 (zh) 基于深度强化学习的数据分类方法、装置、设备及介质
Li et al. Multithreshold change plane model: Estimation theory and applications in subgroup identification
CN111091010A (zh) 相似度确定、网络训练、查找方法及装置和存储介质
WO2021184799A1 (zh) 医学图像处理方法、装置、设备及存储介质
CN114708212A (zh) 一种基于SEA-Unet的心脏图像分割方法
US20210225513A1 (en) Method to Create Digital Twins and use the Same for Causal Associations
US20240046471A1 (en) Three-dimensional medical image recognition method and apparatus, device, storage medium, and product
CN115376698B (zh) 用于对眼底疾病的演进进行预测的装置、方法和存储介质
CN114119359B (zh) 用于基于眼底图像的疾病演进的图像生成方法及其相关产品
CN115590481A (zh) 一种用于预测认知障碍的装置和计算机可读存储介质
WO2022249407A1 (ja) アセスメント支援システム、アセスメント支援方法、及び記録媒体
CN116189898B (zh) 预测帕金森病危险等级的预测模型进行训练的方法及装置
CN115375934B (zh) 用于对进行聚类的模型进行训练分析的方法和相关产品
JP2015510408A (ja) バイオイメージンググリッド
Wolock et al. A framework for leveraging machine learning tools to estimate personalized survival curves
JP7491405B2 (ja) 点過程学習方法、点過程学習装置及びプログラム
CN116205909B (zh) 一种用于预测帕金森病认知障碍的装置和存储介质
CN114999001B (zh) 用于预测冻结步态的方法、设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant