CN112133441B - 一种mh术后裂孔状态预测模型的建立方法和终端 - Google Patents

一种mh术后裂孔状态预测模型的建立方法和终端 Download PDF

Info

Publication number
CN112133441B
CN112133441B CN202010850446.9A CN202010850446A CN112133441B CN 112133441 B CN112133441 B CN 112133441B CN 202010850446 A CN202010850446 A CN 202010850446A CN 112133441 B CN112133441 B CN 112133441B
Authority
CN
China
Prior art keywords
network
training
neural network
feature extraction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010850446.9A
Other languages
English (en)
Other versions
CN112133441A (zh
Inventor
余洪华
蔡宏民
肖宇
全悟秀
吴乔伟
刘宝怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong General Hospital
Original Assignee
Guangdong General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong General Hospital filed Critical Guangdong General Hospital
Priority to CN202010850446.9A priority Critical patent/CN112133441B/zh
Publication of CN112133441A publication Critical patent/CN112133441A/zh
Application granted granted Critical
Publication of CN112133441B publication Critical patent/CN112133441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种MH术后裂孔状态预测模型的建立方法和终端，包括：获取MH患者的OCT图像和临床文本数据，构建MH数据集，将数据集划分训练集和测试集；对OCT图像预处理，基于MH患者将OCT图像与临床文本数据配对；搭建图像特征提取网络；利用训练集训练图像特征提取网络；搭建并训练用于提取临床文本特征的全连接神经网络；基于训练后的图像特征提取网络与全连接神经网络搭建多模态特征融合网络；采用测试集对训练好的多模态特征融合网络进行性能评估，并当性能评估通过后，将训练好的多模态特征融合网络作为MH术后裂孔状态预测模型。本方案预测结果准确、通用性强、应用范围广，能更有效的将MH患者术后裂孔复位情况进行预测的手段应用于临床。

Description

一种MH术后裂孔状态预测模型的建立方法和终端
技术领域
本发明涉及临床医学眼科和计算机工程领域，特别涉及一种MH术后裂孔状态预测模型的建立方法和终端。
背景技术
MH(Macular Hole，黄斑裂孔)患者主要临床表现为中心视力下降和视物变形，在MH的发病机制中，玻璃体前后方向的牵拉和切线方向的牵引力均起重要作用。玻璃体切除术联合内界膜剥除术(VILMP，vitrectomy and internal limiting membrane peeling)是目前治疗MH的最主要术式，术后裂孔愈合率也较为理想，但仍有约三分之一的患者术后裂孔闭合失败甚至进一步扩大。对于这部分患者，采用手术治疗不仅达不到治疗效果，反而增加了患者的经济负担和身心负担，以及社会医疗负担。因此，术前预测MH患者行VILMP术后裂孔的解剖学复位情况，对该术式治疗预后不佳的患者及时改用其他治疗方法(如改变手术方式或采用药物治疗)，达到早期判断病情、个性化治疗改善预后的目的。
有研究表明，MH的预后信息可以从术前的OCT(Optical Coherence Tomography,光学相干断层扫描)图像中获得,然而，传统的统计学方法只能对术前OCT图像中裂孔的进行形态学测量，将某些特征转化为可分析的量化指标，再基于这些量化指标对术后裂孔形态进行预测。这些指标往往只代表了裂孔的某一部分特点，而无法囊括图像中所有信息。
此外，临床上，眼科医师往往依靠自身的临床经验，结合OCT图像中裂孔的形态、部分形态学参数和一般临床信息对MH患者行VILMP术后裂孔的解剖学复位情况进行预判，主观性很强、综合考虑的因素较多且复杂，且很大程度取决于眼科医师临床经验以及知识水平。目前仍缺乏准确、通用性强、应用范围广的对MH患者术后裂孔复位情况进行预测的手段应用于临床。
发明内容
有鉴于此，本发明提出了一种MH术后裂孔状态预测模型的建立方法和终端，提供的MH术后裂孔状态预测模型，预测结果准确、通用性强、应用范围广，能更有效的将MH患者术后裂孔复位情况进行预测的手段应用于临床。
具体的，本发明提出了以下具体的实施例：
本发明实施例提出了一种MH术后裂孔状态预测模型的建立方法，包括：
获取MH患者的OCT图像和临床文本数据，构建MH数据集，并将数据集划分训练集和测试集；
对所述OCT图像预处理，并基于所述MH患者将所述OCT图像与所述临床文本数据配对；
搭建基于VGG卷积神经网络的图像特征提取网络；
利用所述训练集训练所述图像特征提取网络；
搭建并训练用于提取临床文本特征的全连接神经网络；
基于训练后的所述图像特征提取网络与所述全连接神经网络搭建多模态特征融合网络；
采用所述测试集对训练好的多模态特征融合网络进行性能评估，并当性能评估通过后，将训练好的多模态特征融合网络作为MH术后裂孔状态预测模型。
在一个具体的实施例中，所述OCT图像关联有标签；所述标签与术后OCT图像上裂孔状态对应；
所述临床文本数据包括：性别、年龄、病程、裂孔最小直径、裂孔最大直径、裂孔最大高度、黄斑裂孔指数、裂孔形成因子、裂孔牵拉指数、裂孔直径指数。
在一个具体的实施例中，所述“对所述OCT图像预处理”，包括：
对所述OCT图像进行饱和像素值的移除、降噪、边缘切除的处理；
将处理后的所述OCT图像调整为统一尺寸大小。
在一个具体的实施例中，所述“基于所述MH患者将所述OCT图像与所述临床文本数据配对”，包括：
读取所述临床文本数据与所述OCT图像；
按照MH患者的ID编号，使得读取的所述临床文本数据与所述OCT 图像根据同一ID编号配对在同一索引位置，以完成数据配对；其中，数据配对的所述临床文本数据与所述OCT图像的维度一致。
在一个具体的实施例中，所述“搭建基于VGG卷积神经网络的图像特征提取网络”，包括：
采用交叉熵损失函数评估VGG卷积神经网络输出值和真实值之间的差异程度；
采用ReLU激活函数，提高VGG卷积神经网络的非线性，增加VGG 卷积神经网络的稀疏性；
采用Dropout层作用在VGG卷积神经网络的全连接层；
采用Batchnorm层作用在VGG卷积神经网络的每层卷积层之后，将每层神经网络层的神经元输入值的分布拉回到标准正态分布，以生成图像特征提取网络。
在一个具体的实施例中，所述“利用所述训练集训练所述图像特征提取网络”，包括：
步骤A、导入图像特征提取网络；
步骤B、调整所述图像特征提取网络的预设网络参数；
步骤C、将打乱后的训练集按预设批大小依次输入当前的所述图像特征提取网络进行训练，以基于所述测试集得到准确率；
步骤D、重复执行步骤B与步骤C，并将当前得到的准确率与前一次得到的准确率进行比较；若当前得到的准确率为连续预设次数中最优的，则停止训练，并将最优的准确率对应的图像特征提取网络进行保存。
在一个具体的实施例中，所述“搭建并训练用于提取临床文本特征的全连接神经网络”，包括：
输入预设特征大小的临床文本数据，经过通道数分别为64、64和10 的全连接网络，使用ReLU函数激活，以构建层数分别为“10-64-64-10-2”的三隐藏层神经网络；
将训练集以预设批大小输入三隐藏层神经网络进行训练；
保存每次训练得到的训练模型；
采用加权交叉熵损失函数对所述训练进行评估，以选择最优的训练模型作为全连接神经网络。
在一个具体的实施例中，所述“基于训练后的所述图像特征提取网络与所述全连接神经网络搭建多模态特征融合网络”，包括：
基于训练后的所述图像特征提取网络、所述全连接神经网络以及多个全连接层、融合层构建多模态特征融合网络。
在一个具体的实施例中，所述性能评估包括以下参数的评估：准确率、召回率、精确率、F1值、受试者工作特征曲线下面积。
本发明实施例还提出了一种终端，包括存储器与处理器；所述处理器运行所述存储器中的程序时执行上述的方法。
以此，本发明实施例提出了一种MH术后裂孔状态预测模型的建立方法和终端，该方法包括：获取MH患者的OCT图像和临床文本数据，构建MH数据集，并将数据集划分训练集和测试集；对所述OCT图像预处理，并基于所述MH患者将所述OCT图像与所述临床文本数据配对；搭建基于VGG卷积神经网络的图像特征提取网络；利用所述训练集训练所述图像特征提取网络；搭建并训练用于提取临床文本特征的全连接神经网络；基于训练后的所述图像特征提取网络与所述全连接神经网络搭建多模态特征融合网络；采用所述测试集对训练好的多模态特征融合网络进行性能评估，并当性能评估通过后，将训练好的多模态特征融合网络作为MH 术后裂孔状态预测模型。本方案提供的MH术后裂孔状态预测模型，预测结果准确、通用性强、应用范围广，能更有效的将MH患者术后裂孔复位情况进行预测的手段应用于临床。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提出的一种MH术后裂孔状态预测模型的建立方法的流程示意图；
图2为本发明实施例提出的一种MH术后裂孔状态预测模型中多模态特征融合网络结构图。
具体实施方式
在下文中，将更全面地描述本公开的各种实施例。本公开可具有各种实施例，并且可在其中做出调整和改变。然而，应理解：不存在将本公开的各种实施例限于在此公开的特定实施例的意图，而是应将本公开理解为涵盖落入本公开的各种实施例的精神和范围内的所有调整、等同物和/或可选方案。
在本公开的各种实施例中使用的术语仅用于描述特定实施例的目的并且并非意在限制本公开的各种实施例。如在此所使用，单数形式意在也包括复数形式，除非上下文清楚地另有指示。除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本公开的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本公开的各种实施例中被清楚地限定。
实施例1
本发明实施例1公开了一种MH术后裂孔状态预测模型的建立方法，如图1以及图2所示，包括：
步骤101、获取MH患者的OCT图像和临床文本数据，构建MH数据集，并将数据集划分训练集和测试集；
具体的，所述OCT图像关联有标签；所述标签与术后OCT图像上裂孔状态对应；具体的，例如术后MH闭合患者的标签为1，未闭合患者的标签为0；OCT图像可以为TIFF输出格式的图片。
所述临床文本数据包括：性别、年龄、病程、裂孔最小直径、裂孔最大直径、裂孔最大高度、黄斑裂孔指数、裂孔形成因子、裂孔牵拉指数、裂孔直径指数。
步骤102、对所述OCT图像预处理，并基于所述MH患者将所述OCT 图像与所述临床文本数据配对；
具体的，步骤102中的所述“对所述OCT图像预处理”，包括：
对所述OCT图像进行饱和像素值的移除、降噪、边缘切除的处理；
将处理后的所述OCT图像调整为统一尺寸大小。
具体的，预处理包括：先进性饱和像素值的移除、降噪、边缘切除；然后利用python语言读取图像，然后按对应图像贴上标签；使用resize 函数将所有图像调整为224×224大小，便于输入到网络模型中。
进一步的，步骤102中的所述“基于所述MH患者将所述OCT图像与所述临床文本数据配对”，包括：
读取所述临床文本数据与所述OCT图像；
按照MH患者的ID编号，使得读取的所述临床文本数据与所述OCT 图像根据同一ID编号配对在同一索引位置，以完成数据配对；其中，数据配对的所述临床文本数据与所述OCT图像的维度一致。
具体的，数据配对包括：利用python语言读取临床文本特征和对应标签，然后按照患者ID(Identity document，身份标识)编号，使读入的文本数据与图像数据按患者配对在同一索引位置，由于同一个患者可以有多张图像数据，出现多张图像数据对应一个文本数据的情况，因此把文本数据扩充使两者完全对应，使得两个输入的维度一致，标签也一致。配对时，剔除图像或临床本文数据缺失的患者数据。
步骤103、搭建基于VGG卷积神经网络的图像特征提取网络；图像特征提取网络用于对OCT图像进行图像特征提取；
具体的，步骤103中的所述“搭建基于VGG卷积神经网络的图像特征提取网络”，包括：
采用交叉熵损失函数评估VGG卷积神经网络输出值和真实值之间的差异程度；具体的，通常来说损失函数的所有值都是非负的，如果模型的鲁棒性更优，相应的损失值就越小，得到的结果就更加具有说服力；
采用ReLU激活函数，提高VGG卷积神经网络的非线性，增加VGG 卷积神经网络的稀疏性；以此，可以有效避免模型的过拟合作用和梯度消失，提高了计算速度；
采用Dropout层作用在VGG卷积神经网络的全连接层；以此可以有效减少隐藏层节点之间的交互，并减少神经元之间的复杂共适应关系，有效避免了过拟合作用。
采用Batchnorm层作用在VGG卷积神经网络的每层卷积层之后，将每层神经网络层的神经元输入值的分布拉回到标准正态分布，以生成图像特征提取网络。以此，其不仅提高了训练速度，还有效防止梯度爆炸和梯度消失，避免过拟合作用。
步骤104、利用所述训练集训练所述图像特征提取网络；
具体的步骤104中的所述“利用所述训练集训练所述图像特征提取网络”，包括：
步骤A、导入图像特征提取网络；
步骤B、调整所述图像特征提取网络的预设网络参数；
步骤C、将打乱后的训练集按预设批大小依次输入当前的所述图像特征提取网络进行训练，以基于所述测试集得到准确率；
步骤D、重复执行步骤B与步骤C，并将当前得到的准确率与前一次得到的准确率进行比较；若当前得到的准确率为连续预设次数中最优的，则停止训练，并将最优的准确率对应的图像特征提取网络进行保存。
具体的，该过程也可以包括如下步骤：
S1：导入已在ImageNet数据集上预训练的VGG16模型，对网络结构以及参数进行微调；S2：分别对不同参数的网络结构模型进行网络搭建，固定部分网络参数并对其它参数进行初始化，如选用的SGD优化器参数； S3：将打乱后的训练集按批大小(batch size)为8依次输入模型，通过网络的训练后保存相应模型和参数并在测试集上得到准确率(accuracy,Acc)的结果；S4：重复S2和S3的操作，并将此次训练的模型得到的 Acc与上一个模型的进行比较，当某次结果在连续5次比较中处于最优，训练停止，并选取该次训练的模型作为该网络模型的最优模型；S5：保存图像特征提取网络的最优模型的结果，将图像特征提取块用作特征融合网络图像特征提取部分。
步骤105、搭建并训练用于提取临床文本特征的全连接神经网络；全连接神经网络用于提取临床文本数据中的临床文本特征；
具体的，步骤105中的所述“搭建并训练用于提取临床文本特征的全连接神经网络”，包括：
输入预设特征大小的临床文本数据，经过通道数分别为64、64和10 的全连接网络，使用ReLU函数激活，以构建层数分别为“10-64-64-10-2”的三隐藏层神经网络；
将训练集以预设批大小输入三隐藏层神经网络进行训练；
保存每次训练得到的训练模型；
采用加权交叉熵损失函数对所述训练进行评估，以选择最优的训练模型作为全连接神经网络。
具体的，例如可以输入特征大小为10的临床数据，经过通道数分别为64、64和10的全连接网络，使用ReLU函数激活对输出激活。构建层数分别为“10-64-64-10-2”的三隐藏层神经网络，将训练集数据输入模型进行训练，训练批大小为16，损失函数采用加权交叉熵损失，保存每轮的训练模型及测试集的输出结果，选择最优的模型的参数为融合网络模型所用。
步骤106、基于训练后的所述图像特征提取网络与所述全连接神经网络搭建多模态特征融合网络；
具体的，步骤106中的所述“基于训练后的所述图像特征提取网络与所述全连接神经网络搭建多模态特征融合网络”，包括：
基于训练后的所述图像特征提取网络、所述全连接神经网络以及多个全连接层、融合层构建多模态特征融合网络。
具体的，如图2所示，多模态特征融合网络不需要重新训练参数，加载上述保存好的最优的网络模型，去除顶层输出层，将OCT图像和临床文本数据的并联输入，图像和临床文本数据使用的标签一致，输出为预测每位患者术后MH闭合的概率，经过计算和转换得到预测分类。整个网络包含1个图像特征提取网络，1个临床特征提取网络，6个全连接层，其中3个全连接层与临床数据相连接，3个全连接层与融合特征相连接。包含一个融合层，将提取的图像特征和临床文本特征经Python语言代码 concatenate操作融合后，经过全连接层之后的输出拼接，最后将融合层的输出传递到softmax层即得到预测结果，完成整个网络结构的搭建。
步骤107、采用所述测试集对训练好的多模态特征融合网络进行性能评估，并当性能评估通过后，将训练好的多模态特征融合网络作为MH术后裂孔状态预测模型。
具体的，所述性能评估包括以下参数的评估：准确率、召回率、精确率、F1值、受试者工作特征曲线下面积。
以此，根据MH患者术前OCT图像、裂孔形态学参数和一般临床信息，我们发明的多模态特征融合网络模型能准确预测MH患者术后的裂孔复位情况。该模型可用于前瞻性评估MH患者术后的解剖学疗效，从而协助临床眼科医生为MH患者制定个性化治疗方案，快速、准确、通用性强、应用范围广。
本发明的多模态特征融合网络模型通过准确预测MH患者行VILMP 手术治疗后的解剖复位情况(裂孔是否闭合)，为眼科医师提供关于MH 患者的手术预后信息，帮助临床眼科医生制定个性化的手术方案。对于预测行VILMP治疗预后良好的MH患者，继续采用标准VILMP手术治疗。至于预测行VILMP治疗预后不佳的MH患者，可以及时改用其他手术方式，如玻璃体切除术联合内界膜翻转覆盖术或玻璃体切除术联合保留中心凹的内界膜剥除术等，从而有效减少MH患者因预后不佳而再次手术的风险。对于MH患者而言，个性化的手术方案可以节省患者时间和医疗资源，并减轻眼科医生的负担。
本发明的模型基于MH患者的常见临床信息，例如OCT图像、裂孔形态学参数以及常用的一般临床信息对术后的解剖复位情况进行预测，这将允许更多的眼科医生使用该模型，而无需对新的眼科检查机器和人工智能算法进行额外投资。
与目前传统的主观预测方法相比，本发明的多模态特征融合网络预测模型能根据MH患者术前的OCT图像和临床信息，自动预测VILMP术后裂孔的解剖复位情况，具有较好的经济效益和社会效益。我们的多模态特征融合网络模型对样本量相对较小的数据集仍有较高表现力，体现为较高的精度，有望经过继续加大样本、多次反复训练后，应用于许多其他多因素眼部或全身疾病的预后预测。
实施例2
本发明实施例2还提出了一种终端，包括存储器与处理器；所述处理器运行所述存储器中的程序时执行实施例1中所述的方法。
具体的，本发明实施例2还公开有其他相关特征，具体的其他相关特征可以参见实施例1中的记载，在此不再进行赘述。
以此，本发明实施例提出了一种MH术后裂孔状态预测模型的建立方法和终端，该方法包括：获取MH患者的OCT图像和临床文本数据，构建MH数据集，并将数据集划分训练集和测试集；对所述OCT图像预处理，并基于所述MH患者将所述OCT图像与所述临床文本数据配对；搭建基于VGG卷积神经网络的图像特征提取网络；利用所述训练集训练所述图像特征提取网络；搭建并训练用于提取临床文本特征的全连接神经网络；基于训练后的所述图像特征提取网络与所述全连接神经网络搭建多模态特征融合网络；采用所述测试集对训练好的多模态特征融合网络进行性能评估，并当性能评估通过后，将训练好的多模态特征融合网络作为MH 术后裂孔状态预测模型。本方案提供的MH术后裂孔状态预测模型，预测结果准确、通用性强、应用范围广，能更有效的将MH患者术后裂孔复位情况进行预测的手段应用于临床。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本发明序号仅仅为了描述，不代表实施场景的优劣。
以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (9)

1.一种MH术后裂孔状态预测模型的建立方法，其特征在于，包括：
获取MH患者的OCT图像和临床文本数据，构建MH数据集，并将数据集划分训练集和测试集；所述OCT图像关联有标签；所述标签与术后OCT图像上裂孔状态对应；所述临床文本数据包括：性别、年龄、病程、裂孔最小直径、裂孔最大直径、裂孔最大高度、黄斑裂孔指数、裂孔形成因子、裂孔牵拉指数、裂孔直径指数；
对所述OCT图像预处理，并基于所述MH患者将所述OCT图像与所述临床文本数据配对；
搭建基于VGG卷积神经网络的图像特征提取网络；
利用所述训练集训练所述图像特征提取网络；
搭建并训练用于提取临床文本特征的全连接神经网络；
基于训练后的所述图像特征提取网络与所述全连接神经网络搭建多模态特征融合网络；
采用所述测试集对训练好的多模态特征融合网络进行性能评估，并当性能评估通过后，将训练好的多模态特征融合网络作为MH术后裂孔状态预测模型。
2.如权利要求1所述的方法，其特征在于，所述“对所述OCT图像预处理”，包括：
对所述OCT图像进行饱和像素值的移除、降噪、边缘切除的处理；
将处理后的所述OCT图像调整为统一尺寸大小。
3.如权利要求1所述的方法，其特征在于，所述“基于所述MH患者将所述OCT图像与所述临床文本数据配对”，包括：
读取所述临床文本数据与所述OCT图像；
按照MH患者的ID编号，使得读取的所述临床文本数据与所述OCT图像根据同一ID编号配对在同一索引位置，以完成数据配对；其中，数据配对的所述临床文本数据与所述OCT图像的维度一致。
4.如权利要求1所述的方法，其特征在于，所述“搭建基于VGG卷积神经网络的图像特征提取网络”，包括：
采用交叉熵损失函数评估VGG卷积神经网络输出值和真实值之间的差异程度；
采用ReLU激活函数，提高VGG卷积神经网络的非线性，增加VGG卷积神经网络的稀疏性；
采用Dropout层作用在VGG卷积神经网络的全连接层；
采用Batchnorm层作用在VGG卷积神经网络的每层卷积层之后，将每层神经网络层的神经元输入值的分布拉回到标准正态分布，以生成图像特征提取网络。
5.如权利要求1所述的方法，其特征在于，所述“利用所述训练集训练所述图像特征提取网络”，包括：
步骤A、导入图像特征提取网络；
步骤B、调整所述图像特征提取网络的预设网络参数；
步骤C、将打乱后的训练集按预设批大小依次输入当前的所述图像特征提取网络进行训练，以基于所述测试集得到准确率；
步骤D、重复执行步骤B与步骤C，并将当前得到的准确率与前一次得到的准确率进行比较；若当前得到的准确率为连续预设次数中最优的，则停止训练，并将最优的准确率对应的图像特征提取网络进行保存。
6.如权利要求1所述的方法，其特征在于，所述“搭建并训练用于提取临床文本特征的全连接神经网络”，包括：
输入预设特征大小的临床文本数据，经过通道数分别为64、64和10的全连接网络，使用ReLU函数激活，以构建层数分别为“10-64-64-10-2”的三隐藏层神经网络；
将训练集以预设批大小输入三隐藏层神经网络进行训练；
保存每次训练得到的训练模型；
采用加权交叉熵损失函数对所述训练进行评估，以选择最优的训练模型作为全连接神经网络。
7.如权利要求1所述的方法，其特征在于，所述“基于训练后的所述图像特征提取网络与所述全连接神经网络搭建多模态特征融合网络”，包括：
基于训练后的所述图像特征提取网络、所述全连接神经网络以及多个全连接层、融合层构建多模态特征融合网络。
8.如权利要求1所述的方法，其特征在于，所述性能评估包括以下参数的评估：准确率、召回率、精确率、F1值、受试者工作特征曲线下面积。
9.一种终端，其特征在于，包括存储器与处理器；所述处理器运行所述存储器中的程序时执行权利要求1-8中任意一项所述的方法。
CN202010850446.9A 2020-08-21 2020-08-21 一种mh术后裂孔状态预测模型的建立方法和终端 Active CN112133441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010850446.9A CN112133441B (zh) 2020-08-21 2020-08-21 一种mh术后裂孔状态预测模型的建立方法和终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010850446.9A CN112133441B (zh) 2020-08-21 2020-08-21 一种mh术后裂孔状态预测模型的建立方法和终端

Publications (2)

Publication Number Publication Date
CN112133441A CN112133441A (zh) 2020-12-25
CN112133441B true CN112133441B (zh) 2024-05-03

Family

ID=73851711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010850446.9A Active CN112133441B (zh) 2020-08-21 2020-08-21 一种mh术后裂孔状态预测模型的建立方法和终端

Country Status (1)

Country Link
CN (1) CN112133441B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651982A (zh) * 2021-01-12 2021-04-13 杭州智睿云康医疗科技有限公司 基于影像与非影像信息的图像分割方法及系统
CN112784801A (zh) * 2021-02-03 2021-05-11 紫东信息科技(苏州)有限公司 基于文本和图片的双模态胃部疾病分类方法及装置
CN113077875B (zh) * 2021-03-23 2023-04-18 零氪智慧医疗科技(天津)有限公司 Ct影像的处理方法及装置
CN113192642B (zh) * 2021-04-01 2023-02-28 四川大学华西医院 外科患者术后恢复状态预测模型构建系统
CN113380410A (zh) * 2021-06-11 2021-09-10 广州医科大学附属中医医院 一种基于蚕食法和脉复生的tao疗效预测系统
CN113380413A (zh) * 2021-06-24 2021-09-10 首都医科大学附属北京天坛医院 一种构建无效再通fr预测模型的方法和装置
CN114037660A (zh) * 2021-10-26 2022-02-11 国药集团基因科技有限公司 Oct视网膜病变图像识别方法及系统
CN115083005B (zh) * 2022-06-13 2023-07-04 广东省人民医院 一种基于深度学习的rop图像分类系统及方法
CN116344070B (zh) * 2023-03-16 2024-02-13 北京透彻未来科技有限公司 一种病理特征与临床信息融合方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109582794A (zh) * 2018-11-29 2019-04-05 南京信息工程大学 基于深度学习的长文分类方法
CN109691979A (zh) * 2019-01-07 2019-04-30 哈尔滨理工大学 一种基于深度学习的糖尿病视网膜图像病变分类方法
CN109919928A (zh) * 2019-03-06 2019-06-21 腾讯科技（深圳）有限公司 医学影像的检测方法、装置和存储介质
CN110111885A (zh) * 2019-05-09 2019-08-09 腾讯科技（深圳）有限公司 属性预测方法、装置、计算机设备及计算机可读存储介质
CN110299205A (zh) * 2019-07-23 2019-10-01 上海图灵医疗科技有限公司 基于人工智能的生物医学信号特征处理及评测方法、装置及应用
CN110309862A (zh) * 2019-06-11 2019-10-08 广东省人民医院(广东省医学科学院) 基于集成机器学习的dme预后信息预测系统及其应用方法
US10468142B1 (en) * 2018-07-27 2019-11-05 University Of Miami Artificial intelligence-based system and methods for corneal diagnosis
CN110555845A (zh) * 2019-09-27 2019-12-10 上海鹰瞳医疗科技有限公司 眼底oct图像识别方法及设备
CN111008957A (zh) * 2019-11-19 2020-04-14 北京推想科技有限公司 医疗信息处理方法和装置
CN111292853A (zh) * 2020-01-15 2020-06-16 长春理工大学 基于多参数的心血管疾病风险预测网络模型及其构建方法
CN111444960A (zh) * 2020-03-26 2020-07-24 上海交通大学 基于多模态数据输入的皮肤病图像分类系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650286B2 (en) * 2017-09-07 2020-05-12 International Business Machines Corporation Classifying medical images using deep convolution neural network (CNN) architecture

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10468142B1 (en) * 2018-07-27 2019-11-05 University Of Miami Artificial intelligence-based system and methods for corneal diagnosis
CN109582794A (zh) * 2018-11-29 2019-04-05 南京信息工程大学 基于深度学习的长文分类方法
CN109691979A (zh) * 2019-01-07 2019-04-30 哈尔滨理工大学 一种基于深度学习的糖尿病视网膜图像病变分类方法
CN109919928A (zh) * 2019-03-06 2019-06-21 腾讯科技（深圳）有限公司 医学影像的检测方法、装置和存储介质
CN110111885A (zh) * 2019-05-09 2019-08-09 腾讯科技（深圳）有限公司 属性预测方法、装置、计算机设备及计算机可读存储介质
CN110309862A (zh) * 2019-06-11 2019-10-08 广东省人民医院(广东省医学科学院) 基于集成机器学习的dme预后信息预测系统及其应用方法
CN110299205A (zh) * 2019-07-23 2019-10-01 上海图灵医疗科技有限公司 基于人工智能的生物医学信号特征处理及评测方法、装置及应用
CN110555845A (zh) * 2019-09-27 2019-12-10 上海鹰瞳医疗科技有限公司 眼底oct图像识别方法及设备
CN111008957A (zh) * 2019-11-19 2020-04-14 北京推想科技有限公司 医疗信息处理方法和装置
CN111292853A (zh) * 2020-01-15 2020-06-16 长春理工大学 基于多参数的心血管疾病风险预测网络模型及其构建方法
CN111444960A (zh) * 2020-03-26 2020-07-24 上海交通大学 基于多模态数据输入的皮肤病图像分类系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Predicting Postoperative Vision for Macular Hole with Automated Image Analysis;DECLAN C. MURPHY;《Reports》;20200618;4(12);1211-1213 *

Also Published As

Publication number Publication date
CN112133441A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112133441B (zh) 一种mh术后裂孔状态预测模型的建立方法和终端
Lavric et al. KeratoDetect: keratoconus detection algorithm using convolutional neural networks
CN107045720A (zh) 用于识别眼底图像病变的人工神经网络及系统
KR20170061222A (ko) 건강데이터 패턴의 일반화를 통한 건강수치 예측 방법 및 그 장치
CN113689954B (zh) 高血压风险预测方法、装置、设备及介质
CN111985584B (zh) 基于多模态数据的疾病辅助检测设备、方法、装置及介质
Aslam et al. Iris recognition in the presence of ocular disease
CN112869697A (zh) 同时识别糖尿病视网膜病变的分期和病变特征的判断方法
CN115409764A (zh) 一种基于域自适应的多模态眼底血管分割方法及装置
CN117152827A (zh) 一种近视预测模型的训练方法、近视预测方法及装置
Datta et al. Hyper parameter tuning based gradient boosting algorithm for detection of diabetic retinopathy: an analytical review
Asirvatham et al. Hybrid deep learning network to classify eye diseases
Helen et al. EYENET: An Eye Disease Detection System using Convolutional Neural Network
CN111369499B (zh) 一种眼底图像的处理方法及装置
CN112263220A (zh) 一种内分泌疾病智能诊断系统
CN112185564A (zh) 一种基于结构化电子病历的眼科疾病预测方法和存储设备
CN112017784A (zh) 一种基于多模态数据的冠心病风险预测方法及相关设备
CN110992364A (zh) 视网膜图像识别方法、装置、计算机设备和存储介质
Suwandi et al. A Systematic Literature Review: Diabetic Retinopathy Detection Using Deep Learning
CN112132782B (zh) 一种基于深度神经网络对dme分型进行处理的方法和终端
Hassan et al. Identifying the level of diabetic retinopathy using deep convolution neural network
CN115170492A (zh) 一种基于ai技术的白内障患者术后视力智能预测评估系统
Latha et al. Diagnosis of diabetic retinopathy and glaucoma from retinal images using deep convolution neural network
Trivino et al. Deep learning on retina images as screening tool for diagnostic decision support
Meshram et al. MCBM: Implementation Of Multiclass And Transfer Learning Algorithm Based On Deep Learning Model For Early Detection Of Diabetic Retinopathy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant