CN115131642A - 一种基于多视子空间聚类的多模态医学数据融合系统 - Google Patents

一种基于多视子空间聚类的多模态医学数据融合系统 Download PDF

Info

Publication number
CN115131642A
CN115131642A CN202211047979.9A CN202211047979A CN115131642A CN 115131642 A CN115131642 A CN 115131642A CN 202211047979 A CN202211047979 A CN 202211047979A CN 115131642 A CN115131642 A CN 115131642A
Authority
CN
China
Prior art keywords
data
matrix
image
feature
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211047979.9A
Other languages
English (en)
Other versions
CN115131642B (zh
Inventor
李劲松
胡佩君
田雨
周天舒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211047979.9A priority Critical patent/CN115131642B/zh
Publication of CN115131642A publication Critical patent/CN115131642A/zh
Application granted granted Critical
Publication of CN115131642B publication Critical patent/CN115131642B/zh
Priority to JP2023095104A priority patent/JP7333132B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开了一种基于多视子空间聚类的多模态医学数据融合系统，首先对影像进行结构化处理得到影像特征，同时，提取电子病历中与疾病相关的临床变量得到临床特征，然后基于多视子空间聚类引导的多模态数据融合模型，对影像特征和临床特征进行筛选与融合，得到每个特征的重要性排序，最后根据设定的特征数目，得到电子病历和影像数据的融合结果，该融合结果综合电子病历信息和影像信息，从而提高相关疾病预测结果的准确性；本发明保证每种模态的数据在各自空间中可以自表示，保持块对角结构，同时保证融合数据的聚类结果是一致的。利用多视子空间的互补性原则和一致性原则可以综合多模态数据中的互补信息，保证分析结果的一致性。

Description

一种基于多视子空间聚类的多模态医学数据融合系统
技术领域
本发明涉及医学数据融合领域，尤其涉及一种基于多视子空间聚类的多模态医学数据融合系统。
背景技术
临床医生在做疾病诊断时，通常综合患者的电子病历数据和医学影像数据来作出判断或预测。医学影像是诊断疾病的常规手段，包括X光片、CT、磁共振图像等。影像可以反映人体内部的病变器官，基于影像的计算机辅助诊断方法在诸如肺癌、肺结节、肝癌等疾病的诊断中都得到了应用。电子病历系统包含着患者的病史、主诉、检查、人口学等信息，对于疾病的筛查、诊断有重要的作用。结合电子病历和影像数据，可以提高计算机辅助诊断准确率，更加符合医生的诊断方式。传统疾病诊断方法一般基于单一来源数据，比如电子病历或者医学影像单独构建疾病预测模型，对多源异构医学数据的融合还处于学术研究阶段，在临床上结合电子病历和影像多模态数据进行疾病预测的工作很少。因此，研究融合电子病历结构化信息和医学影像非结构化信息的融合方法对提高疾病预测准确率非常有意义。
目前对影像和电子病历数据融合的方法可以分为三类。第一类方法称为特征级融合，在对电子病历和影像分别提取特征后，将两种特征直接连接融合，输入到分类器中作出预测。第二类方法称为决策级融合，对分别利用电子病历和影像预测得到的结果，利用一个简单的融合算法来综合两个预测结果。第三种称之为中间融合，在特征提取与表征阶段，将两类数据融合在一起。相比较后两种方式，特征级融合的计算和可解释性更好，但是大多数方法将提取的影像特征和电子病历特征直接连接融合，将不同来源特征看成是统一视图中的特征，没有考虑两种数据的异质性和可匹配性，可能使得特征失去原有的意义。传统的数据降维方法，例如PCA，RFE, LASSO等，都没有考虑多视图特征的特点。
基于自表示的子空间聚类方法具有对噪声的鲁棒性和完备的理论，是一种常用的高维数据聚类方法。数据自表示即假设数据在线性可分的情况下，数据样本可以由同一子空间的其他数据样本线性组合表示。对数据自表示矩阵加以稀疏表示约束或者低秩表示约束，可以利用自表示矩阵对数据进行降维。在子空间聚类基础上，将对事物不同角度的理解生成多个特征描述视图，进行多视子空间聚类，可以发挥各个视图的优势。
发明内容
本发明目的在于针对现有技术的不足，提出一种基于多视子空间聚类的多模态医学数据融合系统，解决目前电子病历和医学影像数据使用相对独立，已有的多模态医学数据融合方法直接对各个模态提取特征以后，将各类特征直接相连融合，没有考虑多源异构数据的差异性以及各个模态数据的内在结构的问题。
本发明的目的是通过以下技术方案来实现的：一种基于多视子空间聚类的多模态医学数据融合系统，该系统包括数据采集模块、影像结构化模块、电子病历特征提取模块、特征筛选与融合模块和数据融合模块；
所述数据采集模块用于采集待测对象的预设疾病相关电子病历数据，并提取其相关的影像数据；
所述影像结构化模块用于对影像数据进行结构化处理，提取影像特征；
所述电子病历特征提取模块用于对电子病历数据提取相关变量，做数值化处理后作为电子病历特征；
所述特征筛选与融合模块用于基于影像特征和电子病历特征获取多视特征矩阵，并定义无监督的特征选择与融合模型，根据子空间聚类方法的数据自表示性质，设定每个视图特征数据均能够在子空间中被自表示，考虑数据降维得到多视子空间聚类引导的特征筛选模型的目标函数并通过变量交错迭代的方式进行求解，得到特征筛选矩阵；
所述数据融合模块用于基于特征筛选与融合模块得到的特征筛选矩阵，对影像和电子病历特征重要性排序，根据预设的特征个数，得到影像数据和电子病历数据融合结果。
进一步地，所述数据采集模块根据预设疾病和待测对象，基于患者唯一的病案号，从医院电子病历系统中提取电子病历的基本信息和诊断信息，将电子病历的基本信息和诊断信息整合成一个完整的样本。
进一步地，所述数据采集模块获取的医学影像数据为X光片、CT数据或MRI数据。
进一步地，所述影像结构化模块根据预设的疾病，对影像数据标注感兴趣区域，并进行影像预处理，包括影像重采样、灰度值离散化和影像区域框选；最后基于预处理后的影像和标注的感兴趣区域，计算高维影像特征。
进一步地，所述电子病历特征提取模块对得到的电子病历数据进行分析，确定与预设疾病相关的若干个危险因素，包括待测对象的人口学信息、病史、生活习惯和检查项目信息；将各字段的信息数值化，然后对电子病历数据归一化，得到电子病历特征。
进一步地，所述特征筛选与融合模块中获取多视特征矩阵，具体为：将提取的影像 特征和电子病历特征看成是多个视图特征数据，第v个视图的特征定义为
Figure 826473DEST_PATH_IMAGE001
，
Figure 478035DEST_PATH_IMAGE002
是第v视图特征的维度，v=1,2；V个视 图中所有特征定义为
Figure 788930DEST_PATH_IMAGE003
，将他们连接起来表示成总特征矩阵
Figure 980877DEST_PATH_IMAGE004
。
进一步地，所述特征筛选与融合模块中定义无监督的特征选择与融合模型，具体 为：无监督的特征筛选问题的目标优化函数
Figure 326408DEST_PATH_IMAGE005
表示为：
Figure 883291DEST_PATH_IMAGE006
其中
Figure 182948DEST_PATH_IMAGE007
是损失函数，
Figure 178586DEST_PATH_IMAGE008
表示优化函数需要优化的参数，
Figure 378623DEST_PATH_IMAGE009
是 特征筛选矩阵，
Figure 903145DEST_PATH_IMAGE010
是聚类的类别数，
Figure 391895DEST_PATH_IMAGE011
是正则项，
Figure 660065DEST_PATH_IMAGE012
是调节参数；令
Figure 980188DEST_PATH_IMAGE013
表示伪标 签矩阵，
Figure 941191DEST_PATH_IMAGE014
表示成：
Figure 917237DEST_PATH_IMAGE015
其中n为样本数，c为聚类的类别数；范数
Figure 989099DEST_PATH_IMAGE016
表示
Figure 665193DEST_PATH_IMAGE017
范数，具体计算方式为
Figure 531518DEST_PATH_IMAGE018
，其中
Figure 994860DEST_PATH_IMAGE019
表示矩阵A第i行第j列的元素；伪标签通过子空间聚 类中的谱嵌入生成。
进一步地，所述特征筛选与融合模块中根据子空间聚类方法的数据自表示性质，设定每个多视特征数据均能够在子空间中被自表示，具体如下：
Figure 604833DEST_PATH_IMAGE020
其中
Figure 899548DEST_PATH_IMAGE021
是各个视图特征数据的自表示矩阵，
Figure 202353DEST_PATH_IMAGE022
表示长度为n的单位向 量；然后，构造描述数据关系的相似图
Figure 887413DEST_PATH_IMAGE023
，并且满足低秩性，相似图
Figure 301076DEST_PATH_IMAGE024
成分的个 数等于聚类的类别数c，即
Figure 450298DEST_PATH_IMAGE024
的拉普拉斯矩阵的秩等于n-c；低秩性表述为如下优化问题：
Figure 924005DEST_PATH_IMAGE025
其中
Figure 96360DEST_PATH_IMAGE026
是相似矩阵
Figure 549600DEST_PATH_IMAGE024
的拉普拉斯矩阵，
Figure 818908DEST_PATH_IMAGE027
是 对角阵，Tr表示求矩阵的迹，
Figure 463516DEST_PATH_IMAGE028
表示大小为c×c的单位矩阵；所以多视子空间聚类的目标优 化函数表示为：
Figure 919905DEST_PATH_IMAGE029
其中tr()表示矩阵的秩，
Figure 878633DEST_PATH_IMAGE030
为Frobenius范数，具体计算方式为
Figure 736868DEST_PATH_IMAGE031
，其中
Figure 552377DEST_PATH_IMAGE032
表示矩阵A第i行第j列的元素。
进一步地，所述特征筛选与融合模块中考虑数据降维，得到多视子空间聚类引导的特征选择与融合模型的目标函数如下：
Figure 699325DEST_PATH_IMAGE033
其中
Figure 258482DEST_PATH_IMAGE034
是视图特定的自表示矩阵，
Figure 236803DEST_PATH_IMAGE035
是第v视图对应的拉普拉斯矩阵，
Figure 459099DEST_PATH_IMAGE036
为伪标签矩阵，
Figure 93342DEST_PATH_IMAGE037
为特征筛选矩阵，
Figure 190611DEST_PATH_IMAGE038
、
Figure 289017DEST_PATH_IMAGE039
和
Figure 180750DEST_PATH_IMAGE040
为平衡参数。
进一步地，所述特征筛选与融合模块中，通过变量交错迭代的方式，求解多视子空间聚类引导的特征选择与融合模型，迭代更新特征筛选矩阵、伪标签矩阵和自表示矩阵，具体过程为：首先固定特征筛选矩阵和伪标签矩阵，更新自表示矩阵，然后固定特征筛选矩阵和自表示矩阵，更新伪标签矩阵，最后固定伪标签矩阵和自表示矩阵，更新特征筛选矩阵。
本发明的有益效果：本发明弥补现有影像数据和电子病历数据使用相对独立，或对两者融合的方式比较简单粗暴的不足，基于多视子空间聚类思想，将多源异构数据通过一个多视子空间聚类引导的特征筛选模型来融合。本发明将影像和电子病历看作是描述同一对象的不同视数据，考虑各个多视特征数据在各自空间中可以自表示，即保持各个多视特征数据原有的空间结构；并对模型引入低秩约束，同时保证不同多视特征数据的聚类结果是一致的。本发明灵活性好，可以应用于其他多模态异构数据，例如病理图像、心电数据等等。结合不同模态数据的预测模型更符合临床诊断的习惯，可以提高模型的预测性能。
附图说明
图1为本发明提供的基于多视子空间聚类的多模态医学数据融合系统结构图。
图2为本发明提供的多视子空间聚类引导的特征筛选与融合模型示意图。
图3为本发明提供的多视子空间聚类引导的特征筛选与融合模块实现过程示意图。
具体实施方式
以下结合附图对本发明具体实施方式作进一步详细说明。
如图1所示，本发明提供的一种基于多视子空间聚类的多模态医学数据融合系统。该系统包括数据采集模块、影像结构化模块、电子病历特征提取模块、特征筛选与融合模块和数据融合模块。所述数据采集模块用于从医院电子病历系统中采集待测对象的预设疾病相关电子病历信息，并提取其相关的影像数据。所述影像结构化模块用于对影像数据进行结构化处理，提取高维影像特征。所述电子病历特征提取模块用于根据预设疾病，从待测对象的电子病历数据中提取相关变量，做数值化处理后作为电子病历特征。所述特征筛选与融合模块用于基于多视子空间聚类引导的特征筛选与融合模型（如图2所示），对影像特征和电子病历特征进行降维与融合。所述数据融合模块用于基于特征筛选与融合模块得到的特征筛选矩阵，对影像和电子病历特征重要性排序，根据预设的特征个数，得到影像数据和电子病历数据融合结果。
所述数据采集模块获取待测对象的电子病历。根据预设疾病和待测对象，基于患者唯一的病案号，从医院电子病历系统中提取电子病历的基本信息和诊断信息，将电子病历的基本信息和诊断信息整合成一个完整的样本。所述基本信息包括人口学信息、病史、生活习惯和检查项目信息；所述诊断信息为该患者关于预设疾病的诊断结果。
所述数据采集模块获取待测对象的医学影像数据。医学影像数据一般为X光片、CT或MRI数据。
所述影像结构化模块根据预设的疾病，对影像数据标注感兴趣区域。影像标注方法可以是手工描绘或者计算机算法自动勾画，感兴趣区域一般为疾病的病灶区域或者整个器官或组织。感兴趣区域标注结构以二值图像形式保存，1代表前景，0代表背景。
影像数据标注后需要进行影像预处理，包括影像重采样、灰度值离散化和影像区域框选。首先对原始图像和标注图像进行预处理，包括将原始图像和标注图像重采样到分辨率1×1×1大小；根据感兴趣区域计算其包围区域的矩形框，设定边缘扩展值，然后截取原始图像和标注图像的矩形框；对原始图像进行对比度调整，首先将图像的HU值截断在[-100, 240]之间，然后离散化到[0,255]之间。
基于影像和标注的感兴趣区域，计算高维影像特征。基于Pyradiomics工具包计算一阶统计特征、形状特征以及纹理特征(GLCM、GLRLM、NGTDM、GLDM)，各类特征具体包含的特征名称见表1，共计算得到85个特征。
表1 影像特征名称
Figure 302290DEST_PATH_IMAGE042
所述电子病历特征提取模块对得到的电子病历数据进行分析，确定与预设疾病相关的若干个危险因素，例如待测对象的人口学信息、病史、生活习惯和检查项目信息（血检、心率等）。将各字段的信息数值化，例如对性别，男设为1，女设为0。然后对电子病历数据归一化，得到电子病历特征。
所述特征筛选与融合模块基于影像特征和电子病历特征获取获取多视特征矩阵，并定义无监督的特征选择与融合模型，根据子空间聚类方法的数据自表示性质，设定每个多视特征数据均能够在子空间中被自表示，得到多视子空间聚类的目标优化函数，考虑数据降维得到多视子空间聚类引导的特征选择与融合模型的目标函数并通过变量交错迭代的方式进行求解，得到特征筛选矩阵。如图3所示，具体如下：
所述获取多视特征矩阵，具体为：将提取的影像特征和电子病历特征看成多个视 图特征，第v个视图的特征定义为
Figure 203250DEST_PATH_IMAGE043
，
Figure 890583DEST_PATH_IMAGE044
，
Figure 218796DEST_PATH_IMAGE045
表 示第n个数据点，
Figure 358790DEST_PATH_IMAGE046
是第v视图特征的维度，v=1,2。V个视图中所有特征可以定义为
Figure 266704DEST_PATH_IMAGE003
，将他们连接起来表示成总特征矩阵
Figure 310008DEST_PATH_IMAGE047
。
所述定义无监督的特征选择与融合模型，具体为：无监督特征筛选问题的目标优 化函数
Figure 74702DEST_PATH_IMAGE048
表示为：
Figure 701992DEST_PATH_IMAGE006
其中
Figure 148017DEST_PATH_IMAGE007
是损失函数，
Figure 544363DEST_PATH_IMAGE008
表示优化函数需要优化的参数，
Figure 479958DEST_PATH_IMAGE009
是 特征筛选矩阵，
Figure 594545DEST_PATH_IMAGE010
是聚类的类别数，
Figure 578681DEST_PATH_IMAGE011
是正则项，如稀疏性和低秩性，
Figure 95113DEST_PATH_IMAGE049
是调节参数，一 般经验值设置，本发明中设置10。令
Figure 201610DEST_PATH_IMAGE050
表示伪标签矩阵，
Figure 293238DEST_PATH_IMAGE007
可以表示成：
Figure 81066DEST_PATH_IMAGE051
其中n为样本数，c为聚类的类别数。范数
Figure 452004DEST_PATH_IMAGE016
表示
Figure 729402DEST_PATH_IMAGE017
范数，具体计算方式为
Figure 553001DEST_PATH_IMAGE052
，其中
Figure 144520DEST_PATH_IMAGE053
表示矩阵A第i行第j列的元素。伪标签可以通过子空 间聚类中的谱嵌入生成。
所述根据子空间聚类方法的数据自表示性质，设定每个视图特征数据都可在子空间中被自表示，具体如下：
Figure 369965DEST_PATH_IMAGE054
其中
Figure 818264DEST_PATH_IMAGE055
是各个视图特征数据的自表示矩阵，
Figure 394738DEST_PATH_IMAGE056
表示长度为n的单位向 量。然后，可以构造描述数据关系的相似图
Figure 524369DEST_PATH_IMAGE057
。并且满足低秩性，相似图
Figure 604320DEST_PATH_IMAGE058
成分 的个数等于聚类类别数c，即
Figure 990564DEST_PATH_IMAGE058
的拉普拉斯矩阵的秩等于n-c。低秩性可以表述为如下优化 问题：
Figure 788756DEST_PATH_IMAGE025
其中
Figure 518815DEST_PATH_IMAGE059
是相似矩阵
Figure 656535DEST_PATH_IMAGE058
的拉普拉斯矩阵，
Figure 446636DEST_PATH_IMAGE027
是 对角阵。Tr表示求矩阵的迹，
Figure 997703DEST_PATH_IMAGE028
表示大小为c×c的单位矩阵。所以多视子空间聚类的目标优 化函数可以表示为：
Figure 265874DEST_PATH_IMAGE060
其中tr()表示矩阵的秩，
Figure 523680DEST_PATH_IMAGE030
为Frobenius范数，具体计算方式为
Figure 484682DEST_PATH_IMAGE031
，其中
Figure 257466DEST_PATH_IMAGE032
表示矩阵A第i行第j列的元素。
所述考虑数据降维，得到多视子空间聚类引导的特征选择与融合模型的目标函 数，具体为：所选择的特征应该保持数据间的相似结构，并且是稀疏的。也就是，对特征选择 矩阵W加以稀疏正则化项
Figure 830792DEST_PATH_IMAGE061
。因此，多视子空间聚类引导的特征选择与融合模型的目 标函数可以表示为：
Figure 5422DEST_PATH_IMAGE062
其中
Figure 75009DEST_PATH_IMAGE034
是视图特定的自表示矩阵，
Figure 335089DEST_PATH_IMAGE035
是第v视图对应的拉普拉斯矩阵， 其他的符号
Figure 210641DEST_PATH_IMAGE036
为伪标签矩阵，
Figure 239777DEST_PATH_IMAGE037
为特征筛选矩阵，
Figure 480265DEST_PATH_IMAGE038
、
Figure 227642DEST_PATH_IMAGE039
和
Figure 906885DEST_PATH_IMAGE040
为平衡参 数,在本发明中，分别取值为
Figure 790527DEST_PATH_IMAGE063
。
通过变量交错迭代的方式，求解多视子空间聚类引导的特征选择与融合模型，迭 代更新变量
Figure 467496DEST_PATH_IMAGE064
。具体如下：
更新自表示矩阵
Figure 938054DEST_PATH_IMAGE065
，固定
Figure 155409DEST_PATH_IMAGE066
不变，求解以下优化问题：
Figure 159137DEST_PATH_IMAGE067
对上式引入拉格朗日乘子
Figure 538165DEST_PATH_IMAGE068
，转化为：
Figure 197817DEST_PATH_IMAGE069
当
Figure 218863DEST_PATH_IMAGE070
趋于无穷大时，X可以被
Figure 77097DEST_PATH_IMAGE071
替代。因此，上式可以表达为：
Figure 95869DEST_PATH_IMAGE072
上式等价于以下问题：
Figure 39554DEST_PATH_IMAGE073
其中P矩阵中的第i行第j列元素
Figure 598711DEST_PATH_IMAGE074
,
Figure 812917DEST_PATH_IMAGE075
是F的第i行。然后使用交 替迭代优化策略求解上面的问题。将
Figure 799328DEST_PATH_IMAGE076
的除了第i行外的所有行数值固定，来求解
Figure 433571DEST_PATH_IMAGE077
第i行 的值：
Figure 796420DEST_PATH_IMAGE078
其中
Figure 363667DEST_PATH_IMAGE079
是Z的第i行，p是P的第i列，
Figure 520979DEST_PATH_IMAGE080
，
Figure 642519DEST_PATH_IMAGE081
是
Figure 277900DEST_PATH_IMAGE082
的第 i个元素。上式可以转化为以下问题：
Figure 230812DEST_PATH_IMAGE083
其中
Figure 559025DEST_PATH_IMAGE084
。上式的问题可以按软阈值方法求解：
Figure 902282DEST_PATH_IMAGE085
其中
Figure 108397DEST_PATH_IMAGE086
，
Figure 915816DEST_PATH_IMAGE087
和
Figure 414931DEST_PATH_IMAGE088
分别表示
Figure 245484DEST_PATH_IMAGE089
，
Figure 222667DEST_PATH_IMAGE090
和p的第k个元素，
Figure 150172DEST_PATH_IMAGE091
表示取括号内值的正 部。更新F，固定
Figure 820187DEST_PATH_IMAGE092
，W不变，去除无关的变量项，求解以下优化问题：
Figure 138036DEST_PATH_IMAGE093
其中
Figure 918911DEST_PATH_IMAGE094
为单位矩阵，
Figure 700922DEST_PATH_IMAGE095
表示F的元素都大于等于0。为了消除等式约束，对上式 添加惩罚项
Figure 43304DEST_PATH_IMAGE096
，问题转化为：
Figure 645186DEST_PATH_IMAGE097
其中
Figure 433014DEST_PATH_IMAGE098
为取值较大的平衡参数，本发明取
Figure 69531DEST_PATH_IMAGE099
。为了消除不等式约束，引入拉 格朗日乘子
Figure 81350DEST_PATH_IMAGE100
，得到：
Figure 108212DEST_PATH_IMAGE101
对上式关于F求导，并令偏导数为
Figure 496468DEST_PATH_IMAGE102
，得到：
Figure 987492DEST_PATH_IMAGE103
其中Q是一个对角矩阵，第i个元素为
Figure 170211DEST_PATH_IMAGE104
，i:表示取矩阵的第i 行。根据KKT条件，
Figure 746686DEST_PATH_IMAGE105
。因此，得到：
Figure 876316DEST_PATH_IMAGE106
然后对F进行归一化，使得其满足
Figure 723312DEST_PATH_IMAGE107
。
更新W，固定
Figure 342512DEST_PATH_IMAGE108
，F不变。去除无关变量项，得到：
Figure 343966DEST_PATH_IMAGE109
上式等价于以下问题：
Figure 808445DEST_PATH_IMAGE110
其中G和H是对角矩阵，第i个元素为
Figure 274062DEST_PATH_IMAGE111
,
Figure 64163DEST_PATH_IMAGE112
；其中
Figure 287334DEST_PATH_IMAGE113
是
Figure 821084DEST_PATH_IMAGE114
的第i行。
进一步得到：
Figure 141207DEST_PATH_IMAGE115
最终得到：
Figure 836630DEST_PATH_IMAGE116
交替更新W,G,H直到目标函数收敛。
所述数据融合模块根据特征筛选与融合模块求解得到的特征筛选矩阵W，计算
Figure 812676DEST_PATH_IMAGE117
；对每个特征的重要性根据
Figure 397721DEST_PATH_IMAGE117
排序；设定选择特征的个数N，提取前N个特征为最 终电子病历和影像数据融合的结果。
实施例：对胰体尾切除术后的患者，为了预测患者术后患糖尿病风险，构建胰体尾切除患者队列，共有患者212名，按7:3比例将数据拆分为训练集与测试集。经过基于多视子空间聚类的多模态医学数据融合系统，融合影像和电子病历数据。具体地处理过程如下：
1. 数据采集，提取患者的术前增强CT图像和电子病历信息。
2. 影像结构化模块。对CT图像标注感兴趣区域，即胰腺术后的残余胰腺区域，作为影像特征提取的感兴趣区域。对CT原始图像和标注图像进行影像重采样、灰度值离散化和影像区域框选。首先对原始图像和标注图像进行预处理，包括将原始图像和标注图像重采样到分辨率1×1×1大小；根据感兴趣区域计算其包围区域的矩形框，设定边缘扩展值10个像素，然后截取原始图像和标注图像的矩形框；对原始图像进行对比度调整，首先将图像的HU值截断在[-100, 240]之间，然后离散化到[0,255]之间。然后，基于预处理后的影像和标注的感兴趣区域，计算高维影像特征。具体地，先对原CT图像作小波滤波，小波滤波包括haar、db5、sym7。然后基于Pyradiomics工具包计算一阶统计特征、形状特征以及纹理特征(GLCM、GLRLM、NGTDM、GLDM)。针对每个小波滤波后的图像，可以得到680维特征，所以三个小波滤波后的图像，共计算得到2040个影像特征。
3. 电子病历特征提取。对得到的电子病历数据进行分析，确定与糖尿病相关的若干个危险因素，包括年龄、性别、饮酒、抽烟、黄疸、体重减少、疼痛、胰腺切除率、残余胰腺体积、腹部脂肪含量、腹部骨骼肌含量。将各字段的信息数值化，例如对性别，男设为1，女设为0。然后对电子病历特征进行归一化，得到电子病历11个特征。
4. 特征筛选与融合。记上述得到的影像特征为
Figure 572351DEST_PATH_IMAGE118
，临床特征为
Figure 704255DEST_PATH_IMAGE119
，对临床特征和 影像特先进行归一化。将
Figure 698756DEST_PATH_IMAGE120
输入到所提出的基于多视子空间聚类引导 的特征选择与融合模型中，并利用变量交错迭代算法求解得到特征筛选矩阵W。对影像特征 和电子病历特征进行筛选与融合，得到特征筛选矩阵。
5. 数据融合。计算特征筛选矩阵
Figure 777570DEST_PATH_IMAGE121
，d为所有特征的维度，这 里为2051。然后根据
Figure 72285DEST_PATH_IMAGE122
大小对每个特征进行重要性排序。取40个特征作为最终的数据 融合结果。其中包括36个影像特和4个临床特征。影像特征来自db5、sym7、haar滤波图像的 特征数分别是9,8,19。临床特征中，包含饮酒、肌肉含量、年龄、残余胰腺体积。
6. 后续利用数据融合得到的影像和临床特征，建立基于支持向量机的糖尿病预测模型。用训练集数据训练预测模，在测试集上进行测试。测试集上的糖尿病预测准确度AUC=0.82。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (10)

1.一种基于多视子空间聚类的多模态医学数据融合系统，其特征在于，该系统包括数据采集模块、影像结构化模块、电子病历特征提取模块、特征筛选与融合模块和数据融合模块；
所述数据采集模块用于采集待测对象的预设疾病相关电子病历数据，并提取其相关的影像数据；
所述影像结构化模块用于对影像数据进行结构化处理，提取影像特征；
所述电子病历特征提取模块用于对电子病历数据提取相关变量，做数值化处理后作为电子病历特征；
所述特征筛选与融合模块用于基于影像特征和电子病历特征获取多视特征矩阵，并定义无监督的特征选择与融合模型，根据子空间聚类方法的数据自表示性质，设定每个视图特征数据均能够在子空间中被自表示，考虑数据降维得到多视子空间聚类引导的特征筛选模型的目标函数并通过变量交错迭代的方式进行求解，得到特征筛选矩阵；
所述数据融合模块用于基于特征筛选与融合模块得到的特征筛选矩阵，对影像和电子病历特征重要性排序，根据预设的特征个数，得到影像数据和电子病历数据融合结果。
2.根据权利要求1所述的一种基于多视子空间聚类的多模态医学数据融合系统，其特征在于，所述数据采集模块根据预设疾病和待测对象，基于患者唯一的病案号，从医院电子病历系统中提取电子病历的基本信息和诊断信息，将电子病历的基本信息和诊断信息整合成一个完整的样本。
3.根据权利要求1所述的一种基于多视子空间聚类的多模态医学数据融合系统，其特征在于，所述数据采集模块获取的医学影像数据为X光片、CT数据或MRI数据。
4.根据权利要求1所述的一种基于多视子空间聚类的多模态医学数据融合系统，其特征在于，所述影像结构化模块根据预设的疾病，对影像数据标注感兴趣区域，并进行影像预处理，包括影像重采样、灰度值离散化和影像区域框选；最后基于预处理后的影像和标注的感兴趣区域，计算高维影像特征。
5.根据权利要求1所述的一种基于多视子空间聚类的多模态医学数据融合系统，其特征在于，所述电子病历特征提取模块对得到的电子病历数据进行分析，确定与预设疾病相关的若干个危险因素，包括待测对象的人口学信息、病史、生活习惯和检查项目信息；将各字段的信息数值化，然后对电子病历数据归一化，得到电子病历特征。
6.根据权利要求1所述的一种基于多视子空间聚类的多模态医学数据融合系统，其特 征在于，所述特征筛选与融合模块中获取多视特征矩阵，具体为：将提取的影像特征和电子 病历特征看成是多个视图特征数据，第v个视图的特征定义为
Figure 846038DEST_PATH_IMAGE001
，
Figure 593414DEST_PATH_IMAGE002
是第v视图特征的维度，v=1,2；V个视 图中所有特征定义为
Figure 508543DEST_PATH_IMAGE003
，将他们连接起来表示成总特征矩阵
Figure 657764DEST_PATH_IMAGE004
。
7.根据权利要求1所述的一种基于多视子空间聚类的多模态医学数据融合系统，其特 征在于，所述特征筛选与融合模块中定义无监督的特征选择与融合模型，具体为：无监督的 特征筛选问题的目标优化函数
Figure 865892DEST_PATH_IMAGE005
表示为：
Figure 834985DEST_PATH_IMAGE006
其中
Figure 52339DEST_PATH_IMAGE007
是损失函数，
Figure 524909DEST_PATH_IMAGE008
表示优化函数需要优化的参数，
Figure 169517DEST_PATH_IMAGE009
是特征 筛选矩阵，
Figure 625906DEST_PATH_IMAGE010
是聚类的类别数，
Figure 115793DEST_PATH_IMAGE011
是正则项，
Figure 475493DEST_PATH_IMAGE012
是调节参数；令
Figure 291002DEST_PATH_IMAGE013
表示伪标签矩 阵，
Figure 703529DEST_PATH_IMAGE014
表示成：
Figure 262686DEST_PATH_IMAGE015
其中n为样本数，c为聚类的类别数；范数
Figure 975427DEST_PATH_IMAGE016
表示
Figure 696258DEST_PATH_IMAGE017
范数，具体计算方式为
Figure 127240DEST_PATH_IMAGE018
，其中
Figure 958930DEST_PATH_IMAGE019
表示矩阵A第i行第j列的元素；伪标签通过子空间聚 类中的谱嵌入生成。
8.根据权利要求1所述的一种基于多视子空间聚类的多模态医学数据融合系统，其特征在于，所述特征筛选与融合模块中根据子空间聚类方法的数据自表示性质，设定每个多视特征数据均能够在子空间中被自表示，具体如下：
Figure 526177DEST_PATH_IMAGE020
其中
Figure 184954DEST_PATH_IMAGE021
是各个视图特征数据的自表示矩阵，
Figure 572073DEST_PATH_IMAGE022
表示长度为n的单位向量；然 后，构造描述数据关系的相似图
Figure 473033DEST_PATH_IMAGE023
，并且满足低秩性，相似图
Figure 160366DEST_PATH_IMAGE024
成分的个数等于 聚类的类别数c，即
Figure 223000DEST_PATH_IMAGE024
的拉普拉斯矩阵的秩等于n-c；低秩性表述为如下优化问题：
Figure 362994DEST_PATH_IMAGE025
其中
Figure 802066DEST_PATH_IMAGE026
是相似矩阵
Figure 78326DEST_PATH_IMAGE027
的拉普拉斯矩阵，
Figure 577441DEST_PATH_IMAGE028
是对角 阵，Tr表示求矩阵的迹，
Figure 204731DEST_PATH_IMAGE029
表示大小为c×c的单位矩阵；所以多视子空间聚类的目标优化函 数表示为：
Figure 683379DEST_PATH_IMAGE030
其中tr()表示矩阵的秩，
Figure 345305DEST_PATH_IMAGE031
为Frobenius范数，具体计算方式为
Figure 15321DEST_PATH_IMAGE032
，其中
Figure 864328DEST_PATH_IMAGE033
表示矩阵A第i行第j列的元素。
9.根据权利要求1所述的一种基于多视子空间聚类的多模态医学数据融合系统，其特征在于，所述特征筛选与融合模块中考虑数据降维，得到多视子空间聚类引导的特征选择与融合模型的目标函数如下：
Figure 645202DEST_PATH_IMAGE034
其中
Figure 161634DEST_PATH_IMAGE035
是视图特定的自表示矩阵，
Figure 2551DEST_PATH_IMAGE036
是第v视图对应的拉普拉斯矩阵，
Figure 73275DEST_PATH_IMAGE037
为伪标签矩阵，
Figure 657840DEST_PATH_IMAGE038
为特征筛选矩阵，
Figure 518525DEST_PATH_IMAGE039
、
Figure 264764DEST_PATH_IMAGE040
和
Figure 353943DEST_PATH_IMAGE041
为平衡参数。
10.根据权利要求1所述的一种基于多视子空间聚类的多模态医学数据融合系统，其特征在于，所述特征筛选与融合模块中，通过变量交错迭代的方式，求解多视子空间聚类引导的特征选择与融合模型，迭代更新特征筛选矩阵、伪标签矩阵和自表示矩阵，具体过程为：首先固定特征筛选矩阵和伪标签矩阵，更新自表示矩阵，然后固定特征筛选矩阵和自表示矩阵，更新伪标签矩阵，最后固定伪标签矩阵和自表示矩阵，更新特征筛选矩阵。
CN202211047979.9A 2022-08-30 2022-08-30 一种基于多视子空间聚类的多模态医学数据融合系统 Active CN115131642B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211047979.9A CN115131642B (zh) 2022-08-30 2022-08-30 一种基于多视子空间聚类的多模态医学数据融合系统
JP2023095104A JP7333132B1 (ja) 2022-08-30 2023-06-08 マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211047979.9A CN115131642B (zh) 2022-08-30 2022-08-30 一种基于多视子空间聚类的多模态医学数据融合系统

Publications (2)

Publication Number Publication Date
CN115131642A true CN115131642A (zh) 2022-09-30
CN115131642B CN115131642B (zh) 2022-12-27

Family

ID=83387076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211047979.9A Active CN115131642B (zh) 2022-08-30 2022-08-30 一种基于多视子空间聚类的多模态医学数据融合系统

Country Status (2)

Country Link
JP (1) JP7333132B1 (zh)
CN (1) CN115131642B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524248A (zh) * 2023-04-17 2023-08-01 首都医科大学附属北京友谊医院 医学数据处理装置、方法及分类模型训练装置
CN117009924A (zh) * 2023-10-07 2023-11-07 之江实验室 电子病历引导的多模态自适应多中心数据融合方法及系统
CN117744026A (zh) * 2024-02-18 2024-03-22 四川省肿瘤医院 基于多模态的信息融合方法和肿瘤恶性概率识别系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117312963B (zh) * 2023-11-29 2024-03-12 山东企联信息技术股份有限公司 一种采集信息数据智能分类方法、系统及存储介质

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400143A (zh) * 2013-07-12 2013-11-20 中国科学院自动化研究所 一种基于多视角的数据子空间聚类方法
CN106971197A (zh) * 2017-03-02 2017-07-21 北京工业大学 基于差异性与一致性约束的多视数据的子空间聚类方法
CN108197629A (zh) * 2017-12-30 2018-06-22 北京工业大学 一种基于标签相关性约束张量分解的多模态医学影像特征提取方法
CN109685155A (zh) * 2018-12-29 2019-04-26 广东工业大学 基于多视图的子空间聚类方法、装置、设备及存储介质
CN110349652A (zh) * 2019-07-12 2019-10-18 之江实验室 一种融合结构化影像数据的医疗数据分析系统
CN110378365A (zh) * 2019-06-03 2019-10-25 广东工业大学 一种基于联合子空间学习的多视图子空间聚类方法
US20200074220A1 (en) * 2018-09-04 2020-03-05 Inception Institute of Artificial Intelligence, Ltd. Multi-view image clustering techniques using binary compression
CN111260209A (zh) * 2020-01-14 2020-06-09 山东大学 电子病历与医学影像结合的心血管疾病风险预测评估系统
CN111324791A (zh) * 2020-03-02 2020-06-23 北京工业大学 一种多视数据子空间聚类方法
CN111611323A (zh) * 2020-04-09 2020-09-01 山东财经大学 一种面向数据融合的迭代结构化多视图子空间聚类方法，设备及可读存储介质
CN111915596A (zh) * 2020-08-07 2020-11-10 杭州深睿博联科技有限公司 一种肺结节良恶性预测方法及装置
CN111916207A (zh) * 2020-08-07 2020-11-10 杭州深睿博联科技有限公司 一种基于多模态融合的疾病识别方法及装置
CN112164067A (zh) * 2020-10-12 2021-01-01 西南科技大学 一种基于多模态子空间聚类的医学图像分割方法及装置
CN112418319A (zh) * 2020-11-24 2021-02-26 北京工业大学 一种多视子空间聚类方法及装置
WO2021062366A1 (en) * 2019-09-27 2021-04-01 The Brigham And Women's Hospital, Inc. Multimodal fusion for diagnosis, prognosis, and therapeutic response prediction
CN113241135A (zh) * 2021-04-30 2021-08-10 山东大学 一种基于多模态融合的疾病风险预测方法和系统
CN113269225A (zh) * 2021-04-08 2021-08-17 浙江大学 基于影像组学的非侵入式肝脏上皮样血管平滑肌脂肪瘤图像分类装置
CN113284572A (zh) * 2021-04-30 2021-08-20 上海联影智能医疗科技有限公司 多模态异构的医学数据处理方法及相关装置
CN113505831A (zh) * 2021-07-09 2021-10-15 广东工业大学 一种基于核范数约束的多视图聚类方法及系统
CN113554082A (zh) * 2021-07-15 2021-10-26 广东工业大学 一种自加权融合局部和全局信息的多视图子空间聚类方法
CN114359666A (zh) * 2021-12-28 2022-04-15 清华珠三角研究院 多模态融合的肺癌患者疗效预测方法、系统、装置及介质
CN114529745A (zh) * 2022-01-11 2022-05-24 山东师范大学 基于图结构学习的缺失多视图子空间聚类方法及系统
CN114565613A (zh) * 2022-04-29 2022-05-31 之江实验室 基于有监督深度子空间学习的胰腺术后糖尿病预测系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006302113A (ja) 2005-04-22 2006-11-02 Canon Inc 電子カルテ・システム
EP1996959A4 (en) 2006-03-03 2012-02-29 Medic Vision Brain Technologies Ltd SYSTEM AND METHOD FOR PRIORITIZE PRIORITIZATION AND AUTOMATIC ANALYSIS OF MEDICAL IMAGES

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400143A (zh) * 2013-07-12 2013-11-20 中国科学院自动化研究所 一种基于多视角的数据子空间聚类方法
CN106971197A (zh) * 2017-03-02 2017-07-21 北京工业大学 基于差异性与一致性约束的多视数据的子空间聚类方法
CN108197629A (zh) * 2017-12-30 2018-06-22 北京工业大学 一种基于标签相关性约束张量分解的多模态医学影像特征提取方法
US20200074220A1 (en) * 2018-09-04 2020-03-05 Inception Institute of Artificial Intelligence, Ltd. Multi-view image clustering techniques using binary compression
CN109685155A (zh) * 2018-12-29 2019-04-26 广东工业大学 基于多视图的子空间聚类方法、装置、设备及存储介质
CN110378365A (zh) * 2019-06-03 2019-10-25 广东工业大学 一种基于联合子空间学习的多视图子空间聚类方法
CN110349652A (zh) * 2019-07-12 2019-10-18 之江实验室 一种融合结构化影像数据的医疗数据分析系统
WO2021062366A1 (en) * 2019-09-27 2021-04-01 The Brigham And Women's Hospital, Inc. Multimodal fusion for diagnosis, prognosis, and therapeutic response prediction
CN111260209A (zh) * 2020-01-14 2020-06-09 山东大学 电子病历与医学影像结合的心血管疾病风险预测评估系统
CN111324791A (zh) * 2020-03-02 2020-06-23 北京工业大学 一种多视数据子空间聚类方法
CN111611323A (zh) * 2020-04-09 2020-09-01 山东财经大学 一种面向数据融合的迭代结构化多视图子空间聚类方法，设备及可读存储介质
CN111915596A (zh) * 2020-08-07 2020-11-10 杭州深睿博联科技有限公司 一种肺结节良恶性预测方法及装置
CN111916207A (zh) * 2020-08-07 2020-11-10 杭州深睿博联科技有限公司 一种基于多模态融合的疾病识别方法及装置
CN112164067A (zh) * 2020-10-12 2021-01-01 西南科技大学 一种基于多模态子空间聚类的医学图像分割方法及装置
CN112418319A (zh) * 2020-11-24 2021-02-26 北京工业大学 一种多视子空间聚类方法及装置
CN113269225A (zh) * 2021-04-08 2021-08-17 浙江大学 基于影像组学的非侵入式肝脏上皮样血管平滑肌脂肪瘤图像分类装置
CN113241135A (zh) * 2021-04-30 2021-08-10 山东大学 一种基于多模态融合的疾病风险预测方法和系统
CN113284572A (zh) * 2021-04-30 2021-08-20 上海联影智能医疗科技有限公司 多模态异构的医学数据处理方法及相关装置
CN113505831A (zh) * 2021-07-09 2021-10-15 广东工业大学 一种基于核范数约束的多视图聚类方法及系统
CN113554082A (zh) * 2021-07-15 2021-10-26 广东工业大学 一种自加权融合局部和全局信息的多视图子空间聚类方法
CN114359666A (zh) * 2021-12-28 2022-04-15 清华珠三角研究院 多模态融合的肺癌患者疗效预测方法、系统、装置及介质
CN114529745A (zh) * 2022-01-11 2022-05-24 山东师范大学 基于图结构学习的缺失多视图子空间聚类方法及系统
CN114565613A (zh) * 2022-04-29 2022-05-31 之江实验室 基于有监督深度子空间学习的胰腺术后糖尿病预测系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QI WANG 等: "Autoweighted Multiview Feature Selection With Graph Optimization", 《IEEE TRANSACTIONS ON CYBERNETICS》 *
XUELONG LI 等: "Discriminative and Uncorrelated Feature Selection With Constrained Spectral Analysis in Unsupervised Learning", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
乔宇鑫 等: "全局与局部结构学习的多视图子空间聚类算法", 《计算机科学与探索》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524248A (zh) * 2023-04-17 2023-08-01 首都医科大学附属北京友谊医院 医学数据处理装置、方法及分类模型训练装置
CN116524248B (zh) * 2023-04-17 2024-02-13 首都医科大学附属北京友谊医院 医学数据处理装置、方法及分类模型训练装置
CN117009924A (zh) * 2023-10-07 2023-11-07 之江实验室 电子病历引导的多模态自适应多中心数据融合方法及系统
CN117009924B (zh) * 2023-10-07 2024-01-26 之江实验室 电子病历引导的多模态自适应多中心数据融合方法及系统
CN117744026A (zh) * 2024-02-18 2024-03-22 四川省肿瘤医院 基于多模态的信息融合方法和肿瘤恶性概率识别系统

Also Published As

Publication number Publication date
JP2024035070A (ja) 2024-03-13
CN115131642B (zh) 2022-12-27
JP7333132B1 (ja) 2023-08-24

Similar Documents

Publication Publication Date Title
CN115131642B (zh) 一种基于多视子空间聚类的多模态医学数据融合系统
Yousef et al. A holistic overview of deep learning approach in medical imaging
Mridha et al. A comprehensive survey on deep-learning-based breast cancer diagnosis
Zhang et al. Dictionary pruning with visual word significance for medical image retrieval
US20030229278A1 (en) Method and system for knowledge extraction from image data
CN111488914A (zh) 一种基于多任务学习的阿尔茨海默症分类及预测系统
CN113743463B (zh) 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统
WO2023207820A1 (zh) 基于有监督深度子空间学习的胰腺术后糖尿病预测系统
Laghari et al. How to collect and interpret medical pictures captured in highly challenging environments that range from nanoscale to hyperspectral imaging
Alshayeji et al. Early detection of diabetic foot ulcers from thermal images using the bag of features technique
Venkatesan et al. NFU-Net: an automated framework for the detection of neurotrophic foot ulcer using deep convolutional neural network
Zhao et al. A survey of dictionary learning in medical image analysis and its application for glaucoma diagnosis
Goyal et al. Musculoskeletal abnormality detection in medical imaging using GnCNNr (group normalized convolutional neural networks with regularization)
Jayachandran et al. Retinal vessels segmentation of colour fundus images using two stages cascades convolutional neural networks
Bandyopadhyay et al. Artificial-intelligence-based diagnosis of brain tumor diseases
EP3667674A1 (en) Method and system for evaluating images of different patients, computer program and electronically readable storage medium
Fulcher et al. Automatic time-series phenotyping using massive feature extraction
Khattar et al. A Review on Preprocessing, Segmentation and Classification Techniques for Detection of Skin Cancer
CN112884759B (zh) 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置
EP4379672A1 (en) Methods and systems for classifying a medical image dataset
Ramkumar Identification and Classification of Breast Cancer using Multilayer Perceptron Techniques for Histopathological Image
Avci et al. Case study: deep convolutional networks in healthcare
Kulhalli et al. Primary level classification of brain tumor using PCA and PNN
Siddiqui et al. Artificial intelligence-based myocardial infarction diagnosis: a comprehensive review of modern techniques
Prasanth et al. S. Balasubramaniam

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant