CN114565613B - 基于有监督深度子空间学习的胰腺术后糖尿病预测系统 - Google Patents
基于有监督深度子空间学习的胰腺术后糖尿病预测系统 Download PDFInfo
- Publication number
- CN114565613B CN114565613B CN202210466102.7A CN202210466102A CN114565613B CN 114565613 B CN114565613 B CN 114565613B CN 202210466102 A CN202210466102 A CN 202210466102A CN 114565613 B CN114565613 B CN 114565613B
- Authority
- CN
- China
- Prior art keywords
- pancreas
- image
- region
- diabetes
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/50—Clinical applications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
Abstract
本发明公开了一种基于有监督深度子空间学习的胰腺术后糖尿病预测系统。利用深度卷积神经网络自动分割术前CT胰腺区域,利用MITK软件进行胰腺切缘模拟,获得术后的残余胰腺区域,大大减小感兴趣区域标注的工作量。对残余胰腺区域提取传统影像组学特征和深层语义特征,构建高维影像特征集;提取与糖尿病相关的临床因素,包括胰腺切除率、脂肪与肌肉组织成分、人口学信息和生活习惯,构建临床特征集。基于一个有监督的深度子空间学习网络,对影像和临床特征在子空间中进行降维表示和融合,同时训练预测模型,挖掘与预测任务高度相关的敏感特征,对患者术后患糖尿病风险进行预测,具有较高的自动化程度和判别精度。
Description
技术领域
本发明涉及医疗健康信息技术领域,尤其涉及一种基于有监督深度子空间学习的胰腺术后糖尿病预测系统。
背景技术
胰腺是产生内分泌和外分泌激素的重要器官,对葡萄糖代谢至关重要。接受胰腺切除术的患者存在糖耐量降低/糖尿病(IGT/DM)的风险,据报道发生率为4.8%-60%,糖尿病发展期从术后30天内至3.5年不等。发病率因患者人群的异质性、胰腺实质体积减少、胰腺切除术的类型等因素不同。胰体尾切除术(distal pancreatectomy,DP)是一种标准的手术治疗方法,用于切除胰腺的体部和尾部的肿瘤性和非肿瘤性病变。然后,胰体尾切除术后新发糖尿病的相关因素仍不清楚,尚未被充分研究。由于健康的生活方式和及时的医疗干预被认为是降低糖尿病风险的有效方法,因此早期预测胰腺切除术后新发糖尿病是必要且有意义的。然而,关于预测胰腺切除术后新发糖尿病的文献非常有限,基于影像数据的糖尿病分类更具挑战性。
少量的文献工作中,基于电子病历数据提取患者人口学信息如性别、年龄、BMI和实验室指标如糖耐量、快速血糖值等,挖掘患糖尿病风险因子。但尚未有研究工作利用影像数据建立风险预测模型。CT作为胰腺疾病的常规影像学检查手段之一,具有显影清晰、无创的优点,CT图像可以反应胰腺的纹理质地。结合基础临床信息和CT影像特征对预测胰腺切除术后患糖尿病的风险具有重要的意义和临床应用价值。
现有胰腺切除术后糖尿病风险预测一般基于电子病历,提取人口学信息如年龄、性别、BMI等,实验室数据如快速血糖值、糖耐量、血清糖化血红蛋白等,以及考虑胰腺残余体积、胰腺体积切除率等相关因素,基于统计检验方法挖掘患糖尿病风险因子,但没有建立风险预测系统。其中,通常将BMI衡量肥胖程度,来作为糖尿病的风险因素。但实际上不同脂肪和肌肉成分与人体代谢类疾病非常相关,更直接反应肥胖程度。同时,目前尚未有方法结合临床信息和影像数据来预测胰腺切除术后患糖尿病风险。针对其他疾病的影像组学预测一般通过人工勾画感兴趣区域、计算纹理等浅层影像特征、特征筛选和机器学习模型构建等步骤来建立疾病预测模型。但是,此类方法应用于胰腺切除术后风险预测,需要对术前、术后CT进行感兴趣区域勾画,费时耗力。在特征计算与筛选方面,一般只考虑浅层影像特征,采取统计分析方法或者递归特征消除法等方法筛选特征,特征筛选与分类模型相互独立,对高维特征的降维效果不好。在分类模型构建时,一般选取逻辑回归、支持向量机、随机森林等传统的机器学习分类模型,在胰腺切除术后糖尿病风险预测的准确度不够高。
发明内容
本发明目的在于针对现有技术的不足,提出一种结合临床和影像特征,基于有监督深度子空间学习的胰腺切除术后糖尿病风险预测系统。本发明提出利用深度卷积神经网络自动分割术前CT胰腺区域,然后利用MITK软件进行胰腺切缘模拟,获得术后的胰腺区域,大大减小感兴趣区域标注的工作量。对残余胰腺区域提取小波滤波图像的一阶统计、形状和纹理特征,再通过深度卷积神经网络提取术后胰腺区域的高层语义特征,构建残余胰腺区域的影像特征集;进一步,提取或计算胰腺切除术后相关的风险因子,包括人口学信息、生活习惯、胰腺体积切除率、胰腺剩余体积以及腹部脂肪和肌肉含量,建立胰腺临床特征集。然后,创新性地提出一个有监督深度子空间学习方法对影像特征集和临床特征集同时进行特征筛选与融合,获得两者在低维子空间中的稀疏表示,并从中计算数据间的相似矩阵。最后,基于深度子空间学习网络中的有监督模块,预测患者术后会发生糖尿病的风险。本发明能够结合患者临床信息和高维影像特征,通过深度子空间学习找到与术后发生糖尿病风险相关的低维特征,同时对患者术后患糖尿病风险进行预测,具有较高的自动化程度和判别精度。
本发明的目的是通过以下技术方案来实现的:一种基于有监督深度子空间学习的胰腺术后糖尿病预测系统,该系统包括术前CT图像数据获取模块、残余胰腺感兴趣区域获取模块、影像特征计算模块、临床特征计算模块和深度子空间学习模块;
所述术前CT图像数据获取模块用于获取胰腺切除术前CT图像数据,输入到残余胰腺感兴趣区域获取模块和影像特征计算模块;
所述残余胰腺感兴趣区域获取模块用于将术前CT图像数据输入到训练好的胰腺分割网络中,得到胰腺预测区域;在胰腺预测区域上,通过软件模拟胰腺切除的边缘,得到切除术后的残余胰腺区域,作为后续计算影像特征的感兴趣区域,输入到影像特征计算模块;
所述影像特征计算模块用于根据术前CT图像数据以及影像特征的感兴趣区域计算得到胰腺影像特征,输入到深度子空间学习模块;
所述临床特征计算模块用于获取患者术后患糖尿病相关的临床信息,包括人口学信息、生活习惯、胰腺体积切除率、胰腺剩余体积以及腹部脂肪和肌肉含量特征,并进行特征连接后构成临床特征,输入到深度子空间学习模块;
所述深度子空间学习模块通过深度子空间学习网络进行特征降维和融合,所述深度子空间学习网络包括编码器、隐空间变量自表达层和解码器,对隐空间变量自表达层监督学习;深度子空间学习网络输入胰腺影像特征和临床特征,经过编码器输出隐空间变量,对编码器输出的隐空间变量连接一个全连接层,并作用激活函数,获得患糖尿病风险的预测值。
进一步地,所述术前CT图像数据获取模块,获取胰腺切除术前CT图像数据后将CT图像数据的HU值截断在[-100, 240]之间,然后离散化到[0,255]之间,根据残余胰腺计算其包围区域的矩形框,设定边缘扩展值,然后截取CT图像数据和残余胰腺标注图像的矩形框。
进一步地,所述残余胰腺感兴趣区域获取模块中,基于深度卷积神经网络自动分割术前胰腺CT图像,获得完整的胰腺预测区域,根据手术记录或者肿瘤位置,在医学图像处理工具集MITK软件中模拟手术切割面,得到切除术后的残余胰腺区域作为后续影像特征计算的残余胰腺感兴趣区域。
进一步地,所述残余胰腺感兴趣区域获取模块中,胰腺分割网络选择密集连接扩张卷积网络。
进一步地,所述影像特征计算模块用于对术前CT图像数据做滤波处理,利用滤波后的图像和残余胰腺感兴趣区域,计算一阶统计特征向量、形状特征向量以及纹理特征向量,将三个特征向量连接得到滤波处理后的特征向量;根据胰腺分割网络的全连接层输入,计算残余胰腺感兴趣区域内所有像素点的特征均值,并进行标准化处理,得到高层语义特征向量,将滤波处理后的特征向量和高层语义特征向量相连接,得到胰腺影像特征。
进一步地,将所有CT图像数据滤波处理后的特征向量按照如下方式处理:
进一步地,所述临床特征计算模块包括身体组成成分特征计算模块、临床信息特征计算模块和胰腺切除特征计算模块;
所述身体组成成分特征计算模块用于计算CT体数据的第三节脊椎位置的横断面图像的内脏脂肪、皮下脂肪和骨骼肌的区域面积,并计算内脏脂肪与骨骼肌之比和内脏脂肪与皮下脂肪之比,得到身体组成成分特征;
所述临床信息特征获取模块用于获取患者基础临床信息,包括人口学特征和生活习惯,组成临床信息特征;
所述胰腺切除特征计算模块计算胰腺术前体积、术后体积,计算胰腺切除比,构建胰腺切除特征;
将身体组成成分特征计算模块、临床信息特征计算模块和胰腺切除特征计算模块的结果连接构成临床特征,输入到深度子空间学习模块。
进一步地,所述深度子空间学习模块中的深度子空间学习网络的损失函数为:
s.t. diag(C)=0
其中,,为影像特征,为临床特征,为解码器的输出,y
为患者术后患糖尿病的真实情况,是模型预测的糖尿病风险,Z为编码器输出的隐空间变
量,L为拉普拉斯矩阵,符号Tr表示矩阵的迹,符号T表示矩阵转置,表示网络中所有的参
数,包括编码器参数,自表示系数矩阵C,监督模块参数和解码器参数;和为
正则化系数,符号表示frobenius范数, 表示交叉熵损失。
本发明的有益效果:本发明提出利用术前CT图像和临床信息来预测胰腺切除术后患糖尿病风险,填补了利用术前影像预测糖尿病风险的空白。与传统影像组学方法不同,本发明提出基于深度卷积神经网络自动分割术前CT图像,在此基础上模拟胰腺切割边缘,获得术后残余胰腺感兴趣区域,可以大大减少人工标注量。进一步,本发明建立了结合影像组学特征和高层语义特征的高维影像特征集,和包括胰腺切除率、脂肪与肌肉组织成分、人口学信息和生活习惯等与糖尿病相关的临床特征集,这是挖掘与胰腺切除术后患糖尿病相关特征的基础和关键。同时,创新性地提出一个有监督的深度子空间学习网络,在子空间中实现特征降维与融合,同时训练预测模型,挖掘与预测任务相关的敏感特征,提高了预测模型准确率。
附图说明
图1为本发明基于有监督深度子空间学习的胰腺术后糖尿病预测系统图。
图2为密集连接扩张卷积神经网络架构示意图。
图3 为身体组成成分边界示意图。
图4为有监督的深度子空间学习网络结构示意图。
具体实施方式
以下结合附图对本发明具体实施方式作进一步详细说明。
如图1所示,本发明的目的在于针对目前利用临床特征和术前影像特征预测胰腺切除术后患糖尿病风险方面的空白,和现有影像组学方法依赖手工勾画感兴趣区域,高维特征降维效果不好、区分能力不足的问题,提出了一种基于有监督深度子空间学习的胰腺切除术后糖尿病风险预测系统。
本发明在感兴趣区域标注阶段,通过残余胰腺感兴趣区域获取模块得到胰腺预测区域进而得到残余胰腺区域,具体为:基于深度卷积神经网络自动分割术前胰腺CT图像,获得完整的胰腺预测区域,然后,根据手术记录或者肿瘤位置,在医学图像处理工具MITK软件中模拟手术切割面,得到切除术后的残余胰腺区域作为后续影像特征计算的残余胰腺感兴趣区域。在特征提取阶段,利用影像特征计算模块计算胰腺影像特征,一方面,基于小波滤波后的图像提取一阶统计特征、形状特征以及高阶纹理特征等传统影像组学特征,另一方面,基于深度卷积神经网络输出的特征图获得残余胰腺区域的高层语义特征,构建胰腺影像特征。进一步,通过临床特征计算模块提取与患者术后患糖尿病相关的临床信息,包括人口学信息(性别、年龄等)、生活习惯(饮酒、抽烟等),胰腺体积切除率、胰腺剩余体积以及腹部脂肪和肌肉含量,建立临床特征集。在特征筛选阶段,通过深度子空间学习模块建立有监督的深度子空间学习网络,加入监督学习模块,对影像特征和临床特征进行降维与融合,得到其在低维子空间的稀疏表示,并从中计算特征间的相似矩阵。利用训练完成的深度子空间学习网络中的监督学习模块,预测患者术后患糖尿病的风险。本发明中所利用的深度子空间学习网络如图4所示。
所述术前CT图像数据获取模块获取胰腺切除术前CT图像数据后,对CT图像数据预处理并进行数据集划分,具体如下:
1)CT图像重采样、灰度值离散化和图像区域框选。对术前胰腺CT图像,将其空间分辨率重采样到1*1*1mm,并将图像的HU值截断在[-100, 240]之间,然后离散化到[0,255]之间。HU值:即CT值,是测定人体某一局部组织或器官密度大小的一种计量单位,通常称亨氏单位(hounsfield unit,HU)。空气为-1000,致密骨为+1000。然后,根据残余胰腺计算其包围区域的矩形框,设定边缘扩展值,然后截取CT图像和标注图像的矩形框。此步骤可以减少后续影像特征计算量。
2)针对胰体尾切除术后患者队列,按照50%、20%、30%将其随机划分成训练集、验
证集和测试集。将患者术后是否发生糖尿病作为预测模型的真实标签y,y=1表示患
者术后得糖尿病或糖尿量异常,y=0表示患者血糖功能正常。
所述残余胰腺感兴趣区域获取模块用于胰腺CT图像自动分割及残余胰腺感兴趣
区域的提取,具体为:记术前胰腺CT体数据为I,大小为,其中L为体数据的层
数。将I进行轴位面切片,获得二维图像序列。将连续的三张图像组合作为一张三通道伪彩
图图像,记为。对每张二维图像,进行对比度调整与图像框选。具体的,将图
像的HU值截断在[-100, 240]之间,然后归一化到[0,1]之间。对每张二维图像截取大小
为的图像块,输入到已经训练好的胰腺分割网络中,得到胰腺预测区域,记为。
胰腺分割网络可以选择密集连接扩张卷积网络或者其他端到端的全卷积神经网络。在本发
明中,选择密集连接扩张卷积神经网络(DenseASPP)作为胰腺分割网络。DenseASPP是一种
广义的密集连接网络,它具有密集连接的空洞空间金字塔池化层(ASPP)。它通过连接来自
具有不同扩张率的空洞卷积的特征图来编码多尺度信息。与原始的ASPP相比,DenseASPP使
用密集连接到每个空洞卷积层的输出,并以合理的扩张率获得越来越大的感受野。因此,
DenseASPP可以以非常密集的方式获得覆盖更大感受野的输出特征图。本发明使用
DenseNet161后跟空洞卷积层来构建基本的DenseASPP网络(见图2)。DenseASPP的第一部分
是一个特征生成块,输出尺寸为1/8输入图像尺寸的基本特征图。具体来说,它由一个卷
积层、4个密集块和3个过渡层组成。第一个密集块中的初始特征图数量为96,增长率为48。
DenseASPP的第二部分是通过密集连接的空洞卷积层构建在特征图上的密集ASPP模块,
其中空洞卷积层数量为3,扩张率d分别为3、6、12。
在已自动分割好的胰腺预测区域上,根据手术记录或胰腺肿瘤位置,利用MITK软件,模拟胰腺切除的边缘,得到切除术后的残余胰腺区域,记为R,作为后续计算影像特征的残余胰腺感兴趣区域。
所述影像特征计算模块利用残余胰腺感兴趣区域进行影像组学特征计算。由于大部分胰腺区域的原始图像通常是分片常值的,并且包含高冗余信号。本发明采用小波分析来提取图像高频和低频的信息。小波分析使用所谓小波的小波函数将信号转换为空间/频率表示。经过小波变换后,图像被分解为多分辨率子空间,相应的小波系数反映了原始图像的高低频信号。对胰腺切除术前CT图像数据作小波滤波,小波基分别选取db1、db5、sym7、coif3和haar小波基,基于matlab的wavelet工具包对图像分别在三个方向进行分解高频和低频信号的分解。具体地,使用wavelet工具包中的wavedec3对图像进行高频和低频信息的分解。3D小波变换可以表示为
每组小波基下,一共可以得到8个分解系数(LLL, LLH, LHL,LHH, HLL, HLH,
HHL, HHH)。一共可以得到40组滤波后的图像。利用小波滤波后的图像和残余胰腺感兴趣区
域,基于Pyradiomics工具包计算一阶统计特征、形状特征以及纹理特征(GLCM、GLRLM、
NGTDM、GLDM),各类特征具体包含的特征名称见表1,每个滤波后的图像可以计算得到85个
特征。记计算得到的特征向量为 f代表具体的特征名。最终得到3400维的特征。
表1 影像特征名称
之后将胰腺分割网络的全连接层输入提取出来,作为高层语义特征,并计算残余胰腺感兴趣区域内所有像素点的的特征均值。在本发明中,选择密集连接扩张卷积神经网络(DenseASPP)作为胰腺分割网络,将胰腺切除术前CT图像数据经过对比度调整后,输入到训练好的分割网络中。经网络前向传播,取网络输出的最后一层全连接层的输入为提取的高层语义特征,并且在计算其在感兴趣区域内所有像素点的均值,最终得到1488维的特征。
将所有CT图像数据的图像特征拉伸到[0,1]范围内,即,其中表示特征向量,向量长度为所有CT图像数据
个数n。将基于小波的特征向量和高层语义特征向量相连接,得到影像特征。,为影像特征的维度,n为CT图像数
据个数,为滤波处理后的特征向量,表示影像组学特征,为高层语义特征向
量。
所述临床特征计算模块包括身体组成成分特征计算模块、临床信息特征计算模块和胰腺切除特征计算模块;
所述身体组成成分特征计算模块提取CT体数据的第三节脊椎位置的横断面图像,
手工标注身体外围边界1,皮下脂肪与骨骼肌边界2,骨骼肌与腹部内腔边界3(见图3)。根据
CT HU值计算内脏脂肪、皮下脂肪和骨骼肌的区域面积。具体地,设定脂肪组织的HU值范围
为[-190.-30], 肌肉组织的HU值范围为[-29, 150],边界1与边界2之间的区域为皮下脂肪
所在的位置,根据脂肪组织HU值范围,设定阈值提取皮下脂肪组织区域SAT。边界3内的区域
为内脏脂肪所在区域,根据脂肪组织HU值范围,设定阈值提取内脏脂肪组织区域VAT。边界2
与边界3之间的区域为骨骼肌所在位置,根据肌肉HU值范围,提取骨骼肌区域SKM。对上述提
取的三种组织区域,计算其面积,以及总脂肪面积。除
此之外,再计算内脏脂肪与骨骼肌之比,内脏脂肪与皮下脂肪之比。身
体组成成分特征。
上述影像特征集和临床特征集中存在高度冗余或者与目标不相关的特征,需要进行特征降维。同时,影像特征与临床特征需要进行融合。本发明通过深度子空间学习模块进行深度子空间学习过程,实现特征降维和融合。
所述深度子空间学习模块包括基于自编码器的深度子空间学习网络,具体构建过程如下:首先,设计一个自编码器网络AE。普通自编码器一般由编码器和解码器两部分组成,通过无监督学习,学习输入数据的高效表示。输入数据的这一高效表示称为编码(codings),其维度一般远小于输入数据,使得自编码器可用于降维。在本发明中,为了利用自编码器实现子空间聚类,本发明还对编码器加入了一个隐空间变量自表示层。因此,本发明设计AE由一个编码器E、一个解码器D和一个隐空间变量自表达层组成。编码器E包括三个卷积层-激活层,解码器D由对应的三个卷积层-激活层组成,隐空间变量自表达层包括一个全连接层。然后,对自编码器网络加入一个监督学习模块,即对编码器输出的隐空间变量Z连接上一个全连接层,并作用激活函数,获得对标签的预测值。
记输入深度子空间学习网络的数据为,经过编码器E输出为隐空间
变量, 为编码器参数,再经解码器的输出为,为解码器参
数。记S为刻画数据之间相似性的相似矩阵,其中相似矩阵的元素 表示数据可被重构
后的数据表示的系数。为使经过编码和解码重构出来的数据与原始数据X之间的差异
要尽可能小,定义网络的重构损失
在子空间聚类中,假设一个样本可以由数据本身的字典线性表示,即
其中是表示矩阵。然后,描述数据关系的相似图可以构造相似矩阵。由于高维数据之间的关系可能是非线性的,无法用线性关系表示,本发明先通
过自编码器中的编码器将数据X投影到隐空间,认为在低维隐空间中的数据表示Z可以被自
身线性表示。同时,要求这种表示具有稀疏性。因此,自表达层的损失函数可以定义为
其中相似矩阵S由自表示系数矩阵C计算得到,计算公式为。损
失函数公式第一项要求系数矩阵C具有稀疏性,即筛选出的特征是稀疏的。第二项要求同一
个子空间中的数据可以自我表示,即可以由同一子空间中的其他数据线性表示。符号表
示L1范数,符号表示frobenius范数,表示正则化系数。
传统的自编码器学习方式是无监督的,为了加强所选择的特征的特异性,我们对
自编码器引入监督学习模块。记引入的全连接层的参数为,激活函数为softmax函数,
隐空间变量Z经过全连接层和激活函数后得,记数据的真实标签为y, 监督学
习模块的损失函数表示为
综上,深度子空间学习网络的损失函数定义为
利用训练集和验证集,基于网格搜索方法设置网络结构超参数和模型的参
数,包括神经元个数、网络层数、学习率、batchsize、迭代步数、正则化系数 和。利用
划分好的训练集训练子空间学习网络,利用ADAM方法优化网络参数,最后得到训练好的
深度子空间学习网络模型。
对子空间学习网络模型输入测试数据X_tt,得到数据在低维子空间的表示Z以及Z
的自表示ZC。利用子空间学习网络中的监督学习模块,对ZC进行类别预测,得到预测值。
将与标签进行比较,进行ROC分析。在ROC曲线上的阳性似然比最大的点确定界值
(Cut-off points),并计算敏感度、特异度、ROC曲线下面积(AUC)和评估病理反应的准确
度。AUC值越大证明本发明系统的评估准确率越高。
具体应用实施例:构建一个胰体尾切除队列,包含212例患者数据,其中术后患糖尿病的患者有65例。提取患者术前CT图像和电子病历中的患者基本特征。采用五折交叉验证方法在该队列上验证本方法。将所有数据分成5份,编号为1,2,3,4,5。第一组实验使用编号2,3,4,5训练,1用来测试,第二组实验使用1,3,4,5训练,2来测试,依次类推,最后将5组实验的准确率取平均。按以下步骤处理数据:
1. 图像处理。利用密集连接扩张卷积网络分割CT图像胰腺区域。然后利用MITK软件模拟胰腺切缘,得到术后残余胰腺感兴趣区域。
2. 特征计算。针对残余胰腺感兴趣区域,计算基于小波滤波的影像特征和基于深度学习的高层语义特征,组成影像特征集。计算身体组成成分特征、胰腺切除特征,提取患者临床信息,组成临床特征集。
3. 将训练集数据输入到子空间学习网络中,训练网络模型。
4. 对子空间学习网络输入测试数据,得到预测的换糖尿病风险值。
五折交叉验证结果显示,子空间学习网络筛选出来的特征包括36个影像特征,和4个临床特征。临床特征包括饮酒、肌肉含量,年龄和残余胰腺体积,影像特征包含来自9个db5滤波特征,8个sym7滤波特征,19个haar滤波特征。患者胰腺切除术后患糖尿病风险预测模型的准确率AUC=0.824。本发明方法对影像和临床特征联合挖掘,所挖据的临床变量与文献中报道的相关因素相吻合,说明了本方法筛选糖尿病相关风险因子的有效性。
上述实施例用来解释说明本发明,而不是对本发明进行限制,在本发明的精神和权利要求的保护范围内,对本发明作出的任何修改和改变,都落入本发明的保护范围。
Claims (8)
1.一种基于有监督深度子空间学习的胰腺术后糖尿病预测系统,其特征在于,该系统包括术前CT图像数据获取模块、残余胰腺感兴趣区域获取模块、影像特征计算模块、临床特征计算模块和深度子空间学习模块;
所述术前CT图像数据获取模块用于获取胰腺切除术前CT图像数据,输入到残余胰腺感兴趣区域获取模块和影像特征计算模块;
所述残余胰腺感兴趣区域获取模块用于将术前CT图像数据输入到训练好的胰腺分割网络中,得到胰腺预测区域;在胰腺预测区域上,通过软件模拟胰腺切除的边缘,得到切除术后的残余胰腺区域,作为后续计算影像特征的感兴趣区域,输入到影像特征计算模块;
所述影像特征计算模块用于根据术前CT图像数据以及影像特征的感兴趣区域计算得到胰腺影像特征,输入到深度子空间学习模块;
所述临床特征计算模块用于获取患者术后患糖尿病相关的临床信息,包括人口学信息、生活习惯、胰腺体积切除率、胰腺剩余体积以及腹部脂肪和肌肉含量特征,并进行特征连接后构成临床特征,输入到深度子空间学习模块;
所述深度子空间学习模块通过深度子空间学习网络进行特征降维和融合,所述深度子空间学习网络包括编码器、隐空间变量自表达层和解码器,对隐空间变量自表达层监督学习;深度子空间学习网络输入胰腺影像特征和临床特征,经过编码器输出隐空间变量,对编码器输出的隐空间变量连接一个全连接层,并作用激活函数,获得患糖尿病风险的预测值;所述深度子空间学习模块中的深度子空间学习网络的损失函数为:
s.t. diag(C)=0
2.根据权利要求1所述的一种基于有监督深度子空间学习的胰腺术后糖尿病预测系统,其特征在于,所述术前CT图像数据获取模块,获取胰腺切除术前CT图像数据后将CT图像数据的HU值截断在[-100, 240]之间,然后离散化到[0,255]之间,根据残余胰腺计算其包围区域的矩形框,设定边缘扩展值,然后截取CT图像数据和残余胰腺标注图像的矩形框。
3.根据权利要求1所述的一种基于有监督深度子空间学习的胰腺术后糖尿病预测系统,其特征在于,所述残余胰腺感兴趣区域获取模块中,基于深度卷积神经网络自动分割术前胰腺CT图像,获得完整的胰腺预测区域,根据手术记录或者肿瘤位置,在医学图像处理工具集MITK软件中模拟手术切割面,得到切除术后的残余胰腺区域作为后续影像特征计算的残余胰腺感兴趣区域。
4.根据权利要求3所述的一种基于有监督深度子空间学习的胰腺术后糖尿病预测系统,其特征在于,所述残余胰腺感兴趣区域获取模块中,胰腺分割网络选择密集连接扩张卷积网络。
5.根据权利要求1所述的一种基于有监督深度子空间学习的胰腺术后糖尿病预测系统,其特征在于,所述影像特征计算模块用于对术前CT图像数据做滤波处理,利用滤波后的图像和残余胰腺感兴趣区域,计算一阶统计特征向量、形状特征向量以及纹理特征向量,将三个特征向量连接得到滤波处理后的特征向量;根据胰腺分割网络的全连接层输入,计算残余胰腺感兴趣区域内所有像素点的特征均值,并进行标准化处理,得到高层语义特征向量,将滤波处理后的特征向量和高层语义特征向量相连接,得到胰腺影像特征。
8.根据权利要求1所述的一种基于有监督深度子空间学习的胰腺术后糖尿病预测系统,其特征在于,所述临床特征计算模块包括身体组成成分特征计算模块、临床信息特征计算模块和胰腺切除特征计算模块;
所述身体组成成分特征计算模块用于计算CT体数据的第三节脊椎位置的横断面图像的内脏脂肪、皮下脂肪和骨骼肌的区域面积,并计算内脏脂肪与骨骼肌之比和内脏脂肪与皮下脂肪之比,得到身体组成成分特征;
所述临床信息特征获取模块用于获取患者基础临床信息,包括人口学特征和生活习惯,组成临床信息特征;
所述胰腺切除特征计算模块计算胰腺术前体积、术后体积,计算胰腺切除比,构建胰腺切除特征;
将身体组成成分特征计算模块、临床信息特征计算模块和胰腺切除特征计算模块的结果连接构成临床特征,输入到深度子空间学习模块。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210466102.7A CN114565613B (zh) | 2022-04-29 | 2022-04-29 | 基于有监督深度子空间学习的胰腺术后糖尿病预测系统 |
PCT/CN2023/089985 WO2023207820A1 (zh) | 2022-04-29 | 2023-04-23 | 基于有监督深度子空间学习的胰腺术后糖尿病预测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210466102.7A CN114565613B (zh) | 2022-04-29 | 2022-04-29 | 基于有监督深度子空间学习的胰腺术后糖尿病预测系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114565613A CN114565613A (zh) | 2022-05-31 |
CN114565613B true CN114565613B (zh) | 2022-08-23 |
Family
ID=81721134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210466102.7A Active CN114565613B (zh) | 2022-04-29 | 2022-04-29 | 基于有监督深度子空间学习的胰腺术后糖尿病预测系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114565613B (zh) |
WO (1) | WO2023207820A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114565613B (zh) * | 2022-04-29 | 2022-08-23 | 之江实验室 | 基于有监督深度子空间学习的胰腺术后糖尿病预测系统 |
CN115131642B (zh) * | 2022-08-30 | 2022-12-27 | 之江实验室 | 一种基于多视子空间聚类的多模态医学数据融合系统 |
CN116309385B (zh) * | 2023-02-27 | 2023-10-10 | 之江实验室 | 基于弱监督学习的腹部脂肪与肌肉组织测量方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112164067A (zh) * | 2020-10-12 | 2021-01-01 | 西南科技大学 | 一种基于多模态子空间聚类的医学图像分割方法及装置 |
CN113870258A (zh) * | 2021-12-01 | 2021-12-31 | 浙江大学 | 一种基于对抗学习的无标签胰腺影像自动分割系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2313832C1 (ru) * | 2006-05-16 | 2007-12-27 | Государственное учреждение Научный центр реконструктивной и восстановительной хирургии Восточно-Сибирского научного центра Сибирского отделения Российской Академии медицинских наук | Способ моделирования пострезекционной гипергликемии |
WO2016191567A1 (en) * | 2015-05-26 | 2016-12-01 | Memorial Sloan-Kettering Cancer Center | System, method and computer-accessible medium for texture analysis of hepatopancreatobiliary diseases |
CN110047082B (zh) * | 2019-03-27 | 2023-05-16 | 深圳大学 | 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统 |
CN110599461B (zh) * | 2019-08-21 | 2023-04-07 | 东南大学 | 一种基于子空间特征学习的丘脑功能分区方法 |
CN111739076B (zh) * | 2020-06-15 | 2022-09-30 | 大连理工大学 | 面向多种ct肺部纹理识别的非监督保内容域适应方法 |
CN111915596A (zh) * | 2020-08-07 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种肺结节良恶性预测方法及装置 |
CN113160229A (zh) * | 2021-03-15 | 2021-07-23 | 西北大学 | 基于层级监督级联金字塔网络的胰腺分割方法及装置 |
CN113113140B (zh) * | 2021-04-02 | 2022-09-23 | 中山大学 | 基于自监督dnn的糖尿病预警方法、系统、设备及存储介质 |
CN113284151A (zh) * | 2021-06-07 | 2021-08-20 | 山东澳望德信息科技有限责任公司 | 一种基于深度卷积神经网络的胰腺分割方法及系统 |
CN114565613B (zh) * | 2022-04-29 | 2022-08-23 | 之江实验室 | 基于有监督深度子空间学习的胰腺术后糖尿病预测系统 |
-
2022
- 2022-04-29 CN CN202210466102.7A patent/CN114565613B/zh active Active
-
2023
- 2023-04-23 WO PCT/CN2023/089985 patent/WO2023207820A1/zh unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112164067A (zh) * | 2020-10-12 | 2021-01-01 | 西南科技大学 | 一种基于多模态子空间聚类的医学图像分割方法及装置 |
CN113870258A (zh) * | 2021-12-01 | 2021-12-31 | 浙江大学 | 一种基于对抗学习的无标签胰腺影像自动分割系统 |
Non-Patent Citations (3)
Title |
---|
Automatic Pancreas Segmentation in CT Images With Distance-Based Saliency-Aware DenseASPP Network;Peijun Hu 等;《IEEE》;20210531;第1601-1611页 * |
Deep subspace clustering to achieve jointly latent feature extraction and discriminative learning;Qinjian Huang 等;《ELSEVIER》;20200508;第340-350页 * |
人工智能医学影像技术在胰腺神经内分泌肿瘤分级中的应用;宋涛等;《第二军医大学学报》;20200420(第04期);第91-96页 * |
Also Published As
Publication number | Publication date |
---|---|
WO2023207820A1 (zh) | 2023-11-02 |
CN114565613A (zh) | 2022-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114565613B (zh) | 基于有监督深度子空间学习的胰腺术后糖尿病预测系统 | |
CN113674281B (zh) | 一种基于深度形状学习的肝脏ct自动分割方法 | |
EP3046478B1 (en) | Image analysis techniques for diagnosing diseases | |
CN111445481A (zh) | 一种基于尺度融合的腹部ct多器官的分割方法 | |
CN113674253B (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
CN109389584A (zh) | 基于cnn的多尺度鼻咽肿瘤分割方法 | |
CN113256641B (zh) | 一种基于深度学习的皮肤病灶图像分割方法 | |
CN109614991A (zh) | 一种基于Attention的多尺度扩张性心肌的分割分类方法 | |
CN115131642B (zh) | 一种基于多视子空间聚类的多模态医学数据融合系统 | |
CN112465905A (zh) | 基于深度学习的磁共振成像数据的特征脑区定位方法 | |
CN111430025B (zh) | 一种基于医疗影像数据扩增的疾病诊断模型训练方法 | |
CN112263217B (zh) | 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法 | |
CN113538435B (zh) | 一种基于深度学习的胰腺癌病理图像分类方法及系统 | |
CN114565601A (zh) | 基于DeepLabV3+改进的肝脏CT图像分割算法 | |
CN112200810B (zh) | 多模态的自动化脑室分割系统及其使用方法 | |
Wulaning Ayu et al. | Pixel Classification Based on Local Gray Level Rectangle Window Sampling for Amniotic Fluid Segmentation. | |
CN115578373A (zh) | 基于全局和局部特征协作的骨龄评估方法、装置、设备及介质 | |
CN115953416A (zh) | 基于深度学习的膝骨关节核磁共振图像自动分割方法 | |
CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
CN114822842A (zh) | 磁共振结直肠癌t分期预测方法及系统 | |
CN114581459A (zh) | 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法 | |
CN114445374A (zh) | 一种基于扩散峰度成像mk图的图像特征处理方法及系统 | |
CN112819765A (zh) | 一种肝脏图像处理方法 | |
CN112884759B (zh) | 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置 | |
CN115239688B (zh) | 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |