CN114331996A - 基于自编码解码器的医学影像分型方法及系统 - Google Patents

基于自编码解码器的医学影像分型方法及系统 Download PDF

Info

Publication number
CN114331996A
CN114331996A CN202111596021.0A CN202111596021A CN114331996A CN 114331996 A CN114331996 A CN 114331996A CN 202111596021 A CN202111596021 A CN 202111596021A CN 114331996 A CN114331996 A CN 114331996A
Authority
CN
China
Prior art keywords
self
medical image
roi
typing
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111596021.0A
Other languages
English (en)
Inventor
薛宇
张玮之
林少峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202111596021.0A priority Critical patent/CN114331996A/zh
Publication of CN114331996A publication Critical patent/CN114331996A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明属于肿瘤医学影像分析领域,具体公开了一种基于自编码解码器的医学影像分型方法及系统,其中方法包括训练阶段和检测阶段,训练阶段包括:(1)医学影像数据的预处理;(2)自编码‑解码器模型的建立与训练;检测阶段包括:(S1)医学影像数据的预处理;(S2)将步骤(S1)得到的ROI输入矩阵输入至训练后的自编码‑解码器模型,得到分型输入;(S3)分型聚类。本发明通过对图像处理流程整体设计进行改进,采用自编码解码器,利用自编码器从医学影像原图提取高维特征后再使用解码器还原特征图,利用图像自身特征作为各图训练标签,能够在尽可能少受人为先验知识影响的前提下,利用自学习的方法提升肿瘤医学影像的组学分型效果。

Description

基于自编码解码器的医学影像分型方法及系统
技术领域
本发明属于肿瘤医学影像分析领域,更具体地,涉及一种基于自编码解码器的医学影像分型方法及系统,能够基于肿瘤CT和MRI等医学影像的宏观特征对这些医学影像数据进行分型。
背景技术
肿瘤异质性是不同患者个体间或者同一患者不同位置的肿瘤组织间具有面积大小、轮廓清晰度、射线吸收值等表型差异。随着高精度断层扫描技术和核磁共振技术的高速发展,CT与MRI医学影像组学被广泛应用于肿瘤的鉴定与分析。其中癌症分期依赖于放射科医生依据经验对医学影像进行判断,进而得出不同患者的癌症分期。
目前肿瘤医学影像组学数据的分型方法主要是依据大量人工标签定义,经过提取影像图像特征的方式,进行后续分型。其中的方法包括一致性聚类(Consensusclustering)和非负矩阵分解(Non-negative matrix factorization,NMF)。或者给数据集提供分类标签后,通过神经网络进行学习,进而直接预测影像的分类标签。这些分型方法高度依赖人为先验知识的标注,如果分析人员的鉴定水平受限,则会大幅降低分类的可靠性。
发明内容
针对现有技术的以上缺陷或改进需求,本发明的目的在于提供一种基于自编码解码器的医学影像分型方法及系统,其中通过对图像处理流程整体设计进行改进,采用整体具有对称结构的自编码解码器,利用自编码器从医学影像原图提取高维特征后再使用解码器还原特征图,利用图像自身特征作为各图训练标签,能够在尽可能少受人为先验知识影响的前提下,利用自学习的方法提升肿瘤医学影像的组学分型效果,为分型提供另一种实现途径。
为实现上述目的,按照本发明的一个方面,提供了一种基于自编码解码器的医学影像分型方法,其特征在于,包括训练阶段和检测阶段,其中:
所述训练阶段包括以下步骤:
(1)医学影像数据的预处理:
针对预先选定的肿瘤类型,收集若干位患该类肿瘤的肿瘤患者的医学影像数据,并对每层图像获取肿瘤横截面中心点然后截取尺寸满足预先设定要求的感兴趣区域ROI;
对于各个ROI:判断ROI内灰度值最大的像素点对应的是软组织还是骨组织,若是软组织,则将水和空气区域像素值更新为0;若是骨组织,则将骨组织所对应的ROI中的各个像素点的灰度值更新为0,并将水和空气区域对应的像素值更新为0;
然后,将该ROI进行灰度映射至[0,1]区间,得到与该ROI相对应的训练用ROI输入矩阵;
(2)自编码-解码器模型的建立与训练:
建立基于深度学习的自编码-解码器模型,该自编码-解码器模型包括依次设置的自编码器和自解码器,且两者互为对称;其中,
所述自编码器用于输入所述ROI输入矩阵,从中抽提高维特征,该自编码器最末端的卷积输出层的输出则作为分型输入;
所述自解码器用于输入所述分型输入,并对其进行上采样,从而还原重构出特征矩阵,该自解码器最末端的输出即为还原重构矩阵;
然后,将所述步骤(1)得到的训练用ROI输入矩阵输入到所述自编码-解码器模型,对模型进行训练;通过对比所述训练用ROI输入矩阵与所述还原重构矩阵,在预先设定的迭代次数条件下,以优化均方误差MSE与结构相似性SSIM为指标,对模型内的自编码器和自解码器同步进行训练,得到能够输出分型输入的、训练后的自编码-解码器模型;
所述检测阶段包括以下步骤:
(S1)医学影像数据的预处理:
对于待分型的某一位肿瘤病人的医学影像数据,获取肿瘤横截面中心点然后截取尺寸满足预先设定要求的感兴趣区域ROI;
对于该ROI:判断ROI内灰度值最大的像素点对应的是软组织还是骨组织,若是软组织,则将水和空气区域像素值更新为0;若是骨组织,则将骨组织所对应的ROI中的各个像素点的灰度值更新为0,并将水和空气区域对应的像素值更新为0;
然后,将该ROI进行灰度映射至[0,1]区间,得到与该ROI相对应的ROI输入矩阵;
(S2)将所述步骤(S1)得到的ROI输入矩阵输入至所述训练后的自编码-解码器模型,输出得到分型输入;
(S3)分型聚类:
将所述步骤(S2)得到的分型输入,基于分型聚类算法,得到聚类分型结果。
作为本发明的进一步优选,在所述训练阶段还包括步骤:
(3)分型聚类:
将所述步骤(2)得到的分型输入,基于分型聚类算法,得到聚类分型结果;
(4)对分型结果进行评估:
将所述步骤(3)得到的所述聚类分型结果与临床指标的相关性进行显著性分析,出现一个或多个临床指标显著关联即可;若未出现显著相关的临床指标,则跳转执行步骤(2)并调整所述自编码-解码器模型的网络构架,直至出现显著相关的临床指标。
作为本发明的进一步优选,所述步骤(1)中的所述医学影像的类型与所述步骤(S1)中医学影像的类型相同。
作为本发明的进一步优选,所述步骤(1)中,所述医学影像的类型为CT医学影像或MRI医学影像;优选的,所述医学影像数据具体为结合手术报告定位出肿瘤最大截面处及其上下临近层的医学影像;
所述步骤(S1)中,所述医学影像的类型为CT医学影像或MRI医学影像;所述医学影像数据具体为结合手术报告定位出肿瘤最大截面处的医学影像。
作为本发明的进一步优选,所述分型聚类算法为一致性聚类(Consensusclustering)或非负矩阵分解(Non-negative matrix factorization,NMF)。
按照本发明的另一方面,本发明提供了一种基于自编码解码器的医学影像分型系统,其特征在于,包括医学影像数据的预处理功能模块、自编码-解码器模型功能模块和分型聚类功能模块,其中:
医学影像数据的预处理功能模块,用于:
对于待分型的某一位肿瘤病人的医学影像数据,获取肿瘤横截面中心点然后截取尺寸满足预先设定要求的感兴趣区域ROI;
对于该ROI:判断ROI内灰度值最大的像素点对应的是软组织还是骨组织,若是软组织,则将水和空气区域像素值更新为0;若是骨组织,则将骨组织所对应的ROI中的各个像素点的灰度值更新为0,并将水和空气区域对应的像素值更新为0;
将该ROI进行灰度映射至[0,1]区间,得到与该ROI相对应的ROI输入矩阵;
自编码-解码器模型功能模块,该自编码-解码器模型包括依次设置的自编码器和自解码器,且两者互为对称;其中,
所述自编码器用于输入所述ROI输入矩阵,从中抽提高维特征,该自编码器最末端的卷积输出层的输出则作为分型输入;
所述自解码器用于输入所述分型输入,并对其进行上采样,从而还原重构出特征矩阵,该自解码器最末端的输出即为还原重构矩阵;
并且,该自编码-解码器模型还经过了训练处理;所述训练处理是针对预先选定的肿瘤类型,收集若干位患该类肿瘤的肿瘤患者的医学影像数据,将它们通过所述医学影像数据的预处理功能模块处理,得到训练用ROI输入矩阵;将所述训练用ROI输入矩阵输入到所述自编码-解码器模型,对模型进行训练;通过对比所述训练用ROI输入矩阵与对应的还原重构矩阵,在预先设定的迭代次数条件下,以优化均方误差MSE与结构相似性SSIM为指标,对模型内的自编码器和自解码器同步进行训练,得到能够输出分型输入的、训练后的自编码-解码器模型;
分型聚类功能模块,用于:基于分型聚类算法处理所述分型输入,得到聚类分型结果。
作为本发明的进一步优选,所述训练处理还包括:
基于所述训练用ROI输入矩阵,将利用所述自编码-解码器模型处理得到的分型输入,利用所述分型聚类功能模块得到聚类分型结果;
将所述聚类分型结果与临床指标的相关性进行显著性分析,出现一个或多个临床指标显著关联即可;若未出现显著相关的临床指标,则调整所述自编码-解码器模型的网络构架,重复训练处理,直至出现显著相关的临床指标。
作为本发明的进一步优选,所述训练处理中的医学影像与所述待分型的某一位肿瘤病人的医学影像数据中的医学影像两者类型相同。
作为本发明的进一步优选,所述训练处理中,所述医学影像的类型为CT医学影像或MRI医学影像;优选的,所述医学影像数据具体为结合手术报告定位出肿瘤最大截面处及其上下临近层的医学影像;
所述待分型的某一位肿瘤病人的医学影像数据中,所述医学影像的类型为CT医学影像或MRI医学影像;所述医学影像数据具体为结合手术报告定位出肿瘤最大截面处的医学影像。
作为本发明的进一步优选,所述分型聚类算法为一致性聚类(Consensusclustering)或非负矩阵分解(Non-negative matrix factorization,NMF)。
通过本发明所构思的以上技术方案,本发明基于无监督自学习,对于已有数据不做人为标注,而是利用自编码器基于深度学习方法从图像本身中自学习提取高维特征,同时通过自解码器还原重构,进行对比验证,减少了人为先验知识的引入;并且,可进一步将分类结果与临床指标关联,依此评估分类结果。本发明利用自编码器从医学影像原图提取高维特征后再使用自解码器还原特征图(如后文图4所示),在每次训练过程中评估还原图像于原图像的像素平均误差和矩阵相似性,经多轮迭代训练后使得模型评估指标趋于稳定。之后利用训练好的编码器抽提原图的特征进行分型,得到分型结果;并且,可进一步优选通过对分型结果与临床指标的评估结果,验证模型、保留最优模型,得到更优化的分型结果。
为了抽提图像特征进行无监督学习,减少人为先验知识干扰,本发明采用了自学习神经网络,该自学习神经网络包括依次设置的自编码器和自解码器,通过将自解码器处理得到还原图与输入至自编码器的原图相对比,分析MSE和SSIM等指标对自学习神经网络进行训练优化,达到抽提高维特征并降维分型的效果。以后文实施例为例,基于本发明得到了分别针对CT、MRI这两种影像组学的自编码器,可对两类数据进行无监督分型,并可进一步与多种临床指标(如T分期、肿瘤深度等)进行关联,得到与临床指标显著关联的分型结果。可见,本发明基于自编码解码器的医学影像分型方法及系统,能够实现不依赖人为先验知识标注而进行无监督分类的分型结果,该分型结果还可进一步与临床指标关联,得到在临床指标上有意义的分型结果。
此外,本发明可采用按照手术部位确定肿瘤最大截面中心,较为准确的定位了肿瘤最大截面和中心,后续配合使用图像处理技术(像素归一化、图像二值化)获取以手术部位中心的ROI区域。
综上,本发明通过无监督自学习技术,实现对目前医学影像分型的更新与改进,对肿瘤医学影像组学数据的分析能力,为分型分析提供了一种新的实现途径。
附图说明
图1是本发明的方法流程示意图。
图2是本发明实施例所建立模型的评价结果图。
图3是本发明实施例对口腔癌医学影像组学分型的结果。
图4是本发明自编码器还原图像效果对比图;其中,图4中的(a)对应CT图像重建,左、右依次对应预处理后的ROI(即,输入至自编码器的图像)、还原重构图(即,由自解码器输出的图像);图4中的(b)对应MRI图像重建,左、右依次对应预处理后的ROI、还原重构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
总的来说,本发明基于自编码解码器的医学影像分型方法,主要分为三个部分,即:(I)医学影像数据的预处理,(II)自编码-解码器构建与训练,(III)高维度特征分型;其中的(III)高维度特征分型,还可配合临床指标评估,如图1所示。具体的:
1、医学影像数据的预处理
以高精度断层扫描(Computed Tomography,CT)、核磁共振(Magnetic ResonanceImaging,MRI)为例,针对预先选定的肿瘤类型,结合手术报告定位出肿瘤最大截面处及其上下临近层的医学影像,获取一定数量的患该类肿瘤的肿瘤患者CT医学影像数据或MRI医学影像数据(为保证训练效果,CT训练数据集中,CT医学影像数据总数可要求不低于100层;MRI训练数据集中,MRI医学影像数据总数可要求不低于50层)。其中,CT可以选取肿瘤最大截面处及其上下紧邻的各两层的共计五层图像;MRI由于间隔更大,图像层数较少,可以选取肿瘤最大截面处及其上下紧邻的各一层的共计三层图像。
然后,对各层图像获取肿瘤横截面中心点并截取适当大小的感兴趣区域(Regionof interests,ROI)。ROI的尺寸大小可以预先设定。本发明中,为确保输入的一致性且能囊括肿瘤截面,CT和MRI数据统一选取的是50像素×50像素的区域。进一步的,针对CT影像数据,由于肿瘤属于软组织,因此需要先剔除骨组织部分,可以针对各ROI区域,仅保留吸收值在0-400的数据点,其余高于400或低于0的像素点的值全部归于0值。MRI数据因软组织吸收值高于骨组织,因此无需处理即可使用。最后针对每个ROI进行灰度映射,按像素最大、最小分别归一化至1、0,将每个ROI归一化至[0,1]区间,得到的ROI即可作为训练输入矩阵数据。
另外,还可通过图像二值化处理ROI得到ROI的轮廓,以准确定位ROI中心,确保定位得到的ROI中心和手术部位中心相符合(二值化的具体操作可参照现有技术进行)。
2、自编码-解码器构建与训练
分别建立针对CT影像数据的自编码-解码器模型、以及针对MRI影像数据的自编码-解码器模型,然后利用步骤1得到的预处理后得到的CT影像数据、预处理后得到的MRI影像数据对应的对这两个模型进行训练;具体的:
1)特征输入,其中:CT数据为肿瘤最大截面及上下各2层共5个ROI分别作为输入,MRI数据为肿瘤最大截面及上下各1层共3个ROI分别作为输入,每个输入相互独立进行训练与验证。
2)网络构架:针对CT影像数据的自编码-解码器模型与针对MRI影像数据的自编码-解码器模型,两者的初始网络构架可以相同,也可以不同。本实施例以两者采用的网络构架相同为例,对于其中任意一个自编码-解码器模型:
采用卷积神经网络(Convolutional Neural Network,CNN)搭建自编码器与解码器,框架使用的是以Tensorflow(version 2.3.0,https://tensorflow.google.cn/)作为后端的Keras(version 2.4.3,https://keras.io/zh/)框架。前8层构成自编码器,构建顺序依次是两套归一化层(BatchNormalization)-卷积层(Convolution2D)-池化层(MaxPooling2D)的组合加上一个归一化层和一个卷积输出层(如图1所示)。第一套中卷积层通道数为128卷积核为(3,3)大小,池化层大小为(2,2);第二套中卷积层通道数为32卷积核为(3,3)大小,池化层大小为(5,5)。其中归一化层能使得数据更快的收敛,卷积层与池化层(MaxPooling2D)作用为从上一级数据抽提更高维特征,最后的卷积输出层输出作为分型输入。后7层构成自解码器,主要架构于自编码器相同并顺序倒置。其中池化层替换为上采样层(UpSampling2D),以还原重构出特征矩阵,实现高维特征到低维的投射,如图1所示。
自编码器训练原理即利用图像自身特征作为各图训练标签,先由编码器的CNN网络抽提原图的特征信息,形成底层的高维度稠密特征,再经过解码器将抽提的高维度稠密特征尽可能还原出原图。通过将自解码器处理得到还原图与输入至自编码器的原图相对比(计算像素均方误差MSE和像素矩阵相似性SSIM),如此来利用图像自身特征作为训练数据集标签。
3)训练参数:本实施例中,CT模型epochs数为3000,batch_size数为24;MRI模型epochs数为500,batch_size数为24。每次训练采用随机采样,训练过程中依据使训练数据集计算二值交叉熵(binary crossentropy)损失值最小的模式保存最佳模型。
4)模型评价:使用均方误差(Mean square error,MSE)和结构相似性(Structuralsimilarity,SSIM)作为模型的评价指标,计算二值交叉熵(binary crossentropy)作为损失函数,例如,MSE可要求不超过预先设定的阈值(MSE越小越好),SSIM可要求不低于预先设定的阈值(SSIM越大越好)。训练结果演示图如图4所示。
以CT模型为例,经过3000轮迭代学习后使得评价指标趋于CT训练模型损失值变动小于0.005(当然也可以是其它预先设定的阈值要求)即可视为稳定(如图2所示),训练后的自编码器可以稳定地提取图像的高维稠密特征作为后续无监督分类作为输入特征。当然,也可以取训练过程中指标最优时所对应的迭代模型作为最终的训练结果。
3、高维度特征分型与临床指标评估
1)抽提特征与分型:利用训练好的自编码模型对数据集数据抽提高维特征,将这些高维度特征作为分型输入。常用的分型聚类算法包括一致性聚类(Consensusclustering)和非负矩阵分解(Non-negative matrix factorization,NMF)方法。本发明采用的是用R包ConsensusClusterPlus(http://bioconductor.org/packages/release/bioc/html/ConsensusClusterPlus.html)对特征进行聚类分型。具体的:
对于待分型的某一位病人的医学影像数据(如手术报告定位出肿瘤最大截面处的医学影像),对该图像获取肿瘤横截面中心点并截取同样大小的ROI。进一步的,若医学影像为CT,则同样仅保留吸收值在0-400的数据点,其余高于400或低于0的像素点的值全部归于0值;若医学影像为MRI,则无需处理。最后将ROI进行灰度映射,按像素最大最小归一化至0-1值,将该ROI归一化至0、1,得到的ROI即可作为输入矩阵数据,完成图像预处理。
然后将该ROI输入至对应的训练好的自编码-解码器模型中,不同于训练阶段所对应的步骤2,在本步骤3中,只需要取自编码器最终输出的高维特征(相当于可以忽略自解码器的部分),作为分型输入。
分型的具体处理过程可参照R包ConsensusClusterPlus(version 1.54.0,http://bioconductor.org/packages/release/bioc/html/ConsensusClusterPlus.html)等现有技术进行。
2)分析结果与临床指标评估:基于一致性聚类结果,得到该医学影像数据的分型结果。再依据得到的分型结果与整理的临床指标挂钩,对各指标在该分型结果下进行卡方检验,计算该分型结果是否与各临床指标(如癌症T分期,肿瘤深度,肿瘤发生部位等)显著相关。评价自编码器抽提特征的无监督分类结果与临床指标关联程度时,如果分型结果出现一个及以上临床指标显著关联即可;如果未出现显著相关的临床指标,则,该自编码模型与无监督分类为失效训练,此时可以进一步调整模型的网络构架(例如,增减卷积层与池化层个数来调节网络结构和训练参数,调整卷积层通道数参数或更改卷积核大小调节训练视野等),重新训练模型直至获得显著相关结果。
以口腔癌的医学影像组学分型为例,口腔癌影像学数据包括CT数据和MRI数据,通过对口腔癌医学影像组学数据的预处理,分别得到99个患者CT扫描数据和82个MRI数据,并通过定为肿瘤最大截面中心,分别获取495个CT ROI输入及246个MRI ROI输入,进行自编码解码器模型训练。两种影像学数据都将队列分为四型且与不同临床指标显著相关(图3,p值小于0.05)。其中CT分型结果与肿瘤发生部位(p=0.0004),T分期(p=0.0143)和肿瘤深度(p=0.0394)三个临床指标显著相关。MRI分型结果与T分期(p=0.0182)显著相关。一致性聚类具体参数为:两组分型是基于spearman距离的PAM方法。从模型的损失值结果、均方误差结果及矩阵相似性结果来看,模型在经过多轮迭代训练后趋于稳定,且自编码器在解码后的结果与原图相似性极高,能够有效提炼出ROI的高维特征。依据与临床指标的统计检验结果也证实无监督自学习方法在医学影像组学分型上具有极高的可行性,且大幅降低了人为先验知识的限制与干扰。
上述实施例仅为示例,除了CT、MRI外,本发明也适用于其它类型的医学影像(如,超声视频截取图,细胞病理图);自编码-解码器模型的具体构架也可以灵活调整,只要保证自编码-解码器模型整体为U形结构(即,对称结构,自编码器和自解码器互为对称)即可;除了口腔癌外,也适用于其它肿瘤(如,肺癌、卵巢癌等)。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于自编码解码器的医学影像分型方法,其特征在于,包括训练阶段和检测阶段,其中:
所述训练阶段包括以下步骤:
(1)医学影像数据的预处理:
针对预先选定的肿瘤类型,收集若干位患该类肿瘤的肿瘤患者的医学影像数据,并对每层图像获取肿瘤横截面中心点然后截取尺寸满足预先设定要求的感兴趣区域ROI;
对于各个ROI:判断ROI内灰度值最大的像素点对应的是软组织还是骨组织,若是软组织,则将水和空气区域像素值更新为0;若是骨组织,则将骨组织所对应的ROI中的各个像素点的灰度值更新为0,并将水和空气区域对应的像素值更新为0;
然后,将该ROI进行灰度映射至[0,1]区间,得到与该ROI相对应的训练用ROI输入矩阵;
(2)自编码-解码器模型的建立与训练:
建立基于深度学习的自编码-解码器模型,该自编码-解码器模型包括依次设置的自编码器和自解码器,且两者互为对称;其中,
所述自编码器用于输入所述ROI输入矩阵,从中抽提高维特征,该自编码器最末端的卷积输出层的输出则作为分型输入;
所述自解码器用于输入所述分型输入,并对其进行上采样,从而还原重构出特征矩阵,该自解码器最末端的输出即为还原重构矩阵;
然后,将所述步骤(1)得到的训练用ROI输入矩阵输入到所述自编码-解码器模型,对模型进行训练;通过对比所述训练用ROI输入矩阵与所述还原重构矩阵,在预先设定的迭代次数条件下,以优化均方误差MSE与结构相似性SSIM为指标,对模型内的自编码器和自解码器同步进行训练,得到能够输出分型输入的、训练后的自编码-解码器模型;
所述检测阶段包括以下步骤:
(S1)医学影像数据的预处理:
对于待分型的某一位肿瘤病人的医学影像数据,获取肿瘤横截面中心点然后截取尺寸满足预先设定要求的感兴趣区域ROI;
对于该ROI:判断ROI内灰度值最大的像素点对应的是软组织还是骨组织,若是软组织,则将水和空气区域像素值更新为0;若是骨组织,则将骨组织所对应的ROI中的各个像素点的灰度值更新为0,并将水和空气区域对应的像素值更新为0;
然后,将该ROI进行灰度映射至[0,1]区间,得到与该ROI相对应的ROI输入矩阵;
(S2)将所述步骤(S1)得到的ROI输入矩阵输入至所述训练后的自编码-解码器模型,输出得到分型输入;
(S3)分型聚类:
将所述步骤(S2)得到的分型输入,基于分型聚类算法,得到聚类分型结果。
2.如权利要求1所述方法,其特征在于,在所述训练阶段还包括步骤:
(3)分型聚类:
将所述步骤(2)得到的分型输入,基于分型聚类算法,得到聚类分型结果;
(4)对分型结果进行评估:
将所述步骤(3)得到的所述聚类分型结果与临床指标的相关性进行显著性分析,出现一个或多个临床指标显著关联即可;若未出现显著相关的临床指标,则跳转执行步骤(2)并调整所述自编码-解码器模型的网络构架,直至出现显著相关的临床指标。
3.如权利要求1所述方法,其特征在于,所述步骤(1)中的所述医学影像的类型与所述步骤(S1)中医学影像的类型相同。
4.如权利要求1所述方法,其特征在于,所述步骤(1)中,所述医学影像的类型为CT医学影像或MRI医学影像;优选的,所述医学影像数据具体为结合手术报告定位出肿瘤最大截面处及其上下临近层的医学影像;
所述步骤(S1)中,所述医学影像的类型为CT医学影像或MRI医学影像;所述医学影像数据具体为结合手术报告定位出肿瘤最大截面处的医学影像。
5.如权利要求1所述方法,其特征在于,所述分型聚类算法为一致性聚类(Consensusclustering)或非负矩阵分解(Non-negative matrix factorization,NMF)。
6.一种基于自编码解码器的医学影像分型系统,其特征在于,包括医学影像数据的预处理功能模块、自编码-解码器模型功能模块和分型聚类功能模块,其中:
医学影像数据的预处理功能模块,用于:
对于待分型的某一位肿瘤病人的医学影像数据,获取肿瘤横截面中心点然后截取尺寸满足预先设定要求的感兴趣区域ROI;
对于该ROI:判断ROI内灰度值最大的像素点对应的是软组织还是骨组织,若是软组织,则将水和空气区域像素值更新为0;若是骨组织,则将骨组织所对应的ROI中的各个像素点的灰度值更新为0,并将水和空气区域对应的像素值更新为0;
将该ROI进行灰度映射至[0,1]区间,得到与该ROI相对应的ROI输入矩阵;
自编码-解码器模型功能模块,该自编码-解码器模型包括依次设置的自编码器和自解码器,且两者互为对称;其中,
所述自编码器用于输入所述ROI输入矩阵,从中抽提高维特征,该自编码器最末端的卷积输出层的输出则作为分型输入;
所述自解码器用于输入所述分型输入,并对其进行上采样,从而还原重构出特征矩阵,该自解码器最末端的输出即为还原重构矩阵;
并且,该自编码-解码器模型还经过了训练处理;所述训练处理是针对预先选定的肿瘤类型,收集若干位患该类肿瘤的肿瘤患者的医学影像数据,将它们通过所述医学影像数据的预处理功能模块处理,得到训练用ROI输入矩阵;将所述训练用ROI输入矩阵输入到所述自编码-解码器模型,对模型进行训练;通过对比所述训练用ROI输入矩阵与对应的还原重构矩阵,在预先设定的迭代次数条件下,以优化均方误差MSE与结构相似性SSIM为指标,对模型内的自编码器和自解码器同步进行训练,得到能够输出分型输入的、训练后的自编码-解码器模型;
分型聚类功能模块,用于:基于分型聚类算法处理所述分型输入,得到聚类分型结果。
7.如权利要求6所述系统,其特征在于,所述训练处理还包括:
基于所述训练用ROI输入矩阵,将利用所述自编码-解码器模型处理得到的分型输入,利用所述分型聚类功能模块得到聚类分型结果;
将所述聚类分型结果与临床指标的相关性进行显著性分析,出现一个或多个临床指标显著关联即可;若未出现显著相关的临床指标,则调整所述自编码-解码器模型的网络构架,重复训练处理,直至出现显著相关的临床指标。
8.如权利要求6所述系统,其特征在于,所述训练处理中的医学影像与所述待分型的某一位肿瘤病人的医学影像数据中的医学影像两者类型相同。
9.如权利要求6所述系统,其特征在于,所述训练处理中,所述医学影像的类型为CT医学影像或MRI医学影像;优选的,所述医学影像数据具体为结合手术报告定位出肿瘤最大截面处及其上下临近层的医学影像;
所述待分型的某一位肿瘤病人的医学影像数据中,所述医学影像的类型为CT医学影像或MRI医学影像;所述医学影像数据具体为结合手术报告定位出肿瘤最大截面处的医学影像。
10.如权利要求6所述系统,其特征在于,所述分型聚类算法为一致性聚类(Consensusclustering)或非负矩阵分解(Non-negative matrix factorization,NMF)。
CN202111596021.0A 2021-12-24 2021-12-24 基于自编码解码器的医学影像分型方法及系统 Pending CN114331996A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111596021.0A CN114331996A (zh) 2021-12-24 2021-12-24 基于自编码解码器的医学影像分型方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111596021.0A CN114331996A (zh) 2021-12-24 2021-12-24 基于自编码解码器的医学影像分型方法及系统

Publications (1)

Publication Number Publication Date
CN114331996A true CN114331996A (zh) 2022-04-12

Family

ID=81013141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111596021.0A Pending CN114331996A (zh) 2021-12-24 2021-12-24 基于自编码解码器的医学影像分型方法及系统

Country Status (1)

Country Link
CN (1) CN114331996A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116389706A (zh) * 2023-06-06 2023-07-04 北京深势科技有限公司 一种电镜投影图编、解码器的联合训练方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116389706A (zh) * 2023-06-06 2023-07-04 北京深势科技有限公司 一种电镜投影图编、解码器的联合训练方法和装置
CN116389706B (zh) * 2023-06-06 2023-09-29 北京深势科技有限公司 一种电镜投影图编、解码器的联合训练方法和装置

Similar Documents

Publication Publication Date Title
CN108052977B (zh) 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法
CN110310287B (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
US20220122250A1 (en) Brain feature prediction using geometric deep learning on graph representations of medical image data
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN110675406A (zh) 基于残差双注意力深度网络的ct图像肾脏分割算法
CN109087296B (zh) 一种提取ct图像中人体区域的方法
CN107766874B (zh) 一种超声容积生物学参数的测量方法及测量系统
CN111488914A (zh) 一种基于多任务学习的阿尔茨海默症分类及预测系统
Hu et al. Segmentation of brain from computed tomography head images
CN115393269A (zh) 一种基于多模态影像数据的可扩展多层级图神经网络模型
CN116097302A (zh) 用于病灶检测的利用联合训练的连接式机器学习模型
CN115497623A (zh) 一种基于影像、病理和基因多组学的肺癌预后预测系统
CN112365980A (zh) 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统
WO2021209887A1 (en) Rapid, accurate and machine-agnostic segmentation and quantification method and device for coronavirus ct-based diagnosis
CN116703901B (zh) 肺部医学ct影像分割及分类装置及设备
US20230218169A1 (en) Brain imaging system and brain imaging method
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
CN113989551A (zh) 一种基于改进ResNet网络的阿尔茨海默病分类方法
CN113706486A (zh) 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法
CN114331996A (zh) 基于自编码解码器的医学影像分型方法及系统
CN111784652B (zh) 基于强化学习多尺度神经网络的mri分割方法
CN115861716B (zh) 基于孪生神经网络和影像组学的胶质瘤分类方法及装置
CN116883341A (zh) 一种基于深度学习的肝脏肿瘤ct图像自动分割方法
US20230115927A1 (en) Systems and methods for plaque identification, plaque composition analysis, and plaque stability detection
CN116071373A (zh) 一种基于融合PCA的U-net模型舌体自动分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination