CN112488102A - 基于多视图学习和深度监督自编码器的医学影像分类方法及装置 - Google Patents
基于多视图学习和深度监督自编码器的医学影像分类方法及装置 Download PDFInfo
- Publication number
- CN112488102A CN112488102A CN202011368629.3A CN202011368629A CN112488102A CN 112488102 A CN112488102 A CN 112488102A CN 202011368629 A CN202011368629 A CN 202011368629A CN 112488102 A CN112488102 A CN 112488102A
- Authority
- CN
- China
- Prior art keywords
- features
- encoder
- image
- classification
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 8
- 239000000126 substance Substances 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 2
- 239000004576 sand Substances 0.000 claims description 2
- 230000000877 morphologic effect Effects 0.000 abstract description 11
- 238000013145 classification model Methods 0.000 abstract description 3
- 230000014509 gene expression Effects 0.000 description 10
- 238000002591 computed tomography Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 208000025721 COVID-19 Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 102100035115 Testin Human genes 0.000 description 1
- 101710070533 Testin Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多视图学习和深度监督自编码器的医学影像分类方法及装置，所述方法包括以下步骤：步骤1、对医学影像感兴趣区域进行小波分解，获取多频子带；步骤2、将每个子带定义为一个视图，对每个视图定量提取影像组学特征，进而得到多视图特征；步骤3、构建基于多视图特征学习的深度监督自编码器的分类网络，基于影像样本的形态学多视图特征向量及其分类标签对分类网络进行训练，得到训练好的分类模型；步骤4、基于训练好的分类模型对未知分类标签的影像进行分类。本发明能够提高医学影像的分类准确度。
Description
技术领域
本发明具体涉及一种基于多视图学习和深度监督自编码器的医学影像分类方法及装置。
背景技术
医学影像主要包括X光、计算机断层扫描(CT)、正电子扫描(PET)、超声、核磁共振成像(MRI)等。随着医学影像技术和计算机技术的不断发展和进步，近年来，医学影像分类已经成为临床疾病诊断和医学研究中非常重要的工具。
在众多实际问题中，可从多种不同的途径或者多个不同的角度描述同一事物，这样的多种描述构成同一事物的多个视图。多视图可以表示数据的不同特征集；可以表示数据的来源；还可以用来表示数据间的不同关系。真实世界中普遍存在着多视图数据。多视图学习就是从多个角度学习，以提高预测的准确性，它根据数据在不同的视图学习的难易程度不同，来发挥视图之间的相互作用，达到优势互补的结果和协同学习的效果。多视图学习提高性能的方式是通过学习函数来建模每个视图并联合优化所有函数。多视图学习是机器学习中的一个新兴方向，通过多视图学习可以提高泛化性能。多视图学习的一个显著的优点是，通过手动生成的多个视图，在自然的单个视图上的性能仍然可以提高。多视图学习具有重要的现实意义和广阔的发展前景。
近年来，多视图学习的研究取得了很大的进展。随着医学影像采集技术的发展，临床诊断和医学研究中获得的影像数据常常具有多个视角，形成多视图数据。
特征选择是一种降低维度的常用方法，通过特征选择，可以选择重要的特征以避免维度灾难和降低计算成本；同时，它可以用来去除噪声来降低学习的难度，去除噪声的干扰，留下关键因素以提高预测精度；并且可以用来获得更多有物理意义和有价值的特征。
逻辑回归算法(LR)是传统机器学习中的一种分类模型，可以用来预测或者寻找因变量的影响因素，通过历史数据的表现对未来结果发生的概率进行预测，LR的优点是：适合需要得到一个分类概率的场景、计算代价不高并且容易理解实现、对小噪声的鲁棒性很好。但是LR有它的缺点，容易欠拟合导致分类精度不高以及特征空间很大时分类表现也不好。随机森林算法(RF)是另一种机器学习算法。它通过集成学习的思想将多棵树集成。它的表现性能比较好，可以处理很高维度的数据，并且可以平衡误差，此外，RF的抗过拟合能力比较强。但是，使用RF时，无法控制模型内部的运行，并且可能会有很多相似的决策树从而掩盖真实结果，当数据维数较少时，分类表现也不好。支持向量机(SVM)是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。SVM的优点是它具有良好的学习能力，可以解决小样本情况下的分类问题，并且错误率比较低。但是，SVM对于参数调节和函数的选择敏感。深度神经网络(DNN)是有很多隐藏层的神经网络。而我们提出的深度监督自编码器(DSAE)在DNN的基础上多加了解码器部分。实践中发现，DSAE比DNN具有更优秀的分类性能。
发明内容
本发明所解决的技术问题是，针对现有技术的不足，提供一种基于多视图特征和深度监督自编码器的影像分类方法及装置，这个方法能够提高影像分类的准确度。
为实现上述目的，本发明的技术方案如下：
一种基于多视图特征和深度监督自编码器的影像分类方法，包括以下步骤：
步骤1、分别将每个医学影像进行预处理，将原始医学影像分解为多个频率子带；
步骤2、从多个频率子带中提取特征，并用提取出来的特征构成一个多视图特征集；
步骤3、构建一个基于潜在表示的诊断框架，该框架由深度监督自编码器(DSAE)组成，用DSAE将原始特征映射到潜在空间中以学习潜在表示；
步骤4、基于提出的基于多视图特征和深度监督自编码器的影像分类方法对未知分类标签的医学影像进行分类。
进一步地，所述步骤1中，对医学影像进行预处理的过程是：首先将每位受试者的医学影像重建为3D影像，然后提取每个3D影像的感兴趣区域，之后对感兴趣区域进行滤波处理；
将医学影像重建为3D影像使用的是dcm2nii软件包；
提取3D影像的感兴趣区域使用的是3D U-Net模型，该模型被广泛用于医学影像分割；
为了克服样本厚度变化之间的差异，通过B样条插值将感兴趣区域的体积数据重新采样为1mm×1mm×1mm的体素分辨率；
之后，使用3D小波变换(3D-WT)对感兴趣区域进行小波分解，以捕获八个不同的频率子带，这八个频率子带分别为：LLL、LHL、HLL、HHL、LLH、LHH、HLH、HHH；3D-WT会提供原始信号的空间和频率表示；关于小波分解，3D-WT可以用张量积表示，如下：
其中，
代表空间直和；
代表卷积运算；Lγ和Hγ分别表示沿γ方向的低通滤波和高通滤波，γ∈x,y,z；
从具有不同频率的子带中提取了包括灰色特征和纹理特征在内的多个特征，这些特征被视为多视图特征集；
进一步地，定义了如下符号：
表示训练样本，其中，
代表多视图特征集(N和M分别表示样本数目和多视图特征)；
表示相应的标签集，其中，yn分别表示医学影像的分类类别。
进一步地，所述步骤2中，灰度特征(共有18个特征)主要由一阶统计量组成，一阶统计量是根据体素的直方图计算得出的，描述了感兴趣体积(VOI)内体素的分布，例如熵(entropy)，能量(energy)，最大值(maximum)，均值(mean)等。标准化的一阶直方图定义如下：
其中，P(i)代表标准化的一阶直方图；Pi表示体素级别的数量i；
从灰度共生矩阵(GLCM，24个特征)，灰度相关矩阵(GLDM，14个特征)，灰度游程长度矩阵(GLRLM，16个特征)，灰度大小区域矩阵(GLSZM，16个特征)和相邻的灰度差矩阵(NGTDM，5个特征)中提取纹理特征；
标准化的GLCM定义如下：
其中，m(i,j)代表标准化的GLCM；
具体地，GLCM的24个特征分别为：自相关(Autocorrelation)、联合平均(Jointaverage)、集群突出(Cluster prominence)、集群阴影(Cluster shade)、集群趋势(Cluster tendency)、相关性(Correlation)、差分平均值(Difference average)、差熵(Difference entropy)、差方差(Difference variance)、联合能量(Joint energy)、联合熵(Joint entropy)、相关的信息量度1(Informational measure of correlation 1)、相关的信息量度2(Informational measure of correlation 2)、逆差矩(Inversedifference moment)、最大相关系数(Maximal correlation coefficient)、逆差矩标准化(Inverse difference moment normalized)、反差商(Inverse difference)、反差分标准化(Inverse difference normalized)、逆方差(Inverse variance)、最大概率(Maximumprobability)、和平均(Sum average)、和熵(Sum entropy)、平方和(Sum squares)及对比(Contrast)；
标准化的GLDM定义如下：
其中，M(i,j)代表GLDM；m(i,j)代表标准化的GLDM；Nz表示影像中依赖区域的数目；
具体地，GLDM的14个特征分别为：小依赖强调(Small dependence emphasis)、大依赖强调(Large dependence emphasis)、灰度不均匀性(Gray level non-uniformity)、依赖不一致性(Dependence non-uniformity)、依赖不一致性的标准化(Dependence non-uniformity normalized)、灰度方差(Gray level variance)、依赖方差(Dependencevariance)、依赖熵(Dependence entropy)、低灰度强调(Low gray level emphasis)、高灰度强调(High gray level emphasis)、小依赖性低灰度强调(Small dependence low graylevel emphasis)、大依赖性低灰度强调(Large dependence low gray level emphasis)、小依赖性高灰度强调(Small dependence high gray level emphasis)及大依赖性高灰度强调(Large dependence high gray level emphasis)；
标准化的GLRLM定义如下：
其中，Ng、Nr和Np分别为影像中离散强度值的数量，游程长度大小和体素；M(i，j|θ)表示GLRLM；Nr(θ)代表在影像中沿θ方向游程的数目；m(i，j|θ)表示标准化的GLRLM；
具体地，GLRLM的16个特征分别为：短游程强调(Short run emphasis)、长游程强调(Long run emphasis)、灰度不均匀性(Gray level non-uniformity)、灰度不均匀性的标准化(Gray level non-uniformity normalized)、游程长度不一致性(Run length non-uniformity)、游程长度不一致性的标准化(Run length non-uniformity normalized)、游程占体素的百分比(Run percentage)、灰度方差(Gray level variance)、游程方差(Runvariance)、游程熵(Run entropy)、低灰度游程强调(Low gray level run emphasis)、高灰度游程强调(High gray level run emphasis)、低灰度短游程强调(Short run lowgray level emphasis)、高灰度短游程强调(Short run high gray level emphasis)、低灰度长游程强调(Long run low gray level emphasis)及高灰度长游程强调(Long runhigh gray level emphasis)；
GLSZM旨在量化图像的灰度区域，标准化的GLSZM定义如下：
其中，Ng、Ns和Np分别为影像中离散强度值的数目、区域大小和体素；M(i，j)表示GLSZM；Nz代表VOI中的区域数目；m(i，j)表示标准化的GLSZM；
具体地，GLSZM的16个特征分别为：小区域强调(Small area emphasis)、大区域强调(Large area emphasis)、灰度不均匀性(Gray level non-uniformity)、灰度不均匀性的标准化(Gray level non-uniformity normalized)、区域大小不均匀性(Size-zonenon-uniformity)、区域大小不均匀性的标准化(Size-zone non-uniformitynormalized)、区域百分比(Zone percentage)、灰度方差(Gray level variance)、区域方差(Zone variance)、区域熵(Zone entropy)、低灰度区域强调(Low gray level zoneemphasis)、高灰度区域强调(High gray level zone emphasis)、小区域低灰度强调(Small area low gray level emphasis)、小区域高灰度强调(Small area high graylevel emphasis)、大区域低灰度强调(large area low gray level emphasis)及大区域高灰度强调(Large area high gray level emphasis)；
具体地，NGTDM的5个特征分别为：粗(粒)度(Coarseness)、对比度(Contrast)、繁忙度(Busyness)、复杂度(Complexity)及强度(Strength)；
由此，每个子带总共93个特征，每个医学影像的8个子带总共提取了744个放射形特征。
进一步地，所述步骤3中，自编码器是一个人工神经网络，这个网络被用来以无监督的方式学习潜在数据表示，从而可以最好地重构原始数据；自编码器可以用来降维和挖掘潜在特征；为了学习具有类结构的潜在表示，提出DSAE框架；
DSAE框架由三个部分组成：
编码器，用于从输入数据中学习潜在表示；
解码器，用于从潜在表示中重构输入；
监督器，用于构建潜在表示和进行影像的分类；
进一步地，编码器有三个隐藏层，每个隐藏层分别具有256、128和16个神经元，其中，最后一个隐藏层用作表示层；
相反，解码器是编码器的反向操作，解码器具有两个隐藏层，每个隐藏层有128和256个神经元，解码器输出层和编码器输入层的大小相同；
监督器位于表示层(编码器的最后一个隐藏层)之后，监督器由一个归一化层、一个衰减率为0.5的Dropout层及一个分类输出层组成；
基于如上所述结构的DSAE框架也可支持多分类的场景；
进一步地，为了发现每个影像的潜在高级表示，将多视图特征用作输入并编码到低维空间中；然后，将潜在表示重构为输入的原始维度大小；通过反向传播使重构误差最小化以学习两个稳定的映射，这两个稳定的映射即编码路径中的fe(.；θe)和解码路径中的fd(.；θd)，其中，θe和θd分别表示编码路径和解码路径的参数；令Tn代表已学习的潜在表示，令
代表解码的输出，则Tn和
可分别表示为：
Tn＝fe(xn；θe)
本发明中，我们提出的自编码器通过如下所示的最小化输入和输出间的均方误差(MSE)损失函数来学习潜在表示；
进一步地，为了使多分类影像的潜在表示结构良好，在表示层中引入了被监督的块，将批归一化策略和Dropout策略引入这个被监督的块，用来减少过拟合的问题；用softmax层预测影像的类别。输出的概率可以按如下公式计算：
其中，
表示输出为第i类第n个样本的概率；z代表最后一个全连通层的输出向量；K表示类别的数目；
这项监督任务采用了广泛使用的交叉熵损失，将定义为如下的交叉熵损失函数最小化，以增强同一类影像的紧实度并给出多类影像之间的界限；
考虑到信息量和可分离性，联合训练了两个任务，多任务损失函数如下：
其中，λ是两个任务之间的平衡因子。
进一步地，所述步骤4中，将未知分类标签的影像的多视图特征集输入我们设计的分类器，对其进行分类并得到最终的分类结果。
本发明的有益效果是：
本发明利用三维小波变换将原始的医学影像的感兴趣区域分解为多个不同频域的子带，每个子带定义为一个视图，从每个视图中定量提取影像组学特征进而得到多视图特征。为了让多视图特征具有高阶表示和结构性，基于深度监督自编码器对多视图形态学特征进行表示学习，通过最小化由重构损失和分类损失构成的多任务损失函数来实现该目标，以此来提升模型的泛化性能和分类准确度。具体而言，本发明首先从每个医学影像的感兴趣区域进行小波变换,由于变换后多频子带具有不同特性，进而定义为多视图影像。然后把每种视图影像定量提取形态学特征，考虑到多视图形态学特征具有相同的病理基础，它们之间存在特定的内在关联，因此使用将多视图形态学特征作为输入，构建基于多视图特征的深度监督自编码器分类网络来对多视图特性的高阶表示和选择，通过最小化多任务损失函数使得潜在特征向量既具强的特征表达能力和良好的类结构性，进而提升网络的分类性能。本发明对每种视图提取了的93种不同形态学特征，它们之间既是相互独立的，同时不同形态学特征之间又是彼此相关联的。例如感兴趣区域的体积、灰度共生矩阵等基于形态学测量的特征，他们都是从不同的角度反映感兴趣区域的形态结构变化，为了更好的挖掘这些特征之间的潜在信息，既要考虑不同特征之间存在的差异，同时也要考虑它们之间的联系。自编码器能够更好的捕获样本间的微妙的关系，同时引入类监督损失，将普通的自编码器推广到具备分类能力的网络上，使得学到的潜在表达具有良好的类结构。因此，本发明提出一个基于多视图学习和深度监督自编码器的分类网络用于医学影像分类。
附图说明
图1为本发明实施例中一种基于多视图学习和深度监督自编码器的医学影像分类方法的流程图。
具体实施方式
下面结合附图对本发明的实施例进行详细阐述，以使本发明的目的，技术方案能被同领域技术人员所理解。
实施例1：
参见图1，本实施例提供的基于多形态学多任务特征选择的影像分类方法含有以下步骤：
步骤1：获取受试者的CT影像(本实施例中以CT为影像)，对每个受试者的影像，首先分别进行预处理，具体为：使用dcm2nii软件包将每例病例的医学影像重构为3D影像；然后使用3D U-Net模型对3D影像进行预处理以提取3D影像的肺实质；为了克服样本厚度变化之间的差异，通过B样条插值将肺实质的体积数据重新采样为1mm×1mm×1mm的体素分辨率。
步骤2：对步骤1中预处理过的医学影像的感兴趣区域进行小波分解以获得多频子带；
使用3D-WT对每个分割的体积进行纹理化，以捕获八个不同的频率子带，这八个频率子带分别为：LLL、LHL、HLL、HHL、LLH、LHH、HLH、HHH；3D-WT会提供原始信号的空间和频率表示；关于小波分解，3D-WT可以用张量积表示，如下：
其中，
代表空间直和；
代表卷积运算；Lγ和Hγ分别表示沿γ方向的低通滤波和高通滤波，γ∈x,y,z。
步骤3：对步骤2中获取的8个子带，从每个子带提取放射组学特征，进而获得训练集和测试集的多视图特征；
从具有不同频率的子带中提取了包括灰色特征和纹理特征在内的多个特征，这些特征被视为多视图特征集；
多视图特征集定义如下：
其中，
表示训练样本，xn代表多视图特征集(N和M分别表示样本数目和多视图特征)；yn表示相应的标签集，其中，0代表非COVID-19肺炎病例，1代表COVID-19病例，2代表表现正常的医学影像；
灰度特征(共有18个特征)主要由一阶统计量组成，一阶统计量是根据体素的直方图计算得出的，描述了感兴趣体积(VOI)内体素的分布；
从灰度共生矩阵(GLCM，24个特征)，灰度相关矩阵(GLDM，14个特征)，灰度游程长度矩阵(GLRLM，16个特征)，灰度大小区域矩阵(GLSZM，16个特征)和相邻的灰度差矩阵(NGTDM，5个特征)中提取纹理特征；
由于从多视图医学影像中提取出来的原始特征差异很大，因此标准化特征的预处理步骤对于训练模型至关重要，采用了广泛使用的z分数标准化，其定义如下所示：
其中，
是特征x(i)的标准化特征；L表示特征的数目；μ(i)和δ(i)分别为特征x(i)的平均值和标准差。
步骤4：用步骤3得到的训练集的多视图特征构建基于多视图特征的深度监督自编码器(DSAE)分类网络；
自编码器是一个人工神经网络，这个网络被用来以无监督的方式学习潜在数据表示，从而可以最好地重构原始数据；自编码器可以用来降维和挖掘潜在特征；为了学习具有类结构的潜在表示，提出DSAE框架；
DSAE框架由三个部分组成：
编码器，用于从输入数据中学习潜在表示；
解码器，用于从潜在表示中重构输入；
监督器，用于构建潜在表示和进行影像的三分类；
编码器有三个隐藏层，每个隐藏层分别具有256、128和16个神经元，其中，最后一个隐藏层用作表示层；
相反，解码器是编码器的反向操作，解码器具有两个隐藏层，每个隐藏层有128和256个神经元，解码器输出层和编码器输入层的大小相同；
监督器位于表示层(编码器的最后一个隐藏层)之后，监督器由一个归一化层、一个衰减率为0.5的Dropout层及一个三分类输出层组成；
为了发现每个影像的潜在高级表示，将多视图特征用作输入并编码到低维空间中；然后，将潜在表示重构为输入的原始维度大小；通过反向传播使重构误差最小化以学习两个稳定的映射，这两个稳定的映射即编码路径中的fe(.；θe)和解码路径中的fd(.；θd)，其中，θe和θd分别表示编码路径和解码路径的参数；令Tn代表已学习的潜在表示，令
代表解码的输出，则Tn和
可分别表示为：
Tn＝fe(xn；θe)
本实验中，自编码器通过如下所示的最小化输入和输出间的均方误差(MSE)损失函数来学习潜在表示；
为了使三种分类影像的潜在表示结构良好，在表示层中引入了被监督的块，将批归一化策略和Dropout策略引入这个被监督的块，用来减少过拟合的问题；用softmax层预测影像的类别。输出的概率可以按如下公式计算：
其中，
表示输出为第i类第n个样本的概率；z代表最后一个全连通层的输出向量；K表示类别的数目；
这项监督任务采用了广泛使用的交叉熵损失，将定义为如下的交叉熵损失函数最小化，以增强同一类影像的紧实度并给出三类影像之间的界限；
考虑到信息量和可分离性，联合训练了两个任务，多任务损失函数如下：
其中，λ是两个任务之间的平衡因子；
训练过程中，使用Adam算法进行优化，初始学习率为0.001，每20个纪元(epoch)后减少一半；为了避免过拟合，采取了早停法(early stopping strategy)，如果验证损失没有在50个纪元(epoch)内减少，训练将停止；在训练集中使用了5折交叉验证技术以确定多任务损失函数中两个任务间的平衡因子λ，其中，λ的范围为[0,1]，间隔为0.5，且当λ＝0.75时总体精度(Overall accuracy)最高，因此，在本次实验中，λ固定为0.75。
步骤5：基于已训练好的网络模型在测试集上进行测试，得到潜在的特征表达和分类性能；
在医学影像上进行了十次实验并计算平均值和标准差，在三分类任务中使用总体精度(Overall accuracy)作为诊断性能；
此外，轮流将每一类作为正样本，则其余类别为负样本，使用一对多策略(one-vs-rest)以评估精度(ACC)、灵敏度(SEN)、特异度(SPE)及F1-分数(F1)指标，这四个指标分别定义如下：
TPi、FPi、FNi、TNi分别表示第i次试验中真阳性、假阳性、假阴性及真阴性的数目；β表示试验的数目，在本项实验中，β＝10；
为了研究不同频率特征的诊断能力，首先使用一种名为t分布随机近邻嵌入算法(t-SNE)的可视化技术，获得8种原始特征和融合的多视图特征；并且针对每种类型的特征在训练集中进行了5折交叉验证实验以进行定量分析，并获得了三分类任务的总体精度，并且以平均精度、灵敏度、特异度及F1-分数来显示one-vs-rest策略的诊断性能；
由于不同频率的特征对于所有方法都有很大的性能差距，从高频子带中提取的特征比从低频子带中提取的特征具有更好的预测性能，然而对于CT影像表现比较平滑的受试者来说，低频子带则具有很强的预测能力，这是因为高通滤波器可以检测到梯度变化较大的影像，而低通滤波器可以检测到平滑梯度变化的CT影像，因此来自不同频率子带的特征具有不同的辨别能力，所以将它们视为多个视角以相互补充进而增强识别能力；与使用单独类型特征的方法征相比，使用多视图特征(即8个不同的频率特征)的方法具有更好的预测性能。
实施例2：
本实施例公开一种基于多视图学习和深度监督自编码器的医学影像分类装置，包括以下模块：
影像小波变换模块，用于执行步骤1：利用小波变换将每个影像的感兴趣区域进行小波分解，进而得到多个不同频域的子带，每个子带定义为一个视图。
多视图特征提取模块，用于执行步骤2：对每个视图定量提取93个形态学特征，进而得到多视图特征；
分类器构建及训练模块，用于执行步骤3：构建基于多视图特征学习的深度监督自编码器分类网络，将多视图形态学特征输入到编码器模块，进而得到多视图特征的高阶潜在表达，再将潜在表达输入编码器模块以重构原始多视图特征，通过最小化重构损失，对网络进行训练以获得的较强表示能力的多视图潜表达；为了让潜在表达具有类机构性，引入监督损失，联合重构损失一同训练，使得潜在表达具备类结构性。
分类监督模块，用于执行步骤4：基于训练好的分类器对未知分类标签(测试集)的影像进行分类；
各个步骤的具体实现方法与实施例1中相同。
实施例3：
本实施例公开一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如实施例1所述的方法。
实施例4：
本实施例公开一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例1所述的方法。
Claims (10)
1.一种基于多视图学习和深度监督自编码器的医学影像分类方法及装置，其特征在于，包括以下步骤：
步骤1、分别将获得的每个医学影像进行预处理，将原始医学影像分解为多个频率子带；
步骤2、从多个频率子带中提取特征，并将提取出来的特征构成一个多视图特征集；
步骤3、构建一个基于潜在表示的分类框架，该框架由深度监督自编码器(DSAE)组成，用DSAE将原始特征映射到潜在空间中以学习潜在表示；
步骤4、通过提出的基于多视图特征和深度监督自编码器的医学影像分类方法对未知分类标签的医学影像进行分类。
2.根据权利要求1所述的基于多视图学习和深度监督自编码器的医学影像分类方法及装置，其特征在于，所述步骤1中，对医学影像进行预处理的过程是：首先将每位受试者的医学影像重建为3D影像，然后再提取每个3D影像的感兴趣区域，之后对感兴趣区域进行滤波处理；
将医学影像重建为3D影像使用的是dcm2nii软件包；
提取3D影像的感兴趣区域使用的是3D U-Net模型，该模型被广泛用于医学影像分割；
为了克服样本厚度变化之间的差异，通过B样条插值将感兴趣区域的体积数据重新采样为1mm×1mm×1mm的体素分辨率。
3.根据权利要求2所述的基于多视图学习和深度监督自编码器的医学影像分类方法及装置，其特征在于，所述步骤1中，使用3D小波变换(3D-WT)对感兴趣区域进行小波分解，以捕获八个不同的频率子带，这八个频率子带分别为：LLL、LHL、HLL、HHL、LLH、LHH、HLH、HHH；3D-WT会提供原始信号的空间和频率表示；关于小波分解，3D-WT可以用张量积表示，如下：
其中，
代表空间直和；
代表卷积运算；Lγ和Hγ分别表示沿γ方向的低通滤波和高通滤波，γ∈{x,y,z}。
4.根据权利要求1所述的基于多视图学习和深度监督自编码器的医学影像分类方法及装置，其特征在于，所述步骤2中，从具有不同频率的子带中提取了包括灰色特征和纹理特征在内的多个特征，这些特征被视为多视图特征集；
定义了如下符号：
表示训练样本，其中，
代表多视图特征集(N和M分别表示样本数目和多视图特征)；
表示相应的标签集，其中，yn分别表示医学影像的分类类别。
5.根据权利要求4所述的基于多视图学习和深度监督自编码器的医学影像分类方法及装置，其特征在于，所述步骤2中，灰度特征(共有18个特征)主要由一阶统计量组成，一阶统计量是根据体素的直方图计算得出的，描述了感兴趣体积(VOI)内体素的分布；标准化的一阶直方图定义如下：
其中，P(i)代表标准化的一阶直方图；Pi表示体素级别的数量i；
从灰度共生矩阵(GLCM，24个特征)，灰度相关矩阵(GLDM，14个特征)，灰度游程长度矩阵(GLRLM，16个特征)，灰度大小区域矩阵(GLSZM，16个特征)和相邻的灰度差矩阵(NGTDM，5个特征)中提取纹理特征；
标准化的GLCM定义如下：
其中，m(i,j)代表标准化的GLCM；
标准化的GLDM定义如下：
其中，M(i,j)代表GLDM；m(i,j)代表标准化的GLDM；Nz表示影像中依赖区域的数目；
标准化的GLRLM定义如下：
其中，Ng、Nr和Np分别为影像中离散强度值的数量，游程长度大小和体素；M(i,j|θ)表示GLRLM；Nr(θ)代表在影像中沿θ方向游程的数目；m(i,j|θ)表示标准化的GLRLM；
GLSZM旨在量化图像的灰度区域，标准化的GLSZM定义如下：
其中，Ng、Ns和Np分别为影像中离散强度值的数目、区域大小和体素；M(i,j)表示GLSZM；Nz代表VOI中的区域数目；m(i,j)表示标准化的GLSZM。
6.根据权利要求1所述的基于多视图学习和深度监督自编码器的医学影像分类方法及装置，其特征在于，所述步骤3中，利用自编码器这个人工神经网络以无监督的方式学习潜在数据表示，从而可以最好地重构原始数据；自编码器可以用来降维和挖掘潜在特征；为了学习具有类结构的潜在表示，提出DSAE框架；
DSAE框架由三个部分组成：
编码器，用于从输入数据中学习潜在表示；
解码器，用于从潜在表示中重构输入；
监督器，用于构建潜在表示和进行影像的分类。
7.根据权利要求6所述的基于多视图学习和深度监督自编码器的医学影像分类方法及装置，其特征在于，所述步骤3中，编码器有三个隐藏层，每个隐藏层分别具有256、128和16个神经元，其中，最后一个隐藏层用作表示层；
相反，解码器是编码器的反向操作，解码器具有两个隐藏层，每个隐藏层有128和256个神经元，解码器输出层和编码器输入层的大小相同；
监督器位于表示层(编码器的最后一个隐藏层)之后，监督器由一个归一化层、一个衰减率为0.5的Dropout层及一个分类输出层组成；
基于如上所述结构的DSAE框架也可支持多分类的场景。
8.根据权利要求7所述的基于多视图学习和深度监督自编码器的医学影像分类方法及装置，其特征在于，所述步骤3中，将多视图特征用作输入并编码到低维空间中以发现每个影像的潜在高级表示；然后，将潜在表示重构为输入的原始维度大小；通过反向传播使重构误差最小化以学习两个稳定的映射，这两个稳定的映射即编码路径中的fe(.；θe)和解码路径中的fd(.；θd)，其中，θe和θd分别表示编码路径和解码路径的参数；令Tn代表已学习的潜在表示，令
代表解码的输出，则Tn和
可分别表示为：
Tn＝fe(xn；θe)
自编码器通过如下所示的最小化输入和输出间的均方误差(MSE)损失函数来学习潜在表示；
9.根据权利要求8所述的基于多视图学习和深度监督自编码器的医学影像分类方法及装置，其特征在于，所述步骤3中，为了使多分类影像的潜在表示结构良好，在表示层中引入了被监督的块，将批归一化策略和Dropout策略引入这个被监督的块，用来减少过拟合的问题；用softmax层预测影像的类别。输出的概率可以按如下公式计算：
其中，
表示输出为第i类第n个样本的概率；z代表最后一个全连通层的输出向量；K表示类别的数目；
这项监督任务采用了广泛使用的交叉熵损失，将定义为如下的交叉熵损失函数最小化，以增强同一类影像的紧实度并给出多类影像之间的界限；
考虑到信息量和可分离性，联合训练了两个任务，多任务损失函数如下：
其中，λ是两个任务之间的平衡因子。
10.根据权利要求1所述的基于多视图学习和深度监督自编码器的医学影像分类方法及装置，其特征在于，所述步骤4中，将未知分类标签的影像的多视图特征集输入我们设计的分类器，对其进行分类并得到最终的分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011368629.3A CN112488102A (zh) | 2020-11-30 | 2020-11-30 | 基于多视图学习和深度监督自编码器的医学影像分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011368629.3A CN112488102A (zh) | 2020-11-30 | 2020-11-30 | 基于多视图学习和深度监督自编码器的医学影像分类方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112488102A true CN112488102A (zh) | 2021-03-12 |
Family
ID=74936971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011368629.3A Pending CN112488102A (zh) | 2020-11-30 | 2020-11-30 | 基于多视图学习和深度监督自编码器的医学影像分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112488102A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113435491A (zh) * | 2021-06-20 | 2021-09-24 | 上海体素信息科技有限公司 | 医学图像处理方法和装置 |
| CN113723461A (zh) * | 2021-08-02 | 2021-11-30 | 逸超科技(北京)有限公司 | 超声设备及超声图像分析方法 |
| CN115114345A (zh) * | 2022-04-02 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 特征表示的提取方法、装置、设备、存储介质及程序产品 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107180248A (zh) * | 2017-06-12 | 2017-09-19 | 桂林电子科技大学 | 基于联合损失增强网络的高光谱图像分类方法 |
| CN111461087A (zh) * | 2020-06-16 | 2020-07-28 | 南京理工大学 | 基于光谱保持稀疏自编码器的高光谱异常检测方法 |
| CN111461232A (zh) * | 2020-04-02 | 2020-07-28 | 大连海事大学 | 一种基于多策略批量式主动学习的核磁共振图像分类方法 |
| CN111563554A (zh) * | 2020-05-08 | 2020-08-21 | 河北工业大学 | 基于回归变分自编码器的零样本图像分类方法 |
| AU2020101581A4 (en) * | 2020-07-31 | 2020-09-17 | Ampavathi, Anusha MS | Lymph node metastases detection from ct images using deep learning |
-
2020
- 2020-11-30 CN CN202011368629.3A patent/CN112488102A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107180248A (zh) * | 2017-06-12 | 2017-09-19 | 桂林电子科技大学 | 基于联合损失增强网络的高光谱图像分类方法 |
| CN111461232A (zh) * | 2020-04-02 | 2020-07-28 | 大连海事大学 | 一种基于多策略批量式主动学习的核磁共振图像分类方法 |
| CN111563554A (zh) * | 2020-05-08 | 2020-08-21 | 河北工业大学 | 基于回归变分自编码器的零样本图像分类方法 |
| CN111461087A (zh) * | 2020-06-16 | 2020-07-28 | 南京理工大学 | 基于光谱保持稀疏自编码器的高光谱异常检测方法 |
| AU2020101581A4 (en) * | 2020-07-31 | 2020-09-17 | Ampavathi, Anusha MS | Lymph node metastases detection from ct images using deep learning |
Non-Patent Citations (5)
| Title |
|---|
| AHMED ALDHAHAB ET AL.: "《Stacked Sparse Autoencoder and Softmax Classifier Framework to Classify MRI of Brain Tumor Images》", 《INTERNATIONAL JOURNAL OF INTELLIGENT ENGINEERING & SYSTEMS》 * |
| GOKALP CINARER ET AL.: "《Prediction of Glioma Grades Using Deep Learning withWavelet Radiomic Features》", 《APPLIED SCIENCES》 * |
| KUN CHEN ET AL.: "《Valve fault diagnosis of internal combustion engine based on an improved stacked autoencoder》", 《2019 INTERNATIONAL CONFERENCE ON SENSING, DIAGNOSTICS, PROGNOSTICS, AND CONTROL (SDPC)》 * |
| 张德丰: "《TensorFlow深度学习从入门到进阶》", 30 April 2020, 北京：机械工业出版社 * |
| 德）贝蒂尔·施密特（BERTIL SCHMIDT） 等: "《并行程序设计》", 31 May 2020, 北京：机械工业出版社 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113435491A (zh) * | 2021-06-20 | 2021-09-24 | 上海体素信息科技有限公司 | 医学图像处理方法和装置 |
| CN113723461A (zh) * | 2021-08-02 | 2021-11-30 | 逸超科技(北京)有限公司 | 超声设备及超声图像分析方法 |
| CN115114345A (zh) * | 2022-04-02 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 特征表示的提取方法、装置、设备、存储介质及程序产品 |
| CN115114345B (zh) * | 2022-04-02 | 2024-04-09 | 腾讯科技（深圳）有限公司 | 特征表示的提取方法、装置、设备、存储介质及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Khan et al. | Lungs nodule detection framework from computed tomography images using support vector machine | |
| CN112488102A (zh) | 基于多视图学习和深度监督自编码器的医学影像分类方法及装置 | |
| Banerji et al. | Deep learning in histopathology: A review | |
| CN110930378B (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
| Khumancha et al. | Lung cancer detection from computed tomography (CT) scans using convolutional neural network | |
| CN117123131B (zh) | 石油助剂的生产设备及其方法 | |
| Priya et al. | Optimal deep belief network with opposition based pity beetle algorithm for lung cancer classification: A DBNOPBA approach | |
| Rele et al. | Machine Learning based Brain Tumor Detection using Transfer Learning | |
| Latif et al. | Recent advances in classification of brain tumor from MR images–State of the art review from 2017 to 2021 | |
| Azar et al. | Feature reduction based on modified dominance soft set | |
| Crasta et al. | A novel Deep Learning architecture for lung cancer detection and diagnosis from Computed Tomography image analysis | |
| Al‐Huda et al. | Weakly supervised skin lesion segmentation based on spot‐seeds guided optimal regions | |
| Balamurugan et al. | Brain tumor classification in MRI images using genetic algorithm appended CNN | |
| CN113889235A (zh) | 一种三维医学影像无监督特征抽取系统 | |
| Kim et al. | Detection and weak segmentation of masses in gray-scale breast mammogram images using deep learning | |
| JP2024508852A (ja) | 医療画像における病変分析方法 | |
| Nyemeesha | A systematic study and approach on detection of classification of skin cancer using back propagated artificial neural networks | |
| Khasawneh et al. | [Retracted] Early Detection of Medical Image Analysis by Using Machine Learning Method | |
| Karacı et al. | YoDenBi-NET: YOLO+ DenseNet+ Bi-LSTM-based hybrid deep learning model for brain tumor classification | |
| Soundarya et al. | Brain Tumor Detection Using Image Processing | |
| Wang et al. | Effect of data augmentation of renal lesion image by nine-layer convolutional neural network in kidney CT | |
| Israel et al. | NIIRS, machine learning, and confidence: issues and opportunities for automating analysis NIIRS | |
| Priya CV et al. | Deep learning approaches for breast cancer detection in histopathology images: A review | |
| Kao | A Deep Learning Architecture For Histology Image Classification | |
| Singaravelan et al. | Autoencoder Convolutional Neural Network-Based Brain Tumor Segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210312 |