CN107273925B - 基于局部感受野和半监督深度自编码的肺实质ct影像处理装置 - Google Patents

基于局部感受野和半监督深度自编码的肺实质ct影像处理装置 Download PDF

Info

Publication number
CN107273925B
CN107273925B CN201710437480.1A CN201710437480A CN107273925B CN 107273925 B CN107273925 B CN 107273925B CN 201710437480 A CN201710437480 A CN 201710437480A CN 107273925 B CN107273925 B CN 107273925B
Authority
CN
China
Prior art keywords
coding
image
network
local
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710437480.1A
Other languages
English (en)
Other versions
CN107273925A (zh
Inventor
强彦
赵鑫
赵涓涓
强薇
王�华
赵文婷
高慧明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN201710437480.1A priority Critical patent/CN107273925B/zh
Publication of CN107273925A publication Critical patent/CN107273925A/zh
Application granted granted Critical
Publication of CN107273925B publication Critical patent/CN107273925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于局部感受野和半监督深度自编码的肺结节诊断方法。首先,采用局部感受野对肺结节图像进行多层特征提取。然后,利用半监督稀疏自编码自主学习肺部影像中的结节特征。最后,融合多种临床信息实现对肺结节的准确检测。本发明识别准确率高,能对输入的CT图像进行特征多分类后进行自编码学习,网络的诊断更加准确,对医生起到重要的辅助诊断作用。

Description

基于局部感受野和半监督深度自编码的肺实质CT影像处理 装置
技术领域
本发明涉及医学图像肺部结节辅助诊断,具体涉及一种基于局部感受野和半监督深度自编码的肺实质CT影像处理装置。
背景技术
CT影像作为检查肺部疾病最好的影像学方法,在医师的诊断中起着举足轻重的作用。但是医师主要根据经验诊断疾病,诊断结果具有一定主观性,常常出现误诊、漏诊的情况。深度学习作为特征学习方法,通过模拟具有丰富层次结构的人类脑神经系统,建立类似的简单而非线性的深度分层模型结构,在对逐层学习的特征过滤掉不相关因素的干扰的同时,对输入数据逐层提取,将原始数据转换为更高层次的抽象表达。
最底层特征通常都是局部的,每个神经元仅连接输入单元的一部分且只响应某种特定区域的刺激。同一张图像上的不同小片段,以及不同图像上的相同小片段的特征是类似的,所以使用同一组分类器来描述不同的图像也是可以实现的。
鉴于此,对肺结节进行相关辅助诊断也就成了一项很有必要的工作。本发明将关注局部感受野预分类,以及对稀疏自编码加入临床信息进行网络的优化。
发明内容
本发明的目的在于克服现有技术中的缺陷,提供一种基于局部感受野和半监督深度自编码的肺实质CT影像处理装置。
本发明解决其技术问题所采用的技术方案为:
一种基于局部感受野和半监督深度自编码的肺实质CT影像处理装置,首先对肺实质CT影像中隐含的不同类特征使用局部感受野进行分层提取,然后,运用融合了肺部疾病医学相关临床信息的改进栈式稀疏自编码网络,对有标签的半监督特征提取深度模型进行训练,从已进行特征分类的CT特征图像中发现更高层的特征,将顶层输出层替换为逻辑回归分类器,将训练优化特征作为输出向量;具体包括以下模块:
A、基于局部感受野的多特征学习模块
对输入的CT图像进行特征多分类后进行自编码学习;先对已有图像中隐含的不同类特征使用局部感受野进行分层提取;将局部感受野的思想融入到稀疏自编码深度网络框架中,构成一个对高层特征提取更加准确的具有局部多层特征信息输入的稀疏自编码深度网络;
B、半监督稀疏自编码的构建模块
与传统无监督编码方法不同的是,在网络训练过程中,半监督的编码方法为样本设置了标签信息;当输入样本数据带标签时,输出与标签之间存在的误差用于调整网络各个分级的参数,实现对收敛效果的优化;在训练肺结节CT图像时专门设置一行或一列,用来存储图像的标签信息,将标签信息作为像素值插入到图像中;将原图的第一行用来存放训练数据的标签信息,如果训练图像中无结节,则第一行的像素值设置为255;如果训练图像存在结节,则第一行的像素值设置为0;灰度的取值范围为0~255;
C、结合重要临床信息改进稀疏自编码模块
在稀疏自编码学习过程中,去除了关联度不大的影响因素,为网络添加肺部疾病治疗中重要的临床诊断信息;构建一个全面的肺部病灶的相关表征,把潜在的重要因素考虑进去,构建包含尽可能少又能全面表征结节特征的改进稀疏自编码网络结构;针对肺结节的病变特征提取出一组以形状特征为主的特征向量,以增加特征向量表征结节区域的精确程度;
所述结合重要临床信息改进稀疏自编码模块中结合重要临床信息改进稀疏自编码的过程如下:
C1对已进行局部感受野特征分类的图像进行深层自编码:
稀疏自编码的结构和训练方式与BP神经网络相似,假设训练集为{(x(1),y(1)),(x(2),y(2)),…,(x(m),y(m))},共m个训练样本;稀疏自编码损失函数定义为:
Figure GDA0002434539940000031
式中第一项为均方误差重构项,第二项为稀疏惩罚项;λ为延迟系数,β是稀疏惩罚项的惩罚系数,ρ是稀疏性参数,
Figure GDA0002434539940000032
是隐含层j神经元的平均激活值;
Figure GDA0002434539940000033
是以
Figure GDA0002434539940000034
和ρ分别为均值的两个伯努利随机变量之间的相对熵;具体计算公式如下:
Figure GDA0002434539940000035
C2、对自编码网络中的最小化损失函数进行重构:
已知从尺寸为K的数据集中选取一组输入向量
Figure GDA0002434539940000036
通过网络学习得到关于输入新的表示yk;网络中通过最小化损失函数学习重构网络的输入向量;重构的损失函数计算公式如下:
Figure GDA0002434539940000037
其中
Figure GDA0002434539940000038
称为编码过程,g(yk)=WTyk称为解码过程;f为输出层特定组件组成的激活函数;
将肺部CT图像中结节边界粗糙度texp作为图像对象边界平滑程度的量化表征,并用于深度框架目标函数的重写;
边界粗糙度计算以径向距离r(n)为基础;径向距离r(n)指各像素点(x(n),y(n))到质心的距离;将其量化的过程如下:
首先,将r(n)划分成若干连续的长度相等的边界段,其中n指肺结节边界轮廓像素点的个数;每段长度为L,经过实验可得度量肺结节病理特征精确度的L值为5;然后,计算每段内相邻像素间径向距离的差值,并求出同一段内径向距离差值和R(j);最后,计算所有边界段径向距离差值和的平均值,将肺结节的边界粗糙度作为结节形状表示时的参数;具体公式如下:
Figure GDA0002434539940000039
Figure GDA00024345399400000310
Figure GDA00024345399400000311
同时给数据集中每个样本都赋一个年龄权值;年龄权值参数tage定义如下:
Figure GDA0002434539940000041
其中,Sage为4个年龄段25,50,75,100;由于年龄的分类是相互独立的,故年龄值由给定样本的参数决定;并对数据集中每个病患的所处环境参数tenv和吸烟状况tsmk分别赋值,环境参数tenv轻度为0,中度为0.5,重度为1;吸烟状况tsmk否为0,是为1;
在编码过程中加入四个softmax层来表达对存在的疑似区域是否为肺结节的预测:
Figure GDA0002434539940000042
Figure GDA0002434539940000043
Figure GDA0002434539940000044
Figure GDA0002434539940000045
需要Kexp个形状表示的标签,dexp为Kexp维多项分布;上面所求的边界粗糙度
Figure GDA00024345399400000413
作为第k个结节形状的标签信息,交叉熵误差函数定义为
Figure GDA0002434539940000046
同样,其他影响因素相关参数的交叉熵误差函数与公式(9)相同;最后的半监督自编码目标函数加上这四个交叉熵一起应用在整个训练集上,具体计算如下;参数λ1、λ2、λ3、λ4和λ5控制不同误差项的权重,总和为1;
E([xp,xq],texp,tage,tenv,tsmk,θ)=λ1Erec([xp,xq])+λ2EcExp(y,texp,θ)+λ3EcAge(y,tage,θ)+λ4EcEnv(y,tenv,θ)+λ5EcSmk(y,tsmk,θ) (10)。
所述的装置,所述基于局部感受野的多特征学习模块中局部感受野多分类特征分类过程如下:在构建多特征局部感受野时,使用阶梯概率函数进行采样分布,平方根池化法构成节点,隐层节点的局部感受野均由距中心一定距离内的输入节点组成;为了输入尽可能充分,采用K个不同的输入权重,从而得到K个映射种类;首先,随机生成初始权重矩阵
Figure GDA0002434539940000047
其中
Figure GDA0002434539940000048
然后输入图像设置为d×d,局部感受野的尺寸为r×r,形成的特征映射图像块为(d-r+1)×(d-r+1);使用奇异值分解(SVD)进行初始权重矩阵正交化;正交化的初始权重为
Figure GDA0002434539940000049
其中,每一列
Figure GDA00024345399400000410
都是
Figure GDA00024345399400000411
的正交基;当r2<K时,先转置,再正交化,然后转置回来;第K个特征图的输入权重是ak∈Rτ×τ,由
Figure GDA00024345399400000412
逐列排成;第K个特征映射对应的节点(i,j)计算如公式(1)所示:
Figure GDA0002434539940000051
其中,i,j=1,...,(d-r+1)
正交化过程使网络的泛化性能得到进一步提高,所提出算法的特征映射模块通过稀疏自编码神经网络可自主学习出更接近高层语义的图像特征,显著提高结节检测的准确性。
与现有技术相比,本发明的有益效果为:
1、本发明的方法基于局部感受野和半监督的改进稀疏自编码的肺结节诊断,进而识别肺结节图像所表现的征象类别,便于医师判断肺部是否有肺结节,减少了医师对诊断经验,及主观性的过度依赖;
2、通过使用本发明的技术,能够从临床信息的层面对诊断提出帮助,最大程度保证了肺结节诊断的准确性;
3、通过本发明对肺结节进行的诊断,这些图像的病灶特征和诊断方案等可以为医师对肺部疾病的分析提供参考,起到辅助诊断的作用。
附图说明
图1是本发明肺结节检测方法流程图;
图2是利用局部感受野多特征提取框架图;
图3是肺结节监督信息标注,a列是原始肺结节图像,b列是嵌入标签信息的肺结节图像;
图4是栈式稀疏自编码结构;
图5是融合临床信息的半监督自编码结构图;
图6是不同样本块大小的局部统计特征;(a)和(b)分别为5*5和30*30大小样本块的局部特征效果图;
图7是不同样本块大小对检测率的影响;
图8是添加不同临床信息对检测率的影响。
具体实施方式
下面结合附图与具体实施方式对本发明的技术方案作进一步详细的说明。
肺结节整体检测过程图如图1所示,本发明通过对肺实质CT影像中隐含的不同类特征使用局部感受野进行分层提取,然后,运用融合了肺部疾病医学相关临床信息的改进栈式稀疏自编码网络,对有标签的半监督特征提取深度模型进行训练,从已进行特征分类的CT特征图像中发现更高层的特征,将顶层输出层替换为逻辑回归分类器,将训练优化特征作为输出向量。最后融合多种临床信息实现对肺结节的准确检测。
A、基于局部感受野的多特征学习
图像的特征一般主要集中于某一局部区域。所以,局部感受野(Local ReceptiveField,简称LRF)被提出并用于图像局部特征的提取。最底层特征通常都是局部的,每个神经元仅连接输入单元的一部分且只响应某种特定区域的刺激。在更高层特征中,将这些感受不同的局部神经元综合起来就可以得到全局的信息,大大减少了训练网络的参数,提高了训练效率,保证在提取到有效特征的基础上使网络结构变得尽可能简单。而肺部CT影像为黑白图像,有结节的区域则较高亮。因此,我们将大尺寸的图像依次进行分块处理,然后将这些图像块放进深层稀疏自编码网络中进行学习。图像中具有多特征的图像块被称为有效区域块,其他则为无效区域块。
将局部感受野的这种思想融入到稀疏自编码深度网络框架中,构成一个对高层特征提取更加准确的具有局部多层特征信息输入的稀疏自编码深度网络(LRF-SDAE)。本发明提出一种在输入层引入局部感受野的方法如图2所示。局部感受野的选取摒弃了CNN中使用固定卷积节点的方式,使用较灵活的可以在不同形式中使用的连续概率分布随机生成方法。将这种思想运用于医学图像处理任务中,用于学习图像的局部结构并在隐藏层生成更有意义的表示。为了减少局部特征提取时的运算量,提高计算准确率。采用2×K个不同的输入权重(黑白图像包含两个通道,每个通道K个权重),为此会得到K个不同的局部特征表示图。不论局部特征提取层与输入层之间是否连接,都可以使用不同类型的连续概率分布随机采样构建,网络依然具有普适近似和分类能力。
在构建多特征局部感受野时,使用阶梯概率函数进行采样分布,平方根池化法构成节点,隐层节点的局部感受野均由距中心一定距离内的输入节点组成。为了输入尽可能充分,采用K个不同的输入权重,从而得到K个映射种类。首先,随机生成初始权重矩阵
Figure GDA0002434539940000071
其中
Figure GDA0002434539940000072
然后输入图像设置为d×d,局部感受野的尺寸为r×r,形成的特征映射图像块为(d-r+1)×(d-r+1)。使用奇异值分解(SVD)进行初始权重矩阵正交化。正交化的初始权重为
Figure GDA0002434539940000073
其中,每一列
Figure GDA0002434539940000074
都是
Figure GDA0002434539940000075
的正交基。当r2<K时,先转置,再正交化,然后转置回来。第K个特征图的输入权重是ak∈Rτ×τ,由
Figure GDA0002434539940000076
逐列排成。第K个特征映射对应的节点(i,j)计算如公式(1)所示:
Figure GDA0002434539940000077
其中,i,j=1,…,(d-r+1)
正交化过程使网络的泛化性能得到进一步提高,所提出算法的特征映射模块通过稀疏自编码神经网络可自主学习出更接近高层语义的图像特征,显著提高结节检测的准确性。
B、半监督稀疏自编码的构建
与传统无监督编码方法不同的是,在网络训练过程中,半监督的编码方法为样本设置了标签信息。当输入样本数据带标签时,输出与标签之间存在的误差用于调整网络各个分级的参数,实现对收敛效果的优化。
当重构误差达到最小时,编码器所产生的特征可被定义为原始输入数据的良好表达。因此,本发明在训练肺结节CT图像时专门设置一行或一列,用于标签信息作为像素值在图像中的存储如图3所示。将原图的第一行用来存放训练数据的标签信息,如训练图像中无结节,则第一行的像素值设置为255;如训练图像存在结节,则第一行的像素值设置为0(灰度的取值范围为0~255)。
同时,稀疏自编码是一种可以学习输入数据非线性特征的自编码网络。从结构上来说,稀疏自编码是在一般神经网络中加上稀疏限制的特殊三层神经网络。为了学习到更加复杂和稳定的特征,稀疏自编码通过多层排列构成深度栈式结构,结构如图4所示。其最大特点就是输入层结点数(不包括bias结点)和输出层结点数相同,而隐含层结点数少于输入层和输出层结点数。稀疏自编码可以将输入数据中的潜在特征进行较好的低维表示。
C、结合重要临床信息改进稀疏自编码
在稀疏自编码学习过程中,去除了一些关联度不大的影响因素,为网络添加一些肺部疾病治疗中重要的临床诊断信息。构建一个全面的肺部病灶的相关表征,把潜在的重要因素考虑进去,构建包含尽可能少又能全面表征结节特征的改进稀疏自编码网络结构。针对肺结节的病变特征提取出一组以形状特征为主的特征向量,以增加特征向量表征结节区域的精确程度,进而增加后期对肺结节检测的准确率。
C1对已进行局部感受野特征分类的图像进行深层自编码:
稀疏自编码的结构和训练方式与BP神经网络相似,假设训练集为{(x(1),y(1)),(x(2),y(2)),…,(x(m),y(m))},共m个训练样本。稀疏自编码损失函数定义为:
Figure GDA0002434539940000081
式中第一项为均方误差重构项,第二项为稀疏惩罚项。λ为延迟系数,β是稀疏惩罚项的惩罚系数,ρ是稀疏性参数,
Figure GDA0002434539940000082
是隐含层j神经元的平均激活值。
Figure GDA0002434539940000083
是以
Figure GDA0002434539940000084
和ρ分别为均值的两个伯努利随机变量之间的相对熵。具体计算公式如下:
Figure GDA0002434539940000085
C2、对自编码网络中的最小化损失函数进行重构:
已知从尺寸为K的数据集中选取一组输入向量
Figure GDA0002434539940000086
通过网络学习得到关于输入新的表示yk。网络中通过最小化损失函数学习重构网络的输入向量。重构的损失函数计算公式如下:
Figure GDA0002434539940000087
其中
Figure GDA0002434539940000088
称为编码过程,g(yk)=WTyk称为解码过程。f为输出层特定组件组成的激活函数。
将肺部CT图像中结节边界粗糙度texp作为图像对象边界平滑程度的量化表征,并用于深度框架目标函数的重写。
边界粗糙度计算以径向距离r(n)为基础。径向距离r(n)指各像素点(x(n),y(n))到质心的距离。将其量化的过程如下:
首先,将r(n)划分成若干连续的长度相等的边界段,其中n指肺结节边界轮廓像素点的个数。每段长度为L,经过实验可得度量肺结节病理特征精确度的L值为5。然后,计算每段内相邻像素间径向距离的差值,并求出同一段内径向距离差值和R(j)。最后,计算所有边界段径向距离差值和的平均值,将肺结节的边界粗糙度作为结节形状表示时的参数。具体公式如下:
Figure GDA0002434539940000091
Figure GDA0002434539940000092
Figure GDA0002434539940000093
同时给数据集中每个样本都赋一个年龄权值。年龄权值参数tage定义如下:
Figure GDA0002434539940000094
其中,Sage为4个年龄段(25,50,75,100)。由于年龄的分类是相互独立的,故年龄值由给定样本的参数决定。并对数据集中每个病患的所处环境参数tenv(轻度0,中度0.5,重度1)和吸烟状况tsmk(否0,是1)分别赋值。
在编码过程中加入四个softmax层来表达对存在的疑似区域是否为肺结节的预测:
Figure GDA0002434539940000095
Figure GDA0002434539940000096
Figure GDA0002434539940000097
Figure GDA0002434539940000098
假设我们需要Kexp个形状表示的标签,dexp为Kexp维多项分布。上面所求的边界粗糙度
Figure GDA0002434539940000099
作为第k个结节形状的标签信息,交叉熵误差函数定义为
Figure GDA00024345399400000910
同样,其他影响因素相关参数的交叉熵误差函数与公式(9)相同。最后的半监督自编码目标函数加上这四个交叉熵一起应用在整个训练集上,具体计算如下。参数λ1、λ2、λ3、λ4和λ5控制不同误差项的权重,总和为1。
E([xp,xq],texp,tage,tenv,tsmk,θ)=λ1Erec([xp,xq])+λ2EcExp(y,texp,θ)+λ3EcAge(y,tage,θ)+λ4EcEnv(y,tenv,θ)+λ5EcSmk(y,tsmk,θ) (10)
实验结果
本发明方法所使用的实验数据来自于山西某医院影像数据中心,图像中共有结节2810个(最大直径范围为:1.6~23mm,平均最大直径为5.1mm)。该医院使用设备为美国通用公司的Discovery ST16,CT采集参数为150mA、140kV,层厚3.75mm,CT图像大小为512×512。该方法的实验环境为Matlab2012b,处理器Intel(R)Core(TM)i7,主频3.40GHz,内存8GB。为了公平比较,数据集作为不同方法的输入,采用5折交叉验证方法进行训练(已与医院签署数据隐私处理相关协议)。
样本块大小对算法性能的影响
在其它参数条件设置相同的情况下,不同大小样本块对检测性能的影响。如图6所示,(a)和(b)分别为5*5和30*30大小样本块的局部特征效果图。可以明显看出,在一定范围内,当样本块较大时,提取得到的局部特征更为清晰。
图7折线图表示不同大小样本块对检测率的影响。曲线分别表示样本块大小为16*16,32*32,48*48,64*64,128*128所对应的检测率曲线。从图中可以看到,在一定范围内,提取样本块越大,其检测率也相对较高。其中64*64的样本块检测率明显优于其它样本块大小的。
与其他深度学习模型的比较
所有进行对比的模型都是由单层模型堆叠,并且网络均处于最优分类性能,实验结果见表1.实验结果表明,我们提出的LRF-SSAE自编码模型获得了88.81±1.33%准确性,87.38±2.19%敏感度和85.25±2.70%特异性,检测率可达96.64%。在训练时间和检测性能上都超过其他方法。
表1不同深度框架检测性能的比较
算法 准确率(%) 敏感度(%) 特异性(%) 训练时间(s) 平均检测率(%)
SAE 72.19±3.43 75.62±4.09 68.75±3.68 366.15 96.38
SSAE 75.20±3.43 76.25±4.09 73.75±3.68 377.03 96.46
RBM 78.43±2.69 80.00±3.12 76.87±2.89 523.71 96.48
Ours 88.81±1.33 87.38±2.19 85.25±2.71 206.37 96.64
不同临床信息的添加对检测性能的影响
为了进一步阐明所提方法在结节检测方面的有效性,本发明分别对融合不同临床信息网络模型与我们方法进行比较如图8所示。实验表明,本发明所提方法在隐含层结点数900,样本大小64*64时,效果最优。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (2)

1.一种基于局部感受野和半监督深度自编码的肺实质CT影像处理装置,其特征在于,首先对肺实质CT影像中隐含的不同类特征使用局部感受野进行分层提取,然后,运用融合了肺部疾病医学相关临床信息的改进栈式稀疏自编码网络,对有标签的半监督特征提取深度模型进行训练,从已进行特征分类的CT特征图像中发现更高层的特征,将顶层输出层替换为逻辑回归分类器,将训练优化特征作为输出向量;具体包括以下模块:
A、基于局部感受野的多特征学习模块
对输入的CT图像进行特征多分类后进行自编码学习;先对已有图像中隐含的不同类特征使用局部感受野进行分层提取;将局部感受野的思想融入到稀疏自编码深度网络框架中,构成一个对高层特征提取更加准确的具有局部多层特征信息输入的稀疏自编码深度网络;
B、半监督稀疏自编码的构建模块
与传统无监督编码方法不同的是,在网络训练过程中,半监督的编码方法为样本设置了标签信息;当输入样本数据带标签时,输出与标签之间存在的误差用于调整网络各个分级的参数,实现对收敛效果的优化;在训练肺结节CT图像时专门设置一行或一列,用来存储图像的标签信息,将标签信息作为像素值插入到图像中;将原图的第一行用来存放训练数据的标签信息,如果训练图像中无结节,则第一行的像素值设置为255;如果训练图像存在结节,则第一行的像素值设置为0;灰度的取值范围为0~255;
C、结合重要临床信息改进稀疏自编码模块
在稀疏自编码学习过程中,去除了关联度不大的影响因素,为网络添加肺部疾病治疗中重要的临床诊断信息;构建一个全面的肺部病灶的相关表征,把潜在的重要因素考虑进去,构建包含尽可能少又能全面表征结节特征的改进稀疏自编码网络结构;针对肺结节的病变特征提取出一组以形状特征为主的特征向量,以增加特征向量表征结节区域的精确程度;
所述结合重要临床信息改进稀疏自编码模块中结合重要临床信息改进稀疏自编码的过程如下:
C1对已进行局部感受野特征分类的图像进行深层自编码:
稀疏自编码的结构和训练方式与BP神经网络相似,假设训练集为{(x(1),y(1)),(x(2),y(2)),…,(x(m),y(m))},共m个训练样本;其中,x为单个样本特征,y为样本对应输出特征;稀疏自编码损失函数定义为:
Figure FDA0002620097590000021
式中第一项为均方误差重构项,第二项为稀疏惩罚项;W、b为网络结构的参数,hW,b(x)为样本对应网络的输出值,||hW,b(x)-y||2为单个样本的均方误差,i表示第i个样本,λ为延迟系数;β是稀疏惩罚项的惩罚系数,ρ是稀疏性参数,j表示隐含层第j个神经元,S'表示隐含层神经元的总数,
Figure FDA0002620097590000022
是第j个神经元的平均激活值,
Figure FDA0002620097590000023
是以
Figure FDA0002620097590000024
和ρ分别为均值的两个伯努利随机变量之间的相对熵;具体计算公式如下:
Figure FDA0002620097590000025
C2、对自编码网络中的最小化损失函数进行重构:
为了减少局部特征提取时的运算量,提高计算准确率,采用Kw个不同的输入权重,黑白图像包含两个通道,每个通道Kw个权重,为此会得到K个不同的局部特征表示图;已知从K个不同的局部特征表示图表示的数据集中选取一组输入向量
Figure FDA0002620097590000026
通过网络学习得到yk,这里的yk表示网络关于输入向量
Figure FDA0002620097590000027
学习到的新编码表示;网络中通过最小化损失函数学习重构网络的输入向量;重构的损失函数计算公式如下:
Figure FDA0002620097590000028
其中
Figure FDA0002620097590000029
称为编码过程,g(yk)=WTyk称为解码过程;f为输出层特定组件组成的激活函数;
将肺部CT图像中结节边界粗糙度texp作为图像对象边界平滑程度的量化表征,并用于深度框架目标函数的重写;
边界粗糙度计算以径向距离r(n)为基础;径向距离r(n)指各像素点(x(n),y(n))到质心的距离;将其量化的过程如下:
首先,将r(n)划分成若干连续的长度相等的边界段,其中n指肺结节边界轮廓像素点的个数;每段长度为L,经过实验可得度量肺结节病理特征精确度的L值为5;然后,计算每段内相邻像素间径向距离的差值,并求出每一段内径向距离差值R(s);最后,计算所有边界段径向距离差值和的平均值,将肺结节的边界粗糙度作为结节形状表示时的参数;具体公式如下:
Figure FDA0002620097590000031
Figure FDA0002620097590000032
Figure FDA0002620097590000033
其中,n指肺结节边界轮廓像素点的个数,n∈{1,...,N},x(n)、y(n)表示像素点的横、纵坐标,xc、yc表示质心的横、纵坐标,r(n)为像素点的径向距离;L为每边界段的长度,s表示划分得到的边界段数,N表示像素点的总数;
同时给数据集中每个样本都赋一个年龄权值;年龄权值参数tage定义如下:
Figure FDA0002620097590000034
其中,Sage为4个年龄段25,50,75,100;由于年龄的分类是相互独立的,故年龄值由给定样本的参数决定;并对数据集中每个病患的所处环境参数tenv和吸烟状况tsmk分别赋值,环境参数tenv轻度为0,中度为0.5,重度为1;吸烟状况tsmk否为0,是为1;
在编码过程中加入四个softmax层来表达对存在的疑似区域是否为肺结节的预测:
Figure FDA0002620097590000035
Figure FDA0002620097590000036
Figure FDA0002620097590000037
Figure FDA0002620097590000041
其中,
Figure FDA0002620097590000042
Figure FDA0002620097590000043
分别为判断边界粗糙度、年龄值、所处环境和吸烟状况的四个softmax层的网络权重,y为样本输出特征,θexp、θage、θenv和θsmk分别为四个softmax层的网络参数;
对于影响因素中的边界粗糙度来说,需要Kexp个形状表示的标签,dexp为Kexp维多项分布;上面所求的边界粗糙度
Figure FDA0002620097590000044
作为第k个局部特征表示图对应的标签信息,则边界粗糙度交叉熵误差函数定义为
Figure FDA0002620097590000045
其中,y为样本对应输出特征,
Figure FDA0002620097590000046
为第k个局部特征表示图的边界粗糙度作为标签信息,
Figure FDA0002620097590000047
表示第k个局部特征表示图服从的多项分布,θexp表示判断边界粗糙度的softmax层的网络参数;
同样,其他影响因素相关参数的交叉熵误差函数与公式(9)相同;最后的半监督自编码目标函数加上这四个交叉熵一起应用在整个训练集上,具体计算如下:
Figure FDA0002620097590000048
其中,Erec、EcExp、EcAge、EcEnv和EcSmk分别为半监督自编码、边界粗糙度、年龄值、所处环境和吸烟状况的目标损失函数;θ表示该深度网络的参数;λ1、λ2、λ3、λ4和λ5控制不同误差项的权重,总和为1。
2.根据权利要求1所述的装置,其特征在于,所述基于局部感受野的多特征学习模块中局部感受野多分类特征分类过程如下:在构建多特征局部感受野时,使用阶梯概率函数进行采样分布,平方根池化法构成节点,隐层节点的局部感受野均由距中心一定距离内的输入节点组成;为了输入尽可能充分,采用Kw个不同的输入权重,从而得到K个局部特征表示图;首先,随机生成初始权重矩阵
Figure FDA0002620097590000049
其中
Figure FDA00026200975900000410
然后输入图像大小设置为d×d,局部感受野的尺寸为r×r,形成的特征映射图像块为(d-r+1)×(d-r+1);使用奇异值分解SVD进行初始权重矩阵正交化;正交化的初始权重为
Figure FDA0002620097590000051
其中,每一列
Figure FDA0002620097590000052
都是
Figure FDA0002620097590000053
的正交基;当r2<K时,先转置,再正交化,然后转置回来;第k个局部特征表示图的输入权重是
Figure FDA0002620097590000054
Figure FDA0002620097590000055
逐列排成;这里的τ2为初始权重矩阵正交化后的矩阵维度;每一个局部特征映射对应的节点xi',j'计算如公式(1)所示:
Figure FDA0002620097590000056
其中,ch表示通道数;xi'+row-1,j'+col-1,ch表示第k个局部表示图中的节点,arow,col,k,ch表示第k个局部特征表示图的权重矩阵,i',j'∈{1,...,d-r+1};
正交化过程使网络的泛化性能得到进一步提高,所提出算法的特征映射模块通过稀疏自编码神经网络可自主学习出更接近高层语义的图像特征,显著提高结节检测的准确性。
CN201710437480.1A 2017-06-12 2017-06-12 基于局部感受野和半监督深度自编码的肺实质ct影像处理装置 Active CN107273925B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710437480.1A CN107273925B (zh) 2017-06-12 2017-06-12 基于局部感受野和半监督深度自编码的肺实质ct影像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710437480.1A CN107273925B (zh) 2017-06-12 2017-06-12 基于局部感受野和半监督深度自编码的肺实质ct影像处理装置

Publications (2)

Publication Number Publication Date
CN107273925A CN107273925A (zh) 2017-10-20
CN107273925B true CN107273925B (zh) 2020-10-09

Family

ID=60067097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710437480.1A Active CN107273925B (zh) 2017-06-12 2017-06-12 基于局部感受野和半监督深度自编码的肺实质ct影像处理装置

Country Status (1)

Country Link
CN (1) CN107273925B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247971B (zh) * 2017-06-28 2020-10-09 中国人民解放军总医院 一种超声甲状腺结节风险指标的智能分析方法及系统
CN109614840B (zh) * 2017-11-28 2022-03-18 重庆交通大学 基于深度学习网络的早产检测方法
CN108596204B (zh) * 2018-03-15 2021-11-09 西安电子科技大学 一种基于改进型scdae的半监督调制方式分类模型的方法
CN109002766B (zh) * 2018-06-22 2021-07-09 北京邮电大学 一种表情识别方法及装置
CN109635140B (zh) * 2018-12-14 2020-07-10 常熟理工学院 一种基于深度学习和密度峰值聚类的图像检索方法
CN109902736A (zh) * 2019-02-25 2019-06-18 东北大学 一种基于自动编码器构建特征表示的肺结节图像分类方法
CN110210493B (zh) * 2019-04-30 2021-03-19 中南民族大学 基于非经典感受野调制神经网络的轮廓检测方法及系统
CN110209859B (zh) * 2019-05-10 2022-12-27 腾讯科技(深圳)有限公司 地点识别及其模型训练的方法和装置以及电子设备
CN110717518B (zh) * 2019-09-10 2023-06-30 北京深睿博联科技有限责任公司 基于3d卷积神经网络的持续性肺结节识别方法及装置
CN110880035B (zh) * 2019-11-14 2020-12-01 北京推想科技有限公司 卷积神经网络的训练方法、装置及结节征象识别方法、装置
CN111366555B (zh) * 2020-02-27 2021-01-26 浙江大学 一种耕地土壤中农膜残留的检测方法
CN112735469B (zh) * 2020-10-28 2024-05-17 西安电子科技大学 低内存语音关键词检测方法、系统、介质、设备及终端
US11620359B2 (en) * 2020-12-03 2023-04-04 Ping An Technology (Shenzhen) Co., Ltd. Method, device, and computer program product for self-supervised learning of pixel-wise anatomical embeddings in medical images
CN112951332A (zh) * 2021-02-25 2021-06-11 北京博富瑞基因诊断技术有限公司 一种基于aGVHD biomarker的重度肠道aGVHD模型的方法
CN113539477A (zh) * 2021-06-24 2021-10-22 杭州深睿博联科技有限公司 一种基于解耦机制的病灶良恶性预测方法及装置
CN114494263B (zh) * 2022-04-19 2022-06-17 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 融合临床信息的医学影像病变检测方法、系统及设备
CN114999628B (zh) * 2022-04-26 2023-06-02 暨南大学 一种利用机器学习寻找退行性膝骨关节炎显著性特征方法
CN115620899B (zh) * 2022-12-01 2023-04-07 首都医科大学附属北京朝阳医院 基于多视野的3d卷积神经网络集成模型肺结节诊断系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700118A (zh) * 2015-03-18 2015-06-10 中国科学院自动化研究所 基于卷积神经网络的肺结节良恶性预测方法
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170071671A1 (en) * 2015-09-11 2017-03-16 Siemens Healthcare Gmbh Physiology-driven decision support for therapy planning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700118A (zh) * 2015-03-18 2015-06-10 中国科学院自动化研究所 基于卷积神经网络的肺结节良恶性预测方法
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Local Receptive Field Constrained Deep Networks;Diana Turcsany et al.;《Information Sciences》;20160209;第1-23页 *
Local receptive field constrained stacked sparse autoencoder for classification of hyperspectral images;XIAOQING WAN et al.;《Journal of the Optical Society of America A》;20170526;第1011-1020页 *
深度极限学习机的研究与应用;魏洁;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160815;第2016年卷(第8期);第I140-167页 *

Also Published As

Publication number Publication date
CN107273925A (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
CN107273925B (zh) 基于局部感受野和半监督深度自编码的肺实质ct影像处理装置
Kumar et al. A de-ann inspired skin cancer detection approach using fuzzy c-means clustering
CN111476292B (zh) 医学图像分类处理人工智能的小样本元学习训练方法
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN108898160B (zh) 基于cnn和影像组学特征融合的乳腺癌组织病理学分级方法
US20220148191A1 (en) Image segmentation method and apparatus and storage medium
Fu’adah et al. Automated classification of Alzheimer’s disease based on MRI image processing using convolutional neural network (CNN) with AlexNet architecture
CN113693563B (zh) 一种基于超图注意力网络的脑功能网络分类方法
Muthukannan Optimized convolution neural network based multiple eye disease detection
CN106780453A (zh) 一种基于深度信任网络实现对脑肿瘤分割的方法
CN113344864A (zh) 一种基于深度学习的超声甲状腺结节良恶性预测方法
CN110477907B (zh) 一种智能辅助识别痫性发作的建模方法
CN110084790B (zh) 用于影像学肺炎判别的仿生模式识别改进方法
CN112766376A (zh) 一种基于gacnn的多标签眼底图像识别方法
Ramamurthy et al. Deep learning based genome analysis and NGS-RNA LL identification with a novel hybrid model
CN114743037A (zh) 一种基于多尺度结构学习的深度医学图像聚类方法
CN114822823B (zh) 基于云计算和人工智能的融合多维度医疗数据的肿瘤精细分类系统
CN113421228A (zh) 一种基于参数迁移的甲状腺结节识别模型训练方法及系统
CN115018809A (zh) Ct图像的靶区分割识别方法及系统
CN109935321B (zh) 基于功能核磁共振影像数据的抑郁症患者转为双相情感障碍的风险预测系统
Nawshad et al. Attention based residual network for effective detection of covid-19 and viral pneumonia
CN116797817A (zh) 基于自监督图卷积模型的自闭症疾病预测技术
CN116433679A (zh) 一种基于空间位置结构先验的内耳迷路多级标注伪标签生成与分割方法
Krishna Priya et al. Improved particle swarm optimized deep convolutional neural network with super‐pixel clustering for multiple sclerosis lesion segmentation in brain MRI imaging
CN111798455A (zh) 一种基于全卷积密集空洞网络的甲状腺结节实时分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant