CN107194929A - 一种基于深度信念网络的肺结节良恶性分类方法 - Google Patents

一种基于深度信念网络的肺结节良恶性分类方法 Download PDF

Info

Publication number
CN107194929A
CN107194929A CN201710474116.2A CN201710474116A CN107194929A CN 107194929 A CN107194929 A CN 107194929A CN 201710474116 A CN201710474116 A CN 201710474116A CN 107194929 A CN107194929 A CN 107194929A
Authority
CN
China
Prior art keywords
mrow
msub
pixel
super
msup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710474116.2A
Other languages
English (en)
Other versions
CN107194929B (zh
Inventor
赵涓涓
杨佳玲
强彦
强薇
王�华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN201710474116.2A priority Critical patent/CN107194929B/zh
Publication of CN107194929A publication Critical patent/CN107194929A/zh
Application granted granted Critical
Publication of CN107194929B publication Critical patent/CN107194929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度信念网络的肺结节分类方法，包括以下步骤：首先对肺部CT图像进行预处理，即运用基于超像素的追踪方法获取肺部图像的感兴趣区域；然后根据追踪后得到的特定数据集，自定义一个5层的深度信念网络(DBN)，有效实现对结节的分类。本发明的方法首先通过对CT图像进行追踪，获得感兴趣区域，大大削弱了CT图像中除肺实质外多余信息的干扰，降低了深度学习应用于肺部疾病诊断的复杂性；采用自定义的深度信念网络实现对肺结节特征的自动提取与良恶性分类工作，并通过实验优化各个参数，减少了手动提取特征的主观性，有效实现对结节的诊断。

Description

一种基于深度信念网络的肺结节良恶性分类方法
技术领域
本发明涉及医学图像处理领域，具体涉及对肺部感兴趣区域的追踪以及对结节的良恶性分类的方法。
背景技术
由于结节外形的多样性以及特征的复杂性，在一定程度上会导致结节的过分割，过分割导致了有效信息的丢失，直接影响诊断的准确度。但如果将原始CT图像(512*512大小)作为任何学习网络的输入，其学习过程的复杂性是不可想象的，甚至是无法完成的。追踪算法可以快速定位出肺部感兴趣区域，有效削弱了CT图像中除肺实质外多余信息的干扰，降低了深度学习应用于肺部疾病诊断的复杂性。且传统的分类方法BP神经网络、支持向量机(SVM)、自生成神经网络(SGNN)等，需人工提取特征，由于不同的人有不同的主观标准，这样提取的特征集相差很大，且分类器结构简单，无法运用于大样本数据集。深度信念网络拥有多层非线性结构层，学习过程由有监督学习与无监督学习交替完成，对复杂数据关系有极强的非线性映射能力。鉴于此，本发明将基于超像素的图像追踪与深度信念网络引入拥有大数据样本集的肺结节良恶性诊断中。
发明内容
本发明针对肺部图像大数据样本集，以及现有技术的不足提供一种基于深度信念网络的肺结节良恶性诊断方法。
本发明采用的技术方案为：
一种基于深度信念网络的肺结节良恶性分类方法，包括以下步骤：
步骤A，获取肺实质的外观模板；对肺部CT图像进行超像素分割，使用Mean Shift聚类算法对分割得到的超像素块进行聚类，并计算每个类的置信值；这样得到基于超像素的肺实质模板；
步骤B，对待追踪图像中的肺实质进行追踪，获取肺部感兴趣区域；通过每个类别的置信值，建立待追踪图像的置信图，在粒子滤波框架下，采用自适应大小的追踪窗口对待追踪图像中的肺实质进行追踪，获得肺部感兴趣区域；
步骤C，在一套完整的CT图像(所有的CT数据都明确标注是良性还是恶性)中，肺实质的外观形状是不断变化的，为了确保追踪模板的准确性，对肺实质模板进行实时更新；
步骤D，在对所有的肺部CT图像进行追踪后，将追踪结果即得到的所有追踪图像整合到一起，形成数据集F，为了构建稳定的深度信念网络，对F中的所有图像采用双线性插值法进行归一化处理，统一图像尺寸得到数据集F′；
步骤E，根据数据集F′构建一个5层的深度信念网络，包含输入层，三个隐藏层及输出层，输入层的神经元个数由集合F′中图像大小决定，输出层包含两个神经元节点，表示肺结节分为良、恶性两类；DBN结构可以从原始输入数据，自动的完成图像特征提取以及分类任务；该5层DBN结构逻辑上可以看成由三个受限玻尔兹曼机(RBM)组成；首先采用K步对比散度算法对多个RBM结构进行训练，然后通过误差反向传播对整个网络结构进行微调，各层参数权值和偏置不再进行更新时，网络达到稳定状态。
所述的方法，所述步骤A肺实质外观模板获取过程如下：
A1、超像素分割；
在传统的超像素分割算法中，每个像素点由一个5维向量表示：[l,a,b,x,y]T，其中l,a,b是CIELAB色彩空间中的颜色信息，x,y为像素点的坐标值，考虑肺部CT序列图像的前后相关性，添加了一个表示图像序列号的第6维分量s，使每个像素点由一个6维向量[l,a,b,x,y,s]T组成；像素点与聚类中心的相似度D可以通过计算颜色特征距离dlab和空间位置特征距离dxy两个量得到：
在上述公式中：i是超像素的聚类中心，j表示搜索区域内某一像素点；ε是特征值的权重调整参数，取值范围通常在0-20之间，优选的是10；
A2、基于超像素的肺实质模板；
为了得到一个准确的肺实质模板，取前3帧作为训练帧；手动获取目标肺实质，对前3张CT中的目标周围区域进行超像素分割，把分割出的超像素的特征向量(m＝1,2……M,r＝1,2……T)加入特征池中，其中m是训练帧数，r表示第m帧中的r个超像素；使用Meanshift算法对特征池中的所有超像素块进行聚类。
所述的方法，所述步骤B具体过程如下：
B1、建立待追踪图像的置信图；
在t时刻，待追踪的序列图像中新一张CT到来时，首先对肺实质的周围区域进行超像素分割，周围区域的大小取t-1时刻目标区域面积的1.2倍；分割后得到的超像素置信值取决于两个因素：超像素属于哪个类别，超像素到其所属聚类中心的距离；当前超像素属于特征空间中的某一类别clu(i)，则可由该类别的目标-背景信心值来确定该超像素是目标还是背景；若当前超像素离聚类中心fc(i)的距离越远，则该超像素属于该类别的可能性越小；反之则越大；
其中，rc(i)为聚类的半径，和fc(i)分别为超像素的特征向量和聚类中心的特征向量；在得到每个超像素的置信值后，每个像素点的置信值等于其所属的超像素的置信值，将没有进行超像素分割区域的全部像素点的置信值置为-1；这样就得到整张CT中所有像素点的置信值，得到每个像素的置信值后，为新CT建立置信图；
B2、追踪窗口自适应变化的肺实质定位；
运动模板服从高斯分布，即：
p(Xt|Xt-1)＝N(Xt；Xt-1,ψ)
其中Ψ是元素为位置标准差和追踪框尺寸标准差的协方差矩阵，表明了算法的追踪框位置以及尺寸的变化情况；
针对肺部CT图像特征，提出候选追踪框大小自适应的机制：
a.在得到CT图像置信图的基础上，可以对每个椭圆候选框的四个顶点(椭圆长轴对应的两个端点以及短轴对应的两个端点)的置信值进行检测，保存有三个或四个顶点的置信值均为负数的候选框，其他情况的候选区域均不保留结果；
b.由于每个候选框的大小不同，为了保证置信值的意义更加明确，需要计算候选框包含的所有超像素置信值的密度，以密度大小衡量不同候选框的置信值大小：
其中，Cl为每个候选目标的置信值，S(X)为该追踪框所对应的面积，C'i为置信值密度大小，即置信值大小衡量的标准。
所述的方法，所述步骤C中，对肺实质模板进行实时更新的详细步骤如下：
第1步，每经过三张CT图像，则删除训练集中编号最小的一张CT，加入一张新的CT图像构成新的训练集；
第2步，对新加入的CT中目标周围区域进行超像素分割，将分割结果加入训练集的特征池，对特征池中的所有特征向量重新进行聚类；
第3步，计算每个聚类的置信值，并记录每个聚类的聚类中心，聚类半径，包含超像素成员以及置信值；
第4步，重复第1步—第3步，直到追踪完所有的CT图像。
所述的方法，步骤D中，采用双线性插值法统一图像大小为28*28，其具体步骤如下：
第1步，计算目标图像像素点在原图像中对应点的坐标；
第2步，根据原图像中该点相邻的四个点的像素值计算得到目标图像的像素值；
经过对所有的CT图像进行尺寸统一，所有的图像构成特定数据集F′。
所述的方法，步骤E中，使用K步散度对比算法对DBN中的每个RBM结构进行训练，并采用误差反向传播对整个网络进行微调，详细步骤如下：
第1步，初始化参数：K＝0，用极小值随机初始化W,a,b，r；
第2步，对于j＝1,2,……m(m为隐含层节点数)，有：
由概率P通过吉布斯采样出hj (0)∈{0,1}；
第3步，对于i＝1，2，……n(n为可视层节点数)，有：
由概率P通过吉布斯采样出vi (1)∈{0,1}；
第4步，对于j＝1,2,……m(m为隐含层节点数)，有：
由概率P通过吉布斯采样出hj (1)∈{0,1}；
第5步，对参数进行更新：
Δw+＝r(P(hj (0)＝|v(0))(v(0))T-P(hj (1)＝1|v(1))(v(1))T)
Δa+＝r(v(1)-v(2))
Δb+＝r(P(hj (0)＝1|v(0))-P(hj (1)＝1|v(1)))。
所述的方法，并采用误差反向传播对整个网络进行微调，具体步骤如下：
第1步，假设输入样本x的期望输出为Y，每层的实际输出为Zk，k表示网络的层数，取值为[1,5]；
第2步，从输出层开始沿网络向下层进行误差反向传播，定义误差为e＝Zk-Y，残差为：Rek＝-e*(Zk*(1-Zk))，Re的下标取值范围为[2,5]；
第3步，将残差通过激活函数的偏微分传回输出层并根据误差对权重W和偏置a进行更新，W与a的下标取值范围为[1,4]。
与现有技术相比，本发明的有益效果为：
1、本发明将图像追踪技术引入到肺部疾病诊断中，根据要追踪图像的形态特征以及内部特征，对肺部感兴趣进行了窗口自适应大小的追踪。
2、本发明的技术，适用于肺部大样本数据集，可以充分学习肺结节的特征，增加识别的准确度。
3、本发明克服了现有分类方法存在的缺陷，提供一种更加智能，优秀的肺结节良恶性分类方法。
附图说明
图1是本发明对肺结节良恶性分类的框架图。
图2是本发明肺部图像的超像素分割结果。
图3是肺实质模板的生成过程。
图4是待追踪图像置信图的建立。
图5是肺部感兴趣区域的追踪结果；a行为原始CT图像，b行为a中相应列的图像追踪结果。
图6是对追踪后数据集的预处理；(a)原始CT图像，(b)追踪得到的肺实质图像，(c)统一尺寸后图像。
图7是本发明中深度信念网络的结构图。
具体实施方式
以下结合具体实施例，对本发明进行详细说明。
参照图1、3、4、6、7，本发明方法的实现流程如下：
一种基于深度信念网络的肺结节良恶性分类方法，包括以下步骤：
步骤A，获取肺实质的外观模板。对肺部CT图像进行超像素分割，使用Mean Shift聚类算法对分割得到的超像素块进行聚类，并计算每个类的置信值。这样就得到了基于超像素的肺实质模板；
步骤B，对待追踪图像中的肺实质进行追踪，获取肺部感兴趣区域。通过每个类别的置信值，建立待追踪图像的置信图，在粒子滤波框架下，采用自适应大小的追踪窗口对待追踪图像中的肺实质进行追踪，获得肺部感兴趣区域；
步骤C，在一套完整的CT图像中，肺实质的外观形状是不断变化的，为了确保追踪模板的准确性，对肺实质模板进行实时更新；
步骤D，在对所有的肺部CT图像进行追踪后，获得特定数据集F，为了构建稳定的深度信念网络，对F中的所有图像进行归一化处理，统一图像尺寸得到数据集F′；
步骤E，根据数据集F′构建一个5层的深度信念网络，包含输入层，三个隐藏层及输出层，该5层DBN结构逻辑上可以看成由三个受限玻尔兹曼机(RBM)组成。首先采用K步对比散度算法对多个RBM结构进行训练，然后通过误差反向传播对整个网络结构进行微调，各层参数权值和偏置不再进行更新时，网络达到稳定状态；得到数据集F′。
所述步骤A肺实质外观模板获取过程如下：
A1、超像素分割；
超像素是由若干具有相似的颜色、纹理等特征的像素点构成的块单元，含有丰富的融合信息，能够保留原始图像的边界信息，同时具有多个像素的统计信息。在传统的超像素分割算法中，每个像素点由一个5维向量表示：[l,a,b,x,y]T，其中l,a,b是CIELAB色彩空间中的颜色信息，x,y为像素点的坐标值。本文充分考虑肺部CT序列图像的前后相关性，添加了一个表示图像序列号的第6维分量s，使每个像素点由一个6维向量[l,a,b,x,y,s]T组成。像素点与聚类中心的相似度D可以通过计算颜色特征距离dlab和空间位置特征距离dxy两个量得到：
在上述公式中：i是超像素的聚类中心，j表示搜索区域内某一像素点；ε是特征值的权重调整参数，取值范围通常在0-20之间，本文实验中设置的是10。
A2、基于超像素的肺实质模板；
为了得到一个准确的肺实质模板，取前3帧作为训练帧(由于在每例完整的肺部CT中，前几张CT中肺实质刚出现且形态不稳定,因此在本文中抛弃每个病例的前5张。这里的3是从抛掉不稳定CT图像后开始计算的)。手动获取目标肺实质，对前3张CT中的目标周围区域进行超像素分割，把分割出的超像素的特征向量(m＝1,2……M,r＝1,2……T)加入特征池中，其中m是训练帧数，r表示第m帧中的r个超像素。使用Meanshift算法对特征池中的所有超像素块进行聚类。
所述步骤B具体过程如下：
B1、建立待追踪图像的置信图；
在t时刻，待追踪的序列图像中新一张CT到来时，首先对肺实质的周围区域进行超像素分割(周围区域的大小取t-1时刻目标区域面积的1.2倍)。分割后得到的超像素置信值取决于两个因素：超像素属于哪个类别，超像素到其所属聚类中心的距离。当前超像素属于特征空间中的某一类别clu(i)，则可由该类别的目标-背景信心值来确定该超像素是目标还是背景；若当前超像素离聚类中心fc(i)的距离越远，则该超像素属于该类别的可能性越小；反之则越大。
其中，rc(i)为聚类的半径，和fc(i)分别超像素的特征向量和聚类中心的特征向量。在得到每个超像素的置信值后，每个像素点的置信值等于其所属的超像素的置信值，将没有进行超像素分割区域的全部像素点的置信值置为-1。这样就得到整张CT中所有像素点的置信值，得到每个像素的置信值后。为新CT建立置信图。
B2、追踪窗口自适应变化的肺实质定位；
本文的运动模板服从高斯分布，即：
p(Xt|Xt-1)＝N(Xt；Xt-1,ψ)
其中Ψ是元素为位置标准差和追踪框尺寸标准差的协方差矩阵，表明了本文算法的追踪框位置以及尺寸的变化情况。针对肺部CT图像特征，提出候选追踪框大小自适应的机制
a.在得到CT图像置信图的基础上，可以对每个椭圆候选框的四个顶点(椭圆长轴对应的两个端点以及短轴对应的两个端点)的置信值进行检测，保存下有三个或四个顶点的置信值均为负数的候选框，其他情况的候选区域均不保留结果。
b.由于每个候选框的大小不同，为了保证置信值的意义更加明确，需要计算候选框包含的所有超像素置信值的密度，以密度大小衡量不同候选框的置信值大小：
对目标模板进行实时更新，详细步骤如下：
第1步，每经过三张CT图像，则删除训练集中编号最小的一张CT，加入一张新的CT图像构成新的训练集。
第2步，对新加入的CT中目标周围区域进行超像素分割，将分割结果加入训练集的特征池，对特征池中的所有特征向量重新进行聚类。
第3步，计算每个聚类的置信值，并记录每个聚类的聚类中心，聚类半径，包含超像素成员以及置信值。
第4步，重复第一步(1)—第(3)步，直到追踪完所有的CT图像。
采用双线性插值法统一图像大小为28*28，其具体步骤如下：
第1步，计算目标图像像素点在原图像中对应点的坐标；
第2步，根据原图像中该点相邻的四个点的像素值计算得到目标图像的像素值。
经过对所有的CT图像进行尺寸统一，所有的图像构成特定数据集F′。
使用K步散度对比算法对DBN中的每个RBM结构进行训练，并采用误差反向传播对整个网络进行微调，详细步骤如下：
第1步，初始化参数：K＝0，用极小值随机初始化W,a,b，r；
第2步，对于j＝1,2,……m(m为隐含层节点数)，有：
由概率P通过吉布斯采样出hj (0)∈{0,1}；
第3步，对于i＝1，2，……n(n为可视层节点数)，有：
由概率P通过吉布斯采样出vi (1)∈{0,1}；
第4步，对于j＝1,2,……m(m为隐含层节点数)，有：
由概率P通过吉布斯采样出hj (1)∈{0,1}；
第5步，对参数进行更新：
Δw+＝r(P(hj (0)＝|v(0))(v(0))T-P(hj (1)＝1|v(1))(v(1))T)
Δa+＝r(v(1)-v(2))
Δb+＝r(P(hj (0)＝1|v(0))-P(hj (1)＝1|v(1)))。
并采用误差反向传播对整个网络进行微调，具体步骤如下：
第1步，假设输入样本x的期望输出为Y，每层的实际输出为Zk，k表示网络的层数，取值为[1,5]。；
第2步，从输出层开始沿网络向下层进行误差反向传播，定义误差为e＝Zk-Y，残差为：Rek＝-e*(Zk*(1-Zk))，Re的下标取值范围为[2,5]。；
第3步，将残差通过激活函数的偏微分传回输出层并根据误差对权重W和偏置a进行更新，W与a的下标取值范围为[1,4]。
图2是对一例完整的肺部序列CT图像的分割，(a)为分别从肺顶、肺中和肺底选取的三张CT图像，(b)为(a)中CT对应的超像素分割结果。从图中可以看出，超像素分割可以很好的保留肺实质的边界信息，甚至是肺实质中的更细小部分的轮廓信息。肺实质边界信息很好的保留可以为接下来的追踪过程提供很好的外观模板。
图4中，(a)为t时刻的一张新CT图像，(b)由t-1时刻确定的肺实质的周围区域，(c)为对(b)进行超像素分割的结果，(d)为对(c)中图像建立的置信图，在置信图中，超像素块对应的颜色越接近黄色，则为目标的可能性越大；颜色越接近蓝色，为背景的可能性越大。(e)表示(a)中整张CT对应的置信图，(f)和(g)分别为两个采样粒子及其对应置信图，可以看出(f)对应的粒子样本是具有高置信值的样本，(g)对应的是具有较低置信值得样本。
图5是对一例完整的肺部序列CT图像的分割，a行为原始CT图像，b行为a中相应列的图像追踪结果，本发明算法可以实现对肺实质较好的跟踪，在靠近肺底部的地方形变较大，有极少部分突出区域不能很好的被跟踪，但是主体部分还是能很好的被保留。
图7是本发明的DBN结构图，共5个网络层，其中包含三个隐含层，一个输入层和一个带有标签的输出层。输出层由两个标签数据构成，分别表示良性结节和恶性结节。从逻辑上看DBN是由3个RBM结构组成，每个RBM由一个可见层v与一个隐含层h构成，可见层与隐含层间的神经元连接特点是：层内无连接，层间全连接。所有RBM的神经元均为二值单元，即每个神经元的取值为0或1。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于深度信念网络的肺结节良恶性分类方法，其特征在于，包括以下步骤：
步骤A，获取肺实质的外观模板；对肺部CT图像进行超像素分割，使用Mean Shift聚类算法对分割得到的超像素块进行聚类，并计算每个类的置信值；这样得到基于超像素的肺实质模板；
步骤B，对待追踪图像中的肺实质进行追踪，获取肺部感兴趣区域；通过每个类别的置信值，建立待追踪图像的置信图，在粒子滤波框架下，采用自适应大小的追踪窗口对待追踪图像中的肺实质进行追踪，获得肺部感兴趣区域；
步骤C，在一套完整的CT图像(所有的CT数据都明确标注是良性还是恶性)中，肺实质的外观形状是不断变化的，为了确保追踪模板的准确性，对肺实质模板进行实时更新；
步骤D，在对所有的肺部CT图像进行追踪后，将追踪结果即得到的所有追踪图像整合到一起，形成数据集F，为了构建稳定的深度信念网络，对F中的所有图像采用双线性插值法进行归一化处理，统一图像尺寸得到数据集F′；
步骤E，根据数据集F′构建一个5层的深度信念网络，包含输入层，三个隐藏层及输出层，输入层的神经元个数由集合F′中图像大小决定，输出层包含两个神经元节点，表示肺结节分为良、恶性两类；DBN结构可以从原始输入数据，自动的完成图像特征提取以及分类任务；该5层DBN结构逻辑上可以看成由三个受限玻尔兹曼机(RBM)组成；首先采用K步对比散度算法对多个RBM结构进行训练，然后通过误差反向传播对整个网络结构进行微调，各层参数权值和偏置不再进行更新时，网络达到稳定状态。
2.根据权利要求1所述的方法，其特征在于，所述步骤A肺实质外观模板获取过程如下：
A1、超像素分割；
在传统的超像素分割算法中，每个像素点由一个5维向量表示：[l,a,b,x,y]T，其中l,a,b是CIELAB色彩空间中的颜色信息，x,y为像素点的坐标值，考虑肺部CT序列图像的前后相关性，添加了一个表示图像序列号的第6维分量s，使每个像素点由一个6维向量[l,a,b,x,y,s]T组成；像素点与聚类中心的相似度D可以通过计算颜色特征距离dlab和空间位置特征距离dxy两个量得到：
<mrow> <msub> <mi>d</mi> <mrow> <mi>l</mi> <mi>a</mi> <mi>b</mi> </mrow> </msub> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>l</mi> <mi>j</mi> </msub> <mo>-</mo> <msub> <mi>l</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>a</mi> <mi>j</mi> </msub> <mo>-</mo> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>b</mi> <mi>j</mi> </msub> <mo>-</mo> <msub> <mi>b</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>
<mrow> <msub> <mi>d</mi> <mrow> <mi>x</mi> <mi>y</mi> </mrow> </msub> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>j</mi> </msub> <mo>-</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>
<mrow> <mi>D</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>d</mi> <mrow> <mi>l</mi> <mi>a</mi> <mi>b</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>&amp;epsiv;d</mi> <mrow> <mi>x</mi> <mi>y</mi> </mrow> </msub> </mrow> <msqrt> <mrow> <mn>1</mn> <mo>+</mo> <msup> <mi>&amp;epsiv;</mi> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> </mrow>
在上述公式中：i是超像素的聚类中心，j表示搜索区域内某一像素点；ε是特征值的权重调整参数，取值范围通常在0-20之间，优选的是10；
A2、基于超像素的肺实质模板；
为了得到一个准确的肺实质模板，取前3帧作为训练帧；手动获取目标肺实质，对前3张CT中的目标周围区域进行超像素分割，把分割出的超像素的特征向量(m＝1,2……M,r＝1,2……T)加入特征池中，其中m是训练帧数，r表示第m帧中的r个超像素；使用Meanshift算法对特征池中的所有超像素块进行聚类。
3.根据权利要求1所述的方法，其特征在于，所述步骤B具体过程如下：
B1、建立待追踪图像的置信图；
在t时刻，待追踪的序列图像中新一张CT到来时，首先对肺实质的周围区域进行超像素分割，周围区域的大小取t-1时刻目标区域面积的1.2倍；分割后得到的超像素置信值取决于两个因素：超像素属于哪个类别，超像素到其所属聚类中心的距离；当前超像素属于特征空间中的某一类别clu(i)，则可由该类别的目标-背景信心值来确定该超像素是目标还是背景；若当前超像素离聚类中心fc(i)的距离越远，则该超像素属于该类别的可能性越小；反之则越大；
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>w</mi> <mrow> <mo>(</mo> <mi>r</mi> <mo>,</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <mi>&amp;lambda;</mi> <mo>&amp;times;</mo> <mfrac> <mrow> <mo>|</mo> <mo>|</mo> <msubsup> <mi>f</mi> <mi>t</mi> <mi>r</mi> </msubsup> <mo>-</mo> <msub> <mi>f</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow> <mrow> <msub> <mi>r</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>&amp;ForAll;</mo> <mi>r</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mo>...</mo> <msub> <mi>N</mi> <mi>t</mi> </msub> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mo>...</mo> <mi>n</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>
<mrow> <msubsup> <mi>C</mi> <mi>r</mi> <mi>s</mi> </msubsup> <mo>=</mo> <mi>w</mi> <mrow> <mo>(</mo> <mi>r</mi> <mo>,</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <msubsup> <mi>C</mi> <mi>i</mi> <mi>c</mi> </msubsup> <mo>,</mo> <mo>&amp;ForAll;</mo> <mi>r</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mo>...</mo> <msub> <mi>N</mi> <mi>t</mi> </msub> </mrow>
其中，rc(i)为聚类的半径，和fc(i)分别为超像素的特征向量和聚类中心的特征向量；在得到每个超像素的置信值后，每个像素点的置信值等于其所属的超像素的置信值，将没有进行超像素分割区域的全部像素点的置信值置为-1；这样就得到整张CT中所有像素点的置信值，得到每个像素的置信值后，为新CT建立置信图；
B2、追踪窗口自适应变化的肺实质定位；
运动模板服从高斯分布，即：
p(Xt|Xt-1)＝N(Xt；Xt-1,ψ)
其中Ψ是元素为位置标准差和追踪框尺寸标准差的协方差矩阵，表明了算法的追踪框位置以及尺寸的变化情况；
针对肺部CT图像特征，提出候选追踪框大小自适应的机制：
a.在得到CT图像置信图的基础上，可以对每个椭圆候选框的四个顶点(椭圆长轴对应的两个端点以及短轴对应的两个端点)的置信值进行检测，保存有三个或四个顶点的置信值均为负数的候选框，其他情况的候选区域均不保留结果；
b.由于每个候选框的大小不同，为了保证置信值的意义更加明确，需要计算候选框包含的所有超像素置信值的密度，以密度大小衡量不同候选框的置信值大小：
<mrow> <msubsup> <mi>C</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>=</mo> <mfrac> <msub> <mi>C</mi> <mi>l</mi> </msub> <mrow> <mi>S</mi> <mrow> <mo>(</mo> <mi>X</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
其中，Cl为每个候选目标的置信值，S(X)为该追踪框所对应的面积，C′i为置信值密度大小，即置信值大小衡量的标准。
4.根据权利要求1所述的方法，其特征在于，所述步骤C中，对肺实质模板进行实时更新的详细步骤如下：
第1步，每经过三张CT图像，则删除训练集中编号最小的一张CT，加入一张新的CT图像构成新的训练集；
第2步，对新加入的CT中目标周围区域进行超像素分割，将分割结果加入训练集的特征池，对特征池中的所有特征向量重新进行聚类；
第3步，计算每个聚类的置信值，并记录每个聚类的聚类中心，聚类半径，包含超像素成员以及置信值；
第4步，重复第1步—第3步，直到追踪完所有的CT图像。
5.根据权利要求1所述的方法，其特征在于，步骤D中，采用双线性插值法统一图像大小为28*28，其具体步骤如下：
第1步，计算目标图像像素点在原图像中对应点的坐标；
第2步，根据原图像中该点相邻的四个点的像素值计算得到目标图像的像素值；
经过对所有的CT图像进行尺寸统一，所有的图像构成特定数据集F′。
6.根据权利要求1所述的方法，其特征在于，步骤E中，使用K步散度对比算法对DBN中的每个RBM结构进行训练，并采用误差反向传播对整个网络进行微调，详细步骤如下：
第1步，初始化参数：K＝0，用极小值随机初始化W,a,b，r；
第2步，对于j＝1,2,……m(m为隐含层节点数)，有：
<mrow> <mi>P</mi> <mrow> <mo>(</mo> <msup> <msub> <mi>h</mi> <mi>j</mi> </msub> <mrow> <mo>(</mo> <mn>0</mn> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mn>1</mn> <mo>|</mo> <msup> <mi>v</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msub> <mi>b</mi> <mi>j</mi> </msub> <mo>+</mo> <munder> <mo>&amp;Sigma;</mo> <mi>i</mi> </munder> <msup> <msub> <mi>v</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mn>0</mn> <mo>)</mo> </mrow> </msup> <msub> <mi>w</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>
由概率P通过吉布斯采样出hj (0)∈{0,1}；
第3步，对于i＝1，2，……n(n为可视层节点数)，有：
<mrow> <mi>P</mi> <mrow> <mo>(</mo> <msup> <msub> <mi>v</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mn>1</mn> <mo>|</mo> <msup> <mi>h</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>+</mo> <munder> <mo>&amp;Sigma;</mo> <mi>j</mi> </munder> <msub> <mi>w</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <msup> <msub> <mi>h</mi> <mi>j</mi> </msub> <mrow> <mo>(</mo> <mn>0</mn> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> </mrow>
由概率P通过吉布斯采样出vi (1)∈{0,1}；
第4步，对于j＝1,2,……m(m为隐含层节点数)，有：
<mrow> <mi>P</mi> <mrow> <mo>(</mo> <msup> <msub> <mi>h</mi> <mi>j</mi> </msub> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mn>1</mn> <mo>|</mo> <msup> <mi>v</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;sigma;</mi> <mrow> <mo>(</mo> <msub> <mi>b</mi> <mi>j</mi> </msub> <mo>+</mo> <munder> <mo>&amp;Sigma;</mo> <mi>i</mi> </munder> <msup> <msub> <mi>v</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <msub> <mi>w</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>
由概率P通过吉布斯采样出hj (1)∈{0,1}；
第5步，对参数进行更新：
Δw+＝r(P(hj (0)＝|v(0))(v(0))T-P(hj (1)＝1|v(1))(v(1))T)
Δa+＝r(v(1)-v(2))
Δb+＝r(P(hj (0)＝1|v(0))-P(hj (1)＝1|v(1)))。
7.根据权利要求6所述方法，其特征在于，并采用误差反向传播对整个网络进行微调，具体步骤如下：
第1步，假设输入样本x的期望输出为Y，每层的实际输出为Zk，k表示网络的层数，取值为[1,5]；
第2步，从输出层开始沿网络向下层进行误差反向传播，定义误差为e＝Zk-Y，残差为：Rek＝-e*(Zk*(1-Zk))，Re的下标取值范围为[2,5]；
第3步，将残差通过激活函数的偏微分传回输出层并根据误差对权重W和偏置a进行更新，W与a的下标取值范围为[1,4]。
CN201710474116.2A 2017-06-21 2017-06-21 一种对肺部ct图像感兴趣区域的追踪方法 Active CN107194929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710474116.2A CN107194929B (zh) 2017-06-21 2017-06-21 一种对肺部ct图像感兴趣区域的追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710474116.2A CN107194929B (zh) 2017-06-21 2017-06-21 一种对肺部ct图像感兴趣区域的追踪方法

Publications (2)

Publication Number Publication Date
CN107194929A true CN107194929A (zh) 2017-09-22
CN107194929B CN107194929B (zh) 2020-09-15

Family

ID=59879315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710474116.2A Active CN107194929B (zh) 2017-06-21 2017-06-21 一种对肺部ct图像感兴趣区域的追踪方法

Country Status (1)

Country Link
CN (1) CN107194929B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681994A (zh) * 2018-05-11 2018-10-19 京东方科技集团股份有限公司 一种图像处理方法、装置、电子设备及可读存储介质
CN109409014A (zh) * 2018-12-10 2019-03-01 福州大学 基于bp神经网络模型的年可照时数的计算方法
CN110070531A (zh) * 2019-04-19 2019-07-30 京东方科技集团股份有限公司 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置
CN110070546A (zh) * 2019-04-18 2019-07-30 山东师范大学 一种基于深度学习的多目标危及器官的自动分割方法、装置及系统
CN110581802A (zh) * 2019-08-27 2019-12-17 北京邮电大学 基于深度信念网络的全自主智能路由方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130259345A1 (en) * 2012-03-30 2013-10-03 University Of Louisville Research Foundation, Inc. Computer aided diagnostic system incorporating shape analysis for diagnosing malignant lung nodules
CN103745227A (zh) * 2013-12-31 2014-04-23 沈阳航空航天大学 一种基于多维信息的肺结节良恶性鉴别方法
CN104700118A (zh) * 2015-03-18 2015-06-10 中国科学院自动化研究所 基于卷积神经网络的肺结节良恶性预测方法
CN106056595A (zh) * 2015-11-30 2016-10-26 浙江德尚韵兴图像科技有限公司 基于深度卷积神经网络自动识别甲状腺结节良恶性的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130259345A1 (en) * 2012-03-30 2013-10-03 University Of Louisville Research Foundation, Inc. Computer aided diagnostic system incorporating shape analysis for diagnosing malignant lung nodules
CN103745227A (zh) * 2013-12-31 2014-04-23 沈阳航空航天大学 一种基于多维信息的肺结节良恶性鉴别方法
CN104700118A (zh) * 2015-03-18 2015-06-10 中国科学院自动化研究所 基于卷积神经网络的肺结节良恶性预测方法
CN106056595A (zh) * 2015-11-30 2016-10-26 浙江德尚韵兴图像科技有限公司 基于深度卷积神经网络自动识别甲状腺结节良恶性的方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
EL-BAZ A 等: "3D shape analysis for early diagnosis of malignant lung nodules", 《MED IMAGE COMPUT COMPUT ASSIST INTERV. 2011》 *
XIAOLEI LIAO 等: "A Segmentation Method for Lung Parenchyma Image Sequences Based on Superpixels and a Self-Generating Neural Forest", 《PLOS ONE》 *
强彦 等: "基于PET/CT的孤立性肺结节的自动分割方法", 《清华大学学报（自然科学版）》 *
强彦 等: "模糊支持向量机在肺结节良恶性分类中的应用", 《清华大学学报（自然科学版）》 *
纪国华 等: "基于改进自生成神经网络的孤立性肺结节分类", 《太原理工大学学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681994A (zh) * 2018-05-11 2018-10-19 京东方科技集团股份有限公司 一种图像处理方法、装置、电子设备及可读存储介质
CN109409014A (zh) * 2018-12-10 2019-03-01 福州大学 基于bp神经网络模型的年可照时数的计算方法
CN109409014B (zh) * 2018-12-10 2021-05-04 福州大学 基于bp神经网络模型的年可照时数的计算方法
CN110070546A (zh) * 2019-04-18 2019-07-30 山东师范大学 一种基于深度学习的多目标危及器官的自动分割方法、装置及系统
CN110070546B (zh) * 2019-04-18 2021-08-27 山东师范大学 一种基于深度学习的多目标危及器官的自动分割方法、装置及系统
CN110070531A (zh) * 2019-04-19 2019-07-30 京东方科技集团股份有限公司 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置
CN110581802A (zh) * 2019-08-27 2019-12-17 北京邮电大学 基于深度信念网络的全自主智能路由方法及装置

Also Published As

Publication number Publication date
CN107194929B (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN107194929A (zh) 一种基于深度信念网络的肺结节良恶性分类方法
CN111476181B (zh) 一种人体骨架动作的识别方法
CN108229444B (zh) 一种基于整体和局部深度特征融合的行人再识别方法
CN111612807B (zh) 一种基于尺度和边缘信息的小目标图像分割方法
CN107481188A (zh) 一种图像超分辨率重构方法
CN104537676B (zh) 一种基于在线学习的渐进式图像分割方法
CN109829893A (zh) 一种基于注意力机制的缺陷目标检测方法
CN107679491A (zh) 一种融合多模态数据的3d卷积神经网络手语识别方法
CN110728324B (zh) 基于深度复值全卷积神经网络的极化sar图像分类方法
CN108109160A (zh) 一种基于深度学习的免交互式GrabCut舌体分割方法
CN110472483A (zh) 一种面向sar图像的小样本语义特征增强的方法及装置
CN106981080A (zh) 基于红外图像和雷达数据的夜间无人车场景深度估计方法
CN107704877A (zh) 一种基于深度学习的图像隐私感知方法
CN106611420B (zh) 基于反卷积网络和素描图方向约束的sar图像分割方法
CN107480730A (zh) 电力设备识别模型构建方法和系统、电力设备的识别方法
CN107563422A (zh) 一种基于半监督卷积神经网络的极化sar分类方法
CN106920243A (zh) 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
CN106446930A (zh) 基于深层卷积神经网络的机器人工作场景识别方法
CN108846426A (zh) 基于深度双向lstm孪生网络的极化sar分类方法
CN106611423B (zh) 基于脊波滤波器和反卷积结构模型的sar图像分割方法
CN106611421A (zh) 基于特征学习和素描线段约束的sar图像分割方法
CN105205453A (zh) 基于深度自编码器的人眼检测和定位方法
CN104318245A (zh) 基于稀疏深度网络的极化sar图像分类
CN107657634B (zh) 基于深度学习和支持向量机的页岩数字岩心三维重构方法
CN110097575A (zh) 一种基于局部特征及尺度池的目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant