CN107184224B - 一种基于双模态极限学习机的肺结节诊断方法 - Google Patents

一种基于双模态极限学习机的肺结节诊断方法 Download PDF

Info

Publication number
CN107184224B
CN107184224B CN201710351340.2A CN201710351340A CN107184224B CN 107184224 B CN107184224 B CN 107184224B CN 201710351340 A CN201710351340 A CN 201710351340A CN 107184224 B CN107184224 B CN 107184224B
Authority
CN
China
Prior art keywords
self
pet
image
coding
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710351340.2A
Other languages
English (en)
Other versions
CN107184224A (zh
Inventor
强彦
葛磊
赵涓涓
马瑞青
王�华
强梓林
唐笑先
杜晓平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN201710351340.2A priority Critical patent/CN107184224B/zh
Publication of CN107184224A publication Critical patent/CN107184224A/zh
Application granted granted Critical
Publication of CN107184224B publication Critical patent/CN107184224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/037Emission tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于双模态极限学习机的肺结节诊断方法。首先,利用有监督深度自编码网络分别对肺结节PET‑CT图像进行自主特征学习,然后将提取的CT特征和PET特征进行特征层融合,最后采用分类器对融合特征进行分类。本发明简单、易于实现,且识别准确率高,能对肺结节PET‑CT图像分别采用基于深度学习技术和特征融合方法,完全自动、准确地识别出PET‑CT图像中肺结节的良恶性。

Description

一种基于双模态极限学习机的肺结节诊断方法
技术领域
本发明涉及肺结节诊断,具体涉及一种基于双模态极限学习机的肺结节诊断方法。
背景技术
在已有的肺结节辅助诊断系统中,主要还是依靠单一模态的图像特征(比如CT、MRI)进行结节的良恶性分类,依靠单一特征会带来误诊的风险。
已有的自编码网络中,初始权重都是随机生成并且采用的都是无监督的学习,由此得到的图像特征区分性不强,不利于分类。
为了解决上述问题,本发明中使用PET-CT图像,结合两种模态图像特征进行肺结节的诊断,并且,在自编码网络中采用限制差分和有监督编码方式进行自编码算法优化。
发明内容
本发明所要解决的技术问题是针对现有技术的不足提供一种基于双模态极限学习机的肺结节诊断方法。
本发明的技术方案如下:
一种双模态极限学习机的肺结节诊断方法,包括训练阶段和测试阶段:
训练阶段:
(A1)标注肺结节的PET-CT图像,根据肺结节良恶性标记PET-CT图像,在待训练的肺结节PET-CT图像中专门开辟出一行或者一列,用来存储图像的标签信息,将标签信息作为像素值插入到图像中;
(A2)分别对PET-CT图像进行深层自编码,不同模态图像的自编码流程相同,输入图像不同,深度自编码后的输出就是高层图像特征;
第一层自编码网络编码流程:
(A21)、从训练样本中挑选出相同数量的良性和恶性的样本xc1和xc2,并将两个样本作差,xc2-xc1
(A22)、根据归一化样本间差异
Figure BDA0001297881560000021
并计算相应的偏置
Figure BDA0001297881560000022
(A23)、将ω和b作为第一层自编码网络的输入权值和偏置向量;
(A24)、对输入训练样本X,激活函数为sigmoid函数
Figure BDA0001297881560000023
则隐含层的输出
Figure BDA0001297881560000024
(A25)、利用标准极限学习机算法计算输出权重
Figure BDA0001297881560000025
其中I是单位矩阵,λ是正则化系数,Xc为带有类别标签的样本;
(A26)、输出权重β0包含输入数据的分布信息,因此将β0的转置β0 T作为深层极限学习机自编码的输入权重,取代随机生成的权重;则第一层自编码网络隐含层的输出
Figure BDA0001297881560000026
为:
Figure BDA0001297881560000027
第二层自编码网络编码流程:
(A27)、将第一层自编码网络的隐含层输出
Figure BDA0001297881560000028
作为第二层自编码网络的输入和期望输出,第一层自编码网络的ω和b作为第二层自编码网络的输入权重和偏置,重复步骤(A24)到步骤(A26),得第二层自编码网络的隐含层输出
Figure BDA0001297881560000029
输出权值
Figure BDA0001297881560000031
(A28)、第二层自编码网络的隐含层输出
Figure BDA0001297881560000032
(A29)、对于第N层自编码网络的隐含层
Figure BDA0001297881560000033
输出权值
Figure BDA0001297881560000034
则深层自编码网络的第N(N>1)个隐含层输出
Figure BDA0001297881560000035
其中
Figure BDA0001297881560000036
为前一个隐含层输出;对于CT图像,采用7层网络进行特征提取得到特征
Figure BDA0001297881560000037
对于PET图像,采用5层网络进行特征提取得到特征
Figure BDA0001297881560000038
最后将两个特征作为待融合的特征;
(A3)特征融合
经过深层自编码之后分别获得肺结节PET-CT图像的高层特征F(PET)、F(CT),为了使得不同模态的图像对分类性能都具有贡献,采用特征融合策略,将CT和PET特征进行融合,将两种特征进行线性组合:
F(Fusion)=αF(CT)+(1-α)F(PET)
其中,系数α控制两种特征的贡献度;
(A4)特征分类
最后利用融合特征对肺结节良恶性进行分类,采用极限学习机作为分类算法,具体过程如下:
(A41)随机初始化输入权重k和偏置c,
(A42)由训练阶段的融合特征向量Ftrain(Fusion)以及确定的激活函数
Figure BDA0001297881560000039
计算隐含层神经元的输出
Figure BDA0001297881560000041
(A43)根据训练数据的良恶性生成诊断标签G=[1,1,-1,...,-1,1],其中1表示良性结节,-1表示恶性结节;最后利用隐含层输出H计算网络输出权重
Figure BDA0001297881560000042
其中I是单位矩阵,λ是正则化系数,本专利λ取10e8;
测试阶段:
(B1)读取肺结节的PET-CT图像测试样本;
(B2)利用训练阶段N层自编码得到的权值βi i=0,1,...,N-1计算N层深度自编码的隐含层输出;第一个隐含层的输出
Figure BDA0001297881560000043
为:
Figure BDA0001297881560000044
其中,X为输入的测试样本;深层自编码网络的第N(N>1)个隐含层输出
Figure BDA0001297881560000045
其中
Figure BDA0001297881560000046
为前一个隐含层输出,对于CT图像,采用7层网络进行特征提取得到特征
Figure BDA0001297881560000047
对于PET图像,采用5层网络进行特征提取得到特征
Figure BDA0001297881560000048
最后将两个特征作为待融合的特征;
(B3)特征融合
经过深层自编码之后分别获得肺结节PET-CT图像的高层特征F(PET)、F(CT),为了使得不同模态的图像对分类性能都具有贡献,采用特征融合策略,将CT和PET特征进行融合,将两种特征进行简单的线性组合:
F(Fusion)=αF(CT)+(1-α)F(PET)
其中,系数α控制两种特征的贡献度;
(B4)特征分类
最后利用融合特征对肺结节良恶性进行分类,采用极限学习机作为分类算法,具体过程如下:
(B41)输入测试样本的融合特征Ftest(Fusion);
(B42)利用训练时的输入权重k、偏置c和激活函数
Figure BDA0001297881560000051
计算隐含层输出
Figure BDA0001297881560000052
(B43)由训练阶段得到的输出权重β计算测试样本的类别G=Hβ,向量G的值介于-1到1之间,本发明中判定小于0的值对应的肺结节属于恶性,大于等于0的值对应的肺结节属于良性。
所述的方法,所述步骤(1)中,将原图的第一行用来存放训练数据的标签;具体操作如下:如果肺结节为恶性,该肺结节的PET-CT图像的第一行像素的像素值设置为0,如果肺结节为良性,该肺结节的PET-CT图像的第一行像素的像素值设置为255;然后读取标注后的肺结节PET-CT图像训练样本。
所述的方法,所述步骤(25)中,λ取10e8。
所述的方法,所述特征融合步骤中α取0.5。
与现有技术相比,本发明的有益效果为:
1、本发明克服现有技术中的缺陷,方法简单、易于实现,且整个网络的训练速度是基于BP网络自编码的10倍。
2、通过使用本发明的技术,能准确高效地区分肺结节的良恶性,为医师的诊断提供很好的参考。
3、本专利采用的是有监督的自编码方式,与已有的无监督自编码方式不同的是,有监督自编码将样本的标签信息加入到训练样本中,具体过程为在待训练的肺结节PET-CT图像中专门开辟出一行(或者一列),用来存储图像的标签信息,将标签信息作为像素值插入到图像中,比如将原图的第一行用来存放训练数据的标签,如果训练图像是良性肺结节,则图像第一行的像素值设置为255,如果训练图像是恶性肺结节,则图像第一行的像素值设置为0(图像中灰度的取值范围为0~255)。在自编码网络中,使用带有标签信息的图像作为期望输出来训练每个编码模块。
附图说明
图1是本发明肺结节诊断方法流程图。
图2是本发明深度自编码总体实现框图;(a)第一层自编码示意图,(b)第i层自编码示意图,(c)深层自编码示意图。
图3是本发明中有监督自编码过程中输入样本标记图;(a1)恶性结节图像,(a2)标记后的恶性结节,(b1)良性结节,(b2)标记后的良性结节
图4是本发明中特征融合方法示意图。
图5是本发明中的方法与已有方法的受试者工作特性曲线。
具体实施方式
以下结合具体实施例,对本发明进行详细说明。
深度极限学习机自编码是由N层网络所构成,其中包括一个输入层和N-1个隐含层,输入层神经元的个数取决于输入图像的大小,本发明中使用线性插值方法将数据集中的PET-CT图像统一大小为30×30,因此输入层神经元个数为900。隐含层神经元个数可以随机给定,本发明中隐含层设定1800个神经元,采用Sigmoid函数作为隐含层的激活函数。对于不同模态的图像,整个深度网络层数也不同,CT图像对应的深度网络层数为7层,PET图像对应的深度网络层数为5层。
本发明双模态极限学习机的肺结节诊断方法过程主要分为训练阶段和测试阶段。
训练阶段:
参照图1,本发明方法训练阶段实现流程如下:
(1)参照图3,标注肺结节的PET-CT图像,根据肺结节良恶性标记PET-CT图像,在待训练的肺结节PET-CT图像中专门开辟出一行(或者一列),用来存储图像的标签信息,将标签信息作为像素值插入到图像中,比如将原图的第一行(列)用来存放训练数据的标签;具体操作如下:如果肺结节为恶性,该肺结节的PET-CT图像的第一行像素的像素值设置为0,如果肺结节为良性,该肺结节的PET-CT图像的第一行像素的像素值设置为255;然后读取标注后的肺结节PET-CT图像训练样本。
(2)参照图2,分别对PET-CT图像进行深层自编码,不同模态图像的自编码流程相同,输入图像不同,深度自编码后的输出就是高层图像特征。
第一层自编码网络编码流程:
A、从训练样本中挑选出相同数量的良性和恶性的样本xc1和xc2,并将两个样本作差,xc2-xc1
B、根据归一化样本间差异
Figure BDA0001297881560000071
并计算相应的偏置
Figure BDA0001297881560000072
C、将ω和b作为第一层自编码网络的输入权值和偏置向量;
D、对输入训练样本X,激活函数为sigmoid函数
Figure BDA0001297881560000073
则隐含层的输出
Figure BDA0001297881560000074
E、利用标准极限学习机算法计算输出权重
Figure BDA0001297881560000075
其中I是单位矩阵,λ是正则化系数,本专利λ取10e8。参考图3所示,Xc为带有类别标签的样本。
F、输出权重β0包含输入数据的分布信息,因此将β0的转置β0 T作为深层极限学习机自编码的输入权重,取代随机生成的权重。则第一层自编码网络隐含层的输出
Figure BDA0001297881560000076
为:
Figure BDA0001297881560000077
第二层自编码网络编码流程:
G、将第一层自编码网络的隐含层输出
Figure BDA0001297881560000078
作为第二层自编码网络的输入和期望输出,第一层自编码网络的ω和b作为第二层自编码网络的输入权重和偏置,重复步骤D到步骤F,得第二层自编码网络的隐含层输出
Figure BDA0001297881560000081
输出权值
Figure BDA0001297881560000082
H、第二层自编码网络的隐含层输出
Figure BDA0001297881560000083
I、对于第N层自编码网络的隐含层
Figure BDA0001297881560000084
输出权值
Figure BDA0001297881560000085
则深层自编码网络的第N(N>1)个隐含层输出
Figure BDA0001297881560000086
其中
Figure BDA0001297881560000087
为前一个隐含层输出。对于CT图像,本专利采用7层网络进行特征提取得到特征
Figure BDA0001297881560000088
PET图像,本专利采用5层网络进行特征提取得到特征
Figure BDA0001297881560000089
最后将两个特征作为待融合的特征。
(3)特征融合
参照图4,经过深层自编码之后分别获得肺结节PET-CT图像的高层特征F(PET)、F(CT),为了使得不同模态的图像对分类性能都具有贡献,采用特征融合策略,将CT和PET特征进行融合,本发明将两种特征进行线性组合:
F(Fusion)=αF(CT)+(1-α)F(PET)
其中,系数α控制两种特征的贡献度,本专利α取0.5。
(4)特征分类
最后利用融合特征对肺结节良恶性进行分类,采用极限学习机作为分类算法,具体过程如下:
A随机初始化输入权重k和偏置c,
B由训练阶段的融合特征向量Ftrain(Fusion)以及确定的激活函数
Figure BDA0001297881560000091
计算隐含层神经元的输出
Figure BDA0001297881560000092
C根据训练数据的良恶性生成诊断标签G=[1,1,-1,...,-1,1],其中1表示良性结节,-1表示恶性结节。最后利用隐含层输出H计算网络输出权重
Figure BDA0001297881560000093
其中I是单位矩阵,λ是正则化系数,本专利λ取10e8。
测试阶段:
(1)读取肺结节的PET-CT图像测试样本;
(2)利用训练阶段N层自编码得到的权值βi i=0,1,...,N-1计算N层深度自编码的隐含层输出。第一个隐含层的输出
Figure BDA0001297881560000094
为:
Figure BDA0001297881560000095
其中,X为输入的测试样本。深层自编码网络的第N(N>1)个隐含层输出
Figure BDA0001297881560000096
其中
Figure BDA0001297881560000097
为前一个隐含层输出,对于CT图像,本专利采用7层网络进行特征提取得到特征
Figure BDA0001297881560000098
对于PET图像,本专利采用5层网络进行特征提取得到特征
Figure BDA0001297881560000099
最后将两个特征作为待融合的特征。
(3)特征融合
经过深层自编码之后分别获得肺结节PET-CT图像的高层特征F(PET)、F(CT),为了使得不同模态的图像对分类性能都具有贡献,采用特征融合策略,将CT和PET特征进行融合,本发明将两种特征进行简单的线性组合:
F(Fusion)=αF(CT)+(1-α)F(PET)
其中,系数α控制两种特征的贡献度,本专利α取0.5。
(4)特征分类
本专利最后利用融合特征对肺结节良恶性进行分类,采用极限学习机作为分类算法,具体过程如下:
A输入测试样本的融合特征Ftest(Fusion);
B利用训练时的输入权重k、偏置c和激活函数
Figure BDA0001297881560000101
计算隐含层输出
Figure BDA0001297881560000102
C由训练阶段得到的输出权重β计算测试样本的类别G=Hβ,向量G的值都是介于-1到1之间,本发明中判定小于0的值对应的肺结节属于恶性,大于等于0的值对应的肺结节属于良性。
实验效果:
实验中将目前已有的深度学习框架的方法与本发明的方法进行比较,目前已有的方法包括稀疏自编码、深度信念网和卷积神经网络三种,这三种方法都是以肺结节CT图像作为输入,所有的方法实验环境是Matlab 2012b,PC处理器为Intel Core i7-3770,主频3.40GHz,内存8GB。由表1可以看出,本发明的双模态深度自编码方法的分类准确率、敏感性和特异性都高于已有的诊断框架,并且参照图5可以看出这四种方法的受试工作者特性曲线,本发明的方法具有较好的诊断性能。
表1不同深度框架分类性能的比较
Figure BDA0001297881560000103
该方法应用基于双模态图像的深度学习技术,通过深度有监督自编码网络抓取肺结节PET-CT图像的高层特征,然后将两个特征进行线性融合,最后采用极限学习机对融合后的特征进行分类。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种双模态极限学习机的肺结节诊断方法,其特征在于,包括训练阶段和测试阶段:
训练阶段:
(A1)标注肺结节的PET-CT图像,根据肺结节良恶性标记PET-CT图像,在待训练的肺结节PET-CT图像中专门开辟出一行或者一列,用来存储图像的标签信息,将标签信息作为像素值插入到图像中;
(A2)分别对PET-CT图像进行深层自编码,不同模态图像的自编码流程相同,输入图像不同,深度自编码后的输出就是高层图像特征;
第一层自编码网络编码流程:
(A21)、从训练样本中挑选出相同数量的良性和恶性的样本xc1和xc2,并将两个样本作差,xc2-xc1
(A22)、根据归一化样本间差异
Figure FDA0002258753170000011
并计算相应的偏置
Figure FDA0002258753170000012
(A23)、将ω和b作为第一层自编码网络的输入权值和偏置向量;
(A24)、对输入训练样本X,激活函数为sigmoid函数
Figure FDA0002258753170000013
则隐含层的输出
Figure FDA0002258753170000014
(A25)、利用标准极限学习机算法计算输出权重
Figure FDA0002258753170000015
其中I是单位矩阵,λ是正则化系数,Xc为带有类别标签的样本;
(A26)、输出权重β0包含输入数据的分布信息,因此将β0的转置β0 T作为深层极限学习机自编码的输入权重,取代随机生成的权重;则第一层自编码网络隐含层的输出
Figure FDA0002258753170000021
为:
Figure FDA0002258753170000022
第二层自编码网络编码流程:
(A27)、将第一层自编码网络的隐含层输出
Figure FDA0002258753170000023
作为第二层自编码网络的输入和期望输出,第一层自编码网络的ω和b作为第二层自编码网络的输入权重和偏置,重复步骤(A24)到步骤(A26),得第二层自编码网络的隐含层输出
Figure FDA0002258753170000024
输出权值
Figure FDA0002258753170000025
(A28)、第二层自编码网络的隐含层输出
Figure FDA0002258753170000026
(A29)、对于第N层自编码网络的隐含层
Figure FDA0002258753170000027
输出权值
Figure FDA0002258753170000028
则深层自编码网络的第N(N>1)个隐含层输出
Figure FDA0002258753170000029
其中
Figure FDA00022587531700000210
为前一个隐含层输出;对于CT图像,采用7层网络进行特征提取得到特征
Figure FDA00022587531700000211
对于PET图像,采用5层网络进行特征提取得到特征
Figure FDA00022587531700000212
最后将两个特征作为待融合的特征;
(A3)特征融合
经过深层自编码之后分别获得肺结节PET-CT图像的高层特征F(PET)、F(CT),为了使得不同模态的图像对分类性能都具有贡献,采用特征融合策略,将CT和PET特征进行融合,将两种特征进行线性组合:
F(Fusion)=αF(CT)+(1-α)F(PET)
其中,系数α控制两种特征的贡献度;
(A4)特征分类
最后利用融合特征对肺结节良恶性进行分类,采用极限学习机作为分类算法,具体过程如下:
(A41)随机初始化输入权重k和偏置c,
(A42)由训练阶段的融合特征向量Ftrain(Fusion)以及确定的激活函数
Figure FDA0002258753170000031
计算隐含层神经元的输出
Figure FDA0002258753170000032
(A43)根据训练数据的良恶性生成诊断标签G=[1,1,-1,...,-1,1],其中1表示良性结节,-1表示恶性结节;最后利用隐含层输出H计算网络输出权重
Figure FDA0002258753170000033
其中I是单位矩阵,λ是正则化系数,λ取10e8;
测试阶段:
(B1)读取肺结节的PET-CT图像测试样本;
(B2)利用训练阶段N层自编码得到的权值βii=0,1,...,N-1计算N层深度自编码的隐含层输出;第一个隐含层的输出
Figure FDA0002258753170000034
为:
Figure FDA0002258753170000035
其中,X为输入的测试样本;深层自编码网络的第N(N>1)个隐含层输出
Figure FDA0002258753170000036
其中
Figure FDA0002258753170000037
为前一个隐含层输出,对于CT图像,采用7层网络进行特征提取得到特征
Figure FDA0002258753170000038
对于PET图像,采用5层网络进行特征提取得到特征
Figure FDA0002258753170000039
最后将两个特征作为待融合的特征;
(B3)特征融合
经过深层自编码之后分别获得肺结节PET-CT图像的高层特征F(PET)、F(CT),为了使得不同模态的图像对分类性能都具有贡献,采用特征融合策略,将CT和PET特征进行融合,将两种特征进行简单的线性组合:
F(Fusion)=αF(CT)+(1-α)F(PET)
其中,系数α控制两种特征的贡献度;
(B4)特征分类
最后利用融合特征对肺结节良恶性进行分类,采用极限学习机作为分类算法,具体过程如下:
(B41)输入测试样本的融合特征Ftest(Fusion);
(B42)利用训练时的输入权重k、偏置c和激活函数
Figure FDA0002258753170000041
计算隐含层输出
Figure FDA0002258753170000042
(B43)由训练阶段得到的输出权重β计算测试样本的类别G=Hβ,向量G的值介于-1到1之间,判定小于0的值对应的肺结节属于恶性,大于等于0的值对应的肺结节属于良性。
2.根据权利要求1所述的方法,其特征在于,所述步骤(1)中,将原图的第一行用来存放训练数据的标签;具体操作如下:如果肺结节为恶性,该肺结节的PET-CT图像的第一行像素的像素值设置为0,如果肺结节为良性,该肺结节的PET-CT图像的第一行像素的像素值设置为255;然后读取标注后的肺结节PET-CT图像训练样本。
3.根据权利要求1所述的方法,其特征在于,所述步骤(A25)中,λ取10e8。
4.根据权利要求1所述的方法,其特征在于,所述特征融合步骤中α取0.5。
CN201710351340.2A 2017-05-18 2017-05-18 一种基于双模态极限学习机的肺结节诊断方法 Active CN107184224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710351340.2A CN107184224B (zh) 2017-05-18 2017-05-18 一种基于双模态极限学习机的肺结节诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710351340.2A CN107184224B (zh) 2017-05-18 2017-05-18 一种基于双模态极限学习机的肺结节诊断方法

Publications (2)

Publication Number Publication Date
CN107184224A CN107184224A (zh) 2017-09-22
CN107184224B true CN107184224B (zh) 2020-04-21

Family

ID=59874149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710351340.2A Active CN107184224B (zh) 2017-05-18 2017-05-18 一种基于双模态极限学习机的肺结节诊断方法

Country Status (1)

Country Link
CN (1) CN107184224B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815965B (zh) * 2019-02-13 2021-07-06 腾讯科技(深圳)有限公司 一种图像过滤方法、装置及存储介质
CN110516688A (zh) * 2019-08-30 2019-11-29 北京推想科技有限公司 肺结节属性特征信息的提取方法及系统
CN113160124B (zh) * 2021-02-25 2022-12-16 广东工业大学 一种食管癌影像在能谱ct与普通ct的特征空间重构的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824295A (zh) * 2014-03-03 2014-05-28 天津医科大学 一种肺部ct图像中粘连血管型肺结节的分割方法
CN104619257A (zh) * 2012-09-13 2015-05-13 加利福尼亚大学董事会 用于医学图像中的肺结节的自动化检测的系统和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9639933B2 (en) * 2013-02-14 2017-05-02 The Research Foundation For The State University Of New York Method for adaptive computer-aided detection of pulmonary nodules in thoracic computed tomography images using hierarchical vector quantization and apparatus for same
JP6598149B2 (ja) * 2015-07-10 2019-10-30 国立大学法人 大分大学 胸部x線画像における肺結節明瞭化法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104619257A (zh) * 2012-09-13 2015-05-13 加利福尼亚大学董事会 用于医学图像中的肺结节的自动化检测的系统和方法
CN103824295A (zh) * 2014-03-03 2014-05-28 天津医科大学 一种肺部ct图像中粘连血管型肺结节的分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Pulmonary nodule diagnosis using dual-modal supervised autoencoder based on extreme learning machine;强彦 等;《WILEY-Expert Systems》;WILEY;20170718;1-12 *
基于双模态深度自编码的孤立性肺结节诊断方法;赵鑫 等;《计算机科学》;20170831;第44卷(第8期);312-317 *

Also Published As

Publication number Publication date
CN107184224A (zh) 2017-09-22

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
McNeely-White et al. Inception and ResNet features are (almost) equivalent
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN110084156B (zh) 一种步态特征提取方法及基于步态特征的行人身份识别方法
CN111814584B (zh) 基于多中心度量损失的多视角环境下车辆重识别方法
CN108399406B (zh) 基于深度学习的弱监督显著性物体检测的方法及系统
CN106547880B (zh) 一种融合地理区域知识的多维度地理场景识别方法
CN111401384B (zh) 一种变电设备缺陷图像匹配方法
CN109063724B (zh) 一种增强型生成式对抗网络以及目标样本识别方法
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN109671070B (zh) 一种基于特征加权和特征相关性融合的目标检测方法
CN109886970B (zh) 太赫兹图像中目标物体的检测分割方法及计算机存储介质
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN110969088A (zh) 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
CN109743642B (zh) 基于分层循环神经网络的视频摘要生成方法
CN111027377B (zh) 一种双流神经网络时序动作定位方法
CN110992351A (zh) 基于多输入卷积神经网络的sMRI图像分类方法和装置
CN107184224B (zh) 一种基于双模态极限学习机的肺结节诊断方法
CN112052772A (zh) 一种人脸遮挡检测算法
CN112700461B (zh) 一种肺结节检测和表征类别识别的系统
CN111369522A (zh) 基于生成对抗卷积神经网络的光场显著性目标检测方法
CN111325750A (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN113033432A (zh) 一种基于渐进监督的遥感影像居民区提取方法
Zheng et al. A two-stage CNN for automated tire defect inspection in radiographic image
CN112257600B (zh) 一种人脸识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant