CN108537233A - 一种基于深度堆叠式稀疏自编码器的病理脑图像分类方法 - Google Patents

一种基于深度堆叠式稀疏自编码器的病理脑图像分类方法 Download PDF

Info

Publication number
CN108537233A
CN108537233A CN201810212769.8A CN201810212769A CN108537233A CN 108537233 A CN108537233 A CN 108537233A CN 201810212769 A CN201810212769 A CN 201810212769A CN 108537233 A CN108537233 A CN 108537233A
Authority
CN
China
Prior art keywords
image
pathology
brain image
brain
sorting technique
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810212769.8A
Other languages
English (en)
Inventor
贾文娟
张煜东
王水花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Normal University
Original Assignee
Nanjing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Normal University filed Critical Nanjing Normal University
Priority to CN201810212769.8A priority Critical patent/CN108537233A/zh
Publication of CN108537233A publication Critical patent/CN108537233A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/513Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度堆叠式稀疏自编码器的病理脑图像分类方法,包括如下步骤:1、从哈佛医学院网址上下载不同类型的病理脑磁共振图像,包括正常脑图像和病理脑图像;2、利用数据增强的方法增加图像数量,使得数据分布均衡;3、使用深度稀疏自编码器的方法自动提取输入图像的特征,通过Softmax分类器对图像进行准确分类,得到不同的疾病类型;4、通过批量化共轭梯度法训练整个网络,在微调阶段,使用量化共轭梯度法微调网络。本发明避免了部分特征信息的丢失;相较于传统方法只能实现病脑图像二分类的问题,本发明能够准确获得不同类型疾病的有效分类;显著降低了医生的工作量,更具有实际应用价值。

Description

一种基于深度堆叠式稀疏自编码器的病理脑图像分类方法
技术领域
本发明涉及不同病理脑疾病分类方法,尤其涉及一种基于深度堆叠式稀疏自编码器的病 理脑图像分类方法。
背景技术
由于计算机技术的飞速发展,磁共振成像技术在医疗领域得到了广泛的应用,尤其是病 理脑疾病检测方面,但是如何高精度地获得病脑疾病分类结果仍是我们重点研究的方向。然 而,由于获取磁共振脑图像数据的代价很高,所以在大量的科学研究中所使用的图像数量相 对较少,从而泛化性能较差。
在对传统病脑图像分类方法的研究中,我们发现存在以下问题:首先,传统图像分类问 题中,不能自动提取图像特征,而需要手动提取特征,这将会导致图像信息的部分丢失;其 次,传统病脑图像分类研究中,由于获取各种病脑图像相当困难,所以研究者所使用的图像 数目较少;最后,使用传统病脑图像分类方法进行图像分类时,只能实现二分类,即只能分 为正常脑和异常脑。因此,如何找到一个能实现病理脑图像高精度多分类的方法成为当前亟 待解决的主要问题。
发明内容
发明目的:针对现有技术存在的问题,本发明的目的是提供一种能够将多种不同的病理 脑进行高精度分类的基于深度堆叠式稀疏自编码器的病理脑图像分类系统。
技术方案:一种基于深度堆叠式稀疏自编码器的病理脑图像分类方法,包括如下步骤:
(1)从哈佛医学院网址上下载的不同类型的病理脑磁共振图像,包括正常脑图像和病理 脑图像;
(2)利用数据增强的方法增加图像数量,使得不同类型的病理脑图像数据分布均衡;
(3)使用深度稀疏自编码器的方法自动提取输入图像的特征,然后通过Softmax分类器 对图像进行准确分类,得到不同的疾病类型;
(4)通过批量化共轭梯度法训练整个网络,在微调阶段,使用量化共轭梯度法微调网络。
在步骤(2)中,所述数据增强为采用图像旋转对原始图像进行任意角度的旋转;所述图 像旋转采用双线性插值法。
优选的,在步骤(2)中,所述数据增强还包括图像加噪,所述图像加噪具体为:对旋转 后的图像加入高斯噪声。
此外,所述步骤(2)中还可以包括伽马矫正,在旋转后的图像中利用伽马校正方法检验 图像的暗、亮部分,并增加二者比例。
所述步骤(3)包括如下内容:
(3.1)以无监督的方式分别训练每个隐藏层和softmax层;
(3.2)将各层连在一起形成一个深度网络;
(3.3)以监督的方式训练该深度网络,然后将测试数据输入该深度网络,得到病理脑图 像分类结果。
进一步优选的,在步骤(1)和步骤(2)之间,对图像进行轻量级加密处理。
有益效果
本发明与现有技术相比,具有如下显著进步:1、对于采集的病脑图像数据较少以及不同 类型图像分布不均衡的问题,使用数据增强的方法扩大实验中使用图像的数量,并使得不同 类型的图像分布相对均衡。2、深度自编码器的强大功能使得它不需要进行手动的特征提取和 特征选择的过程,而灰度图像可以直接作为输入数据,从而避免的部分特征信息的丢失。3、 相较于传统方法只能实现病脑图像二分类的问题,本发明能够将病脑图像以较高的精确度, 有效地分为正常脑和其他不同的脑类疾病,更具有实际应用价值。4、降低了医生的工作量, 提高了分类的精确度和效率,帮助病人及早发现病情、及早治疗。
附图说明
图1为本发明进行五种类型的病理脑图像分类的方法流程图;
图2展示了本发明实验示例中搜集的五类脑图像;
图3(a)、3(b)和3(c)分别是本发明实验示例中原始病理脑图像以及加密和解密后的病理脑图像;
图4列出了本发明实验示例中原始图像和经过图像旋转之后的病理脑图像;
图5展示了本发明实验示例中加噪后的图像和伽马校正后的图像;
图6为本发明深度堆叠式稀疏自编码器的结构示意图;
图7为本发明中经过第一个隐含层之后得到的可视化特征权重;
图8(a)、图8(b)为本发明实验示例中训练集和测试集的准确率构成的混淆矩阵。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
由于脑类疾病正在越来越严重地威胁着人类的健康,这也是当今社会、医学界关注的问 题之一,因此,我们搜集了包括正常脑和脑血管疾病、肿瘤性疾病、退行性疾病、炎症性疾 病等五种类型的病理脑图像为样本进行实验。
图1为五种类型的病理脑图像分类的方法流程图,其具体步骤如下:
1、从哈佛医学院网址(http://www.med.harvard.edu/AANLIB/)下载不同类型的磁共振病 理脑图像共197幅,包括20幅正常脑图像和177幅病理脑图像。病理脑图像包括四类脑疾病 图像,其中72幅脑血管疾病脑图像、31幅肿瘤性疾病脑图像、41幅退行性疾病脑图像、33 幅炎症性疾病脑图像。五类脑图像如图2所示,其中,(a)为正常人脑图像,(b)为脑血管 疾病脑图像,(c)为肿瘤性疾病脑图像,(d)为退行性疾病脑图像,(e)为炎症性疾病脑图 像。
步骤1能够有效地获得不同类型的病理脑图像(磁共振图像),包括正常人脑图像和四种 不同疾病的病理脑图像(脑血管疾病、肿瘤性疾病、退行性疾病、炎症性疾病),磁共振图像 可以直接作为输入数据,而不需要对原始图像进行各种复杂的预处理,这减少了时间也降低 了研究者的工作量。
2、针对步骤1采集的病理脑图像数量较少以及分布不均衡问题,使用数据增强的方法, 使所含图像数量较少类别的图像数目得到增加,本实施例中数据增强所使用的具体方法是图 像旋转和图像加噪。
步骤2对于不同类型图像分布不均匀的问题,使用了数据增强(图像旋转)的方法来扩 增图片数量,使得实验所使用的图像数量分布相对均衡。图像旋转的具体操作为:对原始图 像进行任意角度的旋转,从而扩增实验中使用的图像的数量。
医学影像作为信息的载体,具有直观的特点,这也使得医患之间的沟通更加方便快捷。 然而,在使用这些图像的同时,患者的隐私也暴露了出来,并且图像更容易受到恶意攻击。 因此,为了保护病人隐私,在本实施例中对图像使用了轻量级加密的方法来保护图像中的隐 私信息,并使其不被恶意攻击;图3(a)-3(c)展示了原始病理脑图像及加密后和解密后的 病理脑图像,从图3中(a)和(c)可以看出,使用该加密方式对图像数据的质量没有太大 的影响,加密后的数据仍可以用于本实验。
本实施例中,图像旋转使用双线性插值法对病理脑图像进行旋转,双线性插值法考虑了 当前像素点的4个直接临点对它的影响,即对于一个目的像素,通过反向变换得到浮点坐标 (x+u,y+v),其中x、y均为非负整数,u、v为[0,1)区间的浮点数,则这个像素的值可由源图中 坐标为(x,y)、(x+1,y)、(x,y+1)、(x+1,y+1)4个点所对应的像素的值确定,即:f(x+u,y+v)=(1-u)(1-v)*f(x,y)+(1-u)v*f(x,y+1)+u(1-v)*f(x+1,y)+uv*f(x+1,y+1)。其中,f(x,y)代表源 图像(x,y)处的像素值,以此类推。
虽然双线性插值法的计算量大,但是旋转后的图像质量高,不会出现像素值不连续的情 况。经过图像旋转后的病理脑图像如图4所示。
同时,为了使实验结果具有更强的泛化性能,本发明使用图像加噪的方法对病脑图像加 入高斯噪声,只有在初始图像中加入噪声,才能达到与真实图像相似的效果,并且仿真结果 更具有说服力。此外,还利用伽马校正的方法检测了图像中的暗、亮部分,增加了二者的比 例,从而改善了图像的对比效果,增强了图像的细节。
为了提高图像对比度效果,在实验中伽马值(γ)被我们设置为1.5(由于计算机显示器 的伽马值通常在1.5~2.0之间,所以我们取γ=1.5),因此我们可以对图像进行细微的明暗层次 调整,从而控制整个图像对比度表现,使高灰度区在病理脑图像中更为明显,图5展示了加 噪后的图像和伽马校正后的图像。
3、从所有灰度图像中随机选取总数量的2/3作为训练数据集,并将其作为输入数据,使 用深度堆叠式稀疏自编码器网络对其进行训练。本发明中使用两个隐含层(每一隐含层即一 个稀疏自编码层)和一个softmax层组合构成一个深度堆叠式稀疏自编码器,深度堆叠式稀 疏自编码器的结构如图6所示。
量化共轭梯度法(SCG)是本发明中使用的基本方法,因为它适用于较大规模的网络。 在网络的粗调阶段,我们使用批量化共轭梯度算法(MSCG),即在每次参数更新过程中,只 有m个样本被选为训练数据,这样既保证了算法的高精度,又加快了算法的训练过程。在训 练完隐层之后,使用SCG算法训练softmax层。在微调阶段,再次使用SCG算法训练整个网络,从而提高本发明的性能。
一个自编码器由编码器和解码器两部分组成,对于输入x,通过编码函数
h=f(x):=sf(Wx+p)
可得到编码h,实现数据压缩,其中sf为编码器的激活函数,通常取
其中,W表示输入层和隐层之间的权值距离。
在解码阶段使用解码函数:
r=g(h):=sg(WTh+q)
将编码h映射到原始高维空间,从而达到对输入的复现。
本发明针对训练数据集设置整体的损失函数为:
该式表示为加入稀疏性限制后的损失函数,其中β为稀疏性限制,J(W,b)为无约束时网 络的损失函数,即
KL散度表示为:
其中,表示隐含层节点输出平均值,即
在各参数取值时,初始学习率取值不超过1,然后逐渐降低其值,对于稀疏惩罚项,在 设置初始值之后,逐渐增加其值,除此以外的所有参数值都是通过多次测试得到。实验结果 表明,不同的参数值可以达到不同的性能。经过多次实验,选择了在所有实验中性能最佳的 参数值,所有参数取值如表1所示。
表1
训练该深度网络的总体步骤设计如下:首先,我们以无监督的方式分别训练每个隐藏层 和softmax层,然后,将不同层连接起来形成一个深度网络,最后我们以有监督的方式训练 整个网络,从而得到不同类别病理脑图像的分类结果。具体过程如下:首先,将训练数据输 入第一个隐含层(即第一个稀疏自编码层),通过训练得到100个可视化特征权重,如图7所 示;然后,将第一隐层的输出作为第二个隐含层的输入,对其进行训练并得到50个可视化特 征权重;接下来,使用有标记的训练样本对整个网络进行微调;最后将输出结果输入到softmax 层,从而实现病理脑的五分类。
在训练完该深度网络之后,我们将除了训练数据之外的剩余1/3作为测试数据,并将其 输入训练好的网络,最终,我们得到的训练准确度和测试准确度的混淆矩阵如图8所示,其 中图8(a)是训练数据集,图8(b)是测试数据集。除了实验的精确度以外,实验的时间复 杂度也是衡量一个算法有效性的重要度量,如表2所示,本发明中284幅图像的训练时间为 70.891秒,单个训练图像的训练时间为0.249秒,表3表明,142幅测试图像的测试总时间为 10.081秒,单个测试图像的测试时间为0.070秒。表2是本发明实验示例处理训练集中所有 图像和单个图像所耗费的时间;表3为本发明实验示例处理测试集中所有图像和单个图像所 耗费的时间。
表2
表3

Claims (7)

1.一种基于深度堆叠式稀疏自编码器的病理脑图像分类方法,其特征在于,包括如下步骤:
(1)从哈佛医学院网址上下载的不同类型的病理脑磁共振图像,包括正常脑图像和病理脑图像;
(2)利用数据增强的方法增加图像数量,使得不同类型的病理脑图像数据分布均衡;
(3)使用深度稀疏自编码器的方法自动提取输入图像的特征,然后通过Softmax分类器对图像进行准确分类,得到不同的疾病类型;
(4)通过批量化共轭梯度法训练整个网络,在微调阶段,使用量化共轭梯度法微调网络。
2.根据权利要求1所述的病理脑图像分类方法,其特征在于:在步骤(2)中,所述数据增强为采用图像旋转对原始图像进行任意角度的旋转。
3.根据权利要求2所述的病理脑图像分类方法,其特征在于:所述图像旋转采用双线性插值法。
4.根据权利要求2或3所述的病理脑图像分类方法,其特征在于:在步骤(2)中,所述数据增强还包括图像加噪,所述图像加噪具体为:对旋转后的图像加入高斯噪声。
5.根据权利要求2或3所述的病理脑图像分类方法,其特征在于:所述步骤(2)中还包括伽马矫正,在旋转后的图像中利用伽马校正方法检验图像的暗、亮部分,并增加二者比例。
6.根据权利要求1所述的病理脑图像分类方法,其特征在于,所述步骤(3)包括如下内容:
(3.1)以无监督的方式分别训练每个隐藏层和softmax层;
(3.2)将各层连在一起形成一个深度网络;
(3.3)以监督的方式训练该深度网络,然后将测试数据输入该深度网络,得到病理脑图像分类结果。
7.根据权利要求1所述的病理脑图像分类方法,其特征在于:在步骤(1)和步骤(2)之间,对图像进行轻量级加密处理。
CN201810212769.8A 2018-03-15 2018-03-15 一种基于深度堆叠式稀疏自编码器的病理脑图像分类方法 Pending CN108537233A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810212769.8A CN108537233A (zh) 2018-03-15 2018-03-15 一种基于深度堆叠式稀疏自编码器的病理脑图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810212769.8A CN108537233A (zh) 2018-03-15 2018-03-15 一种基于深度堆叠式稀疏自编码器的病理脑图像分类方法

Publications (1)

Publication Number Publication Date
CN108537233A true CN108537233A (zh) 2018-09-14

Family

ID=63483540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810212769.8A Pending CN108537233A (zh) 2018-03-15 2018-03-15 一种基于深度堆叠式稀疏自编码器的病理脑图像分类方法

Country Status (1)

Country Link
CN (1) CN108537233A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389171A (zh) * 2018-10-11 2019-02-26 云南大学 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法
CN109816002A (zh) * 2019-01-11 2019-05-28 广东工业大学 基于特征自迁移的单一稀疏自编码器弱小目标检测方法
CN110232158A (zh) * 2019-05-06 2019-09-13 重庆大学 基于多模态数据的突发公共安全事件检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484864A (zh) * 2014-12-31 2015-04-01 苏州科达科技股份有限公司 获取图像伽马曲线、增强图像对比度的方法及系统
CN104574337A (zh) * 2015-01-21 2015-04-29 山东科技大学 基于双边伽马校正和多尺度图像融合的图像增强方法
CN106557729A (zh) * 2015-09-30 2017-04-05 日本电气株式会社 用于处理人脸图像的设备和方法
CN106877237A (zh) * 2017-03-16 2017-06-20 天津大学 一种基于航拍图像的检测输电线路中绝缘子缺失的方法
CN106940889A (zh) * 2017-03-30 2017-07-11 福建师范大学 基于像素邻域特征聚类的淋巴结he染色病理图像分割方法
CN107622485A (zh) * 2017-08-15 2018-01-23 中国科学院深圳先进技术研究院 一种融合深度张量神经网络的医学影像数据分析方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484864A (zh) * 2014-12-31 2015-04-01 苏州科达科技股份有限公司 获取图像伽马曲线、增强图像对比度的方法及系统
CN104574337A (zh) * 2015-01-21 2015-04-29 山东科技大学 基于双边伽马校正和多尺度图像融合的图像增强方法
CN106557729A (zh) * 2015-09-30 2017-04-05 日本电气株式会社 用于处理人脸图像的设备和方法
CN106877237A (zh) * 2017-03-16 2017-06-20 天津大学 一种基于航拍图像的检测输电线路中绝缘子缺失的方法
CN106940889A (zh) * 2017-03-30 2017-07-11 福建师范大学 基于像素邻域特征聚类的淋巴结he染色病理图像分割方法
CN107622485A (zh) * 2017-08-15 2018-01-23 中国科学院深圳先进技术研究院 一种融合深度张量神经网络的医学影像数据分析方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WENJUAN JIA等: ""Three-Category Classification of Magnetic Resonance Hearing Loss Images Based on Deep Autoencoder", 《JOURNAL OF MEDICAL SYSTEMS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389171A (zh) * 2018-10-11 2019-02-26 云南大学 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法
CN109389171B (zh) * 2018-10-11 2021-06-25 云南大学 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法
CN109816002A (zh) * 2019-01-11 2019-05-28 广东工业大学 基于特征自迁移的单一稀疏自编码器弱小目标检测方法
CN109816002B (zh) * 2019-01-11 2022-09-06 广东工业大学 基于特征自迁移的单一稀疏自编码器弱小目标检测方法
CN110232158A (zh) * 2019-05-06 2019-09-13 重庆大学 基于多模态数据的突发公共安全事件检测方法

Similar Documents

Publication Publication Date Title
Zhang et al. Single image defogging based on multi-channel convolutional MSRCR
Qu et al. Magnetic resonance image reconstruction from undersampled measurements using a patch-based nonlocal operator
Parker et al. Nonlinear smoothing for reduction of systematic and random errors in diffusion tensor imaging
Polak et al. Nonlinear dipole inversion (NDI) enables robust quantitative susceptibility mapping (QSM)
CN103843343B (zh) 分层信号质量层级中的继承
Wang et al. Subpixel mapping using Markov random field with multiple spectral constraints from subpixel shifted remote sensing images
CN108537233A (zh) 一种基于深度堆叠式稀疏自编码器的病理脑图像分类方法
CN108492271A (zh) 一种融合多尺度信息的自动图像增强系统及方法
CN104700440B (zh) 磁共振部分k空间图像重建方法
Lai et al. Joint sparse reconstruction of multi-contrast MRI images with graph based redundant wavelet transform
Wang et al. Image representation using block pattern models and its image processing applications
CN114757854B (zh) 基于多光谱分析的夜视图像质量提升方法、装置、设备
Jeong et al. Fingerprintnet: Synthesized fingerprints for generated image detection
CN111598964A (zh) 一种基于空间自适应网络的定量磁化率图像重建方法
Byun et al. BitNet: Learning-based bit-depth expansion
Wang et al. Adaptive decomposition method for multi‐modal medical image fusion
Yu et al. GLAGC: Adaptive dual-gamma function for image illumination perception and correction in the wavelet domain
Singh et al. Multi-exposure microscopic image fusion-based detail enhancement algorithm
Gulamhussene et al. Transfer-learning is a key ingredient to fast deep learning-based 4D liver MRI reconstruction
Li et al. A noise-level-aware framework for PET image denoising
CN108333545A (zh) 基于高通滤波的磁共振图像重建方法
Qiu et al. Fusion of GFP and phase contrast images with complex shearlet transform and Haar wavelet‐based energy rule
Yeganeh et al. Structural fidelity vs. naturalness-objective assessment of tone mapped images
Cao et al. Enhancing the MR neuroimaging by using the deep super-resolution reconstruction
CN106716848A (zh) 用于压缩测序数据的方法、系统和计算机可读媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180914