CN109934804A - 基于卷积神经网络的阿尔茨海默病变区域的检测方法 - Google Patents

基于卷积神经网络的阿尔茨海默病变区域的检测方法 Download PDF

Info

Publication number
CN109934804A
CN109934804A CN201910149445.9A CN201910149445A CN109934804A CN 109934804 A CN109934804 A CN 109934804A CN 201910149445 A CN201910149445 A CN 201910149445A CN 109934804 A CN109934804 A CN 109934804A
Authority
CN
China
Prior art keywords
magnetic resonance
resonance image
lesion region
network model
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910149445.9A
Other languages
English (en)
Inventor
梅宇
黄旗明
程旭辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN201910149445.9A priority Critical patent/CN109934804A/zh
Publication of CN109934804A publication Critical patent/CN109934804A/zh
Withdrawn legal-status Critical Current

Links

Abstract

本发明公开了一种基于卷积神经网络的阿尔茨海默病变区域的检测方法,将病灶检测任务分成提取特征,病灶定位和病灶分类三步。本发明的步骤是训练改进的AlexNet神经网络模型,用于提取原始脑部核磁共振图像的特征,生成特征图;然后训练区域生成网络模型,生成proposal,用于定位出脑部核磁共振图像的病变区域;接着将特征图和proposal送入后续分类网络进行分类训练,用于分类病变区域处于哪个发病阶段。结果表明,本发明对脑部核磁共振图像的阿尔茨海默病变区域有较好的检测效果。

Description

基于卷积神经网络的阿尔茨海默病变区域的检测方法
技术领域
本发明属于医学图像处理技术领域。具体来说,设计一种以检测出脑部核磁共振图像中的阿尔茨海默病变区域为目的的基于卷积神经网络的阿尔茨海默病变区域的检测方法。
背景技术
阿尔茨海默病是典型的老年退行性疾病,俗称老年痴呆症,临床上表现为失忆、丧失语言能力等。目前,中国的阿尔茨海默病患者人数已居世界第一。因此,早期诊断阿尔茨海默病变得十分急迫。核磁共振图像是一种在临床上评估脑部病变特别有效的手段。对脑部病变区域的精确检测不仅对辅助医生的治疗计划十分重要,而且也对接下来的随访评估十分重要。然而,人工检测方法是十分耗时的,而且容易受到主观因素的影响导致错误判断。因此,寻找一种精确地脑部肿瘤分割方法是必需的。然而,由于病变区域的形状、结构和位置都是高度可变的,此外,由于成像仪器和环境等原因,导致核磁共振图像本身质量也存在一些问题,如同一患者在不同仪器上成像的灰度分布不一致等。所以找到一种高精度的阿尔茨海默脑部病变区域检测方法十分困难。
当前,有些专家学者提出了一系列方法用于阿尔茨海默病的诊断。如Gupata等人提出的无监督学习方法预测AD,使用Sparse AutoEncoders(SAE)方法进行特征提取,使用简单网络模型进行训练。还有学者使用卷积神经网络模型对降维后数据进行训练,这些卷积神经网络模型包括卷积层、ReLU层、池化层、全连接层以及Softmax层等。但是这些以上这些方法只能对单张的核磁共振图像进行分类,对于核磁共振图像中的病变区域并不能检测出来,这对于阿尔茨海默病的诊断来说还是有所不足。并且许多学者提出的方法只是单纯地利用现有的传统经典图像识别网络模型来进行阿尔茨海默病的分类,这些网络模型并不是针对医学图像的网络模型,它不能很好地将先验医学知识应用到模型中。
为了能准确检测出阿尔茨海默病的脑部病变区域,可以采用目标检测方法。目标检测是计算机视觉领域中一个非常重要的研究问题。随着电子设备的应用在社会生产和人们生活中越来越普遍,数字图像已经成为不可缺少的信息媒介,每时每刻都在产生海量的图像数据。与此同时,对图像中的目标进行精确识别变得越来越重要。我们不仅关注对图像的简单分类,而且希望能够准确获得图像中存在的感兴趣目标及其位置,并将这些信息应用到视频监控、自主驾驶等一系列现实任务中,因此目标检测技术受到了广泛关注。
目标检测具有巨大的实用价值和应用前景。应用领域包括智能视频监控、机器人导航、数码相机中自动定位和聚焦人脸的技术、飞机航拍或卫星图像中道路的检测、车载摄像机图像中的障碍物检测、医学影像在的病灶检测等。同时,目标检测也是众多高层视觉处理和分析任务的重要前提,例如行为分析、事件检测、场景语义理解、病灶检测等都要求利用图像处理和模式识别技术,检测出图像中存在的目标,确定这些目标对象的语义类型,并且标出目标对象在图像中的具体区域。本发明将目标检测用于脑部核磁共振图像的阿尔茨海默病变区域检测。
发明内容
为了对阿尔茨海默病脑部病变区域进行精确检测,本发明设计了一种阿尔茨海默病脑部病变区域检测方法,将检测任务分为三步,训练三个网络,第一个网络用来对脑部核磁共振图像进行特征提取,获得特征图,第二个网络用来对脑部核磁共振图像的病变区域进行定位,第三个网络用来对定位区域进行分类,判断是正常还是阿尔茨海默病的某个阶段。实验表明,这种检测方法有较好的检测效果。该方法包括:
训练改进的AlexNet神经网络模型,用于提取原始脑部核磁共振图像的特征,生成特征图;
训练区域生成网络模型,生成proposal,用于定位出脑部核磁共振图像的病变区域;
将特征图和proposal送入后续分类网络进行分类训练;
利用训练好的整个网络模型对输入脑部核磁共振图像进行阿尔茨海默病变区域的检测。
其中,根据所述用预处理过的训练样本训练AlxeNet神经网络模型,包括:
选用大脑的冠状位核磁共振图像,这是因为医生在确诊AD时更多是根据冠状位图,本方法力求可以与医生的临床诊断过程一致;
对核磁共振图像截取冠状位图像;
改进AlexNet神经网络模型结构:因为AD患者的海马体已重度萎缩,所以根据疾病特征增加卷积核个数或者改变卷积层可以更好地进行诊断。经过阅读文献发现在原AlexNet神经网络模型的第三层和第四层的特征提取能力最强,所以增加了第三、四层的卷积核个数以及在第四层后新加了一层。改进后的AlexNet神经网络模型结构为六层卷积层,每层卷积后面各有一个ReLU层,其中第一、二、六层的ReLU层后面各有一个池化层。在第一、二层的池化层之后各有一个Norm层,用来消除不同阿尔茨海默病图像之间的灰度差异。在六层之后,有两层全连接层以及一个Softmax层,整个网络共九层结构;
用预处理好的脑部核磁共振图像作为训练集训练改进后的AlexNet神经网络模型。训练完毕后,去掉全连接层和Softmax层,因为测试时该网络模型并不用来分类,只是为了提取原始图像中的特征图。
其中,根据所述用提取出的特征图和病变区域作为训练样本训练区域生成网络模型,包括:
根据专家标注的区域提取原始数据的病变区域;
设计区域生成网络模型结构:将facter-rcnn算法的区域生成网络部分进行修改,由于病变区域尺寸较小,这里去掉那些尺寸较大的anchors,只留下可能符合病变区域大小的anchors,可以显著加快训练速度;
用提取出的特征图和专家标记的病变区域作为训练集训练区域生成网络模型。
其中,根据所述用训练好的网络模型对输入脑部核磁共振图像进行检测,包括:
对输入脑部核磁共振图像图像截取冠状位图像;
用训练好的改进AlexNet神经网络模型对输入脑部核磁共振图像进行特征提取,提取出特征图;
用训练好的区域生成网络模型对特征图进行病变区域定位,生成proposal;
用训练好分类网络对带有proposal的特征图进行处理分类,完成对病变区域的检测。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1基于卷积神经网络的阿尔茨海默病变区域的检测方法流程图;
图2图像预处理示意图;
图3改进的AlexNet神经网络模型结构;
图4区域生成网络模型结构;
图5对anchors的修改;
图6后续分类网络结构;
图7本发明对实施例的检测结果。
具体实施方式
以下将结合附图及实施例来说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。
本申请实施例的基于卷积神经网络的阿尔茨海默病变区域的检测方法,用于脑部核磁共振图像阿尔茨海默病变区域检测。
如图1所示,本申请实施例的基于卷积神经网络的阿尔茨海默病变区域的检测方法,主要包括以下步骤:
步骤1训练改进的AlexNet神经网络模型,用于提取原始脑部核磁共振图像的特征,生成特征图;
步骤2训练区域生成网络模型,生成proposal,用于定位出脑部核磁共振图像的病变区域;
步骤3将特征图和proposal送入后续分类网络进行分类训练;
步骤4利用训练好的整个网络模型对输入脑部核磁共振图像进行阿尔茨海默病变区域的检测。
本申请实施例中,根据所述对脑部核磁共振图像数据集进行预处理。本实施例用到的数据集来自于网上公开的数据库ADNI(http://adni.loni.usc.edu/),数据库中的脑部核磁共振图像分为四个模态,分别是T1、T1c、T2和Flair,本实施例用T2模态的图像进行训练和测试。原始数据集中的图像四周有较大的黑色背景区域,而这些区域中并不包含有用信息,我们将其去掉可以减少图像尺寸,从而提高运算速度。
如图2所示,我们可以确定脑组织的上下左右边界,去掉不送入网络训练的部分,只截取冠状位图像。
本申请实施例中,根据所述训练改进的AlexNet神经网络模型,用于对阿尔茨海默病核磁共振图像的特征提取,提取出阿尔茨海默各个病变阶段的特征图。改进的AlexNet神经网络模型用预处理后的核磁共振图像作为训练样本。训练改进的AlexNet神经网络模型时,与传统的核磁共振图像分类一样,当训练完毕后,将改进的AlexNet神经网络模型接入整个网络时,需要去掉全连接层和Softmax层,因为本方法中该网络模型并不用来分类,只是为了提取原始图像中的特征图。改进的AlexNet神经网络模型结构如图3所示。
本申请实施例中,根据所述训练区域生成网络模型,用于对核磁共振图像阿尔茨海默病变区域进行定位,生成proposal。此网络是用原始脑部核磁共振图像以及医学专家标注信息作为训练样本。定位方法是为每个像素点生成anchors作为检测框,然后进行回归调整检测框位置,对病变区域进行定位。根据医学先验知识我们知道,由于病变区域尺寸较小,所以在生成anchors时进行修改,在每个像素点默认生成的9种大小形状不同的anchors中去掉那些明显超出病变区域大小和不符合病变区域形状的anchors,只留下与恰好可完全覆盖病变区域大小的anchors。区域生成网络模型结构如图4所示。对anchors的修改如图5所示。
本申请实施例中,根据所述后续分类网络,用于对核磁共振图像阿尔茨海默病变区域进行分类。此网络是用改进的AlexNet神经网络模型提取出的特征图和区域生成网络模型生成的proposal作为训练样本。后续分类网络模型结构如图6所示。
本申请实例中,根据所述训练好的网络模型,用于对核磁共振图像的阿尔茨海默病变区域进行检测。先对输入脑部核磁共振图像进行预处理,去除不包含图像信息的无用部分,调整图像大小;然后利用改进的AlexNet神经网络模型对核磁共振图像提取特征,提取出特征图;再利用区域生成网络模型对核磁共振图像的阿尔茨海默病变区域进行定位,生成proposal,最后将特征图和proposal一起送入后续分类网络,对病变区域进行分类。至此,完成对阿尔茨海默病变区域的检测。本发明对实施例的检测结果如图7所示。
本发明相比较传统的阿尔茨海默病的图像分类方法,具有精确定位识别出病变区域的优点,保证诊断的正确性,提高工作效率,对于辅助医生进行诊断具有较大帮助。

Claims (4)

1.一种基于卷积神经网络的阿尔茨海默病变区域的检测方法,该方法是针对脑部核磁共振图像,包括如下步骤:
训练改进的AlexNet神经网络模型,用于提取原始脑部核磁共振图像的特征,生成特征图;
训练区域生成网络模型,生成proposal,用于定位出脑部核磁共振图像的病变区域;
将特征图和proposal送入后续分类网络进行分类训练;
利用训练好的整个网络模型对输入脑部核磁共振图像进行阿尔茨海默病变区域的检测。
2.根据权利要求1所述的方法,其特征在于,用预处理过的训练样本训练AlexNet神经网络模型,包括:
选用大脑的冠状位核磁共振图像,这是因为医生在确诊AD时更多是根据冠状位图,本方法力求可以与医生的临床诊断过程一致;
因为脑部核磁共振图像一般都是三个方位图一同展示的,所以需要对核磁共振图像进行调整,只截取冠状位图像;
改进AlexNet网络结构:因为AD患者的海马体已重度萎缩,所以根据疾病特征增加卷积核个数或者改变卷积层可以更好地进行诊断;经过阅读文献发现在原AlexNet神经网络模型的第三层和第四层的特征提取能力最强,所以增加了第三、四层的卷积核个数以及在第四层后新加了一层;改进后的AlexNet网络结构为六层卷积层,每层卷积后面各有一个ReLU层,其中第一、二、六层的ReLU层后面各有一个池化层;在第一、二层的池化层之后各有一个Norm层,用来消除不同阿尔茨海默病图像之间的灰度差异;在六层之后,有两层全连接层以及一个Softmax层,整个网络共九层结构;
用预处理好的脑部核磁共振图像作为训练集训练改进后的AlexNet神经网络模型;训练完毕后,去掉全连接层和Softmax层,因为测试时该网络模型并不用来分类,只是为了提取原始图像中的特征图。
3.根据权利要求1所述的方法,其特征在于,用提取出的特征图和病变区域作为训练样本训练区域生成网络模型,包括:
根据专家标注的区域提取原始数据的病变区域;
设计区域生成网络结构:将facter-rcnn算法的区域生成网络部分进行修改,由于病变区域尺寸较小,这里去掉那些尺寸较大的anchors,只留下可能符合病变区域大小的anchors,可以显著加快训练速度;
用提取出的特征图和专家标记的病变区域作为训练集训练区域生成网络。
4.根据权利要求1所述的方法,其特征在于,用训练好的网络模型对输入脑部核磁共振图像进行检测,包括:
对输入脑部核磁共振图像截取冠状位图像;
用训练好的改进AlexNet神经网络模型对输入脑部核磁共振图像进行特征提取,提取出特征图;
用训练好的区域生成网络模型对特征图进行病变区域定位,生成proposal;
用训练好的分类网络对带有proposal的特征图进行处理分类,完成对病变区域的检测。
CN201910149445.9A 2019-02-28 2019-02-28 基于卷积神经网络的阿尔茨海默病变区域的检测方法 Withdrawn CN109934804A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910149445.9A CN109934804A (zh) 2019-02-28 2019-02-28 基于卷积神经网络的阿尔茨海默病变区域的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910149445.9A CN109934804A (zh) 2019-02-28 2019-02-28 基于卷积神经网络的阿尔茨海默病变区域的检测方法

Publications (1)

Publication Number Publication Date
CN109934804A true CN109934804A (zh) 2019-06-25

Family

ID=66986085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910149445.9A Withdrawn CN109934804A (zh) 2019-02-28 2019-02-28 基于卷积神经网络的阿尔茨海默病变区域的检测方法

Country Status (1)

Country Link
CN (1) CN109934804A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335261A (zh) * 2019-06-28 2019-10-15 山东科技大学 一种基于时空循环注意力机制的ct淋巴结检测系统
CN110717905A (zh) * 2019-09-30 2020-01-21 上海联影智能医疗科技有限公司 脑部图像检测方法、计算机设备和存储介质
CN110751187A (zh) * 2019-09-26 2020-02-04 上海联影智能医疗科技有限公司 异常区域图像生成网络的训练方法和相关产品
CN111160441A (zh) * 2019-12-24 2020-05-15 上海联影智能医疗科技有限公司 分类方法、计算机设备和存储介质
CN112767374A (zh) * 2021-01-27 2021-05-07 天津理工大学 基于mri的阿尔茨海默症病灶区域语义分割算法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016681A (zh) * 2017-03-29 2017-08-04 浙江师范大学 基于全卷积网络的脑部mri肿瘤分割方法
US20180150704A1 (en) * 2016-11-28 2018-05-31 Kwangwoon University Industry-Academic Collaboration Foundation Method of detecting pedestrian and vehicle based on convolutional neural network by using stereo camera
CN108765387A (zh) * 2018-05-17 2018-11-06 杭州电子科技大学 基于Faster RCNN乳腺DBT影像肿块自动检测方法
CN109165667A (zh) * 2018-07-06 2019-01-08 中国科学院自动化研究所 基于自注意力机制的脑疾病分类系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180150704A1 (en) * 2016-11-28 2018-05-31 Kwangwoon University Industry-Academic Collaboration Foundation Method of detecting pedestrian and vehicle based on convolutional neural network by using stereo camera
CN107016681A (zh) * 2017-03-29 2017-08-04 浙江师范大学 基于全卷积网络的脑部mri肿瘤分割方法
CN108765387A (zh) * 2018-05-17 2018-11-06 杭州电子科技大学 基于Faster RCNN乳腺DBT影像肿块自动检测方法
CN109165667A (zh) * 2018-07-06 2019-01-08 中国科学院自动化研究所 基于自注意力机制的脑疾病分类系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SUSAN EL-NAGGAR等: "Ear Detection in the Wild using Faster R-CNN Deep Learning", 《2018 IEEE/ACM INTERNATIONAL CONFERENCE ON ADVANCES IN SOCIAL NETWORKS ANALYSIS AND MINING (ASONAM)》 *
吕鸿蒙等: "基于增强AlexNet的深度学习的阿尔茨海默病的早期诊断", 《计算机科学》 *
王水花: "基于机器视觉的多尺度脑图像的若干技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335261A (zh) * 2019-06-28 2019-10-15 山东科技大学 一种基于时空循环注意力机制的ct淋巴结检测系统
CN110335261B (zh) * 2019-06-28 2020-04-17 山东科技大学 一种基于时空循环注意力机制的ct淋巴结检测系统
CN110751187A (zh) * 2019-09-26 2020-02-04 上海联影智能医疗科技有限公司 异常区域图像生成网络的训练方法和相关产品
CN110751187B (zh) * 2019-09-26 2022-08-19 武汉中科医疗科技工业技术研究院有限公司 异常区域图像生成网络的训练方法和相关产品
CN110717905A (zh) * 2019-09-30 2020-01-21 上海联影智能医疗科技有限公司 脑部图像检测方法、计算机设备和存储介质
CN110717905B (zh) * 2019-09-30 2022-07-05 上海联影智能医疗科技有限公司 脑部图像检测方法、计算机设备和存储介质
CN111160441A (zh) * 2019-12-24 2020-05-15 上海联影智能医疗科技有限公司 分类方法、计算机设备和存储介质
CN111160441B (zh) * 2019-12-24 2024-03-26 上海联影智能医疗科技有限公司 分类方法、计算机设备和存储介质
CN112767374A (zh) * 2021-01-27 2021-05-07 天津理工大学 基于mri的阿尔茨海默症病灶区域语义分割算法

Similar Documents

Publication Publication Date Title
CN111476292B (zh) 医学图像分类处理人工智能的小样本元学习训练方法
CN109934804A (zh) 基于卷积神经网络的阿尔茨海默病变区域的检测方法
CN111223553B (zh) 一种两阶段深度迁移学习中医舌诊模型
CN111931811B (zh) 一种基于超像素图像相似度的计算方法
CN106296699A (zh) 基于深度神经网络和多模态mri图像的脑肿瘤分割方法
Pan et al. Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review
Aslam et al. Neurological Disorder Detection Using OCT Scan Image of Eye
CN109920538B (zh) 一种基于数据增强的零样本学习方法
CN113869229B (zh) 基于先验注意力机制引导的深度学习表情识别方法
CN111476794B (zh) 一种基于unet的宫颈病理组织分割方法
Li et al. Cow individual identification based on convolutional neural network
Mamdouh et al. A New Model for Image Segmentation Based on Deep Learning.
Alagarsamy et al. Identification of Brain Tumor using Deep Learning Neural Networks
Ibrahim et al. Empirical study of brain segmentation using particle swarm optimization
Mahapatra et al. CT image synthesis using weakly supervised segmentation and geometric inter-label relations for COVID image analysis
CN112489048B (zh) 一种基于深度网络的视神经自动分割方法
Qiu et al. Deep bv: A fully automated system for brain ventricle localization and segmentation in 3d ultrasound images of embryonic mice
Zhang et al. Study on TCM tongue image segmentation model based on convolutional neural network fused with superpixel
CN117557576A (zh) 基于临床知识驱动和对比学习的半监督视神经分割方法
CN107590806A (zh) 一种基于大脑医学成像的检测方法和系统
Feng et al. Automated localization of Epileptic Focus Using Convolutional Neural Network
Liu et al. One-stage attention-based network for image classification and segmentation on optical coherence tomography image
Mesbahi et al. Automatic segmentation of medical images using convolutional neural networks
CN112614092A (zh) 脊柱检测方法和装置
Kassim et al. A cell augmentation tool for blood smear analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190625