CN112634239A - 一种基于深度学习的脑出血检测系统 - Google Patents

一种基于深度学习的脑出血检测系统 Download PDF

Info

Publication number
CN112634239A
CN112634239A CN202011559329.3A CN202011559329A CN112634239A CN 112634239 A CN112634239 A CN 112634239A CN 202011559329 A CN202011559329 A CN 202011559329A CN 112634239 A CN112634239 A CN 112634239A
Authority
CN
China
Prior art keywords
module
cerebral hemorrhage
pictures
data set
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011559329.3A
Other languages
English (en)
Inventor
冯玄
谢世朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202011559329.3A priority Critical patent/CN112634239A/zh
Publication of CN112634239A publication Critical patent/CN112634239A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的脑出血检测系统，包括如下模块：原始数据集构建模块、预处理模块、标注模块、Mask‑RCNN网络模块、模型训练模块和脑出血检测模块，本发明结合深度学习算法、采用Resnet50和FPN网络相结合的方式对特征值进行提取，能够实现对图片中脑出血的定位与分割功能，而且测试结果的准确性较高，对基于深度学习的脑出血检测的实现产生了重要影响，从而可以降低了人工检测的工作量。

Description

一种基于深度学习的脑出血检测系统
技术领域
本发明涉及计算机视觉图像处理领域，特别是涉及一种基于深度学习的脑出血检测系统。
背景技术
脑出血(cerebral hemorrhage)是指非外伤性脑实质内血管破裂引起的出血，占全部脑卒中的20％～30％，急性期病死率为30％～40％。发生的原因主要与脑血管的病变有关，即与高血脂、糖尿病、高血压、血管的老化、吸烟等密切相关。
若能较早的发现脑出血，就可以对病人提早进行治疗，从而增大治愈的机会。CT扫描是一种特异性较高、快捷以及无创的诊断手段，在脑出血的临床诊断中占有重要地位，CT检查可作为临床诊断首选。深度学习的概念于2006年由Hinton等人提出，其作为机器学习的一个分支，由于它善于发现高维数据的复杂结构，使用泛化目标的学习过程可以自动学习好的特征，所以近年来发展十分迅速。相较于人工设计特征的方法，卷积神经网络的适用范围更广，对图像的特征提取更加深刻全面。国内知名学者也曾表明深度学习将取代人工特征加机器学习的方法而逐渐成为主流图像识别方法。所以将深度学习应用到脑出血检测也越来越成为了国内外在该领域的重点研究方向。本发明以脑出血为例，通过修改Mask_RCNN算法，能够实现对同一张图片脑出血部位进行定位及检测，为实现智能医疗提供了良好的前提条件。
发明内容
有鉴于此，本发明的目的在于提供一种基于深度学习的脑出血检测系统，解决的技术问题是：传统的方式即医生观看脑CT图来判断是否有脑出血状况的现状极大的浪费了人力及物力资源，因为业内迫切需要更加高效且准确的方式判断是否发生脑出血病症，因此，在基于当前深度学习技术环境背景下，本发明提出了一种基于深度学习的脑出血检测系统，能够既高效又能够判断准确的脑出血CT定位及检测。
本发明提供一种基于深度学习的脑出血检测系统，包括如下模块：
原始数据集构建模块：用以构建原始数据集，所述原始数据集包括：测试集和训练集；
预处理模块：用以对训练集中的图片进行预处理；
标注模块：用以对经过预处理之后的图片进行标注，标注图片中脑部出血点，将标注后的图片构成脑出血CT数据集；
Mask-RCNN网络模块：用以作为模型训练模块的输入；
模型训练模块：用以将脑出血CT数据集输入Mask-RCNN网络模块进行迭代训练，直到损失函数收敛或者达到迭代次数时，保存模型，得到最终的Mask-RCNN网络模块；
脑出血检测模块：用以通过最终的Mask-RCNN网络模块对测试集中的图片进行测试，输出图片中脑出血点的Bounding Box，完成对脑出血点的检测。
进一步的，在所述原始数据集构建模块中，从医院或者医疗公司获取脑部CT图片形成初始数据集，对初始数据集中的脑部CT图片进行筛选，筛选出适合训练的脑部CT图片构建原始数据集。
进一步的，所述标注模块通过labelme标注工具对图片使用Bounding Box进行标注，标注出图片中脑部出血点，标注完成后，将jpg格式的图片转为json格式的文件，再将json格式的文件转为yaml文件；
最后将yaml文件、label文件夹以及初始数据集中的图片存放在一个文件夹中，形成最终的训练集。
进一步的，所述Mask-RCNN网络模块包括：主干网络模块，区域生成网络模块、RoIAlign模块以及损失函数模块，所述主干网络模块为resnet50网络。
进一步的，当迭代次数不足1000次时，每迭代100次，所述模型训练模块保存一次自动生成的权重文件，当迭代次数超过1000次时，则每迭代10000次，所述模型训练模块保存一次自动生成的权重文件。
本发明的有益效果是：
1、本发明只需要拍摄脑出血CT图片即可对图中脑出血部位实现精准定位。
2、本发明发明创造性地采用了深度学习的模型，并将其应用在人工智能医疗定位领域，经过Mask_RCNN算法训练从而提取脑出血的特征，实现对脑出血部位的精准定位，并且本发明测试结果具有较高的准确性和鲁棒性。
附图说明
图1为本发明实施例1中Mask-RCNN网络模块的结构图。
图2为本发明实施例2提供的基于深度学习的脑出血检测方法的流程图。
图3为本发明实施例1中测试集中的脑出血图片。
图4为本发明实施例1中经过测试实现脑出血定位的效果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参见图1、图3和图4，本实施例1提供了一种基于深度学习的脑出血检测系统，包括如下模块：
原始数据集构建模块：用以构建原始数据集，原始数据集包括：测试集和训练集；
具体的说，在原始数据集构建模块中，从医院或者医疗公司获取脑部CT图片形成初始数据集，初始数据集进行筛选得到原始数据集，更具体的说，从医院或者医疗公司获取脑部CT图片形成初始数据集，对初始数据集中的脑部CT图片进行筛选，筛选出适合训练的脑部CT图片构建原始数据集。
预处理模块：用以对训练集中的图片进行预处理；
在本实施例中，预处理的操作具体为利用数字图像处理相关技术对图片进行归一化处理。
标注模块：用以对经过预处理之后的图片进行标注，标注图片中脑部出血点，将标注后的图片构成脑出血CT数据集；
具体的说，标注模块通过labelme标注工具对图片使用Bounding Box进行标注，标注出图片中脑部出血点，标注完成后，将jpg格式的图片转为json格式的文件，再将json格式的文件转为yaml文件；最后将yaml文件、label文件夹以及初始数据集中的图片存放在一个文件夹中，形成最终的训练集。
Mask-RCNN网络模块：用以作为模型训练模块的输入；
具体的说，Mask-RCNN网络模块包括：主干网络模块，区域生成网络模块、RoIAlign模块以及损失函数模块，本实施例，对现有的Mask-RCNN网络模型修改，修改了特征提取骨干网络，将resnet101改进为resnet50，并且由于训练数据只需要单一的mask区域，所以同时修改了训练的类别参数，又设置的在特征提取网络结构上通过减少网络层数的方式,剔除在特征提取中产生的冗余特征信息,提高算法运行速度，提高了模型的泛化能力。
更具体的说：
1、主干网络模块(Backbone)
Mask_RCNN算法的骨架网络是由ResNet101网络和FPN网络(特征金字塔网络)组成。
ResNet101网络用来提取图像的feature maps。ResNet(深度残差网络)实际上就是为了能够训练更加深层的网络提供了有利的思路，ResNet使用了跨层连接，使得训练更加容易。ResNet网络试图让一个block的输出为f(x)+x，其中的f(x)为残差，当网络特别深的时候残差f(x)会趋近于0，从而f(x)+x就等于了x，即实现了恒等变换，不管训练多深性能起码不会变差。FPN网络的提出是为了实现更好的feature maps融合，一般的网络都是直接使用最后一层的feature maps，虽然最后一层的feature maps语义强，但是位置和分辨率都比较低，容易检测不到比较小的物体。FPN的功能就是融合了底层到高层的featuremaps，从而充分的利用了提取到的各个阶段的Z征(ResNet中的C2-C5)。
2、区域生成网络模块(RPN)
RNP是区域推荐的网络，用于帮助网络推荐感兴趣的区域，也是Mask-RCNN中重要的一部分。为了生成region proposals，在卷积得到的feature map上滑动一个小的网络，这个feature map是最后一个共享卷积层的输出。这个小网络需要对输入的feature map使用一个n*n窗口。每个滑动窗口都映射到一个低维特征(ZF是256维，VGG是512维，后面跟一个ReLU激活函数)。这个特征被输入到两个平行的全连接层中(一个box-regression层(reg)，一个box-classification层(cls))。
最终，RPN网络生成了RoIAlign所需要的object proposals。
3、RoIAlign模块
RoIPool是一个标准的提特征运算，它从每个RoI提取出一个小的特征(7×7)，RoIPool首先对浮点的RoI进行量化，然后再提取分块直方图，最后通过最大池化组合起来。这种分块直方图对于分类没有什么大的影响，但是对像素级别精度的mask有很大影响。相对roipooling会造成最后的7*7和原始的roi区域对不齐的情况，首先roi的坐标是对应的原图的，从原图到feature map有一个stride的对应关系，比如原始roi是100*100的，在原图的(15,15)的位置，考虑stride＝16，那么对应到feature map上会是100/16和100/16的区域，坐标是(15/16,15/16)的点，再对该区域做7*7划分，7*7的图上，横坐标1的距离对应到feature上就是100/112的距离，那么7*7的图上第一个点(0,0)的点对应到feature map上对应的坐标是(15/16,15/16)，那么怎么得到7*7的图上的(0,0)处的值呢，很明显，根据(15/16,15/16)在feature map上对这个坐标周围的4个整点的坐标进行双线性插值，即得到了7的图上的(0,0)处的值。同理，得到7*7的图上的坐标为(x,y)处对应到feature map上的坐标为(15/16+x 100/112,15/16+y*100/112)，这个坐标是是一个小数，即在featuremap上对该坐标点周围的4个整点坐标进行插值即可。为了解决上述问题，Mask-RCNN提出了一个RoIAlign网络层解决RoIPool量化引入的问题，将提取的特征和输入合适的对应起来。这种改变也是很简单的：避免对RoI的边界或bins进行量化。使用线性差值精确计算每个RoI bin最后组合起来。
4、损失函数模块
损失函数模块定义了多任务损失：L＝Lcls+Lbox+Lmask,Lcls表示为分类误差损失，Lbox检测误差损失，Lmask表示为分割误差损失；分割误差为新的东西，对于每一个ROI，mask分支定义一个K*m*2维的矩阵表示K个不同的分类对于每一个m*m的区域，对于每一个类都有一个。对于每一个像素，都是用sigmod函数进行求相对熵，得到平均相对熵误差Lmask。对于每一个ROI，如果检测得到ROI属于哪一个分类，就只使用哪一个分支的相对熵误差作为误差值进行计算。(举例说明：分类有3类(猫，狗，人)，检测得到当前ROI属于“人”这一类，那么所使用的Lmask为“人”这一分支的mask。)这样的定义使得网络不需要去区分每一个像素属于哪一类，只需要去区别在这个类当中的不同分别小类。最后可以通过与阈值0.5作比较输出二值mask。这样避免了类间的竞争，将分类的任务交给专业的classification分支。
模型训练模块：用以将脑出血CT数据集输入Mask-RCNN网络模块进行迭代训练，直到损失函数收敛或者达到迭代次数时，保存模型，得到最终的Mask-RCNN网络模块；
具体的说，当迭代次数不足1000次时，每迭代100次，模型训练模块保存一次自动生成的权重文件，当迭代次数超过1000次时，则每迭代10000次，模型训练模块保存一次自动生成的权重文件。
脑出血检测模块：用以通过最终的Mask-RCNN网络模块对测试集中的图片进行测试，输出图片中脑出血点的Bounding Box，完成对脑出血点的检测。
本实施例提供的技术方案对一张CT图片上的脑出血部位进行精准定位，具有较高的准确性，可以辅助医生判断并提高工作效率，本发明创造性的使用深度学习技术并将改进后的Mask_RCNN算法应用在脑出血定位检测领域，既高速又高效，为实现智慧医疗奠定了良好的基础
实施例2，参见图2，本实施例提供一种基于深度学习的脑出血检测方法，包括如下步骤：
步骤S1、构建原始数据集，并将原始数据集划分成测试集和训练集；
具体的说，所述步骤S1，具体包括：
步骤S101、从医院或者医疗公司获取脑部CT图片形成初始数据集；
步骤S102、对初始数据集进行筛选得到原始数据集，并且将原始数据集按照一定比例划分成测试集和训练集。
步骤S2、对训练集中的图片进行预处理；
步骤S3、对经过预处理之后的图片进行标注，标注图片中脑部出血部位，将标注后的图片构成脑出血CT数据集；
具体的说，通过labelme标注工具对图片使用Bounding Box进行标注，标注出图片中脑部出血点，标注完成后，将jpg格式的图片转为json格式的文件，再将json格式的文件转为yaml文件；最后将yaml文件、label文件夹以及初始数据集中的图片存放在一个文件夹中，形成最终的训练集。
步骤S4、构建Mask-RCNN网络模型；
所述Mask-RCNN网络模型，包括如下模块：主干网络模块，区域生成网络模块、RoIAlign模块以及损失函数模块。
步骤S5、将脑出血CT数据集输入步骤S4得到的模型进行迭代训练，直到损失函数收敛或者达到迭代次数时，保存模型，得到最终的Mask-RCNN网络模型；
具体的说，当迭代次数不足1000次时，每迭代100次，保存一次自动生成的权重文件，当迭代次数超过1000次时，则每迭代10000次，保存一次自动生成的权重文件。
步骤S6、将测试集中的图片输入最终的Mask-RCNN网络模型进行测试，输出测试图片中脑出血的Bounding Box，完成对脑出血点的检测。
本发明未详述之处，均为本领域技术人员的公知技术。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (5)

1.一种基于深度学习的脑出血检测系统，其特征在于，包括如下模块：
原始数据集构建模块：用以构建原始数据集，所述原始数据集包括：测试集和训练集；
预处理模块：用以对训练集中的图片进行预处理；
标注模块：用以对经过预处理之后的图片进行标注，标注图片中脑部出血点，将标注后的图片构成脑出血CT数据集；
Mask-RCNN网络模块：用以作为模型训练模块的输入；
模型训练模块：用以将脑出血CT数据集输入Mask-RCNN网络模块进行迭代训练，直到损失函数收敛或者达到迭代次数时，保存模型，得到最终的Mask-RCNN网络模块；
脑出血检测模块：用以通过最终的Mask-RCNN网络模块对测试集中的图片进行测试，输出图片中脑出血点的Bounding Box，完成对脑出血点的检测。
2.根据权利要求1所述一种基于深度学习的脑出血检测系统，其特征在于，在所述原始数据集构建模块中，从医院或者医疗公司获取脑部CT图片形成初始数据集，对初始数据集中的脑部CT图片进行筛选，筛选出适合训练的脑部CT图片构建原始数据集。
3.根据权利要求2所述一种基于深度学习的脑出血检测系统，其特征在于，所述标注模块通过labelme标注工具对图片使用Bounding Box进行标注，标注出图片中脑部出血点，标注完成后，将jpg格式的图片转为json格式的文件，再将json格式的文件转为yaml文件；
最后将yaml文件、label文件夹以及初始数据集中的图片存放在一个文件夹中，形成最终的训练集。
4.根据权利要求3所述一种基于深度学习的脑出血检测系统，其特征在于，所述Mask-RCNN网络模块包括：主干网络模块，区域生成网络模块、RoIAlign模块以及损失函数模块，所述主干网络模块为resnet50网络。
5.根据权利要求4所述一种基于深度学习的脑出血检测系统，其特征在于，当迭代次数不足1000次时，每迭代100次，所述模型训练模块保存一次自动生成的权重文件，当迭代次数超过1000次时，则每迭代10000次，所述模型训练模块保存一次自动生成的权重文件。
CN202011559329.3A 2020-12-25 2020-12-25 一种基于深度学习的脑出血检测系统 Withdrawn CN112634239A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011559329.3A CN112634239A (zh) 2020-12-25 2020-12-25 一种基于深度学习的脑出血检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011559329.3A CN112634239A (zh) 2020-12-25 2020-12-25 一种基于深度学习的脑出血检测系统

Publications (1)

Publication Number Publication Date
CN112634239A true CN112634239A (zh) 2021-04-09

Family

ID=75324810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011559329.3A Withdrawn CN112634239A (zh) 2020-12-25 2020-12-25 一种基于深度学习的脑出血检测系统

Country Status (1)

Country Link
CN (1) CN112634239A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205490A (zh) * 2021-04-19 2021-08-03 华中科技大学 基于Mask R-CNN网络的辅助诊断系统和辅助诊断信息生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205490A (zh) * 2021-04-19 2021-08-03 华中科技大学 基于Mask R-CNN网络的辅助诊断系统和辅助诊断信息生成方法

Similar Documents

Publication Publication Date Title
Bashir et al. A comprehensive review of deep learning-based single image super-resolution
CN112287940B (zh) 一种基于深度学习的注意力机制的语义分割的方法
CN109886273B (zh) 一种cmr图像分割分类系统
CN110992351B (zh) 基于多输入卷积神经网络的sMRI图像分类方法和装置
CN113936011B (zh) 基于注意力机制的ct影像肺叶图像分割系统
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN115909006B (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
CN113344933A (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
CN117152441B (zh) 一种基于跨尺度解码的生物图像实例分割方法
CN117197763A (zh) 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统
CN118072965B (zh) 一种基于自监督学习的病理大模型的构建方法
CN117746045B (zh) 一种Transformer和卷积融合的医学图像分割方法及系统
CN112634239A (zh) 一种基于深度学习的脑出血检测系统
CN117994573A (zh) 一种基于超像素和可形变卷积的红外弱小目标检测方法
CN117893858A (zh) 一种融合多层级多尺度与边界信息的图像篡改定位方法
CN114862868B (zh) 基于ct灌注源数据的脑卒中最终梗死区分割方法
CN116912872A (zh) 图纸识别方法、装置、设备及可读存储介质
CN115358961A (zh) 一种基于深度学习的多焦点图像融合方法
CN115170897A (zh) 一种基于掩码区域卷积神经网络的图像处理方法及其应用
CN114332489A (zh) 基于不确定性感知的图像显著目标检测方法与系统
CN118116576B (zh) 基于深度学习的智能化病例分析方法及系统
CN118229712B (zh) 基于增强多维特征感知的肝脏肿瘤图像分割系统
CN117437514B (zh) 一种基于CycleGan的阴道镜图像模态转换方法
CN116912212B (zh) 基于yolo-csc模型的肺结节ct图像分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210409

WW01 Invention patent application withdrawn after publication