CN111754520B - 一种基于深度学习的脑血肿分割方法及系统 - Google Patents

一种基于深度学习的脑血肿分割方法及系统 Download PDF

Info

Publication number
CN111754520B
CN111754520B CN202010517019.9A CN202010517019A CN111754520B CN 111754520 B CN111754520 B CN 111754520B CN 202010517019 A CN202010517019 A CN 202010517019A CN 111754520 B CN111754520 B CN 111754520B
Authority
CN
China
Prior art keywords
self
image
brain
attention convolution
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010517019.9A
Other languages
English (en)
Other versions
CN111754520A (zh
Inventor
余南南
于贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Normal University
Original Assignee
Jiangsu Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Normal University filed Critical Jiangsu Normal University
Priority to CN202010517019.9A priority Critical patent/CN111754520B/zh
Publication of CN111754520A publication Critical patent/CN111754520A/zh
Application granted granted Critical
Publication of CN111754520B publication Critical patent/CN111754520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的脑血肿分割方法及系统。该方法包括：构建神经网络模型，所述神经网络模型包括若干顺序连接的图像信息压缩模块和若干顺序连接的图像信息融合模块，所述图像信息压缩模块包括依次顺序连接的第一自注意力卷积单元、第二自注意力卷积单元和池化层，所述图像信息融合模块包括依次顺序连接的上采样单元、特征图拼接单元和第三自注意力卷积单元；获取脑CT样本图像；以脑CT样本图像为输入，以脑CT样本图像中各像素点的出血情况为标签，对神经网络模型进行训练；采用训练好的神经网络模型对待分割脑CT图像进行脑出血识别。本发明能够对脑CT图像中出血区域进行准确而高效的分割。

Description

一种基于深度学习的脑血肿分割方法及系统
技术领域
本发明涉及图像分割技术领域，特别是涉及一种基于深度学习的脑血肿分割方法及系统。
背景技术
脑卒中属于脑血管类疾病，主要是由非外脑性实质内血管破裂引起的出血所导致，其中导致脑出血的原因有很多种，例如高血压，高血脂，糖尿病以及其他的心血管疾病，在生活中发病率极高，根据世界卫生组织发布数据，每年的死亡人口中，约有百分之三十到四十是由于脑部出血所引起，目前脑出血已经成为当今人类死亡率最高的疾病之一。然而目前关于定量测量疑似血肿区域体积的方法是很少的，快速、准确、可重复的体积估算对于许多医学诊断、治疗、评估是至关重要的，是决定病人是否需要动手术的一个重要指标，因此，精确的体积测量具有重要的临床应用价值。
图像分割的目的就是改变对一幅图像中感兴趣的疑似病灶区域的描述，使其分析起来更加容易并且更有意义。然而医学图像不同于一般的图像，常会伴随着出现弱边界、低对比度、强噪音等现象，正因为医学图像自身所具有多样性和特殊性，才导致了分割的复杂性。目前，国内外大部分医院对患者颅内疑似血肿体积的临床测量主要是通过手动分割和人工计算两大歩骤来实现的。手动分割极其浪费时间且非常艰辛，精确度和可重复性比较差。
发明内容
本发明的目的是提供一种基于深度学习的脑血肿分割方法及系统。
为实现上述目的，本发明提供了如下方案：
一种基于深度学习的脑血肿分割方法，包括：
构建神经网络模型，所述神经网络模型包括若干顺序连接的图像信息压缩模块和若干顺序连接的图像信息融合模块，其中，所述图像信息压缩模块包括依次顺序连接的第一自注意力卷积单元、第二自注意力卷积单元和池化层，所述图像信息融合模块包括依次顺序连接的上采样单元、特征图拼接单元和第三自注意力卷积单元，所述第一自注意力卷积单元用于降低其输入图像的通道数，所述第二自注意力卷积单元用于对其输入的图像进行特征提取，所述池化层用于对其输入的图像进行降维处理，所述上采样单元用于对其输入的图像进行上采样，所述特征图拼接单元用于将其输入的采样图像与同一级第二注意力卷积单元输出的降维图像在通道方向拼接，所述第三自注意力卷积单元用于对拼接后的图像进行多尺度融合；同一级的第二注意力卷积单元和特征图拼接单元满足如下条件：所述第二注意力卷积单元输出图像的维度与所述特征图拼接单元输入图像的维度相同；
获取脑CT样本图像；
以所述脑CT样本图像为输入，以所述脑CT样本图像中各像素点的出血情况为标签，对所述神经网络模型进行训练；
采用训练好的神经网络模型对待分割脑CT图像进行脑出血识别。
可选的，所述第三自注意力卷积单元包括顺序连接的第一自注意力卷积子单元和第二自注意力卷积子单元，所述第一自注意力卷积单元用于降低其输入图像的通道数，所述第二自注意力卷积子单元与所述第二自注意力卷积单元的结构参数相同。
可选的，所述采用训练好的神经网络模型对待分割脑CT图像进行脑出血识别，具体包括：
将所述待分割脑CT图像输入训练好的神经网络模型，确定出血区域的位置。
可选的，所述采用训练好的神经网络模型对待分割脑CT图像进行脑出血识别，还包括：
统计出血像素点，根据出血像素点计算出血面积。
可选的，所述采用训练好的神经网络模型对待分割脑CT图像进行脑出血识别，还包括：
根据所述脑CT图像的切片厚度、切片层数以及每层脑CT图像的出血面积，计算脑血肿的体积。
本发明还提供了一种基于深度学习的脑血肿分割系统，包括：
神经网络模型构建模块，用于构建神经网络模型，所述神经网络模型包括若干顺序连接的图像信息压缩模块和若干顺序连接的图像信息融合模块，其中，所述图像信息压缩模块包括依次顺序连接的第一自注意力卷积单元、第二自注意力卷积单元和池化层，所述图像信息融合模块包括依次顺序连接的上采样单元、特征图拼接单元和第三自注意力卷积单元，所述第一自注意力卷积单元用于降低其输入图像的通道数，所述第二自注意力卷积单元用于对其输入的图像进行特征提取，所述池化层用于对其输入的图像进行降维处理，所述上采样单元用于对其输入的图像进行上采样，所述特征图拼接单元用于将其输入的采样图像与同一级第二注意力卷积单元输出的降维图像在通道方向拼接，所述第三自注意力卷积单元用于对拼接后的图像进行多尺度融合；同一级的第二注意力卷积单元和特征图拼接单元满足如下条件：所述第二注意力卷积单元输出图像的维度与所述特征图拼接单元输入图像的维度相同；
样本图像获取模块，用于获取脑CT样本图像；
神经网络模型训练模块，用于以所述脑CT样本图像为输入，以所述脑CT样本图像中各像素点出血情况为标签，对所述神经网络模型进行训练；
脑出血识别模块，用于采用训练好的神经网络模型对待分割脑CT图像进行脑出血识别。
可选的，所述第三自注意力卷积单元包括顺序连接的第一自注意力卷积单元和第二自注意力卷积子单元，所述第一自注意力卷积单元用于降低其输入图像的通道数，所述第二自注意力卷积子单元与所述第二自注意力卷积单元的结构参数相同。
可选的，所述脑出血识别模块，具体包括：
将所述待分割脑CT图像输入训练好的神经网络模型，确定出血区域的位置。
可选的，所述脑出血识别模块还包括：
统计出血像素点，根据出血像素点计算出血面积。
可选的，所述脑出血识别模块还包括：
根据所述脑CT图像的切片厚度、切片层数以及每层脑CT图像的出血面积，计算脑血肿的体积。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于深度学习的脑血肿分割方法及系统先通过设计的自注意力卷积单元对输入CT图像进行深度特征提取，并结合二维池化层降低计算量；对经过反复特征提取、维度压缩后输出的特征图，使用双线性插值法重新上采样；使用特征图拼接的方式，降低了因池化层所带来的信息损失，之后采用卷积单元对拼接的多尺度特征进行深度信息融合；重复多次上采样、特征图拼接与多尺度融合运算获得模型预测的分割图像；基于模型预测的分割图像与真实标签图像之间的损失值训练该神经网络模型。采用训练好的神经网络模型对待待分割脑CT图像的出血区域进行识别。本发明不仅识别精度高，而且，相较于现有技术中的手动识别和人工识别，具有效率高的优势。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的基于深度学习的脑血肿分割方法流程图；
图2为本发明实施例1提供的神经网络模型的工作流程示意图；
图3为本发明实施例1提供的自注意力卷积单元的结构示意图；
图4(a)为本发明实施例1提供的第一自注意力卷积单元结构示意图，图4(b)为本发明实施例1提供的第二自注意力卷积单元与第二自注意力卷积子单元的结构示意图，图4(c)为本发明实施例1提供的第一自注意力卷积子单元的结构示意图；
图5为本发明实施例2提供的基于深度学习的脑血肿分割系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例1提供的基于深度学习的脑血肿分割方法流程图，如图1所示，本实施例提供的基于深度学习的脑血肿分割方法流程图包括以下步骤：
步骤101：构建神经网络模型，所述神经网络模型包括若干顺序连接的图像信息压缩模块和若干顺序连接的图像信息融合模块，其中，所述图像信息融合模块用于对压缩后的图像进行特征提取，所述图像信息压缩模块包括依次顺序连接的第一自注意力卷积单元、第二自注意力卷积单元和池化层，所述图像信息融合模块包括依次顺序连接的上采样单元、特征图拼接单元和第三自注意力卷积单元，所述第一自注意力卷积单元用于降低其输入图像的通道数，所述第二自注意力卷积单元用于对其输入的图像进行特征提取，所述池化层用于对其输入的图像进行降维处理，所述上采样单元用于对其输入的图像进行上采样，所述特征图拼接单元用于将其输入的采样图像与同一级第二自注意力卷积单元输出的降维图像在通道方向拼接，所述第三自注意力卷积单元用于对拼接后的图像进行多尺度融合；同一级的第二自注意力卷积单元和特征图拼接单元满足如下条件：所述第二自注意力卷积单元输出图像的维度与所述特征图拼接单元输入图像的维度相同；
步骤102：获取脑CT样本图像；
步骤103：以所述脑CT样本图像为输入，以所述脑CT样本图像中各像素点出血情况为标签，比如出血的概率，对所述神经网络模型进行训练；
步骤104：采用训练好的神经网络模型对待分割脑CT图像进行脑出血识别。
作为一种实施方式，所述第三自注意力卷积单元包括顺序连接的第一自注意力卷积单元和第二自注意力卷积子单元，所述第一自注意力卷积单元用于降低其输入图像的通道数，所述第二自注意力卷积子单元与所述第二自注意力卷积单元的结构参数相同。
如图2所示，本实施例构建的神经网络模型第一步对脑CT图像进行信息压缩，具体可以为：首先通过设计的第一自注意力卷积单元降低输入模型CT图像的通道数，再用第二自注意力卷积单元深度提取输入图像的特征。其中，如图3所示，自注意力卷积单元为在每个卷积单元结束前添加自注意力集中层，获取特征图像素间的远距离依赖关系，增加模型全局感受野，提高分割精度。然后，使用二维池化层对第二自注意力卷积单元输出的特征图进行降维处理，减少模型的可训练参数，降低计算量。之后反复堆叠五次第一自注意力卷积单元、第二自注意力卷积单元与池化层，将输入模型长宽为256×256的CT图像压缩为长宽只有8×8的特征图。当然，第一自注意力卷积单元、第二自注意力卷积单元与池化层的堆叠次数不仅限于本实施例所述的五次，输入输出图像的长宽也不仅限于256×256和8×8，在其他的实施例中，可以选取其他的堆叠次数以及输入输出图像的长宽。第二步：重新提取压缩信息并预测分割图像。具体可以为：使用双线性插值法对压缩的特征图重新上采样，提高特征图的分辨率。将使用双线性插值上采样特征图与第一步降维压缩的特征图，在通道方向拼接，减少池化层所带来的信息损失。使用第三自注意力卷积单元对拼接后多尺度特征图进行融合。重复五次上采样、特征图拼接、第三自注意力卷积单元，将8×8的特征图恢复为256×256大小，作为最终模型预测的分割图像。计算模型预测的分割图像与真实标签图像之间的损失值，使用反向传播算法优化模型可训练参数。当损失值小于指定值时，模型可以准确分割CT图像中脑血肿区域。当然，上采样、特征图拼接、第三自注意力卷积单元的重复次数不仅限于五次，在其他的实施例中也可以选择其他次数。特征图恢复后的大小也不仅限于256×256，在其他的实施例中也可以选择其他的长宽规模。在本实施例中，第一自注意力卷积单元、第二自注意力卷积单元以及第一自注意力卷积子单元、第二自注意力卷积子单元的具体结构以及参数设置可以如图4所示，具体的，第一自注意力卷积单元如图4(a)所示，第二自注意力卷积单元与第二自注意力卷积子单元如图4(b)所示，第一自注意力卷积子单元如图4(c)所示，其中，C：通道数，H：高度，W：宽度，Input：输入，Output：输出，BN：批量归一化层，ELU：激活函数，Conv：卷积层。
作为一种可选的实施方式，如图4所示，通过三个自注意力卷积单元增强模型的特征提取能力。其中，二维卷积层计算如公式(1)所示，Activation表示经过卷积后采用的非线性激活函数，WL为在第L层神经网络上卷积权重，bL为卷积层添加的偏置项，WL-1(m,n)是特征图在特征图坐标(x,y)的权重。Conv2DL和Conv2DL-1分别表示第L层和第L-1层的卷积特征块，Conv2DL(x,y)为Conv2DL在二维卷积特征块坐标(x,y)上的元素，Conv2DL-1(x+m,y+n)为Conv2DL(x,y)在经过二维卷积核WL-1(m,n)卷积后Conv2DL-1在坐标(x+m,y+n)上的元素值。
在每个卷积模块结束前，使用自注意力集中机制增强了特征图像素间的远距离依赖关系，自注意力集中机制网络层示意图如图3所示。将特征图经过三组卷积核为1×1的卷积层，分别得到H、P和Q，记输入特征图为Finput。
H＝ReLU(FinputWH+bH) (2)
H的计算如公式(2)所示，其中WH表示卷积层的权重参数矩阵，bH为卷积层添加的偏置项，为了引入非线性学习注意力，使用ReLU作为卷积层的激活函数。P和Q的计算方式以此类推。
将P与转置后的H做矩阵乘法，通过softmax激活函数做归一化处理，输出得到注意力特征图Fattention。Softmax激活函数与注意力特征图Fattention的计算分别如公式(3)和(4)所示。
Fattention＝softmax(PHT) (4)
最后将得到注意力特征图Fattention与Q做矩阵乘法，形成自注意力集中网络层的最终输出Foutput。
Foutput＝FattentionQ (5)
二维池化层选用最大池化层通过增大步长的方式，对二维特征图在长度和宽度的通道上进行尺寸的压缩，从而减小计算量，池化层的卷积核大小为Kp×Kp，步长设置为L×L，则H为池化前原有特征图高度，/>为池化后特征图的高度，宽度的变换方式以此类推。
双线性插值法是对中心像素点邻域内相同颜色分量求平均，并将该平均值作为中心像素点缺失颜色的灰度值。通过双线性插值法对压缩后的信息上采样，重新提高了特征图的分辨率。
特征图融合：为了获取不同尺度的特征信息，从而提高模型的分割精度，将特征压缩路径与特征上采样路径上的特征图进行拼接。特征压缩路径与上采样路径的特征图尺寸分别记为B×H×W×CD和B×H×W×CU，其中B为每一个训练批次放入模型的图像数量，H、W和C分别为特征图的高度、宽度与通道数。为保证两个特征图在通道方向拼接融合，特征图的大小必须保持一致，两个特征图拼接后的尺寸为B×H×W×(CD+CU)。
定义图像分割损失函数如公式(6)所示。针对在CT图像中，出血区域与非出血样本的不均衡性，使用交叉熵(Cross-Entropy)配合Dice作为损失函数，计算模型的预测图像与真实标签图像每个像素点之间的误差值。最后通过反向传播算法优化模型的可训练参数。
LossSeg＝LossCS+LossDice (6)
交叉熵损失的计算如公式(7)所示。T表示真实标签图像，P表示模型预测的图像，预测图像的像素值是[0,1]之间的浮点数，N表示一张图像中所有像素点的个数。
Dice的定义如公式(8)所示，其中Pi,j与Ti,j分别表示模型预测的分割图像与真实标签图像第i行、第j列的像素值。
作为一种可选的实施方式，步骤104包括：将所述待分割脑CT图像输入训练好的神经网络模型，输出待分割脑CT图像中各像素点是否出血，据此确定出血区域的位置。
作为一种可选的实施方式，步骤104还可以包括每层CT图像的出血面积以及脑血肿体积的计算。实现方式可以如下：
(1)针对模型预测的分割图像，将分割为出血区域的像素值标记为1，其他区域标记为0，统计所有非零像素点的个数从而得到每层出血区域的面积。
(2)根据CT图像的切片厚度、含有出血区域的层数以及每张CT图像中脑血肿区域的面积对脑血肿的体积进行估算。
具体可以如下：由于模型预测分割图像的像素值是在[0,1]之间的浮点数，而真实标签只有出血区域与非出血区域之分，因此通过设定阈值为0.7，将像素值高于阈值的定义为出血区域，并将其像素值设定为1，而小于0.7的则定义为其他非出血区域，将像素值设定为0，通过统计模型预测分割的图像中非零像素点个数，获取模型预测脑血肿区域的面积。
脑血肿体积的估算如公式(9)所示，其中T为CT图像的切片厚度，单位为毫米，N为检测者的CT图像中含有血肿的层数，Sn为第n层CT图像中出血区域的面积，单位为平方毫米，Volume为最终估算的血肿体积。
图5为本发明实施例2提供的基于深度学习的脑血肿分割系统结构图，如图5所示，本实施例提供的基于深度学习的脑血肿分割系统包括：
神经网络模型构建模块501，用于构建神经网络模型，所述神经网络模型包括若干顺序连接的图像信息压缩模块和若干顺序连接的图像信息融合模块，其中，所述图像信息融合模块用于对压缩后的图像进行特征提取，所述图像信息压缩模块包括依次顺序连接的第一自注意力卷积单元、第二自注意力卷积单元和池化层，所述图像信息融合模块包括依次顺序连接的上采样单元、特征图拼接单元和第三自注意力卷积单元，所述第一自注意力卷积单元用于降低其输入图像的通道数，所述第二自注意力卷积单元用于对其输入的图像进行特征提取，所述池化层用于对其输入的图像进行降维处理，所述上采样单元用于对其输入的图像进行上采样，所述特征图拼接单元用于将其输入的采样图像与同一级第二自注意力卷积单元输出的降维图像在通道方向拼接，所述第三自注意力卷积单元用于对拼接后的图像进行多尺度融合；同一级的第二自注意力卷积单元和特征图拼接单元满足如下条件：所述第二自注意力卷积单元输出图像的维度与所述特征图拼接单元输入图像的维度相同；
样本图像获取模块502，用于获取脑CT样本图像；
神经网络模型训练模块503，用于以所述脑CT样本图像为输入，以所述脑CT样本图像中各像素点的出血情况为标签，比如出血的概率，对所述神经网络模型进行训练；
脑出血识别模块504，用于采用训练好的神经网络模型对待分割脑CT图像进行脑出血识别。
作为一种实施方式，所述第三自注意力卷积单元包括顺序连接的第一自注意力卷积单元和第二自注意力卷积子单元，所述第一自注意力卷积单元用于降低其输入图像的通道数，所述第二自注意力卷积子单元与所述第二自注意力卷积单元的结构参数相同。
作为一种可选的实施方式，所述脑出血识别模块，具体包括：
将所述待分割脑CT图像输入训练好的神经网络模型，确定出血区域的位置。
作为一种可选的实施方式，所述脑出血识别模块还包括：
统计出血像素点，根据出血像素点计算出血面积。
作为一种可选的实施方式，所述脑出血识别模块还包括：
根据所述脑CT图像的切片厚度、切片层数以及每层脑CT图像的出血面积，计算脑血肿的体积。
本发明提供的基于深度学习的脑血肿分割方法及系统先通过设计的自注意力卷积单元对输入CT图像进行深度特征提取，并结合二维池化层降低计算量；对经过反复特征提取、维度压缩后输出的特征图，使用双线性插值法重新上采样；使用特征图拼接的方式，降低了因池化层所带来的信息损失，之后采用卷积单元对拼接的多尺度特征进行深度信息融合；重复多次上采样、特征图拼接与多尺度融合运算获得模型预测的分割图像；计算模型预测的分割图像与真实标签图像之间的损失值，经过反向传播算法优化模型的可训练参数，直到损失值小于指定值时停止训练，此时可以认为模型可以准确分割CT图像中脑血肿区域；最后根据模型预测的分割图像、CT图像的切片厚度以及出血层数估算脑血肿体积。本发明实现了对脑血肿区域的精确而高效的分割。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于深度学习的脑血肿分割方法，其特征在于，包括：
构建神经网络模型，所述神经网络模型包括若干顺序连接的图像信息压缩模块和若干顺序连接的图像信息融合模块，其中，所述图像信息压缩模块包括依次顺序连接的第一自注意力卷积单元、第二自注意力卷积单元和池化层，所述图像信息融合模块包括依次顺序连接的上采样单元、特征图拼接单元和第三自注意力卷积单元，所述第一自注意力卷积单元用于降低其输入图像的通道数，所述第二自注意力卷积单元用于对其输入的图像进行特征提取，所述池化层用于对其输入的图像进行降维处理，所述上采样单元用于对其输入的图像进行上采样，所述特征图拼接单元用于将其输入的采样图像与同一级第二注意力卷积单元输出的降维图像在通道方向拼接，所述第三自注意力卷积单元用于对拼接后的图像进行多尺度融合；同一级的第二注意力卷积单元和特征图拼接单元满足如下条件：所述第二注意力卷积单元输出图像的维度与所述特征图拼接单元输入图像的维度相同；
获取脑CT样本图像；
以所述脑CT样本图像为输入，以所述脑CT样本图像中各像素点的出血情况为标签，对所述神经网络模型进行训练；
采用训练好的神经网络模型对待分割脑CT图像进行脑出血识别。
2.根据权利要求1所述的基于深度学习的脑血肿分割方法，其特征在于，所述第三自注意力卷积单元包括顺序连接的第一自注意力卷积子单元和第二自注意力卷积子单元，所述第一自注意力卷积单元用于降低其输入图像的通道数，所述第二自注意力卷积子单元与所述第二自注意力卷积单元的结构参数相同。
3.根据权利要求1所述的基于深度学习的脑血肿分割方法，其特征在于，所述采用训练好的神经网络模型对待分割脑CT图像进行脑出血识别，具体包括：
将所述待分割脑CT图像输入训练好的神经网络模型，确定出血区域的位置。
4.根据权利要求3所述的基于深度学习的脑血肿分割方法，其特征在于，所述采用训练好的神经网络模型对待分割脑CT图像进行脑出血识别，还包括：
统计出血像素点，根据出血像素点计算出血面积。
5.根据权利要求4所述的基于深度学习的脑血肿分割方法，其特征在于，所述采用训练好的神经网络模型对待分割脑CT图像进行脑出血识别，还包括：
根据所述脑CT图像的切片厚度、切片层数以及每层脑CT图像的出血面积，计算脑血肿的体积。
6.一种基于深度学习的脑血肿分割系统，其特征在于，包括：
神经网络模型构建模块，用于构建神经网络模型，所述神经网络模型包括若干顺序连接的图像信息压缩模块和若干顺序连接的图像信息融合模块，其中，所述图像信息压缩模块包括依次顺序连接的第一自注意力卷积单元、第二自注意力卷积单元和池化层，所述图像信息融合模块包括依次顺序连接的上采样单元、特征图拼接单元和第三自注意力卷积单元，所述第一自注意力卷积单元用于降低其输入图像的通道数，所述第二自注意力卷积单元用于对其输入的图像进行特征提取，所述池化层用于对其输入的图像进行降维处理，所述上采样单元用于对其输入的图像进行上采样，所述特征图拼接单元用于将其输入的采样图像与同一级第二注意力卷积单元输出的降维图像在通道方向拼接，所述第三自注意力卷积单元用于对拼接后的图像进行多尺度融合；同一级的第二注意力卷积单元和特征图拼接单元满足如下条件：所述第二注意力卷积单元输出图像的维度与所述特征图拼接单元输入图像的维度相同；
样本图像获取模块，用于获取脑CT样本图像；
神经网络模型训练模块，用于以所述脑CT样本图像为输入，以所述脑CT样本图像中各像素点出血情况为标签，对所述神经网络模型进行训练；
脑出血识别模块，用于采用训练好的神经网络模型对待分割脑CT图像进行脑出血识别。
7.根据权利要求6所述的基于深度学习的脑血肿分割系统，其特征在于，所述第三自注意力卷积单元包括顺序连接的第一自注意力卷积单元和第二自注意力卷积子单元，所述第一自注意力卷积单元用于降低其输入图像的通道数，所述第二自注意力卷积子单元与所述第二自注意力卷积单元的结构参数相同。
8.根据权利要求6所述的基于深度学习的脑血肿分割系统，其特征在于，所述脑出血识别模块，具体包括：
将所述待分割脑CT图像输入训练好的神经网络模型，确定出血区域的位置。
9.根据权利要求8所述的基于深度学习的脑血肿分割系统，其特征在于，所述脑出血识别模块还包括：
统计出血像素点，根据出血像素点计算出血面积。
10.根据权利要求9所述的基于深度学习的脑血肿分割系统，其特征在于，所述脑出血识别模块还包括：
根据所述脑CT图像的切片厚度、切片层数以及每层脑CT图像的出血面积，计算脑血肿的体积。
CN202010517019.9A 2020-06-09 2020-06-09 一种基于深度学习的脑血肿分割方法及系统 Active CN111754520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010517019.9A CN111754520B (zh) 2020-06-09 2020-06-09 一种基于深度学习的脑血肿分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010517019.9A CN111754520B (zh) 2020-06-09 2020-06-09 一种基于深度学习的脑血肿分割方法及系统

Publications (2)

Publication Number Publication Date
CN111754520A CN111754520A (zh) 2020-10-09
CN111754520B true CN111754520B (zh) 2023-09-15

Family

ID=72675015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010517019.9A Active CN111754520B (zh) 2020-06-09 2020-06-09 一种基于深度学习的脑血肿分割方法及系统

Country Status (1)

Country Link
CN (1) CN111754520B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435212A (zh) * 2020-10-15 2021-03-02 杭州脉流科技有限公司 基于深度学习的脑部病灶区域体积得到方法、装置、计算机设备和存储介质
CN112614145B (zh) * 2020-12-31 2022-04-12 湘潭大学 一种基于深度学习的颅内出血ct图像分割方法
CN112634265B (zh) * 2021-01-04 2023-04-07 西北大学 基于dnn的胰腺全自动分割模型的构建、分割方法及系统
CN112990213B (zh) * 2021-02-07 2023-10-10 西北大学 一种基于深度学习的数字万用表字符识别系统和方法
CN113160151B (zh) * 2021-04-02 2023-07-25 浙江大学 基于深度学习及注意力机制的全景片龋齿深度识别方法
CN113139627B (zh) * 2021-06-22 2021-11-05 北京小白世纪网络科技有限公司 纵隔肿物识别方法、系统及装置
CN113538348B (zh) * 2021-06-29 2024-03-26 沈阳东软智能医疗科技研究院有限公司 一种颅脑磁共振弥散加权图像的处理方法及相关产品
CN114186617B (zh) * 2021-11-23 2022-08-30 浙江大学 一种基于分布式深度学习的机械故障诊断方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN109165667A (zh) * 2018-07-06 2019-01-08 中国科学院自动化研究所 基于自注意力机制的脑疾病分类系统
CN109271992A (zh) * 2018-09-26 2019-01-25 上海联影智能医疗科技有限公司 一种医学图像处理方法、系统、装置和计算机可读存储介质
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN110136133A (zh) * 2019-03-11 2019-08-16 嘉兴深拓科技有限公司 一种基于卷积神经网络的脑肿瘤分割方法
CN110136122A (zh) * 2019-05-17 2019-08-16 东北大学 一种基于注意力深度特征重建的脑mr图像分割方法
CN110163878A (zh) * 2019-05-28 2019-08-23 四川智盈科技有限公司 一种基于双重多尺度注意力机制的图像语义分割方法
CN110503630A (zh) * 2019-07-19 2019-11-26 江苏师范大学 一种基于三维深度学习模型的脑出血分类、定位与预测方法
CN110751187A (zh) * 2019-09-26 2020-02-04 上海联影智能医疗科技有限公司 异常区域图像生成网络的训练方法和相关产品
CN110827236A (zh) * 2019-09-25 2020-02-21 平安科技（深圳）有限公司 基于神经网络的脑组织分层方法、装置、计算机设备
CN110866909A (zh) * 2019-11-13 2020-03-06 上海联影智能医疗科技有限公司 图像生成网络的训练方法、图像预测方法和计算机设备
CN110910405A (zh) * 2019-11-20 2020-03-24 湖南师范大学 基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统
CN111079862A (zh) * 2019-12-31 2020-04-28 西安电子科技大学 基于深度学习的甲状腺乳头状癌病理图像分类方法
CN111160343A (zh) * 2019-12-31 2020-05-15 华南理工大学 一种基于Self-Attention的离线数学公式符号识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369642A (zh) * 2015-12-18 2018-08-03 加利福尼亚大学董事会 根据头部计算机断层摄影解释和量化急症特征
US10679352B2 (en) * 2016-11-07 2020-06-09 Institute Of Automation, Chinese Academy Of Sciences Method for automatic segmentation of brain tumors merging full convolution neural networks with conditional random fields
US10671918B2 (en) * 2017-10-24 2020-06-02 International Business Machines Corporation Attention based sequential image processing

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN109165667A (zh) * 2018-07-06 2019-01-08 中国科学院自动化研究所 基于自注意力机制的脑疾病分类系统
CN109271992A (zh) * 2018-09-26 2019-01-25 上海联影智能医疗科技有限公司 一种医学图像处理方法、系统、装置和计算机可读存储介质
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
CN110136133A (zh) * 2019-03-11 2019-08-16 嘉兴深拓科技有限公司 一种基于卷积神经网络的脑肿瘤分割方法
CN110136122A (zh) * 2019-05-17 2019-08-16 东北大学 一种基于注意力深度特征重建的脑mr图像分割方法
CN110163878A (zh) * 2019-05-28 2019-08-23 四川智盈科技有限公司 一种基于双重多尺度注意力机制的图像语义分割方法
CN110503630A (zh) * 2019-07-19 2019-11-26 江苏师范大学 一种基于三维深度学习模型的脑出血分类、定位与预测方法
CN110827236A (zh) * 2019-09-25 2020-02-21 平安科技（深圳）有限公司 基于神经网络的脑组织分层方法、装置、计算机设备
CN110751187A (zh) * 2019-09-26 2020-02-04 上海联影智能医疗科技有限公司 异常区域图像生成网络的训练方法和相关产品
CN110866909A (zh) * 2019-11-13 2020-03-06 上海联影智能医疗科技有限公司 图像生成网络的训练方法、图像预测方法和计算机设备
CN110910405A (zh) * 2019-11-20 2020-03-24 湖南师范大学 基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统
CN111079862A (zh) * 2019-12-31 2020-04-28 西安电子科技大学 基于深度学习的甲状腺乳头状癌病理图像分类方法
CN111160343A (zh) * 2019-12-31 2020-05-15 华南理工大学 一种基于Self-Attention的离线数学公式符号识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Automatic Segmentation of Intracerebral Hemorrhage from Brain CT Images;Anjali Gautam et al.;《Machine Intelligence and Signal Analysis》;全文 *
Interactive Medical Image Segmentation Using Deep Learning With Image-Specific Fine Tuning;Guotai Wang et al.;《IEEE Transactions on Medical Imaging》;全文 *
U-net:Convolutional networks for biomedical image segmentation;Ronneberger et al.;《18th International Conference on Medical Image Computing and Computer-Assisted Intervention》;全文 *
深度学习表达的图像特征训练与融合算法;陈 莹 等;《江苏师范大学学报（自然科学版）》;第36卷(第1期);全文 *

Also Published As

Publication number Publication date
CN111754520A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN111754520B (zh) 一种基于深度学习的脑血肿分割方法及系统
CN109165660B (zh) 一种基于卷积神经网络的显著物体检测方法
CN112767417B (zh) 一种基于级联U-Net网络的多模态图像分割方法
CN112950639B (zh) 一种基于SA-Net的MRI医学图像分割方法
CN109961446A (zh) Ct/mr三维图像分割处理方法、装置、设备及介质
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
CN113744271A (zh) 基于神经网络的视神经自动分割和受压迫程度测算方法
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN113393469A (zh) 基于循环残差卷积神经网络的医学图像分割方法和装置
CN112102259A (zh) 一种基于边界引导深度学习的图像分割算法
CN112288749A (zh) 一种基于深度迭代融合深度学习模型的颅骨图像分割方法
CN115809998A (zh) 基于E2C-Transformer网络的胶质瘤MRI数据分割方法
CN114821070A (zh) 一种基于改进U-Net型网络的心脏MRI分割方法
CN114119558B (zh) 一种自动生成鼻咽癌影像诊断结构化报告方法
CN116309679A (zh) 一种适用于多种模态的类mlp医学影像分割方法
CN116309615A (zh) 一种多模态mri脑肿瘤图像分割方法
CN113160261B (zh) 一种用于oct图像角膜层分割的边界增强卷积神经网络
CN112686912B (zh) 基于逐步学习和混合样本的急性脑卒中病变分割方法
CN114565626A (zh) 基于PSPNet改进的肺部CT图像分割算法
CN114937044A (zh) 一种轻量化图像分割方法、装置及存储介质
CN112529886B (zh) 一种基于Attention DenseUNet的MRI神经胶质瘤分割方法
CN114119637B (zh) 基于多尺度融合和拆分注意力的脑白质高信号分割方法
CN116597041B (zh) 一种脑血管病核磁影像清晰度优化方法、系统及电子设备
CN114638745B (zh) 一种基于多借鉴信息的医学影像智能转换方法
CN117078697B (zh) 一种基于级联模型融合的眼底病种检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant