CN114862868A - 基于ct灌注源数据的脑卒中最终梗死区分割方法 - Google Patents
基于ct灌注源数据的脑卒中最终梗死区分割方法 Download PDFInfo
- Publication number
- CN114862868A CN114862868A CN202210302760.2A CN202210302760A CN114862868A CN 114862868 A CN114862868 A CN 114862868A CN 202210302760 A CN202210302760 A CN 202210302760A CN 114862868 A CN114862868 A CN 114862868A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- perfusion source
- lstm
- perfusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010412 perfusion Effects 0.000 title claims abstract description 66
- 230000011218 segmentation Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 40
- 206010061216 Infarction Diseases 0.000 title claims abstract description 37
- 230000007574 infarction Effects 0.000 title claims abstract description 37
- 208000006011 Stroke Diseases 0.000 title abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000010606 normalization Methods 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 8
- 238000003709 image segmentation Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 230000005284 excitation Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 206010008190 Cerebrovascular accident Diseases 0.000 abstract description 8
- 230000002490 cerebral effect Effects 0.000 abstract description 8
- 206010008118 cerebral infarction Diseases 0.000 abstract description 3
- 208000026106 cerebrovascular disease Diseases 0.000 abstract description 3
- 238000002591 computed tomography Methods 0.000 description 52
- 238000010586 diagram Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 208000032382 Ischaemic stroke Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000007306 turnover Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011425 standardization method Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于CT灌注源数据的脑卒中最终梗死区分割方法，包括获取同一个患者的具有时间序列的CT灌注源图像数据，并输入到上位机中利用软件进行配准，对配准后CT灌注源图像进行归一化处理和采样处理得到16个图像帧；将16个图像帧输入到LSTM‑UNET网络进行图像分割，得到具有目标区域标记的分割结果图像；LSTM‑UNET网络包括依次连接的双向ConvLSTM网络和SE‑Unet网络，在U‑Net基线网络的4个编码器分支之间分别插入一个多尺度SE模块构成SE‑Unet网络。本发明利用CT灌注源数据中的时序信息，提高了脑梗死区域的图像分割能力，获得更精确的分割结果。
Description
技术领域
本发明涉及CT图像识别技术领域，具体地涉及基于CT灌注源数据的脑卒中最终梗死区分割方法。
背景技术
卒中已经成为我国中老年人身体健康和生命安全的首要威胁。利用计算机断层成像(Computed Tomography，简称CT)灌注影像对患者的脑部梗死区域进行分割能为缺血性卒中诊疗决策提供重要帮助。因此，基于CT灌注影像的梗死区域分割算法研究以及相应的辅助系统设计实现具有重要的意义。
目前的基于CT灌注影像的梗死区域分割的研究方法大致分为机器学习与非机器学习两种：非机器学习方法主要通过阈值法或统计学方法搭建自动化程序或系统来分割缺血性卒中的梗死区域。其中阈值法易受到数据分布的影响，普适性较差，而统计学的方法往往没有考虑影像的高维特征。这些方法不易处理实际影像中常出现的梗死区域形态多变以及正负例高度不平衡的情况，得到的模型一般不具有较好的泛化能力；目前的机器学习方法主要是将CT灌注源数据经由不同的数学模型转换和计算机伪彩处理转换成多模态影像，再使用机器学习和深度学习算法进行图像分割。这些方法处理的是转换后的多模态数据，没有充分利用CT灌注源数据中的时间序列信息。
源数据(Computed Tomography 4D Perfusion Weighted Imaging，CTP SourceData)，是具有时间序列的一套影像，是直接得到的未经处理的CT灌注影像，源数据为时间序列数据。源数据有着丰富的时间维度上的信息，病变组织和正常组织的灌注参数随时间变化情况存在较大的差异。
因此，利用源数据的时间维度的信息提升分割效果从而获得一种基于时间序列的CT灌注源数据脑卒中的最终梗死区分割方法，是一个值得研究的课题。
发明内容
本发明要解决的技术问题是提供基于CT灌注源数据的脑卒中最终梗死区分割方法，用来分割基于时间序列的CT灌注源数据脑卒中的最终梗死区的图像。
为了解决上述技术问题，本发明提供基于CT灌注源数据的脑卒中最终梗死区分割方法，包括；获取同一个患者的具有时间序列的CT灌注源图像数据，并输入到上位机中利用软件进行配准，获得配准后CT灌注源图像；对配准后CT灌注源图像进行归一化处理，然后进行采样处理得到16个图像帧；将16个图像帧输入到LSTM-UNET网络进行图像分割，得到具有目标区域标记的分割结果图像，并在上位机中显示输出分割结果图像；
所述LSTM-UNET网络包括依次连接的双向ConvLSTM网络和SE-Unet网络，SE-Unet网络包括在U-Net基线网络的4个编码器分支之间分别插入一个多尺度SE模块，前一个编码器分支的输出为多尺度SE模块的输入，多尺度SE模块的输出为后一个编码器分支的输入。
作为本发明的基于CT灌注源数据的脑卒中最终梗死区分割方法的改进：
所述归一化处理为：
其中，X表示每张图中的每一个像素值，Xmax图片中像素的最大值，Xmin表示图片中像素的最小值，Y表示X归一化后的像素值，Y在[0,1]之间。
作为本发明的基于CT灌注源数据的脑卒中最终梗死区分割方法的进一步改进：
所述采样处理具体为：将所述归一化后的每组CT灌注源图像，除时间维度以外的三个空间维度，包括长、宽和切片进行求和，得到一条总的时间-密度曲线，对时间-密度曲线采用三次样条插值法进行平滑，以时间--密度曲线增强起始点为起点，衰退结束时间点为终点，在该时间间隔之间均匀采样获得所述16个图像帧。
作为本发明的基于CT灌注源数据的脑卒中最终梗死区分割方法的进一步改进：
所述双向ConvLSTM网络由Forward ConvLSTM和Backword ConvLSTM构成，ForwardConvLSTM和Backword ConvLSTM均为ConvLSTM，网络包括输入门it、输出门ot、遗忘门ft和记忆单元Ct，ConvLSTM的计算公式如下：
其中，*表示卷积操作，
表示矩阵的按位置乘法(Hadmard Product)，t代表第t个时间步，Xt是t时间步的输入张量，Ht-1是t-1时间步的隐藏状态张量，Ct是t时间步的记忆单元张量，W和b分别是指对应张量的卷积核和偏置项，W和b的下标为区分具体的参数位置；
将前向序列和后向序列的最后一个序列输出进行合并(Concate)操作，作为特征提取模块的输出。
作为本发明的基于CT灌注源数据的脑卒中最终梗死区分割方法的进一步改进：
所述多尺度SE模块包括Squeeze操作与Excitation操作，Squeeze操作采用的自注意力的机制，在同一输入特征图上计算权重，然后将权重应用到该特征图中；Excitation操作为一个分支结构，由一个全连接层和两个后融合的分支构成，两个分支均包含两个激活函数和一个全连接层，分支中的全连接层的降维参数分别设置为4和8。
作为本发明的基于CT灌注源数据的脑卒中最终梗死区分割方法的进一步改进：
所述训练好的LSTM-UNET网络的获取过程为：
采集获取不同患者的具有时间序列的CT灌注的源图像，并由医生对梗死区域进行手动标注生成标签图像；利用软件分别对源图像和标签图像进行配准，然后使用垂直翻转、水平翻转、角度旋转、添加高斯噪声、区域裁剪的方式进行数据增强，将源图像和标签图像的数量进行扩充；然后对扩充后的源图像进行所述归一化处理和所述采样处理，得到归一化后采样出的16个图像帧后作为LSTM-UNET网络的训练与测试的输入图像，经过扩充后的标签图像作为对应输入图像的标签，按8:2的比例将输入图像和标签分为训练数据集和测试数据集；
将训练数据集输入所述LSTM-UNET网络，使用随机梯度下降优化方法优化目标函数El，采用三折交叉验证，一共训练3000轮迭代，得到训练好的pt模型文件；
使用所述LSTM-UNET网络加载训练好的pt模型文件，用测试数据集进行测试，得到与标签图像上手动标注区域十分接近的分割区域，从而验证并获得在线使用的所述LSTM-UNET网络。
作为本发明的基于CT灌注源数据的脑卒中最终梗死区分割方法的进一步改进：
所述目标函数为：
其中
表示标注图片，yj表示LSTM-UNET网络的输出。
本发明的有益效果主要体现在：
1、本发明只需要利用CT灌注源数据，即可对脑卒中梗死区域进行分割，无需转换成多模态数据后再进行处理；
2、本发明所述的LSTM-UNET网络，嵌入了双向ConvLSTM(BiConvLSTM)模块和多尺度SE模块，可以充分利用CT灌注源数据中的时序信息，提高了脑梗死区域的图像分割能力，获得更精确的分割结果。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为本发明基于CT灌注源数据的脑卒中最终梗死区分割方法的流程框图；
图2为基础网络U-Net的拓扑图；
图3为本发明采用的BiConvLSTM模块结构图；
图4为本发明采用的改进后的Squeeze-and-Excitation模块结构图；
图5为本发明的改进后的LSTM-UNET网络拓扑图；
图6为实验中U-Net基线网络和LSTM-UNET网络的实际分割结果展示图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
实施例1
基于CT灌注源数据的脑卒中最终梗死区分割方法，如图1-4所示，包括步骤如下：
S1、构建LSTM-UNET网络：
构建基于CT灌注源数据的脑卒中最终梗死区分割网络(简称为：LSTM-UNET网络)应用于CT灌注源数据的梗死区域分割场景：以U-Net网络为基线网络，在U-Net基线网络结构前引入双向ConvLSTM网络(简称为BiConvLSTM网络)，然后将多尺度SE(Squeeze-and-Excitation，简称SE)模块嵌入到U-Net基线网络的编码器分支，从而形成LSTM-UNET网络，如图5所示；
S101、搭建U-Net基线网络结构
U-Net基线网络结构如图2所示，U-Net基线网络由4个编码器模块和3个解码器模块构成，采用了3次“拼接”的特征融合方式，将深层次和浅层次的特征结合到一起，编码器分支用以提取输入的特征，解码器分支用以定位。
S102、构建Bi-Unet网络
由于CT灌注源数据具备时间维度的信息，U-Net基线网络无法对时间维度的信息进行处理，需要对基线网络进行改造，在U-Net基线网络结构前，引入BiConvLSTM网络，从而利用CT灌注源数据的时间维度信息。BiConvLSTM网络的输出作为U-Net基线网络的输入。BiConvLSTM网络的具体网络结构如图3所示，其中xt为按时间序列输入的张量，ForwardConvLSTM和Backword ConvLSTM分别从时间序列的前向和后向对输入张量进行特征提取，其中Forward ConvLSTM和Backword ConvLSTM均为ConvLSTM网络，由输入门it、输出门ot、遗忘门ft和记忆单元Ct组成，输入门it、输出门ot和遗忘门ft作为控制门来实现记忆单元Ct的访问更新；ConvLSTM的计算公式如下：
其中，*表示卷积操作，
表示矩阵的按位置乘法(Hadmard Product)，t代表第t个时间步，作为下标标识该参数所属的对应时间步，Xt是t时间步的输入张量，Ht-1是t-1时间步的隐藏状态张量，Ct是t时间步的记忆单元张量，W和b分别是指对应张量的卷积核和偏置项，是在训练过程中更新的参数，下标用作区分其具体的参数位置(如Wxi，表示输出门i里，输入张量X的卷积核)。
将前向序列和后向序列的最后一个序列输出进行合并(Concate)操作，作为特征提取模块的输出。
S103、将多尺度SE模块嵌入到U-Net基线网络的编码器分支；
引入BiConvLSTM网络后，模型可以实现对空间和通道(时间序列)信息的处理，但此时模型只能对输入特征图所有通道直接融合，忽视了其通道上的相关性，为了更好地利用通道信息来提取特征，在U-Net基线网络的4个编码器分支之间分别插入一个封装好的多尺度SE构成块形成SE-Unet网络；SE-Unet网络中前一个编码器分支的输出为多尺度SE模块的输入，多尺度SE模块的输出为后一个编码器分支的输入。
SE模块包括Squeeze操作与Excitation操作，Squeeze操作是将全局的空间信息压缩为通道编码，采用的是一种自注意力的机制，即在同一输入特征图上计算其权重，然后将权重应用到该特征图中；Excitation操作则是为了在通道聚合信息的基础上，为了降低模型计算的复杂度并提升稳定性，其在非线性变换上使用由两个全卷积层构成的bottleneck的结构，其中一个全卷积层起到降维的作用，经过Relu激活后再通过一个全连接层恢复维度，最后通过Sigmoid激活后与原始特征图相乘来应用学习到的权重信息。由于不同患者的CT灌注源数据在时间维度的变化存在差异，采用固定的降维参数可能会导致难以对时间维度信息进行建模，因此采用4，8两种不同的压缩尺寸对SE模块进行改进。
改进后的多尺度SE模块结构示意图如图4所示，输入经过一个GAP(globalaverage pooling)层和一个全连接层后输入两个分支，两个分支均由两个激活函数和一个全连接层构成，其中全连接层的降维参数分别设置为4和8，最后对两个分支输出的结果进行融合。
S2、图像采集并预处理
预处理是在图片上进行相关的操作，旨在提高它的质量为了增加下一个阶段的处理算法的精度和准确率。图像预处理后所得到的16个图像帧作为LSTM-UNET网络进行脑卒中最终梗死区分割的输入。
S201、采集CT灌注源图像并配准
由于数据来源、采集设备协议、采集时间、采集视角等不同，致使采集的影像画面在形态上存在不同程度的偏差。对不同模态、不同视场、不同时间下的影像通过一系列空间变换，让两幅图中对应于空间同一位置的点一一对应起来，使得两幅图像具有最大的相似度，达到匹配的目的。使用核磁共振成像(Nuclear Magnetic Resonance Imaging，简称NMRI)和计算机断层成像(Computed Tomography，简称CT)的综合分析工具库3D Slicer对CT进行一键配准，3D Slicer是一个用于CT的综合分析工具库，采用3D Slicer带有的配准模块Elastix。
通过在患者静脉快速团注射对比剂，然后对感兴趣区域进行连续CT扫描获取同一个患者的具有时间序列的CT灌注源图像数据，并输入到上位机中，利用3D Slicer软件进行配准，获得配准后CT灌注源图像；
S202、归一化
对配准后CT灌注源图像使用Min-Max标准化方法进行归一化处理，具体计算公式如下：
其中X表示每张图中的每一个像素值，Xmax表示这张图片中像素最大值，Xmin表示这张图片中像素最小值，Y表示X归一化后的像素值，Y在[0,1]之间；
S203、生成时间--密度曲线，确定采样范围，并采样
将归一化后的每组CT灌注源图像，除时间维度以外的三个空间维度(长、宽和切片)进行求和，得到一条总的时间-密度曲线，对时间-密度曲线采用三次样条插值法进行平滑，以时间--密度曲线增强起始点为起点，衰退结束时间点为终点，在该时间间隔之间均匀采样得到16个图像帧，将采样得到的16个图像帧作为实际使用LSTM-UNET网络进行脑卒中最终梗死区分割的输入。
S3、LSTM-UNET网络的训练与测试
S301、建立训练和测试数据集
采集获取不同患者的具有时间序列的CT灌注的源图像744份，并由医生对梗死区域进行手动标注生成744个标签图像，利用3D Slicer软件分别对源图像和标签图像进行配准；使用垂直翻转、水平翻转、角度旋转、添加高斯噪声、区域裁剪等图像变换的方式进行数据增强，将源图像和标签图像数量分别由744份扩充到3720份。然后对扩充后的3720份源图像按步骤202进行归一化处理和步骤203进行采样处理，得到3720份归一化后采样出的16个图像帧。以3720份归一化后采样出的16个图像帧作为LSTM-UNET网络的训练与测试的输入图像，3720份经过数据增强的扩充后的标签图像，作为对应输入图像的标签；
将输入图像和标签按8:2的比例分为训练数据集和测试数据集，即3000份输入图像和标签作为训练数据集，剩余的720份输入图像和标签作为测试数据集；训练数据集和测试数据集尽可能包含不同的患者的CT灌注源图像数据。
S302、建立损失函数
对LSTM-UNET网络的输出进行损失计算,使用L1 loss函数，其目标函数为：
其中
表示标注图片，yj表示LSTM-UNET网络的输出；
S303、训练：
使用训练数据集训练该LSTM-UNET网络参数来学习两组图像之间的非线性映射关系；
使用随机梯度下降优化方法优化目标函数El，在训练过程中采用三折交叉验证的验证方式：将训练数据集按照患者分成三份，每次将其中的两份作为训练集，另一份作为验证集，重复三次训练，并将三次训练利用验证集进行测试后得到的三次结果进行平均作为最后评价算法的指标；LSTM-UNET网络一共训练3000轮迭代，得到训练好的pt模型文件；pt模型文件中保存了神经网络节点权重和参数，用于LSTM-UNET网络的测试。
S304、测试
使用LSTM-UNET网络，加载训练好的pt模型文件，用测试数据集，即未参与训练的患者16帧图像集，作为LSTM-UNET网络的输入得到分割结果，成功得到与真实梗死区域(标签图像上手动的标注区域)十分接近的分割区域，从而验证并获得了可在线使用的的LSTM-UNET网络。
S04、在线使用LSTM-UNET网络分割得到患者得脑卒中最终梗死区
获取同一个患者的具有时间序列的CT灌注源图像数据，并输入到上位机中，利用3DSlicer软件进行配准，获得配准后CT灌注源图像；对配准后CT灌注源图像进行归一化处理；将归一化后的每组CT灌注源图像，除时间维度以外的三个空间维度(长、宽和切片)进行求和，得到时间-密度曲线，对时间-密度曲线采用三次样条插值法进行平滑，以时间--密度曲线增强起始点为起点，衰退结束时间点为终点，在该时间间隔之间均匀采样得到16个图像帧；使用步骤3获得的在线使用的LSTM-UNET网络对采样得到的16个图像帧进行图像分割，得到具有脑卒中目标区域标记的分割结果图像，并在上位机中显示输出分割结果图像。
实验1：
将实施例1中步骤S301建立训练和测试数据集所获得的3720份归一化后采样出的16帧图像作为实验数据集，分别输入到U-Net基线网络、Bi-Unet网络、SE-Unet网络和LSTM-UNET网络，从而获得各自的分割结果；Bi-Unet网络为基于U-Net基线网络，在U-Net基线网络结构前，引入BiConvLSTM网络；SE-Unet网络为基于U-Net基线网络，在U-Net基线网络的4个编码器分支之间分别插入封装好的SE模块；
对于上述4个对比网络的分割结果，分别使用DSC系数、灵敏度(Sensitivity)和豪斯多夫距离(Hausdorff Distance，简称HD)作为性能指标进行对比统计。为方便在不同性能指标之间进行平衡，在咨询相关合作医学专家后，以DSC系数为最重要的评价指标，因为DSC评价的是梗死区域整体的相似性，一般来说DSC越高，则预测的区域和实际的区域重合度越高，相似性越大，在DSC相近的情况下，使用其他指标作为补充对比。HausdorffDistance表明了两个区域之间的最大不匹配程度，其值越低，说明预测区域与实际区域越接近，但是由于具体点对距离是通过欧几里得度量标准计算，所以会受到梗死区域大小的部分影响。灵敏度表明了模型对单个体素的识别能力，灵敏度越高，说明模型对梗死体素的识别能力越高，但是当模型趋于将体素分类为梗死体素时，会导致灵敏度虚高，而预测的梗死区域与标注区域的相似程度反而下降，这种情况在一些梗死区域所占体素较少的困难样本中特别明显。对比实验结果如下表1所示：
表1对比网络分割结果的指标统计
以上结果显示了在U-Net网络模型中同时应用双向ConvLSTM与SE模块后(即本发明的LSTM-UNET网络)，各项指标均有提升，说明本发明的LSTM-UNET网络不论是整体损伤区域识别能力还是对单个体素的识别能力都有提升。
部分源数据在U-Net基线网络和LSTM-UNET网络中的实际分割结果，如图6所示。其中，为了方便对比，选择肉眼识别较好的Tmax多模态影像作为第一列，医生根据标注的实际梗死区域为第二列，U-Net基线网络的分割结果为第三列，本发明的LSTM-UNET网络的分割结果为第四列。从结果中可以看到，与U-Net基线网络相比，本发明的LSTM-UNET网络的分割效果明显提高，其漏检和错检的情况减少，并且预测区域与标注区域的相似性得到了提升。
最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。
Claims (7)
1.基于CT灌注源数据的脑卒中最终梗死区分割方法，其特征在于：
获取同一个患者的具有时间序列的CT灌注源图像数据，并输入到上位机中利用软件进行配准，获得配准后CT灌注源图像；对配准后CT灌注源图像进行归一化处理，然后进行采样处理得到16个图像帧；将16个图像帧输入到LSTM-UNET网络进行图像分割，得到具有目标区域标记的分割结果图像，并在上位机中显示输出分割结果图像；
所述LSTM-UNET网络包括依次连接的双向ConvLSTM网络和SE-Unet网络，SE-Unet网络包括在U-Net基线网络的4个编码器分支之间分别插入一个多尺度SE模块，前一个编码器分支的输出为多尺度SE模块的输入，多尺度SE模块的输出为后一个编码器分支的输入。
2.根据权利要求1所述的基于CT灌注源数据的脑卒中最终梗死区分割方法，其特征在于：
所述归一化处理为：
其中，X表示每张图中的每一个像素值，Xmax图片中像素的最大值，Xmin表示图片中像素的最小值，Y表示X归一化后的像素值，Y在[0，1]之间。
3.根据权利要求2所述的基于CT灌注源数据的脑卒中最终梗死区分割方法，其特征在于：
所述采样处理具体为：将所述归一化后的每组CT灌注源图像，除时间维度以外的三个空间维度，包括长、宽和切片进行求和，得到一条总的时间-密度曲线，对时间-密度曲线采用三次样条插值法进行平滑，以时间--密度曲线增强起始点为起点，衰退结束时间点为终点，在该时间间隔之间均匀采样获得所述16个图像帧。
4.根据权利要求3所述的基于CT灌注源数据的脑卒中最终梗死区分割方法，其特征在于：
所述双向ConvLSTM网络由Forward ConvLSTM和Backword ConvLSTM构成，ForwardConvLSTM和Backword ConvLSTM均为ConvLSTM，网络包括输入门it、输出门ot、遗忘门ft和记忆单元Ct，ConvLSTM的计算公式如下：
其中，*表示卷积操作，
表示矩阵的按位置乘法(Hadmard Product)，t代表第t个时间步，Xt是t时间步的输入张量，Ht-1是t-1时间步的隐藏状态张量，Ct是t时间步的记忆单元张量，W和b分别是指对应张量的卷积核和偏置项，W和b的下标为区分具体的参数位置；
将前向序列和后向序列的最后一个序列输出进行合并(Concate)操作，作为特征提取模块的输出。
5.根据权利要求4所述的基于CT灌注源数据的脑卒中最终梗死区分割方法，其特征在于：
所述多尺度SE模块包括Squeeze操作与Excitation操作，Squeeze操作采用的自注意力的机制，在同一输入特征图上计算其权重，然后将权重应用到该特征图中；Excitation操作为一个分支结构，由一个全连接层和两个后融合的分支构成，两个分支均包含两个激活函数和一个全连接层，分支中的全连接层的降维参数分别设置为4和8。
6.根据权利要求5所述的基于CT灌注源数据的脑卒中最终梗死区分割方法，其特征在于：
所述训练好的LSTM-UNET网络的获取过程为：
采集获取不同患者的具有时间序列的CT灌注的源图像，并由医生对梗死区域进行手动标注生成标签图像；利用软件分别对源图像和标签图像进行配准，然后使用垂直翻转、水平翻转、角度旋转、添加高斯噪声、区域裁剪的方式进行数据增强，将源图像和标签图像的数量进行扩充；然后对扩充后的源图像进行所述归一化处理和所述采样处理，得到归一化后采样出的16个图像帧后作为LSTM-UNET网络的训练与测试的输入图像，经过扩充后的标签图像作为对应输入图像的标签，按8∶2的比例将输入图像和标签分为训练数据集和测试数据集；
将训练数据集输入所述LSTM-UNET网络，使用随机梯度下降优化方法优化目标函数El，采用三折交叉验证，一共训练3000轮迭代，得到训练好的pt模型文件；
使用所述LSTM-UNET网络加载训练好的pt模型文件，用测试数据集进行测试，得到与标签图像上手动的标注区域十分接近的分割区域，从而验证并获得在线使用的所述LSTM-UNET网络。
7.根据权利要求6所述的基于CT灌注源数据的脑卒中最终梗死区分割方法，其特征在于：
所述目标函数为：
其中
表示标注图片，yj表示LSTM-UNET网络的输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210302760.2A CN114862868A (zh) | 2022-03-24 | 2022-03-24 | 基于ct灌注源数据的脑卒中最终梗死区分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210302760.2A CN114862868A (zh) | 2022-03-24 | 2022-03-24 | 基于ct灌注源数据的脑卒中最终梗死区分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114862868A true CN114862868A (zh) | 2022-08-05 |
Family
ID=82629100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210302760.2A Pending CN114862868A (zh) | 2022-03-24 | 2022-03-24 | 基于ct灌注源数据的脑卒中最终梗死区分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114862868A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020119679A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳先进技术研究院 | 三维左心房分割方法、装置、终端设备及存储介质 |
| CN113177943A (zh) * | 2021-06-29 | 2021-07-27 | 中南大学 | 一种脑卒中ct影像分割方法 |
| CN113935951A (zh) * | 2021-09-13 | 2022-01-14 | 南京邮电大学 | 一种三通道级联SEU-Nets肝肿瘤分割方法 |
-
2022
- 2022-03-24 CN CN202210302760.2A patent/CN114862868A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020119679A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳先进技术研究院 | 三维左心房分割方法、装置、终端设备及存储介质 |
| CN113177943A (zh) * | 2021-06-29 | 2021-07-27 | 中南大学 | 一种脑卒中ct影像分割方法 |
| CN113935951A (zh) * | 2021-09-13 | 2022-01-14 | 南京邮电大学 | 一种三通道级联SEU-Nets肝肿瘤分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| REZA AZAD等: "Bi-directional ConvLSTM U-Net with densley connected convolutions", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP (ICCVW)》, 5 March 2020 (2020-03-05) * |
| 徐宏伟;闫培新;吴敏;徐振宇;孙玉宝;: "基于残差双注意力U-Net模型的CT图像囊肿肾脏自动分割", 计算机应用研究, no. 07, 9 July 2019 (2019-07-09) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109978850B (zh) | 一种多模态医学影像半监督深度学习分割系统 | |
| CN110969626B (zh) | 基于3d神经网络的人脑核磁共振影像的海马体提取方法 | |
| CN114565761B (zh) | 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法 | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| CN112446891A (zh) | 基于U-Net网络脑胶质瘤的医学图像分割方法 | |
| CN112215844A (zh) | 基于ACU-Net的MRI多模态图像分割方法和系统 | |
| CN112132878B (zh) | 基于卷积神经网络的端到端大脑核磁共振图像配准方法 | |
| Mahapatra et al. | Visual saliency based active learning for prostate mri segmentation | |
| Maicas et al. | Pre and post-hoc diagnosis and interpretation of malignancy from breast DCE-MRI | |
| CN111242959A (zh) | 基于卷积神经网络的多模态医学图像的目标区域提取方法 | |
| CN111462146A (zh) | 一种基于时空智能体的医学图像多模态配准方法 | |
| Chen et al. | Skin lesion segmentation using recurrent attentional convolutional networks | |
| Yuan et al. | ResD-Unet research and application for pulmonary artery segmentation | |
| CN117274599A (zh) | 一种基于组合双任务自编码器的脑磁共振分割方法及系统 | |
| Mahapatra et al. | Visual saliency-based active learning for prostate magnetic resonance imaging segmentation | |
| Furuzuki et al. | A detection method for liver cancer region based on faster R-CNN | |
| CN116703837B (zh) | 一种基于mri图像的肩袖损伤智能识别方法及装置 | |
| CN114283406A (zh) | 细胞图像识别方法、装置、设备、介质及计算机程序产品 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| US20230115927A1 (en) | Systems and methods for plaque identification, plaque composition analysis, and plaque stability detection | |
| WO2023226217A1 (zh) | 微卫星不稳定预测系统及其构建方法、终端设备及介质 | |
| CN108154107B (zh) | 一种确定遥感图像归属的场景类别的方法 | |
| CN106709921B (zh) | 一种基于空间Dirichlet混合模型的彩色图像分割方法 | |
| CN114862868A (zh) | 基于ct灌注源数据的脑卒中最终梗死区分割方法 | |
| CN115564997A (zh) | 一种基于强化学习的病理切片扫描分析一体化方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |