CN116012388B - 急性缺血性脑卒中三维医学影像分割方法及成像方法 - Google Patents

急性缺血性脑卒中三维医学影像分割方法及成像方法 Download PDF

Info

Publication number
CN116012388B
CN116012388B CN202310312128.0A CN202310312128A CN116012388B CN 116012388 B CN116012388 B CN 116012388B CN 202310312128 A CN202310312128 A CN 202310312128A CN 116012388 B CN116012388 B CN 116012388B
Authority
CN
China
Prior art keywords
convolution
module
medical image
dimensional medical
acute ischemic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310312128.0A
Other languages
English (en)
Other versions
CN116012388A (zh
Inventor
匡湖林
王亚辉
刘锦
王建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202310312128.0A priority Critical patent/CN116012388B/zh
Publication of CN116012388A publication Critical patent/CN116012388A/zh
Application granted granted Critical
Publication of CN116012388B publication Critical patent/CN116012388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种急性缺血性脑卒中三维医学影像分割方法，包括获取急性缺血性脑卒中三维医学影像并预处理得到数据集；构建急性缺血性脑卒中三维医学影像分割模型并训练；将实际的目标三维医学影像输入模型中完成急性缺血性脑卒中三维医学影像分割。本发明还公开了一种包括所述急性缺血性脑卒中三维医学影像分割方法的成像方法。本发明提供的这种急性缺血性脑卒中三维医学影像分割方法及成像方法，通过结合卷积与Transformer作为编码器，能够实现全局特征与局部特征的有效建模，从而实现准确的急性缺血性脑卒中的三维医学影像分割和成像，而且本发明的可靠性高、精确性好且实用性好。

Description

急性缺血性脑卒中三维医学影像分割方法及成像方法
技术领域
本发明属于数字图像处理领域，具体涉及一种急性缺血性脑卒中三维医学影像分割方法及成像方法。
背景技术
随着经济技术的发展和人们生活水平的提高，医学也已经逐步进入智能化时代。而现代医学的快速发展，使得医学影像技术在临床医学和基础医学领域的作用越来越大。
急性缺血性脑卒中是现今较为严重的一类疾病。因此，针对该类疾病的研究，具有极大的意义。三维医学影像能够为急性缺血性脑卒中的研究提供极为丰富的研究信息。因此，针对急性缺血性脑卒中的三维医学影像分割就显得尤为重要。
现有的三维医学图像分割方法通常依赖于边缘检测、模板匹配技术、统计形状模型、活动轮廓、机器学习等。而随着卷积神经网络的出现，卷积神经网络在三维医学图像中迅速占据了主导地位，这种具有跳跃连接的编码器-解码器网络能够保留更多的细节，在广泛的医疗应用中取得了巨大的成功。而随着Transformer架构的出现，其所具有的强大的全局建模能力，迅速使得Transformer架构得到了广泛使用。
因此，已有研究人员将Transformer架构和卷积神经网络进行了结合，从而实现了相对理想的三维医学图像分割结果。但是，现有的该类方案，并没有有效的发挥出他们各自的优势；这使得现有的这类方案的分割效果并不理想，其分割精度较差，而且可靠性也不高。
发明内容
本发明的目的之一在于提供一种可靠性高、精确性好且实用性好的急性缺血性脑卒中三维医学影像分割方法。
本发明的目的之二在于提供一种包括了所述急性缺血性脑卒中三维医学影像分割方法的成像方法。
本发明提供的这种急性缺血性脑卒中三维医学影像分割方法，包括如下步骤：
S1. 获取现有的急性缺血性脑卒中三维医学影像；
S2. 对步骤S1获取的影像数据进行预处理，从而得到数据集；
S3. 基于卷积神经网络、轻量化Transformer架构、多头自注意力模块和多层感知机模块构建编码器，基于卷积神经网络和softmax模块构建解码器，从而构建包括了编码器和解码器的急性缺血性脑卒中三维医学影像分割初步模型；
S4. 采用步骤S2得到的数据集，对步骤S3构建的初步模型进行训练，得到最终的急性缺血性脑卒中三维医学影像分割模型；
S5. 获取实际的目标三维医学影像，并输入到步骤S4得到的急性缺血性脑卒中三维医学影像分割模型，从而完成急性缺血性脑卒中三维医学影像分割。
所述的步骤S2，具体包括如下步骤：
所述的预处理包括：图像裁剪、图像重采样和图像归一化；
所述图像裁剪具体为：设定像素阈值，并根据设定的像素阈值裁剪得到所需要目标的boundingbox（边界框）；
对裁剪后的图像进行重采样，用于保证所有图像具有相同的体素分辨率；
重采样完成后，采用Z-score（Z-分数）对图像进行归一化操作。
所述的步骤S3，具体包括如下步骤：
所述的急性缺血性脑卒中三维医学影像分割初步模型包括编码器和解码器；
所述的编码器包括依次串接的一个卷积模块和四个混合模块；基于卷积神经网络构建卷积模块；基于卷积神经网络、轻量化Transformer架构、多头自注意力模块和多层感知机模块构建混合模块；
所述的解码器包括串接的解码模块和softmax模块；基于卷积神经网络构建解码模块；softmax模块用于根据解码模块的输出，计算不同类别特征的概率。
所述的卷积模块，具体包括如下内容：
卷积模块由三个三维卷积组成，每一个卷积的卷积核大小均为3，而且三个卷积的步长依次为1、2和2。
所述的混合模块，具体包括如下内容：
所述的混合模块包括一个卷积子模块、一个轻量化Transformer子模块和一个融合子模块；卷积子模块和轻量化Transformer子模块并联，卷积子模块的输出和轻量化Transformer子模块的输出同时输入到融合子模块；卷积子模块用于对图像的局部特征进行建模，轻量化Transformer子模块用于对图像的全局特征进行建模，融合子模块用于实现局部特征与全局特征的交互，从而获得更有效的图像特征。
所述的卷积子模块包括两个串接的卷积-IN-LeakyReLU（卷积-归一化-激活函数）子模块；每一个卷积-IN-LeakyReLU子模块，均进行如下处理：对卷积子模块的输入特征，先采用第一卷积进行处理，然后再采用第二卷积进行下采样操作，第一卷积为三维卷积，卷积核为3，步长为1；第二卷积为三维卷积，卷积核为3，步长为2；接下来，通过InstanceNorm（实例归一化）进行归一化处理，处理过程表示为
Figure SMS_3
，其中X为输入特征，Y为输出特征，/>
Figure SMS_5
为均值，/>
Figure SMS_7
为方差，/>
Figure SMS_8
为误差系数，/>
Figure SMS_9
为待学习的第一参数，/>
Figure SMS_10
为待学习的第二参数；最后，采用LeakyReLU进行处理，处理过程表示为/>
Figure SMS_11
，其中/>
Figure SMS_1
为卷积-IN-LeakyReLU子模块的输出，/>
Figure SMS_2
为输入的特征图中的第i1个值，/>
Figure SMS_4
为设定的常数且取值范围为/>
Figure SMS_6
。
所述的所述的轻量化Transformer子模块包括一个自注意力层和一个多层感知机层；
采用如下算式表示自注意力层的处理过程：
Figure SMS_13
式中/>
Figure SMS_15
为自注意力层的处理结果，/>
Figure SMS_17
为线性投影函数，用于对所有注意力头的特征进行加权聚合；/>
Figure SMS_19
为级联操作；/>
Figure SMS_21
为H个注意力头的特征；第ii个注意力头的特征/>
Figure SMS_23
表示为/>
Figure SMS_25
，其中/>
Figure SMS_27
为Softmax函数计算，Q为查询矩阵且/>
Figure SMS_29
，/>
Figure SMS_30
为查询投影矩阵，/>
Figure SMS_31
为特征图第ii个值，K为键矩阵且/>
Figure SMS_32
，/>
Figure SMS_33
为键投影矩阵，V为值矩阵且/>
Figure SMS_34
，/>
Figure SMS_35
为值投影矩阵，/>
Figure SMS_12
为特征图的通道数，/>
Figure SMS_14
为通道注意力处理过程且表示
Figure SMS_16
，/>
Figure SMS_18
为全局平均池化且计算过程表示为/>
Figure SMS_20
，D为特征图的深度，H为特征图的高度，W为特征图的宽度，/>
Figure SMS_22
为特征图第i3，j3，k3维度的值，/>
Figure SMS_24
为逐点卷积操作，
Figure SMS_26
为非线性激活函数，/>
Figure SMS_28
为归一化函数；
采用如下算式表示多层感知机层的处理过程：
Figure SMS_37
式中/>
Figure SMS_39
为多层感知机层的输出特征；/>
Figure SMS_41
为第一线性函数，且/>
Figure SMS_43
，/>
Figure SMS_44
为线性投影矩阵，b为偏置；/>
Figure SMS_45
为第二线性函数，且/>
Figure SMS_46
；
Figure SMS_36
为高斯误差线性单元处理函数，且/>
Figure SMS_38
，/>
Figure SMS_40
为误差函数且/>
Figure SMS_42
；
最终，采用如下算式表示轻量化Transformer子模块的处理过程：
Figure SMS_48
Figure SMS_49
Figure SMS_51
式中/>
Figure SMS_52
为自注意力层的输出结果；/>
Figure SMS_53
为层归一化处理函数；/>
Figure SMS_54
为自注意力层的输入；/>
Figure SMS_55
为多层感知机层的输出结果；/>
Figure SMS_47
为平均池化操作，其核大小为3，步长为2；/>
Figure SMS_50
为逐点卷积操作，用于特征聚合。
所述的融合子模块，具体包括如下内容：
采用如下算式表示融合子模块的处理过程：
Figure SMS_61
Figure SMS_63
Figure SMS_65
Figure SMS_67
式中/>
Figure SMS_69
为卷积子模块的输出特征；/>
Figure SMS_71
为轻量化Transformer子模块的输出特征；/>
Figure SMS_72
为级联操作；/>
Figure SMS_57
为全局平均池化；/>
Figure SMS_58
为逐点卷积操作；/>
Figure SMS_60
为非线性激活函数；/>
Figure SMS_62
为批量归一化函数；/>
Figure SMS_64
为Sigmoid函数；/>
Figure SMS_66
为中间特征；/>
Figure SMS_68
为在通道维度进行分割的处理函数；/>
Figure SMS_70
为卷积分割特征；/>
Figure SMS_56
为轻量化Transformer分割特征；/>
Figure SMS_59
为融合子模块的输出特征。
所述的解码模块，具体包括如下内容：
解码模块包括四个解码卷积模块，且相邻的两个解码卷积模块之间采用反卷积进行上采样；每一个解码卷积模块与对应平行的编码器的输出进行跳跃连接；在每一层解码器中均包括深度监督机制；
所述的解码卷积模块包括两个相同且串联的卷积-IN-LeakyReLU层；每一个卷积-IN-LeakyReLU层，均进行如下处理：对解码卷积模块的输入特征，先采用第一卷积进行处理，然后再采用第二卷积进行下采样操作，第一卷积为三维卷积，卷积核为3，步长为1；第二卷积为三维卷积，卷积核为3，步长为2；接下来，通过InstanceNorm（实例归一化）进行归一化处理，处理过程表示为
Figure SMS_74
，其中X为输入特征，Y为输出特征，/>
Figure SMS_77
为均值，/>
Figure SMS_79
为方差，/>
Figure SMS_80
为误差系数，/>
Figure SMS_81
为待学习的第一参数，/>
Figure SMS_82
为待学习的第二参数；最后，采用LeakyReLU进行处理，处理过程表示为/>
Figure SMS_83
，其中/>
Figure SMS_73
为卷积-IN-LeakyReLU层的输出，/>
Figure SMS_75
为输入的特征图中的第i2个值，/>
Figure SMS_76
为设定的常数且取值范围为
Figure SMS_78
。
所述的softmax模块，具体包括如下内容：
将解码卷积模块的输出，输入到softmax模块中，以计算得到不同类别特征的概率；
采用如下算式计算得到概率：
Figure SMS_84
式中/>
Figure SMS_85
为特征图中第n个位置第p个类别的输出概率；/>
Figure SMS_86
为特征图第p个位置的值；K为类别的数目。
步骤S4所述的训练，具体包括如下步骤：
将模型输出的预测结果与真实的分割标签输入到损失函数中，并根据损失函数的结果对模型参数进行优化；
损失函数L的计算式为
Figure SMS_88
；/>
Figure SMS_90
和/>
Figure SMS_91
为设定的权重值，/>
Figure SMS_92
为Dice损失，且计算式为/>
Figure SMS_93
，TP代表真阳性体素的个数，FP代表假阳性体素的个数，FN代表假阴性体素的个数；/>
Figure SMS_94
为交叉熵损失，且计算式为/>
Figure SMS_95
，其中N为样本数量，/>
Figure SMS_87
为模型输出的预测结果，/>
Figure SMS_89
为真实的分割标签；
训练过程中，采用Adam优化器对模型的参数进行优化，并采用poly策略来调整学习率。
本发明还提供了一种包括了所述急性缺血性脑卒中三维医学影像分割方法的成像方法，还包括如下步骤：
S6. 将步骤S5得到的急性缺血性脑卒中三维医学影像分割结果，在实际的目标三维医学影像上进行标记和二次成像，从而得到带有急性缺血性脑卒中三维医学影像分割结果的三维医学影像。
本发明提供的这种急性缺血性脑卒中三维医学影像分割方法及成像方法，通过结合卷积与轻量化Transformer作为编码器，能够实现全局特征与局部特征的有效建模，从而实现准确的急性缺血性脑卒中的三维医学影像分割和成像，而且本发明的可靠性高、精确性好且实用性好。
附图说明
图1为本发明分割方法的方法流程示意图。
图2为本发明分割方法的编码器的结构示意图。
图3为本发明分割方法的融合子模块的结构示意图。
图4为本发明成像方法的方法流程示意图。
具体实施方式
如图1所示为本发明分割方法的方法流程示意图：本发明提供的这种急性缺血性脑卒中三维医学影像分割方法，包括如下步骤：
S1. 获取现有的急性缺血性脑卒中三维医学影像；
S2. 对步骤S1获取的影像数据进行预处理，从而得到数据集；具体包括如下步骤：
所述的预处理包括：图像裁剪、图像重采样和图像归一化；
所述图像裁剪具体为：设定像素阈值，并根据设定的像素阈值裁剪得到所需要目标的boundingbox（边界框）；裁剪的目的在于减少不必要的背景带来的误差，而且可以降低计算复杂度；
由于不同图像可能具有不同的像素间距，因此对裁剪后的图像进行重采样，用于保证所有图像具有相同的体素分辨率；
重采样完成后，采用Z-score（Z-分数）对图像进行归一化操作（Z 分数也称为标准分数，是以标准差为标准去度量某一原始分数偏离平均数的距离，从而确定这一数据在全体数据中的位置；而这个过程就称为标准化或归一化）；具体为采用如下算式进行归一化计算：
Figure SMS_96
式中/>
Figure SMS_97
为归一化之后的灰度值；/>
Figure SMS_98
为原始的灰度值；/>
Figure SMS_99
为图像灰度的均值；/>
Figure SMS_100
为图像灰度的标准差；具体实施时，在归一化前，首先将HU值大于60的置零，因为颅骨的HU值远大于脑组织的HU值，如果直接进行归一化操作会导致脑组织以及病灶的像素值非常小；
S3. 基于卷积神经网络、轻量化Transformer架构、多头自注意力模块和多层感知机模块构建编码器，基于卷积神经网络和softmax模块构建解码器，从而构建包括了编码器和解码器的急性缺血性脑卒中三维医学影像分割初步模型；具体包括如下步骤：
所述的急性缺血性脑卒中三维医学影像分割初步模型包括编码器和解码器；
如图2所示为所述的编码器的结构；编码器包括依次串接的一个卷积模块和四个混合模块（图中为混合模块1~混合模块4），基于卷积神经网络构建卷积模块；基于卷积神经网络、轻量化Transformer架构、多头自注意力模块和多层感知机模块构建混合模块；
其中，卷积模块具体包括如下内容：
卷积模块由三个三维卷积组成，每一个卷积的卷积核大小均为3，而且三个卷积的步长依次为1、2和2；
混合模块；具体包括如下内容：
所述的混合模块包括一个卷积子模块、一个轻量化Transformer子模块和一个融合子模块；卷积子模块和轻量化Transformer子模块并联，卷积子模块的输出和轻量化Transformer子模块的输出同时输入到融合子模块；卷积子模块用于对图像的局部特征进行建模，轻量化Transformer子模块用于对图像的全局特征进行建模，融合子模块用于实现局部特征与全局特征的交互，从而获得更有效的图像特征；
卷积子模块（图2中表示为卷积子模块
Figure SMS_101
）包括两个串接的卷积-IN-LeakyReLU子模块；每一个卷积-IN-LeakyReLU子模块，均进行如下处理：对卷积子模块的输入特征，先采用第一卷积进行处理，然后再采用第二卷积进行下采样操作，第一卷积为三维卷积，卷积核为3，步长为1；第二卷积为三维卷积，卷积核为3，步长为2；接下来，通过InstanceNorm（实例归一化）进行归一化处理，处理过程表示为/>
Figure SMS_103
，其中X为输入特征，Y为输出特征，/>
Figure SMS_105
为均值，/>
Figure SMS_107
为方差，/>
Figure SMS_109
为误差系数，/>
Figure SMS_111
为待学习的第一参数，/>
Figure SMS_112
为待学习的第二参数；最后，采用LeakyReLU进行处理，处理过程表示为/>
Figure SMS_102
，其中/>
Figure SMS_104
为卷积-IN-LeakyReLU子模块的输出，/>
Figure SMS_106
为输入的特征图中的第i1个值，/>
Figure SMS_108
为设定的常数且取值范围为/>
Figure SMS_110
；
轻量化Transformer子模块包括一个自注意力层和一个多层感知机层；
采用如下算式表示自注意力层的处理过程：
Figure SMS_115
式中/>
Figure SMS_117
为自注意力层的处理结果，/>
Figure SMS_119
为线性投影函数，用于对所有注意力头的特征进行加权聚合；/>
Figure SMS_121
为级联操作；/>
Figure SMS_123
为H个注意力头的特征；第ii个注意力头的特征
Figure SMS_125
表示为/>
Figure SMS_127
，其中/>
Figure SMS_129
为Softmax函数计算，Q为查询矩阵且/>
Figure SMS_130
，/>
Figure SMS_131
为查询投影矩阵，/>
Figure SMS_132
为特征图第ii个值，K为键矩阵且/>
Figure SMS_133
，/>
Figure SMS_134
为键投影矩阵，V为值矩阵且/>
Figure SMS_135
，/>
Figure SMS_136
为值投影矩阵，/>
Figure SMS_113
为特征图的通道数，/>
Figure SMS_114
为通道注意力处理过程且表示
Figure SMS_116
，/>
Figure SMS_118
为全局平均池化且计算过程表示为/>
Figure SMS_120
，D为特征图的深度，H为特征图的高度，W为特征图的宽度，/>
Figure SMS_122
为特征图第i3，j3，k3维度的值，/>
Figure SMS_124
为逐点卷积操作，/>
Figure SMS_126
为非线性激活函数，/>
Figure SMS_128
为归一化函数；
通过通道注意力处理过程对K进行处理，经过通道注意力后的K的空间维度大小为1，这样再与Q进行矩阵乘法时能够有效降低计算复杂度；通过Q，K相乘，再经过Softmax计算之后，这样就获得了不同空间位置的概率，此时其通道维度的大小为1，最后与原始操作中的V进行元素乘法，进一步降低计算复杂度；
采用如下算式表示多层感知机层的处理过程：
Figure SMS_138
式中/>
Figure SMS_140
为多层感知机层的输出特征；/>
Figure SMS_142
为第一线性函数，且/>
Figure SMS_144
，/>
Figure SMS_145
为线性投影矩阵，b为偏置；/>
Figure SMS_146
为第二线性函数，且/>
Figure SMS_147
；
Figure SMS_137
为高斯误差线性单元处理函数，且/>
Figure SMS_139
，/>
Figure SMS_141
为误差函数且/>
Figure SMS_143
；
最终，采用如下算式表示轻量化Transformer子模块的处理过程：
Figure SMS_148
Figure SMS_151
Figure SMS_152
式中/>
Figure SMS_153
为自注意力层的输出结果；/>
Figure SMS_154
为层归一化处理函数；/>
Figure SMS_155
为自注意力层的输入；/>
Figure SMS_156
为多层感知机层的输出结果；/>
Figure SMS_149
为平均池化操作，其核大小为3，步长为2；/>
Figure SMS_150
为逐点卷积操作，用于特征聚合；
对
Figure SMS_157
进行下采样和逐点卷积的目的在于，为了和卷积分支保持同样的分辨率大小；
在图2中，两个表示为“LyaerNorm函数”的模块，对应于上式中的两个LyaerNorm函数；图2中表示为“MultiLightAnn函数”的模块，对应于上式的
Figure SMS_158
部分；图2中表示为“MLP函数”的模块，对应于上式的/>
Figure SMS_159
部分；
融合子模块（具体结构如图3所示），具体包括如下内容：
采用如下算式表示融合子模块的处理过程：
Figure SMS_164
Figure SMS_166
Figure SMS_168
Figure SMS_170
式中/>
Figure SMS_172
为卷积子模块的输出特征；/>
Figure SMS_173
为轻量化Transformer子模块的输出特征；/>
Figure SMS_175
为级联操作，对应于图3中的“级联”方框；
Figure SMS_161
为全局平均池化，对应于图3中的“全局平均池化”方框；/>
Figure SMS_163
为逐点卷积操作，对应于图3中的“逐点卷积操作”方框；/>
Figure SMS_165
为非线性激活函数，对应于图3中的“非线性激活函数”方框；/>
Figure SMS_167
为批量归一化函数，对应于图3中的“批量归一化”方框；/>
Figure SMS_169
为Sigmoid函数；/>
Figure SMS_171
为中间特征，是为了进行特征提取以获得不同通道的权重；/>
Figure SMS_174
为在通道维度进行分割的处理函数；/>
Figure SMS_176
为卷积分割特征；/>
Figure SMS_160
为轻量化Transformer分割特征；/>
Figure SMS_162
为融合子模块的输出特征；
所述的解码器包括串接的解码模块和softmax模块；基于卷积神经网络构建解码模块；softmax模块用于根据解码模块的输出，计算不同类别特征的概率；
具体实施时，解码模块具体包括如下内容：
解码器用于将输入特征逐级上采样到原始分辨率，获得最终的分割结果；解码模块包括四个解码卷积模块，且相邻的两个解码卷积模块之间采用反卷积进行上采样（目的在于同时增加特征图的分辨率并聚合其通道数）；每一个解码卷积模块与对应平行的编码器的输出进行跳跃连接（目的在于充分利用编码器中低级的特征，能够更好的指导解码器获得更加准确的分割边缘）；在每一个解码卷积模块中均包括深度监督机制，可以进一步保证所提取到的特征的有效性；
所述的解码卷积模块包括两个相同且串联的卷积-IN-LeakyReLU层；每一个卷积-IN-LeakyReLU层，均进行如下处理：对解码卷积模块的输入特征，先采用第一卷积进行处理，然后再采用第二卷积进行下采样操作，第一卷积为三维卷积，卷积核为3，步长为1；第二卷积为三维卷积，卷积核为3，步长为2；接下来，通过InstanceNorm（实例归一化）进行处理，处理过程表示为
Figure SMS_178
，其中X为输入特征，Y为输出特征，/>
Figure SMS_180
为均值，/>
Figure SMS_182
为方差，/>
Figure SMS_184
为误差系数，/>
Figure SMS_185
为待学习的第一参数，/>
Figure SMS_186
为待学习的第二参数；最后，采用LeakyReLU进行处理，处理过程表示为/>
Figure SMS_187
，其中/>
Figure SMS_177
为卷积-IN-LeakyReLU层的输出，/>
Figure SMS_179
为输入的特征图中的第i2个值，/>
Figure SMS_181
为设定的常数且取值范围为/>
Figure SMS_183
；/>
softmax模块具体包括如下内容：
将解码卷积模块的输出，输入到softmax模块中，以计算得到不同类别特征的概率；
采用如下算式计算得到概率：
Figure SMS_188
式中/>
Figure SMS_189
为特征图中第n个位置第p个类别的输出概率；/>
Figure SMS_190
为特征图第p个位置的值；K为类别的数目；
S4. 采用步骤S2得到的数据集，对步骤S3构建的初步模型进行训练，得到最终的急性缺血性脑卒中三维医学影像分割模型；
具体实施时，训练具体包括如下步骤：
将模型输出的预测结果与真实的分割标签输入到损失函数中，并根据损失函数的结果对模型参数进行优化；
损失函数L的计算式为
Figure SMS_192
；/>
Figure SMS_193
和/>
Figure SMS_195
为设定的权重值，/>
Figure SMS_196
为Dice损失，且计算式为/>
Figure SMS_197
，TP代表真阳性体素的个数，FP代表假阳性体素的个数，FN代表假阴性体素的个数；/>
Figure SMS_198
为交叉熵损失，且计算式为
Figure SMS_199
，其中N为样本数量，/>
Figure SMS_191
为模型输出的预测结果，/>
Figure SMS_194
为真实的分割标签；
训练过程中，采用Adam优化器（Adaptive Moment Estimation，自适应矩估计优化器，是2014年提出的一种通用性极好的优化器，使用极为方便，梯度下降速度快）对模型的参数进行优化，并采用poly策略（一种常用的指数变换的策略）来调整学习率；具体实施时，Adam优化器的参数设置为
Figure SMS_200
，/>
Figure SMS_201
；初始学习率设置为0.01，训练时最大epoch设置为200；为了避免过拟合，权重衰减设置为0.00003。采用poly策略来调整学习率，其定义为/>
Figure SMS_202
，其中/>
Figure SMS_203
设置为0.9；
S5. 获取实际的目标三维医学影像，并输入到步骤S4得到的急性缺血性脑卒中三维医学影像分割模型，从而完成急性缺血性脑卒中三维医学影像分割。
为了说明本发明的分割方法的有效性，以下将本发明方法与现有方法进行对比：
CoTr：该方案的编码器是一个卷积和Transformer的混合架构，解码器为卷积架构。在编码器中，它先采用卷积获得不同尺度的特征，然后将high level（高级）的特征输入到Transformer编码器中以便进行全局特征建模。它的Transformer编码器采用的Deformable Transformer（可变形Transformer）用于减少计算复杂度。
nnFormer：该方案提出了一种新的Transformer与卷积结合的策略。在编码器中，它使用三维SwinTransformer进行特征提取，但是在相邻的SwinTransformer block之间，它使用卷积对特征图进行下采样以获得多尺度的特征表示。在解码器中，它同样使用三维SwinTransformer，并且使用反卷积来恢复图像的分辨率。
UNETR：该方法利用ViT作为编码器进行特征提取，然后将ViT提取到的不同尺度的特征跳接到解码器，以计算最终的语义分割输出。
在实验中，使用Dice（戴斯系数，用于计算两个字符串的相似度），Precision（精确度），Sensitivity（灵敏度），HD95（豪斯多夫距离，用于度量在度量空间中真子集之间的距离）和ASSD（平均表面距离，用于衡量两个表面之间的距离）评价指标来评估方法的性能。其中，Dice指标常用于评价医学图像分割的好坏，其值约接近1，表示分割结果越精确。其计算公式如下：
Figure SMS_204
HD95与ASSD表示两个集合之间的距离，其值越小表示分割性能越好。计算公式如下：/>
Figure SMS_206
Figure SMS_207
其中/>
Figure SMS_208
和/>
Figure SMS_209
分别表示G和M的边界点；/>
Figure SMS_210
为G边界的基数；/>
Figure SMS_211
为点x与/>
Figure SMS_205
中所有点之间的最短距离。
Precision与Sensitivity的计算公式如下：
Figure SMS_212
Figure SMS_213
式中TP，FN，FP分别表示真阳性，假阴性以及假阳性；
本实验所采用的数据为急性缺血性脑卒中数据集。将本发明方法和对比方法在相同的测试集上进行评估，实验结果如表1所示。其中，()内的数字为标准差。
表1本方法与对比方法的分割性能比较示意表
Figure SMS_214
表1中，UNETR方法为2021年发表的论文“UNETR: Transformers for 3D MedicalImage Segmentation”中提出的医学图像分割模型；nnFormer方法是由厦门大学和香港大学于2021年在论文“nnFormer: Interleaved Transformer for VolumetricSegmentation”中提出的一种基于交叉式结构的Transformer模型，主要用来处理医学影像分析中的3D影像分割问题；CoTr方法为2021年发表的论文“COTR: CorrespondenceTransformer for Matching Across Images”中提出的匹配网络，该网络的输入为两张图像以及其中一张图像中的任意一点，输出为另外一张图像上的对应匹配点。本发明方法首先利用卷积和轻量化Transformer进行医学影像的特征提取，由于脑卒中梗死病灶的大小形状在不同病人之间变换很大，采用卷积与轻量化Transformer相结合的特征提取模块能够结合局部与全局特征信息，能够更好地识别病灶的特征，从而实现更加准确的脑卒中梗死分割，同时本发明所设计的轻量化Transformer模块，能够在减少Transformer计算复杂度的同时保持其强大的全局建模能力，从而加快其推理速度。
从表1可以看到，本发明提出的方法在Dice和ASSD上取得了所有方法中好的性能。在测试集上进行模型评估得到五次实验的平均Dice、Precision、Sensitivity、HD95、ASSD分别为52.04(27.88)，61.41(27.84)，50.63(30.61)，36.46(36.71)，11.21(14.88)。
本发明方法在所有指标中均取得了最佳的结果。从表中能够发现，UNETR以及nnFormer的分割结果并不理想，这可能是由于数据集较小导致的。虽然这两种模型均为混合架构，但是UNETR只使用ViT进行特征提取，导致在训练数据较小时，其模型难以训练。而nnFormer仅采用卷积作为下采样模块，所以同样在数据集较小时无法得到较好的分割结果。CoTr首先利用卷积进行特征提取，然后将卷积编码器中高级特征输入到Transformer中进行全局特征建模，获得了较为理想的分割结果。而本发明方法在每一级都将局部特征与全局特征进行结合，获得了最佳的分割结果，这表明本发明方法能够更有效的进行脑卒中病灶特征的图像分割和提取，从而获得更加准确的分割结果。
如图4所示为本发明成像方法的方法流程示意图：本发明提供的这种包括了所述急性缺血性脑卒中三维医学影像分割方法的成像方法，包括如下步骤：
S1. 获取现有的急性缺血性脑卒中三维医学影像；
S2. 对步骤S1获取的影像数据进行预处理，从而得到数据集；
S3. 基于卷积神经网络、轻量化Transformer架构、多头自注意力模块和多层感知机模块构建编码器，基于卷积神经网络和softmax模块构建解码器，从而构建包括了编码器和解码器的急性缺血性脑卒中三维医学影像分割初步模型；
S4. 采用步骤S2得到的数据集，对步骤S3构建的初步模型进行训练，得到最终的急性缺血性脑卒中三维医学影像分割模型；
S5. 获取实际的目标三维医学影像，并输入到步骤S4得到的急性缺血性脑卒中三维医学影像分割模型，从而完成急性缺血性脑卒中三维医学影像分割；
S6. 将步骤S5得到的急性缺血性脑卒中三维医学影像分割结果，在实际的目标三维医学影像上进行标记和二次成像，从而得到带有急性缺血性脑卒中三维医学影像分割结果的三维医学影像。
具体实施时，本发明的成像方法可以用于现有的三维医学影像的获取设备；具体使用时，将本发明的成像方法融合到现有的三维医学影像获取设备中，然后采用现有技术获取原始的脑部图像，然后采用所述的成像方法对原始的脑部图像进行二次成像，然后得到带有急性缺血性脑卒中分割结果的脑部图像，并直接输出带有成像结果的脑部图像。这样，医务工作者（包括临床医生、影像科医生或实验人员等）都能够获取到带有急性缺血性脑卒中分割结果的脑部图像，这样将极大地方便现有的使用人员。

Claims (4)

1.一种急性缺血性脑卒中三维医学影像分割方法，其特征在于包括如下步骤：
S1. 获取现有的急性缺血性脑卒中三维医学影像；
S2. 对步骤S1获取的影像数据进行预处理，从而得到数据集；
S3. 基于卷积神经网络、轻量化Transformer架构、多头自注意力模块和多层感知机模块构建编码器，基于卷积神经网络和softmax模块构建解码器，从而构建包括了编码器和解码器的急性缺血性脑卒中三维医学影像分割初步模型；具体包括如下步骤：
所述的急性缺血性脑卒中三维医学影像分割初步模型包括编码器和解码器；
所述的编码器包括依次串接的一个卷积模块和四个混合模块；基于卷积神经网络构建卷积模块；基于卷积神经网络、轻量化Transformer架构、多头自注意力模块和多层感知机模块构建混合模块；
所述的解码器包括串接的解码模块和softmax模块；基于卷积神经网络构建解码模块；softmax模块用于根据解码模块的输出，计算不同类别特征的概率；
具体实施时，所述的卷积模块，具体包括如下内容：
卷积模块由三个三维卷积组成，每一个卷积的卷积核大小均为3，而且三个卷积的步长依次为1、2和2；
所述的混合模块，具体包括如下内容：
所述的混合模块包括一个卷积子模块、一个轻量化Transformer子模块和一个融合子模块；卷积子模块和轻量化Transformer子模块并联，卷积子模块的输出和轻量化Transformer子模块的输出同时输入到融合子模块；卷积子模块用于对图像的局部特征进行建模，轻量化Transformer子模块用于对图像的全局特征进行建模，融合子模块用于实现局部特征与全局特征的交互，从而获得更有效的图像特征；
所述的卷积子模块包括两个串接的卷积-IN-LeakyReLU子模块；每一个卷积-IN-LeakyReLU子模块，均进行如下处理：对卷积子模块的输入特征，先采用第一卷积进行处理，然后再采用第二卷积进行下采样操作，第一卷积为三维卷积，卷积核为3，步长为1；第二卷积为三维卷积，卷积核为3，步长为2；接下来，通过InstanceNorm进行处理，处理过程表示为
Figure QLYQS_2
，其中X为输入特征，Y为输出特征，/>
Figure QLYQS_3
为均值，/>
Figure QLYQS_5
为方差，/>
Figure QLYQS_7
为误差系数，/>
Figure QLYQS_9
为待学习的第一参数，/>
Figure QLYQS_10
为待学习的第二参数；最后，采用LeakyReLU进行处理，处理过程表示为/>
Figure QLYQS_11
，其中/>
Figure QLYQS_1
为卷积-IN-LeakyReLU子模块的输出，/>
Figure QLYQS_4
为输入的特征图中的第i1个值，/>
Figure QLYQS_6
为设定的常数且取值范围为/>
Figure QLYQS_8
；
所述的轻量化Transformer子模块包括一个自注意力层和一个多层感知机层；
采用如下算式表示自注意力层的处理过程：
Figure QLYQS_13
式中/>
Figure QLYQS_14
为自注意力层的处理结果，/>
Figure QLYQS_16
为线性投影函数，用于对所有注意力头的特征进行加权聚合；/>
Figure QLYQS_18
为级联操作；/>
Figure QLYQS_20
为H个注意力头的特征；第ii个注意力头的特征
Figure QLYQS_22
表示为/>
Figure QLYQS_24
，其中/>
Figure QLYQS_26
为Softmax函数计算，Q为查询矩阵且/>
Figure QLYQS_28
，/>
Figure QLYQS_30
为查询投影矩阵，/>
Figure QLYQS_31
为特征图第ii个值，K为键矩阵且/>
Figure QLYQS_32
，/>
Figure QLYQS_33
为键投影矩阵，V为值矩阵且/>
Figure QLYQS_34
，/>
Figure QLYQS_35
为值投影矩阵，
Figure QLYQS_12
为特征图的通道数，/>
Figure QLYQS_15
为通道注意力处理过程且表示
Figure QLYQS_17
，/>
Figure QLYQS_19
为全局平均池化且计算过程表示为/>
Figure QLYQS_21
，，D为特征图的深度，H为特征图的高度，W为特征图的宽度，/>
Figure QLYQS_23
为特征图第i3，j3，k3维度的值，/>
Figure QLYQS_25
为逐点卷积操作，/>
Figure QLYQS_27
为非线性激活函数，/>
Figure QLYQS_29
为归一化函数；
采用如下算式表示多层感知机层的处理过程：
Figure QLYQS_38
式中/>
Figure QLYQS_39
为多层感知机层的输出特征；/>
Figure QLYQS_41
为第一线性函数，且/>
Figure QLYQS_43
，/>
Figure QLYQS_44
为线性投影矩阵，b为偏置；/>
Figure QLYQS_45
为第二线性函数，且/>
Figure QLYQS_46
；
Figure QLYQS_36
为高斯误差线性单元处理函数，且/>
Figure QLYQS_37
，/>
Figure QLYQS_40
为误差函数且/>
Figure QLYQS_42
；
最终，采用如下算式表示轻量化Transformer子模块的处理过程：
Figure QLYQS_48
Figure QLYQS_50
Figure QLYQS_51
式中/>
Figure QLYQS_52
为自注意力层的输出结果；/>
Figure QLYQS_53
为层归一化处理函数；/>
Figure QLYQS_54
为自注意力层的输入；/>
Figure QLYQS_55
为多层感知机层的输出结果；/>
Figure QLYQS_47
为平均池化操作，其核大小为3，步长为2；/>
Figure QLYQS_49
为逐点卷积操作，用于特征聚合；
所述的融合子模块，具体包括如下内容：
采用如下算式表示融合子模块的处理过程：
Figure QLYQS_61
Figure QLYQS_63
Figure QLYQS_65
Figure QLYQS_67
式中/>
Figure QLYQS_69
为卷积子模块的输出特征；/>
Figure QLYQS_71
为轻量化Transformer子模块的输出特征；/>
Figure QLYQS_72
为级联操作；/>
Figure QLYQS_56
为全局平均池化；
Figure QLYQS_58
为逐点卷积操作；/>
Figure QLYQS_60
为非线性激活函数；/>
Figure QLYQS_62
为批量归一化函数；/>
Figure QLYQS_64
为Sigmoid函数；/>
Figure QLYQS_66
为中间特征；/>
Figure QLYQS_68
为在通道维度进行分割的处理函数；/>
Figure QLYQS_70
为卷积分割特征；/>
Figure QLYQS_57
为轻量化Transformer分割特征；/>
Figure QLYQS_59
为融合子模块的输出特征；
所述的解码模块，具体包括如下内容：
解码模块包括四个解码卷积模块，且相邻的两个解码卷积模块之间采用反卷积进行上采样；每一个解码卷积模块与对应平行的编码器的输出进行跳跃连接；在每一个解码卷积模块中均包括深度监督机制；
所述的解码卷积模块包括两个相同且串联的卷积-IN-LeakyReLU层；每一个卷积-IN-LeakyReLU层，均进行如下处理：对解码卷积模块的输入特征，先采用第一卷积进行处理，然后再采用第二卷积进行下采样操作，第一卷积为三维卷积，卷积核为3，步长为1；第二卷积为三维卷积，卷积核为3，步长为2；接下来，通过InstanceNorm进行处理，处理过程表示为
Figure QLYQS_74
，其中X为输入特征，Y为输出特征，/>
Figure QLYQS_76
为均值，/>
Figure QLYQS_78
为方差，/>
Figure QLYQS_80
为误差系数，/>
Figure QLYQS_81
为待学习的第一参数，/>
Figure QLYQS_82
为待学习的第二参数；最后，采用LeakyReLU进行处理，处理过程表示为/>
Figure QLYQS_83
，其中/>
Figure QLYQS_73
为卷积-IN-LeakyReLU层的输出，/>
Figure QLYQS_75
为输入的特征图中的第i2个值，/>
Figure QLYQS_77
为设定的常数且取值范围为/>
Figure QLYQS_79
；
所述的softmax模块，具体包括如下内容：
将解码卷积模块的输出，输入到softmax模块中，以计算得到不同类别特征的概率；
采用如下算式计算得到概率：
Figure QLYQS_84
式中/>
Figure QLYQS_85
为特征图中第n个位置第p个类别的输出概率；/>
Figure QLYQS_86
为特征图第p个位置的值；K为类别的数目；
S4. 采用步骤S2得到的数据集，对步骤S3构建的初步模型进行训练，得到最终的急性缺血性脑卒中三维医学影像分割模型；
S5. 获取实际的目标三维医学影像，并输入到步骤S4得到的急性缺血性脑卒中三维医学影像分割模型，从而完成急性缺血性脑卒中三维医学影像分割。
2.根据权利要求1所述的急性缺血性脑卒中三维医学影像分割方法，其特征在于所述的步骤S2，具体包括如下步骤：
所述的预处理包括：图像裁剪、图像重采样和图像归一化；
所述图像裁剪具体为：设定像素阈值，并根据设定的像素阈值裁剪得到所需要目标的边界框；
对裁剪后的图像进行重采样，用于保证所有图像具有相同的体素分辨率；
重采样完成后，采用Z-分数对图像进行归一化操作。
3.根据权利要求2所述的急性缺血性脑卒中三维医学影像分割方法，其特征在于步骤S4所述的训练，具体包括如下步骤：
将模型输出的预测结果与真实的分割标签输入到损失函数中，并根据损失函数的结果对模型参数进行优化；
损失函数L的计算式为
Figure QLYQS_88
；/>
Figure QLYQS_90
和/>
Figure QLYQS_91
为设定的权重值，/>
Figure QLYQS_92
为Dice损失，且计算式为/>
Figure QLYQS_93
，TP代表真阳性体素的个数，FP代表假阳性体素的个数，FN代表假阴性体素的个数；/>
Figure QLYQS_94
为交叉熵损失，且计算式为
Figure QLYQS_95
，其中N为样本数量，/>
Figure QLYQS_87
为模型输出的预测结果，/>
Figure QLYQS_89
为真实的分割标签；
训练过程中，采用Adam优化器对模型的参数进行优化，并采用poly策略来调整学习率。
4.一种包括了权利要求1~3之一所述的急性缺血性脑卒中三维医学影像分割方法的成像方法，其特征在于还包括如下步骤：
S6. 将步骤S5得到的急性缺血性脑卒中三维医学影像分割结果，在实际的目标三维医学影像上进行标记和二次成像，从而得到带有急性缺血性脑卒中三维医学影像分割结果的三维医学影像。
CN202310312128.0A 2023-03-28 2023-03-28 急性缺血性脑卒中三维医学影像分割方法及成像方法 Active CN116012388B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310312128.0A CN116012388B (zh) 2023-03-28 2023-03-28 急性缺血性脑卒中三维医学影像分割方法及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310312128.0A CN116012388B (zh) 2023-03-28 2023-03-28 急性缺血性脑卒中三维医学影像分割方法及成像方法

Publications (2)

Publication Number Publication Date
CN116012388A CN116012388A (zh) 2023-04-25
CN116012388B true CN116012388B (zh) 2023-06-13

Family

ID=86021458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310312128.0A Active CN116012388B (zh) 2023-03-28 2023-03-28 急性缺血性脑卒中三维医学影像分割方法及成像方法

Country Status (1)

Country Link
CN (1) CN116012388B (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191476B (zh) * 2018-09-10 2022-03-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
WO2022226771A1 (zh) * 2021-04-27 2022-11-03 京东方科技集团股份有限公司 图像处理方法和图像处理装置
CN113177943B (zh) * 2021-06-29 2021-09-07 中南大学 一种脑卒中ct影像分割方法
CN114429607B (zh) * 2022-01-24 2024-03-29 中南大学 一种基于Transformer的半监督视频目标分割方法
CN114820491A (zh) * 2022-04-18 2022-07-29 汕头大学 一种基于小样本学习的多模态脑卒中病变分割方法和系统
CN115619706A (zh) * 2022-06-27 2023-01-17 青岛科技大学 一种基于深度学习的肺结节检测方法
CN115294023A (zh) * 2022-07-04 2022-11-04 清华大学 肝脏肿瘤自动分割方法及装置
CN115330817A (zh) * 2022-08-25 2022-11-11 上海健康医学院 基于Swin-Unet和形态学处理的气胸病灶分割方法及相关设备
CN115809998A (zh) * 2022-12-07 2023-03-17 浙江中医药大学 基于E2C-Transformer网络的胶质瘤MRI数据分割方法

Also Published As

Publication number Publication date
CN116012388A (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN107766894B (zh) 基于注意力机制和深度学习的遥感图像自然语言生成方法
CN111145181B (zh) 基于多视角分离卷积神经网络的骨骼ct图像三维分割方法
CN112270347A (zh) 一种基于改进ssd的医疗废弃物分类检测方法
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN116612335B (zh) 一种基于对比学习的少样本细粒度图像分类方法
CN115311194A (zh) 一种基于transformer和SE块的CT自动肝脏图像分割方法
CN117830788B (zh) 一种多源信息融合的图像目标检测方法
CN112529886A (zh) 一种基于Attention DenseUNet的MRI神经胶质瘤分割方法
CN116468732A (zh) 基于深度学习的肺部ct影像分割方法及成像方法
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及系统
CN116258914B (zh) 基于机器学习及局部和全局特征融合的遥感图像分类方法
CN116012388B (zh) 急性缺血性脑卒中三维医学影像分割方法及成像方法
CN112863650A (zh) 一种基于卷积与长短期记忆神经网络的心肌病识别系统
CN116993639A (zh) 基于结构重参数化的可见光与红外图像融合方法
CN116188435A (zh) 一种基于模糊逻辑的医学图像深度分割方法
CN116310335A (zh) 一种基于Vision Transformer的翼状胬肉病灶区域的分割方法
CN115937590A (zh) 一种并联融合CNN和Transformer的皮肤病图像分类方法
CN114022494A (zh) 一种基于轻型卷积神经网络和知识蒸馏的中医舌图像自动分割方法
CN117876370B (zh) 基于三维轴向Transformer模型的CT图像肾脏肿瘤分割系统
López-Cifuentes et al. Attention-based Knowledge Distillation in Multi-attention Tasks: The Impact of a DCT-driven Loss
Wei et al. Cervical Glandular Cell Detection from Whole Slide Image with Out-Of-Distribution Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant