CN113177943B - 一种脑卒中ct影像分割方法 - Google Patents

一种脑卒中ct影像分割方法 Download PDF

Info

Publication number
CN113177943B
CN113177943B CN202110727412.5A CN202110727412A CN113177943B CN 113177943 B CN113177943 B CN 113177943B CN 202110727412 A CN202110727412 A CN 202110727412A CN 113177943 B CN113177943 B CN 113177943B
Authority
CN
China
Prior art keywords
image
convolution
original
level
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110727412.5A
Other languages
English (en)
Other versions
CN113177943A (zh
Inventor
匡湖林
刘锦
王建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202110727412.5A priority Critical patent/CN113177943B/zh
Publication of CN113177943A publication Critical patent/CN113177943A/zh
Application granted granted Critical
Publication of CN113177943B publication Critical patent/CN113177943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Abstract

本发明公开了一种脑卒中CT影像分割方法，包括对缺血性脑卒中CT影像翻转，并将原始CT影像和翻转CT影像进行预处理；构建孪生多级编码器，计算模块来计算两个编码器每一级的特征差异，利用多级特征融合模块来融合特征；构建共享解码器；设计联合损失函数，在训练集上训练到最优分割模型；最后利用训练好的分割模型对未知分割标签的测试集进行缺血性脑卒中梗死分割。本发明利用特征差异计算模块来计算两个编码器每一级的特征差异，利用多级特征融合模块来融合的全局和局部特征；能够较准确的分割出CT影像中的梗死，为提升缺血性脑卒中诊断效率和准确度、降低致死率和致残率，提供了技术支撑和参考。

Description

一种脑卒中CT影像分割方法
技术领域
本发明属于图像数据处理技术领域，具体涉及一种脑卒中CT影像分割方法。
背景技术
脑卒中严重危害中国国民健康。急性缺血性脑卒中大约占我国脑卒中的70%，是最常见的脑卒中类型。由于缺血性脑卒中治疗时间窗短，采集时间较短、费用较低的计算机断层扫描（CT）成为了缺血性脑卒中临床中首选的影像检查技术。缺血性脑卒中的梗死病灶体积是评估患者脑卒中严重程度和治疗决策的重要指标，现在一般通过专家人工对CT影像进行梗死分割，但专家进行梗死分割是非常耗时的，并且存在较大的主观性和个体差异。因此越来越多的研究者关注基于CT影像的自动缺血性脑卒中梗死分割。
缺血性脑卒中梗死分割方法可以分为基于机器学习和深度学习这两种。尽管传统的机器学习比如随机森林（RF）和支持向量机（SVM）比较高效，但分割性能欠佳。随着深度学习和计算机技术的不断发展和进步，基于深度学习的梗死分割方法成为了CT影像分割非常重要的工具。目前基于核磁共振成像（MRI）的深度学习梗死分割方法取得了较好的分割性能。但由于CT中梗死与正常组织对比度较低等挑战，因此目前基于CT的深度学习梗死分割方法的效率还需要进一步提升。
大多数基于CT的梗死分割方法是一些通用模型和技术的改进，比如U-Net和注意力机制等，几乎没有考虑具体疾病的特性。缺血性脑卒中梗死有以下特点：（1）梗死区域的亮度会比大脑对侧具有相同解剖结构的正常区域低；（2）梗死在空间位置上具有一定的连续性。同时现有基于CT的梗死分割方法中应用的注意力机制大多是通道注意力机制，无法处理空间位置注意力机制来模拟梗死的空间位置连续性，准确度低。
发明内容
本发明的目的在于提供一种脑卒中CT影像分割方法，该方法能够提高缺血性脑卒中CT影像梗死分割的准确度。
本发明提供的这种脑卒中CT影像分割方法，包括如下步骤：
S1. 获取原始CT影像，并进行预处理；
S2. 构建一个孪生编码器，每个编码器具有相同结构和参数，用于提取多级卷积特征来表征梗死；
S3. 计算孪生编码器每一级的左右特征差异；
S4. 将原始CT影像对应编码器的所有特征进行融合，并输入到对应解码器中；
S5. 构建一个共享的、与编码器结构对称的解码器，利用原始CT影像对应编码器的多级融合特征和每一级差异特征来生成与原始CT影像大小一致的特征图；
S6. 生成联合损失函数，训练出一个最优的CT影像梗死分割模型；
S7. 通过训练得到的CT影像梗死分割模型，对未知分类标签的实际CT影像进行梗死分割。
所述的步骤S1具体为，将获得的每个脑部CT影像进行横断面左右翻转及配准以获取翻转CT影像，对原始CT影像和翻转CT影像进行处理；将每位患者的三维CT影像在横断面上进行左右翻转，为了确保翻转后影像中大脑解剖结构与原始CT影像相同，再将左右翻转生成的翻转CT影像配准到原始CT影像空间，并对原始CT影像和翻转CT影像进行预处理，预处理包括去脑颅和归一化；同时，将脑部CT影像以横断面上的中心线为基准进行左右翻转；去脑颅包括像素亮度阈值法，去掉亮度大于第一设定值的像素；同时为了去除脑脊髓液的干扰，去除亮度小于第二设定值的像素；归一化用于克服不同患者CT影像中亮度分布差异，具体包括Z-score标准化方法：
Figure DEST_PATH_IMAGE001
其中，z i 为像素i归一化之后的亮度值；x i 为像素i的亮度值；μ为所有像素亮度的均值；σ为所有像素亮度的方差。
所述的步骤S2具体包括如下步骤：
A1. 构建原始5维张量和翻转5维张量；
A2. 构建孪生编码器，孪生编码器包括原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 。
所述的步骤A1具体包括，选取N个原始CT影像及其对应的翻转CT影像，构建原始5维张量和翻转5维张量，大小均为N*H*W*Z*1；其中，N为用来训练的患者个数；H为CT影像横断面每一帧的高；W为CT影像横断面每一帧的宽；Z为CT影像横断面的帧数；1是输入张量的特征通道数；。
所述的步骤A2具体包括，原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 具有相同的网络结构，均包含L级，每一级包含一个批归一化层和一个ReLU层，卷积核为3*3*3；级与级之间进行一个2*2*2的最大值池化下采样操作；第l级的卷积层中卷积核个数为2 l-1 C，C为第1级卷积层的卷积核个数；输入层对应的级为编码器的第1级，下采样之后的级为第2级，以此类推给每一个层级编号。
所述的步骤S3具体包括如下步骤：
B1. 对孪生编码器的第l级特征相减，并进行1*1*1卷积得到粗略差异特征
Figure 347041DEST_PATH_IMAGE002
，具体为；
Figure DEST_PATH_IMAGE003
其中，
Figure 689160DEST_PATH_IMAGE004
为1*1*1卷积的参数；
Figure DEST_PATH_IMAGE005
表示卷积操作；
Figure 475851DEST_PATH_IMAGE006
为原始CT影像对应的编码器的特征；
Figure DEST_PATH_IMAGE007
为翻转CT影像对应的编码器的特征；
Figure 660320DEST_PATH_IMAGE008
、
Figure DEST_PATH_IMAGE009
和
Figure 848856DEST_PATH_IMAGE010
的特征通道个数均为2l- 1 C，C为第1级卷积层的卷积核个数；
B2. 构建特征通道注意力机制模块CAM；构建第一空间位置注意力机制模块HAM、第二空间位置注意力机制模块WAM和第三空间位置注意力机制模块ZAM，第一空间位置注意力机制模块HAM对应CT影像的维度H，第二空间位置注意力机制模块WAM对应CT影像的维度W，第三空间位置注意力机制模块ZAM对应CT影像的维度Z；H为CT影像横断面每一帧的高；W为CT影像横断面每一帧的宽；Z为CT影像横断面的帧数；
计算特征通道注意力机制模块在特征通道维度上的修正后差异特征
Figure DEST_PATH_IMAGE011
：
Figure 361877DEST_PATH_IMAGE012
其中，σ(·)表示Sigmoid函数；ReLU(·)表示ReLU激励函数；
Figure DEST_PATH_IMAGE013
表示特征通道上FC层（全连接层）的参数；GAPCh(·)表示特征通道维度方向上的全局平均池化操作；
Figure 370284DEST_PATH_IMAGE014
表示卷积操作；
Figure DEST_PATH_IMAGE015
表示特征通道方向相乘；
Figure 626953DEST_PATH_IMAGE016
的特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；
计算经过第一空间注意力机制模块HAM后，得到在CT影像的维度H上的修正后差异特征
Figure DEST_PATH_IMAGE017
；H为CT影像横断面每一帧的高；
Figure 669995DEST_PATH_IMAGE018
其中，σ(·)表示Sigmoid函数；ReLU(·)表示ReLU激励函数；
Figure 619497DEST_PATH_IMAGE019
表示HAM中FC层的参数；GAP H(·)表示特征H维度方向上的全局平均池化操作；
Figure 646359DEST_PATH_IMAGE020
表示卷积操作；
Figure 441139DEST_PATH_IMAGE021
表示特征空间位置方向相乘；
Figure 338688DEST_PATH_IMAGE017
的特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；
计算经过第二空间位置注意力机制模块WAM后，得到在CT影像的维度W上的修正后差异特征
Figure 724670DEST_PATH_IMAGE017
；W为CT影像横断面每一帧的宽；
Figure 238828DEST_PATH_IMAGE022
其中，σ(·)表示Sigmoid函数；ReLU(·)表示ReLU激励函数；
Figure 117527DEST_PATH_IMAGE023
表示WAM中FC层的参数；GAP W(·)表示特征W维度方向上的全局平均池化操作；
Figure 400741DEST_PATH_IMAGE024
表示卷积操作；
Figure 223204DEST_PATH_IMAGE025
表示特征空间位置方向相乘；
Figure 959078DEST_PATH_IMAGE026
的特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；
计算经过第三空间位置注意力机制模块ZAM后，得到在CT影像的维度Z上的修正后差异特征
Figure 626820DEST_PATH_IMAGE027
；Z为CT影像横断面的帧数；
Figure 764540DEST_PATH_IMAGE028
其中，σ(·)表示Sigmoid函数；ReLU(·) 表示ReLU激励函数；
Figure 757904DEST_PATH_IMAGE029
表示ZAM中FC层的参数；GAP Z(·)表示特征Z维度方向上的全局平均池化操作；
Figure 715496DEST_PATH_IMAGE030
表示卷积操作；
Figure 452508DEST_PATH_IMAGE031
表示特征空间位置方向相乘；
Figure 710314DEST_PATH_IMAGE032
的特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；
B3. 将在特征通道维度上的修正后差异特征
Figure 343420DEST_PATH_IMAGE033
、在CT影像的维度H上的修正后差异特征
Figure 319467DEST_PATH_IMAGE034
、在CT影像的维度W上的修正后差异特征
Figure 329011DEST_PATH_IMAGE035
和在CT影像的维度Z上的修正后差异特征
Figure 441323DEST_PATH_IMAGE036
分别用一个1*1*1卷积处理后像素级相加，并通过另一个1*1*1卷积计算第l级特征差异计算模块FDCM的最终差异特征
Figure 776490DEST_PATH_IMAGE037
：
Figure 708674DEST_PATH_IMAGE038
其中，l=1,…,L；
Figure 787488DEST_PATH_IMAGE039
为特征通道注意力机制模块CAM对应的1*1*1卷积的参数；
Figure 754307DEST_PATH_IMAGE040
为第一空间位置注意力机制模块HAM对应的1*1*1卷积的参数；
Figure 994796DEST_PATH_IMAGE041
为第二空间位置注意力机制模块WAM对应的1*1*1卷积的参数；
Figure 945434DEST_PATH_IMAGE042
为第三空间位置注意力机制模块ZAM对应的1*1*1卷积的参数；
Figure 296781DEST_PATH_IMAGE043
为相加后特征对应的1*1*1卷积的参数。
所述的步骤S4，具体包括将原始CT影像对应的编码器En origin 第1到L-1级的特征进行下采样来调整这些特征的尺寸；将调整后的特征和第L级的特征都经过一个1*1*1卷积处理后像素级相加，完成加权融合不同尺度编码器特征；计算多级融合特征F MLFFM 的过程具体如下：
Figure 383686DEST_PATH_IMAGE044
其中，l=1,…,L；
Figure 795076DEST_PATH_IMAGE045
为原始CT影像对应的编码器En origin 第l级特征对应的1*1*1卷积参数；
Figure 698922DEST_PATH_IMAGE046
为原始CT影像对应的编码器的特征；
Figure 119539DEST_PATH_IMAGE047
中的l最大值取L-1；
Figure 795371DEST_PATH_IMAGE048
为第1到第l级的特征对应的下采样参数。
所述的步骤S5具体为，构建一个孪生编码器共享的共享解码器，用于利用多级融合特征和孪生编码器每一级的差异特征；共享解码器的构建包括规则1和规则2：
规则1具体为共享解码器与原始CT影像对应的编码器En origin 结构对称，包含 L级；设每一个与对应编码器第l级对称的解码器层为第l级，每一级包含2个卷积核为3*3*3卷积操作、一个批归一化和ReLU激活函数，级与级之间进行一个2*2*2的上采样操作；第l级的卷积层中卷积核个数为2l-1C；
规则2具体为，共享解码器第L级的输入为原始CT影像对应的编码器En origin 的多级融合特征F MLFFM 和第L级的差异特征
Figure 643241DEST_PATH_IMAGE049
，多级融合特征F MLFFM 和第L级的差异特征
Figure 37314DEST_PATH_IMAGE050
串接之后，通过共享解码器第L级的2个卷积层处理，上采样之后作为共享解码器第L-1级的第一输入；同时原始CT影像对应的编码器En origin 第L-1级的差异特征
Figure 996042DEST_PATH_IMAGE051
作为共享解码器第L-1级的第二输入；共享解码器第L-1级的第一输入和共享解码器第L-1级的第二输入进行串接之后通过共享解码器第L-1级的2个卷积层处理，上采样之后作为解码器第L-2级的一个输入；
重复规则2，直到解码器第1级，获得与原始CT影像大小一致的解码特征图；解码特征图经过一个Softmax层后得到原始CT影像中每一个像素属于梗死的概率，从而用预设概率阈值得到对应的分割结果。
所述的步骤S6具体包括如下步骤：
C1. 由于CT影像中梗死像素和正常组织像素个数分布不均衡，采用Dice损失函数L GDL ，评价分割结果与分割金标准GT的重叠度；Dice损失函数L GDL 具体为：
Figure 791960DEST_PATH_IMAGE052
其中，M为像素的个数；k表示像素的种类，正常像素为第1类，梗死像素为第2类；y ki 为第k类像素中第i个像素的GT标签；p ki 为第k类像素中第i个像素的模型预测概率值；λ k 为第k类像素的权重，
Figure 545152DEST_PATH_IMAGE053
；
C2. 采用加权交叉熵损失函数L WCE ，评价分割结果与分割金标准GT在像素级上的相似度；加权交叉熵损失函数L WCE 具体为：
Figure 160941DEST_PATH_IMAGE054
其中，M为像素的个数；y i 为第i个像素的GT标签得到的梗死概率值；p i 为第i个像素的模型得到的梗死概率值；α表示GT标签为梗死的像素权重，
Figure 923361DEST_PATH_IMAGE055
；
C3. 采用边界损失函数L BL ，评价分割结果与分割金标准GT的边界距离；边界损失函数L BL 具体为：
Figure 573785DEST_PATH_IMAGE056
其中，Ω为所有像素的集合，m为Ω中的一个像素；ϕ GT (·)为从分割金标准GT上计算得到的水平集函数；f(·)表示模型的分割结果；
C4. 采用结构损失函数L SL ，评价分割结果与分割金标准GT的多尺度结构相似性；结构损失函数L SL 具体为：
Figure 497879DEST_PATH_IMAGE057
其中，S为结构尺度的个数，s表示尺度下标；p表示模型分割结果的像素集合；g表示分割金标准GT的像素集合；μ p 为p上所有像素的均值；μ g 为g上所有像素的均值；σ p 为p上所有像素的标准差；σ g 为g上所有像素的标准差；σ pg 为p和g的协方差；β s 为每个尺度的权重；ε 1 和ε 2 为任意非零实数，用于避免分母为零；
C5. 融合Dice损失、加权交叉熵损失、边界损失和结构损失，构建模型的联合损失函数L joint ：
Figure 132123DEST_PATH_IMAGE058
其中，ω 1为融合Dice损失的权重；ω 2为加权交叉熵损失的权重；ω 3为边界损失的权重；ω 4为结构损失的权重；ω 1+ω 2+ω 3+ω 4=1；
在训练集上采用5折交叉验证，将训练集均分为5份，4份用来训练模型，剩余的一份用来验证模型有效性和调整模型参数，最终得到在验证集上重叠度最高的分割模型。
本发明提供的这种脑卒中CT影像分割方法，利用特征差异计算模块来计算两个编码器每一级的特征差异，利用多级特征融合模块来融合的全局和局部特征；能够较准确的分割出CT影像中的梗死，为提升缺血性脑卒中诊断效率和准确度、降低致死率和致残率，提供了技术支撑和参考。
附图说明
图1为本发明方法的流程示意图。
图2为本发明实施例的总体流程示意图。
具体实施方式
如图1为本发明方法的流程示意图：本发明提供的这种脑卒中CT影像分割方法，包括如下步骤：
S1. 获取原始CT影像，并将获得的每个脑部CT影像进行横断面左右翻转及配准以获取翻转CT影像，对原始CT影像和翻转CT影像进行处理；
S2. 构建一个孪生编码器，每个编码器具有相同结构和参数，分别从原始CT影像和翻转CT影像中提取多级卷积特征来表征梗死；
S3. 对于孪生编码器的每一级，利用特征差异计算模块来获得CT影像每一级的左右特征差异；
S4. 利用多级融合模块，将原始CT影像对应编码器的所有特征进行融合，并输入到对应解码器中；
S5. 构建一个共享的、与编码器结构对称的解码器，利用原始CT影像对应编码器的多级融合特征和每一级差异特征，生成与原始CT影像大小一致的特征图；
S6. 生成联合损失函数在训练集上训练出一个最优的CT影像梗死分割模型；
S7. 通过训练得到的分割模型，对未知分类标签的测试CT影像进行梗死分割。
步骤S1具体为，将每位患者的三维CT影像在横断面上进行左右翻转，为了确保翻转后影像中大脑解剖结构与原始CT影像相同，再将左右翻转生成的翻转CT影像配准到原始CT影像空间，并对原始CT影像和翻转CT影像进行预处理，预处理包括去脑颅和归一化；同时，将脑部CT影像进行左右翻转以横断面上的中心线为基准进行。在本实施例中，将翻转CT影像配准到原始CT影像空间采用了SimpleITK工具箱，是一种医学图像分析领域中常用的Python工具箱。
去脑颅包括像素亮度阈值法，根据临床中先验知识，缺血性脑卒中CT影像中脑颅素亮度值一般超过100，因此去掉亮度大于100的像素；同时为了去除脑脊髓液的干扰，去除亮度小于8的像素。
归一化用于克服不同患者CT影像中亮度分布差异，具体包括Z-score标准化方法：
Figure 167075DEST_PATH_IMAGE059
其中，z i 为像素i归一化之后的亮度值；x i 为像素i的亮度值；μ为所有像素亮度的均值；σ为所有像素亮度的方差。
步骤S2，为了充分利用多尺度特征以及梗死病灶和大脑对侧正常组织存在亮度差异这一特性，为原始CT影像和翻转CT影像构建了孪生编码器（SE）。步骤S2具体包括，
A1. 构建原始5维张量和翻转5维张量；步骤A1具体包括，选取N个原始CT影像及其对应的翻转CT影像，构建原始5维张量和翻转5维张量，大小均为N*H*W*Z*1；其中，N为用来训练的患者个数；H为CT影像横断面每一帧的高；W为CT影像横断面每一帧的宽；Z为CT影像横断面的帧数；1是输入张量的特征通道数；
A2. 构建孪生编码器（SE），孪生编码器包括原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 。步骤A2具体包括，原始CT影像对应的编码器Enorigin和翻转CT影像对应的编码器En flip 具有相同的网络结构，均包含L级，每一级包含2个卷积层，卷积核为3*3*3，一个批归一化（BN）层和一个ReLU层，级与级之间进行一个2*2*2的最大值池化下采样操作；第l级的卷积层中卷积核个数，即第l级输出特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；输入层对应的级为编码器的第1级，下采样之后的级为第2级，给每一个层级编号；其中，原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 的参数进行共享，原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 具有相同的结构和参数，因此被称为孪生编码器。
步骤S3具体为，用特征差异计算模块FDCM对两个编码器每一级中ReLU输出的卷积特征进行处理；构建特征差异计算模块结构包括如下步骤：
B1. 对孪生编码器（原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip ）的第l级特征（原始CT影像对应的编码器的特征
Figure 672005DEST_PATH_IMAGE060
和翻转CT影像对应的编码器的特征
Figure 32580DEST_PATH_IMAGE061
）相减，并进行1*1*1卷积得到粗略差异特征
Figure 622961DEST_PATH_IMAGE062
，具体为；
Figure 461604DEST_PATH_IMAGE063
其中，
Figure 352199DEST_PATH_IMAGE064
为1*1*1卷积的参数；
Figure 621025DEST_PATH_IMAGE065
表示卷积操作；
Figure 698703DEST_PATH_IMAGE066
为原始CT影像对应的编码器的特征；
Figure 341037DEST_PATH_IMAGE067
为翻转CT影像对应的编码器的特征；
Figure 820560DEST_PATH_IMAGE068
、
Figure 522936DEST_PATH_IMAGE069
和
Figure 87910DEST_PATH_IMAGE070
的特征通道个数均为2 l-1 C，C为第1级卷积层的卷积核个数；
B2. 构建特征通道注意力机制模块CAM；构建第一空间位置注意力机制模块HAM、第二空间位置注意力机制模块WAM和第三空间位置注意力机制模块ZAM，第一空间位置注意力机制模块HAM对应CT影像的维度H，第二空间位置注意力机制模块WAM对应CT影像的维度W，第三空间位置注意力机制模块ZAM对应CT影像的维度Z；H为CT影像横断面每一帧的高；W为CT影像横断面每一帧的宽；Z为CT影像横断面的帧数；不同注意力机制模块的差异在于针对的特征维度不一样，其他操作网络结构相似，特征通道注意力机制模块均采用如下方式计算，对特征进行通道维度上的全局均值池化（GAP）后依次通过一个全连接层（FC层）、一个ReLU层和一个Sigmoid层；Sigmoid层的输出与输入的粗略差异特征
Figure 533935DEST_PATH_IMAGE071
进行特征维度方向相乘，得到在特征通道维度上的修正后差异特征
Figure 133543DEST_PATH_IMAGE072
：
Figure 741242DEST_PATH_IMAGE073
其中，σ(·)表示Sigmoid函数；ReLU(·) 表示ReLU激励函数；
Figure 793512DEST_PATH_IMAGE074
表示特征通道上FC层的参数；GAPCh(·)表示特征通道维度方向上的全局平均池化操作；
Figure 777648DEST_PATH_IMAGE075
表示卷积操作；
Figure 497343DEST_PATH_IMAGE076
表示特征通道方向相乘；
Figure 275943DEST_PATH_IMAGE077
的特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；
B3. 计算经过第一空间注意力机制模块HAM后，得到的在CT影像的维度H上的修正后差异特征
Figure 815509DEST_PATH_IMAGE078
；计算经过第二空间位置注意力机制模块WAM后，得到的在CT影像的维度W上的修正后差异特征
Figure 337757DEST_PATH_IMAGE079
；计算经过第三空间位置注意力机制模块ZAM后，得到的在CT影像的维度Z上的修正后差异特征
Figure 646378DEST_PATH_IMAGE080
；H为CT影像横断面每一帧的高；W为CT影像横断面每一帧的宽；
Z为CT影像横断面的帧数；
Figure 595880DEST_PATH_IMAGE081
Figure 888321DEST_PATH_IMAGE082
Figure 948681DEST_PATH_IMAGE083
其中，σ(·)表示Sigmoid函数；ReLU(·) 表示ReLU激励函数；
Figure 642967DEST_PATH_IMAGE084
表示HAM中FC层的参数；
Figure 28949DEST_PATH_IMAGE085
表示WAM中FC层的参数；
Figure 274598DEST_PATH_IMAGE086
表示ZAM中FC层的参数；GAP H (·)表示特征H维度方向上的全局平均池化操作；GAP W (·)表示特征W维度方向上的全局平均池化操作；GAPZ(·)表示特征Z维度方向上的全局平均池化操作；
Figure 404228DEST_PATH_IMAGE087
表示卷积操作；
Figure 687442DEST_PATH_IMAGE088
表示特征空间位置方向相乘；
Figure 978746DEST_PATH_IMAGE089
、
Figure 980200DEST_PATH_IMAGE090
和
Figure 647942DEST_PATH_IMAGE091
的特征通道个数均为2 l-1 C，C为第1级卷积层的卷积核个数；2 l-1 C表示第l级输出特征通道个数；
B4. 将在特征通道维度上的修正后差异特征
Figure 51242DEST_PATH_IMAGE092
、在CT影像的维度H上的修正后差异特征
Figure 513447DEST_PATH_IMAGE093
、在CT影像的维度W上的修正后差异特征
Figure 736618DEST_PATH_IMAGE094
和在CT影像的维度Z上的修正后差异特征
Figure 473630DEST_PATH_IMAGE095
分别用一个1*1*1卷积处理后像素级相加，并通过另一个1*1*1卷积计算第l级特征差异计算模块FDCM的最终差异特征
Figure 465856DEST_PATH_IMAGE096
：
Figure 364542DEST_PATH_IMAGE097
其中，l=1,…,L；
Figure 75009DEST_PATH_IMAGE098
为CAM对应的1*1*1卷积的参数；
Figure 84554DEST_PATH_IMAGE099
为HAM对应的1*1*1卷积的参数；
Figure 196866DEST_PATH_IMAGE100
为WAM对应的1*1*1卷积的参数；
Figure 266453DEST_PATH_IMAGE101
为ZAM对应的1*1*1卷积的参数；
Figure 464217DEST_PATH_IMAGE102
为相加后特征对应的1*1*1卷积的参数。
步骤S4具体为，为了融合原始 CT 影像对应编码器提取到的局部和全局特征，构建多级特征融合模块(MLFFM)；将原始CT影像对应的编码器En origin 第1到L-1级的特征进行下采样来调整这些特征的尺寸；将调整后的特征和第L级的特征都经过一个1*1*1卷积处理后像素级相加，完成加权融合不同尺度编码器特征；计算多级融合特征F MLFFM 的过程具体如下：
Figure 277452DEST_PATH_IMAGE103
其中，l=1,…,L；
Figure 244271DEST_PATH_IMAGE104
为原始CT影像对应的编码器En origin 第l级特征对应的1*1*1卷积参数；
Figure 484759DEST_PATH_IMAGE105
为原始CT影像对应的编码器的特征；
Figure 161029DEST_PATH_IMAGE106
中的l最大值取L-1；
Figure 512376DEST_PATH_IMAGE106
为第1到第l级的特征对应的下采样参数。
步骤S5具体为，构建一个孪生编码器共享的共享解码器，用于利用多级融合特征和孪生编码器每一级的差异特征；共享解码器的构建包括规则1和规则2：
规则1具体为共享解码器与原始CT影像对应的编码器En origin 结构对称，包含 L级；设每一个与对应编码器第l级对称的解码器层为第l级，每一级包含2个卷积核为3*3*3卷积操作、一个批归一化和ReLU激活函数，级与级之间进行一个2*2*2的上采样操作；第l级的卷积层中卷积核个数为2 l-1 C；
规则2具体为，共享解码器第L级的输入为原始CT影像对应的编码器En origin 的多级融合特征F MLFFM 和第L级的差异特征
Figure 599281DEST_PATH_IMAGE107
，多级融合特征F MLFFM 和第L级的差异特征
Figure 10671DEST_PATH_IMAGE108
串接之后，通过共享解码器第L级的2个卷积层处理，上采样之后作为共享解码器第L-1级的第一输入；同时原始CT影像对应的编码器En origin 第L-1级的差异特征
Figure 183026DEST_PATH_IMAGE109
作为共享解码器第L-1级的第二输入；共享解码器第L-1级的第一输入和共享解码器第L-1级的第二输入进行串接之后通过共享解码器第L-1级的2个卷积层处理，上采样之后作为解码器第L-2级的一个输入；
重复规则2，直到解码器第1级，获得与原始CT影像大小一致的解码特征图；解码特征图经过一个Softmax层后得到原始CT影像中每一个像素属于梗死的概率，从而用概率阈值0.5得到对应的分割结果。
步骤S6具体包括如下步骤：
C1. 由于CT影像中梗死像素和正常组织像素个数分布不均衡，采用Dice损失函数L GDL ，评价分割结果与分割金标准GT的重叠度；Dice损失函数L GDL 具体为：
Figure 338064DEST_PATH_IMAGE110
其中，M为像素的个数；k表示像素的种类，正常像素为第1类，梗死像素为第2类；yk i 为第k类像素中第i个像素的GT标签；pk i 为第k类像素中第k类像素中第i个像素的模型预测概率值；λ k 为第k类像素的权重，
Figure 279475DEST_PATH_IMAGE111
。
C2. 采用加权交叉熵损失函数L WCE ，评价分割结果与分割金标准GT在像素级上的相似度；加权交叉熵损失函数L WCE 具体为：
Figure 861766DEST_PATH_IMAGE112
其中，M为像素的个数；y i 为第i个像素的GT标签得到的梗死概率值；p i 为第i个像素的模型得到的梗死概率值；α为GT标签为梗死的像素权重，
Figure 255838DEST_PATH_IMAGE113
；
C3. 采用边界损失函数L BL ，评价分割结果与分割金标准GT的边界距离；边界损失函数L BL 具体为：
Figure 214567DEST_PATH_IMAGE114
其中，Ω为所有像素的集合，m为Ω中的一个像素；ϕ GT (·)为从分割金标准GT上计算得到的水平集函数；f(·)表示模型的分割结果。
C4. 采用结构损失函数L SL ，评价分割结果与分割金标准GT的多尺度结构相似性；结构损失函数L SL 具体为：
Figure 10485DEST_PATH_IMAGE115
其中，S为结构尺度的个数，s为尺度下标；p表示模型分割结果的像素集合；g表示分割金标准GT的像素集合；μ p 为p上所有像素的均值；μ g 为g上所有像素的均值；σ p 为p上所有像素的标准差；σ g 为g上所有像素的标准差；σ pg 为p和g的协方差；β s 为每个尺度的权重；ε 1和ε 2为任意非零实数，用于避免分母为零。
C5. 融合Dice损失、加权交叉熵损失、边界损失和结构损失，构建模型的联合损失函数L joint：
Figure 498098DEST_PATH_IMAGE116
其中，ω 1为融合Dice损失的权重；ω 2为加权交叉熵损失的权重；ω 3为边界损失的权重；ω 4为结构损失的权重；ω 1+ω 2+ω 3+ω 4=1；
在训练集上采用5折交叉验证，将训练集均分为5份，4份用来训练模型，剩余的一份用来验证模型有效性和调整模型参数，最终得到在验证集上重叠度最高的分割模型。此外，为了增加训练样本的多样性和数量，训练过程对原始和翻转CT影像进行相同的数据增强操作，包括平移、小角度旋转、增加随机高斯噪声等操作。
在具体实施方式中，本发明中使用的缺血性脑卒中CT影像数据来自缺血性脑卒中病灶分割挑战赛（Ischemic Stroke Lesion Segmentation Challenge 2018，ISLES2018）数据库。ISLES2018数据库分为训练集和测试集，其中训练集包含94个样本，每个样本包含CT影像和多种CT灌注影像数据以及专家在MRI上得到的分割金标准GT；测试集中包含62个样本，每个样本包含CT影像和多种CT灌注影像数据。本发明中只用到了ISLES2018数据库中的CT影像数据。
如图2为本发明实施例的总体流程示意图，含有以下步骤：
步骤一、对ISLES2018中的缺血性脑卒中原始CT影像进行横断面左右翻转及配准，并对原始和翻转CT影像进行预处理。首先将3维脑部CT影像以横断面上的中心线为基准进行左右翻转。然后为了确保翻转后影像中大脑解剖结构和原始CT影像相同，用SimpleITK工具箱将左右翻转的CT影像配准到原始CT影像空间。为了提高预处理效率，去脑颅用的是简单的像素亮度阈值法，根据临床先验知识，缺血性脑卒中CT影像中脑颅素亮度值基本超过100，因此去掉亮度大于100的像素。同时亮度小于8的像素很可能是脑脊髓液，因此也去掉；
为了克服不同患者CT影像中亮度分布差异，在去掉脑颅和脑脊髓液区域之后用Z-score标准化方法将每个原始和翻转CT影像进行归一化，公式如下：
Figure 645046DEST_PATH_IMAGE117
其中，z i 为像素i归一化之后的亮度值；x i 为像素i的亮度值；μ为所有像素亮度的均值；σ为所有像素亮度的方差。
步骤二、用孪生编码器从原始和翻转CT影像中提取多级卷积特征。具体过程如下：
为了充分利用多尺度特征以及梗死病灶和大脑对侧正常组织存在亮度差异这一特性，为原始CT影像和翻转CT影像构建了孪生编码器（SE）。ISLES2018数据库中CT影像的横断面每一帧的高和宽均为256，帧数的变化范围从2到36。每次模型训练过程中随机选取1个原始CT影像及其对应的翻转CT影像，构建两个5维张量，大小均为1*256*256*Z*1，其中Z的大小由随机选取的该CT影像横断面帧数确定，输入张量的特征通道数为1；然后为这两个5维输入张量分别设计两个编码器，分别是原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 。这两个编码器具有相同的网络结构，均包含5级，每一级包含2个卷积层（卷积核为3*3*3）、一个批归一化（BN）层和一个ReLU层，级与级之间进行一个2*2*2的最大值池化下采样操作。本实施例中，第l级的卷积层中卷积核个数（也就是该级输出特征通道个数）为2 l-1*16。输入层对应的级为编码器的第1级，下采样之后的级为第2级，以此类推。此外将这两个编码器参数进行共享。所以两个输入对应的编码器具有相同的结构和参数，因此称之为孪生编码器（SE）。
步骤三、用特征差异计算模块来计算每一级中孪生编码器之间的特征差异（也就是左右特征差异）。具体过程如下：
为了计算编码器每一级中大脑左右特征的差异，用特征差异计算模块（FDCM）对两个编码器每一级中ReLU输出的卷积特征进行处理。特征差异计算模块结构如下：首先对孪生编码器（原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip ）的第l级特征（原始CT影像对应的编码器的特征
Figure 141886DEST_PATH_IMAGE119
和翻转CT影像对应的编码器的特征
Figure 792310DEST_PATH_IMAGE121
）相减，并进行1*1*1卷积得到粗略差异特征
Figure 981983DEST_PATH_IMAGE123
，具体为；
Figure 85068DEST_PATH_IMAGE124
其中，
Figure 120020DEST_PATH_IMAGE125
为1*1*1卷积的参数；
Figure 890530DEST_PATH_IMAGE126
表示卷积操作；
Figure 251104DEST_PATH_IMAGE128
为原始CT影像对应的编码器的特征；
Figure 838556DEST_PATH_IMAGE130
为翻转CT影像对应的编码器的特征；
Figure 942778DEST_PATH_IMAGE132
、
Figure 567795DEST_PATH_IMAGE134
和
Figure 99270DEST_PATH_IMAGE136
的特征通道个数均为2 l-1*16。
根据梗死存在一定空间位置连续性这一特点，为了获得更能描述梗死特性的差异特征，对粗略的差异特征除了设计了一个特征通道注意力机制模块（CAM）外，还设计了3个空间位置注意力机制模块（HAM、WAM、ZAM），分别对应CT影像的H（高）、W（宽）、Z（帧数）维度。不同注意力机制模块的差异在于针对的特征维度不一样，其他操作网络结构相似。以特征通道注意力机制模块为例，先对特征进行通道维度上的全局均值池化（GAP）之后依次进行一个全连接层（FC）、ReLU层和Sigmoid层。Sigmoid层的输出与输入的粗略差异特征
Figure 176948DEST_PATH_IMAGE138
进行特征维度方向相乘，得到在特征通道维度上的修正后差异特征
Figure 553702DEST_PATH_IMAGE140
：
Figure 298804DEST_PATH_IMAGE142
其中，σ(·)表示Sigmoid函数；ReLU(·) 表示ReLU激励函数；
Figure 735602DEST_PATH_IMAGE144
表示特征通道上FC层的参数；GAPCh(·)表示特征通道维度方向上的全局平均池化操作；
Figure 566155DEST_PATH_IMAGE146
表示卷积操作；
Figure 746600DEST_PATH_IMAGE148
表示特征通道方向相乘；
Figure 80630DEST_PATH_IMAGE150
的特征通道个数为2 l-1*16；
计算经过第一空间注意力机制模块HAM后，得到的在CT影像的维度H上的修正后差异特征
Figure 688329DEST_PATH_IMAGE152
；计算经过第二空间位置注意力机制模块WAM后，得到的在CT影像的维度W上的修正后差异特征
Figure 6177DEST_PATH_IMAGE154
；计算经过第三空间位置注意力机制模块ZAM后，得到的在CT影像的维度Z上的修正后差异特征
Figure 990314DEST_PATH_IMAGE156
；H为CT影像横断面每一帧的高；W为CT影像横断面每一帧的宽；Z为CT影像横断面的帧数；
Figure 444429DEST_PATH_IMAGE158
Figure 223029DEST_PATH_IMAGE160
Figure 762595DEST_PATH_IMAGE162
其中，σ(·)表示Sigmoid函数；ReLU(·) 表示ReLU激励函数；
Figure 550422DEST_PATH_IMAGE164
表示HAM中FC层的参数；
Figure 859044DEST_PATH_IMAGE166
表示WAM中FC层的参数；
Figure 74125DEST_PATH_IMAGE168
表示ZAM中FC层的参数；GAP H (·)表示特征H维度方向上的全局平均池化操作；GAP W (·)表示特征W维度方向上的全局平均池化操作；GAP Z (·)表示特征Z维度方向上的全局平均池化操作；
Figure 103916DEST_PATH_IMAGE170
表示卷积操作；
Figure 164276DEST_PATH_IMAGE172
表示特征空间位置方向相乘；
Figure 592983DEST_PATH_IMAGE174
、
Figure 978965DEST_PATH_IMAGE176
和
Figure 493123DEST_PATH_IMAGE178
的大小与
Figure 357174DEST_PATH_IMAGE180
相同，特征通道个数均为2 l-1*16。
将在特征通道维度上的修正后差异特征
Figure 905967DEST_PATH_IMAGE182
、在CT影像的维度H上的修正后差异特征
Figure 197271DEST_PATH_IMAGE184
、在CT影像的维度W上的修正后差异特征
Figure 933146DEST_PATH_IMAGE186
和在CT影像的维度Z上的修正后差异特征
Figure 866467DEST_PATH_IMAGE188
分别用一个1*1*1卷积处理后像素级相加，并通过另一个1*1*1卷积计算第l级特征差异计算模块FDCM的最终差异特征
Figure 4187DEST_PATH_IMAGE190
：
Figure 731972DEST_PATH_IMAGE192
其中，l=1,…,L；
Figure 955143DEST_PATH_IMAGE194
为CAM对应的1*1*1卷积的参数；
Figure 160996DEST_PATH_IMAGE196
为HAM对应的1*1*1卷积的参数；
Figure 418802DEST_PATH_IMAGE198
为WAM对应的1*1*1卷积的参数；
Figure 317488DEST_PATH_IMAGE200
为ZAM对应的1*1*1卷积的参数；
Figure 293534DEST_PATH_IMAGE202
为相加后特征对应的1*1*1卷积的参数。
步骤四、利用多级融合模块将原始CT影像对应解码器的每一级特征进行融合。具体过程如下：
为了融合原始CT影像对应编码器提取到的局部和全局特征，构建了一个多级特征融合模块（MLFFM）。首先将原始CT影像对应的编码器En origin 第1到4级的特征进行下采样来调整这些特征的尺寸。这些调整后的特征和第5级的特征都经过一个1*1*1卷积处理后像素级相加，进而达到加权融合不同尺度编码器特征的目的。MLFFM得到的多级融合特征F MLFFM 的过程具体如下：
Figure 303079DEST_PATH_IMAGE204
其中，l=1,…,L；
Figure 415391DEST_PATH_IMAGE206
为原始CT影像对应的编码器En origin 第l级特征对应的1*1*1卷积参数；
Figure 484978DEST_PATH_IMAGE208
为原始CT影像对应的编码器的特征；
Figure 679812DEST_PATH_IMAGE210
中的l最大值取L-1，在本实施例中L可取5；
Figure 227468DEST_PATH_IMAGE212
为第l级的特征对应的下采样参数。
步骤五、利用一个共享的与解码器结构对称的解码器，利用原始CT影像对应编码器的多级融合特征和每一级差异特征来生成与原始CT影像大小一致的特征图。具体过程如下：
为了更好的利用多级融合特征和孪生编码器每一级的差异特征，构建了一个孪生编码器共享的解码器。该解码器与编码器结构对称，包含5级（与编码器第l级对称的解码器层为第l级），每一级包含2个卷积核为3*3*3卷积操作、一个批归一化（BN）和ReLU激活函数，级与级之间进行一个2*2*2的上采样操作。第l级的卷积层中卷积核个数（也就是该级输出特征通道个数）为2 l-1*16。解码器第5级的输入为原始CT影像对应的编码器En origin 的多级融合特征F MLFFM 和第5级的差异特征
Figure 459866DEST_PATH_IMAGE214
，该两个特征串接之后被解码器该级的2个卷积层处理，然后上采样作为解码器第4级的一个输入。同时原始CT影像对应的编码器En origin 第4级的差异特征
Figure 700354DEST_PATH_IMAGE216
作为解码器第4级的另一个输入。这两个输入进行串接之后被解码器第4级的2个卷积层处理，然后上采样作为解码器第3级的一个输入。依次进行，直到解码器第1级，获得与原始CT影像大小一致的特征图。该特征图经过一个Softmax层之后就可以得到该CT影像中每一个像素属于梗死的概率，从而用概率阈值0.5可以得到对应的分割结果。
步骤六、利用融合Dice损失、边界损失和结构损失的联合损失函数来在ISLES2018测试集训练集上训练出一个最优的CT影像梗死分割模型。具体过程如下：
由于CT影像中梗死像素和正常组织像素个数分布不均衡，采用Dice损失函数L GDL ，评价分割结果与分割金标准GT的重叠度；Dice损失函数L GDL 具体为：
Figure 385414DEST_PATH_IMAGE217
其中，M为像素的个数；k表示像素的种类，正常像素为第1类，梗死像素为第2类；y ki 为第k类像素中第i个像素的GT标签；p ki 为第k类像素中第i个像素的模型预测概率值；λ k 为第k类像素的权重，
Figure 736761DEST_PATH_IMAGE219
。
采用加权交叉熵损失函数L WCE ，评价分割结果与分割金标准GT在像素级上的相似度；加权交叉熵损失函数L WCE 具体为：
Figure 823665DEST_PATH_IMAGE221
其中，M为像素的个数；y i 为第i个像素的GT标签得到的梗死概率值；p i 为第i个像素的模型得到的梗死概率值；α表示GT标签为梗死的像素权重，
Figure 235055DEST_PATH_IMAGE222
；
采用边界损失函数L BL ，评价分割结果与分割金标准GT的边界距离；边界损失函数L BL 具体为：
Figure 141831DEST_PATH_IMAGE223
其中，Ω为所有像素的集合，m为Ω中的一个像素；ϕ GT (·)为从分割金标准GT上计算得到的水平集函数；f(·)表示模型的分割结果。
采用结构损失函数L SL ，评价分割结果与分割金标准GT的多尺度结构相似性；结构损失函数L SL 具体为：
Figure 31290DEST_PATH_IMAGE225
其中，S为结构尺度的个数，s为尺度下标；p表示模型的分割结果的像素集合；g表示分割金标准GT的像素集合；μ p 为p上所有像素的均值；μ g 为g上所有像素的均值；σ p 为p上所有像素的标准差；σ g 为g上所有像素的标准差；σ pg 为p和g的协方差；β s 为每个尺度的权重；ε 1和ε 2为任意非零实数，用于避免分母为零。
融合Dice损失、加权交叉熵损失、边界损失和结构损失，构建模型的联合损失函数L joint ：
Figure 238280DEST_PATH_IMAGE227
其中，ω 1为融合Dice损失的权重；ω 2为加权交叉熵损失的权重；ω 3为边界损失的权重；ω 4为结构损失的权重；ω 1+ω 2+ω 3+ω 4=1；
为了增加训练样本的多样性和数量，训练过程对原始和翻转CT影像进行相同的数据增强操作，包括平移、小角度旋转、增加随机高斯噪声等操作。训练过程中，批大小（batchsize）为1；使用Adam算法进行优化，初始学习率为0.001，每20个纪元（epoch）后减少一半；为了避免过拟合，采取了早停法（early stopping strategy），如果验证损失没有在50个纪元（epoch）内减少，训练将停止；为了选择出最优的参数，在ISLES2018的训练集上采用5折交叉验证，将训练集均分为5份，4份（75个样本）用来训练模型，剩余的一份（19个样本）用来验证模型有效性和调整模型参数，最终得到最优的分割模型（在验证集上重叠度Dice最高的模型）。选择出的主要最优参数如下：编码器级数为5，编码器第一级卷积特征通道数C为16；结构损失函数中，结构尺度个数K为5，ε 1和ε 2分别为0.0001和0.0009，β 1、β 2、β 3、β 4和β 5分别为0.0448、0.2856、0.3001、0.2363和0.1333；联合损失函数中四个损失的权重ω 1、ω 2、ω 3和ω 4分别为0.4、0.3、0.15和0.15。
步骤七、通过训练得到的分割模型对ISLES2018测试集中CT影像进行梗死分割。具体过程如下：步骤一中已经对ISLES2018测试集样本中的CT影像进行了左右翻转及配准和预处理，然后将预处理之后的原始和翻转CT影像输入到步骤六中训练得到的最优分割模型得到该样本中CT影像的缺血性脑卒中梗死分割结果。为了验证本实施例模型的有效性，将每个样本的梗死分割结果上传到ISLES2018竞赛网站的测试集评估模块，该模块会根据测试集梗死分割金标准GT计算出如下的Dice指标（DC）：
Figure 820571DEST_PATH_IMAGE228
其中，Seg为模型分割结果中梗死像素的集合；GT为历史分割的梗死像素集合，TP为真阳性像素个数（既属于GT又属于Seg的像素个数），FP为假阳性像素个数（不属于GT但属于Seg的像素个数），FN为假阴性像素个数（属于GT但不属于Seg的像素个数）。
Figure 480223DEST_PATH_IMAGE230
，DC越小说明模型分割结果越好。验证结果表明本实施例的模型能够较快速准确地分割CT影像中的缺血性脑卒中梗死病灶，进而能为医生快速诊断缺血性脑卒中提供重要参考。
同时，本方法对CT原始影像进行左右翻转并配准到原始CT影像空间，为后续基于孪生网络的深度学习梗死分割方法的合理可行提供了数据基础。本方法为原始CT影像和翻转CT影像构建孪生多级编码器，孪生的两个编码器具有相同的网络结构和参数，利用特征差异计算模块来计算两个编码器每一级的特征差异，这方法能计算出每一级大脑左右特征差异，模拟了专家分割梗死时关注大脑左右区域像素，并根据左右亮度差异来定位梗死这一过程，具备提升梗死分割性能的理论基础。本方法为了充分利用全局和局部特征，提供了一个编码器多级融合模块。构建的共享解码器利用多级融合特征和特征差异，获得与原始CT影像大小一致的有效特征图，进而提升梗死分割性能。本方法提供了一个融合Dice损失、加权交叉熵损失、边界损失和结构损失的联合损失函数，这使得本发明能训练出分割结果与专家分割重叠度高、边界接近、以及结构相似度高的模型。本方法通过结合预处理、孪生网络、有效的特征差异计算模块、多尺度特征融合以及联合损失函数，能够较准确的分割出CT影像中的梗死，为提升缺血性脑卒中诊断效率和准确度、降低致死率和致残率，提供重要技术支撑和参考。
最后，本发明还公开了一种CT成像方法，该成像方法采用了上述脑卒中CT影像分割方法，对CT影像中的梗死进行分割，然后将识别结果在CT影像上进行二次标记和成像。
具体实施时，该成像方法可以应用于针对脑部进行检查并获取对应CT图像的检测设备；应用时，设备首先按照现有技术获取对应的脑部CT图像，然后采用上述的脑卒中CT影像分割方法对获取的脑部CT图像进行分割，然后将分割结果在获取的脑部CT影像上进行标记和二次成像，然后输出最终的带有脑卒中CT影像分割结果的CT影像。
所述成像方法包括如下步骤：
D1. 通过CT设备采集CT影像；
D2. 将采集到的CT影像通过所述的脑卒中CT影像分割方法，对CT影像中的梗死进行标记和分割；
D3. 将分割结果在获取的脑部CT影像上进行标记和二次成像，然后输出最终的带有脑卒中CT影像分割结果的CT影像。
步骤D2包括：
S1. 将获得的每个脑部CT影像进行横断面左右翻转及配准以获取翻转CT影像，对原始CT影像和翻转CT影像进行处理；
S2. 构建一个孪生编码器，每个编码器具有相同结构和参数，分别从原始CT影像和翻转CT影像中提取多级卷积特征来表征梗死；
S3. 对于孪生编码器的每一级，利用特征差异计算模块来获得CT影像每一级的左右特征差异；
S4. 利用多级融合模块，将原始CT影像对应编码器的所有特征进行融合，并输入到对应解码器中；
S5. 构建一个共享的、与编码器结构对称的解码器，利用原始CT影像对应编码器的多级融合特征和每一级差异特征，生成与原始CT影像大小一致的特征图；
S6. 生成联合损失函数在训练集上训练出一个最优的CT影像梗死分割模型；
S7. 通过训练得到的分割模型，对未知分类标签的测试CT影像进行梗死分割。
步骤S1具体为，将每位患者的三维CT影像在横断面上进行左右翻转，为了确保翻转后影像中大脑解剖结构与原始CT影像相同，再将左右翻转生成的翻转CT影像配准到原始CT影像空间，并对原始CT影像和翻转CT影像进行预处理，预处理包括去脑颅和归一化；同时，将脑部CT影像进行左右翻转以横断面上的中心线为基准进行。去脑颅包括像素亮度阈值法，因此去掉亮度大于第一设定值的像素；同时为了去除脑脊髓液的干扰，去除亮度小于第二设定值的像素。
归一化用于克服不同患者CT影像中亮度分布差异，具体包括Z-score标准化方法：
Figure 173372DEST_PATH_IMAGE231
其中，z i 为像素i归一化之后的亮度值；x i 为像素i的亮度值；μ为所有像素亮度的均值；σ为所有像素亮度的方差。
步骤S2，为了充分利用多尺度特征以及梗死病灶和大脑对侧正常组织存在亮度差异这一特性，为原始CT影像和翻转CT影像构建了孪生编码器。步骤S2具体包括，
A1. 构建原始5维张量和翻转5维张量；步骤A1具体包括，选取N个原始CT影像及其对应的翻转CT影像，构建原始5维张量和翻转5维张量，大小均为N*H*W*Z*1；其中，N为用来训练的患者个数；H为CT影像横断面每一帧的高；W为CT影像横断面每一帧的宽；Z为CT影像横断面的帧数；1是输入张量的特征通道数；
A2. 构建孪生编码器，孪生编码器包括原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 。步骤A2具体包括，原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 具有相同的网络结构，均包含L级，每一级包含2个卷积层，卷积核为3*3*3，一个批归一化层和一个ReLU层，级与级之间进行一个2*2*2的最大值池化下采样操作；第l级的卷积层中卷积核个数，即第l级输出特征通道个数为2 l-1 C；输入层对应的级为编码器的第1级，下采样之后的级为第2级，给每一个层级编号；其中，原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 的参数进行共享，原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 具有相同的结构和参数，因此被称为孪生编码器。
步骤S3具体为，用特征差异计算模块FDCM对两个编码器每一级中ReLU输出的卷积特征进行处理；构建特征差异计算模块结构包括如下步骤：
B1. 对孪生编码器的第l级特征相减，并进行1*1*1卷积得到粗略差异特征
Figure 703711DEST_PATH_IMAGE233
，具体为；
Figure 722482DEST_PATH_IMAGE234
其中，
Figure 603851DEST_PATH_IMAGE236
为1*1*1卷积的参数；
Figure 366270DEST_PATH_IMAGE238
表示卷积操作；
Figure 16694DEST_PATH_IMAGE240
为原始CT影像对应的编码器的特征；
Figure 675209DEST_PATH_IMAGE242
为翻转CT影像对应的编码器的特征；
Figure 324101DEST_PATH_IMAGE244
、
Figure 359053DEST_PATH_IMAGE246
和
Figure 395142DEST_PATH_IMAGE248
的特征通道个数均为2 l-1 C，C为第1级卷积层的卷积核个数；
B2. 构建特征通道注意力机制模块CAM；构建第一空间位置注意力机制模块HAM、第二空间位置注意力机制模块WAM和第三空间位置注意力机制模块ZAM，第一空间位置注意力机制模块HAM对应CT影像的维度H，第二空间位置注意力机制模块WAM对应CT影像的维度W，第三空间位置注意力机制模块ZAM对应CT影像的维度Z；H为CT影像横断面每一帧的高；W为CT影像横断面每一帧的宽；Z为CT影像横断面的帧数；不同注意力机制模块的差异在于针对的特征维度不一样，其他操作网络结构相似，特征通道注意力机制模块均采用如下方式计算，对特征进行通道维度上的全局均值池化后依次通过一个全连接层、一个ReLU层和一个Sigmoid层；Sigmoid层的输出与输入的粗略差异特征
Figure 224558DEST_PATH_IMAGE249
Figure 346098DEST_PATH_IMAGE251
进行特征维度方向相乘，得到在特征通道维度上的修正后差异特征
Figure 184741DEST_PATH_IMAGE253
：
Figure 809757DEST_PATH_IMAGE255
其中，σ(·)表示Sigmoid函数；ReLU(·) 表示ReLU激励函数；
Figure 75653DEST_PATH_IMAGE257
表示特征通道上FC层的参数；GAPCh(·)表示特征通道维度方向上的全局平均池化操作；
Figure 153331DEST_PATH_IMAGE259
表示卷积操作；
Figure 61244DEST_PATH_IMAGE261
表示特征通道方向相乘；
Figure 540767DEST_PATH_IMAGE263
的特征通道个数均为2 l-1 C，C为第1级卷积层的卷积核个数；
B3. 计算经过第一空间注意力机制模块HAM后，得到的在CT影像的维度H上的修正后差异特征
Figure DEST_PATH_IMAGE265
；计算经过第二空间位置注意力机制模块WAM后，得到的在CT影像的维度W上的修正后差异特征
Figure DEST_PATH_IMAGE267
；计算经过第三空间位置注意力机制模块ZAM后，得到的在CT影像的维度Z上的修正后差异特征
Figure DEST_PATH_IMAGE269
；H为CT影像横断面每一帧的高；W为CT影像横断面每一帧的宽；Z为CT影像横断面的帧数；
Figure 915248DEST_PATH_IMAGE270
Figure DEST_PATH_IMAGE271
[
Figure 214642DEST_PATH_IMAGE272
其中，σ(·)表示Sigmoid函数；ReLU(·) 表示ReLU激励函数；
Figure 660667DEST_PATH_IMAGE274
表示HAM中FC层的参数；
Figure 994696DEST_PATH_IMAGE276
表示WAM中FC层的参数；
Figure 867974DEST_PATH_IMAGE278
表示ZAM中FC层的参数；GAP H (·)表示特征H维度方向上的全局平均池化操作；GAP W (·)表示特征W维度方向上的全局平均池化操作；GAP Z (·)表示特征Z维度方向上的全局平均池化操作；
Figure 920244DEST_PATH_IMAGE280
表示卷积操作；
Figure 901451DEST_PATH_IMAGE282
表示特征空间位置方向相乘；
Figure 621145DEST_PATH_IMAGE284
、
Figure 399745DEST_PATH_IMAGE286
和
Figure 204890DEST_PATH_IMAGE288
的特征通道个数均为2 l-1 C，C为第1级卷积层的卷积核个数；
B4. 将在特征通道维度上的修正后差异特征
Figure 727138DEST_PATH_IMAGE290
、在CT影像的维度H上的修正后差异特征
Figure 301339DEST_PATH_IMAGE292
、在CT影像的维度W上的修正后差异特征
Figure 516420DEST_PATH_IMAGE294
和在CT影像的维度Z上的修正后差异特征
Figure 277702DEST_PATH_IMAGE296
分别用一个1*1*1卷积处理后像素级相加，并通过另一个1*1*1卷积计算第l级特征差异计算模块FDCM的最终差异特征
Figure 869221DEST_PATH_IMAGE298
：
Figure 32349DEST_PATH_IMAGE300
其中，l=1,…,L；
Figure 418331DEST_PATH_IMAGE302
为CAM对应的1*1*1卷积的参数；
Figure 932489DEST_PATH_IMAGE304
为HAM对应的1*1*1卷积的参数；
Figure 62119DEST_PATH_IMAGE306
为WAM对应的1*1*1卷积的参数；
Figure 79753DEST_PATH_IMAGE308
为ZAM对应的1*1*1卷积的参数；
Figure 902216DEST_PATH_IMAGE310
为相加后特征对应的1*1*1卷积的参数。
步骤S4具体为，为了融合原始 CT 影像对应编码器提取到的局部和全局特征，构建多级特征融合模块(MLFFM)；将原始CT影像对应的编码器En origin 第1到L-1级的特征进行下采样来调整这些特征的尺寸；将调整后的特征和第L级的特征都经过一个1*1*1卷积处理后像素级相加，完成加权融合不同尺度编码器特征；计算多级融合特征F MLFFM 的过程具体如下：
Figure DEST_PATH_IMAGE311
其中，l=1,…,L；
Figure DEST_PATH_IMAGE313
为原始CT影像对应的编码器En origin 第l级特征对应的1*1*1卷积参数；
Figure DEST_PATH_IMAGE315
为原始CT影像对应的编码器的特征；
Figure DEST_PATH_IMAGE317
中的l最大值取L-1；
Figure 779036DEST_PATH_IMAGE317
为第1到第l级的特征对应的下采样参数。
步骤S5具体为，构建一个孪生编码器共享的共享解码器，用于利用多级融合特征和孪生编码器每一级的差异特征；共享解码器的构建包括规则1和规则2：
规则1具体为共享解码器与原始CT影像对应的编码器En origin 结构对称，包含 L级；设每一个与对应编码器第l级对称的解码器层为第l级，每一级包含2个卷积核为3*3*3卷积操作、一个批归一化和ReLU激活函数，级与级之间进行一个2*2*2的上采样操作；第l级的卷积层中卷积核个数为2 l-1 C；
规则2具体为，共享解码器第L级的输入为原始CT影像对应的编码器En origin 的多级融合特征F MLFFM 和第L级的差异特征
Figure DEST_PATH_IMAGE319
，多级融合特征F MLFFM 和第L级的差异特征
Figure DEST_PATH_IMAGE321
串接之后，通过共享解码器第L级的2个卷积层处理，上采样之后作为共享解码器第L-1级的第一输入；同时原始CT影像对应的编码器En origin 第L-1级的差异特征
Figure DEST_PATH_IMAGE323
作为共享解码器第L-1级的第二输入；共享解码器第L-1级的第一输入和共享解码器第L-1级的第二输入进行串接之后通过共享解码器第L-1级的2个卷积层处理，上采样之后作为解码器第L-2级的一个输入；
重复规则2，直到解码器第1级，获得与原始CT影像大小一致的解码特征图；解码特征图经过一个Softmax层后得到原始CT影像中每一个像素属于梗死的概率，从而用概率阈值0.5得到对应的分割结果。
步骤S6具体包括如下步骤：
C1. 由于CT影像中梗死像素和正常组织像素个数分布不均衡，采用Dice损失函数L GDL ，评价分割结果与分割金标准GT的重叠度；Dice损失函数L GDL 具体为：
Figure DEST_PATH_IMAGE325
其中，M为像素的个数；k表示像素的种类，正常像素为第1类，梗死像素为第2类；y ki 为第k类像素中第i个像素的GT标签；p ki 为第k类像素中第i个像素的模型预测概率值；λ k 为第k类像素的权重，
Figure DEST_PATH_IMAGE327
。
C2. 采用加权交叉熵损失函数L WCE ，评价分割结果与分割金标准GT在像素级上的相似度；加权交叉熵损失函数L WCE 具体为：
Figure 590653DEST_PATH_IMAGE328
其中，M为像素的个数；y i 为第i个像素的GT标签得到的梗死概率值；p i 为第i个像素的模型得到的梗死概率值；α表示GT标签为梗死的像素权重，
Figure DEST_PATH_IMAGE329
；
C3. 采用边界损失函数L BL ，评价分割结果与分割金标准GT的边界距离；边界损失函数L BL 具体为：
Figure 197215DEST_PATH_IMAGE330
其中，Ω为所有像素的集合，m为Ω中的一个像素；ϕ GT (·)为从分割金标准GT上计算得到的水平集函数；f(·)表示模型的分割结果。
C4. 采用结构损失函数L SL ，评价分割结果与分割金标准GT的多尺度结构相似性；结构损失函数L SL 具体为：
Figure 924999DEST_PATH_IMAGE332
其中，S为结构尺度的个数，s为尺度下标；p表示模型的分割结果的像素集合；g表示分割金标准GT的像素集合；μ p 为p上所有像素的均值；μ g 为g上所有像素的均值；σ p 为p上所有像素的标准差；σ g 为g上所有像素的标准差；σ pg 为p和g的协方差；β s 为每个尺度的权重；ε 1和ε 2为任意非零实数，用于避免分母为零。
C5. 融合Dice损失、加权交叉熵损失、边界损失和结构损失，构建模型的联合损失函数L joint：
Figure 148170DEST_PATH_IMAGE334
其中，ω 1为融合Dice损失的权重；ω 2为加权交叉熵损失的权重；ω 3为边界损失的权重；ω 4为结构损失的权重；ω 1+ω 2+ω 3+ω 4=1；
在训练集上采用5折交叉验证，将训练集均分为5份，4份用来训练模型，剩余的一份用来验证模型有效性和调整模型参数，最终得到在验证集上重叠度最高的分割模型。

Claims (8)

1.一种脑卒中CT影像分割方法，其特征在于包括如下步骤：
S1. 获取原始CT影像，并进行预处理；
S2. 构建一个孪生编码器，每个编码器具有相同结构和参数，用于提取多级卷积特征来表征梗死；
S3. 计算孪生编码器每一级的左右特征差异；
S4. 将原始CT影像对应编码器的所有特征进行融合，并输入到对应解码器中；
S5. 构建一个共享的、与编码器结构对称的解码器，利用原始CT影像对应编码器的多级融合特征和每一级差异特征来生成与原始CT影像大小一致的特征图；
S6. 生成联合损失函数，训练出一个最优的CT影像梗死分割模型；
S7. 通过训练得到的CT影像梗死分割模型，对未知分类标签的实际CT影像进行梗死分割；
所述的步骤S3具体包括如下步骤：
B1. 对孪生编码器的第l级特征相减，并进行1*1*1卷积得到粗略差异特征
Figure 426113DEST_PATH_IMAGE001
，具体为；
Figure DEST_PATH_IMAGE002
其中，
Figure 405571DEST_PATH_IMAGE003
为1*1*1卷积的参数；
Figure DEST_PATH_IMAGE004
表示卷积操作；
Figure 982045DEST_PATH_IMAGE005
为原始CT影像对应的编码器的特征；
Figure DEST_PATH_IMAGE006
为翻转CT影像对应的编码器的特征；
Figure 439572DEST_PATH_IMAGE007
、
Figure DEST_PATH_IMAGE008
和
Figure 988365DEST_PATH_IMAGE006
的特征通道个数均为2 l-1 C，C为第1级卷积层的卷积核个数；
B2. 构建特征通道注意力机制模块CAM；构建第一空间位置注意力机制模块HAM、第二空间位置注意力机制模块WAM和第三空间位置注意力机制模块ZAM，第一空间位置注意力机制模块HAM对应CT影像的维度H，第二空间位置注意力机制模块WAM对应CT影像的维度W，第三空间位置注意力机制模块ZAM对应CT影像的维度Z；H为CT影像横断面每一帧的高；W为CT影像横断面每一帧的宽；Z为CT影像横断面的帧数；
计算特征通道注意力机制模块在特征通道维度上的修正后差异特征
Figure 607565DEST_PATH_IMAGE009
：
Figure DEST_PATH_IMAGE010
其中，σ(·)表示Sigmoid函数；ReLU(·)表示ReLU激励函数；
Figure 530390DEST_PATH_IMAGE011
表示特征通道上FC层的参数；GAPCh(·)表示特征通道维度方向上的全局平均池化操作；
Figure DEST_PATH_IMAGE012
表示卷积操作；
Figure 463711DEST_PATH_IMAGE013
表示特征通道方向相乘；
Figure DEST_PATH_IMAGE014
的特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；
计算经过第一空间注意力机制模块HAM后，得到在CT影像的维度H上的修正后差异特征
Figure 929328DEST_PATH_IMAGE015
；H为CT影像横断面每一帧的高；
Figure DEST_PATH_IMAGE016
其中，σ(·)表示Sigmoid函数；ReLU(·)表示ReLU激励函数；
Figure 999657DEST_PATH_IMAGE017
表示HAM中FC层的参数；GAP H (·)表示特征H维度方向上的全局平均池化操作；
Figure DEST_PATH_IMAGE018
表示卷积操作；
Figure 816303DEST_PATH_IMAGE019
表示特征空间位置方向相乘；
Figure 818894DEST_PATH_IMAGE015
的特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；
计算经过第二空间位置注意力机制模块WAM后，得到在CT影像的维度W上的修正后差异特征
Figure DEST_PATH_IMAGE020
；W为CT影像横断面每一帧的宽；
Figure 404596DEST_PATH_IMAGE021
其中，σ(·)表示Sigmoid函数；ReLU(·)表示ReLU激励函数；
Figure DEST_PATH_IMAGE022
表示WAM中FC层的参数；GAP W (·)表示特征W维度方向上的全局平均池化操作；
Figure 631178DEST_PATH_IMAGE023
表示卷积操作；
Figure DEST_PATH_IMAGE024
表示特征空间位置方向相乘；
Figure 731858DEST_PATH_IMAGE020
的特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；
计算经过第三空间位置注意力机制模块ZAM后，得到在CT影像的维度Z上的修正后差异特征
Figure 475823DEST_PATH_IMAGE025
；Z为CT影像横断面的帧数；
Figure DEST_PATH_IMAGE026
其中，σ(·)表示Sigmoid函数；ReLU(·) 表示ReLU激励函数；
Figure 916032DEST_PATH_IMAGE027
表示ZAM中FC层的参数；GAP Z (·)表示特征Z维度方向上的全局平均池化操作；
Figure DEST_PATH_IMAGE028
表示卷积操作；
Figure 110253DEST_PATH_IMAGE029
表示特征空间位置方向相乘；
Figure DEST_PATH_IMAGE030
的特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；
B3. 将在特征通道维度上的修正后差异特征
Figure 635912DEST_PATH_IMAGE031
、在CT影像的维度H上的修正后差异特征
Figure DEST_PATH_IMAGE032
、在CT影像的维度W上的修正后差异特征
Figure 449147DEST_PATH_IMAGE033
和在CT影像的维度Z上的修正后差异特征
Figure DEST_PATH_IMAGE034
分别用一个1*1*1卷积处理后像素级相加，并通过另一个1*1*1卷积计算第l级特征差异计算模块FDCM的最终差异特征
Figure 746792DEST_PATH_IMAGE035
：
Figure DEST_PATH_IMAGE036
其中，l=1,…,L；
Figure 377494DEST_PATH_IMAGE037
为特征通道注意力机制模块CAM对应的1*1*1卷积的参数；
Figure DEST_PATH_IMAGE038
为第一空间位置注意力机制模块HAM对应的1*1*1卷积的参数；
Figure 124870DEST_PATH_IMAGE039
为第二空间位置注意力机制模块WAM对应的1*1*1卷积的参数；
Figure DEST_PATH_IMAGE040
为第三空间位置注意力机制模块ZAM对应的1*1*1卷积的参数；
Figure 69692DEST_PATH_IMAGE041
为相加后特征对应的1*1*1卷积的参数。
2.根据权利要求1所述的脑卒中CT影像分割方法，其特征在于所述的步骤S1具体为，将获得的每个脑部CT影像进行横断面左右翻转及配准以获取翻转CT影像，对原始CT影像和翻转CT影像进行处理；将每位患者的三维CT影像在横断面上进行左右翻转，为了确保翻转后影像中大脑解剖结构与原始CT影像相同，再将左右翻转生成的翻转CT影像配准到原始CT影像空间，并对原始CT影像和翻转CT影像进行预处理，预处理包括去脑颅和归一化；同时，将脑部CT影像以横断面上的中心线为基准进行左右翻转；去脑颅包括像素亮度阈值法，去掉亮度大于第一设定值的像素；同时为了去除脑脊髓液的干扰，去除亮度小于第二设定值的像素；归一化用于克服不同患者CT影像中亮度分布差异，具体包括Z-score标准化方法：
Figure DEST_PATH_IMAGE042
其中，z i 为像素i归一化之后的亮度值；x i 为像素i的亮度值；μ为所有像素亮度的均值；σ为所有像素亮度的方差。
3.根据权利要求2所述的脑卒中CT影像分割方法，其特征在于所述的步骤S2具体包括如下步骤：
A1. 构建原始5维张量和翻转5维张量；
A2. 构建孪生编码器，孪生编码器包括原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 。
4.根据权利要求3所述的脑卒中CT影像分割方法，其特征在于所述的步骤A1具体包括，选取N个原始CT影像及其对应的翻转CT影像，构建原始5维张量和翻转5维张量，大小均为N*H*W*Z*1；其中，N为用来训练的患者个数；H为CT影像横断面每一帧的高；W为CT影像横断面每一帧的宽；Z为CT影像横断面的帧数；1是输入张量的特征通道数。
5.根据权利要求4所述的脑卒中CT影像分割方法，其特征在于所述的步骤A2具体包括，原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 具有相同的网络结构，均包含L级，每一级包含一个批归一化层和一个ReLU层，卷积核为3*3*3；级与级之间进行一个2*2*2的最大值池化下采样操作；第l级的卷积层中卷积核个数为2 l-1 C，C为第1级卷积层的卷积核个数；输入层对应的级为编码器的第1级，下采样之后的级为第2级，以此类推给每一个层级编号。
6.根据权利要求5所述的脑卒中CT影像分割方法，其特征在于所述的步骤S4，具体包括将原始CT影像对应的编码器En origin 第1到L-1级的特征进行下采样来调整这些特征的尺寸；将调整后的特征和第L级的特征都经过一个1*1*1卷积处理后像素级相加，完成加权融合不同尺度编码器特征；计算多级融合特征F MLFFM 的过程具体如下：
Figure 156597DEST_PATH_IMAGE043
其中，l=1,…,L-1 ；
Figure DEST_PATH_IMAGE044
为原始CT影像对应的编码器En origin 第l级特征对应的1*1*1卷积参数；
Figure 895883DEST_PATH_IMAGE045
为原始CT影像对应的编码器的特征；
Figure DEST_PATH_IMAGE046
中的l最大值取L-1；
Figure 192872DEST_PATH_IMAGE047
为第1到第l级的特征对应的下采样参数。
7.根据权利要求6所述的脑卒中CT影像分割方法，其特征在于所述的步骤S5具体为，构建一个孪生编码器共享的共享解码器，用于利用多级融合特征和孪生编码器每一级的差异特征；共享解码器的构建包括规则1和规则2：
规则1具体为共享解码器与原始CT影像对应的编码器En origin 结构对称，包含L级；设每一个与对应编码器第l级对称的解码器层为第l级，每一级包含2个卷积核为3*3*3卷积操作、一个批归一化和ReLU激活函数，级与级之间进行一个2*2*2的上采样操作；第l级的卷积层中卷积核个数为2 l-1 C；
规则2具体为，共享解码器第L级的输入为原始CT影像对应的编码器En origin 的多级融合特征F MLFFM 和第L级的差异特征
Figure DEST_PATH_IMAGE048
，多级融合特征F MLFFM 和第L级的差异特征
Figure 410227DEST_PATH_IMAGE049
串接之后，通过共享解码器第L级的2个卷积层处理，上采样之后作为共享解码器第L-1级的第一输入；同时原始CT影像对应的编码器En origin 第L-1级的差异特征
Figure DEST_PATH_IMAGE050
作为共享解码器第L-1级的第二输入；共享解码器第L-1级的第一输入和共享解码器第L-1级的第二输入进行串接之后通过共享解码器第L-1级的2个卷积层处理，上采样之后作为解码器第L-2级的一个输入；
重复规则2，直到解码器第1级，获得与原始CT影像大小一致的解码特征图；解码特征图经过一个Softmax层后得到原始CT影像中每一个像素属于梗死的概率，从而用预设概率阈值得到对应的分割结果。
8.根据权利要求7所述的脑卒中CT影像分割方法，其特征在于所述的步骤S6具体包括如下步骤：
C1. 由于CT影像中梗死像素和正常组织像素个数分布不均衡，采用Dice损失函数L GDL ，评价分割结果与分割金标准GT的重叠度；Dice损失函数L GDL 具体为：
Figure 617217DEST_PATH_IMAGE051
其中，M为像素的个数；k表示像素的种类，正常像素为第1类，梗死像素为第2类；y ki 为第k类像素中第i个像素的GT标签；p ki 为第k类像素中第i个像素的模型预测概率值；λ k 为第k类像素的权重，
Figure DEST_PATH_IMAGE052
；
C2. 采用加权交叉熵损失函数L WCE ，评价分割结果与分割金标准GT在像素级上的相似度；加权交叉熵损失函数L WCE 具体为：
Figure 527404DEST_PATH_IMAGE053
其中，M为像素的个数；y i 为第i个像素的GT标签得到的梗死概率值；p i 为第i个像素的模型得到的梗死概率值；α表示GT标签为梗死的像素权重，
Figure DEST_PATH_IMAGE054
；
C3. 采用边界损失函数L BL ，评价分割结果与分割金标准GT的边界距离；边界损失函数L BL 具体为：
Figure 314619DEST_PATH_IMAGE055
其中，Ω为所有像素的集合，m为Ω中的一个像素；ϕ GT (·)为从分割金标准GT上计算得到的水平集函数；f(·)表示模型的分割结果；
C4. 采用结构损失函数L SL ，评价分割结果与分割金标准GT的多尺度结构相似性；结构损失函数L SL 具体为：
Figure DEST_PATH_IMAGE056
其中，S为结构尺度的个数，s表示尺度下标；p表示模型分割结果的像素集合；g表示分割金标准GT的像素集合；μ p 为p上所有像素的均值；μ g 为g上所有像素的均值；σ p 为p上所有像素的标准差；σ g 为g上所有像素的标准差；σ pg 为p和g的协方差；β s 为每个尺度的权重；ε 1和ε 2为任意非零实数，用于避免分母为零；
C5. 融合Dice损失、加权交叉熵损失、边界损失和结构损失，构建模型的联合损失函数L joint：
Figure 335665DEST_PATH_IMAGE057
其中，ω 1为融合Dice损失的权重；ω 2为加权交叉熵损失的权重；ω 3为边界损失的权重；ω 4为结构损失的权重；ω 1+ω 2+ω 3+ω 4=1；
在训练集上采用5折交叉验证，将训练集均分为5份，4份用来训练模型，剩余的一份用来验证模型有效性和调整模型参数，最终得到在验证集上重叠度最高的分割模型。
CN202110727412.5A 2021-06-29 2021-06-29 一种脑卒中ct影像分割方法 Active CN113177943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110727412.5A CN113177943B (zh) 2021-06-29 2021-06-29 一种脑卒中ct影像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110727412.5A CN113177943B (zh) 2021-06-29 2021-06-29 一种脑卒中ct影像分割方法

Publications (2)

Publication Number Publication Date
CN113177943A CN113177943A (zh) 2021-07-27
CN113177943B true CN113177943B (zh) 2021-09-07

Family

ID=76927967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110727412.5A Active CN113177943B (zh) 2021-06-29 2021-06-29 一种脑卒中ct影像分割方法

Country Status (1)

Country Link
CN (1) CN113177943B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870289B (zh) * 2021-09-22 2022-03-15 浙江大学 一种解耦分治的面神经分割方法和装置
CN114638843B (zh) * 2022-03-18 2022-09-06 北京安德医智科技有限公司 大脑中动脉高密度征影像识别方法及装置
CN115018836A (zh) * 2022-08-08 2022-09-06 四川大学 一种癫痫病灶自动分割与预测方法、系统及设备
CN116012388B (zh) * 2023-03-28 2023-06-13 中南大学 急性缺血性脑卒中三维医学影像分割方法及成像方法
CN117422880B (zh) * 2023-12-18 2024-03-22 齐鲁工业大学(山东省科学院) 改进的注意力机制与cv模型相结合的分割方法及其系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097528A (zh) * 2019-04-11 2019-08-06 江南大学 一种基于联合卷积自编码网络的图像融合方法
CN110288609A (zh) * 2019-05-30 2019-09-27 南京师范大学 一种注意力机制引导的多模态全心脏图像分割方法
CN111415373A (zh) * 2020-03-20 2020-07-14 北京以萨技术股份有限公司 基于孪生卷积网络的目标跟踪与分割方法、系统及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129934A1 (en) * 2016-11-07 2018-05-10 Qualcomm Incorporated Enhanced siamese trackers

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097528A (zh) * 2019-04-11 2019-08-06 江南大学 一种基于联合卷积自编码网络的图像融合方法
CN110288609A (zh) * 2019-05-30 2019-09-27 南京师范大学 一种注意力机制引导的多模态全心脏图像分割方法
CN111415373A (zh) * 2020-03-20 2020-07-14 北京以萨技术股份有限公司 基于孪生卷积网络的目标跟踪与分割方法、系统及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EIS-Net: Segmenting early infarct and scoring ASPECTS simultaneously on non-contrast CT of patients with acute ischemic stroke;Hulin Kuang等;《Medical Image Analysis》;20210223;第1-14页 *
注意力机制引导的多模态心脏图像分割;杨琬琪等;《南京师大学报(自然科学版)》;20190930;第42卷(第3期);第27-31页 *

Also Published As

Publication number Publication date
CN113177943A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN113177943B (zh) 一种脑卒中ct影像分割方法
CN109035263B (zh) 基于卷积神经网络的脑肿瘤图像自动分割方法
Pinaya et al. Unsupervised brain imaging 3D anomaly detection and segmentation with transformers
Li et al. Alzheimer's disease classification based on combination of multi-model convolutional networks
CN108364006B (zh) 基于多模式深度学习的医学图像分类装置及其构建方法
CN113040715B (zh) 一种基于卷积神经网络的人脑功能网络分类方法
Ni et al. GC-Net: Global context network for medical image segmentation
CN111488914B (zh) 一种基于多任务学习的阿尔茨海默症分类及预测系统
CN112365464B (zh) 一种基于gan的医学图像病变区域弱监督定位方法
CN108109140A (zh) 基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及系统
CN109770932A (zh) 多模态脑部神经影像特征的处理方法
CN110097128B (zh) 医学图像分类装置及系统
Altaf et al. Multi-class Alzheimer disease classification using hybrid features
Sreelakshmy et al. An automated deep learning model for the cerebellum segmentation from fetal brain images
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
CN111724356B (zh) 一种用于ct影像肺炎识别的图像处理方法和系统
Mirchandani et al. Comparing the Architecture and Performance of AlexNet Faster R-CNN and YOLOv4 in the Multiclass Classification of Alzheimer Brain MRI Scans
Yoon et al. Effect of data augmentation of F-18-Florbetaben positron-emission tomography images by using deep learning convolutional neural network architecture for amyloid positive patients
CN112837276A (zh) 一种基于级联深度神经网络模型的脑胶质瘤分割方法
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study
US20230115927A1 (en) Systems and methods for plaque identification, plaque composition analysis, and plaque stability detection
Rasoulian et al. Weakly Supervised Intracranial Hemorrhage Segmentation using Head-Wise Gradient-Infused Self-Attention Maps from a Swin Transformer in Categorical Learning
CN114862799B (zh) 一种用于flair-mri序列的全自动脑体积分割方法
CN114581459A (zh) 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法
Pallawi et al. Study of Alzheimer’s disease brain impairment and methods for its early diagnosis: a comprehensive survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant