CN113177943A - 一种脑卒中ct影像分割方法 - Google Patents

一种脑卒中ct影像分割方法 Download PDF

Info

Publication number
CN113177943A
CN113177943A CN202110727412.5A CN202110727412A CN113177943A CN 113177943 A CN113177943 A CN 113177943A CN 202110727412 A CN202110727412 A CN 202110727412A CN 113177943 A CN113177943 A CN 113177943A
Authority
CN
China
Prior art keywords
image
convolution
original
level
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110727412.5A
Other languages
English (en)
Other versions
CN113177943B (zh
Inventor
匡湖林
刘锦
王建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202110727412.5A priority Critical patent/CN113177943B/zh
Publication of CN113177943A publication Critical patent/CN113177943A/zh
Application granted granted Critical
Publication of CN113177943B publication Critical patent/CN113177943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种脑卒中CT影像分割方法，包括对缺血性脑卒中CT影像翻转，并将原始CT影像和翻转CT影像进行预处理；构建孪生多级编码器，计算模块来计算两个编码器每一级的特征差异，利用多级特征融合模块来融合特征；构建共享解码器；设计联合损失函数，在训练集上训练到最优分割模型；最后利用训练好的分割模型对未知分割标签的测试集进行缺血性脑卒中梗死分割。本发明利用特征差异计算模块来计算两个编码器每一级的特征差异，利用多级特征融合模块来融合的全局和局部特征；能够较准确的分割出CT影像中的梗死，为提升缺血性脑卒中诊断效率和准确度、降低致死率和致残率，提供了技术支撑和参考。

Description

一种脑卒中CT影像分割方法
技术领域
本发明属于图像数据处理技术领域，具体涉及一种脑卒中CT影像分割方法。
背景技术
脑卒中严重危害中国国民健康。急性缺血性脑卒中大约占我国脑卒中的70%，是最常见的脑卒中类型。由于缺血性脑卒中治疗时间窗短，采集时间较短、费用较低的计算机断层扫描（CT）成为了缺血性脑卒中临床中首选的影像检查技术。缺血性脑卒中的梗死病灶体积是评估患者脑卒中严重程度和治疗决策的重要指标，现在一般通过专家人工对CT影像进行梗死分割，但专家进行梗死分割是非常耗时的，并且存在较大的主观性和个体差异。因此越来越多的研究者关注基于CT影像的自动缺血性脑卒中梗死分割。
缺血性脑卒中梗死分割方法可以分为基于机器学习和深度学习这两种。尽管传统的机器学习比如随机森林（RF）和支持向量机（SVM）比较高效，但分割性能欠佳。随着深度学习和计算机技术的不断发展和进步，基于深度学习的梗死分割方法成为了CT影像分割非常重要的工具。目前基于核磁共振成像（MRI）的深度学习梗死分割方法取得了较好的分割性能。但由于CT中梗死与正常组织对比度较低等挑战，因此目前基于CT的深度学习梗死分割方法的效率还需要进一步提升。
大多数基于CT的梗死分割方法是一些通用模型和技术的改进，比如U-Net和注意力机制等，几乎没有考虑具体疾病的特性。缺血性脑卒中梗死有以下特点：（1）梗死区域的亮度会比大脑对侧具有相同解剖结构的正常区域低；（2）梗死在空间位置上具有一定的连续性。同时现有基于CT的梗死分割方法中应用的注意力机制大多是通道注意力机制，无法处理空间位置注意力机制来模拟梗死的空间位置连续性，准确度低。
发明内容
本发明的目的在于提供一种脑卒中CT影像分割方法，该方法能够提高缺血性脑卒中CT影像梗死分割的准确度。
本发明提供的这种脑卒中CT影像分割方法，包括如下步骤：
S1. 获取原始CT影像，并进行预处理；
S2. 构建一个孪生编码器，每个编码器具有相同结构和参数，用于提取多级卷积特征来表征梗死；
S3. 计算孪生编码器每一级的左右特征差异；
S4. 将原始CT影像对应编码器的所有特征进行融合，并输入到对应解码器中；
S5. 构建一个共享的、与编码器结构对称的解码器，利用原始CT影像对应编码器的多级融合特征和每一级差异特征来生成与原始CT影像大小一致的特征图；
S6. 生成联合损失函数，训练出一个最优的CT影像梗死分割模型；
S7. 通过训练得到的CT影像梗死分割模型，对未知分类标签的实际CT影像进行梗死分割。
所述的步骤S1具体为，将获得的每个脑部CT影像进行横断面左右翻转及配准以获取翻转CT影像，对原始CT影像和翻转CT影像进行处理；将每位患者的三维CT影像在横断面上进行左右翻转，为了确保翻转后影像中大脑解剖结构与原始CT影像相同，再将左右翻转生成的翻转CT影像配准到原始CT影像空间，并对原始CT影像和翻转CT影像进行预处理，预处理包括去脑颅和归一化；同时，将脑部CT影像以横断面上的中心线为基准进行左右翻转；去脑颅包括像素亮度阈值法，去掉亮度大于第一设定值的像素；同时为了去除脑脊髓液的干扰，去除亮度小于第二设定值的像素；归一化用于克服不同患者CT影像中亮度分布差异，具体包括Z-score标准化方法：
Figure 58785DEST_PATH_IMAGE001
其中，z i 为像素i归一化之后的亮度值；x i 为像素i的亮度值；μ为所有像素亮度的均值；σ为所有像素亮度的方差。
所述的步骤S2具体包括如下步骤：
A1. 构建原始5维张量和翻转5维张量；
A2. 构建孪生编码器，孪生编码器包括原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 。
所述的步骤A1具体包括，选取N个原始CT影像及其对应的翻转CT影像，构建原始5维张量和翻转5维张量，大小均为N*H*W*Z*1；其中，N为用来训练的患者个数；H为CT影像横断面每一帧的高；W为CT影像横断面每一帧的宽；Z为CT影像横断面的帧数；1是输入张量的特征通道数。
所述的步骤A2具体包括，原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 具有相同的网络结构，均包含L级，每一级包含一个批归一化层和一个ReLU层，卷积核为3*3*3；级与级之间进行一个2*2*2的最大值池化下采样操作；第l级的卷积层中卷积核个数为2 l-1 C，C为第1级卷积层的卷积核个数；输入层对应的级为编码器的第1级，下采样之后的级为第2级，以此类推给每一个层级编号。
所述的步骤S3具体包括如下步骤：
B1. 对孪生编码器的第l级特征相减，并进行1*1*1卷积得到粗略差异特征
Figure 539445DEST_PATH_IMAGE002
，具 体为；
Figure 894203DEST_PATH_IMAGE003
其中，
Figure 751301DEST_PATH_IMAGE004
为1*1*1卷积的参数；
Figure 445587DEST_PATH_IMAGE005
表示卷积操作；
Figure 425045DEST_PATH_IMAGE006
为原始CT影像对应的编码器 的特征；
Figure 470361DEST_PATH_IMAGE007
为翻转CT影像对应的编码器的特征；
Figure 865570DEST_PATH_IMAGE008
、
Figure 414363DEST_PATH_IMAGE009
和
Figure 564722DEST_PATH_IMAGE007
的特征通道个数均为2 l- 1 C，C为第1级卷积层的卷积核个数；
B2. 构建特征通道注意力机制模块CAM；构建第一空间位置注意力机制模块HAM、第二空间位置注意力机制模块WAM和第三空间位置注意力机制模块ZAM，第一空间位置注意力机制模块HAM对应CT影像的维度H，第二空间位置注意力机制模块WAM对应CT影像的维度W，第三空间位置注意力机制模块ZAM对应CT影像的维度Z；H为CT影像横断面每一帧的高；W为CT影像横断面每一帧的宽；Z为CT影像横断面的帧数；
计算特征通道注意力机制模块在特征通道维度上的修正后差异特征
Figure 831755DEST_PATH_IMAGE010
：
Figure 92972DEST_PATH_IMAGE011
其中，σ(·)表示Sigmoid函数；ReLU(·)表示ReLU激励函数；
Figure 496272DEST_PATH_IMAGE013
表示特征通道上 FC层（全连接层）的参数；GAPCh(·)表示特征通道维度方向上的全局平均池化操作；
Figure 755215DEST_PATH_IMAGE014
表示 卷积操作；
Figure 571861DEST_PATH_IMAGE015
表示特征通道方向相乘；
Figure 308873DEST_PATH_IMAGE016
的特征通道个数为2 l-1 C，C为第1级卷积层的卷积 核个数；
计算经过第一空间注意力机制模块HAM后，得到在CT影像的维度H上的修正后差异 特征
Figure 832258DEST_PATH_IMAGE017
；H为CT影像横断面每一帧的高；
Figure 324419DEST_PATH_IMAGE018
其中，σ(·)表示Sigmoid函数；ReLU(·)表示ReLU激励函数；
Figure 300466DEST_PATH_IMAGE020
表示HAM中FC层的 参数；GAP H (·)表示特征H维度方向上的全局平均池化操作；
Figure 841168DEST_PATH_IMAGE021
表示卷积操作；
Figure 546956DEST_PATH_IMAGE022
表示特征 空间位置方向相乘；
Figure 882123DEST_PATH_IMAGE023
的特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；
计算经过第二空间位置注意力机制模块WAM后，得到在CT影像的维度W上的修正后 差异特征
Figure 673361DEST_PATH_IMAGE024
；W为CT影像横断面每一帧的宽；
Figure 752176DEST_PATH_IMAGE025
其中，σ(·)表示Sigmoid函数；ReLU(·)表示ReLU激励函数；
Figure 250153DEST_PATH_IMAGE027
表示WAM中FC层 的参数；GAP W (·)表示特征W维度方向上的全局平均池化操作；
Figure 756221DEST_PATH_IMAGE028
表示卷积操作；
Figure 34755DEST_PATH_IMAGE029
表示特 征空间位置方向相乘；
Figure 917261DEST_PATH_IMAGE030
的特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；
计算经过第三空间位置注意力机制模块ZAM后，得到在CT影像的维度Z上的修正后 差异特征
Figure 269745DEST_PATH_IMAGE031
；Z为CT影像横断面的帧数；
Figure 274610DEST_PATH_IMAGE032
其中，σ(·)表示Sigmoid函数；ReLU(·) 表示ReLU激励函数；
Figure 712544DEST_PATH_IMAGE034
表示ZAM中FC层 的参数；GAP Z (·)表示特征Z维度方向上的全局平均池化操作；
Figure 195478DEST_PATH_IMAGE035
表示卷积操作；
Figure 668048DEST_PATH_IMAGE036
表示特 征空间位置方向相乘；
Figure 515918DEST_PATH_IMAGE037
的特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；
B3. 将在特征通道维度上的修正后差异特征
Figure 503466DEST_PATH_IMAGE038
、在CT影像的维度H上的修正后 差异特征
Figure 727774DEST_PATH_IMAGE039
、在CT影像的维度W上的修正后差异特征
Figure 54850DEST_PATH_IMAGE040
和在CT影像的维度Z上的修正 后差异特征
Figure 401518DEST_PATH_IMAGE041
分别用一个1*1*1卷积处理后像素级相加，并通过另一个1*1*1卷积计算第l级特征差异计算模块FDCM的最终差异特征
Figure 814044DEST_PATH_IMAGE042
：
Figure 576464DEST_PATH_IMAGE043
其中，l=1,…,L；
Figure 820363DEST_PATH_IMAGE044
为特征通道注意力机制模块CAM对应的1*1*1卷积的参数；
Figure 275616DEST_PATH_IMAGE045
为第一空间位置注意力机制模块HAM对应的1*1*1卷积的参数；
Figure 237755DEST_PATH_IMAGE046
为第二空间位置注意力 机制模块WAM对应的1*1*1卷积的参数；
Figure 803866DEST_PATH_IMAGE047
为第三空间位置注意力机制模块ZAM对应的1*1* 1卷积的参数；
Figure 839955DEST_PATH_IMAGE048
为相加后特征对应的1*1*1卷积的参数。
所述的步骤S4，具体包括将原始CT影像对应的编码器En origin 第1到L-1级的特征进行下采样来调整这些特征的尺寸；将调整后的特征和第L级的特征都经过一个1*1*1卷积处理后像素级相加，完成加权融合不同尺度编码器特征；计算多级融合特征F MLFFM 的过程具体如下：
Figure 546003DEST_PATH_IMAGE049
其中，l=1,…,L；
Figure 933122DEST_PATH_IMAGE050
为原始CT影像对应的编码器En origin 第l级特征对应的1*1* 1卷积参数；
Figure 37345DEST_PATH_IMAGE051
为原始CT影像对应的编码器的特征；
Figure 193520DEST_PATH_IMAGE052
中的l最大值取L-1；
Figure 52891DEST_PATH_IMAGE053
为第1 到第l级的特征对应的下采样参数。
所述的步骤S5具体为，构建一个孪生编码器共享的共享解码器，用于利用多级融合特征和孪生编码器每一级的差异特征；共享解码器的构建包括规则1和规则2：
规则1具体为共享解码器与原始CT影像对应的编码器En origin 结构对称，包含 L级；设每一个与对应编码器第l级对称的解码器层为第l级，每一级包含2个卷积核为3*3*3卷积操作、一个批归一化和ReLU激活函数，级与级之间进行一个2*2*2的上采样操作；第l级的卷积层中卷积核个数为2 l-1 C；
规则2具体为，共享解码器第L级的输入为原始CT影像对应的编码器En origin 的多级 融合特征F MLFFM 和第L级的差异特征
Figure 661727DEST_PATH_IMAGE054
，多级融合特征F MLFFM 和第L级的差异特征
Figure 835219DEST_PATH_IMAGE055
串接 之后，通过共享解码器第L级的2个卷积层处理，上采样之后作为共享解码器第L-1级的第一 输入；同时原始CT影像对应的编码器En origin 第L-1级的差异特征
Figure 908218DEST_PATH_IMAGE056
作为共享解码器第L- 1级的第二输入；共享解码器第L-1级的第一输入和共享解码器第L-1级的第二输入进行串 接之后通过共享解码器第L-1级的2个卷积层处理，上采样之后作为解码器第L-2级的一个 输入；
重复规则2，直到解码器第1级，获得与原始CT影像大小一致的解码特征图；解码特征图经过一个Softmax层后得到原始CT影像中每一个像素属于梗死的概率，从而用预设概率阈值得到对应的分割结果。
所述的步骤S6具体包括如下步骤：
C1. 由于CT影像中梗死像素和正常组织像素个数分布不均衡，采用Dice损失函数L GDL ，评价分割结果与分割金标准GT的重叠度；Dice损失函数L GDL 具体为：
Figure 876174DEST_PATH_IMAGE057
其中，M为像素的个数；k表示像素的种类，正常像素为第1类，梗死像素为第2类；y ki 为第k类像素中第i个像素的GT标签；p ki 为第k类像素中第i个像素的模型预测概率值；λ k 为 第k类像素的权重，
Figure 972306DEST_PATH_IMAGE058
；
C2. 采用加权交叉熵损失函数L WCE ，评价分割结果与分割金标准GT在像素级上的相似度；加权交叉熵损失函数L WCE 具体为：
Figure 418330DEST_PATH_IMAGE059
其中，M为像素的个数；y i 为第i个像素的GT标签得到的梗死概率值；p i 为第i个像素 的模型得到的梗死概率值；α表示GT标签为梗死的像素权重，
Figure 611414DEST_PATH_IMAGE061
；
C3. 采用边界损失函数L BL ，评价分割结果与分割金标准GT的边界距离；边界损失函数L BL 具体为：
Figure 750272DEST_PATH_IMAGE062
其中，Ω为所有像素的集合，m为Ω中的一个像素；ϕ GT (·)为从分割金标准GT上计算得到的水平集函数；f(·)表示模型的分割结果；
C4. 采用结构损失函数L SL ，评价分割结果与分割金标准GT的多尺度结构相似性；结构损失函数L SL 具体为：
Figure 333700DEST_PATH_IMAGE063
其中，S为结构尺度的个数，s表示尺度下标；p表示模型分割结果的像素集合；g表示分割金标准GT的像素集合；μ S 为p上所有像素的均值；μ G 为g上所有像素的均值；σ S 为p上所有像素的标准差；σ G 为g上所有像素的标准差；σ pg 为p和g的协方差；β s 为每个尺度的权重；ε 1和ε 2为任意非零实数，用于避免分母为零；
C5. 融合Dice损失、加权交叉熵损失、边界损失和结构损失，构建模型的联合损失函数L joint：
Figure 645732DEST_PATH_IMAGE064
其中，ω 1为融合Dice损失的权重；ω 2为加权交叉熵损失的权重；ω 3为边界损失的权重；ω 4为结构损失的权重；ω 1+ω 2+ω 3+ω 4=1；
在训练集上采用5折交叉验证，将训练集均分为5份，4份用来训练模型，剩余的一份用来验证模型有效性和调整模型参数，最终得到在验证集上重叠度最高的分割模型。
本发明提供的这种脑卒中CT影像分割方法，利用特征差异计算模块来计算两个编码器每一级的特征差异，利用多级特征融合模块来融合的全局和局部特征；能够较准确的分割出CT影像中的梗死，为提升缺血性脑卒中诊断效率和准确度、降低致死率和致残率，提供了技术支撑和参考。
附图说明
图1为本发明方法的流程示意图。
图2为本发明实施例的总体流程示意图。
具体实施方式
如图1为本发明方法的流程示意图：本发明提供的这种脑卒中CT影像分割方法，包括如下步骤：
S1. 获取原始CT影像，并将获得的每个脑部CT影像进行横断面左右翻转及配准以获取翻转CT影像，对原始CT影像和翻转CT影像进行处理；
S2. 构建一个孪生编码器，每个编码器具有相同结构和参数，分别从原始CT影像和翻转CT影像中提取多级卷积特征来表征梗死；
S3. 对于孪生编码器的每一级，利用特征差异计算模块来获得CT影像每一级的左右特征差异；
S4. 利用多级融合模块，将原始CT影像对应编码器的所有特征进行融合，并输入到对应解码器中；
S5. 构建一个共享的、与编码器结构对称的解码器，利用原始CT影像对应编码器的多级融合特征和每一级差异特征，生成与原始CT影像大小一致的特征图；
S6. 生成联合损失函数在训练集上训练出一个最优的CT影像梗死分割模型；
S7. 通过训练得到的分割模型，对未知分类标签的测试CT影像进行梗死分割。
步骤S1具体为，将每位患者的三维CT影像在横断面上进行左右翻转，为了确保翻转后影像中大脑解剖结构与原始CT影像相同，再将左右翻转生成的翻转CT影像配准到原始CT影像空间，并对原始CT影像和翻转CT影像进行预处理，预处理包括去脑颅和归一化；同时，将脑部CT影像进行左右翻转以横断面上的中心线为基准进行。在本实施例中，将翻转CT影像配准到原始CT影像空间采用了SimpleITK工具箱，是一种医学图像分析领域中常用的Python工具箱。
去脑颅包括像素亮度阈值法，根据临床中先验知识，缺血性脑卒中CT影像中脑颅素亮度值一般超过100，因此去掉亮度大于100的像素；同时为了去除脑脊髓液的干扰，去除亮度小于8的像素。
归一化用于克服不同患者CT影像中亮度分布差异，具体包括Z-score标准化方法：
Figure 631006DEST_PATH_IMAGE065
其中，z i 为像素i归一化之后的亮度值；x i 为像素i的亮度值；μ为所有像素亮度的均值；σ为所有像素亮度的方差。
步骤S2，为了充分利用多尺度特征以及梗死病灶和大脑对侧正常组织存在亮度差异这一特性，为原始CT影像和翻转CT影像构建了孪生编码器（SE）。步骤S2具体包括，
A1. 构建原始5维张量和翻转5维张量；步骤A1具体包括，选取N个原始CT影像及其对应的翻转CT影像，构建原始5维张量和翻转5维张量，大小均为N*H*W*Z*1；其中，N为用来训练的患者个数；H为CT影像横断面每一帧的高；W为CT影像横断面每一帧的宽；Z为CT影像横断面的帧数；1是输入张量的特征通道数；
A2. 构建孪生编码器（SE），孪生编码器包括原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 。步骤A2具体包括，原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 具有相同的网络结构，均包含L级，每一级包含2个卷积层，卷积核为3*3*3，一个批归一化（BN）层和一个ReLU层，级与级之间进行一个2*2*2的最大值池化下采样操作；第l级的卷积层中卷积核个数，即第l级输出特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；输入层对应的级为编码器的第1级，下采样之后的级为第2级，给每一个层级编号；其中，原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 的参数进行共享，原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 具有相同的结构和参数，因此被称为孪生编码器。
步骤S3具体为，用特征差异计算模块FDCM对两个编码器每一级中ReLU输出的卷积特征进行处理；构建特征差异计算模块结构包括如下步骤：
B1. 对孪生编码器（原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip ）的第l级特征（原始CT影像对应的编码器的特征
Figure 940765DEST_PATH_IMAGE066
和翻转CT影像对应的编码器的 特征
Figure 11489DEST_PATH_IMAGE067
）相减，并进行1*1*1卷积得到粗略差异特征
Figure 127212DEST_PATH_IMAGE068
，具体为；
Figure 966992DEST_PATH_IMAGE069
其中，
Figure 447652DEST_PATH_IMAGE070
为1*1*1卷积的参数；
Figure 740093DEST_PATH_IMAGE071
表示卷积操作；
Figure 659508DEST_PATH_IMAGE072
为原始CT影像对应的编码 器的特征；
Figure 353794DEST_PATH_IMAGE073
为翻转CT影像对应的编码器的特征；
Figure 5355DEST_PATH_IMAGE074
、
Figure 50672DEST_PATH_IMAGE075
和
Figure 508198DEST_PATH_IMAGE076
的特征通道个数均为 2 l-1 C，C为第1级卷积层的卷积核个数；
B2. 构建特征通道注意力机制模块CAM；构建第一空间位置注意力机制模块HAM、 第二空间位置注意力机制模块WAM和第三空间位置注意力机制模块ZAM，第一空间位置注意 力机制模块HAM对应CT影像的维度H，第二空间位置注意力机制模块WAM对应CT影像的维度W，第三空间位置注意力机制模块ZAM对应CT影像的维度Z；H为CT影像横断面每一帧的高；W 为CT影像横断面每一帧的宽；Z为CT影像横断面的帧数；不同注意力机制模块的差异在于针 对的特征维度不一样，其他操作网络结构相似，特征通道注意力机制模块均采用如下方式 计算，对特征进行通道维度上的全局均值池化（GAP）后依次通过一个全连接层（FC层）、一个 ReLU层和一个Sigmoid层；Sigmoid层的输出与输入的粗略差异特征
Figure 56991DEST_PATH_IMAGE077
进行特征维度方向 相乘，得到在特征通道维度上的修正后差异特征
Figure 145033DEST_PATH_IMAGE078
：
Figure 412066DEST_PATH_IMAGE079
其中，σ(·)表示Sigmoid函数；ReLU(·) 表示ReLU激励函数；
Figure 407704DEST_PATH_IMAGE080
表示特征通道上 FC层的参数；GAPCh(·)表示特征通道维度方向上的全局平均池化操作；
Figure 76583DEST_PATH_IMAGE081
表示卷积操作；
Figure 335526DEST_PATH_IMAGE082
表示特征通道方向相乘；
Figure 824276DEST_PATH_IMAGE083
的特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；
B3. 计算经过第一空间注意力机制模块HAM后，得到的在CT影像的维度H上的修正 后差异特征
Figure 889184DEST_PATH_IMAGE084
；计算经过第二空间位置注意力机制模块WAM后，得到的在CT影像的维度W上的修正后差异特征
Figure 412569DEST_PATH_IMAGE085
；计算经过第三空间位置注意力机制模块ZAM后，得到的在CT影 像的维度Z上的修正后差异特征
Figure 576834DEST_PATH_IMAGE086
；H为CT影像横断面每一帧的高；W为CT影像横断面每 一帧的宽；Z为CT影像横断面的帧数；
Figure 818460DEST_PATH_IMAGE087
Figure 421479DEST_PATH_IMAGE088
Figure 799371DEST_PATH_IMAGE089
其中，σ(·)表示Sigmoid函数；ReLU(·) 表示ReLU激励函数；
Figure 400117DEST_PATH_IMAGE090
表示HAM中FC层 的参数；
Figure 863459DEST_PATH_IMAGE091
表示WAM中FC层的参数；
Figure 270169DEST_PATH_IMAGE092
表示ZAM中FC层的参数；GAP H (·)表示特征H维度方 向上的全局平均池化操作；GAP W (·)表示特征W维度方向上的全局平均池化操作；GAP Z (·) 表示特征Z维度方向上的全局平均池化操作；
Figure 768147DEST_PATH_IMAGE093
表示卷积操作；
Figure 274215DEST_PATH_IMAGE094
表示特征空间位置方向 相乘；
Figure 490432DEST_PATH_IMAGE095
、
Figure 435255DEST_PATH_IMAGE096
和
Figure 787739DEST_PATH_IMAGE097
的特征通道个数均为2 l-1 C，C为第1级卷积层的卷积核个数；2 l-1 C 表示第l级输出特征通道个数；
B4. 将在特征通道维度上的修正后差异特征
Figure 464707DEST_PATH_IMAGE098
、在CT影像的维度H上的修正后 差异特征
Figure 902642DEST_PATH_IMAGE099
、在CT影像的维度W上的修正后差异特征
Figure 651155DEST_PATH_IMAGE100
和在CT影像的维度Z上的修正 后差异特征
Figure 858146DEST_PATH_IMAGE101
分别用一个1*1*1卷积处理后像素级相加，并通过另一个1*1*1卷积计算 第l级特征差异计算模块FDCM的最终差异特征
Figure 971595DEST_PATH_IMAGE102
：
Figure 959143DEST_PATH_IMAGE103
其中，l=1,…,L；
Figure 183451DEST_PATH_IMAGE104
为CAM对应的1*1*1卷积的参数；
Figure 510527DEST_PATH_IMAGE105
为HAM对应的1*1*1卷积 的参数；
Figure 794878DEST_PATH_IMAGE106
为WAM对应的1*1*1卷积的参数；
Figure 4142DEST_PATH_IMAGE107
为ZAM对应的1*1*1卷积的参数；
Figure 32141DEST_PATH_IMAGE108
为相加 后特征对应的1*1*1卷积的参数。
步骤S4具体为，为了融合原始 CT 影像对应编码器提取到的局部和全局特征，构建多级特征融合模块(MLFFM)；将原始CT影像对应的编码器En origin 第1到L-1级的特征进行下采样来调整这些特征的尺寸；将调整后的特征和第L级的特征都经过一个1*1*1卷积处理后像素级相加，完成加权融合不同尺度编码器特征；计算多级融合特征F MLFFM 的过程具体如下：
Figure 213724DEST_PATH_IMAGE109
其中，l=1,…,L；
Figure 668976DEST_PATH_IMAGE110
为原始CT影像对应的编码器En origin 第l级特征对应的1* 1*1卷积参数；
Figure 636975DEST_PATH_IMAGE111
为原始CT影像对应的编码器的特征；
Figure 203085DEST_PATH_IMAGE112
中的l最大值取L-1；
Figure 239175DEST_PATH_IMAGE113
为第1到第l级的特征对应的下采样参数。
步骤S5具体为，构建一个孪生编码器共享的共享解码器，用于利用多级融合特征和孪生编码器每一级的差异特征；共享解码器的构建包括规则1和规则2：
规则1具体为共享解码器与原始CT影像对应的编码器En origin 结构对称，包含 L级；设每一个与对应编码器第l级对称的解码器层为第l级，每一级包含2个卷积核为3*3*3卷积操作、一个批归一化和ReLU激活函数，级与级之间进行一个2*2*2的上采样操作；第l级的卷积层中卷积核个数为2 l-1 C；
规则2具体为，共享解码器第L级的输入为原始CT影像对应的编码器En origin 的多级 融合特征F MLFFM 和第L级的差异特征
Figure 865328DEST_PATH_IMAGE114
，多级融合特征F MLFFM 和第L级的差异特征
Figure 49185DEST_PATH_IMAGE115
串 接之后，通过共享解码器第L级的2个卷积层处理，上采样之后作为共享解码器第L-1级的第 一输入；同时原始CT影像对应的编码器En origin 第L-1级的差异特征
Figure 418986DEST_PATH_IMAGE116
作为共享解码器第L-1级的第二输入；共享解码器第L-1级的第一输入和共享解码器第L-1级的第二输入进行 串接之后通过共享解码器第L-1级的2个卷积层处理，上采样之后作为解码器第L-2级的一 个输入；
重复规则2，直到解码器第1级，获得与原始CT影像大小一致的解码特征图；解码特征图经过一个Softmax层后得到原始CT影像中每一个像素属于梗死的概率，从而用概率阈值0.5得到对应的分割结果。
步骤S6具体包括如下步骤：
C1. 由于CT影像中梗死像素和正常组织像素个数分布不均衡，采用Dice损失函数L GDL ，评价分割结果与分割金标准GT的重叠度；Dice损失函数L GDL 具体为：
Figure 575161DEST_PATH_IMAGE117
其中，M为像素的个数；k表示像素的种类，正常像素为第1类，梗死像素为第2类；y ki 为第k类像素中第i个像素的GT标签；p ki 为第k类像素中第k类像素中第i个像素的模型预测 概率值；λ k 为第k类像素的权重，
Figure 372216DEST_PATH_IMAGE118
。
C2. 采用加权交叉熵损失函数L WCE ，评价分割结果与分割金标准GT在像素级上的相似度；加权交叉熵损失函数L WCE 具体为：
Figure 43368DEST_PATH_IMAGE119
其中，M为像素的个数；y i 为第i个像素的GT标签得到的梗死概率值；p i 为第i个像素 的模型得到的梗死概率值；α为GT标签为梗死的像素权重，
Figure 951282DEST_PATH_IMAGE120
；
C3. 采用边界损失函数L BL ，评价分割结果与分割金标准GT的边界距离；边界损失函数L BL 具体为：
Figure 961963DEST_PATH_IMAGE121
其中，Ω为所有像素的集合，m为Ω中的一个像素；ϕ GT (·)为从分割金标准GT上计算得到的水平集函数；f(·)表示模型的分割结果。
C4. 采用结构损失函数L SL ，评价分割结果与分割金标准GT的多尺度结构相似性；结构损失函数L SL 具体为：
Figure 929919DEST_PATH_IMAGE122
其中，S为结构尺度的个数，s为尺度下标；p表示模型分割结果的像素集合；g表示分割金标准GT的像素集合；μ S 为p上所有像素的均值；μ G 为g上所有像素的均值；σ S 为p上所有像素的标准差；σ G 为g上所有像素的标准差；σ pg 为p和g的协方差；β s 为每个尺度的权重；ε 1和ε 2为任意非零实数，用于避免分母为零。
C5. 融合Dice损失、加权交叉熵损失、边界损失和结构损失，构建模型的联合损失函数L joint：
Figure 88368DEST_PATH_IMAGE123
其中，ω 1为融合Dice损失的权重；ω 2为加权交叉熵损失的权重；ω 3为边界损失的权重；ω 4为结构损失的权重；ω 1+ω 2+ω 3+ω 4=1；
在训练集上采用5折交叉验证，将训练集均分为5份，4份用来训练模型，剩余的一份用来验证模型有效性和调整模型参数，最终得到在验证集上重叠度最高的分割模型。此外，为了增加训练样本的多样性和数量，训练过程对原始和翻转CT影像进行相同的数据增强操作，包括平移、小角度旋转、增加随机高斯噪声等操作。
在具体实施方式中，本发明中使用的缺血性脑卒中CT影像数据来自缺血性脑卒中病灶分割挑战赛（Ischemic Stroke Lesion Segmentation Challenge 2018，ISLES2018）数据库。ISLES2018数据库分为训练集和测试集，其中训练集包含94个样本，每个样本包含CT影像和多种CT灌注影像数据以及专家在MRI上得到的分割金标准GT；测试集中包含62个样本，每个样本包含CT影像和多种CT灌注影像数据。本发明中只用到了ISLES2018数据库中的CT影像数据。
如图2为本发明实施例的总体流程示意图，含有以下步骤：
步骤一、对ISLES2018中的缺血性脑卒中原始CT影像进行横断面左右翻转及配准，并对原始和翻转CT影像进行预处理。首先将3维脑部CT影像以横断面上的中心线为基准进行左右翻转。然后为了确保翻转后影像中大脑解剖结构和原始CT影像相同，用SimpleITK工具箱将左右翻转的CT影像配准到原始CT影像空间。为了提高预处理效率，去脑颅用的是简单的像素亮度阈值法，根据临床先验知识，缺血性脑卒中CT影像中脑颅素亮度值基本超过100，因此去掉亮度大于100的像素。同时亮度小于8的像素很可能是脑脊髓液，因此也去掉；
为了克服不同患者CT影像中亮度分布差异，在去掉脑颅和脑脊髓液区域之后用Z-score标准化方法将每个原始和翻转CT影像进行归一化，公式如下：
Figure 799972DEST_PATH_IMAGE124
其中，z i 为像素i归一化之后的亮度值；x i 为像素i的亮度值；μ为所有像素亮度的均值；σ为所有像素亮度的方差。
步骤二、用孪生编码器从原始和翻转CT影像中提取多级卷积特征。具体过程如下：
为了充分利用多尺度特征以及梗死病灶和大脑对侧正常组织存在亮度差异这一特性，为原始CT影像和翻转CT影像构建了孪生编码器（SE）。ISLES2018数据库中CT影像的横断面每一帧的高和宽均为256，帧数的变化范围从2到36。每次模型训练过程中随机选取1个原始CT影像及其对应的翻转CT影像，构建两个5维张量，大小均为1*256*256*Z*1，其中Z的大小由随机选取的该CT影像横断面帧数确定，输入张量的特征通道数为1；然后为这两个5维输入张量分别设计两个编码器，分别是原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 。这两个编码器具有相同的网络结构，均包含5级，每一级包含2个卷积层（卷积核为3*3*3）、一个批归一化（BN）层和一个ReLU层，级与级之间进行一个2*2*2的最大值池化下采样操作。本实施例中，第l级的卷积层中卷积核个数（也就是该级输出特征通道个数）为2 l-1*16。输入层对应的级为编码器的第1级，下采样之后的级为第2级，以此类推。此外将这两个编码器参数进行共享。所以两个输入对应的编码器具有相同的结构和参数，因此称之为孪生编码器（SE）。
步骤三、用特征差异计算模块来计算每一级中孪生编码器之间的特征差异（也就是左右特征差异）。具体过程如下：
为了计算编码器每一级中大脑左右特征的差异，用特征差异计算模块（FDCM）对两 个编码器每一级中ReLU输出的卷积特征进行处理。特征差异计算模块结构如下：首先对孪 生编码器（原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip ）的第l级特 征（原始CT影像对应的编码器的特征
Figure 930739DEST_PATH_IMAGE125
和翻转CT影像对应的编码器的特征
Figure 69596DEST_PATH_IMAGE126
）相减， 并进行1*1*1卷积得到粗略差异特征
Figure 449762DEST_PATH_IMAGE127
，具体为；
Figure 965057DEST_PATH_IMAGE128
其中，
Figure 950330DEST_PATH_IMAGE129
为1*1*1卷积的参数；
Figure 322406DEST_PATH_IMAGE130
表示卷积操作；
Figure 127551DEST_PATH_IMAGE131
为原始CT影像对应的编码器 的特征；
Figure 180958DEST_PATH_IMAGE132
为翻转CT影像对应的编码器的特征；
Figure 20738DEST_PATH_IMAGE133
、
Figure 563714DEST_PATH_IMAGE134
和
Figure 121735DEST_PATH_IMAGE135
的特征通道个数均为2 l -1*16。
根据梗死存在一定空间位置连续性这一特点，为了获得更能描述梗死特性的差异 特征，对粗略的差异特征除了设计了一个特征通道注意力机制模块（CAM）外，还设计了3个 空间位置注意力机制模块（HAM、WAM、ZAM），分别对应CT影像的H（高）、W（宽）、Z（帧数）维度。 不同注意力机制模块的差异在于针对的特征维度不一样，其他操作网络结构相似。以特征 通道注意力机制模块为例，先对特征进行通道维度上的全局均值池化（GAP）之后依次进行 一个全连接层（FC）、ReLU层和Sigmoid层。Sigmoid层的输出与输入的粗略差异特征
Figure 713253DEST_PATH_IMAGE136
进行 特征维度方向相乘，得到在特征通道维度上的修正后差异特征
Figure 673119DEST_PATH_IMAGE137
：
Figure 386997DEST_PATH_IMAGE138
其中，σ(·)表示Sigmoid函数；ReLU(·) 表示ReLU激励函数；
Figure 166734DEST_PATH_IMAGE139
表示特征通道上 FC层的参数；GAPCh(·)表示特征通道维度方向上的全局平均池化操作；
Figure 561943DEST_PATH_IMAGE140
表示卷积操作；
Figure 376316DEST_PATH_IMAGE141
表示特征通道方向相乘；
Figure 261095DEST_PATH_IMAGE142
的特征通道个数为2 l-1*16；
计算经过第一空间注意力机制模块HAM后，得到的在CT影像的维度H上的修正后差 异特征
Figure 528128DEST_PATH_IMAGE143
；计算经过第二空间位置注意力机制模块WAM后，得到的在CT影像的维度W上的 修正后差异特征
Figure 727028DEST_PATH_IMAGE144
；计算经过第三空间位置注意力机制模块ZAM后，得到的在CT影像的 维度Z上的修正后差异特征
Figure 395907DEST_PATH_IMAGE145
；H为CT影像横断面每一帧的高；W为CT影像横断面每一帧 的宽；Z为CT影像横断面的帧数；
Figure 451588DEST_PATH_IMAGE146
Figure 205917DEST_PATH_IMAGE147
Figure 208508DEST_PATH_IMAGE148
其中，σ(·)表示Sigmoid函数；ReLU(·) 表示ReLU激励函数；
Figure 731893DEST_PATH_IMAGE149
表示HAM中FC层 的参数；
Figure 692896DEST_PATH_IMAGE150
表示WAM中FC层的参数；
Figure 934522DEST_PATH_IMAGE151
表示ZAM中FC层的参数；GAP H (·)表示特征H维度方 向上的全局平均池化操作；GAP W (·)表示特征W维度方向上的全局平均池化操作；GAP Z (·) 表示特征Z维度方向上的全局平均池化操作；
Figure 475224DEST_PATH_IMAGE152
表示卷积操作；
Figure 181012DEST_PATH_IMAGE153
表示特征空间位置方向 相乘；
Figure 781758DEST_PATH_IMAGE154
、
Figure 245100DEST_PATH_IMAGE155
和
Figure 589494DEST_PATH_IMAGE156
的大小与
Figure 884209DEST_PATH_IMAGE157
相同，特征通道个数均为2 l-1*16。
将在特征通道维度上的修正后差异特征
Figure 655856DEST_PATH_IMAGE158
、在CT影像的维度H上的修正后差异 特征
Figure 606494DEST_PATH_IMAGE159
、在CT影像的维度W上的修正后差异特征
Figure 489000DEST_PATH_IMAGE160
和在CT影像的维度Z上的修正后差 异特征
Figure 903801DEST_PATH_IMAGE161
分别用一个1*1*1卷积处理后像素级相加，并通过另一个1*1*1卷积计算第l级 特征差异计算模块FDCM的最终差异特征
Figure 846349DEST_PATH_IMAGE162
：
Figure 284283DEST_PATH_IMAGE163
其中，l=1,…,L；
Figure 970480DEST_PATH_IMAGE164
为CAM对应的1*1*1卷积的参数；
Figure 239787DEST_PATH_IMAGE165
为HAM对应的1*1*1卷积 的参数；
Figure 353237DEST_PATH_IMAGE166
为WAM对应的1*1*1卷积的参数；
Figure 278467DEST_PATH_IMAGE167
为ZAM对应的1*1*1卷积的参数；
Figure 502775DEST_PATH_IMAGE168
为相加 后特征对应的1*1*1卷积的参数。
步骤四、利用多级融合模块将原始CT影像对应解码器的每一级特征进行融合。具体过程如下：
为了融合原始CT影像对应编码器提取到的局部和全局特征，构建了一个多级特征融合模块（MLFFM）。首先将原始CT影像对应的编码器En origin 第1到4级的特征进行下采样来调整这些特征的尺寸。这些调整后的特征和第5级的特征都经过一个1*1*1卷积处理后像素级相加，进而达到加权融合不同尺度编码器特征的目的。MLFFM得到的多级融合特征F MLFFM 的过程具体如下：
Figure 626589DEST_PATH_IMAGE169
其中，l=1,…,L；
Figure 645361DEST_PATH_IMAGE170
为原始CT影像对应的编码器En origin 第l级特征对应的1*1* 1卷积参数；
Figure 57887DEST_PATH_IMAGE171
为原始CT影像对应的编码器的特征；
Figure 85886DEST_PATH_IMAGE172
中的l最大值取L-1，在本实施 例中L可取5；
Figure 589506DEST_PATH_IMAGE173
为第l级的特征对应的下采样参数。
步骤五、利用一个共享的与解码器结构对称的解码器，利用原始CT影像对应编码器的多级融合特征和每一级差异特征来生成与原始CT影像大小一致的特征图。具体过程如下：
为了更好的利用多级融合特征和孪生编码器每一级的差异特征，构建了一个孪生 编码器共享的解码器。该解码器与编码器结构对称，包含5级（与编码器第l级对称的解码器 层为第l级），每一级包含2个卷积核为3*3*3卷积操作、一个批归一化（BN）和ReLU激活函数， 级与级之间进行一个2*2*2的上采样操作。第l级的卷积层中卷积核个数（也就是该级输出 特征通道个数）为2 l-1*16。解码器第5级的输入为原始CT影像对应的编码器En origin 的多级融 合特征F MLFFM 和第5级的差异特征
Figure 44758DEST_PATH_IMAGE174
，该两个特征串接之后被解码器该级的2个卷积层处 理，然后上采样作为解码器第4级的一个输入。同时原始CT影像对应的编码器En origin 第4级 的差异特征
Figure 679001DEST_PATH_IMAGE175
作为解码器第4级的另一个输入。这两个输入进行串接之后被解码器第4级 的2个卷积层处理，然后上采样作为解码器第3级的一个输入。依次进行，直到解码器第1级， 获得与原始CT影像大小一致的特征图。该特征图经过一个Softmax层之后就可以得到该CT 影像中每一个像素属于梗死的概率，从而用概率阈值0.5可以得到对应的分割结果。
步骤六、利用融合Dice损失、边界损失和结构损失的联合损失函数来在ISLES2018测试集训练集上训练出一个最优的CT影像梗死分割模型。具体过程如下：
由于CT影像中梗死像素和正常组织像素个数分布不均衡，采用Dice损失函数L GDL ，评价分割结果与分割金标准GT的重叠度；Dice损失函数L GDL 具体为：
Figure 307429DEST_PATH_IMAGE176
其中，M为像素的个数；k表示像素的种类，正常像素为第1类，梗死像素为第2类；y ki 为第k类像素中第i个像素的GT标签；p ki 为第k类像素中第i个像素的模型预测概率值；λ k 为 第k类像素的权重，
Figure 609097DEST_PATH_IMAGE177
。
采用加权交叉熵损失函数L WCE ，评价分割结果与分割金标准GT在像素级上的相似度；加权交叉熵损失函数L WCE 具体为：
Figure 235251DEST_PATH_IMAGE178
其中，M为像素的个数；y i 为第i个像素的GT标签得到的梗死概率值；p i 为第i个像素 的模型得到的梗死概率值；α表示GT标签为梗死的像素权重，
Figure 356790DEST_PATH_IMAGE179
；
采用边界损失函数L BL ，评价分割结果与分割金标准GT的边界距离；边界损失函数L BL 具体为：
Figure 523329DEST_PATH_IMAGE180
其中，Ω为所有像素的集合，m为Ω中的一个像素；ϕ GT (·)为从分割金标准GT上计算得到的水平集函数；f(·)表示模型的分割结果。
采用结构损失函数L SL ，评价分割结果与分割金标准GT的多尺度结构相似性；结构损失函数L SL 具体为：
Figure 679504DEST_PATH_IMAGE181
其中，S为结构尺度的个数，s为尺度下标；p表示模型的分割结果的像素集合；g表示分割金标准GT的像素集合；μ S 为p上所有像素的均值；μ G 为g上所有像素的均值；σ S 为p上所有像素的标准差；σ G 为g上所有像素的标准差；σ pg 为p和g的协方差；β s 为每个尺度的权重；ε 1和ε 2为任意非零实数，用于避免分母为零。
融合Dice损失、加权交叉熵损失、边界损失和结构损失，构建模型的联合损失函数L joint：
Figure 476559DEST_PATH_IMAGE182
其中，ω 1为融合Dice损失的权重；ω 2为加权交叉熵损失的权重；ω 3为边界损失的权重；ω 4为结构损失的权重；ω 1+ω 2+ω 3+ω 4=1；
为了增加训练样本的多样性和数量，训练过程对原始和翻转CT影像进行相同的数据增强操作，包括平移、小角度旋转、增加随机高斯噪声等操作。训练过程中，批大小（batchsize）为1；使用Adam算法进行优化，初始学习率为0.001，每20个纪元（epoch）后减少一半；为了避免过拟合，采取了早停法（early stopping strategy），如果验证损失没有在50个纪元（epoch）内减少，训练将停止；为了选择出最优的参数，在ISLES2018的训练集上采用5折交叉验证，将训练集均分为5份，4份（75个样本）用来训练模型，剩余的一份（19个样本）用来验证模型有效性和调整模型参数，最终得到最优的分割模型（在验证集上重叠度Dice最高的模型）。选择出的主要最优参数如下：编码器级数为5，编码器第一级卷积特征通道数C为16；结构损失函数中，结构尺度个数K为5，ε 1和ε 2分别为0.0001和0.0009，β 1、β 2、β 3、β 4和β 5分别为0.0448、0.2856、0.3001、0.2363和0.1333；联合损失函数中四个损失的权重ω 1、ω 2、ω 3和ω 4分别为0.4、0.3、0.15和0.15。
步骤七、通过训练得到的分割模型对ISLES2018测试集中CT影像进行梗死分割。具体过程如下：步骤一中已经对ISLES2018测试集样本中的CT影像进行了左右翻转及配准和预处理，然后将预处理之后的原始和翻转CT影像输入到步骤六中训练得到的最优分割模型得到该样本中CT影像的缺血性脑卒中梗死分割结果。为了验证本实施例模型的有效性，将每个样本的梗死分割结果上传到ISLES2018竞赛网站的测试集评估模块，该模块会根据测试集梗死分割金标准GT计算出如下的Dice指标（DC）：
Figure 85395DEST_PATH_IMAGE183
其中，Seg为模型分割结果中梗死像素的集合；GT为历史分割的梗死像素集合，TP 为真阳性像素个数（既属于GT又属于Seg的像素个数），FP为假阳性像素个数（不属于GT但属 于Seg的像素个数），FN为假阴性像素个数（属于GT但不属于Seg的像素个数）。
Figure 321204DEST_PATH_IMAGE184
，DC越小 说明模型分割结果越好。验证结果表明本实施例的模型能够较快速准确地分割CT影像中的 缺血性脑卒中梗死病灶，进而能为医生快速诊断缺血性脑卒中提供重要参考。
同时，本方法对CT原始影像进行左右翻转并配准到原始CT影像空间，为后续基于孪生网络的深度学习梗死分割方法的合理可行提供了数据基础。本方法为原始CT影像和翻转CT影像构建孪生多级编码器，孪生的两个编码器具有相同的网络结构和参数，利用特征差异计算模块来计算两个编码器每一级的特征差异，这方法能计算出每一级大脑左右特征差异，模拟了专家分割梗死时关注大脑左右区域像素，并根据左右亮度差异来定位梗死这一过程，具备提升梗死分割性能的理论基础。本方法为了充分利用全局和局部特征，提供了一个编码器多级融合模块。构建的共享解码器利用多级融合特征和特征差异，获得与原始CT影像大小一致的有效特征图，进而提升梗死分割性能。本方法提供了一个融合Dice损失、加权交叉熵损失、边界损失和结构损失的联合损失函数，这使得本发明能训练出分割结果与专家分割重叠度高、边界接近、以及结构相似度高的模型。本方法通过结合预处理、孪生网络、有效的特征差异计算模块、多尺度特征融合以及联合损失函数，能够较准确的分割出CT影像中的梗死，为提升缺血性脑卒中诊断效率和准确度、降低致死率和致残率，提供重要技术支撑和参考。
最后，本发明还公开了一种CT成像方法，该成像方法采用了上述脑卒中CT影像分割方法，对CT影像中的梗死进行分割，然后将识别结果在CT影像上进行二次标记和成像。
具体实施时，该成像方法可以应用于针对脑部进行检查并获取对应CT图像的检测设备；应用时，设备首先按照现有技术获取对应的脑部CT图像，然后采用上述的脑卒中CT影像分割方法对获取的脑部CT图像进行分割，然后将分割结果在获取的脑部CT影像上进行标记和二次成像，然后输出最终的带有脑卒中CT影像分割结果的CT影像。
所述成像方法包括如下步骤：
D1. 通过CT设备采集CT影像；
D2. 将采集到的CT影像通过所述的脑卒中CT影像分割方法，对CT影像中的梗死进行标记和分割；
D3. 将分割结果在获取的脑部CT影像上进行标记和二次成像，然后输出最终的带有脑卒中CT影像分割结果的CT影像。
步骤D2包括：
S1. 将获得的每个脑部CT影像进行横断面左右翻转及配准以获取翻转CT影像，对原始CT影像和翻转CT影像进行处理；
S2. 构建一个孪生编码器，每个编码器具有相同结构和参数，分别从原始CT影像和翻转CT影像中提取多级卷积特征来表征梗死；
S3. 对于孪生编码器的每一级，利用特征差异计算模块来获得CT影像每一级的左右特征差异；
S4. 利用多级融合模块，将原始CT影像对应编码器的所有特征进行融合，并输入到对应解码器中；
S5. 构建一个共享的、与编码器结构对称的解码器，利用原始CT影像对应编码器的多级融合特征和每一级差异特征，生成与原始CT影像大小一致的特征图；
S6. 生成联合损失函数在训练集上训练出一个最优的CT影像梗死分割模型；
S7. 通过训练得到的分割模型，对未知分类标签的测试CT影像进行梗死分割。
步骤S1具体为，将每位患者的三维CT影像在横断面上进行左右翻转，为了确保翻转后影像中大脑解剖结构与原始CT影像相同，再将左右翻转生成的翻转CT影像配准到原始CT影像空间，并对原始CT影像和翻转CT影像进行预处理，预处理包括去脑颅和归一化；同时，将脑部CT影像进行左右翻转以横断面上的中心线为基准进行。去脑颅包括像素亮度阈值法，因此去掉亮度大于第一设定值的像素；同时为了去除脑脊髓液的干扰，去除亮度小于第二设定值的像素。
归一化用于克服不同患者CT影像中亮度分布差异，具体包括Z-score标准化方法：
Figure 331886DEST_PATH_IMAGE185
其中，z i 为像素i归一化之后的亮度值；x i 为像素i的亮度值；μ为所有像素亮度的均值；σ为所有像素亮度的方差。
步骤S2，为了充分利用多尺度特征以及梗死病灶和大脑对侧正常组织存在亮度差异这一特性，为原始CT影像和翻转CT影像构建了孪生编码器。步骤S2具体包括，
A1. 构建原始5维张量和翻转5维张量；步骤A1具体包括，选取N个原始CT影像及其对应的翻转CT影像，构建原始5维张量和翻转5维张量，大小均为N*H*W*Z*1；其中，N为用来训练的患者个数；H为CT影像横断面每一帧的高；W为CT影像横断面每一帧的宽；Z为CT影像横断面的帧数；1是输入张量的特征通道数；
A2. 构建孪生编码器，孪生编码器包括原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 。步骤A2具体包括，原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 具有相同的网络结构，均包含L级，每一级包含2个卷积层，卷积核为3*3*3，一个批归一化层和一个ReLU层，级与级之间进行一个2*2*2的最大值池化下采样操作；第l级的卷积层中卷积核个数，即第l级输出特征通道个数为2 l-1 C；输入层对应的级为编码器的第1级，下采样之后的级为第2级，给每一个层级编号；其中，原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 的参数进行共享，原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 具有相同的结构和参数，因此被称为孪生编码器。
步骤S3具体为，用特征差异计算模块FDCM对两个编码器每一级中ReLU输出的卷积特征进行处理；构建特征差异计算模块结构包括如下步骤：
B1. 对孪生编码器的第l级特征相减，并进行1*1*1卷积得到粗略差异特征
Figure 299842DEST_PATH_IMAGE186
，具 体为；
Figure 395974DEST_PATH_IMAGE187
其中，
Figure 904315DEST_PATH_IMAGE188
为1*1*1卷积的参数；
Figure 769503DEST_PATH_IMAGE189
表示卷积操作；
Figure 908360DEST_PATH_IMAGE190
为原始CT影像对应的编码 器的特征；
Figure 491788DEST_PATH_IMAGE191
为翻转CT影像对应的编码器的特征；
Figure 334980DEST_PATH_IMAGE192
、
Figure 54674DEST_PATH_IMAGE190
和
Figure 364432DEST_PATH_IMAGE193
的特征通道个数均为2 l- 1 C，C为第1级卷积层的卷积核个数；
B2. 构建特征通道注意力机制模块CAM；构建第一空间位置注意力机制模块HAM、 第二空间位置注意力机制模块WAM和第三空间位置注意力机制模块ZAM，第一空间位置注意 力机制模块HAM对应CT影像的维度H，第二空间位置注意力机制模块WAM对应CT影像的维度W，第三空间位置注意力机制模块ZAM对应CT影像的维度Z；H为CT影像横断面每一帧的高；W 为CT影像横断面每一帧的宽；Z为CT影像横断面的帧数；不同注意力机制模块的差异在于针 对的特征维度不一样，其他操作网络结构相似，特征通道注意力机制模块均采用如下方式 计算，对特征进行通道维度上的全局均值池化后依次通过一个全连接层、一个ReLU层和一 个Sigmoid层；Sigmoid层的输出与输入的粗略差异特征
Figure 497474DEST_PATH_IMAGE194
进行特征维度方向相乘，得到在 特征通道维度上的修正后差异特征
Figure 550880DEST_PATH_IMAGE195
：
Figure 390660DEST_PATH_IMAGE196
其中，σ(·)表示Sigmoid函数；ReLU(·) 表示ReLU激励函数；
Figure 871320DEST_PATH_IMAGE197
表示特征通道上 FC层的参数；GAPCh(·)表示特征通道维度方向上的全局平均池化操作；
Figure 226078DEST_PATH_IMAGE198
表示卷积操作；
Figure 817596DEST_PATH_IMAGE199
表示特征通道方向相乘；
Figure 511883DEST_PATH_IMAGE200
的特征通道个数均为2 l-1 C，C为第1级卷积层的卷积核个数；
B3. 计算经过第一空间注意力机制模块HAM后，得到的在CT影像的维度H上的修 正后差异特征
Figure 429023DEST_PATH_IMAGE201
；计算经过第二空间位置注意力机制模块WAM后，得到的在CT影像的维 度W上的修正后差异特征
Figure 536657DEST_PATH_IMAGE202
；计算经过第三空间位置注意力机制模块ZAM后，得到的在CT 影像的维度Z上的修正后差异特征
Figure 931866DEST_PATH_IMAGE203
；H为CT影像横断面每一帧的高；W为CT影像横断面 每一帧的宽；Z为CT影像横断面的帧数；
Figure 746238DEST_PATH_IMAGE204
Figure 568701DEST_PATH_IMAGE205
Figure 632472DEST_PATH_IMAGE206
其中，σ(·)表示Sigmoid函数；ReLU(·) 表示ReLU激励函数；
Figure 831372DEST_PATH_IMAGE207
表示HAM中FC层 的参数；
Figure 500251DEST_PATH_IMAGE208
表示WAM中FC层的参数；
Figure 493614DEST_PATH_IMAGE209
表示ZAM中FC层的参数；GAP H (·)表示特征H维度方向 上的全局平均池化操作；GAP W (·)表示特征W维度方向上的全局平均池化操作；GAP Z (·)表 示特征Z维度方向上的全局平均池化操作；
Figure 310261DEST_PATH_IMAGE210
表示卷积操作；
Figure 47272DEST_PATH_IMAGE211
表示特征空间位置方向相 乘；
Figure 570658DEST_PATH_IMAGE212
、
Figure 328398DEST_PATH_IMAGE213
和
Figure 570024DEST_PATH_IMAGE214
的特征通道个数均为2 l-1 C，C为第1级卷积层的卷积核个数；
B4. 将在特征通道维度上的修正后差异特征
Figure 845147DEST_PATH_IMAGE215
、在CT影像的维度H上的修正后 差异特征
Figure 488618DEST_PATH_IMAGE216
、在CT影像的维度W上的修正后差异特征
Figure 620522DEST_PATH_IMAGE217
和在CT影像的维度Z上的修正 后差异特征
Figure 349444DEST_PATH_IMAGE218
分别用一个1*1*1卷积处理后像素级相加，并通过另一个1*1*1卷积计算 第l级特征差异计算模块FDCM的最终差异特征
Figure 428258DEST_PATH_IMAGE219
：
Figure 926236DEST_PATH_IMAGE220
其中，l=1,…,L；
Figure 25779DEST_PATH_IMAGE221
为CAM对应的1*1*1卷积的参数；
Figure 976417DEST_PATH_IMAGE222
为HAM对应的1*1*1卷积的 参数；
Figure 858922DEST_PATH_IMAGE223
为WAM对应的1*1*1卷积的参数；
Figure 211406DEST_PATH_IMAGE224
为ZAM对应的1*1*1卷积的参数；
Figure 950692DEST_PATH_IMAGE225
为相加后 特征对应的1*1*1卷积的参数。
步骤S4具体为，为了融合原始 CT 影像对应编码器提取到的局部和全局特征，构建多级特征融合模块(MLFFM)；将原始CT影像对应的编码器En origin 第1到L-1级的特征进行下采样来调整这些特征的尺寸；将调整后的特征和第L级的特征都经过一个1*1*1卷积处理后像素级相加，完成加权融合不同尺度编码器特征；计算多级融合特征F MLFFM 的过程具体如下：
Figure 388627DEST_PATH_IMAGE226
其中，l=1,…,L；
Figure 809244DEST_PATH_IMAGE227
为原始CT影像对应的编码器En origin 第l级特征对应的1*1* 1卷积参数；
Figure 344130DEST_PATH_IMAGE190
为原始CT影像对应的编码器的特征；
Figure 457580DEST_PATH_IMAGE228
中的l最大值取L-1；
Figure 382811DEST_PATH_IMAGE229
为第1 到第l级的特征对应的下采样参数。
步骤S5具体为，构建一个孪生编码器共享的共享解码器，用于利用多级融合特征和孪生编码器每一级的差异特征；共享解码器的构建包括规则1和规则2：
规则1具体为共享解码器与原始CT影像对应的编码器En origin 结构对称，包含 L级；设每一个与对应编码器第l级对称的解码器层为第l级，每一级包含2个卷积核为3*3*3卷积操作、一个批归一化和ReLU激活函数，级与级之间进行一个2*2*2的上采样操作；第l级的卷积层中卷积核个数为2 l-1 C；
规则2具体为，共享解码器第L级的输入为原始CT影像对应的编码器En origin 的多级 融合特征F MLFFM 和第L级的差异特征
Figure 607119DEST_PATH_IMAGE230
，多级融合特征F MLFFM 和第L级的差异特征
Figure 2371DEST_PATH_IMAGE231
串接 之后，通过共享解码器第L级的2个卷积层处理，上采样之后作为共享解码器第L-1级的第一 输入；同时原始CT影像对应的编码器En origin 第L-1级的差异特征
Figure 286722DEST_PATH_IMAGE232
作为共享解码器第L- 1级的第二输入；共享解码器第L-1级的第一输入和共享解码器第L-1级的第二输入进行串 接之后通过共享解码器第L-1级的2个卷积层处理，上采样之后作为解码器第L-2级的一个 输入；
重复规则2，直到解码器第1级，获得与原始CT影像大小一致的解码特征图；解码特征图经过一个Softmax层后得到原始CT影像中每一个像素属于梗死的概率，从而用概率阈值0.5得到对应的分割结果。
步骤S6具体包括如下步骤：
C1. 由于CT影像中梗死像素和正常组织像素个数分布不均衡，采用Dice损失函数L GDL ，评价分割结果与分割金标准GT的重叠度；Dice损失函数L GDL 具体为：
Figure 699249DEST_PATH_IMAGE233
其中，M为像素的个数；k表示像素的种类，正常像素为第1类，梗死像素为第2类；y ki 为第k类像素中第i个像素的GT标签；p ki 为第k类像素中第i个像素的模型预测概率值；λ k 为 第k类像素的权重，
Figure 727247DEST_PATH_IMAGE234
。
C2. 采用加权交叉熵损失函数L WCE ，评价分割结果与分割金标准GT在像素级上的相似度；加权交叉熵损失函数L WCE 具体为：
Figure 705568DEST_PATH_IMAGE235
其中，M为像素的个数；y i 为第i个像素的GT标签得到的梗死概率值；p i 为第i个像素 的模型得到的梗死概率值；α表示GT标签为梗死的像素权重，
Figure 895241DEST_PATH_IMAGE236
；
C3. 采用边界损失函数L BL ，评价分割结果与分割金标准GT的边界距离；边界损失函数L BL 具体为：
Figure 795064DEST_PATH_IMAGE237
其中，Ω为所有像素的集合，m为Ω中的一个像素；ϕ GT (·)为从分割金标准GT上计算得到的水平集函数；f(·)表示模型的分割结果。
C4. 采用结构损失函数L SL ，评价分割结果与分割金标准GT的多尺度结构相似性；结构损失函数L SL 具体为：
Figure 361174DEST_PATH_IMAGE238
其中，S为结构尺度的个数，s为尺度下标；p表示模型的分割结果的像素集合；g表示分割金标准GT的像素集合；μ S 为p上所有像素的均值；μ G 为g上所有像素的均值；σ S 为p上所有像素的标准差；σ G 为g上所有像素的标准差；σ pg 为p和g的协方差；β s 为每个尺度的权重；ε 1和ε 2为任意非零实数，用于避免分母为零。
C5. 融合Dice损失、加权交叉熵损失、边界损失和结构损失，构建模型的联合损失函数L joint：
Figure 990739DEST_PATH_IMAGE239
其中，ω 1为融合Dice损失的权重；ω 2为加权交叉熵损失的权重；ω 3为边界损失的权重；ω 4为结构损失的权重；ω 1+ω 2+ω 3+ω 4=1；
在训练集上采用5折交叉验证，将训练集均分为5份，4份用来训练模型，剩余的一份用来验证模型有效性和调整模型参数，最终得到在验证集上重叠度最高的分割模型。

Claims (9)

1.一种脑卒中CT影像分割方法，其特征在于包括如下步骤：
S1. 获取原始CT影像，并进行预处理；
S2. 构建一个孪生编码器，每个编码器具有相同结构和参数，用于提取多级卷积特征来表征梗死；
S3. 计算孪生编码器每一级的左右特征差异；
S4. 将原始CT影像对应编码器的所有特征进行融合，并输入到对应解码器中；
S5. 构建一个共享的、与编码器结构对称的解码器，利用原始CT影像对应编码器的多级融合特征和每一级差异特征来生成与原始CT影像大小一致的特征图；
S6. 生成联合损失函数，训练出一个最优的CT影像梗死分割模型；
S7. 通过训练得到的CT影像梗死分割模型，对未知分类标签的实际CT影像进行梗死分割。
2.根据权利要求1所述的脑卒中CT影像分割方法，其特征在于所述的步骤S1具体为，将获得的每个脑部CT影像进行横断面左右翻转及配准以获取翻转CT影像，对原始CT影像和翻转CT影像进行处理；将每位患者的三维CT影像在横断面上进行左右翻转，为了确保翻转后影像中大脑解剖结构与原始CT影像相同，再将左右翻转生成的翻转CT影像配准到原始CT影像空间，并对原始CT影像和翻转CT影像进行预处理，预处理包括去脑颅和归一化；同时，将脑部CT影像以横断面上的中心线为基准进行左右翻转；去脑颅包括像素亮度阈值法，去掉亮度大于第一设定值的像素；同时为了去除脑脊髓液的干扰，去除亮度小于第二设定值的像素；归一化用于克服不同患者CT影像中亮度分布差异，具体包括Z-score标准化方法：
Figure 542032DEST_PATH_IMAGE001
其中，z i 为像素i归一化之后的亮度值；x i 为像素i的亮度值；μ为所有像素亮度的均值；σ为所有像素亮度的方差。
3.根据权利要求2所述的脑卒中CT影像分割方法，其特征在于所述的步骤S2具体包括如下步骤：
A1. 构建原始5维张量和翻转5维张量；
A2. 构建孪生编码器，孪生编码器包括原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 。
4.根据权利要求3所述的脑卒中CT影像分割方法，其特征在于所述的步骤A1具体包括，选取N个原始CT影像及其对应的翻转CT影像，构建原始5维张量和翻转5维张量，大小均为N*H*W*Z*1；其中，N为用来训练的患者个数；H为CT影像横断面每一帧的高；W为CT影像横断面每一帧的宽；Z为CT影像横断面的帧数；1是输入张量的特征通道数。
5.根据权利要求4所述的脑卒中CT影像分割方法，其特征在于所述的步骤A2具体包括，原始CT影像对应的编码器En origin 和翻转CT影像对应的编码器En flip 具有相同的网络结构，均包含L级，每一级包含一个批归一化层和一个ReLU层，卷积核为3*3*3；级与级之间进行一个2*2*2的最大值池化下采样操作；第l级的卷积层中卷积核个数为2 l-1 C，C为第1级卷积层的卷积核个数；输入层对应的级为编码器的第1级，下采样之后的级为第2级，以此类推给每一个层级编号。
6.根据权利要求5所述的脑卒中CT影像分割方法，其特征在于所述的步骤S3具体包括如下步骤：
B1. 对孪生编码器的第l级特征相减，并进行1*1*1卷积得到粗略差异特征
Figure 929151DEST_PATH_IMAGE002
，具体为；
Figure 361270DEST_PATH_IMAGE003
其中，
Figure 251865DEST_PATH_IMAGE004
为1*1*1卷积的参数；
Figure 48920DEST_PATH_IMAGE005
表示卷积操作；
Figure 720073DEST_PATH_IMAGE007
为原始CT影像对应的编码器的 特征；
Figure 893565DEST_PATH_IMAGE008
为翻转CT影像对应的编码器的特征；
Figure 966563DEST_PATH_IMAGE009
、
Figure 934519DEST_PATH_IMAGE010
和
Figure 30651DEST_PATH_IMAGE011
的特征通道个数均为2 l- 1 C，C为第1级卷积层的卷积核个数；
B2. 构建特征通道注意力机制模块CAM；构建第一空间位置注意力机制模块HAM、第二空间位置注意力机制模块WAM和第三空间位置注意力机制模块ZAM，第一空间位置注意力机制模块HAM对应CT影像的维度H，第二空间位置注意力机制模块WAM对应CT影像的维度W，第三空间位置注意力机制模块ZAM对应CT影像的维度Z；H为CT影像横断面每一帧的高；W为CT影像横断面每一帧的宽；Z为CT影像横断面的帧数；
计算特征通道注意力机制模块在特征通道维度上的修正后差异特征
Figure 804572DEST_PATH_IMAGE012
：
Figure 669760DEST_PATH_IMAGE013
其中，σ(·)表示Sigmoid函数；ReLU(·)表示ReLU激励函数；
Figure 808617DEST_PATH_IMAGE014
表示特征通道上FC层的 参数；GAPCh(·)表示特征通道维度方向上的全局平均池化操作；
Figure 454362DEST_PATH_IMAGE015
表示卷积操作；
Figure 704078DEST_PATH_IMAGE016
表示特 征通道方向相乘；
Figure 751669DEST_PATH_IMAGE017
的特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；
计算经过第一空间注意力机制模块HAM后，得到在CT影像的维度H上的修正后差异特征
Figure 61427DEST_PATH_IMAGE018
；H为CT影像横断面每一帧的高；
Figure 132151DEST_PATH_IMAGE019
其中，σ(·)表示Sigmoid函数；ReLU(·)表示ReLU激励函数；
Figure 247875DEST_PATH_IMAGE020
表示HAM中FC层的参 数；GAP H (·)表示特征H维度方向上的全局平均池化操作；
Figure 87655DEST_PATH_IMAGE021
表示卷积操作；
Figure 630632DEST_PATH_IMAGE022
表示特征空 间位置方向相乘；
Figure 923073DEST_PATH_IMAGE023
的特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；
计算经过第二空间位置注意力机制模块WAM后，得到在CT影像的维度W上的修正后差异 特征
Figure 780170DEST_PATH_IMAGE024
；W为CT影像横断面每一帧的宽；
Figure 536774DEST_PATH_IMAGE025
其中，σ(·)表示Sigmoid函数；ReLU(·)表示ReLU激励函数；
Figure 188335DEST_PATH_IMAGE026
表示WAM中FC层的参 数；GAP W (·)表示特征W维度方向上的全局平均池化操作；
Figure 313546DEST_PATH_IMAGE027
表示卷积操作；
Figure 708756DEST_PATH_IMAGE028
表示特征空 间位置方向相乘；
Figure 257549DEST_PATH_IMAGE029
的特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；
计算经过第三空间位置注意力机制模块ZAM后，得到在CT影像的维度Z上的修正后差异 特征
Figure 407907DEST_PATH_IMAGE030
；Z为CT影像横断面的帧数；
Figure 674941DEST_PATH_IMAGE031
其中，σ(·)表示Sigmoid函数；ReLU(·) 表示ReLU激励函数；
Figure 936158DEST_PATH_IMAGE032
表示ZAM中FC层的参 数；GAP Z (·)表示特征Z维度方向上的全局平均池化操作；
Figure 339457DEST_PATH_IMAGE033
表示卷积操作；
Figure 598400DEST_PATH_IMAGE034
表示特征空 间位置方向相乘；
Figure 415047DEST_PATH_IMAGE035
的特征通道个数为2 l-1 C，C为第1级卷积层的卷积核个数；
B3. 将在特征通道维度上的修正后差异特征
Figure 152058DEST_PATH_IMAGE036
、在CT影像的维度H上的修正后差异 特征
Figure 737760DEST_PATH_IMAGE037
、在CT影像的维度W上的修正后差异特征
Figure 167605DEST_PATH_IMAGE038
和在CT影像的维度Z上的修正后差 异特征
Figure 143651DEST_PATH_IMAGE039
分别用一个1*1*1卷积处理后像素级相加，并通过另一个1*1*1卷积计算第l级 特征差异计算模块FDCM的最终差异特征
Figure 684354DEST_PATH_IMAGE040
：
Figure 327825DEST_PATH_IMAGE041
其中，l=1,…,L；
Figure 725308DEST_PATH_IMAGE042
为特征通道注意力机制模块CAM对应的1*1*1卷积的参数；
Figure 454230DEST_PATH_IMAGE043
为第 一空间位置注意力机制模块HAM对应的1*1*1卷积的参数；
Figure 595361DEST_PATH_IMAGE044
为第二空间位置注意力机制 模块WAM对应的1*1*1卷积的参数；
Figure 93338DEST_PATH_IMAGE045
为第三空间位置注意力机制模块ZAM对应的1*1*1卷 积的参数；
Figure 599406DEST_PATH_IMAGE046
为相加后特征对应的1*1*1卷积的参数。
7.根据权利要求6所述的脑卒中CT影像分割方法，其特征在于所述的步骤S4，具体包括将原始CT影像对应的编码器En origin 第1到L-1级的特征进行下采样来调整这些特征的尺寸；将调整后的特征和第L级的特征都经过一个1*1*1卷积处理后像素级相加，完成加权融合不同尺度编码器特征；计算多级融合特征F MLFFM 的过程具体如下：
Figure 877941DEST_PATH_IMAGE047
其中，l=1,…,L；
Figure 760446DEST_PATH_IMAGE048
为原始CT影像对应的编码器En origin 第l级特征对应的1*1*1卷 积参数；
Figure 175247DEST_PATH_IMAGE049
为原始CT影像对应的编码器的特征；
Figure 117795DEST_PATH_IMAGE050
中的l最大值取L-1；
Figure 555730DEST_PATH_IMAGE051
为第 1到第l级的特征对应的下采样参数。
8.根据权利要求7所述的脑卒中CT影像分割方法，其特征在于所述的步骤S5具体为，构建一个孪生编码器共享的共享解码器，用于利用多级融合特征和孪生编码器每一级的差异特征；共享解码器的构建包括规则1和规则2：
规则1具体为共享解码器与原始CT影像对应的编码器En origin 结构对称，包含 L级；设每一个与对应编码器第l级对称的解码器层为第l级，每一级包含2个卷积核为3*3*3卷积操作、一个批归一化和ReLU激活函数，级与级之间进行一个2*2*2的上采样操作；第l级的卷积层中卷积核个数为2 l-1 C；
规则2具体为，共享解码器第L级的输入为原始CT影像对应的编码器En origin 的多级融合 特征F MLFFM 和第L级的差异特征
Figure 38664DEST_PATH_IMAGE052
，多级融合特征F MLFFM 和第L级的差异特征
Figure 511233DEST_PATH_IMAGE053
串 接之后，通过共享解码器第L级的2个卷积层处理，上采样之后作为共享解码器第L-1级的第 一输入；同时原始CT影像对应的编码器En origin 第L-1级的差异特征
Figure 421420DEST_PATH_IMAGE054
作为共享解码器 第L-1级的第二输入；共享解码器第L-1级的第一输入和共享解码器第L-1级的第二输入进 行串接之后通过共享解码器第L-1级的2个卷积层处理，上采样之后作为解码器第L-2级的 一个输入；
重复规则2，直到解码器第1级，获得与原始CT影像大小一致的解码特征图；解码特征图经过一个Softmax层后得到原始CT影像中每一个像素属于梗死的概率，从而用预设概率阈值得到对应的分割结果。
9.根据权利要求8所述的脑卒中CT影像分割方法，其特征在于所述的步骤S6具体包括如下步骤：
C1. 由于CT影像中梗死像素和正常组织像素个数分布不均衡，采用Dice损失函数L GDL ，评价分割结果与分割金标准GT的重叠度；Dice损失函数L GDL 具体为：
Figure 346651DEST_PATH_IMAGE055
其中，M为像素的个数；k表示像素的种类，正常像素为第1类，梗死像素为第2类；y ki 为第k类像素中第i个像素的GT标签；p ki 为第k类像素中第i个像素的模型预测概率值；λ k 为第k类 像素的权重，
Figure 570959DEST_PATH_IMAGE056
；
C2. 采用加权交叉熵损失函数L WCE ，评价分割结果与分割金标准GT在像素级上的相似度；加权交叉熵损失函数L WCE 具体为：
Figure 960352DEST_PATH_IMAGE057
其中，M为像素的个数；y i 为第i个像素的GT标签得到的梗死概率值；p i 为第i个像素的模 型得到的梗死概率值；α表示GT标签为梗死的像素权重，
Figure 244703DEST_PATH_IMAGE058
；
C3. 采用边界损失函数L BL ，评价分割结果与分割金标准GT的边界距离；边界损失函数L BL 具体为：
Figure 719547DEST_PATH_IMAGE059
其中，Ω为所有像素的集合，m为Ω中的一个像素；ϕ GT (·)为从分割金标准GT上计算得到的水平集函数；f(·)表示模型的分割结果；
C4. 采用结构损失函数L SL ，评价分割结果与分割金标准GT的多尺度结构相似性；结构损失函数L SL 具体为：
Figure 481966DEST_PATH_IMAGE060
其中，S为结构尺度的个数，s表示尺度下标；p表示模型分割结果的像素集合；g表示分割金标准GT的像素集合；μ S 为p上所有像素的均值；μ G 为g上所有像素的均值；σ S 为p上所有像素的标准差；σ G 为g上所有像素的标准差；σ pg 为p和g的协方差；β s 为每个尺度的权重；ε 1和ε 2为任意非零实数，用于避免分母为零；
C5. 融合Dice损失、加权交叉熵损失、边界损失和结构损失，构建模型的联合损失函数L joint：
Figure 663549DEST_PATH_IMAGE061
其中，ω 1为融合Dice损失的权重；ω 2为加权交叉熵损失的权重；ω 3为边界损失的权重；ω 4为结构损失的权重；ω 1+ω 2+ω 3+ω 4=1；
在训练集上采用5折交叉验证，将训练集均分为5份，4份用来训练模型，剩余的一份用来验证模型有效性和调整模型参数，最终得到在验证集上重叠度最高的分割模型。
CN202110727412.5A 2021-06-29 2021-06-29 一种脑卒中ct影像分割方法 Active CN113177943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110727412.5A CN113177943B (zh) 2021-06-29 2021-06-29 一种脑卒中ct影像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110727412.5A CN113177943B (zh) 2021-06-29 2021-06-29 一种脑卒中ct影像分割方法

Publications (2)

Publication Number Publication Date
CN113177943A true CN113177943A (zh) 2021-07-27
CN113177943B CN113177943B (zh) 2021-09-07

Family

ID=76927967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110727412.5A Active CN113177943B (zh) 2021-06-29 2021-06-29 一种脑卒中ct影像分割方法

Country Status (1)

Country Link
CN (1) CN113177943B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870289A (zh) * 2021-09-22 2021-12-31 浙江大学 一种解耦分治的面神经分割方法和装置
CN114638843A (zh) * 2022-03-18 2022-06-17 北京安德医智科技有限公司 大脑中动脉高密度征影像识别方法及装置
CN115018836A (zh) * 2022-08-08 2022-09-06 四川大学 一种癫痫病灶自动分割与预测方法、系统及设备
CN116012388A (zh) * 2023-03-28 2023-04-25 中南大学 急性缺血性脑卒中三维医学影像分割方法及成像方法
CN117422880A (zh) * 2023-12-18 2024-01-19 齐鲁工业大学(山东省科学院) 改进的注意力机制与cv模型相结合的分割方法及其系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129934A1 (en) * 2016-11-07 2018-05-10 Qualcomm Incorporated Enhanced siamese trackers
CN110097528A (zh) * 2019-04-11 2019-08-06 江南大学 一种基于联合卷积自编码网络的图像融合方法
CN110288609A (zh) * 2019-05-30 2019-09-27 南京师范大学 一种注意力机制引导的多模态全心脏图像分割方法
CN111415373A (zh) * 2020-03-20 2020-07-14 北京以萨技术股份有限公司 基于孪生卷积网络的目标跟踪与分割方法、系统及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180129934A1 (en) * 2016-11-07 2018-05-10 Qualcomm Incorporated Enhanced siamese trackers
CN110097528A (zh) * 2019-04-11 2019-08-06 江南大学 一种基于联合卷积自编码网络的图像融合方法
CN110288609A (zh) * 2019-05-30 2019-09-27 南京师范大学 一种注意力机制引导的多模态全心脏图像分割方法
CN111415373A (zh) * 2020-03-20 2020-07-14 北京以萨技术股份有限公司 基于孪生卷积网络的目标跟踪与分割方法、系统及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HULIN KUANG等: "EIS-Net: Segmenting early infarct and scoring ASPECTS simultaneously on non-contrast CT of patients with acute ischemic stroke", 《MEDICAL IMAGE ANALYSIS》 *
杨琬琪等: "注意力机制引导的多模态心脏图像分割", 《南京师大学报(自然科学版)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870289A (zh) * 2021-09-22 2021-12-31 浙江大学 一种解耦分治的面神经分割方法和装置
CN113870289B (zh) * 2021-09-22 2022-03-15 浙江大学 一种解耦分治的面神经分割方法和装置
CN114638843A (zh) * 2022-03-18 2022-06-17 北京安德医智科技有限公司 大脑中动脉高密度征影像识别方法及装置
CN114638843B (zh) * 2022-03-18 2022-09-06 北京安德医智科技有限公司 大脑中动脉高密度征影像识别方法及装置
CN115018836A (zh) * 2022-08-08 2022-09-06 四川大学 一种癫痫病灶自动分割与预测方法、系统及设备
CN116012388A (zh) * 2023-03-28 2023-04-25 中南大学 急性缺血性脑卒中三维医学影像分割方法及成像方法
CN117422880A (zh) * 2023-12-18 2024-01-19 齐鲁工业大学(山东省科学院) 改进的注意力机制与cv模型相结合的分割方法及其系统
CN117422880B (zh) * 2023-12-18 2024-03-22 齐鲁工业大学(山东省科学院) 改进的注意力机制与cv模型相结合的分割方法及其系统

Also Published As

Publication number Publication date
CN113177943B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN113177943B (zh) 一种脑卒中ct影像分割方法
CN109035263B (zh) 基于卷积神经网络的脑肿瘤图像自动分割方法
Ni et al. GC-Net: Global context network for medical image segmentation
Li et al. Alzheimer's disease classification based on combination of multi-model convolutional networks
García-Lorenzo et al. Review of automatic segmentation methods of multiple sclerosis white matter lesions on conventional magnetic resonance imaging
CN112365464B (zh) 一种基于gan的医学图像病变区域弱监督定位方法
CN108109140A (zh) 基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及系统
CN109770932A (zh) 多模态脑部神经影像特征的处理方法
Manjón et al. MRI white matter lesion segmentation using an ensemble of neural networks and overcomplete patch-based voting
CN110097128B (zh) 医学图像分类装置及系统
Altaf et al. Multi-class Alzheimer disease classification using hybrid features
CN112950644B (zh) 基于深度学习的新生儿大脑图像分割方法及模型构建方法
Yamanakkanavar et al. MF2-Net: A multipath feature fusion network for medical image segmentation
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
Khademi et al. Whole volume brain extraction for multi-centre, multi-disease FLAIR MRI datasets
CN114332572B (zh) 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法
CN111932522A (zh) 一种基于脑成像大数据深度学习的阿尔兹海默症分类器
Bordin et al. Explainable AI points to white matter hyperintensities for Alzheimer's disease identification: A preliminary study
Rasoulian et al. Weakly Supervised Intracranial Hemorrhage Segmentation using Head-Wise Gradient-Infused Self-Attention Maps from a Swin Transformer in Categorical Learning
Mirchandani et al. Comparing the Architecture and Performance of AlexNet Faster R-CNN and YOLOv4 in the Multiclass Classification of Alzheimer Brain MRI Scans
Yoon et al. Effect of data augmentation of F-18-Florbetaben positron-emission tomography images by using deep learning convolutional neural network architecture for amyloid positive patients
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study
US20230115927A1 (en) Systems and methods for plaque identification, plaque composition analysis, and plaque stability detection
Merati et al. A New Triplet Convolutional Neural Network for Classification of Lesions on Mammograms.
CN114581459A (zh) 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant