CN115908449A - 一种基于改进UNet模型的2.5D医学CT影像分割方法及装置 - Google Patents

Abstract

本发明提供一种基于改进UNet模型的2.5D医学CT影像分割方法及装置，所述方法的步骤包括：获取初始CT影像，基于预设的抽取参数对初始CT影像进行抽取，得到待分割图；将待分割图像输入到训练好的UNet模型的编码器模块中，在编码器模块中每两个相邻下采样变换模块之间设置有一个信息纠正模块，信息纠正模块顺序设置有通道注意力层和空间注意力层；将编码特征图输入到训练好的UNet模型的解码器模块中，解码器模块包括多个上采样变换模块和多个多阶段多尺度模块，在解码器模块中每两个相邻上采样变换模块之间设置有一个多阶段多尺度模块，多阶段多尺度模块包括多个尺度的池化层和卷积层，通过解码器模块输出分割特征图。

Description

一种基于改进UNet模型的2.5D医学CT影像分割方法及装置

技术领域

本发明涉及医学影像分割技术领域，尤其涉及一种基于改进UNet模型的2.5D医学CT影像分割方法及装置。

背景技术

医学影像分割在临床诊断和治疗过程中有非常重要的作用。目前基于影像的疾病诊断和评估依赖于人类专家对于影像的处理和解释，由于人类专家对于数据的后处理效率低,如手动分割，且存在主观因素，不足以充分利用珍贵的影像学数据，于是基于医学影像学的计算机辅助诊断(Computer Aided Diagnosis,CAD)技术得到了快速的快速发展，极大的推动了国内外的医学领域研究进步。在CAD的发展中，分割是不可或缺的重要研究内容，是医学影像处理中最热门的任务之一，其在疾病诊疗、回顾性研究和前瞻性评估中起到了巨大的作用。通过影像分割，可以准确的计算出一些解剖学参数，如基于心脏CT可以计算出患者心室在收缩期和舒张期的大小变化，结合其他功能参数，可以给予一些临床诊断结论。

对于影像的分割技术，传统的非深度学习的医学影像分割的方法包括：基于影像阈值的分割方法、基于区域增长的影像分割方法、基于边缘的影像分割方法、基于图论的影像分割方法、基于能量泛函的影像分割方法等。而基于深度学习的卷积神经网络(Convolutional Neural Network，CNN)影像分割方法已经是CAD中最常用的技术。2015年，全卷积神经网络(Fully Convolutional Networks，FCN)的提出，将图像级别的分类扩展到了像素级别的分类，达到了语义分割的目的。此模型将图像分类模型的全连接层换成卷积层，利用跳级(skip)结构实现了多尺度信息的复用，将语义分割的研究提升到了一个新的层次。

现有的基于深度学习的卷积神经网络存在2.5D分割方法，2.5D分割方法采用“多对多”的分割机制，即采样连续的C张切片构成一个样本送入分割网络，输出仍然是对应的C张切片的分割结果。但在不同个体间或个体的差异导致器官大不同，例如成人和小孩的腹部器官。在同个个体内，器官在CT切片位置相差较大时表现出来的形态差异是非常剧烈的，尤其是对于心脏、肺等动态变化的器官。而无论是相同个体还是不同个体，器官或组织在相邻的CT切片上又是极其相似的。现有技术的针对于2.5D分割任务，相邻切片间的高冗余度和不相邻切片或差异较大个体切片间的低相关性，增加了模型辨别特征所属切片的难度，不利于2.5D的分割。

发明内容

鉴于此，本发明的实施例提供了一种基于改进UNet模型的2.5D医学CT影像分割方法，以消除或改善现有技术中存在的一个或更多个缺陷。

本发明的一个方面提供了一种基于改进UNet模型的2.5D医学CT影像分割方法，所述方法的步骤包括：

获取初始CT影像，基于预设的抽取参数对初始CT影像进行抽取，得到待分割图像，所述待分割图像包括初始CT影像中的多个切片图像；

将所述待分割图像输入到训练好的UNet模型的编码器模块中，所述编码器模块包括多个下采样变换模块和多个信息纠正模块，在所述编码器模块中每两个相邻下采样变换模块之间设置有一个信息纠正模块，所述下采样模块通过卷积层对输入的图像进行升维，所述信息纠正模块顺序设置有通道注意力层和空间注意力层，通过编码器模块输出编码特征图；

将所述编码特征图输入到训练好的UNet模型的解码器模块中，所述解码器模块包括多个上采样变换模块和多个多阶段多尺度模块，在所述解码器模块中每两个相邻上采样变换模块之间设置有一个多阶段多尺度模块，所述多阶段多尺度模块包括多个尺度的池化层和卷积层，通过解码器模块输出分割特征图。

采用上述方案，本方案的信息纠正模块中通过通道注意力模块增强key slice的特征表达，弱化辅助切片的特征，降低样本中相邻切片间的冗余度；信息纠正模块中通过空间注意力模块使得编码器对感兴趣区域更加敏感，达到信息纠正的目的；对于多阶段多尺度模块，在将编码器中信息纠正模块输出和对应解码器中的上采样后的特征图跳跃连接时(skip connection)，添加多个尺度的池化层，以达到将不同尺度特征更好融合的目的，提高不相邻切片或差异较大个体切片间的相关性。

在本发明的一些实施方式中，所述编码器模块的下采样变换模块包括第一下采样变换模块、第二下采样变换模块、第三下采样变换模块和第四下采样变换模块，所述编码器模块的信息纠正模块包括第一信息纠正模块、第二信息纠正模块和第三信息纠正模块；所述编码器模块包括顺序连接的第一下采样变换模块、第一信息纠正模块、第二下采样变换模块、第二信息纠正模块、第三下采样变换模块、第三信息纠正模块和第四下采样变换模块；

所述解码器模块的上采样变换模块包括第一上采样变换模块、第二上采样变换模块、第三上采样变换模块和第四上采样变换模块；所述解码器模块的多阶段多尺度模块包括第一多阶段多尺度模块、第二多阶段多尺度模块和第三多阶段多尺度模块；所述解码器模块包括顺序连接的第一上采样变换模块、第一多阶段多尺度模块、第二上采样变换模块、第二多阶段多尺度模块、第三上采样变换模块、第三多阶段多尺度模块和第四上采样变换模块。

在本发明的一些实施方式中，在所述信息纠正模块中所述通道注意力层包括顺序设置的最大池化层、平均池化层、全连接层和激活函数层，输入最大池化层的初始特征图经过平均池化层和全连接层，由激活函数层向空间注意力层输出第一特征图；

在所述信息纠正模块中所述空间注意力层包括顺序设置的平均池化层、最大池化层、卷积层和激活函数层，第一特征图输入平均池化层，经过最大池化层和卷积层，由激活函数层输出空间注意力特征图，基于空间注意力特征图利用广播机制对第一特征图进行加权，得到第二特征图，将第二特征图与初始特征图进行残差连接输出第三特征图。

在本发明的一些实施方式中，所述多阶段多尺度模块包括多个尺度的池化层和卷积层，输入多阶段多尺度模块的原始特征图分别进行不同尺度的池化层，并经过每个池化层对应的卷积层，得到多个子特征图，通过线性插值将多个子特征图插值为原始特征图的大小后，将多个子特征图与原始特征图进行拼接，将拼接得到的特征图再经过多阶段多尺度模块的二维卷积层和批归一化层后输出为融合特征图。

在本发明的一些实施方式中，所述第一下采样变换模块包括顺序连接的最大池化层和两个卷积单元，每个卷积单元均包括卷积核为3*3的卷积层、批归一化层和RELU3激活函数层；

所述第二下采样变换模块、第三下采样变换模块和第四下采样变换模块均与第一下采样变换模块结构相同；

所述第一上采样变换模块包括顺序连接的上采样层和两个卷积单元，每个卷积单元均包括卷积核为3*3的卷积层、批归一化层和RELU3激活函数层；

所述第二上采样变换模块、第三上采样变换模块和第四上采样变换模块均与第一上采样变换模块结构相同。

在本发明的一些实施方式中，所述编码器模块还包括输入处理模块，所述输入处理模块包括顺序连接的两个卷积单元，每个卷积单元均包括卷积核为3*3的卷积层、批归一化层和RELU3激活函数层，所述处理模块由第一个卷积单元接入待分割图像，并由第二个卷积单元向第一下采样变换模块输出处理后的待分割图像；

所述解码器模块还包括输出处理模块，所述输出处理模块包括卷积核为1*1的卷积层，所述输出处理模块输出分割特征图。

在本发明的一些实施方式中，所述抽取参数包括抽取通道总数和间隔数，所述基于预设的抽取参数对初始CT影像进行抽取的步骤为：

首先抽取初始CT影像中预设的初始通道的切片图像，并基于间隔数继续抽取与初始通道的切片图像相隔间隔数的通道的切片图像，判断当前抽取的切片图像的总数是否等于抽取通道总数，若是，则停止抽取，将抽取出的切片图像拼接为待分割图像；若否，则继续基于间隔数继续抽取与上次抽取的切片图像相隔间隔数的通道的切片图像，直到抽取的切片图像的总数是否等于抽取通道总数。

在本发明的一些实施方式中，所述分割特征图为两通道特征图，包括前景特征图和后景特征图，在所述通过解码器模块输出分割特征图后还包括步骤：

对比前景特征图和后景特征图在同一位置的像素点的像素值，若前景特征图的像素点的像素值较大则将最终特征图中对应位置的像素点的像素值标记为第一数值，若后景特征图的像素点的像素值较大则将最终特征图中对应位置的像素点的像素值标记为第二数值；

分别对比前景特征图和后景特征图中的每个像素点，完成对最终特征图中所有像素点的像素值标记，并将最终特征图中像素值为第一数值的像素点渲染为第一色彩，将最终特征图中像素值为第二数值的像素点渲染为第二色彩，完成对最终特征图的色彩渲染。

在本发明的一些实施方式中，所述方法的步骤还包括模型训练，在所述模型训练的步骤中，获取预设的训练数据集中的初始CT影像中的多个切片图像中间夹层位置切片图像对应的样本图像，所述样本图像包括前景样本图像和后景样本图像，所述样本图像中预先标记有目标区域和非目标区域，前景样本图像中目标区域的像素点的像素值为第一数值，非目标区域的像素点的像素值为第二数值；后景样本图像中目标区域的像素点的像素值为第二数值，非目标区域的像素点的像素值为第一数值；

根据如下公式分别计算前景特征图与前景样本图像的损失函数以及后景特征图与后景样本图像的损失函数：

其中i表示前景特征图、后景特征图、前景样本图像或后景样本图像中第i个像素点，N表示前景特征图、后景特征图、前景样本图像或后景样本图像中像素点的总数，y_i表示前景样本图像或后景样本图像中第i个像素点的像素值，

前景特征图或后景特征图中第i个像素点的像素值，DiceLoss表示DiceLoss函数值，BCELoss表示交叉熵损失函数值；

基于上述DiceLoss函数值的计算公式分别计算出前景特征图与前景样本图像的DiceLoss函数值以及后景特征图与后景样本图像的DiceLoss函数值；基于交叉熵损失函数值的计算公式计算出前景特征图与前景样本图像的交叉熵损失函数值以及后景特征图与后景样本图像的交叉熵损失函数值；

基于前景特征图与前景样本图像的DiceLoss函数值、后景特征图与后景样本图像的DiceLoss函数值、前景特征图与前景样本图像的交叉熵损失函数值以及后景特征图与后景样本图像的交叉熵损失函数值计算总损失函数：

总损失函数＝DiceLoss1+BCELoss1+DiceLoss2+BCELoss2；

其中DiceLoss1表示前景特征图与前景样本图像的DiceLoss函数值，DiceLoss2表示后景特征图与后景样本图像的DiceLoss函数值，BCELoss1表示前景特征图与前景样本图像的交叉熵损失函数值，BCELoss2表示后景特征图与后景样本图像的交叉熵损失函数值；

基于损失函数更新所述UNet模型中的参数。

本发明还提供一种基于改进UNet模型的2.5D医学CT影像分割装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法所实现的步骤。

本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。

本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。

图1为本发明基于改进UNet模型的2.5D医学CT影像分割方法一种实施方式的示意图；

图2为本发明基于改进UNet模型的2.5D医学CT影像分割方法另一种实施方式的示意图；

图3为本发明UNet模型的结构示意图；

图4为UNet模型训练的示意图；

图5为信息纠正模块的结构示意图；

图6为多阶段多尺度模块的结构示意图；

图7为抽取待分割图像的示意图；

图8为初始CT影像的示意图；

图9为色彩渲染后最终特征图的示意图；

图10为多个最终特征图构建为三维图像的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。

现有技术介绍：

医学影像是放射科或核医学部门的一项程序，是一个技术性很强的医学领域。这类检查包括了计算机断层扫描(CT)、X光、超声波、核磁共振成像(MRI)等。通过利用放射线来确定身体内部的变化。随着影像成像技术的不断丰富，医学影像从‘辅助检查手段’变为现代医学最重要的临床诊断和鉴别诊断方法。在大部分的医院里面的医学影像学的设备就占了全院固定资产的1/3以上，而医学影像信息量，占到了医疗信息总量的70％左右。CT利用X射线对于人体不同组织器官的穿透能力不同特性，通过探测器来接受穿过人体不同组织的射线，达到成像的目的。由于其拍摄效率高、适用性广、普及范围大，其已经成为影像科最为常用的影像技术之一。此外，近几年PET-CT将正电子发射型计算机断层显像(PET，Positron Emission Computed Tomography)与CT融为一体，PET提供病灶位置信息或者器官代谢信息，CT提供病灶准确的解剖定位信息，由于两者的扫描是同步的，因此一次显像能够获取更为全面的信息。总之CT影像由于重要的诊断价值，已在临床中广泛推广应用。

将深度学习用到CT医学影像分割主要有如下两种思路：(1)采用普遍的2D分割的方式，具体操作为将CT的3D数据进行切片，然后将单个轴向的某层当作单一的影像，送入相应的网络进行学习，常见的基于U-net的分割大多是此种操作。(2)使用3D CNN模型如V-net进行3D数据的分割，实际应用3D CNN对CT医学影像分割应用时，常常会将整个体数据切成三维小块patches进行训练和测试。

上述两种方法有各自的优缺点，2D网络以一个完整的切片作为输入，因此只需要沿着单轴滑动，计算量更小，推理速度更快，但缺少切片之间关系的信息。基于patches的3DCNN方法虽然具有对3D上下文强大的感知能力，但是此方法感受野有限，容易使模型产生信息混淆，缺乏预先训练模型，训练过程不稳定，容易过拟合等问题比较突出。于是基于2D分割模型，将3D数据重新采样成为2D多通道数据，去模拟分割3D数据成为一个新的研究方向，即2.5D分割。

现存的2.5D分割方法，多采用“多对多”的分割机制，即采样连续的C张切片构成一个样本送入分割网络，输出仍然是对应的C张切片的分割结果。在这样的机制下，当C较大时，会引起网络性能的下降，网络不能明确分辨特征所属的切片，也即存在信息混淆问题。

本方案进行多对一的分割机制，解决了当C较大时引起网络性能的下降，网络不能明确分辨特征所属的切片，存在信息混淆的问题。

为解决以上问题，如图1所示，本发明提出一种基于改进UNet模型的2.5D医学CT影像分割方法，所述方法的步骤包括：

如图8所示，步骤S100，获取初始CT影像，基于预设的抽取参数对初始CT影像进行抽取，得到待分割图像，所述待分割图像包括初始CT影像中的多个切片图像；

在本发明的一些实施方式中，在获取初始CT影像的步骤中，若所述初始CT影像为DICOM格式则将DICOM格式转化为NIFIT格式。

在本发明的一些实施方式中，所述获取初始CT影像的步骤还包括：

接收选取窗口，所述选取窗口包括最小HU值和最大HU值，获取初始CT影像中每个切片图像每个像素点的HU值，若像素点的HU值小于最小HU值则将该像素点的HU值修改为最小HU值，若像素点的HU值大于最大HU值则将该像素点的HU值修改为最大HU值。

在本发明的一些实施方式中，所述选取窗口基于对UNet模型进行训练时的训练数据集得到，计算选取窗口的步骤包括：

获取训练数据集中所有样本图像的目标区域中各个像素点的HU值，并对各个HU值排序，得到HU值序列；

基于预设的窗口范围，在HU值序列截取窗口，每次截取窗口后判断窗口中的HU值对应像素点的数量是否大于预设的阈值，若是，则将该窗口作为选取窗口。

在本发明的一些实施方式中，所述获取初始CT影像的步骤还包括将初始CT影像中每个切片图像归一化为同一尺度。

在具体实施过程中，在待分割图像输入编码器模块前，将待分割图像的每个切片图像的大小通过resize调整为(256,256)大小。

步骤S200，将所述待分割图像输入到训练好的UNet模型的编码器模块中，所述编码器模块包括多个下采样变换模块和多个信息纠正模块，在所述编码器模块中每两个相邻下采样变换模块之间设置有一个信息纠正模块(ICA)，所述下采样模块通过卷积层对输入的图像进行升维，所述信息纠正模块顺序设置有通道注意力层和空间注意力层，通过编码器模块输出编码特征图；

采用上述方案，信息纠正模块中通过通道注意力模块增强待分割图像多个切片图像中处于中间夹层位置切片图像的特征表达，弱化两侧辅助切片的特征，降低样本中相邻切片间的冗余度；为提升编码器的特征提取能力，级联了空间注意力模块，使得编码器对感兴趣区域更加敏感，达到信息纠正的目的。

步骤S300，将所述编码特征图输入到训练好的UNet模型的解码器模块中，所述解码器模块包括多个上采样变换模块和多个多阶段多尺度模块(MSP)，在所述解码器模块中每两个相邻上采样变换模块之间设置有一个多阶段多尺度模块，所述多阶段多尺度模块包括多个尺度的池化层和卷积层，通过解码器模块输出分割特征图。

采用上述方案，本方案的信息纠正模块中通过通道注意力模块增增强待分割图像多个切片图像中处于中间夹层位置切片图像的特征表达，弱化多个切片图像中处于两侧辅助切片的特征，降低样本中相邻切片间的冗余度；信息纠正模块中通过空间注意力模块使得编码器对感兴趣区域更加敏感，达到信息纠正的目的；对于多阶段多尺度模块，在将编码器中信息纠正模块输出和对应解码器中的上采样后的特征图跳跃连接时(skipconnection)，添加多个尺度的池化层，以达到将不同尺度特征更好融合的目的，提高不相邻切片或差异较大个体切片间的相关性。

如图3所示，在本发明的一些实施方式中，所述编码器模块的下采样变换模块包括第一下采样变换模块、第二下采样变换模块、第三下采样变换模块和第四下采样变换模块，所述编码器模块的信息纠正模块包括第一信息纠正模块、第二信息纠正模块和第三信息纠正模块；所述编码器模块包括顺序连接的第一下采样变换模块、第一信息纠正模块、第二下采样变换模块、第二信息纠正模块、第三下采样变换模块、第三信息纠正模块和第四下采样变换模块；

所述解码器模块的上采样变换模块包括第一上采样变换模块、第二上采样变换模块、第三上采样变换模块和第四上采样变换模块；所述解码器模块的多阶段多尺度模块包括第一多阶段多尺度模块、第二多阶段多尺度模块和第三多阶段多尺度模块；所述解码器模块包括顺序连接的第一上采样变换模块、第一多阶段多尺度模块、第二上采样变换模块、第二多阶段多尺度模块、第三上采样变换模块、第三多阶段多尺度模块和第四上采样变换模块。

如图5所示，在本发明的一些实施方式中，在所述信息纠正模块中所述通道注意力层包括顺序设置的最大池化层、平均池化层、全连接层和激活函数层，输入最大池化层的初始特征图经过平均池化层和全连接层，由激活函数层向空间注意力层输出第一特征图；

在本发明的一些实施方式中，所述信息纠正模块中的激活函数层为Sigmoid函数层。

在所述信息纠正模块中所述空间注意力层包括顺序设置的平均池化层、最大池化层、卷积层和激活函数层，第一特征图输入平均池化层，经过最大池化层和卷积层，由激活函数层输出空间注意力特征图，基于空间注意力特征图利用广播机制对第一特征图进行加权，得到第二特征图，将第二特征图与初始特征图进行残差连接输出第三特征图。

在本发明的一些实施方式中，信息纠正模块中的卷积层为卷积核为3*3的卷积层。

如图6所示，在本发明的一些实施方式中，所述多阶段多尺度模块包括多个尺度的池化层和卷积层，输入多阶段多尺度模块的原始特征图分别进行不同尺度的池化层，并经过每个池化层对应的卷积层，得到多个子特征图，通过线性插值将多个子特征图插值为原始特征图的大小后，将多个子特征图与原始特征图进行拼接，将拼接得到的特征图再经过多阶段多尺度模块的二维卷积层和批归一化层后输出为融合特征图。

在本发明的一些实施方式中，所述多阶段多尺度模块中多个尺度的池化层可以分别为1*1的池化层、2*2的池化层、3*3的池化层、4*4的池化层、5*5的池化层或6*6的池化层等，在经过每个池化层后经过卷积层，所述卷积层可以为3*3卷积层，得到多个多个子特征图。

在本发明的一些实施方式中，所述第一下采样变换模块包括顺序连接的最大池化层和两个卷积单元，每个卷积单元均包括卷积核为3*3的卷积层、批归一化层和RELU3激活函数层；

所述第二下采样变换模块、第三下采样变换模块和第四下采样变换模块均与第一下采样变换模块结构相同。

在本发明的一些实施方式中，所述第一上采样变换模块包括顺序连接的上采样层和两个卷积单元，每个卷积单元均包括卷积核为3*3的卷积层、批归一化层和RELU3激活函数层；

所述第二上采样变换模块、第三上采样变换模块和第四上采样变换模块均与第一上采样变换模块结构相同。

在本发明的一些实施方式中，所述编码器模块还包括输入处理模块，所述输入处理模块包括顺序连接的两个卷积单元，每个卷积单元均包括卷积核为3*3的卷积层、批归一化层和RELU3激活函数层，所述处理模块由第一个卷积单元接入待分割图像，并由第二个卷积单元向第一下采样变换模块输出处理后的待分割图像；

所述解码器模块还包括输出处理模块，所述输出处理模块包括卷积核为1*1的卷积层，所述输出处理模块输出分割特征图。

在本发明的一些实施方式中，所述待分割图像包括三个切片图像，每个切片图像大小为256*256，即所述待分割图像为3通道，256*256的图像，所述输入处理模块将特征图升维至64通道，第一下采样变换模块将图像升维至128通道，第二下采样变换模块将图像升维至256通道，第三下采样变换模块将图像升维至512通道，第四下采样变换模块维持512通道数不变；第一上采样变换模块将图像降维至256通道，第二上采样变换模块将图像降维至128通道，第三上采样变换模块将图像降维至64通道，第四上采样变换模块维持64通道数不变；输出处理模块将特征图降维至2通道。

在具体实施过程中，输入网络的待分割图像为(3,256,256)。编码器部分经过第一、二、三、四下采样变换模块后分别为x1(128,128,128)、x2(256,64,64)、x3(512,32,32)、x4(512,16,16)；经过第一、二、三、四上采样变换模块后分别为x5(256,32,32)、x6(128,64,64)、x7(64,128,128)、x8(64,256,256)。

优选地将输出的2通道特征图经过argmax处理。

在本发明的一些实施方式中，所述抽取参数包括抽取通道总数和间隔数，所述基于预设的抽取参数对初始CT影像进行抽取的步骤为：

首先抽取初始CT影像中预设的初始通道的切片图像，并基于间隔数继续抽取与初始通道的切片图像相隔间隔数的通道的切片图像，判断当前抽取的切片图像的总数是否等于抽取通道总数，若是，则停止抽取，将抽取出的切片图像拼接为待分割图像；若否，则继续基于间隔数继续抽取与上次抽取的切片图像相隔间隔数的通道的切片图像，直到抽取的切片图像的总数是否等于抽取通道总数。

如图7所示，在具体实施过程中，抽取通道总数为设定为C，间隔数设定为t，若预设的初始通道为第一通道，间隔数为t＝1，抽取通道总数为C＝3，则抽取的为第1、3、5通道的切片图像。

在本发明的一些实施方式中，所述分割特征图为两通道特征图，包括前景特征图和后景特征图，在所述通过解码器模块输出分割特征图后还包括步骤：

如图2所示，步骤S400，对比前景特征图和后景特征图在同一位置的像素点的像素值，若前景特征图的像素点的像素值较大则将最终特征图中对应位置的像素点的像素值标记为第一数值，若后景特征图的像素点的像素值较大则将最终特征图中对应位置的像素点的像素值标记为第二数值；

如图2、9所示，步骤S500，分别对比前景特征图和后景特征图中的每个像素点，完成对最终特征图中所有像素点的像素值标记，并将最终特征图中像素值为第一数值的像素点渲染为第一色彩，将最终特征图中像素值为第二数值的像素点渲染为第二色彩，完成对最终特征图的色彩渲染。

在本发明的一些实施方式中，所述第一数值可以为1，第二数据可以为0，所述第一色彩可以为白色，第二色彩可以为黑色。

如图4所示，在本发明的一些实施方式中，所述方法的步骤还包括模型训练，在所述模型训练的步骤中，获取预设的训练数据集中的初始CT影像中的多个切片图像中间夹层位置切片图像对应的样本图像，所述样本图像包括前景样本图像和后景样本图像，所述样本图像中预先标记有目标区域和非目标区域，前景样本图像中目标区域的像素点的像素值为第一数值，非目标区域的像素点的像素值为第二数值；后景样本图像中目标区域的像素点的像素值为第二数值，非目标区域的像素点的像素值为第一数值；

在具体实施过程中，若初始CT影像抽取的为第1、3、5通道的切片图像，则在获取预设的训练数据集中的初始CT影像中的多个切片图像中间夹层位置切片图像对应的样本图像的步骤中获取第3通道的切片图像对应的样本图像。

所述前景样本图像和后景样本图像均预先被标注，前景样本图像的标注方式可以为将被标记的目标区域中的像素点的像素值标记为1，将未被标记区域中的像素点的像素值标记为0；后景样本图像的标注方式可以为将被标记的目标区域中的像素点的像素值标记为0，将未被标记区域中的像素点的像素值标记为1。

在具体实施过程中，若本方案用于心肌检查，则在样本图像中预先被标记的目标区域为心肌区域。

根据如下公式分别计算前景特征图与前景样本图像的损失函数以及后景特征图与后景样本图像的损失函数：

其中i表示前景特征图、后景特征图、前景样本图像或后景样本图像中第i个像素点，N表示前景特征图、后景特征图、前景样本图像或后景样本图像中像素点的总数，y_i表示前景样本图像或后景样本图像中第i个像素点的像素值，

前景特征图或后景特征图中第i个像素点的像素值，DiceLoss表示DiceLoss函数值，BCELoss表示交叉熵损失函数值；

基于上述DiceLoss函数值的计算公式分别计算出前景特征图与前景样本图像的DiceLoss函数值以及后景特征图与后景样本图像的DiceLoss函数值；基于交叉熵损失函数值的计算公式计算出前景特征图与前景样本图像的交叉熵损失函数值以及后景特征图与后景样本图像的交叉熵损失函数值；

在具体实施过程中，当计算前景特征图与前景样本图像的DiceLoss函数值时，y_i表示前景样本图像中第i个像素点的像素值，

前景特征图中第i个像素点的像素值；当计算后景特征图与后景样本图像的DiceLoss函数值时，y_i表示后景样本图像中第i个像素点的像素值，

后景特征图中第i个像素点的像素值；当计算前景特征图与前景样本图像的交叉熵损失函数值时，y_i表示前景样本图像中第i个像素点的像素值，

前景特征图中第i个像素点的像素值；当计算后景特征图与后景样本图像的交叉熵损失函数值时，y_i表示后景样本图像中第i个像素点的像素值，

后景特征图中第i个像素点的像素值。

基于前景特征图与前景样本图像的DiceLoss函数值、后景特征图与后景样本图像的DiceLoss函数值、前景特征图与前景样本图像的交叉熵损失函数值以及后景特征图与后景样本图像的交叉熵损失函数值计算总损失函数：

总损失函数＝DiceLoss1+BCELoss1+DiceLoss2+BCELoss2；

其中DiceLoss1表示前景特征图与前景样本图像的DiceLoss函数值，DiceLoss2表示后景特征图与后景样本图像的DiceLoss函数值，BCELoss1表示前景特征图与前景样本图像的交叉熵损失函数值，BCELoss2表示后景特征图与后景样本图像的交叉熵损失函数值；

基于损失函数更新所述UNet模型中的参数。

在本发明的一些实施方式中，所述抽取通道总数优选为奇数，由于在训练过程的获取预设的训练数据集中的初始CT影像中的多个切片图像中间夹层位置切片图像对应的样本图像，因此，本方案中中间的中间切片为关键切片(key slice)，其余为辅助切片，最终网络模型的输出为key slice对应的分割结果，当抽取通道总数优选为奇数时，使本方案进行多对一的表达，提高输出图像的准确度。

采用上述方案，由于采用“多对一”机制，所以损失函数的计算是基于Key slice的分割标签和预测结果来计算。

如图10所示，在实际处理过程中，可以将初始通道分别设置为不同的通道，基于同一初始CT影像得到多个最终特征图，将多个最终特征图利用ITK-Snap软件构建为三维图像，便于医生使用。

本发明的有益效果包括：

1、与现有的2.5D分割技术相比，本发明采用“多对一”机制来缓解连续切片数量C较大时导致的模型性能下降问题；通过更改数据训练样本的构建方式和模型结构，降低个体内部的冗余度，提高不同个体的相关性，提升分割精度。同时相比于2D能够有效提升CT数据分割时连续切片的连贯性和精度，相比于3D，改进UNet模型小、训练过程稳定、不容易过拟合。；

本发明还提供一种基于改进UNet模型的2.5D医学CT影像分割装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法所实现的步骤。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述基于改进UNet模型的2.5D医学CT影像分割方法所实现的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。

本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。

本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于改进UNet模型的2.5D医学CT影像分割方法，其特征在于，所述方法的步骤包括：

获取初始CT影像，基于预设的抽取参数对初始CT影像进行抽取，得到待分割图像，所述待分割图像包括初始CT影像中的多个切片图像；

将所述待分割图像输入到训练好的UNet模型的编码器模块中，所述编码器模块包括多个下采样变换模块和多个信息纠正模块，在所述编码器模块中每两个相邻下采样变换模块之间设置有一个信息纠正模块，所述下采样模块通过卷积层对输入的图像进行升维，所述信息纠正模块顺序设置有通道注意力层和空间注意力层，通过编码器模块输出编码特征图；

将所述编码特征图输入到训练好的UNet模型的解码器模块中，所述解码器模块包括多个上采样变换模块和多个多阶段多尺度模块，在所述解码器模块中每两个相邻上采样变换模块之间设置有一个多阶段多尺度模块，所述多阶段多尺度模块包括多个尺度的池化层和卷积层，通过解码器模块输出分割特征图。

2.根据权利要求1所述的基于改进UNet模型的2.5D医学CT影像分割方法，其特征在于，所述编码器模块的下采样变换模块包括第一下采样变换模块、第二下采样变换模块、第三下采样变换模块和第四下采样变换模块，所述编码器模块的信息纠正模块包括第一信息纠正模块、第二信息纠正模块和第三信息纠正模块；所述编码器模块包括顺序连接的第一下采样变换模块、第一信息纠正模块、第二下采样变换模块、第二信息纠正模块、第三下采样变换模块、第三信息纠正模块和第四下采样变换模块；

所述解码器模块的上采样变换模块包括第一上采样变换模块、第二上采样变换模块、第三上采样变换模块和第四上采样变换模块；所述解码器模块的多阶段多尺度模块包括第一多阶段多尺度模块、第二多阶段多尺度模块和第三多阶段多尺度模块；所述解码器模块包括顺序连接的第一上采样变换模块、第一多阶段多尺度模块、第二上采样变换模块、第二多阶段多尺度模块、第三上采样变换模块、第三多阶段多尺度模块和第四上采样变换模块。

3.根据权利要求1所述的基于改进UNet模型的2.5D医学CT影像分割方法，其特征在于，在所述信息纠正模块中所述通道注意力层包括顺序设置的最大池化层、平均池化层、全连接层和激活函数层，输入最大池化层的初始特征图经过平均池化层和全连接层，由激活函数层向空间注意力层输出第一特征图；

在所述信息纠正模块中所述空间注意力层包括顺序设置的平均池化层、最大池化层、卷积层和激活函数层，第一特征图输入平均池化层，经过最大池化层和卷积层，由激活函数层输出空间注意力特征图，基于空间注意力特征图利用广播机制对第一特征图进行加权，得到第二特征图，将第二特征图与初始特征图进行残差连接输出第三特征图。

4.根据权利要求1所述的基于改进UNet模型的2.5D医学CT影像分割方法，其特征在于，所述多阶段多尺度模块包括多个尺度的池化层和卷积层，输入多阶段多尺度模块的原始特征图分别进行不同尺度的池化层，并经过每个池化层对应的卷积层，得到多个子特征图，通过线性插值将多个子特征图插值为原始特征图的大小后，将多个子特征图与原始特征图进行拼接，将拼接得到的特征图再经过多阶段多尺度模块的二维卷积层和批归一化层后输出为融合特征图。

5.根据权利要求2所述的基于改进UNet模型的2.5D医学CT影像分割方法，其特征在于，所述第一下采样变换模块包括顺序连接的最大池化层和两个卷积单元，每个卷积单元均包括卷积核为3*3的卷积层、批归一化层和RELU3激活函数层；所述第二下采样变换模块、第三下采样变换模块和第四下采样变换模块均与第一下采样变换模块结构相同；

所述第一上采样变换模块包括顺序连接的上采样层和两个卷积单元；所述第二上采样变换模块、第三上采样变换模块和第四上采样变换模块均与第一上采样变换模块结构相同。

6.根据权利要求1所述的基于改进UNet模型的2.5D医学CT影像分割方法，其特征在于，所述编码器模块还包括输入处理模块，所述输入处理模块包括顺序连接的两个卷积单元，每个卷积单元均包括卷积核为3*3的卷积层、批归一化层和RELU3激活函数层，所述处理模块由第一个卷积单元接入待分割图像，并由第二个卷积单元向第一下采样变换模块输出处理后的待分割图像；

所述解码器模块还包括输出处理模块，所述输出处理模块包括卷积核为1*1的卷积层，所述输出处理模块输出分割特征图。

7.根据权利要求1所述的基于改进UNet模型的2.5D医学CT影像分割方法，其特征在于，所述抽取参数包括抽取通道总数和间隔数，所述基于预设的抽取参数对初始CT影像进行抽取的步骤为：

首先抽取初始CT影像中预设的初始通道的切片图像，并基于间隔数继续抽取与初始通道的切片图像相隔间隔数的通道的切片图像，判断当前抽取的切片图像的总数是否等于抽取通道总数，若是，则停止抽取，将抽取出的切片图像拼接为待分割图像；若否，则继续基于间隔数继续抽取与上次抽取的切片图像相隔间隔数的通道的切片图像，直到抽取的切片图像的总数是否等于抽取通道总数。

8.根据权利要求1-7任一项所述的基于改进UNet模型的2.5D医学CT影像分割方法，其特征在于，所述分割特征图为两通道特征图，包括前景特征图和后景特征图，在所述通过解码器模块输出分割特征图后还包括步骤：

对比前景特征图和后景特征图在同一位置的像素点的像素值，若前景特征图的像素点的像素值较大则将最终特征图中对应位置的像素点的像素值标记为第一数值，若后景特征图的像素点的像素值较大则将最终特征图中对应位置的像素点的像素值标记为第二数值；

分别对比前景特征图和后景特征图中的每个像素点，完成对最终特征图中所有像素点的像素值标记，并将最终特征图中像素值为第一数值的像素点渲染为第一色彩，将最终特征图中像素值为第二数值的像素点渲染为第二色彩，完成对最终特征图的色彩渲染。

9.根据权利要求1所述的基于改进UNet模型的2.5D医学CT影像分割方法，其特征在于，所述方法的步骤还包括模型训练，在所述模型训练的步骤中，获取预设的训练数据集中的初始CT影像中的多个切片图像中间夹层位置切片图像对应的样本图像，所述样本图像包括前景样本图像和后景样本图像，所述样本图像中预先标记有目标区域和非目标区域，前景样本图像中目标区域的像素点的像素值为第一数值，非目标区域的像素点的像素值为第二数值；后景样本图像中目标区域的像素点的像素值为第二数值，非目标区域的像素点的像素值为第一数值；

根据如下公式分别计算前景特征图与前景样本图像的损失函数以及后景特征图与后景样本图像的损失函数：

其中i表示前景特征图、后景特征图、前景样本图像或后景样本图像中第i个像素点，N表示前景特征图、后景特征图、前景样本图像或后景样本图像中像素点的总数，y_i表示前景样本图像或后景样本图像中第i个像素点的像素值，

前景特征图或后景特征图中第i个像素点的像素值，DiceLoss表示DiceLoss函数值，BCELoss表示交叉熵损失函数值；

基于上述DiceLoss函数值的计算公式分别计算出前景特征图与前景样本图像的DiceLoss函数值以及后景特征图与后景样本图像的DiceLoss函数值；基于交叉熵损失函数值的计算公式计算出前景特征图与前景样本图像的交叉熵损失函数值以及后景特征图与后景样本图像的交叉熵损失函数值；

基于前景特征图与前景样本图像的DiceLoss函数值、后景特征图与后景样本图像的DiceLoss函数值、前景特征图与前景样本图像的交叉熵损失函数值以及后景特征图与后景样本图像的交叉熵损失函数值计算总损失函数：

总损失函数＝DiceLoss1+BCELoss1+DiceLoss2+BCELoss2；

其中DiceLoss1表示前景特征图与前景样本图像的DiceLoss函数值，DiceLoss2表示后景特征图与后景样本图像的DiceLoss函数值，BCELoss1表示前景特征图与前景样本图像的交叉熵损失函数值，BCELoss2表示后景特征图与后景样本图像的交叉熵损失函数值；

基于损失函数更新所述UNet模型中的参数。

10.一种基于改进UNet模型的2.5D医学CT影像分割装置，其特征在于，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求1-9任一项所述方法所实现的步骤。

Images