CN114066913A

CN114066913A - 一种心脏图像分割方法及系统

Info

Publication number: CN114066913A
Application number: CN202210030012.3A
Authority: CN
Inventors: 曾安; 谢锐伟; 潘丹; 杨宝瑶; 张逸群
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2022-01-12
Filing date: 2022-01-12
Publication date: 2022-02-18
Anticipated expiration: 2042-01-12
Also published as: CN114066913B

Abstract

本发明提出了一种心脏图像分割方法，通过引入位置编码矩阵，可以获取到图像统一的相对位置信息；同时采用具备强大的高维度特征信息提取功能的多层感知器的提取，并将高维信息与编码产生的低维信息进行拼接；最后通过构建三维切面多通道融合模型实现对心脏图像端到端的分割，有效提高心脏图像的分割精度和分割效率；本发明还提出一种心脏图像分割系统，用于实现一种心脏图像分割方法，整个系统模型结构简单，计算量少，适用于现有的临床诊断和治疗过程。

Description

一种心脏图像分割方法及系统

技术领域

本发明涉及心脏图像分割技术领域，特别是涉及一种心脏图像分割方法及系统。

背景技术

目前心脏图像的分割基于Unet模型、TransUent模型，2D切片分割或3D体素图像分割，由于使用二维图像进行分割会使其丧失三维空间信息，产生心脏的分割图像损失三维连续性。

为了保留分割结果的三维连续性，现有技术公开的一种心脏医学图像的分割方法，首先获取待分割3D心脏医学图像，通过3D U-net神经网络进行房室及心肌分割，获得初步心脏分割图像；通过2D U-net神经网络进行血池分割获得血池分割图像；去除血池分割图像中属于房室部分的图像，获得血管图像，根据血管图像对初步心脏分割图像进行优化，获得待分割3D心脏医学图像的心脏分割图像；提取血管图像中血管骨干线，获得待匹配血管骨干线图，继而与预存血管骨干线图进行匹配，根据匹配结果将所述血管图像中的肺动脉及主动脉进行分割，获得所述待分割3D心脏医学图像的血管分割图像。该方法虽然对心脏结构有缺失的心脏医学图像进行分割且能保留更多血管的边界形状变化信息，但该方法直接使用三维卷积神经网络直接对图像直接分割，消耗大量的计算资源，增加计算复杂性。而且现有技术对少量数据集、个体差异性大、边缘信息冗余的心脏分割没有很好的适应性。

发明内容

本发明为了解决以上至少一种技术缺陷，提供一种心脏图像分割方法及系统，通过建立三维切面多通道融合模型实现对心脏图像端到端的分割，有效提高心脏图像的分割精度和分割效率，且计算量少，适应性强。

为解决上述技术问题，本发明的技术方案如下：

一种心脏图像分割方法，包括以下步骤：

S1：获取不同分辨率的原始心脏图像并进行下采样处理，得到分辨率一致的心脏图像；

S2：训练心脏图像的位置编码矩阵；

S3：将心脏图像的心脏信息与位置编码矩阵进行体素点相加，使每个心脏图像同一个体素信息与位置编码信息对应，得到图像统一的相对位置信息；

S4：利用多层感知器对相对位置信息进行数据处理，获取高维度特征图；

S5：对相对位置信息连续进行多层编码，前一层的编码结果作为下一层的编码输入，得到每层编码结果，并根据最后一层编码结果获取低维度特征图；

S6：将高维度特征图和低维度特征图进行拼接，然后对拼接结果进行初次解码；

S7：构建三维切面多通道融合模型，对每层编码结果分别进行三维切面多通道融合，得到每次编码对应的多通道融合数据；

S8：记初次解码结果为当前层解码结果，最后一次编码对应的多通道融合数据为当前层多通道融合数据；

S9：将当前层解码结果与当前层多通道融合数据进行拼接并进行解码，将解码结果作为当前解码结果；更新当前层多通道融合数据为前一层编码对应的多通道融合数据；

S10：判断当前层多通道融合数据是否为第一层编码对应的多通道融合数据，若是，则执行步骤S11；否则，执行步骤S9；

S11：对当前解码结果进行分割操作，完成心脏图像的分割。

上述方案中，通过引入用来表达词与词之间的关系的位置编码矩阵，可以获取到图像统一的相对位置信息；同时采用具备强大的高维度特征信息提取功能的多层感知器的提取，并将高维信息与编码产生的低维信息进行拼接；最后通过构建三维切面多通道融合模型实现对心脏图像端到端的分割，有效提高心脏图像的分割精度和分割效率，整个模型结构简单，计算量少，且适用于现有的临床诊断和治疗过程。

其中，在所述步骤S2中，所述位置编码矩阵在自然语言处理中，用来表达词与词之间的关系，其是一个与心脏图像大小一致的矩阵，该矩阵训练前为随机参数；通过对位置编码矩阵进行迭代训练，其逐步会统一融合心脏分割区域的特征信息并对参数进行更新，直至符合应用需求，完成对其训练过程，即将用以训练的数据集的分割区域大致分割出来，直至训练的损失函数小于0.02时完成训练；其训练过程具体为：

将用于训练心脏图像集逐个输入位置编码矩阵中，此时图像的每一个体素点对应位置编码矩阵中一个位置信息，该位置信息会随着训练不断的迭代更新，最后将训练心脏图像集中不同图像同一个体素点的位置信息进行融合，形成统一的相对位置信息。

上述方案中，输入的心脏图像信息处理其每一个体素点外，还有一个位置信息，本方案提出的位置编码矩阵是将在心脏图像信息输入时，将其每个体素点对应一个位置信息，该位置信息会随着训练不断的迭代更新，最终会将所有图像数据中不同数据同一个像素点的位置信息融合起来，形成统一的相对位置信息。

其中，在所述步骤S4中，所述多层感知器采用transformer模块实现，其对相对位置信息先进行步伐为32的卷积操作，然后再进行数据压平、数据转置以及数据随机Dropout操作，从而获取相对位置信息中的高维度特征图。

本方案提出采用transformer模块提取高维度特征信息，与编码后得到的低维度信息进行拼接。由于现有采用CNN及Maxpool的编码器在下采样过程中容易丢失信息，因此本方案中采用transformer模块强大的高维特征信息提取功能，将其提取的高维信息与编码器的低维信息进行拼接，并且丢弃使用Maxpool，其下采样功能使用步伐为2的卷积代替，有效克服了下采样过程中容易丢失信息的问题。

其中，在所述步骤S5中，每一层编码的过程具体为：先对编码输入数据进行步伐为1的三维卷积，再使用relu激活函数进行激活处理，然后对激活处理结果进行步伐为2的三维卷积，最后再relu激活函数再一次进行激活，完成该层的编码过程，得到对应的编码结果；在所述步骤S6中，解码的过程具体为：先对解码输入数据进行步伐为1的卷积操作，再使用relu激活函数进行激活，然后对激活处理结果进行步伐为2的三维卷积，再使用relu激活函数进行激活，最后进行步伐为2的上卷积操作，完成解码过程。

其中，在所述步骤S8中，三维切面多通道融合模型将编码结果根据高度、宽度、深度切分成平面得到多个数据切面；将三维切面多通道融合模型所有通道在高度、宽度、深度的同一个数据切面进行平均池化处理，平均池化后得到高度注意力系数，宽度注意力系数，深度注意力系数；由于三种切面会有交集，当它们处于中间切面时，其对应的注意力系数会偏高，因此将其进行相乘后所得到的结果作为每次编码对应的多通道融合数据，使三维切面多通道融合模型对分割区域更加感兴趣提高分割性能。

上述方案中，由于三维的心脏通常在数据的中心，数据边缘同时是其他身体结构，越是在这个三维图像的中心，因此根据维度进行切面注意力系数提取，在不同维度之间切面的交集会产生重叠，当重叠区域是分割区域时注意力系数会提高，相反，当重叠区域是边缘区域时注意力系数会降低。因为所有数据在同一个切面的信息基本是相同的，故将所有通道的同一个数据切面进行平均池化处理提取注意力分数。

上述方案中，所述步骤S11的分割操作包括先使用步伐为1的卷积操作，再使用激活函数，再使用步伐为2的上卷积操作。本系统在使用前，需经过不断的训练，迭代更新系统各模型的参数，最终将测试数据集输入系统当中即可得到测试数据集的心脏分割结果。

本方案还提供一种心脏图像分割系统，包括图像获取模块、位置编码矩阵训练模块、相对位置信息处理模块、高维度特征图获取模块、编码模块、图像拼接模块、解码模块、多通道融合模块、判断模块和分割模块；其中：

所述图像获取模块用于获取不同分辨率的原始心脏图像并进行下采样处理，得到分辨率一致的心脏图像；

所述位置编码矩阵训练模块用于训练心脏图像的位置编码矩阵；

所述相对位置信息处理模块用于将心脏图像的心脏信息与位置编码矩阵进行体素点相加，使每个心脏图像同一个体素信息与位置编码信息对应，获取图像统一的相对位置信息；

所述高维度特征图获取模块内设置有多层感知器，通过多层感知器对相对位置信息进行数据处理，获取高维度特征图；

所述编码模块用于对相对位置信息连续进行多层编码，前一层的编码结果作为下一层的编码输入，得到每层编码结果，并根据最后一层编码结果获取低维度特征图；

所述多通道融合模块中构建有三维切面多通道融合模型，用于对每层编码结果分别进行三维切面多通道融合，得到每次编码对应的多通道融合数据；

所述解码模块用于对高维度特征图和低维度特征图的拼接结果进行初次解码或用于对当前层解码结果与当前层多通道融合数据进行拼接结果进行解码；

所述图像拼接模块用于将高维度特征图和低维度特征图进行拼接或用于对当前层解码结果与当前层多通道融合数据进行拼接；

所述判断模块用于判断当前层多通道融合数据是否为第一层编码对应的多通道融合数据，若是，则由所述分割模块对当前解码结果进行分割操作，完成心脏图像的分割；否则，继续由所述图像拼接模块、解码模块进行数据的拼接和解码操作。

其中，在所述位置编码矩阵训练模块中，其训练的位置编码矩阵是一个与心脏图像大小一致的矩阵，该矩阵训练前为随机参数；通过对位置编码矩阵进行迭代训练，其逐步会统一融合心脏分割区域的特征信息并对参数进行更新，直至符合应用需求，完成对其训练过程；其训练过程具体为：

其中，在所述高维度特征图获取模块中，其多层感知器采用transformer模块实现，其对相对位置信息先进行步伐为32的卷积操作，然后再进行数据压平、数据转置以及数据随机Dropout操作，从而获取相对位置信息中的高维度特征图。

其中，在所述编码模块中，其编码的过程具体为：先对编码输入数据进行步伐为1的三维卷积，再使用relu激活函数进行激活处理，然后对激活处理结果进行步伐为2的三维卷积，最后再relu激活函数再一次进行激活，完成该层的编码过程，得到对应的编码结果；在所述解码模块中，解码的过程具体为：先对解码输入数据进行步伐为1的卷积操作，再使用relu激活函数进行激活，然后对激活处理结果进行步伐为2的三维卷积，再使用relu激活函数进行激活，最后进行步伐为2的上卷积操作，完成解码过程。

其中，在所述多通道融合模块中，其三维切面多通道融合模型将编码结果根据H、W、D切分成平面得到多个数据切面；将三维切面多通道融合模型所有通道的同一个数据切面进行平均池化处理，提取其注意力分数；由于因为数据切面的数量通常与三维切面多通道融合模型的通道数不相等，因此加上全连接层，将提取的注意力分数输入到对应的通道上进行融合，得到每次编码对应的多通道融合数据。

上述方案中，只需要收集少量的3D心脏图像数据以及对应的标签，通过构建的系统模型，模型对心脏图像数据的位置编码、高维度特征和低维度特征融合、三维切面多通道注意力的融合，有效地提高了分割精度，实现了模型在心脏图像上的准确的全自动分割，提高了模型预测的效率和精度，为后续的临床诊断和治疗提供帮助。

与现有技术相比，本发明技术方案的有益效果是：

本发明提出了一种心脏图像分割方法及系统，通过引入位置编码矩阵，可以获取到图像统一的相对位置信息；同时采用具备强大的高维度特征信息提取功能的多层感知器的提取，并将高维信息与编码产生的低维信息进行拼接；最后通过构建三维切面多通道融合模型实现对心脏图像端到端的分割，有效提高心脏图像的分割精度和分割效率，整个模型结构简单，计算量少，且适用于现有的临床诊断和治疗过程。

附图说明

图1为本发明所述方法的流程示意图；

图2为本发明所述方法实现模型示意图；

图3为本发明一实施例中三维切面多通道注意力融合的具体流程图；

图4为本发明三维切面多通道融合模型在训练中不断去除边缘信息冗余，寻找重点分割部位的过程示意图；

图5为本发明所述系统连接示意图；

图6为本发明一实施例中对相同的心脏数据使用Unet3D模型的分割结果、TransUnet模型分割结果及本方案所述方法分割结果对比图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

实施例1：

本实施例为完整的使用示例，内容较丰富

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1、图2所示，（图2中n表示数量，总共有12个Transformer）一种心脏图像分割方法，包括以下步骤：

S2：训练心脏图像的位置编码矩阵；

S11：对当前解码结果进行分割操作，完成心脏图像的分割。

在具体实施过程中，通过引入位置编码矩阵，可以获取到图像统一的相对位置信息；同时采用具备强大的高维度特征信息提取功能的多层感知器的提取，并将高维信息与编码产生的低维信息进行拼接；最后通过构建三维切面多通道融合模型实现对心脏图像端到端的分割，有效提高心脏图像的分割精度和分割效率，整个模型结构简单，计算量少，且适用于现有的临床诊断和治疗过程。

更具体的，在所述步骤S2中，所述位置编码矩阵是一个与心脏图像大小一致的矩阵，该矩阵训练前为随机参数；通过对位置编码矩阵进行迭代训练，其逐步会统一融合心脏分割区域的特征信息并对参数进行更新，直至符合应用需求，完成对其训练过程，即将用以训练的数据集的分割区域大致分割出来，直至训练的损失函数小于0.02时完成训练；其训练过程具体为：

在具体实施过程中，输入的心脏图像信息处理其每一个体素点外，还有一个位置信息，本方案提出的位置编码矩阵是将在心脏图像信息输入时，将其每个体素点对应一个位置信息，该位置信息会随着训练不断的迭代更新，最终会将所有图像数据中不同数据同一个像素点的位置信息融合起来，形成统一的相对位置信息。

更具体的，在所述步骤S4中，所述多层感知器采用transformer模块实现，其对相对位置信息先进行步伐stride为32的卷积操作，然后再进行数据压平Flatten、数据转置Transpose以及数据随机Dropout操作，从而获取相对位置信息中的高维度特征图。

更具体的，在所述步骤S5中，每一层编码的过程具体为：先对编码输入数据进行步伐stride为1的三维卷积，再使用relu激活函数进行激活处理，然后对激活处理结果进行步伐stride为2的三维卷积，最后再relu激活函数再一次进行激活，完成该层的编码过程，得到对应的编码结果；在所述步骤S6中，解码的过程具体为：先对解码输入数据进行步伐stride为1的卷积操作，再使用relu激活函数进行激活，然后对激活处理结果进行步伐stride为2的三维卷积，再使用relu激活函数进行激活，最后进行步伐stride为2的上卷积操作，完成解码过程。

更具体的，在所述步骤S8中，如图3所示，三维切面多通道融合模型将编码结果根据高度H、宽度W、深度D切分成平面得到多个数据切面；将三维切面多通道融合模型所有通道的同一个数据切面进行平均池化处理，提取其注意力分数；由于因为数据切面的数量通常与三维切面多通道融合模型的通道数不相等，因此加上全连接层，将提取的注意力分数输入到对应的通道上进行融合，得到每次编码对应的多通道融合数据。

在具体实施过程中，由于三维的心脏通常在数据的中心，数据边缘同时是其他身体结构，越是在这个三维图像的中心，因此根据维度进行切面注意力系数提取，在不同维度之间切面的交集会产生重叠，当重叠区域是分割区域时注意力系数会提高，相反，当重叠区域是边缘区域时注意力系数会降低。因为所有数据在同一个切面的信息基本是相同的，故将所有通道的同一个数据切面进行平均池化处理提取注意力分数。其融合过程具体如图4所示，表示三维切面多通道融合模型在训练中不断去除边缘信息冗余，寻找重点分割部位的过程，从左上至右下依次表示迭代0次、20次、50次、100次和400次的结果示意图。

在具体实施过程中，所述步骤S11的分割操作包括先使用步伐stride为1的卷积操作，再使用激活函数，再使用步伐stride为2的上卷积操作。本系统在使用前，需经过不断的训练，迭代更新系统各模型的参数，最终将测试数据集输入系统当中即可得到测试数据集的心脏分割结果。

实施例2

更具体的，在实施例1的基础上，本实施例提供一种心脏图像分割系统，用于实现一种心脏图像分割方法，具体如图5所示，包括图像获取模块、位置编码矩阵训练模块、相对位置信息处理模块、高维度特征图获取模块、编码模块、图像拼接模块、解码模块、多通道融合模块、判断模块和分割模块；其中：

更具体的，在所述位置编码矩阵训练模块中，其训练的位置编码矩阵是一个与心脏图像大小一致的矩阵，该矩阵训练前为随机参数；通过对位置编码矩阵进行迭代训练，其逐步会统一融合心脏分割区域的特征信息并对参数进行更新，直至符合应用需求，完成对其训练过程；其训练过程具体为：

更具体的，在所述高维度特征图获取模块中，其多层感知器采用transformer模块实现，其对相对位置信息先进行步伐为32的卷积操作，然后再进行数据压平、数据转置以及数据随机Dropout操作，从而获取相对位置信息中的高维度特征图。

更具体的，在所述编码模块中，其编码的过程具体为：先对编码输入数据进行步伐为1的三维卷积，再使用relu激活函数进行激活处理，然后对激活处理结果进行步伐为2的三维卷积，最后再relu激活函数再一次进行激活，完成该层的编码过程，得到对应的编码结果；在所述解码模块中，解码的过程具体为：先对解码输入数据进行步伐为1的卷积操作，再使用relu激活函数进行激活，然后对激活处理结果进行步伐为2的三维卷积，再使用relu激活函数进行激活，最后进行步伐为2的上卷积操作，完成解码过程。

更具体的，在所述多通道融合模块中，其三维切面多通道融合模型将编码结果根据H、W、D切分成平面得到多个数据切面；将三维切面多通道融合模型所有通道的同一个数据切面进行平均池化处理，提取其注意力分数；由于因为数据切面的数量通常与三维切面多通道融合模型的通道数不相等，因此加上全连接层，将提取的注意力分数输入到对应的通道上进行融合，得到每次编码对应的多通道融合数据。

在具体实施过程中，本系统只需要收集少量的3D心脏图像数据以及对应的标签，通过构建的系统模型，模型对心脏图像数据的位置编码、高维度特征和低维度特征融合、三维切面多通道注意力的融合，有效地提高了分割精度，实现了模型在心脏图像上的准确的全自动分割，提高了模型预测的效率和精度，为后续的临床诊断和治疗提供帮助。

实施例3

本实施例通过90例（72例训练，18例测试）心脏图像数据进行测试，其输出的结果和预测标签图如图6所示，其中最左侧的图为TransUnet分割结果图，第二个为Unet3D分割结果图，第三个为本方案所用方法的分割结果图，最右侧为预测的结果图，从而可直接得到本申请方案处理后的结果优于现有技术。为了进一步验证本方案的效果，采用五折交叉验证法分别验算各个模型的平均dice系数，结果如表1所示，本方案的平均dice系数达到0.86828，达到了较高的分割水平。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims

1.一种心脏图像分割方法，其特征在于，包括以下步骤：

S2：训练心脏图像的位置编码矩阵；

S11：对当前解码结果进行分割操作，完成心脏图像的分割。

2.根据权利要求1所述的一种心脏图像分割方法，其特征在于，在所述步骤S2中，所述位置编码矩阵是一个与心脏图像大小一致的矩阵，该矩阵训练前为随机参数；通过对位置编码矩阵进行迭代训练，其逐步会统一融合心脏分割区域的特征信息并对参数进行更新，直至符合应用需求，完成对其训练过程；其训练过程具体为：

3.根据权利要求1所述的一种心脏图像分割方法，其特征在于，在所述步骤S4中，所述多层感知器采用transformer模块实现，其对相对位置信息先进行步伐为32的卷积操作，然后再进行数据压平、数据转置以及数据随机Dropout操作，从而获取相对位置信息中的高维度特征图。

4.根据权利要求1所述的一种心脏图像分割方法，其特征在于，在所述步骤S5中，每一层编码的过程具体为：先对编码输入数据进行步伐为1的三维卷积，再使用relu激活函数进行激活处理，然后对激活处理结果进行步伐为2的三维卷积，最后再relu激活函数再一次进行激活，完成该层的编码过程，得到对应的编码结果；在所述步骤S6中，解码的过程具体为：先对解码输入数据进行步伐为1的卷积操作，再使用relu激活函数进行激活，然后对激活处理结果进行步伐为2的三维卷积，再使用relu激活函数进行激活，最后进行步伐为2的上卷积操作，完成解码过程。

5.根据权利要求1~4任一项所述的一种心脏图像分割方法，其特征在于，在所述步骤S8中，三维切面多通道融合模型将编码结果根据高度、宽度、深度切分成平面得到多个数据切面；将三维切面多通道融合模型所有通道在高度、宽度、深度的同一个数据切面进行平均池化处理，平均池化后得到高度注意力系数，宽度注意力系数，深度注意力系数；由于三种切面会有交集，当它们处于中间切面时，其对应的注意力系数会偏高，因此将其进行相乘后所得到的结果作为每次编码对应的多通道融合数据，使三维切面多通道融合模型对分割区域更加感兴趣提高分割性能。

6.一种心脏图像分割系统，其特征在于，包括图像获取模块、位置编码矩阵训练模块、相对位置信息处理模块、高维度特征图获取模块、编码模块、图像拼接模块、解码模块、多通道融合模块、判断模块和分割模块；其中：

7.根据权利要求6所述的一种心脏图像分割系统，其特征在于，在所述位置编码矩阵训练模块中，其训练的位置编码矩阵是一个与心脏图像大小一致的矩阵，该矩阵训练前为随机参数；通过对位置编码矩阵进行迭代训练，其逐步会统一融合心脏分割区域的特征信息并对参数进行更新，直至符合应用需求，完成对其训练过程；其训练过程具体为：

8.根据权利要求6所述的一种心脏图像分割系统，其特征在于，在所述高维度特征图获取模块中，其多层感知器采用transformer模块实现，其对相对位置信息先进行步伐为32的卷积操作，然后再进行数据压平、数据转置以及数据随机Dropout操作，从而获取相对位置信息中的高维度特征图。

9.根据权利要求6所述的一种心脏图像分割系统，其特征在于，在所述编码模块中，其编码的过程具体为：先对编码输入数据进行步伐为1的三维卷积，再使用relu激活函数进行激活处理，然后对激活处理结果进行步伐为2的三维卷积，最后再relu激活函数再一次进行激活，完成该层的编码过程，得到对应的编码结果；在所述解码模块中，解码的过程具体为：先对解码输入数据进行步伐为1的卷积操作，再使用relu激活函数进行激活，然后对激活处理结果进行步伐为2的三维卷积，再使用relu激活函数进行激活，最后进行步伐为2的上卷积操作，完成解码过程。

10.根据权利要求6~9任一项所述的一种心脏图像分割系统，其特征在于，在所述多通道融合模块中，其三维切面多通道融合模型将编码结果根据H、W、D切分成平面得到多个数据切面；将三维切面多通道融合模型所有通道的同一个数据切面进行平均池化处理，提取其注意力分数；由于因为数据切面的数量通常与三维切面多通道融合模型的通道数不相等，因此加上全连接层，将提取的注意力分数输入到对应的通道上进行融合，得到每次编码对应的多通道融合数据。