CN115719357A - 一种脑部医学图像多结构分割方法 - Google Patents
一种脑部医学图像多结构分割方法 Download PDFInfo
- Publication number
- CN115719357A CN115719357A CN202211508260.0A CN202211508260A CN115719357A CN 115719357 A CN115719357 A CN 115719357A CN 202211508260 A CN202211508260 A CN 202211508260A CN 115719357 A CN115719357 A CN 115719357A
- Authority
- CN
- China
- Prior art keywords
- brain
- features
- image
- segmentation
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种脑部医学图像多结构分割方法，属于图像处理与计算机视觉技术领域，自注意力机制能够很好的提取脑部灰质结构边界的低频信息，并且能够建立特征的全局相关性。将卷积和自注意力相结合更加有效的提取图像的高频和低频特征，改善了浅层信息在下采样过程丢失的问题，实现更加准确的分割结果。同时在特征交互的过程中通过对特征降维和归一化的处理，提高了网络模型的收敛速度。
Description
技术领域
本发明属于图像处理与计算机视觉技术领域，具体涉及一种脑部医学图像多结构分割方法。
背景技术
医学图像分割在医学图像分析和临床诊断中起到重要的意义，对医学图像的感兴趣区域进行特征提取实现像素级分类，将病灶组织和器官分割出来，有助于医生对相关疾病的观察，能够改善临床流程，对于疾病的诊断进展和治疗方案的规划具有至关重要的作用。医学图像的格式具有多样化，不同模态图像反应的信息的侧重点不同。由于成像设备和个体的自身差异的影响，导致成像结果存在一定的差异。脑部相关疾病往往是由多个组织和结构综合诊断，然而不同个体的脑部医学图像的整体形状和不同的脑结构和病灶区域的形状和大小存在较大的差异以及脑结构之间的分线线较为模糊。因此获得准确的脑部医学图像多结构分割仍具有挑战性。
随着深度学习的发展，深度神经网络广泛应用于计算机视觉领域，尤其在医学图像分割领域全卷积神经网络已经代替原有的基于阈值、聚类等传统分割方法。OlafRonneberger等人提出U-net分割框架，该框架使用一个用于捕获上下文信息的编码器和恢复图像定位的解码器并使用跳连接的方法有效的利用全局信息和局部信息。该方法被广泛应用于医学图像分割领域，在后期的研究中，很多学者对该网络进行改进衍生出许多U-Net变体。Xiang Li等人提出一种新的U形网络结构，利用多尺度引导注意力模块有选择的聚集鉴别特征，提高网络学习识别特征表示能力。Essam A.Rashed等人对网络结构进行改进，提出一种单编码器多解码器的卷积神经网络用于脑部多结构分割，根据不同的解剖结构的纹理变化设计不同的解码器，以适应多结构分割。
目前脑部医学图像分割数据集大多数都是核磁共振成像，该成像可很好的观察脑组织结构，但是一些灰质结构边界的像素值十分接近，导致对感兴趣区域的脑结构边界无法做到精确的分割。另外，深度神经网络使用大量的卷积和池化操作，随着网络的加深丢失了很多浅层的空间信息，导致较小和边缘复杂的脑结构的边缘分割效果不好。因此提升模型的泛化能力和准确的边界分割成为医学图像分割的热点问题。
发明内容
为了解决上述存在的问题，本发明提出：一种脑部医学图像多结构分割方法，包括以下步骤：
S1、对公开的脑部医学图像数据集进行切片处理，选取待分割的脑结构的2D图像；
S2、对待分割的图像进行预处理，得到训练数据并随机划分训练集和测试集；
S3、构建脑部多结构分割网络，其包含编码部分和解码部分，编码部分由卷积和多头自注意力机制构成，解码部分由双线性插值上采样和卷积构成；
S4、使用划分好的训练数据进行脑部多结构分割模型的训练，将训练数据随机划分为训练集和验证集；
S5、将训练集输入到网络模型中得到预测的分割结果，使用交叉熵损失函数计算训练过程预测结果和真实标签之间的损失值，并进行参数调整；
S6、将验证集输入到网络模型中得到预测的分割结果，使用交叉熵损失函数计算训练过程预测结果和真实标签之间的损失值；
S7、判断当前验证过程的损失和上一轮验证的损失，若当前损失小于上一轮损失保存模型参数，若当前损失大于上一轮的损失则继续训练；
S8、判断当前迭代次数是否达到预设值，若未达到则返回步骤S5进行下次训练，若到达预设值则完成网络模型的训练；
S9、在步骤S8得到训练好的模型之后，将测试集输入到训练完成的脑部多结构模型中，得到相应的分割结果进行分割指标的计算。
进一步地，所述步骤S1包括如下步骤：对原始数据集的标签进行筛选保留感兴趣的脑结构的标签，然后对图像数据进行格式转换将3D图像转换成2D图像。
进一步地，所述步骤S2所述的预处理为：对图像数据大小进行调整统一尺寸，对统一后的图像进行归一化和二值化处理，然后对数据进行平移、旋转、翻转、噪声扰动的方法进行数据集的扩充。
进一步地，所述步骤S3所述的编码部分包括高频特征采集和低频特征采集，高频特征由卷积和池化构成的卷积神经网络进行获取，低频特征采集是由多头自注意力和前馈神经网络组成，高频特征和低频特征之间存在特征交互的过程，解码部分包括对深层特征进行上采样并与浅层特征进行维度拼接。
进一步地，高频特征采集由三个连续的卷积层构成，每个卷积层后面添加ReLU激活函数以增加特征的非线性，对所提取的特征进行BN处理以提高网络的收敛速度，将特征进行最大池化操作以提取深层的语义特征。
进一步地，所述低频特征采集是将原始的图像进行patch embedding操作，将原始图像分成16个块，并进行维度变换，将二维矩阵转化成以为一维向量，通过Multi HeadSelf-Attention计算全局特征的相关性，通过前馈神经网络进行非线性变换，将多头注意力层的结果映射到更高维的空间中进行特征的提取。
进一步地，所述特征交互过程是高频低频特征进行互补的过程，通过多头自注意力获取全局特征经全连接层映射后进行维度变换，然后与高频的特征融合增强特征的全局相关性，通过卷积运算进行更深层次的特征提取，同时将深层语义特征降维并进行维度变换为多头自注意力提供Key和Value，保留当前特征全局相关性补偿池化特征造成的信息丢失。
本发明的有益效果为：
本发明提供一种基于卷积和多头自注意力机制特征互补的脑部多结构分割方法。脑结构多数都是由灰质和白质构成，在脑部医学图像中灰质和白质之间的结构边界较为清晰。而在脑室下面的灰质结构的像素值十分接近难以区分。由于卷积对局部的特征提取十分优秀，能够很好将灰质和白质相邻的脑结构分割出来。而像素值接近的低频信号，利用多头自注意力机制的全局相关性建模，能有效的提取出来。本发明在解码部分将两种方法提取的特征进行融合实现优势互补。提高了脑部医学图像多结构分割的准确率。
本发明提供一种基于卷积和自注意力特征交互的脑部医学图像多结构分割方法。自注意力机制能够很好的提取脑部灰质结构边界的低频信息，并且能够建立特征的全局相关性。将卷积和自注意力相结合更加有效的提取图像的高频和低频特征，改善了浅层信息在下采样过程丢失的问题，实现更加准确的分割结果。同时在特征交互的过程中通过对特征降维和归一化的处理，提高了网络模型的收敛速度。
附图说明
图1为本发明脑部多结构整体流程图；
图2为本发明脑部医学图像数据集的预处理流程图；
图3为本发明基于卷积和多头自注意力机制的脑部多结构分割网络结构示意图；
图4为本发明编码阶段高频特征提取网络结构示意图；
图5为高低频特征交互示意图。
具体实施方式
一种脑部医学图像多结构分割方法，包括以下步骤：
S1、对公开的脑部医学图像数据集进行切片处理，选取待分割的脑结构的2D图像；
S2、对待分割的图像进行预处理，得到训练数据并随机划分训练集和测试集；
S3、构建脑部多结构分割网络，其包含编码部分和解码部分，编码部分由卷积和多头自注意力机制构成，解码部分由双线性插值上采样和卷积构成；
S4、使用划分好的训练数据进行脑部多结构分割模型的训练，将训练数据随机划分为训练集和验证集；
S5、将训练集输入到网络模型中得到预测的分割结果，使用交叉熵损失函数计算训练过程预测结果和真实标签之间的损失值，并进行参数调整；
S6、将验证集输入到网络模型中得到预测的分割结果，使用交叉熵损失函数计算训练过程预测结果和真实标签之间的损失值；
S7、判断当前验证过程的损失和上一轮验证的损失，若当前损失小于上一轮损失保存模型参数，若当前损失大于上一轮的损失则继续训练；
S8、判断当前迭代次数是否达到预设值，若未达到则返回步骤S5进行下次训练，若到达预设值则完成网络模型的训练；
S9、在步骤S8得到训练好的模型之后，将测试集输入到训练完成的脑部多结构模型中，得到相应的分割结果进行分割指标的计算。
其中，所述步骤S1包括如下步骤：对原始数据集的标签进行筛选保留感兴趣的脑结构的标签，然后对图像数据进行格式转换将3D图像转换成2D图像。
其中，所述步骤S2所述的预处理为：对图像数据大小进行调整统一尺寸，对统一后的图像进行归一化和二值化处理，然后对数据进行平移、旋转、翻转等变换和噪声扰动的方法进行数据集的扩充。
其中，所述步骤S3所述的编码部分包括高频特征采集和低频特征采集，高频特征由卷积和池化构成的卷积神经网络进行获取，低频特征采集是由多头自注意力和前馈神经网络组成，高频特征和低频特征之间存在特征交互的过程，解码部分包括对深层特征进行上采样并与浅层特征进行维度拼接。
其中，所述高频特征采集由三个连续的卷积层构成，每个卷积层后面添加ReLU激活函数以增加特征的非线性，对所提取的特征进行BN处理以提高网络的收敛速度，将特征进行最大池化操作以提取深层的语义特征。
其中，所述低频特征采集是将原始的图像进行patch embedding操作，将原始图像分成16个块，并进行维度变换，将二维矩阵转化成以为一维向量，通过Multi Head Self-Attention计算全局特征的相关性，通过前馈神经网络进行非线性变换，将多头注意力层的结果映射到更高维的空间中进行特征的提取。
其中，所述特征交互过程是高频低频特征进行互补的过程，通过多头自注意力获取全局特征经全连接层映射后进行维度变换，然后与高频的特征融合增强特征的全局相关性，通过卷积运算进行更深层次的特征提取，同时将深层语义特征降维并进行维度变换为多头自注意力提供Key和Value，保留当前特征全局相关性补偿池化特征造成的信息丢失。
参阅图1，脑部医学图像多结构分割整体流程图。首先对脑部医学图像的数据集进行预处理，由于采集设备和个体差异之间的关系数据集的大小和位置相差较大，因此在不改变原有图像的基础上对数据的形状和中心位置进行调整。此步骤还包括对图像数据格式的转换。将处理好的数据集随机划分为训练集和测试集。然后再将训练集随机划分出一部分作为验证集，用于验证模型的训练的参数。在网络模型中，将输入图像利用卷积神经网络作为高通滤波器提取图像的局部特征和高级语义信息。对输入图像进行分块操作并保留其位置信息，通过多头自注意力机制获取图像低频特征和全局相关性，并通过前馈神经网络将特征映射更高维度和高平特征进行融合为深层网络提供丰富的语义特征。然后对高级语义特征进行上采样和特征提取得到预测的分割结果。最后通过二元交叉熵损失函数计算预测结果和真实标签之间的损失，计算公式为：
其中N表示训练批次大小，yk表示预测的分割图像，gk表示真实标签。
将验证集输入到脑部多结构分割模型中，通过损失函数计算验证集预测结果和真实标签之间的损失值，预设的迭代次数中保存损失最小的网络模型参数。
参阅图2，为脑部医学图像数据集处理的过程，本发明使用的数据集来源于MICCAI比赛的数据集，该数据格式为3d数据并且数据标签为全脑标签。首先通过医学分析软件进行标签的筛选，保留感兴趣的脑结构标签，剩余标签删掉。然后将3D的图像数据进行切片处理转换成2D图像数据。在图像数据转换的时候容易造成像素的损失，因此将2D图片进行对比度增强操作。然而深度学习通常需要大量的数据继续训练，由于医学方面的数据获取十分昂贵并且具有保密性。为避免网络模型出现过拟合的情况，需要对数据进行扩充。在本发明中通过平移、旋转、翻转和加入扰动噪声来增加训练集的样本数量，保证训练数据的多样性。
参阅图3，为脑部多结构分割网络的结构框图。该网络主要由三部分组成高频特征编码、低频特征编码和解码器。高频特征提取主要是通过卷积对图像特征的明显边缘，形状等特征进行提取，首先将原图通过卷积层映射到高维的特征为后续的特征提取提供输入。高频特征编码分为三个阶段，每个编码器的细节可参阅图4，在每一阶段输入的特征图经过第一个3×3卷积之后特征通道数将会增加一倍将特征映射到更高的维度，然后利用下一个3×3卷积对高维的特征进行高级语义信息的获取。在每次卷积之后进行非线性激活函数Relu()运算，防止网络训练出现梯度消失和梯度爆炸的情况。由于每次训练时输入一批图像数据，在每次特征提取之后部分数据都分布在激活函数的饱和阶段，因此在每次特征提取之后激活函数之前使用Batch Normalization函数将特征值更加有效的进入激活函数的非线性化过程。加快网络的训练和收敛速度，防止过拟合。在低频特征提取过程主要是利用自然语言处理中自注意力方法，在不压缩图像的前提下获取全局特征的相关性，尤其在医学图像分割中对于灰质结构边界不明显的区域，通过自注意力能够建立该区域像素和周围像素之间的相关性。低频特征主要过程包括Patch Embedding、Positional Encoding、Multi Head Self Attention和MLP。由于自注意力机制主要处理对象为一维的序列类型，所以需要将二维图像转化成一维向量。为降低计算的复杂度对图像进行了分块处理，在本发明中将原始图像分成16块，然后将图像进行线性展开，每块图像展开后即为序列的长度，然后将每一块作为线性投射层的维度。同时图像进行分块编码需要加入位置编码，位置编码的维度与输入序列embedding的维度相同。然后初始化自注意力机制的Query，Key和Value的权值和偏执，通过全连接层计算特征的相关性该过程计算公式为，
其中softmax()函数用来计算输入向量之间的相关程度。
用来约束方差趋于平稳，使训练过程的梯度值稳定。最后经过全连接神将网络将得到的图像特征映射到更高维度的运算提取全局特征。
在脑部多结构分割网络中，主要是通过高低频特征进行融合得到更丰富的语义特征通过上采样恢复分割预测结果。参阅图5，为高低平特征交互的整个过程。在编码过程卷积提取特征包含大量的高频信息和局部特征，为缓解对低频特征的提取能力，本发明通过自注意力和卷积之间传递特征映射。首先将原始图像进行特征提取，然后采用1×1卷积将特征进行降维，并将这些特征通过Flatten应到到自注意力的特征维度上，并且与自注意力的key和Value进行特征相加。然而为降低计算代价使用Layer Normalization对样本进行归一化处理。然后通过MLP层将维度放大然后在缩小维度，通过resape函数将一维向量转化成二维特征与卷积提取的特征图进行相加。即使特征图具有全局的相关性。在整个编码的过程中结果三次下采样操作得到高级的语义信息。在网络的底层，使用卷积进行特征滤波得到脑部多结构分割更有效的特征。
在网络的解码阶段进行三次上采样操作恢复分割的预测结果。在每次上采样将编码特征和上采样的解码特征进行维度拼接，然后通过卷积提取分割图像过滤其他的冗余特征。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种脑部医学图像多结构分割方法，其特征在于，包括以下步骤：
S1、对公开的脑部医学图像数据集进行切片处理，选取待分割的脑结构的2D图像；
S2、对待分割的图像进行预处理，得到训练数据并随机划分训练集和测试集；
S3、构建脑部多结构分割网络，其包含编码部分和解码部分，编码部分由卷积和多头自注意力机制构成，解码部分由双线性插值上采样和卷积构成；
S4、使用划分好的训练数据进行脑部多结构分割模型的训练，将训练数据随机划分为训练集和验证集；
S5、将训练集输入到网络模型中得到预测的分割结果，使用交叉熵损失函数计算训练过程预测结果和真实标签之间的损失值，并进行参数调整；
S6、将验证集输入到网络模型中得到预测的分割结果，使用交叉熵损失函数计算训练过程预测结果和真实标签之间的损失值；
S7、判断当前验证过程的损失和上一轮验证的损失，若当前损失小于上一轮损失保存模型参数，若当前损失大于上一轮的损失则继续训练；
S8、判断当前迭代次数是否达到预设值，若未达到则返回步骤S5进行下次训练，若到达预设值则完成网络模型的训练；
S9、在步骤S8得到训练好的模型之后，将测试集输入到训练完成的脑部多结构模型中，得到相应的分割结果进行分割指标的计算。
2.如权利要求1所述的脑部医学图像多结构分割方法，其特征在于，所述步骤S1包括如下步骤：对原始数据集的标签进行筛选，保留感兴趣的脑结构的标签，然后对图像数据进行格式转换，将3D图像转换成2D图像。
3.如权利要求1所述的脑部医学图像多结构分割方法，其特征在于，所述步骤S2所述的预处理为：对图像数据大小进行调整统一尺寸，对统一后的图像进行归一化和二值化处理，然后对数据进行平移、旋转、翻转、噪声扰动的方法进行数据集的扩充。
4.如权利要求1所述的脑部医学图像多结构分割方法，其特征在于，所述步骤S3所述的编码部分包括高频特征采集和低频特征采集，高频特征由卷积和池化构成的卷积神经网络进行获取，低频特征采集是由多头自注意力和前馈神经网络组成，高频特征和低频特征之间存在特征交互的过程，解码部分包括对深层特征进行上采样并与浅层特征进行维度拼接。
5.如权利要求4所述的脑部医学图像多结构分割方法，其特征在于，所述高频特征采集由三个连续的卷积层构成，每个卷积层后面添加ReLU激活函数以增加特征的非线性，对所提取的特征进行BN处理以提高网络的收敛速度，将特征进行最大池化操作以提取深层的语义特征。
6.如权利要求4所述的脑部医学图像多结构分割方法，其特征在于，所述低频特征采集是将原始的图像进行patch embedding操作，将原始图像分成16个块，并进行维度变换，将二维矩阵转化成以为一维向量，通过MultiHead Self-Attention计算全局特征的相关性，通过前馈神经网络进行非线性变换，将多头注意力层的结果映射到更高维的空间中进行特征的提取。
7.如权利要求4所述的脑部医学图像多结构分割方法，其特征在于，所述特征交互过程是高频低频特征进行互补的过程，通过多头自注意力获取全局特征经全连接层映射后进行维度变换，然后与高频的特征融合增强特征的全局相关性，通过卷积运算进行更深层次的特征提取，同时将深层语义特征降维并进行维度变换为多头自注意力提供Key和Value，保留当前特征全局相关性补偿池化特征造成的信息丢失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211508260.0A CN115719357A (zh) | 2022-11-28 | 2022-11-28 | 一种脑部医学图像多结构分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211508260.0A CN115719357A (zh) | 2022-11-28 | 2022-11-28 | 一种脑部医学图像多结构分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115719357A true CN115719357A (zh) | 2023-02-28 |
Family
ID=85256841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211508260.0A Pending CN115719357A (zh) | 2022-11-28 | 2022-11-28 | 一种脑部医学图像多结构分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115719357A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117292232A (zh) * | 2023-11-24 | 2023-12-26 | 烟台大学 | T1加权成像的多维空间特征获取方法、系统和设备 |
-
2022
- 2022-11-28 CN CN202211508260.0A patent/CN115719357A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117292232A (zh) * | 2023-11-24 | 2023-12-26 | 烟台大学 | T1加权成像的多维空间特征获取方法、系统和设备 |
| CN117292232B (zh) * | 2023-11-24 | 2024-02-06 | 烟台大学 | T1加权成像的多维空间特征获取方法、系统和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bashir et al. | A comprehensive review of deep learning-based single image super-resolution | |
| CN111145170B (zh) | 一种基于深度学习的医学影像分割方法 | |
| Zhang et al. | Spatio-temporal convolutional LSTMs for tumor growth prediction by learning 4D longitudinal patient data | |
| CN111461232A (zh) | 一种基于多策略批量式主动学习的核磁共振图像分类方法 | |
| CN112150428A (zh) | 一种基于深度学习的医学图像分割方法 | |
| CN112258488A (zh) | 一种医疗影像病灶分割方法 | |
| CN109754007A (zh) | 前列腺手术中外包膜智能检测和预警方法及系统 | |
| CN110188792A (zh) | 前列腺mri三维图像的图像特征获取方法 | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| CN112991365B (zh) | 一种冠状动脉分割方法、系统及存储介质 | |
| Ma et al. | Efficient deep learning architecture for detection and recognition of thyroid nodules | |
| CN113554669A (zh) | 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法 | |
| CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统 | |
| Fan et al. | Lung nodule detection based on 3D convolutional neural networks | |
| CN114092439A (zh) | 一种多器官实例分割方法及系统 | |
| Shan et al. | SCA-Net: A spatial and channel attention network for medical image segmentation | |
| CN114170244A (zh) | 一种基于级联神经网络结构的脑胶质瘤分割方法 | |
| Jia et al. | Two-branch network for brain tumor segmentation using attention mechanism and super-resolution reconstruction | |
| CN115719357A (zh) | 一种脑部医学图像多结构分割方法 | |
| Zhang et al. | Multi-scale aggregation networks with flexible receptive fields for melanoma segmentation | |
| Gao | A method for face image inpainting based on generative adversarial networks | |
| Wu et al. | Continuous refinement-based digital pathology image assistance scheme in medical decision-making systems | |
| CN114820651A (zh) | 一种基于多尺度的鞍区病变医学图像分割方法 | |
| CN117633558A (zh) | 基于视觉语言模型的多激励融合零样本病变检测方法 | |
| CN116630964A (zh) | 一种基于离散小波注意力网络的食品图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |