CN115861207A - 一种轻量化的医学图像分割方法和系统 - Google Patents

Abstract

本发明涉及一种轻量化的医学图像分割方法和系统。该方法及系统包括：对医学图像进行空间域的细节特征提取，获取细节特征图；对医学图像进行频域的语义特征提取，获取语义特征图；对细节特征图和语义特征图进行特征融合，并进行上采样获得与原图同大小分辨率的特征图，之后使用卷积实现图像分割。本发明在保证医学图像分割的准确率的同时降低了网络的参数规模和运算量，实现在CPU上的实时图像分割，解决在算力不足的情况下医学图像分割网络难以实现高精度下的实时分割问题。

Description

一种轻量化的医学图像分割方法和系统

技术领域

本发明涉及医学图像处理领域，具体而言，涉及一种轻量化的医学图像分割方法和系统。

背景技术

图像分割是计算机视觉和图像处理的基础任务之一，被广泛运用于自动驾驶、医疗辅助诊断等领域。同时，在计算机辅助医学诊断中，图像分割技术一般是实现医学辅助诊断的基础技术。

目前，很多医学图像分割任务中都采用了深度学习技术。在这些技术中往往不考虑实际运用场景，但是现实中，很多医学图像分割任务实际运用场景中缺少强大的GPU设备。在实际的运用场景中，很多时候，图像分割模型被部署在计算能力地下的设备中。所以，设计和开发一种能够在CPU上实现实时图像分割的轻量化医学图像分割模型成为一种急迫的需求。

近年来，随着深度学习在自然图像的各项视觉任务上取得了长足的图谱和进步。卷积神经网络也被引入到医学图像分割任务中来。在基于深度学习的医学图像分割算法中，一般都基于U-型集构。在这类算法中，U-Net是第一个被用于医学图像分割的U-型架构。U-Net网络包含编码器-解码器连个部分组成。在编码器中，图像被由多个卷积层和池化层组成的编码器结构提取特征并降低图像分辨率，在解码器部分，提取到的特征被由上采样操作有何多个卷积操作组成的解码器进行特征解码和逐步恢复图像分辨率，最后经由一个1x1卷积构成的分类器进行逐像素分类，从而实现图像分割。同时，在编码器和解码器之间，为了充分利用信息，U-Net采用了跳连结构。在之后的研究和实践中，人们通过修改编码器、跳连结构，解码器等实现对U型结构的升级和改进。具体来讲，在编码器上，可以使用更加强大的backbone(骨干网络)来实现特征的准确提取。这一方面，利用ResNet、DenseNet、Transformer等骨干网络来提升特征提取能力的算法层出不穷，例如ResUnet、TransUnet等。

另一方面，由于医学图像分割的物体一般具有多尺度的特点，如果充分利用多尺度特征和多尺度特征的有效提取成为研究和改进的重要方向。具体上，UNet++就是一种经典和有效的多尺度特征融合图像分割网络。同时，由于注意力机制的兴起，注意力机制也被引入到这一方向的研究和工作中来，例如Attention U-Net。

同时，由于医学图像分割要关注局部信息也要关注全局信息。在降采样的过程中，随着特征图分辨率的降低，一些局部特征和细节信息也会丢失，但是大尺度的物体的分割又需要大地感受野。大感受野需要降低特征图分辨率。在这种情况下，这两种要求形成了相互牵制的两种思路。针对这一问题，空洞卷积被提出，在如何利用空洞卷积的问题上，在图像分割领域，一般使用ASPP(金字塔池化)结构。这一方面，DeepLab系列图像分割算法是其中的代表型算法。

专利文献技术公开方面，《基于联邦学习的多任务混合监督医疗图像分割方法及系统》(申请专利号：CN202211099106)利用联邦学习实现了多任务混合监督医疗图像分割方法。而专利《一种基于Transformer的医学图像分割方法》(专利申请号：CN202211002881)则利用Transformer和U-Net的结合来实现图像分割。

一般而言，现有大部分医学图像分割网络如U-Net等都在关注图像分割任务的准确率而忽略了如何在算力条件不足的情况下实现高精度的实时医学图像分割。

另一方面，虽然部分研究和工作在关注实时图像分割如BiseNet等虽然可以实现实时图像分割。但是这些网络都是用在自然图像上。由于自然图像和医学图像在图像成像方式和图像特征不一致，如果将其直接运用在医学图像分割任务上，医学图像分割的精度会有所下降，从而达不到临床对于图像分割精度的要求。

发明内容

本发明实施例提供了一种轻量化的医学图像分割方法和系统，以至少解决现有临床对于医学图像分割精度低的技术问题。

根据本发明的一实施例，提供了一种轻量化的医学图像分割方法，包括以下步骤：

对医学图像进行空间域的细节特征提取，获取细节特征图；

对医学图像进行频域的语义特征提取，获取语义特征图；

对细节特征图和语义特征图进行特征融合，并进行上采样获得与原图同大小分辨率的特征图，之后使用卷积实现图像分割。

进一步地，对医学图像进行空间域的细节特征提取，获取细节特征图包括：

将灰度医学图像作为输入，之后进行3个步长为2的3x3卷积操作，其通道数分别是32、64、128；

再通过一个通道数为128的3x3深度可分离卷积实现细节特征的提取。

进一步地，对医学图像进行频域的语义特征提取，获取语义特征图包括：

先使用一个变换区域为8x8的离散余弦变换将医学图像从空间域变换到频域，之后，频域特征图经过一个多尺度特征网络提取多尺度语义特征，并将之送入下一流程。

进一步地，输入的特征图先经过一个频率注意力模块，然后经过多个卷积层正则化-ReLU的模块进行特征提取；之后将多个尺度的特征图进行拼接并经过一个3x3深度可分离卷积进行融合作为输出；

其中，频率注意力模块为：可分离卷积，同时每两个模块之后使用一个2x2的最大池化操作实现特征图的降采样。

进一步地，对细节特征图和语义特征图进行特征融合，并进行上采样获得与原图同大小分辨率的特征图，之后使用卷积实现图像分割包括：

将两个支路的特征图将型拼接之后，使用两个卷积层正则化-ReLU进行特征融合，之后经过一个8倍的双线性插值算法进行上采样获得与原图同大小分辨率的特征图；之后使用一个1x1卷积实现图像分割，获得图像分割图像。

进一步地，在对医学图像进行空间域的细节特征提取之前，方法还包括：

收集训练和测试数据并进行标注；对于训练数据，进行随机剪裁、随机旋转、随机亮度变化、Gama变换数据增强操作，之后将图像采样至512x512分辨率；对于测试图像，直接将其采样至512x512分辨率。

进一步地，先收集训练数据，然后在GPU集群上训练模型并使用测试数据进行模型效果评估；之后将模型部署在实际运用设备上；其中：对于带有GPU显卡的设备，利用TensorRT工具对模型进行剪枝量化和部署；对于CPU设备，使用OpenVINO进行剪枝量化和部署。

进一步地，在GPU集群训练完毕之后的模型，通过onnx、TensorRT或OpenVINO工具部署在对应的实际运用设备上。

根据本发明的另一实施例，提供了一种轻量化的医学图像分割系统，包括：

细节特征提取单元，用于对医学图像进行空间域的细节特征提取，获取细节特征图；

语义特征提取单元，用于对医学图像进行频域的语义特征提取，获取语义特征图；

图像分割单元，用于对细节特征图和语义特征图进行特征融合，并进行上采样获得与原图同大小分辨率的特征图，之后使用卷积实现图像分割。

进一步地，系统还包括：

数据收集单元，用于收集训练和测试数据并进行标注。

一种存储介质，存储介质存储有能够实现上述任意一项轻量化的医学图像分割方法的程序文件。

一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的轻量化的医学图像分割方法。

本发明实施例中的轻量化的医学图像分割方法和系统，在保证医学图像分割的准确率的同时降低了网络的参数规模和运算量，实现在CPU上的实时图像分割，解决在算力不足的情况下医学图像分割网络难以实现高精度下的实时分割问题。在自有医学图像分割数据集上的实验结果证明，本发明在准确率和计算复杂度之间取得了更好的均衡，从而实现了一种快速、高精度的实时医学图像分割方法和系统。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明轻量化的医学图像分割方法及系统的流程图；

图2为本发明中轻量化实时医学图像分割网络示意图；

图3为本发明中多尺度特征网络示意图；

图4为本发明中频率注意力模块示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本发明旨在解决现有技术的技术问题，设计了一个轻量化的医学图像分割方法和系统，在保证医学图像分割的准确率的同时降低了网络的参数规模和运算量，实现在CPU上的实时图像分割，解决在算力不足的情况下医学图像分割网络难以实现高精度下的实时分割问题。在自有医学图像分割数据集上的实验结果证明，本发明在准确率和计算复杂度之间取得了更好的均衡，从而实现了一种快速、高精度的实时医学图像分割方法和系统。

本发明包括三个组件：细节特征提取支路，语义特征提取支路和图像分割头。对于细节特征提取支路，本发明在空间域使用了多个卷积层来实现细节信息的提取。对于语义特征提取支路，本发明选择在频域建立一个多尺度特征网络来实现语义特征的提取。对于分割头，本发明包含一个特征融合操作，一个上采样操作和一个1x1卷积层。同时，本发明在自有医学图像分割数据集上实施了实验，大量的实验说明了该模型的优越性。

本发明主体部分通过三个部分实现：

一、细节特征提取支路(细节特征提取单元)：包含多个卷积层，实现细节信息的提取；

二、语义特征提取支路(语义特征提取单元)：包含一个多尺度特征网络，用于提取语义特征；

三、图像分割头(图像分割单元)：包含一个特征融合操作，一个上采样操作和一个1x1卷积层。

本发明主要在自有医学图像分割数据集上的训练和推理中取得了优异的性能。方法的实现细节如下。

本发明提出的轻量化的图像分割方法和系统的整体流程图如图1所示。本发明先收集训练数据，然后在GPU集群上训练模型并使用测试数据进行模型效果评估。之后，本发明将模型部署在实际运用设备上。在这个过程中，本发明对于带有GPU(显卡)的设备，本发明利用了TensorRT工具对模型进行剪枝量化和部署。对于CPU设备，本发明使用了OpenVINO进行剪枝量化和部署。

1、数据收集和预处理(数据收集单元)

收集训练和测试数据并进行标注；对于训练数据，进行随机剪裁、随机旋转、随机亮度变化、Gama变换数据增强操作，之后将图像采样至512x512分辨率。对于测试图像，直接将其采样至512x512分辨率。

2、轻量化实时医学图像分割网络

如图2所示，图2为轻量化实时医学图像分割网络示意图，32、64、128为特征图通道数，DCT为离散余弦变化，1/2、1/4、1/8指特征图分辨率为原图的1/2、1/4、1/8。本发明提出的轻量化实时医学图像分割网络由三个部分组成，在特征提取部分，本发明设计了细节特征提取支路和语义特征提取支路，这两个支路分别从空间与和频域提取特征。之后，这两个特征图被一个拼接操作进行特征合并，之后经过一个图像分割头实现医学图像分割。对于这三个方面，本发明详细说明如下。

2.1、细节特征提取支路

在细节特征提取支路，本发明将一张灰度医学图像作为输入，之后进行3个步长为2的3x3卷积操作，它们的通道数分别是32、64、128。之后，通过一个通道数为128的3x3深度可分离卷积实现细节特征的提取并将该特征图送入图像分割头。

2.2、语义特征提取支路

在语义特征提取支路，本发明先使用一个变换区域为8x8的离散余弦变换将图像从空间域变换到频域，之后，频域特征图经过一个多尺度特征网络提取多尺度语义特征，并将之送入下一流程。对于多尺度特征网络，如图3所示，为多尺度特征网络示意图，32、64、128为特征图通道数，FAM为频率注意力模块，1/8、1/16、1/32、1/64指特征图分辨率为原图的1/8、1/16、1/32、1/64。输入的特征图先经过一个频率注意力模块，如图4所示，为频率注意力模块示意图，Depthwise Separable Conv为深度可分离卷积，GAPooling为最大池化操作，Sigmoid为激活函数，X为点乘，然后经过多个卷积层正则化-ReLU的模块进行特征提取。对于这种模块，本发明使用的卷积时的深度可分离卷积，同时每两个模块之后使用一个2x2的最大池化操作实现特征图的降采样。之后本发明将多个尺度的特征图进行拼接并经过一个3x3深度可分离卷积进行融合作为输出。

2.3、图像分割头

图像分割图如图2所示，将两个支路的特征图将型拼接之后，使用两个卷积层正则化-ReLU进行特征融合，之后经过一个8倍的双线性插值算法进行上采样获得与原图同大小分辨率的特征图。之后使用一个1x1卷积实现图像分割，即可获得图像分割图像。

3、模型部署和结果可视化

在GPU集群训练完毕之后的模型，通过onnx和TensorRT或OpenVINO工具部署在对应的实际运用设备上，这样便是一个实际的实时医学图像分割模型的部署流程。在实际运用时，将一张医学图像输入上述模型中，模型讲述出一张对应分割图像，系统将会将输入图像和分割图像显示在屏幕上并将输入图像和分割图像保存在该设备上。

实施例2

一种存储介质，存储介质存储有能够实现上述任意一项轻量化的医学图像分割方法的程序文件。

实施例3

一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的轻量化的医学图像分割方法。

与现有技术相比，本发明的优点在于：

本发明主要提出了一个轻量化的医学图像分割方法和系统，在自有医学图像分割数据集上的实验结果证明，本发明的网络仅仅需要1.2615B FLOPs即可获得0.9199Dice分数，从而可以实现在保证高精度情况下在计算能力差的设备上的实时医学图像分割效果。本发明提出的轻量化医学图像分割系统参数量更少，推理速度快，准确度高，非常适合现实中的实际应用。

已基于自有医学图像分割数据集和公开数据集进行实验，验证可行。所提出的方法是在Python 3.6中使用Pytorch后端实验的。本发明将图像缩放为512x512作为输入，并在24GB RAM的NVIDIA TITAN RTX上训练模型。在训练阶段，本发明采用了随机梯度优化器，学习率为0.0001和权重衰减为0.001。将所有数据集随机分为训练集(80％)和测试集(20％)，以便每个拆分都有相似的分布。

表1.不同方法在两个数据集上的精度对比

如表1所示，在准确率上，本发明在自有数据集(CT Brain)和公开数据集(MoNuSeg)都取得了最高的精度。从此之外，本发明还比较了浮点运算量(FLOPs)和参数量来作为方法在轻量化和推理速度方面的效果。在这里，本发明定义M为百万个参数，B为亿次浮点运算。如表2所示，本发明的方法在参数量和浮点运算量都远远小于现有算法，这说明，本发明在维持高精度情况下，做到了轻量化和实时推理的两个要求。

表2.不同方法在参数两和浮点运算量上的对比

本方法使用多尺度特征网可有其他轻量化模型替代例如MoblieNetV2、ShuffleNetV2。同理，在图像分割头方面也可以使用Deep Lab系列使用的3x3卷积操作。在其他用途方面，本发明还可以用于自然图像和视频的实时语义分割。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的系统实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种轻量化的医学图像分割方法，其特征在于，包括以下步骤：

对医学图像进行空间域的细节特征提取，获取细节特征图；

对医学图像进行频域的语义特征提取，获取语义特征图；

对细节特征图和语义特征图进行特征融合，并进行上采样获得与原图同大小分辨率的特征图，之后使用卷积实现图像分割。

2.根据权利要求1所述的轻量化的医学图像分割方法，其特征在于，所述对医学图像进行空间域的细节特征提取，获取细节特征图包括：

将灰度医学图像作为输入，之后进行3个步长为2的3x 3卷积操作，其通道数分别是32、64、128；

再通过一个通道数为128的3x 3深度可分离卷积实现细节特征的提取。

3.根据权利要求1所述的轻量化的医学图像分割方法，其特征在于，所述对医学图像进行频域的语义特征提取，获取语义特征图包括：

先使用一个变换区域为8x 8的离散余弦变换将医学图像从空间域变换到频域，之后，频域特征图经过一个多尺度特征网络提取多尺度语义特征，并将之送入下一流程。

4.根据权利要求3所述的轻量化的医学图像分割方法，其特征在于，输入的特征图先经过一个频率注意力模块，然后经过多个卷积层正则化-ReLU的模块进行特征提取；之后将多个尺度的特征图进行拼接并经过一个3x 3深度可分离卷积进行融合作为输出；

其中，频率注意力模块为：可分离卷积，同时每两个模块之后使用一个2x 2的最大池化操作实现特征图的降采样。

5.根据权利要求1所述的轻量化的医学图像分割方法，其特征在于，所述对细节特征图和语义特征图进行特征融合，并进行上采样获得与原图同大小分辨率的特征图，之后使用卷积实现图像分割包括：

将两个支路的特征图将型拼接之后，使用两个卷积层正则化-ReLU进行特征融合，之后经过一个8倍的双线性插值算法进行上采样获得与原图同大小分辨率的特征图；之后使用一个1x 1卷积实现图像分割，获得图像分割图像。

6.根据权利要求1所述的轻量化的医学图像分割方法，其特征在于，在所述对医学图像进行空间域的细节特征提取之前，所述方法还包括：

收集训练和测试数据并进行标注；对于训练数据，进行随机剪裁、随机旋转、随机亮度变化、Gama变换数据增强操作，之后将图像采样至512x 512分辨率；对于测试图像，直接将其采样至512x 512分辨率。

7.根据权利要求1所述的轻量化的医学图像分割方法，其特征在于，先收集训练数据，然后在GPU集群上训练模型并使用测试数据进行模型效果评估；之后将模型部署在实际运用设备上；其中：对于带有GPU显卡的设备，利用TensorRT工具对模型进行剪枝量化和部署；对于CPU设备，使用OpenVINO进行剪枝量化和部署。

8.根据权利要求7所述的轻量化的医学图像分割方法，其特征在于，在GPU集群训练完毕之后的模型，通过onnx、TensorRT或OpenVINO工具部署在对应的实际运用设备上。

9.一种轻量化的医学图像分割系统，其特征在于，包括：

细节特征提取单元，用于对医学图像进行空间域的细节特征提取，获取细节特征图；

语义特征提取单元，用于对医学图像进行频域的语义特征提取，获取语义特征图；

图像分割单元，用于对细节特征图和语义特征图进行特征融合，并进行上采样获得与原图同大小分辨率的特征图，之后使用卷积实现图像分割。

10.根据权利要求9所述的轻量化的医学图像分割系统，其特征在于，所述系统还包括：

数据收集单元，用于收集训练和测试数据并进行标注。

Images