CN115908964B - 一种医学图像分类方法、系统、终端以及存储介质 - Google Patents

Abstract

本申请涉及一种医学图像分类方法、系统、终端以及存储介质。所述方法包括：收集不同类别的医学图像数据集；利用图像基础旋转变换以及基于深度学习的图像生成算法对所述医学图像数据集进行图像增强处理，生成样本量均衡的医学图像数据集；利用所述样本量均衡的医学图像数据集训练得到基于逐元素注意力机制的深度学习模型；通过所述基于逐元素注意力机制的深度学习模型对待分类医学图像进行分类。本发明使用基于深度学习的图像生成和图像旋转技术对医学图像样本进行上采样处理，使用样本量均衡的医学图像样本训练基于逐元素注意力机制的深度学习模型，有效解决了医学图像数据集分布不平衡所存在的局限性，并有效提高模型的检测效率与分类精度。

Description

一种医学图像分类方法、系统、终端以及存储介质

技术领域

本申请属于医学图像处理技术领域，特别涉及一种医学图像分类方法、系统、终端以及存储介质。

背景技术

目前糖尿病视网膜病变是糖尿病常见的慢性并发症之一，也是最常见的致盲性眼病。如果不及时治疗，可能会导致视力受损，严重时甚至失明，因此在初级阶段识别病变非常重要。传统技术中，眼科医生通常通过观察眼底视网膜图像以分辨患者是否存在糖尿病性视网膜病变。但对于一些县级医院或偏远地区的医生，则很难发现相关病例。

随着深度学习技术的发展，基于深度学习的视网膜眼底图像的自动化决策系统可以被用来帮助医生分辨眼底图像的病变类别。目前，眼底视网膜病变图像所属类别分类可以分为传统分类方法与基于深度学习的分类方法。传统分类方法利用手动提取眼底视网膜图像的纹理特征、形状特征以及颜色直方图特征等图像基本特征，将提取到的特征输入到机器学习算法(支持向量机、随机森林等)进行图像分类，该方法会丢失大量的有效信息，从而会导致分类结果不准确。基于深度学习的眼底视网膜图像分类方法属于一种端到端的应用场景，会自动提取图像特征，并将提取到的图像特征进行自动化分类。该方法存在的问题在于：针对眼底视网膜糖尿病性视网膜图片数据集分布不平衡所做的处理存在一定的局限，没有进行合理的处置，且模型分类算法存在一定的局限性。

发明内容

本申请提供了一种医学图像分类方法、系统、终端以及存储介质，旨在至少在一定程度上解决现有技术中的上述技术问题之一。

为了解决上述问题，本申请提供了如下技术方案：

一种医学图像分类方法，包括：

收集不同类别的医学图像数据集；

利用图像基础旋转变换以及基于深度学习的图像生成算法对所述医学图像数据集进行图像增强处理，生成样本量均衡的医学图像数据集；

利用所述样本量均衡的医学图像数据集训练得到基于逐元素注意力机制的深度学习模型；

通过所述基于逐元素注意力机制的深度学习模型对待分类医学图像进行分类。

本申请实施例采取的技术方案还包括：所述收集不同类别的医学图像数据集还包括：

对所述医学图像数据集进行预处理，并将预处理后的医学图像数据集按照设定比例划分为训练集、验证集以及测试集。

本申请实施例采取的技术方案还包括：所述对所述医学图像数据集进行预处理包括图像归一化以及图像的resize操作，所述图像归一化公式为:

所述图像的resize操作具体为：利用最近邻插值算法将所述医学图像数据集中的医学图像的高宽放缩至设定大小。

本申请实施例采取的技术方案还包括：所述利用图像基础旋转变换以及基于深度学习的图像生成算法对所述医学图像数据集进行图像增强处理具体为：

计算所述训练集中各个类别的医学图像样本量，筛选出医学图像样本量最多的类别N，并分别计算其他类别的医学图像样本量与所述类别N的医学图像样本量之间的差异值Diff；

判断是否成立，其中M表示所述其他类别的医学图像样本量，如果成立，表示所述其他类别的医学图像样本量与所述类别N的医学图像样本量之间的差异不大，则从所述其他类别的医学图像中随机抽取/>张医学图像，并对抽取的医学图像分别进行左右旋转、上下旋转以及系统旋转，生成新的医学图像，得到增强处理后的训练集；

判断是否成立，如果成立，表示所述其他类别的医学图像样本量与所述类别N的医学图像样本量之间的差异较大，则对所述其他类别中的所有医学图像分别进行左右旋转、上下旋转以及系统旋转，得到旋转后的医学图像；

将所述旋转后的医学图像输入训练好的对抗神经网络，所述对抗神经网络使用WGAN-GP算法生成Diff-4*M张新的医学图像，得到增强处理后的训练集。

本申请实施例采取的技术方案还包括：所述利用所述样本量均衡的医学图像数据集训练得到基于逐元素注意力机制的深度学习模型具体为：

所述深度学习模型包括深度可分离卷积模块、第一残差模块、第二残差模块以及逐元素注意力机制模块，所述深度可分离卷积模块包括深度可分离层、批归一化层、relu激活函数和卷积层，所述逐元素注意力机制模块包括通道注意力子模块、高度注意力子模块以及宽度注意力子模块；

所述第一残差模块包括左侧和右侧两个分支，其输入的特征图维度为T∈R^H，W，C，所述左侧分支为两个深度可分离卷积模块的串联，其特征图维度大小依次变换为R^H，W，C//2，R^{H ，W，C}，随后输入最大池化层，其特征图大小缩小一半特征图T∈R^{H/2，W/2，C}；所述右侧分支包括卷积层，得到的特征图为特征图T∈R^{H/2，W/2，C}，将所述左侧分支与右侧分支得到的特征图进行逐元素相加，并在最后添加一个逐元素注意力模块；

所述第二残差模块包括左侧和右侧两个分支，其输入的特征图维度为T∈R^H，W，C，所述左侧分支为三个深度可分离卷积模块的串联，其输出特征图维度大小不变；将所述左侧分支与原始输入的特征图进行逐元素相加，并在最后添加一个逐元素注意力模块。

本申请实施例采取的技术方案还包括：在所述深度可分离卷积模块中，如果所述深度可分离层的步长为1，则所述深度可分离卷积模块的输入输出特征图大小保持一致；如果所述深度可分离层的步长为2，则所述深度可分离卷积模块的输出特征图高宽为输入特征图的一半。

本申请实施例采取的技术方案还包括：所述逐元素注意力机制模块的输入特征图张量为：T∈R^H，W，C，其中H为特征图的高度，W为特征图的宽度，C为特征图的通道数；

所述通道注意力子模块包括两个分支，分别使用全局平均池化与全局最大池化对两个分支进行操作，分别得到Gm1∈R^C，Gm2∈R^C；随后将两个分支上的结果进行reshpe操作，分别得到Rs1∈R^1，1，C，Rs2∈R^1，1，C；得到特征图进行通道降低的全连接层，得到的特征图为Dense1∈R^{1，1，C/ratio}，再连接一个通道恢复的全连接层，得到的特征图为Dense2∈R^1，1，C；然后将两个分支的值进行逐元素相加并加入sigmoid激活函数，最后得到基于输入特征图的通道注意力权重值A∈R^1，1，C；

所述宽度注意力子模块包括两个分支，用于在高度上分别进行均值计算与最大值计算，分别得到的特征图张量为Hm1∈R^1，W，C，Hm2∈R^1，W，C，然后将Hm1∈R^1，W，C，Hm2∈R^1，W，C进行拼接，得到特征向量Cc2∈R^2，W，C；然后加入深度可分离卷积模块，在特征图高度上进行均值化处理，得到特征图M2∈R^1，W，C；

所述高度注意力子模块包括两个分支，用于在宽度上分别进行均值计算与最大值计算，分别得到的特征图张量为Wm1∈R^H，1，C，Wm2∈R^H，1，C，然后将Wm1∈R^H，1，C，Wm2∈R^H，1，C进行拼接，得到特征向量Cc1∈R^H，2，C；然后加入所述深度可分离卷积模块，在特征图宽度上进行均值化处理，得到特征图M1∈R^H，1，C；最后将输入特征图T∈R^H，W，C、通道注意力子模块输出特征图A∈R^1，1，C、宽度注意力子模块M2∈R^1，W，C、高度注意力子模块M2∈R^H，1，C相乘，得到所述逐元素注意力机制模块的输出特征图向量T∈R^H，W，C。

本申请实施例采取的另一技术方案为：一种医学图像分类系统，包括：

数据收集模块：用于收集不同类别的医学图像数据集；

数据增强模块：用于利用基于深度学习的图像生成算法对所述医学图像数据集进行图像增强处理，生成样本量均衡的医学图像数据集；

模型训练模块：用于利用图像基础旋转变换以及所述样本量均衡的医学图像数据集训练得到基于逐元素注意力机制的深度学习模型；

图像分类模块：用于通过所述基于逐元素注意力机制的深度学习模型对待分类医学图像进行分类。

本申请实施例采取的又一技术方案为：一种终端，所述终端包括处理器、与所述处理器耦接的存储器，其中，

所述存储器存储有用于实现所述医学图像分类方法的程序指令；

所述处理器用于执行所述存储器存储的所述程序指令以控制医学图像分类。

本申请实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行所述医学图像分类方法。

相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的医学图像分类方法、系统、终端以及存储介质提出了一种基于逐元素注意力机制的医学图像分类，通过收集不同类别的医学图像样本，使用基于深度学习的图像生成和图像旋转技术对医学图像样本进行上采样处理，以使得各个类别的医学图像样本达到均衡，最后使用样本量均衡的医学图像样本训练基于逐元素注意力机制的深度学习模型，利用训练好的深度学习模型对医学图像进行分类。本发明有效解决了医学图像数据集分布不平衡所存在的局限性，并有效提高模型的检测效率与分类精度。

附图说明

图1是本申请第一实施例的医学图像分类方法的流程图；

图2是本申请第二实施例的医学图像分类方法的流程图；

图3是本申请实施例的医学图像增强处理流程图；

图4是本申请实施例的基于逐元素注意力机制的深度学习模型构建流程图；

图5为本申请实施例中DSC模块搭建流程图；

图6为本申请实施例中Attention block模块搭建流程图；

图7为本申请实施例中Res block A模块搭建流程图；

图8为本申请实施例中Res block B模块搭建流程图；

图9为本申请实施例的医学图像分类系统结构示意图；

图10为本申请实施例的终端结构示意图；

图11为本申请实施例的存储介质的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

请参阅图1，是本申请第一实施例的医学图像分类方法的流程图。本申请第一实施例的医学图像分类方法包括以下步骤：

S100：收集不同类别的医学图像数据集；

S110：利用图像基础旋转变换以及基于深度学习的图像生成算法对所述医学图像数据集进行图像增强处理，生成样本量均衡的医学图像数据集；

S120：利用所述样本量均衡的医学图像数据集训练得到基于逐元素注意力机制的深度学习模型；

S130：通过所述基于逐元素注意力机制的深度学习模型对待分类医学图像进行分类。

本申请第一实施例的医学图像分类方法通过收集不同类别的医学图像样本，然后使用基于深度学习的图像生成和图像旋转技术对医学图像样本进行上采样处理，以使得各个类别的医学图像样本达到均衡，最后使用样本量均衡的医学图像样本训练基于逐元素注意力机制的深度学习模型，利用训练好的深度学习模型对医学图像进行分类。本发明有效解决了医学图像数据集分布不平衡所存在的局限性，并有效提高模型的检测效率与分类精度。

请参阅图2，是本申请第二实施例的医学图像分类方法的流程图。本申请第二实施例的医学图像分类方法包括以下步骤：

S200：收集不同类别的医学图像数据集；

本步骤中，收集的医学图像数据集包括:正常、轻度、中度、重度或增殖性病变5个类别，各个类别的样本量分别为25，810、2，443、5，292、873和708，具体可根据实际应用场景进行设定。可以理解，本申请适用于多种类型的医学图像分类，为便于说明，以下实施例中仅以糖尿病性视网膜病变医学图像为例。

S210：对医学图像数据集进行预处理，并将预处理后的医学图像数据集按照设定比例划分为训练集、验证集以及测试集；

本步骤中，图像预处理包括图像归一化以及resize(改变图像大小)操作。其中，图像归一化公式如下:

图像的resize操作具体为：利用最近邻插值算法将原始医学图像的高宽放缩到512*512。

本申请实施例中，训练集、验证集以及测试集的划分比例为6:2:2，具体可根据实际应用场景进行设定。

S220：利用图像基础旋转变换以及基于深度学习的图像生成算法对训练集中的医学图像进行图像增强处理，生成增强后的训练集数据；

本步骤中，由于收集到的医学图像数据集中各个类别的样本量存在严重的不平衡，因此本申请通过对训练集中不同类别的医学图像进行上采样增强处理，使训练集中各个类别的医学图像样本量达到平衡状态。具体地，请参阅图3，是本申请实施例的医学图像增强处理流程图，其具体包括以下步骤：

S221：计算训练集中各个类别的医学图像样本量，筛选出医学图像样本量最多的类别N，并分别计算其他类别的医学图像样本量与类别N的医学图像样本量之间的差异值Diff；

S222：判断是否成立，其中M表示其他类别的医学图像样本量，如果成立，表示其他类别的医学图像样本量与类别N的医学图像样本量之间的差异不大，则执行S223；

S223：从其他类别的医学图像中随机抽取张医学图像，并对抽取的医学图像分别进行左右旋转、上下旋转以及系统旋转，生成新的医学图像，得到增强处理后的训练集；

本步骤中，当各个类别之间的样本量差异较小时，根据差异值Diff将样本量较小的类别的医学图像进行旋转并生成新的医学图像，以使得各个类别的医学图像样本达到均衡。其中，在对医学图像进行左右旋转时，沿原始医学图像的垂直中心线进行旋转；在对医学图像进行上下旋转时，沿原始医学图像的水平中心线进行旋转。在对医学图像进行系统旋转时，先对医学图像进行左右旋转再对旋转后的医学图像进行上下旋转。

S224：判断是否成立，如果成立，表示其他类别的医学图像样本量与类别N的医学图像样本量之间的差异较大，则执行S225；

S225:对其他类别中的所有医学图像分别进行左右旋转、上下旋转以及系统旋转，得到旋转后的医学图像；

S226：将旋转后的医学图像输入训练好的对抗神经网络，对抗神经网络使用WGAN-GP算法生成Diff-4*M张新的医学图像，得到增强处理后的训练集；

其中，当各个类别之间的样本量差异悬殊时，仅仅通过对图像进行旋转生成新的图像仍然难以保持各个类别之间的样本量均衡，因此需要训练一个对抗神经网络，在对图像进行旋转后，基于旋转后的图像，利于对抗神经网络生成一定数量的新的医学图像，以使得各个类别的图像样本达到均衡。其中，对抗神经网络为使用WGAN-GP算法在各个类别的医学图像之间训练300次得到的网络模型。

S230：利用训练集训练得到基于逐元素注意力机制的深度学习模型；

本步骤中，请参阅图4，是本申请实施例的基于逐元素注意力机制的深度学习模型构建流程图。所述深度学习模型包括深度可分离卷积模块(DSC block)、第一残差模块(Resblock A)、第二残差模块(Res block B)以及逐元素注意力机制模块(Attention block)。

具体的，如图5所示，为本申请实施例中DSC模块搭建流程图。深度可分离卷积模块包括深度可分离层、批归一化层、relu激活函数和卷积层。深度可分离卷积模块作为本发明的基础模块，其使用深度可分离模块可以大大减少训练参数量。对于深度可分离卷积模块，其输入特征图的变化主要在深度可分离层，如果深度可分离层的步长为1，则深度可分离卷积模块的输入输出特征图大小保持一致；如果深度可分离层的步长为2，则深度可分离卷积模块的输出特征图高宽是输入特征图的一半。

如图6所示，为本申请实施例中Attention block模块搭建流程图。逐元素注意力机制模块包括通道注意力子模块、高度注意力子模块以及宽度注意力子模块。输入特征图张量为：T∈R^H，W，C，其中H为特征图的高度，W为特征图的宽度，C为特征图的通道数。其中通道注意力子模块包括两个分支，分别使用全局平均池化与全局最大池化对其进行操作，分别得到Gm1∈R^C，Gm2∈R^C；随后将两个分支上的reshpe操作，分别得到Rs1∈R^1，1，C，Rs2∈R^1，1，C；得到特征图进行通道降低的全连接层，得到的特征图为Dense1∈R^{1，1，C/ratio}，在本发明实施例中，ratio参数为8；在连接一个通道恢复的全连接层，得到的特征图为Dense2∈R^1，1，C；然后将两个分支的值进行逐元素相加并加入sigmoid激活函数，最后得到基于输入特征图的通道注意力权重值A∈R^1，1，C。其中宽度注意力子模块包括两个分支，用于在高度上分别进行均值计算与最大值计算，分别得到的特征图张量为Hm1∈R^1，W，C，Hm2∈R^1，W，C，然后将Hm1∈R^{1 ，W，C}，Hm2∈R^1，W，C进行拼接，得到特征向量Cc2∈R^2，W，C；然后加入深度可分离卷积模块，在特征图高度上进行均值化处理，得到特征图M2∈R^1，W，C。高度注意力子模块包括两个分支，用于在宽度上分别进行均值计算与最大值计算，分别得到的特征图张量为Wm1∈R^H，1，C，Wm2∈R^{H ，1，C}，然后将Wm1∈R^H，1，C，Wm2∈R^H，1，C进行拼接，得到特征向量Cc1∈R^H，2，C；然后加入所述深度可分离卷积模块，在特征图宽度上进行均值化处理，得到特征图M1∈R^H，1，C。将输入特征图T∈R^H，W，C、通道注意力子模块输出特征图A∈R^1，1，C、宽度注意力子模块M2∈R^1，W，C、高度注意力子模块M1∈R^H，1，C相乘，得到逐元素注意力机制模块的输出特征图向量T∈R^H，W，C。

如图7所示，为本申请实施例中Res block A模块搭建流程图。第一残差模块包括左侧和右侧两个分支，输入特征图的特征图维度为T∈R^H，W，C，输入该模块的通道数为C，其左侧分支为两个DSC block的串联，其特征图维度大小依次变换为R^H，W，C//2，R^H，W，C。随后输入最大池化层，其特征图大小缩小一半特征图T∈R^{H/2，W/2，C}。右侧分支包括卷积层，得到的特征图为特征图T∈R^{H/2，W/2，C}。逐元素相加是将左侧与右侧得到的特征图进行相加，最后添加一个逐元素注意力模块。

如图8所示，为本申请实施例中Res block B模块搭建流程图。第二残差模块包括左侧和右侧两个分支。输入特征图的特征图维度为T∈R^H，W，C，其左侧分支为三个DSC block的串联，其特征图维度大小不变。逐元素相加是将左侧与原始输入得到的特征图进行相加，最后添加一个逐元素注意力模块。

如图4所示，整个深度学习模型的输入为医学图像，在本发明实施例中，输入特征图的大小为T^{512，512，3}，其具体的分类算法包括：

第①步、将深度可分离卷积模块的步长设置为2，输出通道数设置为32，输入特征图经过处理后，输出的特征图大小变为T^{256，256，32}；

第②步、将深度可分离卷积模块的步长设置为1，输出通道数设置为64，第①步的输出在经过第②步处理后，输出特征图大小变为T^{256，256，64}；

第③步、Res block B的特征图维度大小不变，输出特征图大小为T^{256，256，64}；

第④步、Res block A的输入通道数参数为80，特征图高宽缩小一半，通道数变为80，输出特征图大小为T^{128，128，80}；

第⑤步、Res block B的特征图维度大小不变，输出特征图大小为T^{128，128，80}；

第⑥步、Res block A的输入通道数参数为128，特征图高宽缩小一半，通道数变为128，输出特征图大小为T^{64，64，128}；

第⑦步、Res block B的特征图维度大小不变，输出特征图大小为T^{64，64，128}；

第⑧步、Res block A的输入通道数参数为160，特征图高宽缩小一半，通道数变为160，输出特征图大小为T^{32，32，160}；

第⑨步、Res block B的特征图维度大小不变，输出特征图大小为T^{32，32，160}；

第⑩步、Res block A的输入通道数参数为320，特征图高宽缩小一半，通道数变为320，输出特征图大小为T^{16，16，320}；

第步、B block模块的特征图维度大小不变，输出特征图大小为T^{32，32，160}；

第步、通过全局平均池化模块将特征图向量的高度宽度数值求平均值，得到特征维度变化为T¹⁶⁰；

第步、在随机失活模块后连接神经元为class*10，激活函数为relu的全连接层，其中class为5，特征维度变为T^5*50；

第步、在随机失活函数后连接神经元为class，激活函数的softmax的全连接层，并输出输入医学图像所属病变类别的概率值。

基于上述，本申请实施例通过提出一种逐元素注意力机制进行深度学习模型，在模型训练时，为每一个元素提供一个权重，使得模型提供每一个像素点的重要性分数值，从而提高了医学图像信息的利用率，降低无用信息的干扰。所述逐元素注意力机制可以插入到任何分类网络中，从而可以提高算法的评价指标。本申请实施例的深度学习模型在主干网络中使用了深度可分离技术，并与逐元素注意力机制进行融合，可以降低模型的参数量，并使用了“残差”思想以及“深度可分离卷积”思想，可以有效提高模型的检测效率与效果。

S240：将待分类的医学图像输入训练好的基于逐元素注意力机制的深度学习模型，通过基于逐元素注意力机制的深度学习模型输出医学图像的病变类别。

本申请第二实施例的医学图像分类方法提出了一种基于逐元素注意力机制的医学图像分类，首先收集不同类别的医学图像样本，然后对医学图像样本进行预处理，以获取高质量的图像样本；其次使用基于深度学习的图像生成和图像旋转技术对医学图像样本进行上采样处理，以使得各个类别的医学图像样本达到均衡，最后使用样本量均衡的医学图像样本训练基于逐元素注意力机制的深度学习模型，利用训练好的深度学习模型对医学图像进行分类。本发明有效解决了医学图像数据集分布不平衡所存在的局限性，并有效提高模型的检测效率与分类精度。

请参阅图9，为本申请实施例的医学图像分类系统结构示意图。本申请实施例的医学图像分类系统40包括：

数据收集模块41：用于收集不同类别的医学图像数据集；

数据增强模块42：用于利用图像基础旋转变换以及基于深度学习的图像生成算法对所述医学图像数据集进行图像增强处理，生成样本量均衡的医学图像数据集；

模型训练模块43：用于利用所述样本量均衡的医学图像数据集训练得到基于逐元素注意力机制的深度学习模型；

图像分类模块44：用于通过所述基于逐元素注意力机制的深度学习模型对待分类医学图像进行分类。

请参阅图10，为本申请实施例的终端结构示意图。该终端50包括处理器51、与处理器51耦接的存储器52。

存储器52存储有用于实现上述医学图像分类方法的程序指令。

处理器51用于执行存储器52存储的程序指令以控制医学图像分类。

其中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

请参阅图11，为本申请实施例的存储介质的结构示意图。本申请实施例的存储介质存储有能够实现上述所有方法的程序文件61，其中，该程序文件61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种医学图像分类方法，其特征在于，包括：

收集不同类别的医学图像数据集；

利用图像基础旋转变换以及基于深度学习的图像生成算法对所述医学图像数据集进行图像增强处理，生成样本量均衡的医学图像数据集；

利用所述样本量均衡的医学图像数据集训练得到基于逐元素注意力机制的深度学习模型；

通过所述基于逐元素注意力机制的深度学习模型对待分类医学图像进行分类；

所述利用所述样本量均衡的医学图像数据集训练得到基于逐元素注意力机制的深度学习模型具体为：

所述深度学习模型包括深度可分离卷积模块、第一残差模块、第二残差模块以及逐元素注意力机制模块，所述深度可分离卷积模块包括深度可分离层、批归一化层、relu激活函数和卷积层，所述逐元素注意力机制模块包括通道注意力子模块、高度注意力子模块以及宽度注意力子模块；

所述第一残差模块包括左侧和右侧两个分支，其输入的特征图维度为T∈R^H，W，C，所述左侧分支为两个深度可分离卷积模块的串联，其特征图维度大小依次变换为R^H，W，C//2，R^H，W，C，随后输入最大池化层，其特征图大小缩小一半特征图T∈R^{H/2，W/2，C}；所述右侧分支包括卷积层，得到的特征图为特征图T∈R^{H/2，W/2，C}，将所述左侧分支与右侧分支得到的特征图进行逐元素相加，并在最后添加一个逐元素注意力模块；

所述第二残差模块包括左侧和右侧两个分支，其输入的特征图维度为T∈R^H,W,C，所述左侧分支为三个深度可分离卷积模块的串联，其输出特征图维度大小不变；将所述左侧分支与原始输入的特征图进行逐元素相加，并在最后添加一个逐元素注意力模块；

所述逐元素注意力机制模块的输入特征图张量为：T∈R^H,W,C，其中H为特征图的高度，W为特征图的宽度，C为特征图的通道数；

所述通道注意力子模块包括两个分支，分别使用全局平均池化与全局最大池化对两个分支进行操作，分别得到Gm1∈R^C，Gm2∈R^C；随后将两个分支上的结果进行reshpe操作，分别得到Rs1∈R^1,1,C，Rs2∈R^1,1,C；得到特征图进行通道降低的全连接层，得到的特征图为Dense1∈R^1,1,C/ratio，再连接一个通道恢复的全连接层，得到的特征图为Dense2∈R^1,1,C；然后将两个分支的值进行逐元素相加并加入sigmoid激活函数，最后得到基于输入特征图的通道注意力权重值A∈R^1,1,C；

所述宽度注意力子模块包括两个分支，用于在高度上分别进行均值计算与最大值计算，分别得到的特征图张量为Hm1∈R^1,W,C，Hm2∈R^1,W,C，然后将Hm1∈R^1,W,C，Hm2∈R^1,W,C进行拼接，得到特征向量Cc2∈R^2,W,C；然后加入深度可分离卷积模块，在特征图高度上进行均值化处理，得到特征图M2∈R^1,W,C；

所述高度注意力子模块包括两个分支，用于在宽度上分别进行均值计算与最大值计算，分别得到的特征图张量为Wm1∈R^H,1,C，Wm2∈R^H,1,C，然后将Wm1∈R^H,1,C，Wm2∈R^H,1,C进行拼接，得到特征向量Cc1∈R^H,2,C；然后加入所述深度可分离卷积模块，在特征图宽度上进行均值化处理，得到特征图M1∈R^H，1，C；最后将输入特征图T∈R^H，W，C、通道注意力子模块输出特征图A∈R^1，1，C、宽度注意力子模块M2∈R^1，W，C、高度注意力子模块M1∈R^H，1，C相乘，得到所述逐元素注意力机制模块的输出特征图向量T∈R^H，W，C。

2.根据权利要求1所述的医学图像分类方法，其特征在于，所述收集不同类别的医学图像数据集还包括：

对所述医学图像数据集进行预处理，并将预处理后的医学图像数据集按照设定比例划分为训练集、验证集以及测试集。

3.根据权利要求2所述的医学图像分类方法，其特征在于，所述对所述医学图像数据集进行预处理包括图像归一化以及图像的resize操作，所述图像归一化公式为：

所述图像的resize操作具体为：利用最近邻插值算法将所述医学图像数据集中的医学图像的高宽放缩至设定大小。

4.根据权利要求3所述的医学图像分类方法，其特征在于，所述利用图像基础旋转变换以及基于深度学习的图像生成算法对所述医学图像数据集进行图像增强处理具体为：

计算所述训练集中各个类别的医学图像样本量，筛选出医学图像样本量最多的类别N，并分别计算其他类别的医学图像样本量与所述类别N的医学图像样本量之间的差异值Diff；

判断是否成立，其中M表示所述其他类别的医学图像样本量，如果成立，表示所述其他类别的医学图像样本量与所述类别N的医学图像样本量之间的差异不大，则从所述其他类别的医学图像中随机抽取/>张医学图像，并对抽取的医学图像分别进行左右旋转、上下旋转以及系统旋转，生成新的医学图像，得到增强处理后的训练集；

判断是否成立，如果成立，表示所述其他类别的医学图像样本量与所述类别N的医学图像样本量之间的差异较大，则对所述其他类别中的所有医学图像分别进行左右旋转、上下旋转以及系统旋转，得到旋转后的医学图像；

将所述旋转后的医学图像输入训练好的对抗神经网络，所述对抗神经网络使用WGAN-GP算法生成Diff-4*M张新的医学图像，得到增强处理后的训练集。

5.根据权利要求4所述的医学图像分类方法，其特征在于，在所述深度可分离卷积模块中，如果所述深度可分离层的步长为1，则所述深度可分离卷积模块的输入输出特征图大小保持一致；如果所述深度可分离层的步长为2，则所述深度可分离卷积模块的输出特征图高宽为输入特征图的一半。

6.一种利用权利要求1所述医学图像分类方法的医学图像分类系统，其特征在于，包括：

数据收集模块：用于收集不同类别的医学图像数据集；

数据增强模块：用于利用图像基础旋转变换以及基于深度学习的图像生成算法对所述医学图像数据集进行图像增强处理，生成样本量均衡的医学图像数据集；

模型训练模块：用于利用所述样本量均衡的医学图像数据集训练得到基于逐元素注意力机制的深度学习模型；

图像分类模块：用于通过所述基于逐元素注意力机制的深度学习模型对待分类医学图像进行分类。

7.一种终端，其特征在于，所述终端包括处理器、与所述处理器耦接的存储器，其中，

所述存储器存储有用于实现权利要求1-5任一项所述的医学图像分类方法的程序指令；

所述处理器用于执行所述存储器存储的所述程序指令以控制医学图像分类。

8.一种存储介质，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1至5任一项所述医学图像分类方法。