CN113378984A - 一种医学图像分类方法、系统、终端以及存储介质 - Google Patents

一种医学图像分类方法、系统、终端以及存储介质 Download PDF

Info

Publication number
CN113378984A
CN113378984A CN202110758116.1A CN202110758116A CN113378984A CN 113378984 A CN113378984 A CN 113378984A CN 202110758116 A CN202110758116 A CN 202110758116A CN 113378984 A CN113378984 A CN 113378984A
Authority
CN
China
Prior art keywords
image
medical image
output
network model
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110758116.1A
Other languages
English (en)
Other versions
CN113378984B (zh
Inventor
艾壮
陆亚平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sinopharm Medical Laboratory Wuhan Co Ltd
Original Assignee
Sinopharm Medical Laboratory Wuhan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sinopharm Medical Laboratory Wuhan Co Ltd filed Critical Sinopharm Medical Laboratory Wuhan Co Ltd
Priority to CN202110758116.1A priority Critical patent/CN113378984B/zh
Publication of CN113378984A publication Critical patent/CN113378984A/zh
Application granted granted Critical
Publication of CN113378984B publication Critical patent/CN113378984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种医学图像分类方法、系统、终端以及存储介质。方法包括：获取医学图像数据集；对医学图像数据集进行上采样，使得所述医学图像数据集中各个类别的图像样本达到均衡；将上采样后的医学图像数据集输入卷积神经网络模型中进行训练，得到训练好的卷积神经网络模型，根据训练好的卷积神经网络模型进行医学图像分类；卷积神经网络模型包括InceptionV3、InceptionResNet以及Xception三个网络模型，将三个网络模型的输出结果进行汇总，输出图像分类结果。本申请能够在尽量保证图像类别信息的基础上使各个类别之间的图像均衡化，降低由于数据集不平衡带来的误差影响，并提高网络模型分类的准确率与召回率。

Description

一种医学图像分类方法、系统、终端以及存储介质
技术领域
本申请属于医学图像处理技术领域，特别涉及一种医学图像分类方法、系统、终端以及存储介质。
背景技术
目前皮肤癌已被公认为全世界最常见的致命癌症之一。而黑色素瘤作为皮肤癌中最危险的一种，由于其晚期的存活率比较低，且随着时间的推移，它可以扩散到附近皮肤组织。如果早期发现此类患者并进行对应治疗，与晚期治疗相比，生存率非常高，因此在初级阶段识别病变非常重要。目前皮肤科医生多数是通过皮肤镜检测患者的病变类型，但是会存在较大的主观性，耗时较长且不够准确。
基于卷积神经网络模型的皮肤癌分类算法的自动化决策系统可以被用来帮助皮肤科医生判别皮肤镜像图像所属癌症类别。目前基于卷积神经网络模型的皮肤癌分类算法为基于图像特征的机器学习分类算法。基于图像特征的机器学习分类算法通过提取皮肤镜图像的纹理特征、形状特征以及颜色特征等特征信息作为该图像的特征，随后将此特征信息输入到常用的机器学习模型进行图像分类，而常用的图像特征会丢失图像的大部分信息，从而导致分类结果不精确。
另外，目前基于卷积神经网络模型的皮肤癌分类算法还存在以下不足:
(1)目前针对皮肤镜像图像数据集分布不平衡没有进行合理的处置。
(2)模型分类算法存在一定的局限性。
发明内容
本申请提供了一种医学图像分类方法、系统、终端以及存储介质，旨在解决现有技术中的基于卷积神经网络模型的皮肤癌分类算法存在的分类结果不精确、针对皮肤镜像图像数据集分布不平衡没有进行合理的处置，以及模型分类算法存在局限性的技术问题。
为了解决上述问题，本申请提供了如下技术方案：
一种医学图像分类方法，包括：
获取医学图像数据集；
对所述医学图像数据集进行上采样，使得所述医学图像数据集中各个类别的图像样本达到均衡；
将所述上采样后的医学图像数据集输入卷积神经网络模型中进行训练，得到训练好的卷积神经网络模型，根据所述训练好的卷积神经网络模型进行医学图像分类；所述卷积神经网络模型包括InceptionV3、InceptionResNet以及Xception三个网络模型，将所述三个网络模型的输出结果进行汇总，输出图像分类结果。
本申请实施例采取的技术方案还包括：所述对所述医学图像数据集进行上采样包括：
采用图像增强算法对所述医学图像数据集中除样本量最多的类别之外的其他类别的每张原始图像样本分别执行左右镜像翻转、上下镜像翻转、先左右镜像翻转随后上下镜像翻转以及不做任何翻转四种增强操作，得到每张原始图像样本在四种增强操作后的图像；
所述左右镜像翻转为按照设定概率将原始图像以图像垂直中心线进行镜像翻转；所述垂直翻转为按照设定概率将原始图像以图像水平中心线进行镜像翻转。
本申请实施例采取的技术方案还包括：所述对所述医学图像数据集进行上采样还包括：
分别计算所述医学图像数据集中除样本量最多的类别之外的其他各个类别与所述样本量最多的类别之间的样本量差值，利用所述差值除以对应类别的样本量，得到所述其他各个类别需要随机增加的样本量n；
从所述其他各个类别的图像样本中选取需要上采样的图像作为“内容图像”，并分别从所述其他各个类别的图像样本中随机抽取n张图像作为“风格图像”，依次将所述“内容图像”和n张“风格图像”输入到图像风格转换模型中，通过所述图像风格转换模型输出所述其他各个类别的n张由“内容图像”和“风格图像”融合生成的上采样图像；其中，所述“内容图像”与“风格图像”的label一致。
本申请实施例采取的技术方案还包括：所述对所述医学图像数据集进行上采样后还包括：
将所述上采样后的图像样本放缩至设定大小。
本申请实施例采取的技术方案还包括：所述InceptionV3、InceptionResNet以及Xception网络模型分别添加注意力机制，所述注意力机制包括通道注意力模块和空间注意力模块；
所述InceptionV3、InceptionResNet以及Xception网络模型分别包括两个输出分支，一个输出分支用于直接通过全连接网络输出预测结果，另一个输出分支用于将预测结果输出至下一级网络中，所述下一级网络用于将所述InceptionV3、InceptionResNet以及Xception网络模型的预测结果进行汇总后，输出图像分类结果。
本申请实施例采取的技术方案还包括：所述卷积神经网络模型包括四个输出分支，分别为InceptionV3输出分支A、InceptionResNet输出分支B、Xception输出分支C以及汇总后的模型输出，根据各个分支的输出值和对应的真实label计算交叉熵损失得到各个输出分支的损失值，所述损失值具体为：
输出分支A的损失值为:Loss1＝categorical_crossentropy(分支A输出值,真实label)；
输出分支B的损失值为:Loss2＝categorical_crossentropy(分支B输出值,真实label)；
输出分支C的损失值为:Loss3＝categorical_crossentropy(分支C输出值，真实label)；
模型输出的损失值为:Loss4＝categorical_crossentropy(模型输出值，真实label)；
整个卷积神经网络模型的损失值为:Loss＝Loss1+Loss2+Loss3+Loss4；
所述真实label均为所述图像样本对应的真实标记值。
本申请实施例采取的技术方案还包括：所述卷积神经网络模型的四个输出值分别为p_a_1,p_a_2,p_a_3,p_a_4，p_a_1,p_a_2,p_a_3,p_a_4代表每个图像样本所属类型的概率值，其中a代表图像样本的编号,p_a_4为对p_a_1,p_a_2,p_a_3进行汇总后的输出结果。
本申请实施例采取的另一技术方案为：一种医学图像分类系统，包括：
数据获取模块：用于获取医学图像数据集；
数据上采样模块：用于对所述医学图像数据集进行上采样，使得所述医学图像数据集中各个类别的图像样本达到均衡；
图像分类模块：用于将所述上采样后的医学图像数据集输入卷积神经网络模型中进行训练，得到训练好的卷积神经网络模型，根据所述训练好的卷积神经网络模型进行医学图像分类；所述卷积神经网络模型包括InceptionV3、InceptionResNet以及Xception三个网络模型，将所述三个网络模型的输出结果进行汇总，输出图像分类结果。
本申请实施例采取的又一技术方案为：一种终端，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现所述医学图像分类方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制医学图像分类。
本申请实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行所述医学图像分类方法。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的医学图像分类方法、系统、终端以及存储介质通过采用图像增强操作算法对图像数据进行增强处理，并采用图像风格转换算法对增强处理后的图像数据进行上采样操作，能够在尽量保证图像类别信息的基础上使各个类别之间的图像达到均衡化，降低由于数据集不平衡对分类算法带来的误差影响。并使用由添加有CBAM注意力机制作的InceptionV3、InceptionResNet以及Xception三大网络模型构成的卷积神经网络模型作为分类模型，通过汇总三大网络模型的输出值作为网络的最终输出结果，能够提高网络模型分类的准确率与召回率。
附图说明
图1是本申请实施例的医学图像分类方法的流程图；
图2为本发明实施例的数据样本上采样示意图；
图3为本申请实施例的卷积神经网络模型结构示意图；
图4为本申请实施例的医学图像分类系统结构示意图；
图5为本申请实施例的终端结构示意图；
图6为本申请实施例的存储介质的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
针对现有技术的不足，本申请实施例的医学图像分类方法首先使用图像风格转换算法或/和图像变换算法对图像数据集进行上采样操作，以获取分布均衡的数据集样本，降低数据集不平衡对分类算法带来的误差偏大的影响；然后使用由InceptionV3、InceptionResNet以及Xception三大网络模型构成的卷积神经网络模型对图像数据集进行迁移学习，将三大网络模型的输出结果进行汇总，得到图像分类结果。
具体地，请参阅图1，是本申请实施例的医学图像分类方法的流程图。本申请实施例的医学图像分类方法包括以下步骤：
S10：获取图像数据集，并将图像数据集按照设定比例划分为训练集、验证集以及测试集；
本步骤中，获取的图像数据集为皮肤癌镜像图像，通过从网络中的皮肤癌镜像图像数据库中下载10015个图像数据，下载的图像数据中包括黑素细胞痣(nv)、黑色素瘤(mel)、光线性角化病(akiec)、基底细胞瘤(bcc)、皮肤纤维瘤(df)、血管损伤(vasc)以及脂溢性角化病(bkl)七种皮肤癌类别的图像样本，七种皮肤癌类别的图像样本数量分别为6705、1113、327、514、115、142及1099。可以理解，本申请实施例仅以皮肤癌镜像图像分类为例，本申请同样适应于超声图像等其他类型的医学图像的分类。
本申请实施例中，训练集、验证集以及测试集的划分比例为6:2:2，训练集与验证集用于模型的训练，测试集用于评测模型的优劣。具体划分比例可根据实际操作进行设定。
S20：对训练集中的图像样本进行上采样操作；
本步骤中，由于在采集的七种皮肤癌类别的图像样本中，各个类别的图像样本量相差很大，其中黑素细胞痣(nv)类别的样本量最多，其他类别的样本量较少，为了解决样本量不均衡的问题，需要对样本量较少的类别进行上采样操作，使得各类类别的样本量达到均衡。
具体的，上采样操作具体包括：
S21：采用图像增强操作算法对训练集中的图像样本进行图像增强操作；
本步骤中，仅针对训练集中除黑素细胞痣(nv)类别以外的其他六个类别图像样本进行图像增强。图像增强操作算法具体为：对其他六个类别的每张原始图像分别执行左右镜像翻转(水平翻转)、上下镜像翻转(垂直翻转)、先左右镜像翻转随后上下镜像翻转以及不做任何翻转四种增强操作，得到每张原始图像在四种增强操作后的图像。其中，左右镜像翻转即按照设定概率将原始图像以图像垂直中心线进行镜像翻转。垂直翻转即按照设定概率将原始图像以图像水平中心线进行镜像翻转。由于是在原始图像的基础上进行旋转操作得到的增强图像，因此在实现图像上采样的同时可以完全表达原始图像的图像信息。具体如图2所示，为本发明实施例的数据样本上采样示意图，其中，A为原始图像，B为经过四种增强操作后的图像。
S22：采用图像风格转换算法对增强操作后的训练集进行上采样操作；
其中，在对训练集进行增强操作后各个类别之间的样本量并没有达到均衡状态，因此还需要针对增强操作后的训练集中除黑素细胞痣(nv)类别以外的其他六个类别图像样本进行上采样，以增加其他六个类别的图像样本数量，直到其他六个类别的样本量达到黑素细胞痣(nv)类的样本量。图像风格转换算法具体为：首先计算增强操作后的训练集中黑色素瘤(mel)样本量与黑素细胞痣(nv)样本量的差值,然后利用差值除以黑色素瘤样本量，即可计算出黑色素瘤样本需要随机增加的样本量。同理，分别计算光线性角化病(akiec)、基底细胞瘤(bcc)、皮肤纤维瘤(df)、血管损伤(vasc)、脂溢性角化病(bkl)样本量与黑素细胞痣(nv)样本量的差值，然后利用差值除以对应样本的样本量，即可计算出各个类别的样本需要随机增加的样本量n。随后从各类别的图像样本中选取需要上采样的原始图像作为“内容图像”，并分别从各类别的图像样本中随机抽取n张其他图像作为“风格图像”，依次将“内容图像”和n张“风格图像”输入到图像风格转换模型中，通过图像风格转换模型输出n张由“内容图像”和“风格图像”融合生成的上采样图像。其中，“内容图像”与“风格图像”的label一致。经过图像风格转换算法进行上采样后，可以加大训练集图像的差异性，增加算法的泛化性。具体如图2所示，B部分即为“内容图像”，C部分为“风格图像”，D部分为由图像风格转换模型输出的上采样图像。
经过上述的图像增强操作算法以及图像风格转换算法后，能够在尽量保证图像类别信息的基础上使各个类别之间达到图像样本的均衡化。可以理解，对于图像样本量较为均衡的医学图像，则仅需采用图像增强操作算法或图像风格转换算法中的任意一种算法进行上采样操作。
S30：将上采样后的训练集、验证集以及测试集中的所有图像放缩至设定大小，得到缩放后的图像数据集；
本步骤中，设定缩放后的图像大小为450*600像素，图像大小可根据实际操作进行设定。
S40：将缩放后的图像数据集输入由InceptionV3、InceptionResNet以及Xception三大网络模型构成的卷积神经网络模型进行训练，并将InceptionV3、InceptionResNet以及Xception模型的输出结果进行汇总，输出图像分类结果；
本步骤中，InceptionV3、InceptionResNet以及Xception网络模型均为IMAGENET(全称为ImageNet Large-Scale Visual Recognition Challenge，是近年来机器视觉领域最受追捧也是最具权威的学术竞赛之一,代表了图像领域的最高水平)比赛中取得较好成果的网络模型。请一并参阅图3，是本申请实施例的卷积神经网络模型结构示意图。本申请实施例通过删除InceptionV3、InceptionResNet以及Xception网络模型的最上层，并在此基础上分别在InceptionV3、InceptionResNet以及Xception网络模型的最上层添加CBAM(Convolutional Block Attention Module，注意力机制)，CBAM包括通道注意力模块和空间注意力模块，通道注意力模块可以提供网络中比较重要的通道，即模型应该关注的通道；空间注意力模块可以提供网络中需要特殊关注的特征。两个模块可以任意添加到任何模型中，实现即插即用。在网络模型中添加CBAM注意力机制后，每个网络模型分别包括两个输出分支，一个输出分支用于直接通过全连接网络输出结果，另一个输出分支用于将结果输出到下一级网络中。CBAM注意力机制的加入可以在一定程度上提高网络模型的识别与泛化能力。
如图3所示，将添加有CBAM注意力机制的InceptionV3、InceptionResNet以及Xception网络模型作为卷积神经网络模型的三个分支，卷积神经网络模型的输入为经过缩放处理后的训练集图像样本以及验证集图像样本，通过InceptionV3、InceptionResNet以及Xception网络模型三个分支分别进行迁移学习和微调，并在下一级网络中将三个分支的输出结果进行汇总后，输出图像分类结果。在迁移学习过程中，调整注意力机制模块、三个网络模型的输出层以及整个卷积神经网络模型的输出层的网络参数，该网络参数通过深度学习方法中的反向传播机制自动求导并进行更新调整。在微调过程中，调整整个卷积神经网络模型的所有参数，得到最终的整个卷积神经网络模型的网络参数。
具体的，本申请实施例的卷积神经网络模型包括四个输出分支，分别为InceptionV3输出分支A、InceptionResNet输出分支B、Xception输出分支C以及汇总后的模型输出，每一个输出分支的输出结果分别用于调节各个分支对应的网络模型参数。根据各个分支的输出值和对应的真实label计算交叉熵损失得到各个输出分支的损失值，具体为：
输出分支A的损失值为:Loss1＝categorical_crossentropy(分支A输出值,真实label)；
输出分支B的损失值为:Loss2＝categorical_crossentropy(分支B输出值,真实label)；
输出分支C的损失值为:Loss3＝categorical_crossentropy(分支C输出值,真实label)；
模型输出的损失值为:Loss4＝categorical_crossentropy(模型输出值，真实label)；
整个卷积神经网络模型的损失值为:Loss＝Loss1+Loss2+Loss3+Loss4。
其中分支A、B、C与模型输出的损失值中的真实label(标签)均为输入图像样本对应的真实label值。整个卷积神经网络模型的损失值由Loss1、Loss2、Loss3、Loss4四个部分组成，模型反向传播时会通过最终的损失值让其余四个分支分别更新网络参数，从而使各个分支的网络参数均达到一个比较合适的值，而不会导致最终损失值对其他分支参数更新不及时的问题。
完成训练后，将测试集输入到最优参数的卷积神经网络模型中,卷积神经网络模型的四个输出值分别为p_a_1,p_a_2,p_a_3,p_a_4，p_a_1,p_a_2,p_a_3,p_a_4代表每个图像样本属于黑素细胞痣(nv)、黑色素瘤(mel)、光线性角化病(akiec)、基底细胞瘤(bcc)、皮肤纤维瘤(df)、血管损伤(vasc)以及脂溢性角化病(bkl))的概率值，其中a代表测试集中图像样本的编号,p_a_4为对p_a_1,p_a_2,p_a_3进行汇总后的输出结果，因此，本发明仅采用p_a_4作为最终的分类结果。
S50：根据训练好的卷积神经网络模型进行图像分类。
基于上述，本申请实施例的医学图像分类方法通过采用图像增强操作算法对图像数据进行增强处理，并采用图像风格转换算法对增强处理后的图像数据进行上采样操作，能够在尽量保证图像类别信息的基础上使各个类别之间的图像达到均衡化，降低由于数据集不平衡对分类算法带来的误差影响。并使用由添加有CBAM注意力机制作的InceptionV3、InceptionResNet以及Xception三大网络模型构成的卷积神经网络模型作为分类模型，通过汇总三大网络模型的输出值作为网络模型的最终输出结果，能够提高网络分类的准确率(Accuracy)与召回率(recall)。
请参阅图4，为本申请实施例的医学图像分类系统结构示意图。本申请实施例的医学图像分类系统40包括：
数据获取模块41：用于获取医学图像数据集；
数据上采样模块41：用于对医学图像数据集进行上采样，使得所述医学图像数据集中各个类别的图像样本达到均衡；
图像分类模块43：用于将上采样后的医学图像数据集输入卷积神经网络模型中进行训练，得到训练好的卷积神经网络模型，根据训练好的卷积神经网络模型进行医学图像分类；卷积神经网络模型包括InceptionV3、InceptionResNet以及Xception三个网络模型，将三个网络模型的输出结果进行汇总，输出图像分类结果。
请参阅图5，为本申请实施例的终端结构示意图。该终端50包括处理器51、与处理器51耦接的存储器52。
存储器52存储有用于实现上述医学图像分类方法的程序指令。
处理器51用于执行存储器52存储的程序指令以控制医学图像分类。
其中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图6，为本申请实施例的存储介质的结构示意图。本申请实施例的存储介质存储有能够实现上述所有方法的程序文件61，其中，该程序文件61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种医学图像分类方法，其特征在于，包括：
获取医学图像数据集；
对所述医学图像数据集进行上采样，使得所述医学图像数据集中各个类别的图像样本达到均衡；
将所述上采样后的医学图像数据集输入卷积神经网络模型中进行训练，得到训练好的卷积神经网络模型，根据所述训练好的卷积神经网络模型进行医学图像分类；所述卷积神经网络模型包括InceptionV3、InceptionResNet以及Xception三个网络模型，将所述三个网络模型的输出结果进行汇总，输出图像分类结果。
2.根据权利要求1所述的医学图像分类方法，其特征在于，所述对所述医学图像数据集进行上采样包括：
采用图像增强算法对所述医学图像数据集中除样本量最多的类别之外的其他类别的每张原始图像样本分别执行左右镜像翻转、上下镜像翻转、先左右镜像翻转随后上下镜像翻转以及不做任何翻转四种增强操作，得到每张原始图像样本在四种增强操作后的图像；
所述左右镜像翻转为按照设定概率将原始图像以图像垂直中心线进行镜像翻转；所述垂直翻转为按照设定概率将原始图像以图像水平中心线进行镜像翻转。
3.根据权利要求1或2所述的医学图像分类方法，其特征在于，所述对所述医学图像数据集进行上采样还包括：
分别计算所述医学图像数据集中除样本量最多的类别之外的其他各个类别与所述样本量最多的类别之间的样本量差值，利用所述差值除以对应类别的样本量，得到所述其他各个类别需要随机增加的样本量n；
从所述其他各个类别的图像样本中选取需要上采样的图像作为“内容图像”，并分别从所述其他各个类别的图像样本中随机抽取n张图像作为“风格图像”，依次将所述“内容图像”和n张“风格图像”输入到图像风格转换模型中，通过所述图像风格转换模型输出所述其他各个类别的n张由“内容图像”和“风格图像”融合生成的上采样图像；其中，所述“内容图像”与“风格图像”的label一致。
4.根据权利要求1所述的医学图像分类方法，其特征在于，所述对所述医学图像数据集进行上采样后还包括：
将所述上采样后的图像样本放缩至设定大小。
5.根据权利要求1所述的医学图像分类方法，其特征在于，所述InceptionV3、InceptionResNet以及Xception网络模型分别添加注意力机制，所述注意力机制包括通道注意力模块和空间注意力模块；
所述InceptionV3、InceptionResNet以及Xception网络模型分别包括两个输出分支，一个输出分支用于直接通过全连接网络输出预测结果，另一个输出分支用于将预测结果输出至下一级网络中，所述下一级网络用于将所述InceptionV3、InceptionResNet以及Xception网络模型的预测结果进行汇总后，输出图像分类结果。
6.根据权利要求5所述的医学图像分类方法，其特征在于，所述卷积神经网络模型包括四个输出分支，分别为InceptionV3输出分支A、InceptionResNet输出分支B、Xception输出分支C以及汇总后的模型输出，根据各个分支的输出值和对应的真实label计算交叉熵损失得到各个输出分支的损失值，所述损失值具体为：
输出分支A的损失值为:Loss1＝categorical_crossentropy(分支A输出值,真实label)；
输出分支B的损失值为:Loss2＝categorical_crossentropy(分支B输出值,真实label)；
输出分支C的损失值为:Loss3＝categorical_crossentropy(分支C输出值,真实label)；
模型输出的损失值为:Loss4＝categorical_crossentropy(模型输出值,真实label)；
整个卷积神经网络模型的损失值为:Loss＝Loss1+Loss2+Loss3+Loss4；
所述真实label均为所述图像样本对应的真实标记值。
7.根据权利要求6所述的医学图像分类方法，其特征在于，所述卷积神经网络模型的四个输出值分别为p_a_1,p_a_2,p_a_3,p_a_4，p_a_1,p_a_2,p_a_3,p_a_4代表每个图像样本所属类别的概率值，其中a代表图像样本的编号,p_a_4为对p_a_1,p_a_2,p_a_3进行汇总后的输出结果。
8.一种医学图像分类系统，其特征在于，包括：
数据获取模块：用于获取医学图像数据集；
数据上采样模块：用于对所述医学图像数据集进行上采样，，使得所述医学图像数据集中各个类别的图像样本达到均衡；
图像分类模块：用于将所述上采样后的医学图像数据集输入卷积神经网络模型中进行训练，得到训练好的卷积神经网络模型，根据所述训练好的卷积神经网络模型进行医学图像分类；所述卷积神经网络模型包括InceptionV3、InceptionResNet以及Xception三个网络模型，将所述三个网络模型的输出结果进行汇总，输出图像分类结果。
9.一种终端，其特征在于，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现权利要求1-7任一项所述的医学图像分类方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制医学图像分类。
10.一种存储介质，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1至7任一项所述医学图像分类方法。
CN202110758116.1A 2021-07-05 2021-07-05 一种医学图像分类方法、系统、终端以及存储介质 Active CN113378984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110758116.1A CN113378984B (zh) 2021-07-05 2021-07-05 一种医学图像分类方法、系统、终端以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110758116.1A CN113378984B (zh) 2021-07-05 2021-07-05 一种医学图像分类方法、系统、终端以及存储介质

Publications (2)

Publication Number Publication Date
CN113378984A true CN113378984A (zh) 2021-09-10
CN113378984B CN113378984B (zh) 2023-05-02

Family

ID=77580854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110758116.1A Active CN113378984B (zh) 2021-07-05 2021-07-05 一种医学图像分类方法、系统、终端以及存储介质

Country Status (1)

Country Link
CN (1) CN113378984B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037660A (zh) * 2021-10-26 2022-02-11 国药集团基因科技有限公司 Oct视网膜病变图像识别方法及系统
CN115861305A (zh) * 2023-02-20 2023-03-28 佛山市南海区广工大数控装备协同创新研究院 柔性电路板检测方法、装置、计算机设备及存储介质
CN115908964A (zh) * 2022-09-20 2023-04-04 国药(武汉)医学实验室有限公司 一种医学图像分类方法、系统、终端以及存储介质
CN116894820A (zh) * 2023-07-13 2023-10-17 国药(武汉)精准医疗科技有限公司 一种色素性皮肤病分类检测方法、装置、设备及存储介质

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909905A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的多模态人脸识别方法
CN107506797A (zh) * 2017-08-25 2017-12-22 电子科技大学 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN109325516A (zh) * 2018-08-13 2019-02-12 众安信息技术服务有限公司 一种面向图像分类的集成学习方法及装置
CN109410188A (zh) * 2017-10-13 2019-03-01 北京昆仑医云科技有限公司 用于对医学图像进行分割的系统和方法
US10223611B1 (en) * 2018-03-08 2019-03-05 Capital One Services, Llc Object detection using image classification models
CN109523994A (zh) * 2018-11-13 2019-03-26 四川大学 一种基于胶囊神经网络的多任务语音分类方法
CN109886986A (zh) * 2019-01-23 2019-06-14 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN110598782A (zh) * 2019-09-06 2019-12-20 上海杏脉信息科技有限公司 一种训练用于医学影像的分类网络的方法与装置
CN110648332A (zh) * 2019-09-12 2020-01-03 电子科技大学 基于多分支卷积神经网络特征正交的图像可判别区域提取方法
CN110738146A (zh) * 2019-09-27 2020-01-31 华中科技大学 一种目标重识别神经网络及其构建方法和应用
CN110765954A (zh) * 2019-10-24 2020-02-07 浙江大华技术股份有限公司 一种车辆重识别方法、设备及存储装置
CN111178432A (zh) * 2019-12-30 2020-05-19 武汉科技大学 多分支神经网络模型的弱监督细粒度图像分类方法
CN111402268A (zh) * 2020-03-16 2020-07-10 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法
US20200244997A1 (en) * 2017-08-28 2020-07-30 Interdigital Vc Holdings, Inc. Method and apparatus for filtering with multi-branch deep learning
CN111657926A (zh) * 2020-07-08 2020-09-15 中国科学技术大学 一种基于多导联信息融合的心律失常分类方法
CN111797266A (zh) * 2020-07-10 2020-10-20 北京字节跳动网络技术有限公司 图像处理方法和装置、存储介质和电子设备
WO2020232840A1 (zh) * 2019-05-23 2020-11-26 厦门市美亚柏科信息股份有限公司 基于神经网络结构搜索的车辆多属性识别方法、装置、介质
CN112200091A (zh) * 2020-10-13 2021-01-08 深圳市悦动天下科技有限公司 舌头区域识别的方法、装置及计算机存储介质
CN112270666A (zh) * 2020-11-03 2021-01-26 辽宁工程技术大学 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
US20210065371A1 (en) * 2019-03-06 2021-03-04 Institute Of Automation, Chinese Academy Of Sciences Refined segmentation system, method and device of image shadow area
CN112819076A (zh) * 2021-02-03 2021-05-18 中南大学 基于深度迁移学习的医学图像分类模型的训练方法及装置
CN112819797A (zh) * 2021-02-06 2021-05-18 国药集团基因科技有限公司 一种糖尿病性视网膜病变分析方法、装置、系统、以及存储介质
CN112949723A (zh) * 2021-03-08 2021-06-11 西安美佳家医疗科技有限责任公司 一种子宫内膜病理图像分类方法
CN112990390A (zh) * 2021-05-19 2021-06-18 腾讯科技（深圳）有限公司 一种图像识别模型的训练方法、图像识别的方法及装置

Patent Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909905A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的多模态人脸识别方法
CN107506797A (zh) * 2017-08-25 2017-12-22 电子科技大学 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法
US20200244997A1 (en) * 2017-08-28 2020-07-30 Interdigital Vc Holdings, Inc. Method and apparatus for filtering with multi-branch deep learning
CN109410188A (zh) * 2017-10-13 2019-03-01 北京昆仑医云科技有限公司 用于对医学图像进行分割的系统和方法
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
US10223611B1 (en) * 2018-03-08 2019-03-05 Capital One Services, Llc Object detection using image classification models
CN109325516A (zh) * 2018-08-13 2019-02-12 众安信息技术服务有限公司 一种面向图像分类的集成学习方法及装置
CN109523994A (zh) * 2018-11-13 2019-03-26 四川大学 一种基于胶囊神经网络的多任务语音分类方法
CN109886986A (zh) * 2019-01-23 2019-06-14 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法
US20210065371A1 (en) * 2019-03-06 2021-03-04 Institute Of Automation, Chinese Academy Of Sciences Refined segmentation system, method and device of image shadow area
WO2020232840A1 (zh) * 2019-05-23 2020-11-26 厦门市美亚柏科信息股份有限公司 基于神经网络结构搜索的车辆多属性识别方法、装置、介质
CN110598782A (zh) * 2019-09-06 2019-12-20 上海杏脉信息科技有限公司 一种训练用于医学影像的分类网络的方法与装置
CN110648332A (zh) * 2019-09-12 2020-01-03 电子科技大学 基于多分支卷积神经网络特征正交的图像可判别区域提取方法
CN110738146A (zh) * 2019-09-27 2020-01-31 华中科技大学 一种目标重识别神经网络及其构建方法和应用
CN110765954A (zh) * 2019-10-24 2020-02-07 浙江大华技术股份有限公司 一种车辆重识别方法、设备及存储装置
CN111178432A (zh) * 2019-12-30 2020-05-19 武汉科技大学 多分支神经网络模型的弱监督细粒度图像分类方法
CN111402268A (zh) * 2020-03-16 2020-07-10 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法
CN111657926A (zh) * 2020-07-08 2020-09-15 中国科学技术大学 一种基于多导联信息融合的心律失常分类方法
CN111797266A (zh) * 2020-07-10 2020-10-20 北京字节跳动网络技术有限公司 图像处理方法和装置、存储介质和电子设备
CN112200091A (zh) * 2020-10-13 2021-01-08 深圳市悦动天下科技有限公司 舌头区域识别的方法、装置及计算机存储介质
CN112270666A (zh) * 2020-11-03 2021-01-26 辽宁工程技术大学 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
CN112819076A (zh) * 2021-02-03 2021-05-18 中南大学 基于深度迁移学习的医学图像分类模型的训练方法及装置
CN112819797A (zh) * 2021-02-06 2021-05-18 国药集团基因科技有限公司 一种糖尿病性视网膜病变分析方法、装置、系统、以及存储介质
CN112949723A (zh) * 2021-03-08 2021-06-11 西安美佳家医疗科技有限责任公司 一种子宫内膜病理图像分类方法
CN112990390A (zh) * 2021-05-19 2021-06-18 腾讯科技（深圳）有限公司 一种图像识别模型的训练方法、图像识别的方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
M. QJIDAA ET AL.: "Early detection of COVID19 by deep learning transfer Model for populations in isolated rural areas", 《2020 INTERNATIONAL CONFERENCE ON INTELLIGENT SYSTEMS AND COMPUTER VISION》 *
SAKET S. CHATURVEDI: "A multi-class skin Cancer classification using deep convolutional neural networks", 《MULTIMEDIA TOOLS AND APPLICATIONS 》 *
张善文 等: "《图像模式识别》", 29 February 2020, 西安电子科技大学出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037660A (zh) * 2021-10-26 2022-02-11 国药集团基因科技有限公司 Oct视网膜病变图像识别方法及系统
CN115908964A (zh) * 2022-09-20 2023-04-04 国药(武汉)医学实验室有限公司 一种医学图像分类方法、系统、终端以及存储介质
CN115908964B (zh) * 2022-09-20 2023-12-12 国药(武汉)医学实验室有限公司 一种医学图像分类方法、系统、终端以及存储介质
CN115861305A (zh) * 2023-02-20 2023-03-28 佛山市南海区广工大数控装备协同创新研究院 柔性电路板检测方法、装置、计算机设备及存储介质
CN116894820A (zh) * 2023-07-13 2023-10-17 国药(武汉)精准医疗科技有限公司 一种色素性皮肤病分类检测方法、装置、设备及存储介质
CN116894820B (zh) * 2023-07-13 2024-04-19 国药(武汉)精准医疗科技有限公司 一种色素性皮肤病分类检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113378984B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN113378984A (zh) 一种医学图像分类方法、系统、终端以及存储介质
Yao et al. Single model deep learning on imbalanced small datasets for skin lesion classification
Liu et al. Perception consistency ultrasound image super-resolution via self-supervised CycleGAN
Pinaya et al. Unsupervised brain imaging 3D anomaly detection and segmentation with transformers
CN109410219A (zh) 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质
CN111429452A (zh) 基于UNet卷积神经网络的膀胱超声图像分割方法及装置
CN112017198A (zh) 基于自注意力机制多尺度特征的右心室分割方法及装置
CN113228061A (zh) 电子装置及其控制方法
WO2023065503A1 (zh) 一种面部表情的分类方法和电子设备
Huang et al. Multiclass machine learning classification of functional brain images for Parkinson's disease stage prediction
CN110321943A (zh) 基于半监督深度学习的ct图像分类方法、系统、装置
WO2024011835A1 (zh) 一种图像处理方法、装置、设备及可读存储介质
Ding et al. High-resolution dermoscopy image synthesis with conditional generative adversarial networks
Li et al. Brain tumor segmentation using 3D generative adversarial networks
CN114708971A (zh) 一种风险评估方法及装置、存储介质及电子设备
Xu et al. Dual-stream Representation Fusion Learning for accurate medical image segmentation
CN116894820B (zh) 一种色素性皮肤病分类检测方法、装置、设备及存储介质
WO2021179198A1 (zh) 图像特征可视化方法、图像特征可视化装置及电子设备
WO2021168745A1 (zh) 一种磁共振成像模型的训练方法及装置
Lin et al. Generative adversarial image super‐resolution network for multiple degradations
CN116958736A (zh) 一种基于跨模态边缘引导的rgb-d显著性目标检测方法
CN114913262B (zh) 采样模式与重建算法联合优化的核磁共振成像方法及系统
Gao et al. Image Segmentation of Retinal Blood Vessels Based on Dual‐Attention Multiscale Feature Fusion
Mukherjee et al. Alzheimer detection using deep convolutional GAN
CN110674872B (zh) 一种高维磁共振影像的分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant