CN113902752A - 一种医学图像分割方法、装置及计算机可读存储介质 - Google Patents

一种医学图像分割方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN113902752A
CN113902752A CN202111474961.2A CN202111474961A CN113902752A CN 113902752 A CN113902752 A CN 113902752A CN 202111474961 A CN202111474961 A CN 202111474961A CN 113902752 A CN113902752 A CN 113902752A
Authority
CN
China
Prior art keywords
branch
task
segmentation
classification
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111474961.2A
Other languages
English (en)
Other versions
CN113902752B (zh
Inventor
周剑
刘业鑫
段辉高
刘翊
沈意平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202111474961.2A priority Critical patent/CN113902752B/zh
Publication of CN113902752A publication Critical patent/CN113902752A/zh
Application granted granted Critical
Publication of CN113902752B publication Critical patent/CN113902752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供了一种医学图像分割方法，通过构建多任务交互模型，将预处理的数据送入编码器中提取特征，然后一个分支送入分类分支，经过池化层及全连接层后，送入分类层执行分类任务；另一个分支送入分割分支，经所述解码器解码后执行分割任务；将所述分类分支及分割分支的特征信息作为输入送入交互分支，经卷积后输出概率图，执行分类分支与分割分支的交互学习任务；基于博弈原理，建立分类任务和分割任务的交互作用关系，采用混合损失函数监督多任务交互模型的训练过程；针对任意医学图像，采用所述多任务交互模型进行图像分割，得到分割结果。本发明还提供一种医学图像分割装置及计算机可读存储介质。本发明可以以较少参数达到良好的分割效果。

Description

一种医学图像分割方法、装置及计算机可读存储介质
技术领域
本发明涉及医学图像技术领域，具体涉及一种医学图像分割方法、装置及计算机可读存储介质。
背景技术
医学图像分割是医学图像分析中的一个重要步骤，如皮肤病变分割、视盘分割、息肉分割和乳腺超声图像分割等。传统的医学图像分割方法通常采用仅依赖于像素级特征的低级属性。因此，由于低对比度或表面伪影，它们往往无法达到令人满意的诊断性能。基于深度卷积神经网络(CNN)的方法已经被应用于医学图像分割。为了学习额外的特征表示，提高模型的泛化能力，以往的多任务学习方法通常采用特征传递模块或两步训练策略，这增加了模型的参数和推理的复杂性。因此，实有必要提供一种医学图像分割方法、装置及计算机可读存储介质。
发明内容
本发明公开了一种医学图像分割方法、装置及计算机可读存储介质，实现医学影像的分割并且以较少参数达到良好的分割效果。
为实现上述目的，本发明的技术方案为：
一种医学图像分割方法，包括如下步骤：
S1：获取原始医学影像的数据集，所述数据集中包括图像及其标签，将所述数据集进行预处理；
S2：构建多任务交互模型，所述多任务交互模型包括编码器、多任务交互框架及解码器，所述多任务交互框架包括分类分支、分割分支及交互分支，将预处理的数据送入所述编码器中提取特征，然后一个分支送入所述分类分支，经过池化层及全连接层后，送入分类层执行分类任务；另一个分支送入所述分割分支，经所述解码器解码后执行分割任务；将所述分类分支及分割分支的特征信息作为输入送入所述交互分支，经卷积后输出对图像预测的概率图，执行分类分支与分割分支的交互学习任务；
S3：基于博弈原理，建立所述分类任务和所述分割任务的交互作用关系，多次迭代训练，采用混合损失函数监督所述多任务交互模型的训练过程；
S4：针对任意医学图像，采用训练好的所述多任务交互模型进行图像分割，得到分割结果。
优选的，所述步骤S1中预处理为归一化处理。
优选的，所述步骤S3具体为：所述交互作用关系的建立过程为：
S31：基于博弈原理，以多任务交互模型作为游戏，将分类任务c和分割任务s作为输入变量形成游戏的玩家集合，
Figure 100002_DEST_PATH_IMAGE001
表示当游戏的玩家由集合
Figure 100002_DEST_PATH_IMAGE002
组成时，游戏最终获得的奖励，则交互作用函数
Figure 100002_DEST_PATH_IMAGE003
表示为：
Figure 100002_DEST_PATH_IMAGE004
其中：
Figure 100002_DEST_PATH_IMAGE005
Figure 100002_DEST_PATH_IMAGE006
式中，M表示集合
Figure 100002_DEST_PATH_IMAGE007
所有可能的子集，D表示集合M与集合
Figure 998287DEST_PATH_IMAGE007
的差集，
Figure 100002_DEST_PATH_IMAGE008
，
Figure 100002_DEST_PATH_IMAGE009
表示D被采样的概率，
Figure 100002_DEST_PATH_IMAGE010
表示中间函数；
S32：以
Figure 100002_DEST_PATH_IMAGE011
的绝对值
Figure 100002_DEST_PATH_IMAGE012
表示相互作用的强度，
Figure 23750DEST_PATH_IMAGE012
越小表示相互作用强度越低；
S33：多次迭代训练，采用混合损失函数监督训练的过程，以降低所述分类任务c和分割任务s的交互强度。
优选的，所述步骤S33中混合损失函数表示为：
Figure 100002_DEST_PATH_IMAGE013
式中，
Figure 100002_DEST_PATH_IMAGE014
表示分割任务s的损失函数，
Figure 741170DEST_PATH_IMAGE014
选择二进制交叉熵损失函数，用于优化分割任务s的性能；
Figure 100002_DEST_PATH_IMAGE015
表示分类任务c的损失函数，
Figure 605221DEST_PATH_IMAGE015
选择二值交叉熵损失函数，用于优化分类任务c的性能；
Figure 100002_DEST_PATH_IMAGE016
表示分类任务c和分割任务s交互作用的损失函数，用于降低交互的强度，并提高泛化的能力；
Figure 100002_DEST_PATH_IMAGE017
和
Figure 100002_DEST_PATH_IMAGE018
表示超参数，二者取值范围均是[0,1]；
Figure 100002_DEST_PATH_IMAGE019
其中，N为图像的高度和重量的乘积；
Figure 100002_DEST_PATH_IMAGE020
表示分割任务中第
Figure 100002_DEST_PATH_IMAGE021
个像素的预测概率，
Figure 100002_DEST_PATH_IMAGE022
表示第
Figure 59074DEST_PATH_IMAGE021
个像素对应的标签值；
Figure 100002_DEST_PATH_IMAGE023
其中，
Figure 100002_DEST_PATH_IMAGE024
表示分类任务中图像的标签，
Figure 100002_DEST_PATH_IMAGE025
表示图像的预测概率；
Figure 100002_DEST_PATH_IMAGE027
其中，W和H表示多任务交互模型输出的权重和高度。
本发明还提供一种医学图像分割装置，包括：
预处理模块：用于获取原始医学影像的数据集，所述数据集中包括图像及其标签，将所述数据集进行预处理；
模型构建模块：用于构建多任务交互模型，所述多任务交互模型包括编码器、多任务交互框架及解码器，所述多任务交互框架包括分类分支、分割分支及交互分支，将预处理的数据送入所述编码器中提取特征，然后一个分支送入所述分类分支，经过池化层及全连接层后，送入分类层执行分类任务；另一个分支送入所述分割分支，经所述解码器解码后执行分割任务；将所述分类分支及分割分支的特征信息作为输入送入所述交互分支，经卷积后输出概率图，执行分类分支与分割分支的交互学习任务；
训练模块：用于基于博弈原理，建立所述分类任务和所述分割任务的交互作用关系，多次迭代训练，采用混合损失函数监督所述多任务交互模型的训练过程；
分割模块：用于针对任意医学图像，采用训练好的所述多任务交互模型进行图像分割，得到分割结果。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的图像分割方法的步骤。
与相关技术相比，本发明提供了一种医学图像分割方法、装置及计算机可读存储介质，基于博弈原理建立分割任务和分类任务的相互作用关系，并提供了新的混合损失函数监督训练的过程，使得使分割分支、分类分支和交互分支在整个训练过程中协同学习，从而充分利用联合信息，提高泛化性能，显著提高了分割结果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
图1为本发明提供的一种医学图像分割方法的流程图；
图2为本发明提供的一种医学图像分割方法的流程框架图；
图3为本发明提供的一种医学医学图像分割装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面对本发明的具体实施方式作进一步的说明。
请参阅图1-2，本发明提供一种医学图像分割方法，包括如下步骤：
S1：获取原始医学影像的数据集，所述数据集中包括图像及其标签，将所述数据集进行预处理。
原始医学图像经过处理后都是通过矩阵的形式出现，矩阵中的维度就是像素值，像素越多则矩阵的维度越高。在数据集被送到网络进行训练之前，需要对数据集进行预处理，以规范确定图像的大小和通道。优选的，预处理的过程为归一化处理。
S2：构建多任务交互模型，所述多任务交互模型包括编码器、多任务交互框架及解码器，所述多任务交互框架包括分类分支、分割分支及交互分支，将预处理的数据送入所述编码器中提取特征，然后一个分支送入所述分类分支，经过池化层及全连接层后，送入分类层执行分类任务；另一个分支送入所述分割分支，经所述解码器解码后执行分割任务；将所述分类分支及分割分支的特征信息作为输入送入所述交互分支，经卷积后输出对图像预测的概率图，执行分类分支与分割分支的交互学习任务。
按照7:1:2的比例将预处理后的数据集分为训练集、测试集及验证集，将所述训练集送入所述多任务交互模型进行多次迭代训练，训练完成后采用所述测试集对所述多任务交互模型结果的准确性进行测试，采用所述验证集对所述对所述多任务交互模型结果的准确性进行验证。
所述编码器用于特征提取，所述解码器用于对特征进行解码，所述编码器及解码器均采用本领域的常规结构即可。例如，所述编码器和解码器可以采用xception模型的编码器及解码器，也可以采用u-net模型的编码器及解码器。
所述分类分支中包括依次设置的池化层、第一全连接层、第二全连接层及分类层，所述编码器提取的特征送入所述池化层进行筛选有用的信息，然后送入两层全连接层中进行信息整合，最后将整合后的信息送入分类层执行分类任务。所述分类层采用softmax作为分类器，可以对不同类别的大小概率进行估计，实现端到端的预测，经所述分类层输出的结果是一个概率估计，对应的像素点的值越大，其像素为该分类的结果也越大。
将所述分类分支中经过所述第一全连接层的特征信息执行卷积操作，然后送入所述交互分支，所述分隔分支的特征信息直接送入所述交互分支，将二者的特征信息在所述交互分支中交互学习。
因此，在所述多任务交互模型中存在三个分支，分别为：执行分类任务的分类分支、执行分割任务的分割分支、分类任务和分支任务联合执行的交互分支，三个分支共同作用。
S3：基于博弈原理，建立所述分类任务和所述分割任务的交互作用关系，多次迭代训练，采用混合损失函数监督所述多任务交互模型的训练过程。
所述交互作用关系的建立过程为：
S31：基于博弈原理，以多任务交互模型作为游戏，将分类任务c和分割任务s作为输入变量形成游戏的玩家集合，
Figure 288061DEST_PATH_IMAGE001
表示当游戏的玩家由集合
Figure 758357DEST_PATH_IMAGE002
组成时，游戏最终获得的奖励，则交互作用函数
Figure 222836DEST_PATH_IMAGE003
表示为：
Figure 94977DEST_PATH_IMAGE004
其中：
Figure 557182DEST_PATH_IMAGE005
Figure 577091DEST_PATH_IMAGE006
式中，M表示集合
Figure 517365DEST_PATH_IMAGE007
所有可能的子集，D表示集合M与集合
Figure 8127DEST_PATH_IMAGE007
的差集，
Figure 906813DEST_PATH_IMAGE008
，
Figure 414018DEST_PATH_IMAGE009
表示D被采样的概率，
Figure 892404DEST_PATH_IMAGE010
表示中间函数；
Figure 4716DEST_PATH_IMAGE011
的计算过程过程为：
Figure DEST_PATH_IMAGE028
S32：以
Figure 74303DEST_PATH_IMAGE011
的绝对值
Figure 6487DEST_PATH_IMAGE012
表示相互作用的强度，
Figure 554143DEST_PATH_IMAGE012
越小表示相互作用强度越低。
由步骤S31中
Figure 317700DEST_PATH_IMAGE011
的计算结果可以看出，
Figure 292609DEST_PATH_IMAGE011
与
Figure DEST_PATH_IMAGE029
呈正相关，
Figure 476204DEST_PATH_IMAGE012
的绝对值越小，说明分类任务c和分割任务s联合执行时与分割任务s单独执行时的情况差异较小。降低分类任务c和分割任务s的交互强度任务可以使分割分支（分割任务s单独执行）及交互分支（分类任务c和分割任务s联合执行）在整个训练过程中协同学习和教学。在这个相互学习的过程中，这两个分支有效地估计了下一个最有可能的结果。分别对分割分支和分类分支进行优化，然后进行比较，并重复这一过程，找到最佳解。在这个过程中，每个分支根据同行找到对方训练样本最可能的结果。这将增加每个分支的后验熵，并有助于收敛到更鲁棒的最优解，具有更好的泛化性能。
S33：多次迭代训练，采用混合损失函数监督训练的过程，以降低所述分类任务c和分割任务s的交互强度。
混合损失函数
Figure DEST_PATH_IMAGE030
表示为：
Figure 827550DEST_PATH_IMAGE013
式中，
Figure 383297DEST_PATH_IMAGE014
表示分割任务s的损失函数，
Figure 591424DEST_PATH_IMAGE014
选择二进制交叉熵损失函数，用于优化分割任务s的性能；
Figure 498200DEST_PATH_IMAGE015
表示分类任务c的损失函数，
Figure 122080DEST_PATH_IMAGE015
选择二值交叉熵损失函数，用于优化分类任务c的性能；
Figure 860228DEST_PATH_IMAGE016
表示分类任务c和分割任务s交互作用的损失函数，用于降低交互的强度，并提高泛化的能力；
Figure 176940DEST_PATH_IMAGE017
和
Figure 571013DEST_PATH_IMAGE018
表示超参数，二者取值范围均是[0,1]；
Figure 60900DEST_PATH_IMAGE019
其中，N为图像的高度和重量的乘积；
Figure 325659DEST_PATH_IMAGE020
表示分割任务中第
Figure 577386DEST_PATH_IMAGE021
个像素的预测概率，
Figure 255493DEST_PATH_IMAGE022
表示第
Figure 486754DEST_PATH_IMAGE021
个像素对应的标签值；
Figure 933916DEST_PATH_IMAGE023
其中，
Figure 326851DEST_PATH_IMAGE024
表示分类任务中图像的标签，
Figure 492253DEST_PATH_IMAGE025
表示图像的预测概率；
Figure DEST_PATH_IMAGE031
其中，W和H表示多任务交互模型输出的权重和高度。
所述多任务交互模型中，三个分支在整个训练过程中相互协作学习和教学，从而应用分割和分类任务之间的联合信息，提高了模型泛化性能。
在模型的训练过程中，使用的优化器为Adam优化器，训练时，若模型在验证集上的准确率在十个epoch 内未提升，则停止训练，设置Batchsize为8，设置初始学习率为0.0001，保存测试集上最佳性能的模型最为最终模型，训练完毕。
将训练好的模型进行测试，测试使用的评价指标有：准确性(ACC)、灵敏度(SE)、特异性(SP)、Dice系数和交并比(IoU)。这些指标的数学定义如下：
Figure DEST_PATH_IMAGE032
其中，TP表示真阳性，即预测为正，实际为正；TN表示真阴性，预测为负、实际为负；FP表示假阳性，预测为正，实际为负；FN表示假阴性，即预测为负，实际为正；GT表示真实掩膜。
为了验证本发明所提供的多任务交互模型的效果，设置以下对比试验：
方式一：采用U-Net模型；
方式二：将U-Net模型的编码器、解码器与特征传递模块（FPM）相结合，构成组合模型；
方式三：采用本发明提供的多任务交互模型，其中编码器和解码器均采用U-Net模型的编码器及解码器；
方式四：采用DeepLabv3+模型；
方式五：将DeepLabv3+模型的编码器、解码器与特征传递模块（FPM）相结合，构成组合模型；
方式六：采用本发明提供的多任务交互模型，其中编码器和解码器均采用将DeepLabv3+模型的编码器及解码器。
使用ISIC2017数据集进行实验，ISIC2017数据集包括2000张训练图片、150张验证集图片和600张测试集图片，包括8位RGB图像，大小从540×722到4499×6748像素不等。分别采用方式一到方式六在ISIC2017数据集进行训练，得到的实验结果汇总见表1：
表1
Figure DEST_PATH_IMAGE033
由于本发明中提供的多任务交互模型中编码器及解码器均采用的本领域的常规结构，因此上述对比文件试验，一方面可以验证本发明提供的多任务交互框架的性能，与采用特征传递模块（FPM）来传递消息的学习框架相比，本发明所提供的多任务交互模型减少了模型参数和推理时间，并提高了模型的分割性能；另一方面，可以验证本发明提供的多任务交互框架与不同编码器及解码器的结合能力，与U-Net模型相比，采用DeepLabv3+模型的编码器和解码器得到的多任务交互模型，具有更高的准确性，但是参数量更多，推断时间更长，因此，需要根据实际需要进行合理的选择。
S4：针对任意医学图像，采用训练好的所述多任务交互模型进行图像分割，得到分割结果。
其中交互分支仅存在于训练阶段，在实际应用阶段并不存在所述交互分支，可以有效减少模型在推理花费的时间。
请参阅图3，本发明还提供一种医学图像分割装置100，包括：
预处理模块10：用于获取原始医学影像的数据集，所述数据集中包括图像及其标签，将所述数据集进行预处理；
模型构建模块20：用于构建多任务交互模型，所述多任务交互模型包括编码器、多任务交互框架及解码器，所述多任务交互框架包括分类分支、分割分支及交互分支，将预处理的数据送入所述编码器中提取特征，然后一个分支送入所述分类分支，经过池化层及全连接层后，送入分类层执行分类任务；另一个分支送入所述分割分支，经所述解码器解码后执行分割任务；将所述分类分支及分割分支的特征信息作为输入送入所述交互分支，经卷积后输出对图像预测的概率图，执行分类分支与分割分支的交互学习任务；
训练模块30：用于基于博弈原理，建立所述分类任务和所述分割任务的交互作用关系，多次迭代训练，采用混合损失函数监督所述多任务交互模型的训练过程；
分割模块40：用于针对任意医学图像，采用训练好的所述多任务交互模型进行图像分割，得到分割结果。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的图像分割方法的步骤。
与相关技术相比，本发明提供了一种医学图像分割方法、装置及计算机可读存储介质，基于博弈原理建立分割任务和分类任务的相互作用关系，并提供了新的混合损失函数监督训练的过程，使得使分割分支、分类分支和交互分支在整个训练过程中协同学习，从而充分利用联合信息，提高泛化性能，显著提高了分割结果。
以上对本发明的实施方式作出详细说明，但本发明不局限于所描述的实施方式。对本领域的技术人员而言，在不脱离本发明的原理和精神的情况下对这些实施例进行的多种变化、修改、替换和变型均仍落入在本发明的保护范围之内。

Claims (6)

1.一种医学图像分割方法，其特征在于，包括如下步骤：
S1：获取原始医学影像的数据集，所述数据集中包括图像及其标签，将所述数据集进行预处理；
S2：构建多任务交互模型，所述多任务交互模型包括编码器、多任务交互框架及解码器，所述多任务交互框架包括分类分支、分割分支及交互分支，将预处理的数据送入所述编码器中提取特征，然后一个分支送入所述分类分支，经过池化层及全连接层后，送入分类层执行分类任务；另一个分支送入所述分割分支，经所述解码器解码后执行分割任务；将所述分类分支及分割分支的特征信息作为输入送入所述交互分支，经卷积后输出对图像预测的概率图，执行分类分支与分割分支的交互学习任务；
S3：基于博弈原理，建立所述分类任务和所述分割任务的交互作用关系，多次迭代训练，采用混合损失函数监督所述多任务交互模型的训练过程；
S4：针对任意医学图像，采用训练好的所述多任务交互模型进行图像分割，得到分割结果。
2.根据权利要求1所述的医学图像分割方法，其特征在于，所述步骤S1中预处理为归一化处理。
3.根据权利要求1所述的医学图像分割方法，其特征在于，所述步骤S3具体为：所述交互作用关系的建立过程为：
S31：基于博弈原理，以多任务交互模型作为游戏，将分类任务c和分割任务s作为输入变量形成游戏的玩家集合，
Figure DEST_PATH_IMAGE001
表示当游戏的玩家由集合
Figure DEST_PATH_IMAGE002
组成时，游戏最终获得的奖励，则交互作用函数
Figure DEST_PATH_IMAGE003
表示为：
Figure DEST_PATH_IMAGE004
其中：
Figure DEST_PATH_IMAGE005
Figure DEST_PATH_IMAGE006
式中，M表示集合
Figure DEST_PATH_IMAGE007
所有可能的子集，D表示集合M与集合
Figure 287978DEST_PATH_IMAGE007
的差集，
Figure DEST_PATH_IMAGE008
，
Figure DEST_PATH_IMAGE009
表示D被采样的概率，
Figure DEST_PATH_IMAGE010
表示中间函数；
S32：以
Figure DEST_PATH_IMAGE011
的绝对值
Figure DEST_PATH_IMAGE012
表示相互作用的强度，
Figure 697968DEST_PATH_IMAGE012
越小表示相互作用强度越低；
S33：多次迭代训练，采用混合损失函数监督训练的过程，以降低所述分类任务c和分割任务s的交互强度。
4.根据权利要求3所述的医学图像分割方法，其特征在于，所述步骤S33中混合损失函数表示为：
Figure DEST_PATH_IMAGE013
式中，
Figure DEST_PATH_IMAGE014
表示分割任务s的损失函数，
Figure 792963DEST_PATH_IMAGE014
选择二进制交叉熵损失函数，用于优化分割任务s的性能；
Figure DEST_PATH_IMAGE015
表示分类任务c的损失函数，
Figure 852186DEST_PATH_IMAGE015
选择二值交叉熵损失函数，用于优化分类任务c的性能；
Figure DEST_PATH_IMAGE016
表示分类任务c和分割任务s交互作用的损失函数，用于降低交互的强度，并提高泛化的能力；
Figure DEST_PATH_IMAGE017
和
Figure DEST_PATH_IMAGE018
表示超参数，二者取值范围均是[0,1]；
Figure DEST_PATH_IMAGE019
其中，N为图像的高度和重量的乘积；
Figure DEST_PATH_IMAGE020
表示分割任务中第
Figure DEST_PATH_IMAGE021
个像素的预测概率，
Figure DEST_PATH_IMAGE022
表示第
Figure 861468DEST_PATH_IMAGE021
个像素对应的标签值；
Figure DEST_PATH_IMAGE023
其中，
Figure DEST_PATH_IMAGE024
表示分类任务中图像的标签，
Figure DEST_PATH_IMAGE025
表示图像的预测概率；
Figure DEST_PATH_IMAGE027
其中，W和H表示多任务交互模型输出的权重和高度。
5.一种医学图像分割装置，其特征在于，包括：
预处理模块：用于获取原始医学影像的数据集，所述数据集中包括图像及其标签，将所述数据集进行预处理；
模型构建模块，构建多任务交互模型，所述多任务交互模型包括编码器、多任务交互框架及解码器，所述多任务交互框架包括分类分支、分割分支及交互分支，将预处理的数据送入所述编码器中提取特征，然后一个分支送入所述分类分支，经过池化层及全连接层后，送入分类层执行分类任务；另一个分支送入所述分割分支，经所述解码器解码后执行分割任务；将所述分类分支及分割分支的特征信息作为输入送入所述交互分支，经卷积后输出对图像预测的概率图，执行分类分支与分割分支的交互学习任务；
训练模块：用于基于博弈原理，建立所述分类任务和所述分割任务的交互作用关系，多次迭代训练，采用混合损失函数监督所述多任务交互模型的训练过程；
分割模块：用于针对任意医学图像，采用训练好的所述多任务交互模型进行图像分割，得到分割结果。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-4中任意一项所述的图像分割方法的步骤。
CN202111474961.2A 2021-12-06 2021-12-06 一种医学图像分割方法、装置及计算机可读存储介质 Active CN113902752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111474961.2A CN113902752B (zh) 2021-12-06 2021-12-06 一种医学图像分割方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111474961.2A CN113902752B (zh) 2021-12-06 2021-12-06 一种医学图像分割方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113902752A true CN113902752A (zh) 2022-01-07
CN113902752B CN113902752B (zh) 2022-02-22

Family

ID=79195352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111474961.2A Active CN113902752B (zh) 2021-12-06 2021-12-06 一种医学图像分割方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113902752B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583449A (zh) * 2018-10-29 2019-04-05 深圳市华尊科技股份有限公司 字符识别方法及相关产品
US20190197358A1 (en) * 2017-12-21 2019-06-27 International Business Machines Corporation Generative Adversarial Network Medical Image Generation for Training of a Classifier
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN111047594A (zh) * 2019-11-06 2020-04-21 安徽医科大学 肿瘤mri弱监督学习分析建模方法及其模型
US20210248736A1 (en) * 2018-06-13 2021-08-12 Siemens Healthcare Gmbh Localization and classification of abnormalities in medical images
WO2021184817A1 (zh) * 2020-03-16 2021-09-23 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190197358A1 (en) * 2017-12-21 2019-06-27 International Business Machines Corporation Generative Adversarial Network Medical Image Generation for Training of a Classifier
US20210248736A1 (en) * 2018-06-13 2021-08-12 Siemens Healthcare Gmbh Localization and classification of abnormalities in medical images
CN109583449A (zh) * 2018-10-29 2019-04-05 深圳市华尊科技股份有限公司 字符识别方法及相关产品
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
CN111047594A (zh) * 2019-11-06 2020-04-21 安徽医科大学 肿瘤mri弱监督学习分析建模方法及其模型
WO2021184817A1 (zh) * 2020-03-16 2021-09-23 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIU XIAOMING,ET AL.: "Accurate colorectal tumor segmentation for CT scans based on the label assignment generative adversarial network", 《MEDICAL PHYSICS》 *
杨华霖: "深度多任务学习中的CT术前结直肠癌分期与分割", 《万方》 *

Also Published As

Publication number Publication date
CN113902752B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN111612790B (zh) 一种基于t型注意力结构的医学图像分割方法
CN110930418B (zh) 融合W-net和条件生成对抗网络的视网膜血管分割方法
CN109410239A (zh) 一种基于条件生成对抗网络的文本图像超分辨率重建方法
CN109919032B (zh) 一种基于动作预测的视频异常行为检测方法
CN113392711B (zh) 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统
CN113706544B (zh) 一种基于完备注意力卷积神经网络的医学图像分割方法
Feng et al. URNet: A U-Net based residual network for image dehazing
CN113192062A (zh) 一种基于图像复原的动脉斑块超声图像自监督分割方法
CN111127490A (zh) 一种基于循环残差U-Net网络的医学图像分割方法
CN115619743A (zh) Oled新型显示器件表面缺陷检测模型的构建方法及其应用
CN112446869A (zh) 基于深度学习的无监督工业品缺陷检测方法及装置
CN112149689A (zh) 基于目标领域自监督学习的无监督领域适应方法和系统
CN117237279A (zh) 一种非均匀失真全景图像盲质量评价方法及系统
CN114677349A (zh) 编解码端边缘信息增强和注意引导的图像分割方法及系统
CN114998615A (zh) 一种基于深度学习的协同显著性检测方法
CN114359293A (zh) 一种基于深度学习的三维mri脑肿瘤分割方法
CN113902752B (zh) 一种医学图像分割方法、装置及计算机可读存储介质
CN114299573A (zh) 视频处理方法、装置、电子设备及存储介质
CN116452812A (zh) 一种伪装物体识别及语义分割方法
Fan et al. EGFNet: Efficient guided feature fusion network for skin cancer lesion segmentation
CN114332099A (zh) 一种基于多模态对比学习的深度特权语义分割方法
CN115994892A (zh) 一种基于ghostnet的轻量级医学图像分割方法及系统
CN115547488A (zh) 基于vgg卷积神经网络和面部识别孤独症早筛系统及方法
CN115965638A (zh) 模态缺失脑肿瘤影像自动分割的孪生自蒸馏方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant