CN114255237A - 基于半监督学习的图像分割模型的训练方法及分割方法 - Google Patents

基于半监督学习的图像分割模型的训练方法及分割方法 Download PDF

Info

Publication number
CN114255237A
CN114255237A CN202111338238.1A CN202111338238A CN114255237A CN 114255237 A CN114255237 A CN 114255237A CN 202111338238 A CN202111338238 A CN 202111338238A CN 114255237 A CN114255237 A CN 114255237A
Authority
CN
China
Prior art keywords
model
training
sample set
initial
training sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111338238.1A
Other languages
English (en)
Inventor
王毅
曾祥云
黄日安
钟宇鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202111338238.1A priority Critical patent/CN114255237A/zh
Publication of CN114255237A publication Critical patent/CN114255237A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于半监督学习的图像分割模型的训练方法及分割方法，方法包括基于第一训练样本集及初始教师模型确定第二训练样本集，并基于第二训练样本集优化初始学生模型以得到候选学生模型；基于第二训练样本集、候选学生模型、初始教师模型及第三训练样本集确定的损失函数优化初始教师模型，重复上述操作以得到图像分割模型。本申请中初始学生模型根据初始教师模型在无标注数据集的预测标注优化参数，初始教师模型根据候选学生模型在有标注数据集上的性能表现优化参数以生成更好的预测标注供初始学生模型学习，这样通过初始教师模型和初始学生模型的交替优化，可以合理利用有标注数据和无标注数据，提高图像分割模型的模型性能。

Description

基于半监督学习的图像分割模型的训练方法及分割方法
技术领域
本申请涉及医学图像处理技术领域，特别涉及一种基于半监督学习的图像分割模型的训练方法及分割方法。
背景技术
近年来，深度学习模型在医学图像分割领域被广泛应用，并取得了令人瞩目的卓越性能。然而，基于深度学习技术的分割方法，其共性问题是需要充足的分割标注用于模型训练。对于医学图像来说，标注数据的获取需要专业知识和时间。
由此，基于半监督的深度学习方式被应用于医学图像分割，并且普遍使用的基于半监督深度学习方法有两种，分别为基于自训练或协同训练生成伪标注的方式和基于平滑假设对模型正则化的方式。其中，基于自训练或协同训练生成伪标注的方式为基于有标注数据的训练样本集训练分割模型，然后采用训练后的分割模型预测无标注数据，并且选取可信度高的伪标注添加到训练样本集，继续训练分割模型直到分割模型的模型参数满足截止条件。这种方式需要选择可信度高的伪标注，但是当训练样本集存在有噪声的伪标注时会使得分割模型的模型性能变差。基于平滑假设对模型正则化的方式是将输入图像经过不同的数据变换得到多个输入图像，然后多个输入图像分别输入分割模型使多个输入图像的预测结果趋于相似。这种方式是说指同一样本经过不同变换后在数据分布空间中相近，对应预测结果也相似，但是没有说明有标注样本和无标注样本在数据分布空间中相近，无标注数据特征无法被充分提取，从而无法保证分割模型的模型性能。
因而现有技术还有待改进和提高。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种基于半监督学习的图像分割模型的训练方法及分割方法。
为了解决上述技术问题，本申请实施例第一方面提供了一种基于半监督学习的图像分割模型的训练方法，所述的训练方法包括：
基于第一训练样本集以及初始教师模型确定第二训练样本集，并基于所述第二训练样本集优化初始学生模型的模型参数，以得到候选学生模型，其中，所述第一训练样本集中的每个训练图像均未携带真实标注；
基于所述第二训练样本集、候选学生模型、所述初始教师模型以及第三训练样本集确定损失函数，并基于所述损失函数优化所述初始教师模型的模型参数，其中，所述第三训练样本集中的每个训练图像均携带真实标注；
将候选教师模型作为初始教师模型，将候选学生模型为初始学生模型，继续执行基于第一训练样本集以及初始教师模型确定第二训练样本集的步骤，直至所述初始学生模型的模型参数满足预设条件。
所述的基于半监督学习的图像分割模型的训练方法，其中，所述基于第一训练样本集以及初始教师模型确定第二训练样本集之前，所述方法包括：
采用第四训练样本集训练预设网络模型得到预训练教师模型，其中，所述第四训练样本集中的每个训练图像均携带真实标注；
采用第五训练样本集训练所述预训练教师模型以得到初始教师模型，并采用所述第五训练样本集训练所述预设网络模型以得到初始学生模型，其中，所述第五训练样本集中的部分训练图像携带真实标注，部分训练图像未携带真实标注。
所述的基于半监督学习的图像分割模型的训练方法，其中，所述基于第一训练样本集以及初始教师模型确定第二训练样本集具体包括：
对于第一训练样本集中的每个第一训练图像，将该第一训练图像输入所述初始教师模型，通过所述初始教师模型输出所述第一训练图像对应的第一预测标注；
将每个第一训练图像和其对应的第一预测标注作为一训练样本，并将得到的所有训练样本构成的训练样本集作为第二训练样本集。
所述的基于半监督学习的图像分割模型的训练方法，其中，所述基于所述第二训练样本集、候选学生模型、所述初始教师模型以及第三训练样本集确定损失函数具体包括：
基于所述第三训练样本集以及所述候选学生模型确定第一损失项；
基于第三训练样本集以及所述初始教师模型确定第二损失项；
基于第二训练样本集以及所述初始教师模型确定第三损失项；
基于所述第一损失项、所述第二损失项以及所述第三损失项，确定损失函数。
所述的基于半监督学习的图像分割模型的训练方法，其中，所述基于所述第二训练样本集以及所述初始教师模型确定第三损失项具体包括：
分别对所述第二训练样本集中的各第二训练图像以及各自对应的第二预测标注进行数据变换；
将各数据变换后的第二训练图像输入所述初始教师模型，通过所述初始教师模型确定各数据变换后的第二训练图像各自对应的预测标注；
基于各变换后的第二预测标注以及各预测标注，确定第三损失项。
所述的基于半监督学习的图像分割模型的训练方法，其中，所述数据变换为随机数据变换，且第二训练图像和其对应的第二预测标注各自对应的随机数据变换相同。
本申请实施例第二方面提供了了一种基于半监督学习的图像分割模型的训练装置，所述训练装置包括：
第一优化模块，用于基于第一训练样本集以及初始教师模型确定第二训练样本集，并基于所述第二训练样本集优化初始学生模型的模型参数，以得到候选学生模型，其中，所述第一训练样本集中的每个训练图像均未携带真实标注；
第二优化模块，用于基于所述第二训练样本集、候选学生模型、所述初始教师模型以及第三训练样本集确定损失函数，并基于所述损失函数优化所述初始教师模型的模型参数，其中，所述第三训练样本集中的每个训练图像均携带真实标注；
执行模块，用于将候选教师模型作为初始教师模型，将候选学生模型为初始学生模型，继续执行基于第一训练样本集以及初始教师模型确定第二训练样本集的步骤，直至所述初始学生模型的模型参数满足预设条件。
本申请实施例第三方面提供了一种医学图像分割方法，所述的方法应用如上所述的基于半监督学习的图像分割模型的训练方法训练得到的图像分割模型；所述的方法包括：
将待分割的医学图像输入所述图像分割模型；通过所述图像分割模型输出所述医学图像对应的目标区域。
本申请实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的基于半监督学习的图像分割模型的训练方法中的步骤。
本申请实施例第五方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的基于半监督学习的图像分割模型的训练方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种基于半监督学习的图像分割模型的训练方法及分割方法，所述方法包括基于第一训练样本集以及初始教师模型确定第二训练样本集，并基于所述第二训练样本集优化初始学生模型的模型参数以得到候选学生模型；基于所述第二训练样本集、候选学生模型、所述初始教师模型以及第三训练样本集确定损失函数，并基于所述损失函数优化所述初始教师模型的模型参数以得到候选教师模型；将候选教师模型作为初始教师模型，将候选学生模型为初始学生模型，继续执行基于第一训练样本集以及初始教师模型确定第二训练样本集的步骤，直至所述初始学生模型的模型参数满足预设条件。本申请中初始学生模型根据初始教师模型在无标注数据集的预测标注优化参数，初始教师模型根据已优化的初始学生模型在有标注数据集上的性能表现优化参数以生成更好的预测标注供初始学生模型学习，这样通过初始教师模型和初始学生模型的交替优化，可以合理利用有标注数据和无标注数据，从而可以提高训练得到的分割模型的模型性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的基于半监督学习的图像分割模型的训练方法的流程图。
图2为本申请提供的基于半监督学习的图像分割模型的训练方法的流程示意图。
图3为本申请提供的基于半监督学习的图像分割模型的训练方法中的预设网络模型的模型结构原理图。
图4为本申请提供的基于半监督学习的图像分割模型的训练装置的结构原理图。
图5为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种基于半监督学习的图像分割模型的训练方法及分割方法，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
发明人经过研究发现，深度学习模型在医学图像分割领域被广泛应用，并取得了令人瞩目的卓越性能。然而，基于深度学习技术的分割方法，其共性问题是需要充足的分割标注用于模型训练。对于医学图像来说，标注数据的获取需要专业知识和时间。
由此，基于半监督的深度学习方式被应用于医学图像分割，并且普遍使用的基于半监督深度学习方法有两种，分别为基于自训练或协同训练生成伪标注的方式和基于平滑假设对模型正则化的方式。其中，基于自训练或协同训练生成伪标注的方式为基于有标注数据的训练样本集训练分割模型，然后采用训练后的分割模型预测无标注数据，并且选取可信度高的伪标注添加到训练样本集，继续训练分割模型直到分割模型的模型参数满足截止条件。这种方式需要选择可信度高的伪标注，但是当训练样本集存在有噪声的伪标注时会使得分割模型的模型性能变差。基于平滑假设对模型正则化的方式是将输入图像经过不同的数据变换得到多个输入图像，然后多个输入图像分别输入分割模型使多个输入图像的预测结果趋于相似。这种方式是说指同一样本经过不同变换后在数据空间中相近，对应预测结果也相似，但是没有说明有标注样本和无标注样本在数据空间中相近，无标注数据特征无法被充分提取，从而无法保证分割模型的模型性能。
为了解决上述问题，在本申请实施例中，基于第一训练样本集以及初始教师模型确定第二训练样本集，并基于所述第二训练样本集优化初始学生模型的模型参数以得到候选学生模型；基于所述第二训练样本集、候选学生模型、所述初始教师模型以及第三训练样本集确定损失函数，并基于所述损失函数优化所述初始教师模型的模型参数以得到候选教师模型；将候选教师模型作为初始教师模型，将候选学生模型为初始学生模型，继续执行基于第一训练样本集以及初始教师模型确定第二训练样本集的步骤，直至所述初始学生模型的模型参数满足预设条件。本申请中初始学生模型根据初始教师模型在无标注数据集的预测标注优化参数，初始教师模型根据已优化的初始学生模型在有标注数据集上的性能表现优化参数以生成更好的预测标注供初始学生模型学习，这样通过初始教师模型和初始学生模型的交替优化，可以合理利用有标注数据和无标注数据，从而可以提高训练得到的分割模型的模型性能。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
本实施例提供了一种基于半监督学习的图像分割模型的训练方法，如图1和图2所示，所述方法包括：
S10、基于第一训练样本集以及初始教师模型确定第二训练样本集，并基于所述第二训练样本集优化初始学生模型的模型参数，以得到候选学生模型。
具体地，所述初始教师模型和所述初始学生模型均为深度学习网络模型，并且初始教师模型的模型结构和初始学生模型的模型结构相同，两者的区别在于初始教师模型的模型参数与初始学生模型的模型参数不同。可以理解的是，初始教师模型和初始学生模型是分别采用不同训练样本集对同一深度学习网络模型进行预训练训练得到，其中，初始教师模型可以采用携带标注的训练样本集预训练得到，初始学生模型可以采用包括部分携带标注的训练图像和部分未携带标注的训练图像的训练样本集预训练得到。
在本实施例的一个实现方式中，所述基于第一训练样本集以及初始教师模型确定第二训练样本集之前，所述方法包括：
采用第四训练样本集训练预设网络模型得到预训练教师模型；
采用第五训练样本集训练所述预训练教师模型以得到初始教师模型，并采用所述第五训练样本集训练所述预设网络模型以得到初始学生模型。
具体地，所述第四训练样本集中的每个训练图像均携带真实标注，所述第五训练样本集中的部分训练图像携带真实标注，部分训练图像未携带真实标注。可以理解的是，对于第四训练样本集中的每个训练图像，该训练图像均携带有真实标注，其中，真实标注可以通过人工标注得到。第五训练样本集中部分训练图像携带真实标注，部分训练图像未携带真实标注指的是在将第五训练样本集按照携带真实标注和未携带真实标注进行划分时，可以划分得到包含有训练图像的两个子样本集，并且两个子样本集中的一个子样本集中的训练图像均携带真实标注，另一个值样本集中的训练图像均未携带真实标注。例如，第五训练样本集包括若干训练批，若干训练批中的每个训练批均包括2个携带真实标注的训练图像，和4个未携带真实标注的训练图像。在本实施例的一个具体实现方式，所述第四训练样本集中的训练图像和第五训练样本集中的训练图像均为医生图像，例如，CT图像，超声图像以及MRI图像等。本实施例采用携带有真实标注和未携带真实标注的第五训练样本集训练学生模型，使得学生模型不直接学习有标注数据，避免了过拟合。
举例说明：
第四训练样本集包括3000个训练批，每个训练批包括4个携带有真实标注的训练医学图像。在基于第四训练样本集训练预设网络模型时，采用随机梯度下降算法优化预设网络模型的模型参数，初始学习率为0.01，每训练完1000个批次，学习率减小到原来的0.1直至训练完第3000个批次以得到预训练教师模型。
第五训练样本包括6000个训练批，每个训练批包括2个携带有真实标注的训练医学图像和4个携带有真实标注的训练医学图像。在基于第五训练样本集训练预训练教师模型和预设网络模型时，初始学习率为0.01，每训练完2500个批次，学习率减小到原来的0.1直至训练完第6000个批次以得到预训练教师模型，以得到初始教师模型和初始学生模型。
在本实施例的一个实现方式，在基于第四训练样本集训练预设网络模型得到预训练教师模型时，可以采用采用交叉熵损失函数作为损失函数，其中，所述损失函数的计算公式可以为：
Figure BDA0003351336810000091
其中，
Figure BDA0003351336810000092
表示损失函数，xl表示携带真实标注的训练图像，yl表示真实标注，T(xl；θT)表示携带真实标注的训练图像通过预设网络模型得到的预测标注，θT表示训练预设网络模型作为初始教师模型的模型参数。
在本实施例的一个实现方式中，所述预设网络模型为用于进行分割任务的神经网络，通过对预设网络模型进行训练可以得到初始教师模型和初始学生模型。其中，如图3所示，所述预设网络模型可以包括编码器和解码器，编码器包括4个编码模块和4个最大池化层，4个编码模块与4个最大池化层依次交替布置，并且每个编码模块之后均布置有最大池化层，其中，每个编码模块包含依次级联两个卷积层、标准化层和激活函数(Relu)层，输入图像通过编码模块后通道数变为原来的2倍，编码模块输出的输入图像经过最大池化层下采样尺寸缩小1/2，初始卷积通道数为64。解码器包括3个解码模块和3个上采样层，3个解码模块与4个3个上采样层依次交替布置，并且每个解码模块之前均布置有上采样层，其中，解码模块与编码模块结构相同，编码器输出的特征图通过上采样层放大2倍后与通过跳跃连接将编码器中的编码模块输出的相同浅层特征图与放大后的特征图拼接，拼接得到的特征图输入解码模块，所述上采样层可以采用最近邻插值法对特征图进行上采样。
在本实施例的一个实现方式中，所述基于第一训练样本集以及初始教师模型确定第二训练样本集具体包括：
对于第一训练样本集中的每个第一训练图像，将该第一训练图像输入所述初始教师模型，通过所述初始教师模型输出所述第一训练图像对应的第一预测标注；
将每个第一训练图像和其对应的第一预测标注作为一训练样本，并将得到的所有训练样本构成的训练样本集作为第二训练样本集。
具体地，所述第一训练样本集中的第一训练图像均未携带真实标注，第二训练样本集中的每个训练图像均为第一训练样本集中的一个第一训练图像，并且第二训练样本集中的每个训练图像均携带有预测标注，该预测标注为该训练图像对应的第一训练图像通过初始教师模型学习得到。也就是说，在获取到第一训练样本集后，通过初始教师模型对第一训练样本集中的每个第一训练图像进行图像分割，以得到每个第一训练图像对应的第一预测标注，然后将第一预测标注作为第一训练图像对应的伪标注来形成训练样本，再将形成的所有训练样本构成的训练样本集作为第二训练样本集。可以理解的是，第二训练样本集包括的训练图像的数量与第一训练样本集包括的第一训练图像的数量相同，并且第一训练样本集包括的第一训练图像与第二训练样本包括的训练图像的图像内容相同，两者的区别在第一训练图像未携带标注，第二训练样本中的训练图像携带有通过初始教师模型学习到的伪标注。
在本实施例的一个实现方式中，在获取到第二训练样本集后，采用第二训练样本集训练初始学生模型，其中，初始学生模型可以采用最小化的交叉熵损失来优化模型参数，优化后的模型参数的表示式可以为：
Figure BDA0003351336810000101
其中，
Figure BDA0003351336810000102
表示候选学生模型的模型参数，xu表示第二训练样本集中的第二训练图像，
Figure BDA0003351336810000103
表示第二训练图像对应的第二预测标注，S(xu；θS)表示通过初始学生模型预测得到的预测标注，θS表示优化前的初始学生模型的模型参数。
S20、基于所述第二训练样本集、候选学生模型、所述初始教师模型以及第三训练样本集确定损失函数，并基于所述损失函数优化所述初始教师模型的模型参数。
具体地，所述第三训练样本集中的每个训练图像均携带真实标注，其中，所述第三训练样本集可以与第四训练样本集相同，也可以与第四训练样本集不同。例如，预先设置携带真实标注的训练图像的数据集，从该数据集中选取若干携带真实标注的训练图像形成第三训练样本集，再从该数据集中选取若干携带真实标注的训练图像形成第四训练样本集，其中，第三训练样本集中的训练图像与第四训练样本集中的训练图像互不相同，或者第三训练样本集中的训练图像与第四训练样本集中的训练图像部分不相同。
在本实施例的一个实现方式中，所述基于所述第二训练样本集、候选学生模型、所述初始教师模型以及第三训练样本集确定损失函数具体包括：
基于所述第三训练样本集以及所述候选学生模型确定第一损失项；
基于第三训练样本集以及所述初始教师模型确定第二损失项；
基于第二训练样本集以及所述初始教师模型确定第三损失项；
基于所述第一损失项、所述第二损失项以及所述第三损失项，确定损失函数。
具体地，所述第一损失项为第三训练样本集以及所述候选学生模型所得到。可以理解的是，在选取到第三训练样本集中，将第三训练样本集中的第三训练图像输入候选学生模型，通过初始学生模型输出第三预测图像对应的第三预测标注，并基于第三训练图像对应的真实标注以及第三预测标注确定第一损失项。
候选学生模型在有标注数据中的分割性能会好于优化前的初始学生模型以达到更低的交叉熵损失，即使得
Figure BDA0003351336810000111
最小化。此外，候选学生模型的模型参数
Figure BDA0003351336810000112
与第二预测标注
Figure BDA0003351336810000113
与初始教师模型的模型参数θT有联系。由此，可以将候选学生模型的模型参表示为
Figure BDA0003351336810000114
从而通过最小化反馈损失
Figure BDA0003351336810000115
来优化初始教师模型参数θT：
Figure BDA0003351336810000116
其中，yl表示第三训练样本集中的第三训练图像的真实标注，xl表示第三训练样本集中的第三训练图像。
此外，在初始学生模型和初始教师模型的一次交互学习(包括一次初始学生模型的更新和一次初始教师模型的更新)，由于在优化θS直到初始学生模型完全收敛效率很低，而且计算梯度
Figure BDA0003351336810000121
需要将初始学生模型的整个训练过程展开，这样会影响运算效率进而影响模型训练速度。由此，在本实施例的一个典型实现方式中，借用元学习方法，用θS的一步梯度更新近似等于
Figure BDA0003351336810000122
即：
Figure BDA0003351336810000123
其中，ηS是初始学生模型训练的学习率，这样可以提高梯度
Figure BDA0003351336810000124
的运算效率。可以理解的是，在基于第二训练样本集优化初始学生模型时，可以用随机梯度下降优化初始学生模型的模型参数，其中，优化后的模型参数可以表示为：
Figure BDA0003351336810000125
其中，θ'S表示候选学生模型的模型参数，xu表示第二训练样本集中的第二训练图像，
Figure BDA0003351336810000126
表示第二训练图像对应的第二预测标注，S(xu；θS)表示通过初始学生模型预测得到的预测标注，θS表示优化前的初始学生模型的模型参数，ηS表示初始学生模型训练的学习率。
基于此，第一损失项可以采用随机梯度方式来确定，即可以采用梯度
Figure BDA0003351336810000127
作为第一损失项。其中，第一损失项
Figure BDA0003351336810000128
的确定过程可以包括：
第一：根据链式法则
Figure BDA0003351336810000129
可以转换为：
Figure BDA00033513368100001210
初始学生模型优化后的模型参数θ'S根据概率分布T(xu；θT)采样
Figure BDA00033513368100001211
的期望得来，即
Figure BDA00033513368100001212
令：
Figure BDA0003351336810000131
由于，
Figure BDA0003351336810000132
仅与预测标注
Figure BDA0003351336810000133
与初始教师模型的模型参数θT相关，从而使用REINFORCE方程计算梯度：
Figure BDA0003351336810000134
最后，使用蒙特卡洛估计，从T(xu；θT)中抽样得到
Figure BDA0003351336810000135
用经验平均逼近
Figure BDA0003351336810000136
从而所述第一损失项为：
Figure BDA0003351336810000137
在本实施例的一个实现方式中，为了充分优化初始教师模型，除了基于初始学生模型确定的第一损失项后，还采用第三训练样本集中的携带真实标注的训练图像对初始教师模型进行全监督训练。可以理解的是，第二损失项为通过采用第三训练样本集对初始教师模型进行全监督训练所得到，其中，第二损失项的表达式可以为：
Figure BDA0003351336810000138
其中，
Figure BDA0003351336810000139
表示第二损失项，xl表示训练图像，yl表示训练图像对应的真实标注，T((xl)；θT)表示初始教师模型输出的预测标注。
在本实施例的一个实现方式中，所述基于所述第二训练样本集以及所述初始教师模型确定第三损失项具体包括：
分别对所述第二训练样本集中的各第二训练图像以及各自对应的第二预测标注进行数据变换；
将各数据变换后的第二训练图像输入所述初始教师模型，通过所述初始教师模型确定各数据变换后的第二训练图像各自对应的预测标注；
基于各变换后的第二预测标注以及各预测标注，确定第三损失项。
具体地，所述数据变换为随机数据变换，且第二训练图像和其对应的第二预测标注各自对应的随机数据变换相同，其中，随机数据变换可包括随机翻转和随机旋转等。可以理解的是，第三损失项为采用数据转换一致性所确定的正则化向，通过采用正则化向对初始教师模型进行正则化，可以更充分地利用未携带真实标注的训练图像，从而可以提高分割网络的泛化能力。在一个具体实现方式中，第三损失项可以采用最小化交叉熵损失函数，其中，第三损失项可以表示为：
Figure BDA0003351336810000141
其中，πi表示随机数据变换，包括对输入图像的随机翻转和随机旋转，随机旋转的旋转角度可以为γ·90°,γ∈{0,1,2,3}。
最后，在获取到第一损失项、第二损失项和第三损失项后可以采用用SGD优化初始教师模型，其中，初始教师模型的模型参数的优化表达式可以为：
Figure BDA0003351336810000142
其中，
Figure BDA0003351336810000143
是一个时变高斯增函数，用于平衡正则化损失函数
Figure BDA0003351336810000144
和其它损失函数，t表示当前训练迭代次数，tmax表示总迭代次数。
S30、将所述候选教师模型作为初始教师模型，将所述候选学生模型作为初始学生模型，继续执行基于第一训练样本集以及初始教师模型确定第二训练样本集的步骤，直至所述初始学生模型的模型参数满足预设条件，以得到图像分割模型。
具体地，在完成一次初始教师模型优化和初始学生模型优化后，在重复执行基于第一训练样本集以及初始教师模型确定第二训练样本集的步骤和优化初始教师模型的模型参数的步骤以进行迭代训练直至初始学生模型的模型参数满足预设条件，并将初始学生模型作为训练得到的医学图像分割模型，其中，所述预设条件可以包括基于初始学生模型确定损失项小于预设阈值，或者训练次数达到预设次数阈值。此外，在初始学生模型的模型参数满足预设条件后，将满足预设条件的初始学生模型作为图像分割模型。
在本实施例的一个实现方式中，在采用初始教师模型和初始学生模型交互训练来训练分割模型时，可以根据用于执行所述基于半监督学习的图像分割模型的训练方法的电子设备的显存大小来对训练图像进行图像尺寸缩放，可以避免电子设备的显存对训练过程的限制。其中，在对训练图像进行图像尺寸缩放时可以采用SimpleITK重采样的方式进行图像尺寸缩放。此外，在进行图像尺寸缩放后，可以再将图像的数据分布标准化，使其分布均值为0，方差为1。当然，在实际应用中，为了减少计算成本，训练时可以在各个训练图像中随机选取固定大小的patch作为训练图像。此外，本实施例中的真实标注可以为真实分割区域，预测标注可以为预测到的分割区域。
综上所述，本实施例提供了一种基于半监督学习的图像分割模型的训练方法，所述方法包括基于第一训练样本集以及初始教师模型确定第二训练样本集，并基于所述第二训练样本集优化初始学生模型的模型参数以得到候选学生模型；基于所述第二训练样本集、候选学生模型、所述初始教师模型以及第三训练样本集确定损失函数，并基于所述损失函数优化所述初始教师模型的模型参数；将候选教师模型作为初始教师模型，将候选学生模型为初始学生模型，继续执行基于第一训练样本集以及初始教师模型确定第二训练样本集的步骤和优化初始教师模型的模型参数的步骤，直至满足预设条件，以得到图像分割模型。本申请中初始学生模型根据初始教师模型在无标注数据集的预测标注优化参数，初始教师模型根据已优化的初始学生模型在有标注数据集上的性能表现优化参数以生成更好的预测标注供初始学生模型学习，这样通过初始教师模型和初始学生模型的交替优化，可以合理利用有标注数据和无标注数据，从而可以提高训练得到的分割模型的模型性能。
基于上述基于半监督学习的图像分割模型的训练方法，本实施例提供了一种基于半监督学习的图像分割模型的训练装置，如图4所示，所述训练装置包括：
第一优化模块100，用于基于第一训练样本集以及初始教师模型确定第二训练样本集，并基于所述第二训练样本集优化初始学生模型的模型参数，以得到候选学生模型，其中，所述第一训练样本集中的每个训练图像均未携带真实标注；
第二优化模块200，用于基于所述第二训练样本集、候选学生模型、所述初始教师模型以及第三训练样本集确定损失函数，并基于所述损失函数优化所述初始教师模型的模型参数，其中，所述第三训练样本集中的每个训练图像均携带真实标注；
执行模块300，用于将所述候选教师模型作为初始教师模型，将所述候选学生模型作为初始学生模型，继续执行基于第一训练样本集以及初始教师模型确定第二训练样本集的步骤，直至所述初始学生模型的模型参数满足预设条件，以得到图像分割模型。
基于上述基于半监督学习的图像分割模型的训练方法，本实施例提供了一种医学图像分割方法，所述的方法应用上述实施例所述的基于半监督学习的图像分割模型的训练方法所得到的图像分割模型；所述的方法包括：
将待分割的医学图像输入所述图像分割模型；通过所述图像分割模型输出所述医学图像对应的目标区域。
具体地，在获取到待分割的医学图像后，可以先使用SimpleITK重采样适当缩放图像尺寸再进行灰度标准化处理，并将灰度标准化处理后的医学图像输入所述图像分割模型，以通过所述学习模型输出所述医学图像对应的目标区域，从而实现医学图像的分割。当然，在实际应用，在运行图像分割模型的电子设备存在显存限制时，可以对灰度标准化处理后的医学图像进行滑窗，以得到若干patch，然后通过图像分割模型确定每个patch的预测目标区域，再将若干patch的预测目标区域进行重建以得到医学图像的目标区域。
基于上述基于半监督学习的图像分割模型的训练方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的基于半监督学习的图像分割模型的训练方法中的步骤。
基于上述基于半监督学习的图像分割模型的训练方法，本申请还提供了一种终端设备，如图5所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于半监督学习的图像分割模型的训练方法，其特征在于，所述的训练方法包括：
基于第一训练样本集以及初始教师模型确定第二训练样本集，并基于所述第二训练样本集优化初始学生模型的模型参数，以得到候选学生模型，其中，所述第一训练样本集中的每个训练图像均未携带真实标注；
基于所述第二训练样本集、候选学生模型、所述初始教师模型及第三训练样本集确定损失函数，并基于所述损失函数优化所述初始教师模型的模型参数以得到候选教师模型，其中，所述第三训练样本集中的每个训练图像均携带真实标注；
将所述候选教师模型作为初始教师模型，将所述候选学生模型作为初始学生模型，继续执行基于第一训练样本集以及初始教师模型确定第二训练样本集的步骤，直至所述初始学生模型的模型参数满足预设条件，以得到图像分割模型。
2.根据权利要求1所述的基于半监督学习的图像分割模型的训练方法，其特征在于，所述基于第一训练样本集以及初始教师模型确定第二训练样本集之前，所述方法包括：
采用第四训练样本集训练预设网络模型得到预训练教师模型，其中，所述第四训练样本集中的每个训练图像均携带真实标注；
采用第五训练样本集训练所述预训练教师模型以得到初始教师模型，并采用所述第五训练样本集训练所述预设网络模型以得到初始学生模型，其中，所述第五训练样本集中的部分训练图像携带真实标注，部分训练图像未携带真实标注。
3.根据权利要求1所述的基于半监督学习的图像分割模型的训练方法，其特征在于，所述基于第一训练样本集以及初始教师模型确定第二训练样本集具体包括：
对于第一训练样本集中的每个第一训练图像，将该第一训练图像输入所述初始教师模型，通过所述初始教师模型输出所述第一训练图像对应的第一预测标注；
将每个第一训练图像和其对应的第一预测标注作为一训练样本，并将得到的所有训练样本构成的训练样本集作为第二训练样本集。
4.根据权利要求1所述的基于半监督学习的图像分割模型的训练方法，其特征在于，所述基于所述第二训练样本集、候选学生模型、所述初始教师模型以及第三训练样本集确定损失函数具体包括：
基于第三训练样本集以及所述候选学生模型确定第一损失项；
基于第三训练样本集以及所述初始教师模型确定第二损失项；
基于第二训练样本集以及所述初始教师模型确定第三损失项；
基于所述第一损失项、所述第二损失项以及所述第三损失项，确定损失函数。
5.根据权利要求4的所述基于半监督学习的图像分割模型的训练方法，其特征在于，所述基于所述第二训练样本集以及所述初始教师模型确定第三损失项具体包括：
分别对所述第二训练样本集中的各第二训练图像以及各自对应的第二预测标注进行数据变换；
将各数据变换后的第二训练图像输入所述初始教师模型，通过所述初始教师模型确定各数据变换后的第二训练图像各自对应的预测标注；
基于各变换后的第二预测标注以及各预测标注，确定第三损失项。
6.根据权利要求5的所述基于半监督学习的图像分割模型的训练方法，其特征在于，所述数据变换为随机数据变换，且第二训练图像和其对应的第二预测标注各自对应的随机数据变换相同。
7.一种基于半监督学习的图像分割模型的训练装置，其特征在于，所述训练装置包括：
第一优化模块，用于基于第一训练样本集以及初始教师模型确定第二训练样本集，并基于所述第二训练样本集优化初始学生模型的模型参数，以得到候选学生模型，其中，所述第一训练样本集中的每个训练图像均未携带真实标注；
第二优化模块，用于基于所述第二训练样本集、候选学生模型、所述初始教师模型以及第三训练样本集确定损失函数，并基于所述损失函数优化所述初始教师模型的模型参数，以得到候选教师模型，其中，所述第三训练样本集中的每个训练图像均携带真实标注；
执行模块，用于将候选教师模型作为初始教师模型，将候选学生模型为初始学生模型，继续执行基于第一训练样本集以及初始教师模型确定第二训练样本集的步骤，直至所述初始学生模型的模型参数满足预设条件，以得到图像分割模型。
8.一种医学图像分割方法，其特征在于，所述的方法应用如权利要求1-6任一项所述的基于半监督学习的图像分割模型的训练方法训练得到的图像分割模型；所述的方法包括：
将待分割的医学图像输入所述图像分割模型；通过所述图像分割模型输出所述医学图像对应的目标区域。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-6任意一项所述的基于半监督学习的图像分割模型的训练方法中的步骤。
10.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-6任意一项所述的基于半监督学习的图像分割模型的训练方法中的步骤。
CN202111338238.1A 2021-11-12 2021-11-12 基于半监督学习的图像分割模型的训练方法及分割方法 Pending CN114255237A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111338238.1A CN114255237A (zh) 2021-11-12 2021-11-12 基于半监督学习的图像分割模型的训练方法及分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111338238.1A CN114255237A (zh) 2021-11-12 2021-11-12 基于半监督学习的图像分割模型的训练方法及分割方法

Publications (1)

Publication Number Publication Date
CN114255237A true CN114255237A (zh) 2022-03-29

Family

ID=80792491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111338238.1A Pending CN114255237A (zh) 2021-11-12 2021-11-12 基于半监督学习的图像分割模型的训练方法及分割方法

Country Status (1)

Country Link
CN (1) CN114255237A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494275A (zh) * 2022-04-15 2022-05-13 北京美摄网络科技有限公司 一种用于移动终端图像分割模型训练方法和装置
CN114708436A (zh) * 2022-06-02 2022-07-05 深圳比特微电子科技有限公司 语义分割模型的训练方法、语义分割方法、装置和介质
CN114708286A (zh) * 2022-06-06 2022-07-05 珠海横琴圣澳云智科技有限公司 基于伪标注动态更新的细胞实例分割方法和装置
CN114926471A (zh) * 2022-05-24 2022-08-19 北京医准智能科技有限公司 一种图像分割方法、装置、电子设备及存储介质
CN115147426A (zh) * 2022-09-06 2022-10-04 北京大学 基于半监督学习的模型训练与图像分割方法和系统
CN115641443A (zh) * 2022-12-08 2023-01-24 北京鹰瞳科技发展股份有限公司 训练图像分割网络模型的方法、处理图像的方法及产品
CN116071375A (zh) * 2023-03-10 2023-05-05 福建自贸试验区厦门片区Manteia数据科技有限公司 图像分割方法和装置、存储介质及电子设备

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494275A (zh) * 2022-04-15 2022-05-13 北京美摄网络科技有限公司 一种用于移动终端图像分割模型训练方法和装置
CN114494275B (zh) * 2022-04-15 2022-08-05 北京美摄网络科技有限公司 一种用于移动终端图像分割模型训练方法和装置
CN114926471A (zh) * 2022-05-24 2022-08-19 北京医准智能科技有限公司 一种图像分割方法、装置、电子设备及存储介质
CN114926471B (zh) * 2022-05-24 2023-03-28 北京医准智能科技有限公司 一种图像分割方法、装置、电子设备及存储介质
CN114708436A (zh) * 2022-06-02 2022-07-05 深圳比特微电子科技有限公司 语义分割模型的训练方法、语义分割方法、装置和介质
CN114708286A (zh) * 2022-06-06 2022-07-05 珠海横琴圣澳云智科技有限公司 基于伪标注动态更新的细胞实例分割方法和装置
CN115147426A (zh) * 2022-09-06 2022-10-04 北京大学 基于半监督学习的模型训练与图像分割方法和系统
CN115147426B (zh) * 2022-09-06 2022-11-29 北京大学 基于半监督学习的模型训练与图像分割方法和系统
CN115641443A (zh) * 2022-12-08 2023-01-24 北京鹰瞳科技发展股份有限公司 训练图像分割网络模型的方法、处理图像的方法及产品
CN115641443B (zh) * 2022-12-08 2023-04-11 北京鹰瞳科技发展股份有限公司 训练图像分割网络模型的方法、处理图像的方法及产品
CN116071375A (zh) * 2023-03-10 2023-05-05 福建自贸试验区厦门片区Manteia数据科技有限公司 图像分割方法和装置、存储介质及电子设备
CN116071375B (zh) * 2023-03-10 2023-09-26 福建自贸试验区厦门片区Manteia数据科技有限公司 图像分割方法和装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN114255237A (zh) 基于半监督学习的图像分割模型的训练方法及分割方法
US11837324B2 (en) Deep learning-based aberrant splicing detection
US11423311B2 (en) Automatic tuning of artificial neural networks
US20070047802A1 (en) Training convolutional neural networks on graphics processing units
US20230075100A1 (en) Adversarial autoencoder architecture for methods of graph to sequence models
WO2023051140A1 (zh) 用于图像特征表示生成的方法、设备、装置和介质
CN114821217B (zh) 一种基于量子经典混合神经网络的图像识别方法及装置
CN111144565A (zh) 基于一致性训练的自监督领域自适应深度学习方法
US20240095563A1 (en) Quantum convolution operator
CN112381079A (zh) 图像处理方法和信息处理设备
CN116543388B (zh) 一种基于语义引导信息的条件式图像生成方法及相关装置
CN116664588A (zh) 基于掩码建模的3d医学图像分割模型建立方法及其应用
US20220405570A1 (en) Post-hoc loss-calibration for bayesian neural networks
EP3627403A1 (en) Training of a one-shot learning classifier
CN116824146A (zh) 一种小样本ct图像分割方法、系统、终端及存储介质
US20230106141A1 (en) Dimensionality reduction model and method for training same
EP4246375A1 (en) Model processing method and related device
CN114708471B (zh) 跨模态图像生成方法、装置、电子设备与存储介质
US20220189154A1 (en) Connection weight learning for guided architecture evolution
CN112084782B (zh) 一种基于能量增强的注意力网络的答案识别方法及系统
US11922550B1 (en) Systems and methods for hierarchical text-conditional image generation
US20240135610A1 (en) Image generation using a diffusion model
US20240070456A1 (en) Corrective Reward Optimization for Sequential Labeling
Ruoss Evaluation of Adversarial Attack Methods on Neural Networks
CN117115180A (zh) 基于域自适应的半监督医学图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination