CN115147426B - 基于半监督学习的模型训练与图像分割方法和系统 - Google Patents

基于半监督学习的模型训练与图像分割方法和系统 Download PDF

Info

Publication number
CN115147426B
CN115147426B CN202211081614.8A CN202211081614A CN115147426B CN 115147426 B CN115147426 B CN 115147426B CN 202211081614 A CN202211081614 A CN 202211081614A CN 115147426 B CN115147426 B CN 115147426B
Authority
CN
China
Prior art keywords
model
image
segmentation
training
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211081614.8A
Other languages
English (en)
Other versions
CN115147426A (zh
Inventor
罗家佳
冯飞
左健为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202211081614.8A priority Critical patent/CN115147426B/zh
Publication of CN115147426A publication Critical patent/CN115147426A/zh
Application granted granted Critical
Publication of CN115147426B publication Critical patent/CN115147426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，提供一种基于半监督学习的模型训练与图像分割方法和系统，方法包括：基于第一图像数据集，以及对第一图像数据集降采样得到的退化图像数据集，训练图像修复模型；基于图像修复模型，初始化第一预训练模型和第二预训练模型；基于携带真实分割标签的第二图像数据集，对第一预训练模型进行训练，得到第一分割模型；将第三图像数据集输入至第一分割模型，得到第一分割模型输出的第三图像数据集的伪分割标签；基于携带伪分割标签的第三图像数据集，以及携带真实分割标签的第四图像数据集，对第二预训练模型进行训练，得到图像分割模型，在不增加标注负担的前提下，提高了图像分割模型的可靠性和准确性。

Description

基于半监督学习的模型训练与图像分割方法和系统
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于半监督学习的模型训练与图像分割方法和系统。
背景技术
目前，针对磁共振（Magnetic Resonance，MR）图像的图像分割技术，多是通过训练好的神经网络模型实现。神经网络模型的分割效果，很大程度上取决于训练数据集的规模和质量。
然而，在生物医学领域，训练数据集的收集本身存在困难，且针对训练数据集的标注通常需要有专业经验的医师执行，数据来源的稀缺以及标注成本的高昂，都限制着训练数据集的规模和质量。
如何在训练数据有限的情况下，实现高性能的图像分割，依然是人工智能领域亟待解决的问题。
发明内容
本发明提供一种基于半监督学习的模型训练与图像分割方法和系统，用以解决现有技术中训练数据有限，限制了图像分割性能的缺陷。
本发明提供一种基于半监督学习的模型训练方法，包括：
基于第一图像数据集，以及对所述第一图像数据集降采样得到的退化图像数据集，训练图像修复模型；
基于所述图像修复模型，初始化第一预训练模型和第二预训练模型；
基于携带真实分割标签的第二图像数据集，对所述第一预训练模型进行训练，得到第一分割模型；
将第三图像数据集输入至所述第一分割模型，得到所述第一分割模型输出的所述第三图像数据集的伪分割标签；
基于携带伪分割标签的第三图像数据集，以及携带真实分割标签的第四图像数据集，对所述第二预训练模型进行训练，得到图像分割模型。
根据本发明提供的一种基于半监督学习的模型训练方法，所述基于携带伪分割标签的第三图像数据集，以及携带真实分割标签的第四图像数据集，对所述第二预训练模型进行训练，得到图像分割模型，包括：
将所述第三图像数据集输入至所述第二预训练模型，得到所述第二预训练模型输出的第三分割结果；
将所述第四图像数据集输入至所述第二预训练模型，得到所述第二预训练模型输出的第四分割结果；
基于所述第三分割结果、所述第三图像数据集的伪分割标签、所述第四分割结果、以及所述第四图像数据集的真实分割标签，对所述第二预训练模型进行参数迭代，得到图像分割模型。
根据本发明提供的一种基于半监督学习的模型训练方法，所述基于所述第三分割结果、所述第三图像数据集的伪分割标签、所述第四分割结果、以及所述第四图像数据集的真实分割标签，对所述第二预训练模型进行参数迭代，得到图像分割模型，包括：
基于所述第三分割结果，以及所述第三图像数据集的伪分割标签，确定无监督损失；
基于所述第四分割结果，以及所述第四图像数据集的真实分割标签，确定监督损失；
基于所述监督损失和所述无监督损失，对所述第二预训练模型进行参数迭代，得到所述图像分割模型。
根据本发明提供的一种基于半监督学习的模型训练方法，所述基于第一图像数据集，以及对所述第一图像数据集降采样得到的退化图像数据集，训练图像修复模型，包括：
将所述退化图像数据集输入至初始模型，得到所述初始模型输出的修复图像数据集；
基于所述第一图像数据集和所述修复图像数据集，确定修复损失；
基于所述修复损失，对所述初始模型进行参数迭代，得到所述图像修复模型。
根据本发明提供的一种基于半监督学习的模型训练方法，所述退化图像数据集基于如下步骤确定：
基于至少一种预设降采样率，对所述第一图像数据集在行或列上进行降采样，并对降采样后的行或列上的像素进行重组运算，得到所述第一图像数据集对应的退化图像数据集。
本发明还提供一种基于半监督学习的图像分割方法，包括：
确定待分割图像；
将所述待分割图像输入至图像分割模型，得到所述图像分割模型输出的图像分割结果，所述图像分割模型基于如上所述的基于半监督学习的模型训练方法确定。
本发明还提供一种基于半监督学习的模型训练系统，包括：
修复训练单元，用于基于第一图像数据集，以及对所述第一图像数据集降采样得到的退化图像数据集，训练图像修复模型；
预训练单元，用于基于所述图像修复模型，初始化第一预训练模型和第二预训练模型；
第一分割训练单元，用于基于携带真实分割标签的第二图像数据集，对所述第一预训练模型进行训练，得到第一分割模型；
伪标签获取单元，用于将第三图像数据集输入至所述第一分割模型，得到所述第一分割模型输出的所述第三图像数据集的伪分割标签；
图像分割训练单元，用于基于携带伪分割标签的第三图像数据集，以及携带真实分割标签的第四图像数据集，对所述第二预训练模型进行训练，得到图像分割模型。
本发明还提供一种基于半监督学习的图像分割系统，包括：
图像获取单元，用于确定待分割图像；
图像分割单元，用于将所述待分割图像输入至图像分割模型，得到所述图像分割模型输出的图像分割结果，所述图像分割模型基于如上所述的基于半监督学习的模型训练方法确定。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于半监督学习的模型训练方法，或基于半监督学习的图像分割方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于半监督学习的模型训练方法，或基于半监督学习的图像分割方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于半监督学习的模型训练方法，或基于半监督学习的图像分割方法。
本发明提供的基于半监督学习的模型训练与图像分割方法和系统，基于第一图像数据集及其降采样所得的退化图像数据集训练得到图像修复模型，并由此初始化后续训练的预训练模型，使得预训练模型的获取无需再额外进行样本标注，极大降低了训练数据获取的负担；并且，基于第一预训练模型微调得到的第一分割模型生成伪分割标签，扩充了图像分割模型的训练数据，保证了基于第二预训练模型微调得到的图像分割模型的泛化性能，提高了图像分割模型的可靠性和准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于半监督学习的模型训练方法的流程示意图之一；
图2是本发明提供的基于半监督学习的模型训练方法中步骤150的流程示意图；
图3是本发明提供的基于半监督学习的模型训练方法的流程示意图之二；
图4是本发明提供的基于半监督学习的图像分割方法的流程示意图；
图5是本发明提供的基于半监督学习的模型训练系统的结构示意图；
图6是本发明提供的基于半监督学习的图像分割系统的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，基于卷积神经网络（Convolutional Neural Networks，CNN）在图像分析效率方面，尤其是大规模处理方面的优势，卷积神经网络在MR图像分割和关键点定位，得到了广泛的应用。
可以理解的是，基于卷积神经网络构建模型的分割效果，很大程度上取决于训练数据集的规模和质量。首先，大规模的训练数据集是模型强大性能的基础。其次，监督学习要求训练数据被正确标记，错误标注的训练数据会直接损害模型的性能。
但是，具体在生物医学领域，训练数据集的获取方面依然存在一些困难。以女性盆底MR图像的分割应用为例，收集大规模的女性盆底MR图像本身就很困难，而针对收集得到女性盆底MR图像进行标注所需的人力成本和时间成本都很昂贵，标注需要由有经验的放射科医师执行，这就决定了可用标注人员的短缺，并且，标注的过程是繁琐且耗时的，这也进一步限制了训练数据集的规模，加重了构建训练数据集的负担。
相关技术中，存在虽然通过迁移学习或者数据合成的方式来扩充训练数据集，以解决训练数据短缺的问题，但是无论是迁移学习还是数据合成，具体在生物医学领域图像的分割应用中，均存在相应的缺陷。
其中，迁移学习是指在女性盆底MR图像的分割应用中，先让模型基于其他部位的训练数据集进行学习，再将学习后的模型迁移到女性盆底MR图像的分割任务中。由于基于卷积神经网络构建的模型在最开始的几层通常是学习到图像最基本的模式，将最开始的基层直接迁移到女性盆底MR图像分割的深度学习任务中，能够减少需要学习基本特征和模式的数据量。
但是迁移学习只能在任务所用的数据类型接近时得到理想效果，但是女性盆底MR图像与其他部位的MR图像往往存在较大区别，因此在女性盆底MR图像的数据量不足的情况下，迁移学习并不能显著提升图像分割模型的泛化性能。
数据合成是指在难以获得大量真实数据的情况下，使用合成数据进行训练。例如，可以使用生成对抗网络（Generative Adversarial Network，GAN）合成模拟的数据用于扩充数据集。
但是数据合成通常适用比较简单、容易模拟的数据，女性盆底MR图像相对复杂、模拟难度大。因此数据合成的模拟MR图像可能会和真实的MR图像存在较大的区别，应用模拟MR图像进行模型训练，反而可能损害模型性能。
基于上述情况，如何应用有限的训练数据提高图像分割模型的性能，依然是本领域技术人员亟待解决的问题。
针对这一问题，本发明实施例提供一种模型训练方法。图1是本发明提供的基于半监督学习的模型训练方法的流程示意图之一，如图1所示，该方法包括：
步骤110，基于第一图像数据集，以及对所述第一图像数据集降采样得到的退化图像数据集，训练图像修复模型。
具体地，第一图像数据集即预先收集到的样本图像数据集，第一图像数据集中可以包括大量第一图像，第一图像可以是待训练的图像分割模型所需分割的图像的同类图像，且第一图像中包含的物体可以与待训练的图像分割模型所需分割的图像中包含的物体相同或者不同，例如所需分割的图像为MR图像，则第一图像也是MR图像，所需分割的图像为CT（Computed Tomography，电子计算机断层扫描）图像，则第一图像也是CT图像；又例如，需要训练用于女性盆底MR图像的图像分割模型时，第一图像数据集可以包括预先收集到的女性盆底MR图像，也可以包括预先收集到的膀胱MR图像、子宫MR图像或者其他部位的MR图像。
可以理解的是，直接收集得到的第一图像，通常是分辨率较高的图像，针对于第一图像，可以通过降采样的方式，获取到与第一图像相对应的退化图像。
在得到第一图像数据集以及与之对应的退化图像所构成的退化图像数据集之后，即可基于此训练图像修复模型。可以理解的是，图像修复的目的在于将退化图像修复成为高分辨的图像，即，图像修复模型的训练过程中，需要学习退化图像到高分辨率的图像的映射关系。而对第一图像数据集进行降采样得到的退化图像数据集，可以作为对图像修复模型进行自我监督学习的样本，第一图像数据集本身则可以作为对图像修复模型进行自我监督学习的标签，即，应用第一图像数据集以及与之对应的退化图像数据集，即可实现图像修复模型的训练，从而得到训练完成的图像修复模型。
步骤120，基于所述图像修复模型，初始化第一预训练模型和第二预训练模型。
具体地，在得到图像修复模型之后，即可将图像修复模型的模型参数作为第一预训练模型和第二预训练模型的初始化参数，即实现第一预训练模型和第二预训练模型的初始化。
可以理解的是，图像修复模型、第一预训练模型和第二预训练模型具备相同的模型结构，且训练完成的图像修复模型的模型参数，即第一预训练模型和第二预训练模型的初始化参数，第一预训练模型和第二预训练模型是两个具备相同模型结构和参数的模型，此处的“第一”和“第二”用于区分两个预训练模型。
步骤130，基于携带真实分割标签的第二图像数据集，对所述第一预训练模型进行训练，得到第一分割模型。
具体地，第二图像数据集为预先收集到的样本图像数据集，第二图像数据集中可以包括大量第二图像，第二图像是待训练的图像分割模型所需分割的图像的同类图像，且区别于第一图像，第二图像还携带有真实分割标签。此处，真实分割标签是指专业标注人员针对第二图像标注的真实可靠的分割标签，分割标签具体可以包括第二图像中每个像素点的分割类别。
将图像修复模型的模型参数作为初始化参数的第一预训练模型，本身即具备了图像修复模型在训练过程中学习到的图像分析能力，学习到了图像的内在特征，因此在第一预训练模型的基础上，应用第二图像数据集及其携带的真实分割标签，对第一预训练模型的模型参数进行微调得到的具备图像分割能力的第一分割模型，相较于从头开始训练得到的分割模型，能够具备更好的性能。
即，步骤130中，应用携带真实分割标签的第二图像数据集，通过迁移学习的方式，得到了第一分割模型，此处的第一分割模型具备了图像分割能力。
步骤140，将第三图像数据集输入至所述第一分割模型，得到所述第一分割模型输出的所述第三图像数据集的伪分割标签。
具体地，第三图像数据集为预先收集到的样本图像数据集，第三图像数据集中可以包括大量第三图像，第三图像是待训练的图像分割模型所需分割的图像的同类图像。区别于第二图像，第三图像不具备真实分割标签，即第三图像是未经标注的。此处的第三图像可以与第一图像是同一批次的图像，也可以与第一图像是不同批次的图像，本发明实施例对此不作具体限定。
上述步骤130中迁移学习得到的第一分割模型，本身具备了图像分割能力，因此可以用于对于未经标注的第三图像进行伪标签预测。即，将第三图像数据集中的各第三图像输入至第一分割模型，即可由第一分割模型针对第三图像进行图像分割，从而得到并输出各第三图像中每个像素点的预测分割类型，即得到并输出第三图像数据集的伪分割标签。
可以理解的是，第三图像数据集的伪分割标签是与第二图像数据集的真实分割标签相区别的标签，真实分割标签是真实可靠的分割标签，而伪分割标签则是第一分割模型预测得到未必完全可靠的分割标签。
步骤150，基于携带伪分割标签的第三图像数据集，以及携带真实分割标签的第四图像数据集，对所述第二预训练模型进行训练，得到图像分割模型。
具体地，第四图像数据集为预先收集到的样本图像，第四图像数据集中包括大量第四图像，第四图像是待训练的图像分割模型所需分割的图像的同类图像，且区别于第一图像，第四图像还携带有真实分割标签。此处，第四图像与第二图像可以是同一批次的图像，也可以与第二图像是不同批次的图像，本发明实施例对此不作具体限定。
将图像修复模型的模型参数作为初始化参数的第二预训练模型，本身即具备了图像修复模型在训练过程中学习到的图像分析能力，因此在第二预训练模型的基础上，应用第三图像数据集及其携带的伪分割标签，以及第四图像数据集及其携带的真实分割标签，对第二预训练模型的模型参数进行微调，即可得到最终用于实现图像分割的图像分割模型。
此处，针对图像分割模型的获取中，应用到了具备图像分析能力的第二预训练模型进行迁移学习，减少了需要学习基本特征和模式的数据量。并且，针对迁移学习过程中数据量不足容易导致模型泛化能力差的问题，将携带伪分割标签的第三图像数据集和携带真实分割标签的第四图像数据集均作为微调所用的训练数据，携带伪分割标签的第三数据的应用，实现了迁移学习数据规模的扩展，保证了图像分割模型的泛化能力。
本发明实施例提供的方法，基于第一图像数据集及其降采样所得的退化图像数据集训练得到图像修复模型，并由此初始化后续训练的预训练模型，使得预训练模型的获取无需再额外进行样本标注，极大降低了训练数据获取的负担；并且，基于第一预训练模型微调得到的第一分割模型生成伪分割标签，扩充了图像分割模型的训练数据，保证了基于第二预训练模型微调得到的图像分割模型的泛化性能，提高了图像分割模型的可靠性和准确性。
基于上述实施例，图2是本发明提供的基于半监督学习的模型训练方法中步骤150的流程示意图，如图2所示，步骤150包括：
步骤151，将所述第三图像数据集输入至所述第二预训练模型，得到所述第二预训练模型输出的第三分割结果；
步骤152，将所述第四图像数据集输入至所述第二预训练模型，得到所述第二预训练模型输出的第四分割结果；
步骤153，基于所述第三分割结果、所述第三图像数据集的伪分割标签、所述第四分割结果、以及所述第四图像数据集的真实分割标签，对所述第二预训练模型进行参数迭代，得到图像分割模型。
具体地，在结合携带了伪分割标签的第三图像数据集，以及携带真实分割标签的第四图像数据集，针对第二预训练模型进行微调的过程中，可以将用于微调的数据划分为两个分支，即携带了伪分割标签的第三图像数据集可以作为一个分支用于第二预训练模型的无监督学习，携带了真实分割标签的第四图像数据集可以作为另一个分支用于第二预训练模型的有监督学习，两个分支下的微调，可以理解为针对第二预训练模型的半监督学习。
在此过程中，针对第三图像数据集的数据分支，步骤151中，可以将第三图像数据集输入到第二预训练模型，由第二预训练模型针对第三图像数据集中各第三图像进行图像分割，从而得到并输出针对第三图像数据集的分割结果，即第三分割结果。
针对第四图像数据集的数据分支，步骤152中，可以将第四图像数据集输入到第二预训练模型，由第二预训练模型针对第四图像数据集中各第四图像进行图像分割，从而得到并输出针对第四图像数据集的分割结果，即第四分割结果。
需要说明的是，本发明实施例不对步骤151和步骤152执行的先后顺序作限定，步骤151可以在步骤152之前或者之后执行。
针对于第二预训练模型进行微调时，既需要考虑第三图像数据集的伪分割标签与第二预训练模型输出的第三分割结果之间的差异，也需要考虑第四图像数据集的真实分割标签与第二预训练模型输出的第四分割结果之间的差异，结合此两者确定第二预训练模型的损失进行参数迭代，由此得到半监督学习完成后的图像分割模型。
半监督学习不仅减少了模型训练对于标注数据的需求，还确保了模型能够从人工注释的真实分割标签中学习知识，在样本数据稀缺的场景，例如生物医学领域下能够取得良好的训练效果。
基于上述任一实施例，步骤153包括：
基于所述第三分割结果，以及所述第三图像数据集的伪分割标签，确定无监督损失；
基于所述第四分割结果，以及所述第四图像数据集的真实分割标签，确定监督损失；
基于所述监督损失和所述无监督损失，对所述第二预训练模型进行参数迭代，得到所述图像分割模型。
具体地，在结合第三分割结果、第三图像数据集的伪分割标签、第四分割结果、以及第四图像数据集的真实分割标签，对第二预训练模型进行参数迭代的过程中，需要分别计算两个数据分支下的损失：
针对第三图像数据集的伪分割标签和第二预训练模型输出的第三分割结果，可以 计算此两者之间的差异，从而得到反映此两者之间差异的损失，此处记为无监督损失
Figure 48097DEST_PATH_IMAGE001
； 与之相似地，针对第四图像数据集的真实分割标签和第二预训练模型输出的第四分割结 果，可以计算此两者之间的差异，从而得到反映此两者之间差异的损失，此处记为监督损失
Figure 346748DEST_PATH_IMAGE002
。
在得到监督损失和无监督损失之后，即可结合此两者计算用于第二预训练模型的 总损失
Figure 128759DEST_PATH_IMAGE003
，并基于总损失对第二预训练模型进行参数迭代，从而得到图像分割模型。
可选地，由于第三图像数据集的标签是模型预测得到的伪分割标签，而第四图像数据集的标签是真实可靠的真实分割标签，因此基于第三图像数据集的伪分割标签确定无监督损失的方式，可以区别于基于第四图像数据集的真实分割标签确定监督损失的方式，例如计算无监督损失的损失函数与计算监督损失的损失函数可以不同，例如应用MSE（MeanSquare Error，均方误差）计算无监督损失，应用CE（Cross Entropy，交叉熵）计算监督损失；此外，在计算总损失时，可以直接将监督损失和无监督损失相加作为总损失，也可以考虑到伪分割标签不是完全可信，对监督损失和无监督损失加权后再相加作为总损失，此处针对监督损失的权重可以大于无监督损失的权重。
基于上述任一实施例，步骤153中，基于所述第三分割结果，以及所述第三图像数 据集的伪分割标签，确定无监督损失
Figure 969676DEST_PATH_IMAGE004
，可以通过如下公式实现：
Figure 56712DEST_PATH_IMAGE005
其中，
Figure 641277DEST_PATH_IMAGE006
表示分割类别的总数，
Figure 277795DEST_PATH_IMAGE007
表示图像尺寸中的高度，
Figure 289613DEST_PATH_IMAGE008
表示图像尺寸中的 宽度，即
Figure 96901DEST_PATH_IMAGE009
和
Figure 485157DEST_PATH_IMAGE010
分别对应图像像素的行数和列数；
Figure 710602DEST_PATH_IMAGE011
为第三图像的伪分割标签
Figure 158901DEST_PATH_IMAGE012
中第
Figure 220529DEST_PATH_IMAGE013
个位置上的像素点对于第
Figure 146897DEST_PATH_IMAGE014
个分割类别的值，
Figure 226848DEST_PATH_IMAGE015
为第三分割结果中第
Figure 846048DEST_PATH_IMAGE016
个位置上的像 素点对于第
Figure 896437DEST_PATH_IMAGE017
个分割类别的预测值，
Figure 626496DEST_PATH_IMAGE018
的最大值为
Figure 560954DEST_PATH_IMAGE019
。
步骤153中，基于所述第四分割结果，以及所述第四图像数据集的真实分割标签， 确定监督损失
Figure 351055DEST_PATH_IMAGE020
，可以通过如下公式实现：
Figure 387276DEST_PATH_IMAGE021
其中，
Figure 655446DEST_PATH_IMAGE022
为第四图像数据集中第四图像的真实分割标签
Figure 709989DEST_PATH_IMAGE023
中第
Figure 670992DEST_PATH_IMAGE016
个位置上的像 素点对于第
Figure 427465DEST_PATH_IMAGE017
个分割类别的值，
Figure 499326DEST_PATH_IMAGE024
为第四分割结果中第
Figure 673955DEST_PATH_IMAGE025
个位置上的像素点对于第
Figure 540280DEST_PATH_IMAGE026
个分割类别的预测值。
基于此，可以通过如下公式计算用于第二预训练模型的总损失
Figure 551092DEST_PATH_IMAGE027
，并基于总 损失对第二预训练模型进行参数迭代，从而得到图像分割模型：
Figure 161065DEST_PATH_IMAGE028
基于上述任一实施例，步骤110包括：
将所述退化图像数据集输入至初始模型，得到所述初始模型输出的修复图像数据集；
基于所述第一图像数据集和所述修复图像数据集，确定修复损失；
基于所述修复损失，对所述初始模型进行参数迭代，得到所述图像修复模型。
具体地，在图像修复模型的训练过程中，可以首先创建初始模型，此处初始模型的模型结构与后续应用的第一预训练模型、第二预训练模型一致，初始模型的模型参数可以是初始化得到的。
在得到初始模型之后，即可将退化图像数据集中的低分辨的退化图像输入初始模型，由初始模型针对退化图像进行图像修复，得到并输出修复之后的图像，此处记为修复图像，并由此构成修复图像数据集。
可以理解的是，退化图像所对应的第一图像，即对退化图像进行图像修复能够得到的理想的高分辨率图像，因此可以比对修复图像数据集和退化图像数据集所对应的第一图像数据集，基于此两者之间的差异，确定初始模型的损失值，即修复损失。
在得到修复损失之后，即可应用修复损失对初始模型进行参数迭代，并将参数迭代之后的初始模型作为图像修复模型。
基于上述任一实施例，步骤110中，基于所述第一图像数据集和所述修复图像数据集，确定修复损失，可以通过如下公式实现：
Figure 190201DEST_PATH_IMAGE029
此处，
Figure 227427DEST_PATH_IMAGE030
表示修复损失，
Figure 215282DEST_PATH_IMAGE031
和
Figure 628946DEST_PATH_IMAGE032
分别是图像中像素行和列的总数，
Figure 512588DEST_PATH_IMAGE033
为第一图 像中第x行、第y列的像素值，
Figure 986295DEST_PATH_IMAGE034
为修复图像中第x行、第y列的像素值。
基于上述任一实施例，步骤110中应用的退化图像数据集，是基于如下步骤确定的：
基于至少一种预设降采样率，对所述第一图像所涉及在行或列上进行降采样，并对降采样后的行或列上的像素进行重组运算，得到所述第一图像数据集对应的退化图像数据集。
具体地，针对于第一图像数据集中的任意第一图像，可以在行维度或者列维度上，对第一图像进行降采样，此处，降采样所应用的降采样率，可以是预先设定好的，具体可以包括一种预设降采样率，也可以包括多种预设降采样率，例如可以分别设置预设降采样率为1：4、1：6和1：8。
在针对第一图像完成行或者列维度上的降采样之后，可以直接将降采样后的图像作为退化图像，也可以将降采样后的图像的像素沿着被降采样的行或列维度进行重组运算，并将经过重组后的图像作为退化图像。可以理解的是，降采样和重组运算针对的可以是同一个维度，即均针对行维度，或者均针对列维度，也可以是不同维度，例如针对行维度降采样，针对列维度随机重组。此处，重组运算即进行随机置乱。
可以理解的是，基于不同的预设降采样率进行降采样的第一图像，可以形成不同的退化图像，即，一个第一图像可以对应多个退化图像，由此极大程度上丰富进行图像修复模型训练所需的样本数据，提高图像修复模型的可靠性。
基于上述任一实施例，获取退化图像的过程可以表示为如下公式：
Figure 706120DEST_PATH_IMAGE035
式中，
Figure 392317DEST_PATH_IMAGE036
表示退化图像，
Figure 661624DEST_PATH_IMAGE037
为第一图像，
Figure 40653DEST_PATH_IMAGE038
表示针对降采样的稀疏系 数，
Figure 746309DEST_PATH_IMAGE039
表示重组运算，
Figure 501776DEST_PATH_IMAGE040
为图像中像素的列数，
Figure 360010DEST_PATH_IMAGE041
为图像中像素的行数。
基于上述任一实施例，步骤130包括：
将第二图像数据集输入至第一预训练模型，得到第一预训练模型输出的第二分割结果；
基于所述第二图像数据集的真实分割标签，以及所述第二分割结果，确定所述第一预训练模型的损失，基于所述第一预训练模型的损失，对所述第一预训练模型进行参数迭代，得到所述第一分割模型。
具体地，第一分割模型的训练过程，即监督训练的过程，在此过程中，可以将第二图像数据集输入到第一预训练模型，由第一预训练模型针对第二图像数据集中各第二图像进行图像分割，从而得到并输出针对第二图像数据集的分割结果，即第二分割结果。
针对第二图像数据集的真实分割标签和第一预训练模型输出的第二分割结果，可以计算此两者之间的差异，从而得到反映此两者之间差异的损失，即第一预训练模型的损失。可以理解的是，此处的损失，是监督损失，与上述实施例中基于第四分割结果，以及第四图像数据集的真实分割标签确定的监督损失，可以通过相同的损失函数计算得到，此处不作赘述。
基于上述任一实施例，图3是本发明提供的基于半监督学习的模型训练方法的流程示意图之二，如图3所示，图像分割模型的训练过程中先后训练完成三个模型，即图像修复模型、第一分割模型和图像分割模型，此处的图像分割模型旨在实现盆腔器官MR图像分割。图3中，带箭头的实线表示模型训练过程的数据流，带箭头的虚线表示模型应用过程中的数据流。
在模型训练过程中，首先获取第一图像数据集，此处的第一图像数据集可以包括各个部位的MR图像，且第一图像数据集无需携带标签。例如，第一图像数据集可以通过目前公开的MR序列的数据集获取得到，此处每个MR序列中的MR图像都是从轴向、冠状面和矢状面三个平面上扫描的，因此通过48个MR序列即可得到4103张MR图像，此处的MR图像可以包括膀胱MR图像、子宫MR图像等，上述图像均可作为第一图像构建第一图像数据集。
通过对高分辨率的MR图像，即第一图像进行降采样，可以创建第一图像对应的退化图像，由此构建退化图像数据集，退化图像和第一图像构成的图像对，可以作为图像修复任务的训练样本。即，将退化图像输入到初始的CNN模型中，即可得到初始的CNN模型输出的修复图像，通过比较修复图像与第一图像之间的差异，即可得到修复损失用于初始的CNN模型的参数迭代，从而得到图像修复模型。
图像修复模型的模型参数可以作为第一预训练模型和第二预训练模型的初始化参数，此处，图像修复模型、第一预训练模型和第二预训练模型共享相同的模型结构，即，第一预训练模型和第二预训练模型也是CNN模型。
针对于第一预训练模型，可以应用第二图像数据集及其携带的真实分割标签，对第一预训练模型进行参数微调，从而得到第一分割模型。此处的第二图像数据集中的第二图像是经过标注的盆腔器官MR图像。将第二图像数据集输入到第一预训练模型，即可得到第一预训练模型输出的第二分割结果，通过比较第二分割结果与第二图像数据集携带的真实分割标签之间的差异，即可得到第一预训练模型的损失用于第一预训练模型的参数迭代，从而得到第一分割模型。
在得到第一分割模型之后，即可将无标签的第三图像数据集输入到第一分割模型中，得到第一分割模型输出的分割结果作为第三图像数据集的伪分割标签。此处，第三图像数据集中的第三图像是未过标注的盆腔器官MR图像。
针对第二预训练模型，可以应用携带了伪分割标签的第三图像数据集，和携带了真实分割标签的第四图像数据集，对第二预训练模型进行参数微调，从而得到图像分割模型。此处的第四图像数据集是经过标注的盆腔器官MR图像，第四图像数据集和第二图像数据集可以包括同一批图像，也可以分别包括不同批的图像。可以将第三图像数据集和第四图像数据集分别输入到第二预训练模型，从而得到第二预训练模型输出的第三分割结果和第四分割结果，可以比较第三分割结果和第三图像数据集的伪分割标签得到无监督损失，比较第四分割结果和第四图像数据集的真实分割标签得到监督损失，结合无监督损失和监督损失计算总损失，再基于总损失对第二预训练模型进行参数迭代，从而得到图像分割模型。
基于上述任一实施例，在完成图像分割模型训练之后，还可以对图像分割模型进行分割性能评估，评估公式如下：
Figure 175520DEST_PATH_IMAGE042
式中，
Figure 869937DEST_PATH_IMAGE043
表示Dice相似系数（Dice Similariy Coefficient），
Figure 163515DEST_PATH_IMAGE044
是分割性 能的常见评估指标。
Figure 876256DEST_PATH_IMAGE045
为真实分割标签
Figure 862667DEST_PATH_IMAGE046
中第
Figure 28069DEST_PATH_IMAGE047
个位置上的像素点对于第
Figure 643115DEST_PATH_IMAGE048
个分割类别 的值，
Figure 210362DEST_PATH_IMAGE049
是图像分割模型输出的分割结果
Figure 367674DEST_PATH_IMAGE050
中第
Figure 36684DEST_PATH_IMAGE051
个位置上的像素点对于第
Figure 672065DEST_PATH_IMAGE052
个分割类 别的值。
针对图像分割模型的训练、验证和测试，可以将携带真实分割标签的MR图像划分成三个部分，即训练数据、验证数据和测试数据。例如，可以将来自10个受试者的902张图像作为训练数据，来自6个受试者的540张图像作为测试数据。在测试数据中，两个受试者的180幅图像作为验证数据。为了验证上述训练方法的有效性，对训练得到的第一分割模型和图像分割模型进行了消融研究。针对图像修复模型，比对了SR（super resolution，超分辨率）和像素重组（PS）的恢复两个任务。此外，为了验证上述方法的泛化能力，使用了两个不同的经典分割CNN模型，即UNet和UNet++。并且，在UNet和UNet++的半监督学习过程中，比较了CE和DL（Dice Loss）的两个损失函数。
此外，在训练过程中，Adam优化器被用来在具有24GB计算内存的NVIDIA TITANRTX显卡上进行训练。所有模型都训练了800轮，学习率为0.0002。
在针对上述方法中图像修复模型有效性的验证过程中，对于不同的图像修复任务与上述UNet和UNet++分割模型的自监督学习进行了比较。通过实验分析，自监督学习比基线方法有更好的表现，这证明了自监督学习和图像修复策略的有效性。即，无标签的训练数据虽然不能直接用于训练图像分割模型，但用自监督学习挖掘知识仍然是可行的，且挖掘得到的知识对于提高分割的性能也是有用的。此外，自我监督学习对UNet和UNet++都是有效的，这也说明了所提出的方法的泛化能力。虽然基线方法的分割性能存在差异，但在对两个CNN进行自我监督学习后，差异减少了，这表明利用未标记的数据进行预训练，可以减少对模型结构的依赖。
在针对上述方法中图像分割模型有效性的验证过程中，对半监督学习、自监督学习以及使用两个CNN的基线方法进行了比较。并对图像分割模型的监督分支使用了两个不同的损失函数。与自监督学习和两个CNN的基线方法相比，半监督学习获得了更好的结果。这表明，用模型预测生成伪标签可以有效地提高分割性能。尽管自监督学习可以从图像修复任务中学习一般知识，但在这个过程中可能无法捕捉到一些特定的分割特征。这表明，与自监督学习过程相比，在半监督学习过程中学习了更多的分割特定特征。并且，由于伪标签不能被完全信任，图像分割模型的无监督分支使用MSE来最小化模型预测和伪标签之间的损失。
在上述方法中，针对图像恢复任务的自监督学习的重要性体现在两个方面。首先，它被用于半监督学习模型，即第二预训练模型中的权重初始化。其次，它被用来初始化第一预训练模型以预测伪分割标签。可以理解的是，预测所得的伪分割标签越准确，基于伪分割标签训练得到的图像分割模型的性能越优，后续进行图像分割的效果越好。
此外，用于训练的图像可以是三视图的MR图像，这同样为模型训练提供了优势。由于三视图训练可以从不同的视角学习互补的特征，因此能够进一步提高模型的性能。
基于上述任一实施例，图4是本发明提供的基于半监督学习的图像分割方法的流程示意图，如图4所示，该方法包括：
步骤410，确定待分割图像；
步骤420，将所述待分割图像输入至图像分割模型，得到所述图像分割模型输出的图像分割结果，所述图像分割模型基于上述模型训练方法确定。
具体地，待分割图像即需要进行图像分割的图像，待分割图像的图像类型与训练图像分割模型所应用的第三图像数据集和第四图像数据集的类型一致，例如均为MR图像。
基于上述实施例训练得到的图像分割模型，在有限的训练数据之下，达到了高泛化能力和高可靠性的分割效果，基于上述图像分割模型对待分割图像进行分割，即可实现可靠、准确的图像分割。
本发明实施例提供的方法，应用结合迁移学习和半监督学习所得的图像分割模型，实现了可靠、准确的图像分割。
基于上述任一实施例，图5是本发明提供的基于半监督学习的模型训练系统的结构示意图，如图5所示，该系统包括：
修复训练单元510，用于基于第一图像数据集，以及对所述第一图像数据集降采样得到的退化图像数据集，训练图像修复模型；
预训练单元520，用于基于所述图像修复模型，初始化第一预训练模型和第二预训练模型；
第一分割训练单元530，用于基于携带真实分割标签的第二图像数据集，对所述第一预训练模型进行训练，得到第一分割模型；
伪标签获取单元540，用于将第三图像数据集输入至所述第一分割模型，得到所述第一分割模型输出的所述第三图像数据集的伪分割标签；
图像分割训练单元550，用于基于携带伪分割标签的第三图像数据集，以及携带真实分割标签的第四图像数据集，对所述第二预训练模型进行训练，得到图像分割模型。
本发明实施例提供的系统，基于第一图像数据集及其降采样所得的退化图像数据集训练得到图像修复模型，并由此初始化后续训练的预训练模型，使得预训练模型的获取无需再额外进行样本标注，极大降低了训练数据获取的负担；并且，基于第一预训练模型微调得到的第一分割模型生成伪分割标签，扩充了图像分割模型的训练数据，保证了基于第二预训练模型微调得到的图像分割模型的泛化性能，提高了图像分割模型的可靠性和准确性。
基于上述任一实施例，所述图像分割训练单元550包括：
第三分割子单元，用于将所述第三图像数据集输入至所述第二预训练模型，得到所述第二预训练模型输出的第三分割结果；
第四分割子单元，用于将所述第四图像数据集输入至所述第二预训练模型，得到所述第二预训练模型输出的第四分割结果；
参数迭代子单元，用于基于所述第三分割结果、所述第三图像数据集的伪分割标签、所述第四分割结果、以及所述第四图像数据集的真实分割标签，对所述第二预训练模型进行参数迭代，得到图像分割模型。
基于上述任一实施例，参数迭代子单元具体用于：
基于所述第三分割结果，以及所述第三图像数据集的伪分割标签，确定无监督损失；
基于所述第四分割结果，以及所述第四图像数据集的真实分割标签，确定监督损失；
基于所述监督损失和所述无监督损失，对所述第二预训练模型进行参数迭代，得到所述图像分割模型。
基于上述任一实施例，修复训练单元510用于：
将所述退化图像数据集输入至初始模型，得到所述初始模型输出的修复图像数据集；
基于所述第一图像数据集和所述修复图像数据集，确定修复损失；
基于所述修复损失，对所述初始模型进行参数迭代，得到所述图像修复模型。
基于上述任一实施例，该系统还包括退化单元，用于：
基于至少一种预设降采样率，对所述第一图像数据集在行或列上进行降采样，并对降采样后的行或列上的像素进行重组运算，得到所述第一图像数据集对应的退化图像数据集。
基于上述任一实施例，图6是本发明提供的基于半监督学习的图像分割系统的结构示意图，如图6所示，该系统包括：
图像获取单元610，用于确定待分割图像；
图像分割单元620，用于将所述待分割图像输入至图像分割模型，得到所述图像分割模型输出的图像分割结果，所述图像分割模型基于如上所述的模型训练方法确定。
本发明实施例提供的系统，应用结合迁移学习和半监督学习所得的图像分割模型，实现了可靠、准确的图像分割。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器（processor）710、通信接口（Communications Interface）720、存储器（memory）730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行基于半监督学习的模型训练方法，该方法包括：基于第一图像数据集，以及对所述第一图像数据集降采样得到的退化图像数据集，训练图像修复模型；基于所述图像修复模型，初始化第一预训练模型和第二预训练模型；基于携带真实分割标签的第二图像数据集，对所述第一预训练模型进行训练，得到第一分割模型；将第三图像数据集输入至所述第一分割模型，得到所述第一分割模型输出的所述第三图像数据集的伪分割标签；基于携带伪分割标签的第三图像数据集，以及携带真实分割标签的第四图像数据集，对所述第二预训练模型进行训练，得到图像分割模型。
处理器710还可以调用存储器730中的逻辑指令，以执行基于半监督学习的图像分割方法，该方法包括：确定待分割图像；将所述待分割图像输入至图像分割模型，得到所述图像分割模型输出的图像分割结果，所述图像分割模型基于模型训练方法确定。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于半监督学习的模型训练方法，该方法包括：基于第一图像数据集，以及对所述第一图像数据集降采样得到的退化图像数据集，训练图像修复模型；基于所述图像修复模型，初始化第一预训练模型和第二预训练模型；基于携带真实分割标签的第二图像数据集，对所述第一预训练模型进行训练，得到第一分割模型；将第三图像数据集输入至所述第一分割模型，得到所述第一分割模型输出的所述第三图像数据集的伪分割标签；基于携带伪分割标签的第三图像数据集，以及携带真实分割标签的第四图像数据集，对所述第二预训练模型进行训练，得到图像分割模型。
计算机还能够执行上述各方法所提供的基于半监督学习的图像分割方法，该方法包括：确定待分割图像；将所述待分割图像输入至图像分割模型，得到所述图像分割模型输出的图像分割结果，所述图像分割模型基于模型训练方法确定。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于半监督学习的模型训练方法，该方法包括：基于第一图像数据集，以及对所述第一图像数据集降采样得到的退化图像数据集，训练图像修复模型；基于所述图像修复模型，初始化第一预训练模型和第二预训练模型；基于携带真实分割标签的第二图像数据集，对所述第一预训练模型进行训练，得到第一分割模型；将第三图像数据集输入至所述第一分割模型，得到所述第一分割模型输出的所述第三图像数据集的伪分割标签；基于携带伪分割标签的第三图像数据集，以及携带真实分割标签的第四图像数据集，对所述第二预训练模型进行训练，得到图像分割模型。
该计算机程序还被处理器执行时实现以执行上述各方法提供的基于半监督学习的图像分割方法，该方法包括：确定待分割图像；将所述待分割图像输入至图像分割模型，得到所述图像分割模型输出的图像分割结果，所述图像分割模型基于模型训练方法确定。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于半监督学习的模型训练方法，其特征在于，包括：
基于第一图像数据集，以及对所述第一图像数据集降采样得到的退化图像数据集，训练图像修复模型；
基于所述图像修复模型，初始化第一预训练模型和第二预训练模型；
基于携带真实分割标签的第二图像数据集，对所述第一预训练模型进行训练，得到第一分割模型；
将第三图像数据集输入至所述第一分割模型，得到所述第一分割模型输出的所述第三图像数据集的伪分割标签；
基于携带伪分割标签的第三图像数据集，以及携带真实分割标签的第四图像数据集，对所述第二预训练模型进行训练，得到图像分割模型；
所述基于第一图像数据集，以及对所述第一图像数据集降采样得到的退化图像数据集，训练图像修复模型，包括：
将所述退化图像数据集输入至初始模型，得到所述初始模型输出的修复图像数据集；
基于所述第一图像数据集和所述修复图像数据集，确定修复损失；
基于所述修复损失，对所述初始模型进行参数迭代，得到所述图像修复模型；
所述基于所述图像修复模型，初始化第一预训练模型和第二预训练模型，包括：
将所述图像修复模型的模型参数，作为所述第一预训练模型和所述第二预训练模型的初始化参数，所述图像修复模型、所述第一预训练模型和所述第二预训练模型具备相同的模型结构；
所述基于携带伪分割标签的第三图像数据集，以及携带真实分割标签的第四图像数据集，对所述第二预训练模型进行训练，得到图像分割模型，包括：
将所述第三图像数据集输入至所述第二预训练模型，得到所述第二预训练模型输出的第三分割结果；
将所述第四图像数据集输入至所述第二预训练模型，得到所述第二预训练模型输出的第四分割结果；
基于所述第三分割结果、所述第三图像数据集的伪分割标签、所述第四分割结果、以及所述第四图像数据集的真实分割标签，对所述第二预训练模型进行参数迭代，得到图像分割模型。
2.根据权利要求1所述的基于半监督学习的模型训练方法，其特征在于，所述基于所述第三分割结果、所述第三图像数据集的伪分割标签、所述第四分割结果、以及所述第四图像数据集的真实分割标签，对所述第二预训练模型进行参数迭代，得到图像分割模型，包括：
基于所述第三分割结果，以及所述第三图像数据集的伪分割标签，确定无监督损失；
基于所述第四分割结果，以及所述第四图像数据集的真实分割标签，确定监督损失；
基于所述监督损失和所述无监督损失，对所述第二预训练模型进行参数迭代，得到所述图像分割模型。
3.根据权利要求1或2所述的基于半监督学习的模型训练方法，其特征在于，所述退化图像数据集基于如下步骤确定：
基于至少一种预设降采样率，对所述第一图像数据集在行或列上进行降采样，并对降采样后的行或列上的像素进行重组运算，得到所述第一图像数据集对应的退化图像数据集。
4.一种基于半监督学习的图像分割方法，其特征在于，包括：
确定待分割图像；
将所述待分割图像输入至图像分割模型，得到所述图像分割模型输出的图像分割结果，所述图像分割模型基于如权利要求1至3中任一项所述的基于半监督学习的模型训练方法确定。
5.一种基于半监督学习的模型训练系统，其特征在于，包括：
修复训练单元，用于基于第一图像数据集，以及对所述第一图像数据集降采样得到的退化图像数据集，训练图像修复模型；
预训练单元，用于基于所述图像修复模型，初始化第一预训练模型和第二预训练模型；
第一分割训练单元，用于基于携带真实分割标签的第二图像数据集，对所述第一预训练模型进行训练，得到第一分割模型；
伪标签获取单元，用于将第三图像数据集输入至所述第一分割模型，得到所述第一分割模型输出的所述第三图像数据集的伪分割标签；
图像分割训练单元，用于基于携带伪分割标签的第三图像数据集，以及携带真实分割标签的第四图像数据集，对所述第二预训练模型进行训练，得到图像分割模型；
所述修复训练单元具体用于：
将所述退化图像数据集输入至初始模型，得到所述初始模型输出的修复图像数据集；
基于所述第一图像数据集和所述修复图像数据集，确定修复损失；
基于所述修复损失，对所述初始模型进行参数迭代，得到所述图像修复模型；
所述预训练单元具体用于：
将所述图像修复模型的模型参数，作为所述第一预训练模型和所述第二预训练模型的初始化参数，所述图像修复模型、所述第一预训练模型和所述第二预训练模型具备相同的模型结构；
所述图像分割训练单元具体用于：
将所述第三图像数据集输入至所述第二预训练模型，得到所述第二预训练模型输出的第三分割结果；
将所述第四图像数据集输入至所述第二预训练模型，得到所述第二预训练模型输出的第四分割结果；
基于所述第三分割结果、所述第三图像数据集的伪分割标签、所述第四分割结果、以及所述第四图像数据集的真实分割标签，对所述第二预训练模型进行参数迭代，得到图像分割模型。
6.一种基于半监督学习的图像分割系统，其特征在于，包括：
图像获取单元，用于确定待分割图像；
图像分割单元，用于将所述待分割图像输入至图像分割模型，得到所述图像分割模型输出的图像分割结果，所述图像分割模型基于如权利要求1至3中任一项所述的基于半监督学习的模型训练方法确定。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述基于半监督学习的模型训练方法，或如权利要求4所述基于半监督学习的图像分割方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述基于半监督学习的模型训练方法，或如权利要求4所述基于半监督学习的图像分割方法。
CN202211081614.8A 2022-09-06 2022-09-06 基于半监督学习的模型训练与图像分割方法和系统 Active CN115147426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211081614.8A CN115147426B (zh) 2022-09-06 2022-09-06 基于半监督学习的模型训练与图像分割方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211081614.8A CN115147426B (zh) 2022-09-06 2022-09-06 基于半监督学习的模型训练与图像分割方法和系统

Publications (2)

Publication Number Publication Date
CN115147426A CN115147426A (zh) 2022-10-04
CN115147426B true CN115147426B (zh) 2022-11-29

Family

ID=83416635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211081614.8A Active CN115147426B (zh) 2022-09-06 2022-09-06 基于半监督学习的模型训练与图像分割方法和系统

Country Status (1)

Country Link
CN (1) CN115147426B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861340A (zh) * 2022-11-25 2023-03-28 深圳先进技术研究院 基于傅里叶增强的半监督支气管分割方法及其系统
CN117556077B (zh) * 2024-01-10 2024-05-03 深圳惟德精准医疗科技有限公司 文本图像模型的训练方法、相关方法及相关产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200245A (zh) * 2020-10-10 2021-01-08 深圳市华付信息技术有限公司 一种基于半监督的图像分类方法
CN112381098A (zh) * 2020-11-19 2021-02-19 上海交通大学 基于目标分割领域自学习的半监督学习方法和系统
CN113112509A (zh) * 2021-04-12 2021-07-13 深圳思谋信息科技有限公司 图像分割模型训练方法、装置、计算机设备和存储介质
CN114022406A (zh) * 2021-09-15 2022-02-08 济南国科医工科技发展有限公司 一种半监督学习的图像分割方法、系统及终端
CN114255237A (zh) * 2021-11-12 2022-03-29 深圳大学 基于半监督学习的图像分割模型的训练方法及分割方法
CN114299034A (zh) * 2021-12-30 2022-04-08 杭州海康威视数字技术股份有限公司 一种缺陷检测模型的训练方法、缺陷检测方法及装置
CN114332135A (zh) * 2022-03-10 2022-04-12 之江实验室 一种基于双模型交互学习的半监督医学图像分割方法及装置
CN114494718A (zh) * 2021-12-31 2022-05-13 特斯联科技集团有限公司 一种图像分类方法、装置、存储介质及终端
CN114549834A (zh) * 2022-01-26 2022-05-27 中南大学 一种半监督混合训练语义分割方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3252671A1 (en) * 2016-05-31 2017-12-06 Siemens Healthcare GmbH Method of training a deep neural network
CN106709875B (zh) * 2016-12-30 2020-02-18 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN108564166A (zh) * 2018-03-22 2018-09-21 南京大学 基于带对称跨层连接的卷积神经网络半监督特征学习方法
CN111339306B (zh) * 2018-12-18 2023-05-12 腾讯科技（深圳）有限公司 分类模型训练方法、分类方法及装置、设备和介质
CN110633758A (zh) * 2019-09-20 2019-12-31 四川长虹电器股份有限公司 针对小样本或样本不平衡的癌症区域检测定位的方法
US20210241037A1 (en) * 2020-01-30 2021-08-05 Canon Medical Systems Corporation Data processing apparatus and method
CN111753874B (zh) * 2020-05-15 2024-08-02 南京景曜智能科技有限公司 一种结合半监督聚类的图像场景分类方法及系统
CN116210030A (zh) * 2020-07-28 2023-06-02 渊慧科技有限公司 基于半监督关键点的模型
CN112308860B (zh) * 2020-10-28 2024-01-12 西北工业大学 基于自监督学习的对地观测图像语义分割方法
US11100373B1 (en) * 2020-11-02 2021-08-24 DOCBOT, Inc. Autonomous and continuously self-improving learning system
US20230260652A1 (en) * 2020-12-11 2023-08-17 Google Llc Self-Supervised Machine Learning for Medical Image Analysis
US11823381B2 (en) * 2020-12-27 2023-11-21 Ping An Technology (Shenzhen) Co., Ltd. Knowledge distillation with adaptive asymmetric label sharpening for semi-supervised fracture detection in chest x-rays
CN113033566B (zh) * 2021-03-19 2022-07-08 北京百度网讯科技有限公司 模型训练方法、识别方法、设备、存储介质及程序产品
CN113344896B (zh) * 2021-06-24 2023-01-17 鹏城实验室 一种胸部ct图像病灶分割模型的训练方法及系统
CN113706564B (zh) * 2021-09-23 2023-07-18 苏州大学 基于多种监督方式的睑板腺分割网络的训练方法及装置
CN114220086A (zh) * 2021-11-03 2022-03-22 中国科学院信息工程研究所 一种成本高效的场景文字检测方法及系统
CN114663298A (zh) * 2022-02-28 2022-06-24 中国人民解放军61363部队 基于半监督深度学习的视差图修补方法及系统
CN114943689A (zh) * 2022-04-27 2022-08-26 河钢数字技术股份有限公司 基于半监督学习的钢铁冷轧退火炉元器件检测方法
CN114913531A (zh) * 2022-05-07 2022-08-16 中国科学院信息工程研究所 面向场景文本检测的文本检测器训练方法及文本检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200245A (zh) * 2020-10-10 2021-01-08 深圳市华付信息技术有限公司 一种基于半监督的图像分类方法
CN112381098A (zh) * 2020-11-19 2021-02-19 上海交通大学 基于目标分割领域自学习的半监督学习方法和系统
CN113112509A (zh) * 2021-04-12 2021-07-13 深圳思谋信息科技有限公司 图像分割模型训练方法、装置、计算机设备和存储介质
CN114022406A (zh) * 2021-09-15 2022-02-08 济南国科医工科技发展有限公司 一种半监督学习的图像分割方法、系统及终端
CN114255237A (zh) * 2021-11-12 2022-03-29 深圳大学 基于半监督学习的图像分割模型的训练方法及分割方法
CN114299034A (zh) * 2021-12-30 2022-04-08 杭州海康威视数字技术股份有限公司 一种缺陷检测模型的训练方法、缺陷检测方法及装置
CN114494718A (zh) * 2021-12-31 2022-05-13 特斯联科技集团有限公司 一种图像分类方法、装置、存储介质及终端
CN114549834A (zh) * 2022-01-26 2022-05-27 中南大学 一种半监督混合训练语义分割方法及系统
CN114332135A (zh) * 2022-03-10 2022-04-12 之江实验室 一种基于双模型交互学习的半监督医学图像分割方法及装置

Also Published As

Publication number Publication date
CN115147426A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN110689038B (zh) 神经网络模型的训练方法、装置和医学图像处理系统
CN108898560B (zh) 基于三维卷积神经网络的岩心ct图像超分辨率重建方法
CN115147426B (zh) 基于半监督学习的模型训练与图像分割方法和系统
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
Shamsolmoali et al. Deep convolution network for surveillance records super-resolution
CN102156875B (zh) 基于多任务ksvd字典学习的图像超分辨率重构方法
Zhao et al. Unsupervised degradation learning for single image super-resolution
CN114092386A (zh) 缺陷检测方法和设备
CN113240613A (zh) 一种基于边缘信息重建的图像修复方法
CN108961180B (zh) 红外图像增强方法及系统
CN105590304B (zh) 超分辨率图像重建方法和装置
KR20200084434A (ko) 초해상도 영상 복원을 위한 기계 학습 방법
CN109961407B (zh) 基于人脸相似性的人脸图像修复方法
CN111696196B (zh) 一种三维人脸模型重建方法及装置
CN113706388B (zh) 图像超分辨率重建方法及装置
Sun et al. Multiscale generative adversarial network for real‐world super‐resolution
CN114494015B (zh) 基于盲超分辨率网络的图像重建方法
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
US11741579B2 (en) Methods and systems for deblurring blurry images
CN111179196A (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
Gao et al. Bayesian image super-resolution with deep modeling of image statistics
CN113888491A (zh) 基于非局部特征的多级高光谱图像递进超分方法及系统
Liu et al. Facial image inpainting using multi-level generative network
Rashid et al. Single MR image super-resolution using generative adversarial network
CN111401209B (zh) 一种基于深度学习的动作识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant