CN113706564A - 基于多种监督方式的睑板腺分割网络的训练方法及装置 - Google Patents

基于多种监督方式的睑板腺分割网络的训练方法及装置 Download PDF

Info

Publication number
CN113706564A
CN113706564A CN202111113479.6A CN202111113479A CN113706564A CN 113706564 A CN113706564 A CN 113706564A CN 202111113479 A CN202111113479 A CN 202111113479A CN 113706564 A CN113706564 A CN 113706564A
Authority
CN
China
Prior art keywords
image
meibomian gland
label
sample image
unet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111113479.6A
Other languages
English (en)
Other versions
CN113706564B (zh
Inventor
黄弘杰
赵雷
陈伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202111113479.6A priority Critical patent/CN113706564B/zh
Publication of CN113706564A publication Critical patent/CN113706564A/zh
Application granted granted Critical
Publication of CN113706564B publication Critical patent/CN113706564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于多种监督方式的睑板腺分割网络的训练方法及装置，属于计算机技术领域，该方法包括：使用第一数据集对UNet进行全监督训练，得到预训练后的UNet；将第一睑板腺样本图像、第二睑板腺样本图像和添加噪声后的第二睑板腺样本图像输入预训练后的UNet，得到第一睑板腺样本图像的预测结果、第二睑板腺样本图像的伪图像标签和添加噪声后的第二睑板腺样本图像的预测结果；基于预测结果和伪图像标签计算自监督学习损失、全监督学习损失和半监督学习损失，以对预训练后的UNet进行多监督训练，得到睑板腺分割网络；相比于只用全监督学习，还引入半监督与自监督学习能从无标注睑板腺图像中挖掘出更有用的信息。

Description

基于多种监督方式的睑板腺分割网络的训练方法及装置
【技术领域】
本申请涉及一种基于多种监督方式的睑板腺分割网络的训练方法及装置，属于计算机技术领域。
【背景技术】
干眼源于泪液的量或质的异常，从而造成了泪膜的不够完整的问题。在临床诊断中发现，超过一半的干眼是由于睑板腺功能障碍引起。近年来，睑板腺红外成像技术已逐渐成为睑板腺功能障碍诊断的重要方法。其中，关键一步是睑板腺腺体区域分割。
人工判断睑板腺区域主要缺陷在于：一方面长期重复主观性判断导致不够精确，且花费的时间较长。另一方面，从拍摄的睑板腺图像中很难观察到清晰的睑板腺结构。基于此，提出了对睑板腺图像进行自动腺体分割的技术。
自动腺体分割的技术包括基于图像处理的腺体分割和基于神经网络的腺体分割。
基于图像处理的腺体分割包括：对睑板腺图像进行预处理，以增强图像对比度，同时去除光照产生的噪声影响；然后，对包含腺体的眼皮进行感兴趣区域提取，将睫毛、眼球与眼皮区域进行分割；最终，对眼皮进行腺体区域提取完成腺体分割。
然而，基于图像处理的腺体分割对输入图像的拍摄环境(光照，角度，距离等)要求较高。而睑板腺腺体与眼皮区域对比度低、肉眼难以区分，对阈值分割提出了巨大的挑战。
基于神经网络的腺体分割包括：基于全监督学习的腺体分割和基于对比半监督学习的医学图像分割。
对于全监督学习的腺体分割，需要人工对每张睑板腺图像进行标签标注，之后，利用睑板腺图像和标注后的标签进行训练。
然而，睑板腺图像数据量小，与自然图像相比，睑板腺图像由于患者隐私安全等问题难以获取。另外，人类上眼皮的睑板腺腺体数量大约在30-40条，对图像进行像素级的标注无法在短时间内完成；专业医师标注占用宝贵医疗资源，非专业人士的标注质量低无法使用。因此有大量的睑板腺图像没有标签。而现有的全监督学习方法只能针对有标签的图像进行训练，忽略无标签数据带来的分割网络性能提升。
另外，标签噪声影响网络的泛华能力。具体地，睑板腺腺体与腺体周围的眼皮对比度低，肉眼难以区分，即使是多位专业医师进行同一张图像标签也很难获得没有偏差的结果。由此带来的噪声使得分割网络在训练过程中过拟合，直接影响其现实场景中的泛化能力。
对于对比半监督学习的医学图像分割，使用少量标签、大量无标签和对比损失进行网络训练。虽然对比半监督适用于许多场景下的医学图像分割，然而，在睑板腺图像分割场景下，对比半监督学习要求输入的睑板腺图像将眼皮与腺体完全分离。而眼皮与腺体紧密围绕的数据特性导致半监督学习不再适用，直接影响了分割网络的分割性能。
【发明内容】
本申请提供了一种基于多种监督方式的睑板腺分割网络的训练方法、设备及存储介质，针对全监督的分割网络无法利用大量无标签腺体图像的问题，通过在训练过程中引入半监督学习与自监督学习，以从无标签睑板腺腺体图像中挖掘出更有用的信息；另外，针对对比半监督学习不适用于眼皮与腺体紧密围绕的数据特性的问题，设计一种基于腺体宽度提取的代理子任务；针对标签无法避免存在噪声问题，结合腺体图像噪声分布特点提出腺体边缘soft方法，降低标签噪声对分割网络性能的影响。本申请提供如下技术方案：
第一方面，提供一种基于多种监督方式的睑板腺分割网络的训练方法，所述方法包括：
获取训练数据集，所述训练数据集包括第一数据集和第二数据集，所述第一数据集包括第一睑板腺样本图像和所述第一睑板腺样本图像的真实图像标签，所述真实图像标签包括腺体标签和眼皮标签；所述第二数据集包括第二睑板腺样本图像；
使用所述第一数据集对预先创建的UNet进行全监督训练，得到预训练后的UNet，所述UNet包括编码器网络和解码器网络；
将所述第一睑板腺样本图像、所述第二睑板腺样本图像和添加噪声后的第二睑板腺样本图像输入所述预训练后的UNet，得到所述第一睑板腺样本图像的预测结果、所述第二睑板腺样本图像的伪图像标签和所述添加噪声后的第二睑板腺样本图像的预测结果，所述伪图像标签包括腺体标签和眼皮标签；
基于所述真实图像标签确定所述第一睑板腺样本图像中的感兴趣区域、并基于所述伪图像标签确定所述第二睑板腺样本图像中的感兴趣区域；
从所述感兴趣区域中提取锚点图像、N张正例图像和与每张正例图像对应的负例图像；每张正例图像是从所述锚点图像中提取到的，所述正例图像对应的负例图像是对所述正例图像进行拉伸得到的；
将所述锚点图像、所述N张正例图像和所述每张正例图像对应的负例图像输入所述预训练后的UNet的编码器网络，得到所述锚点图像对应的第一语义特征、所述正例图像对应的第二语义特征和所述负例图像对应的第三语义特征；
计算所述第一语义特征、所述第二语义特征和所述第三语义特征之间的腺体宽度差异和腺体数量差异，得到自监督学习损失；
基于所述第一睑板腺样本图像的预测结果和所述真实图像标签确定全监督学习损失；
基于所述伪图像标签和所述添加噪声后的第二睑板腺样本图像的预测结果确定半监督学习损失；
使用所述自监督学习损失、所述全监督学习损失和所述半监督学习损失对所述预训练后的UNet进行多监督训练，得到所述睑板腺分割网络。
可选地，所述基于所述真实图像标签确定所述第一睑板腺样本图像中的感兴趣区域、并基于所述伪图像标签确定所述第二睑板腺样本图像中的感兴趣区域，包括：
将真实图像标签中的腺体标签指示的腺体与眼皮标签指示的眼皮区域相加，得到包含腺体的整个眼皮区域掩膜；
将伪图像标签中的腺体标签指示的腺体与眼皮标签指示的眼皮区域相加，得到包含腺体的整个眼皮区域掩膜；
确定所述掩膜中的最大轮廓，并用矩形拟合所述最大轮廓；
根据所述最大轮廓从所述第一睑板腺样本图像和所述第二睑板腺样本图像中提取所述感兴趣区域。
可选地，所述从所述感兴趣区域中提取锚点图像、N张正例图像和与每张正例图像对应的负例图像，包括：
将所述感兴趣区域旋转至水平得到图像块；
通过边缘截取与填充将所述图像块修正至同一的像素大小；
对于每一张修正后的图像块，选取中心矩形框作为所述锚点图像，并随机取同样大小的矩形框作为所述正例图像。
对于每一个所述正例图像，采用高度不变、且宽度小于正例图像的区域，随机从正例图像中截取，并将截取到的图像拉伸至所述正例图像的大小，得到所述负例图像。
可选地，所述负例图像的腺体宽度大于所述正例图像的腺体宽度、且大于所述锚点图像的腺体宽度；所述负例图像的腺体数量小于所述正例图像的腺体数量；
所述腺体宽度差异通过下式表示：
Lw(Za,Zp,Zn)＝Σmax(L2(Za,Zp)-L2(Za,Zn)+m1,0)；
所述腺体数量差异通过下式表示：
Ln(Zp,Zn)＝Σmax(f(Zn)-f(Zp)+m2,0)；
其中，Za表示所述第一语义特征、Zp表示所述第二语义特征、Zn表示所述第三语义特征，Lw表示所述腺体宽度差异，L2表示向量间的二范式距离，Ln表示所述腺体数量差异，f用于将向量变换成表示腺体数量的标量，m1和m2表示固定数值。
可选地，所述使用所述第一数据集对预先创建的UNet进行全监督训练，得到预训练后的UNet，包括：
将所述第一睑板腺样本图像输入预先创建的UNet，进行网络正向传播计算，并在最后一个卷积层后使用softmax得到所述UNet对所述第一睑板腺样本图像的分割预测结果；
对所述图像标签和所述分割预测结果计算戴斯Dice损失；
根据所述Dice损失计算梯度，并使用Adam优化器对所述UNet执行反向传播迭代更新网络参数；
在迭代次数达到第一次数阈值后，得到所述预训练后的UNet。
可选地，所述获取训练数据集，包括：
获取所述第一睑板腺样本图像；
对所述第一睑板腺样本图像进行图像增强，得到增强后的睑板腺样本图像；
通过所述增强后的睑板腺样本图像，获取所述第一睑板腺样本图像的真实图像标签。
可选地，所述通过所述增强后的睑板腺样本图像，获取所述第一睑板腺样本图像的真实图像标签，包括：
使用自动标注工具对所述增强后的睑板腺样本图像进行标注，得到区域标签；
对所述区域标签进行柔性腐蚀操作，得到所述真实图像标签。
可选地，所述对所述区域标签进行柔性腐蚀操作，得到所述真实图像标签，包括：
使用预设尺寸的模板对所述区域标签进行循环腐蚀，得到腐蚀后的图像；
使用所述区域标签与所述腐蚀后的图像相减，得到所述区域标签边缘的最外层；
在循环腐蚀预设次数后，设置每次腐蚀对应的最外层的标签值，所述标签值与对应的腐蚀后的图像为所述真实图像标签。
可选地，所述使用所述自监督学习损失、所述全监督学习损失和所述半监督学习损失对所述预训练后的UNet进行多监督训练，得到所述睑板腺分割网络，包括：
基于所述自监督学习损失、所述全监督学习损失和所述半监督学习损失计算总损失值；
基于所述总损失值计算梯度；
使用所述Adam优化器对所述预训练后的UNet执行反向传播迭代更新网络参数；
在迭代次数达到第二次数阈值后，保存最优的总损失值对应的网络参数，得到所述睑板腺分割网络。
第二方面，提供一种基于多种监督方式的睑板腺分割网络的训练装置，所述装置包括：
数据获取模块，用于获取训练数据集，所述训练数据集包括第一数据集和第二数据集，所述第一数据集包括第一睑板腺样本图像和所述第一睑板腺样本图像的真实图像标签，所述真实图像标签包括腺体标签和眼皮标签；所述第二数据集包括第二睑板腺样本图像；
预训练模块，用于使用所述第一数据集对预先创建的UNet进行全监督训练，得到预训练后的UNet，所述UNet包括编码器网络和解码器网络；
图像输入模块，用于将所述第一睑板腺样本图像、所述第二睑板腺样本图像和添加噪声后的第二睑板腺样本图像输入所述预训练后的UNet，得到所述第一睑板腺样本图像的预测结果、所述第二睑板腺样本图像的伪图像标签和所述添加噪声后的第二睑板腺样本图像的预测结果，所述伪图像标签包括腺体标签和眼皮标签；
区域提取模块，用于基于所述真实图像标签确定所述第一睑板腺样本图像中的感兴趣区域、并基于所述伪图像标签确定所述第二睑板腺样本图像中的感兴趣区域；
代理任务预处理模块，用于从所述感兴趣区域中提取锚点图像、N张正例图像和与每张正例图像对应的负例图像；每张正例图像是从所述锚点图像中提取到的，所述正例图像对应的负例图像是对所述正例图像进行拉伸得到的；
特征获取模块，用于将所述锚点图像、所述N张正例图像和所述每张正例图像对应的负例图像输入所述预训练后的UNet的编码器网络，得到所述锚点图像对应的第一语义特征、所述正例图像对应的第二语义特征和所述负例图像对应的第三语义特征；
损失获取模块，用于计算所述第一语义特征、所述第二语义特征和所述第三语义特征之间的腺体宽度差异和腺体数量差异，得到自监督学习损失；
所述损失获取模块，还用于基于所述第一睑板腺样本图像的预测结果和所述真实图像标签确定全监督学习损失；
所述损失获取模块，还用于基于所述伪图像标签和所述添加噪声后的第二睑板腺样本图像的预测结果确定半监督学习损失；
多监督训练模块，用于使用所述自监督学习损失、所述全监督学习损失和所述半监督学习损失对所述预训练后的UNet进行多监督训练，得到所述睑板腺分割网络。
本申请的有益效果至少包括：通过使用第一数据集对预先创建的UNet进行全监督训练，得到预训练后的UNet，UNet包括编码器网络和解码器网络；将第一睑板腺样本图像、第二睑板腺样本图像和添加噪声后的第二睑板腺样本图像输入预训练后的UNet，得到第一睑板腺样本图像的预测结果、第二睑板腺样本图像的伪图像标签和添加噪声后的第二睑板腺样本图像的预测结果，伪图像标签包括腺体标签和眼皮标签；基于真实图像标签确定第一睑板腺样本图像中的感兴趣区域、并基于伪图像标签确定第二睑板腺样本图像中的感兴趣区域；从感兴趣区域中提取锚点图像、N张正例图像和与每张正例图像对应的负例图像；每张正例图像是从锚点图像中提取到的，正例图像对应的负例图像是对正例图像进行拉伸得到的；将锚点图像、N张正例图像和每张正例图像对应的负例图像输入预训练后的UNet的编码器网络，得到锚点图像对应的第一语义特征、正例图像对应的第二语义特征和负例图像对应的第三语义特征；计算第一语义特征、第二语义特征和第三语义特征之间的腺体宽度差异和腺体数量差异，得到自监督学习损失；基于第一睑板腺样本图像的预测结果和真实图像标签确定全监督学习损失；基于伪图像标签和添加噪声后的第二睑板腺样本图像的预测结果确定半监督学习损失；使用自监督学习损失、全监督学习损失和半监督学习损失对预训练后的UNet进行多监督训练，得到睑板腺分割网络；相比于已有技术只用全监督学习，在训练过程引入半监督与自监督学习能从无标注睑板腺图像中挖掘出更有用的信息；相比于传统图像处理方法，基于深度学习进行了改进，因此具有更好的能适用于不同光照、角度、距离等情况下拍摄的睑板腺图像。
另外，本申请提供的训练方法更适用于睑板腺图像分割的任务，基于睑板腺图像眼皮与腺体紧密围绕的数据特性，设计了基于腺体宽度与数量提取的代理子任务进行自监督学习，且自监督学习的数据准备过程只需要简单的分割出眼皮轮廓，相比于已有方法直接分割出腺体任务简单，减少数据准备过程中为自监督学习任务引入的区域错误分割引起的噪声，分割性能更好。
另外，本申请提供的训练方法对人工标注存在的误差有适应能力。通过边缘soft的预处理降低了标注中边缘区域的权值，网络对边缘内的正确标注区域给予更多的关注，从而简单有效地降低标注噪声对网络的泛华能力的影响。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。
【附图说明】
图1是本申请一个实施例提供的基于多种监督方式的睑板腺分割网络的训练方法的流程图；
图2是本申请一个实施例提供的真实图像标签的示意图；
图3是本申请一个实施例提供的多监督学习过程的示意图；
图4是本申请一个实施例提供的提取锚点图像、正例图像和负例图像的示意图；
图5是本申请一个实施例提供的计算自监督学习损失的示意图；
图6是本申请一个实施例提供的基于多种监督方式的睑板腺分割网络的训练装置的框图。
【具体实施方式】
下面结合附图和实施例，对本申请的具体实施方式做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
首先，对本申请涉及的若干名词进行介绍。
图像分割(Image Segmentation)网络(以下简称“分割网络”)：是一种基于深度学习技术，把图像分割若干个特定区域的神经网络。
全监督学习(Fully-supervised Learning)、半监督学习(Semi-supervisedLearning)、自监督学习(Self-supervised Learning)：区别就是分割网络在训练时需要人工标注的标签信息。全监督学习利用大量的标注数据来训练分割网络；半监督学习利用少量有标签的数据和大量无标签的数据来训练；而无监督学习不依赖任何标签值，其主要目的是对数据内在特征进行挖掘。
对比学习(Contrastive Learning)：自监督学习的一种，通过将数据分别与正例样本和负例样本在特征空间进行对比，来学习样本的特征表示。
人工标注(以下简称“标注”)、标签：在图像分割场景下，人利用已有的知识，在图像中框选出指定目标区域形成标签(英文：Label)的过程。腺体分割场景下则要求人将所有的腺体区域框选出来，往往是个眼皮上不规则的区域。
Labelme：用于图像标注的开源软件。
伪标签(Pseudo Label)：在图像分割场景下，对于没有人工标注过的图像，通过某种方法为其添加的非人工标注的标签称之为伪标签。
图像块：(Patches)：当算法需要或需要处理的图像分辨率太大而资源受限(比如显存、算力等)时，就可以将图像划分成一个个小块，这些小的图像块就是patch。
编码器(encoder)、解码器(decoder)：图像分割网络的主要组件。在本申请中是指UNet的两大组成部分，通过编码器提取图像的高层语义，用解码器对高层语义进行解码得到分割预测结果。
可选地，本申请以各个实施例提供的基于多种监督方式的睑板腺分割网络的训练方法用于电子设备中为例进行说明，该电子设备可以是计算机、手机、平板电脑等具有计算能力的设备，本实施例不对电子设备的设备类型作限定。
图1是本申请一个实施例提供的基于多种监督方式的睑板腺分割网络的训练方法的流程图，该方法至少包括以下几个步骤：
步骤101，获取训练数据集，训练数据集包括第一数据集和第二数据集，第一数据集包括第一睑板腺样本图像和第一睑板腺样本图像的真实图像标签，真实图像标签包括腺体标签和眼皮标签；第二数据集包括第二睑板腺样本图像。
具体地，可以从现有的图像库中(如Oculus系统)收集多张(如120张、或者更多或更少张，本实施例不对睑板腺原始图像的数量作限定)睑板腺原始图像；然后，数据集划分：为了减少对宝贵医疗资源的占用，本实施例对多张睑板腺原始图像进行1:2的比例进行划分，得到需要标注的睑板腺样本图像和无需标注的睑板腺样本图像；之后，对需要标注的睑板腺样本图像进行标注，并按照1:1:2的比例划分，得到训练数据集中的第一数据集、验证集和测试集。将无需标注的睑板腺样本图像作为训练数据集中的第二数据集。
比如：多张睑板腺原始图像的数量为120张，40张用于标注，80张无需标注。其中40张图像进行10：10：20的划分分别用于训练集、验证集、测试集。
为了降低睑板腺图像对比度低带来的标注难度大的问题，可选地，在对睑板腺样本图像进行标注之前，电子设备还可以对第一睑板腺样本图像进行图像增强，得到增强后的睑板腺样本图像；通过增强后的睑板腺样本图像，获取第一睑板腺样本图像的真实图像标签。
其中，图像增强方式包括但不限于：采用频率域法进行图像增强或采用空间域法进行图像增强，本实施例不对图像增强方式作限定。
具体地，通过增强后的睑板腺样本图像，获取第一睑板腺样本图像的真实图像标签，包括：使用自动标注工具对增强后的睑板腺样本图像进行标注，得到区域标签；对区域标签进行柔性腐蚀操作，得到真实图像标签。
其中，自动标注工具可以为labelme，比如：使用labelme对40张需要标注的睑板腺样本图像进行标注，如图2所示主要标注的区域包括腺体、眼皮两大类型。使用labelme标注完成后的json格式标签进行解析得到每张睑板腺样本图像x都有像素级的对应区域标签y。
考虑到标注引入的误差噪声，对训练数据集中的第一睑板腺样本图像的图像标签执行边缘soft操作。具体地，对区域标签进行柔性腐蚀操作，得到真实图像标签，包括：使用预设尺寸的模板对区域标签进行循环腐蚀，得到腐蚀后的图像yerode；使用区域标签与腐蚀后的图像相减(y-yerode)，得到区域标签边缘的最外层；在循环腐蚀预设次数后，设置每次腐蚀对应的最外层的标签值，标签值与对应的腐蚀后的图像为真实图像标签。
比如：预设次数为5次，则循环5次之后yerode在y的基础上腐蚀掉了5层，最终由外而内将每一层的标签值分别设置为(0.75,0.8,0.85,0.9,0.95)与yeroad叠加得到ysoft。至此，y从{0,1}硬标签转变成基于边缘软化的软标签，以降低标签在腺体边缘的误差对分割网络性能的影响。
步骤102，使用第一数据集对预先创建的UNet进行全监督训练，得到预训练后的UNet，UNet包括编码器网络和解码器网络。
可选地，使用第一数据集对预先创建的UNet进行全监督训练，得到预训练后的UNet，包括：将第一睑板腺样本图像输入预先创建的UNet，进行网络正向传播计算，并在最后一个卷积层后使用softmax得到UNet对第一睑板腺样本图像的分割预测结果；对图像标签和分割预测结果计算戴斯Dice损失；根据Dice损失计算梯度，并使用Adam优化器对UNet执行反向传播迭代更新网络参数；在迭代次数达到第一次数阈值后，得到预训练后的UNet。
其中，第一睑板腺样本图像x和对应的图像标签ysoft以灰度图方式读取，之后，对第一睑板腺样本图像x执行标准化(即，x＝(x-xmean)/xstd)，然后将灰度归一化至[0,1](x＝(x-xmin)/(xmax-xmin))；最后，使用数据增强库albumentations的内置算法执行图像增强，增强后的第一睑板腺样本图像为输入至预先创建的UNet中的输入图像。
其中，xmean为第一睑板腺样本图像x的像素平均值，xstd为第一睑板腺样本图像x的像素标准差，xmin为第一睑板腺样本图像x像素最小值，xmax为第一睑板腺样本图像x像素最大值。
由于第一睑板腺样本图像x是一张灰度图，因此不涉及通道增强。可选地，albumentations的内置算法包括但不限于一下几种中的至少一种：随机裁剪(RandomCrop)、翻转(Flip)、随机旋转0-90角度(RandomRotate90)、随机网格洗牌(RandomGridShuffle)、随机应用仿射变换(ShiftScaleRotate)和透视变换(IAAPerspective)。
假设预训练过程中，分割网络训练超参数定义：学习率为0.0001，优化器使用Adam，损失函数为Dice。同时在训练过程每50次反向传播执行一次验证集的验证，期间更新学习率与早停策略为：连续3次mIOU指标下降，学习率降低10倍，连续10次mIOU指标无法超过当前最优，训练停止。相应地，电子设备将第一睑板腺图像x输入UNet执行网络正向传播计算，最后一个卷积层后使用softmax得到分割网络UNet对x的分割预测结果ypred。之后，对ypred与图像标签ysoft计算Dice损失作为Lsup。根据Lsup计算梯度，使用Adam优化器对UNet执行反向传播更新网络参数。最后，当训练迭代超过最大设定次数或早停，保存当前最优mIOU对应的UNet网络参数，得到预训练后的UNet。
步骤103，将第一睑板腺样本图像、第二睑板腺样本图像和添加噪声后的第二睑板腺样本图像输入预训练后的UNet，得到第一睑板腺样本图像的预测结果、第二睑板腺样本图像的伪图像标签和添加噪声后的第二睑板腺样本图像的预测结果，伪图像标签包括腺体标签和眼皮标签。
本实施例中，在全监督分割网络预训练的UNet基础上执行进一步的训练，以提升分割网络的分割性能。参考图3，相较于全监督训练只计算Lsup，多监督引入半监督损失Lsemi与自监督损失Lself分别从不同角度利用第二睑板腺样本图像加入训练。其中，半监督学习从分割的角度利用无标注数据，而自监督学习利用编码器提取高层语义特征的角度挖掘数据内在的信息，具体参考下文。
其中，第一睑板腺样本图像和第二睑板腺样本图像均入以灰度图方式读取。可选地，读取到灰度图像后，还可以对第一睑板腺样本图像和第二睑板腺样本图像进行处理。具体地，对睑板腺样本图像x执行标准化(即，x＝(x-xmean)/xstd)，然后将灰度归一化至[0,1](x＝(x-xmin)/(xmax-xmin))；最后，使用数据增强库albumentations的内置算法执行图像增强，增强后的睑板腺样本图像为输入至预训练后的UNet中的输入图像。
根据图3可知，第二睑板腺样本图像输入预训练后的UNet后，得到第二睑板腺样本图像的伪图像标签ypred。可选地，伪图像标签ypred为采用阈值0.5对预训练后的UNet输出的标签结果进行二值化处理得到的。这样，电子设备已经可以得到第一睑板腺样本图像的真实图像标签、以及第二睑板腺样本图像的伪图像标签。
步骤104，基于真实图像标签确定第一睑板腺样本图像中的感兴趣区域、并基于伪图像标签确定第二睑板腺样本图像中的感兴趣区域。
在一个示例中，基于真实图像标签确定第一睑板腺样本图像中的感兴趣区域、并基于伪图像标签确定第二睑板腺样本图像中的感兴趣区域，包括：将真实图像标签中的腺体标签指示的腺体与眼皮标签指示的眼皮区域相加，得到包含腺体的整个眼皮区域掩膜；将伪图像标签中的腺体标签指示的腺体与眼皮标签指示的眼皮区域相加，得到包含腺体的整个眼皮区域掩膜；确定掩膜中的最大轮廓，并用矩形拟合最大轮廓；根据最大轮廓从第一睑板腺样本图像和第二睑板腺样本图像中提取感兴趣区域。
比如：参考图4所示，对真实标签与伪标签，将腺体与眼皮区域相加得到包含腺体的整个眼皮区域mask41。
步骤105，从感兴趣区域中提取锚点图像、N张正例图像和与每张正例图像对应的负例图像；每张正例图像是从锚点图像中提取到的，正例图像对应的负例图像是对正例图像进行拉伸得到的。
在一个示例中，从感兴趣区域中提取锚点图像、N张正例图像和与每张正例图像对应的负例图像，包括：将感兴趣区域旋转至水平得到图像块；通过边缘截取与填充将图像块修正至同一的像素大小；对于每一张修正后的图像块，选取中心矩形框作为锚点图像，并随机取同样大小的矩形框作为正例图像。对于每一个正例图像，采用高度不变、且宽度小于正例图像的区域，随机从正例图像中截取，并将截取到的图像拉伸至正例图像的大小，得到负例图像。
比如：图4中，寻找mask41中的最大轮廓并用矩形拟合这个最大轮廓。具体地，可以使用opencv-python中的椭圆拟合接口fitEllipse配合函数boxPoints进行轮廓的椭圆拟合与计算椭圆角点得到最小拟合矩形。根据最大轮廓从睑板腺图像提取感兴趣区域42，并截取对应矩形区域并旋转至水平得到图像块43。避免改变睑板腺腺体本身的形状，通过边缘截取与填充将图像块修正至统一的像素大小。对于每一张修正后的图像块，选取中心矩形框作为锚点图像(Anchor)44，并随机取同样大小的矩形框作为正例图像(Positive)45。对于每一个正例图像45，采用高度不变宽度为正例图像{3/4,1/2,1/4}随机之一的区域，随机从正例图像中截取，并将截取到的图像拉伸至正例图像大小得到负例图像(Negtive)46。
这样，对于每一张睑板腺样本图像(第一睑板腺样本图像和第二睑板腺样本图像)都可以生成1张锚点图像，N张正例图像与对应的负例图像。
步骤106，将锚点图像、N张正例图像和每张正例图像对应的负例图像输入预训练后的UNet的编码器网络，得到锚点图像对应的第一语义特征、正例图像对应的第二语义特征和负例图像对应的第三语义特征。
可选地，第一语义特征、第二语义特征和第三语义特征是利用编码器网络之后的一层卷积层将高维语义特征转换为128维语义特征得到的。
步骤107，计算第一语义特征、第二语义特征和第三语义特征之间的腺体宽度差异和腺体数量差异，得到自监督学习损失。
负例图像的腺体宽度大于正例图像的腺体宽度、且大于锚点图像的腺体宽度；负例图像的腺体数量小于正例图像的腺体数量。
参考图5，腺体宽度差异通过下式表示：
Lw(Za,Zp,Zn)＝Σmax(L2(Za,Zp)-L2(Za,Zn)+m1,0)；
腺体数量差异通过下式表示：
Ln(Zp,Zn)＝Σmax(f(Zn)-f(Zp)+m2,0)；
其中，Za表示第一语义特征、Zp表示第二语义特征、Zn表示第三语义特征，Lw表示腺体宽度差异，L2表示向量间的二范式距离，Ln表示腺体数量差异，f用于将向量变换成表示腺体数量的标量，m1和m2表示固定数值。
示意性地，自监督学习损失Lself通过下式表示：
Lself＝Lw(Za,Zp,Zn)+Ln(Zp,Zn)。
步骤108，基于第一睑板腺样本图像的预测结果和真实图像标签确定全监督学习损失。
全监督学习损失Lsup为第一睑板腺样本图像的预测结果和真实图像标签的Dice损失。
步骤109，基于伪图像标签和添加噪声后的第二睑板腺样本图像的预测结果确定半监督学习损失。
根据图3可知，将第二睑板腺样本图像作为输入执行正向传播输出ypred，同时加上高斯噪声后执行正向传播输出y^pred，半监督学习损失Lsemi＝L2(ypred,y^pred)。
步骤110，使用自监督学习损失、全监督学习损失和半监督学习损失对预训练后的UNet进行多监督训练，得到睑板腺分割网络。
在一个示例中，使用自监督学习损失、全监督学习损失和半监督学习损失对预训练后的UNet进行多监督训练，得到睑板腺分割网络，包括：基于自监督学习损失、全监督学习损失和半监督学习损失计算总损失值；基于总损失值计算梯度；使用Adam优化器对预训练后的UNet执行反向传播迭代更新网络参数；在迭代次数达到第二次数阈值后，保存最优的总损失值对应的网络参数，得到睑板腺分割网络。
比如：分割网络训练超参数定义：学习率为0.0001，优化器使用Adam。同时在训练过程每50次反向传播执行一次验证集的验证，期间更新学习率与早停策略为：连续3次mIOU指标下降，学习率降低10倍，连续10次mIOU指标无法超过当前最优，训练停止。
在多监督训练过程中，输入第一睑板腺样本图像DL、第一睑板腺样本图像DU与预训练分割网络，通过一次正向传播求得总损失值L＝Lsup+λ1Lself+λ2Lsemi。其中，λ1和λ2为预设权重值。根据总损失值L计算梯度，使用Adam优化器对预训练分割网络网络执行反向传播更新网络参数。当训练迭代超过最大设定次数或早停，保存当前最优mIOU对应的UNet网络参数。
综上所述，本实施例提供的基于多种监督方式的睑板腺分割网络的训练方法，通过使用第一数据集对预先创建的UNet进行全监督训练，得到预训练后的UNet，UNet包括编码器网络和解码器网络；将第一睑板腺样本图像、第二睑板腺样本图像和添加噪声后的第二睑板腺样本图像输入预训练后的UNet，得到第一睑板腺样本图像的预测结果、第二睑板腺样本图像的伪图像标签和添加噪声后的第二睑板腺样本图像的预测结果，伪图像标签包括腺体标签和眼皮标签；基于真实图像标签确定第一睑板腺样本图像中的感兴趣区域、并基于伪图像标签确定第二睑板腺样本图像中的感兴趣区域；从感兴趣区域中提取锚点图像、N张正例图像和与每张正例图像对应的负例图像；每张正例图像是从锚点图像中提取到的，正例图像对应的负例图像是对正例图像进行拉伸得到的；将锚点图像、N张正例图像和每张正例图像对应的负例图像输入预训练后的UNet的编码器网络，得到锚点图像对应的第一语义特征、正例图像对应的第二语义特征和负例图像对应的第三语义特征；计算第一语义特征、第二语义特征和第三语义特征之间的腺体宽度差异和腺体数量差异，得到自监督学习损失；基于第一睑板腺样本图像的预测结果和真实图像标签确定全监督学习损失；基于伪图像标签和添加噪声后的第二睑板腺样本图像的预测结果确定半监督学习损失；使用自监督学习损失、全监督学习损失和半监督学习损失对预训练后的UNet进行多监督训练，得到睑板腺分割网络；相比于已有技术只用全监督学习，在训练过程引入半监督与自监督学习能从无标注睑板腺图像中挖掘出更有用的信息；相比于传统图像处理方法，基于深度学习进行了改进，因此具有更好的能适用于不同光照、角度、距离等情况下拍摄的睑板腺图像。
另外，本申请提供的训练方法更适用于睑板腺图像分割的任务，基于睑板腺图像眼皮与腺体紧密围绕的数据特性，设计了基于腺体宽度与数量提取的代理子任务进行自监督学习，且自监督学习的数据准备过程只需要简单的分割出眼皮轮廓，相比于已有方法直接分割出腺体任务简单，减少数据准备过程中为自监督学习任务引入的区域错误分割引起的噪声，分割性能更好。
另外，本申请提供的训练方法对人工标注存在的误差有适应能力。通过边缘soft的预处理降低了标注中边缘区域的权值，网络对边缘内的正确标注区域给予更多的关注，从而简单有效地降低标注噪声对网络的泛华能力的影响。
图6是本申请一个实施例提供的基于多种监督方式的睑板腺分割网络的训练装置的框图。该装置至少包括以下几个模块：数据获取模块610、预训练模块620、图像输入模块630、区域提取模块640、代理任务预处理模块650、特征获取模块660、损失获取模块670和多监督训练模块680。
数据获取模块610，用于获取训练数据集，所述训练数据集包括第一数据集和第二数据集，所述第一数据集包括第一睑板腺样本图像和所述第一睑板腺样本图像的真实图像标签，所述真实图像标签包括腺体标签和眼皮标签；所述第二数据集包括第二睑板腺样本图像；
预训练模块620，用于使用所述第一数据集对预先创建的UNet进行全监督训练，得到预训练后的UNet，所述UNet包括编码器网络和解码器网络；
图像输入模块630，用于将所述第一睑板腺样本图像、所述第二睑板腺样本图像和添加噪声后的第二睑板腺样本图像输入所述预训练后的UNet，得到所述第一睑板腺样本图像的预测结果、所述第二睑板腺样本图像的伪图像标签和所述添加噪声后的第二睑板腺样本图像的预测结果，所述伪图像标签包括腺体标签和眼皮标签；
区域提取模块640，用于基于所述真实图像标签确定所述第一睑板腺样本图像中的感兴趣区域、并基于所述伪图像标签确定所述第二睑板腺样本图像中的感兴趣区域；
代理任务预处理模块650，用于从所述感兴趣区域中提取锚点图像、N张正例图像和与每张正例图像对应的负例图像；每张正例图像是从所述锚点图像中提取到的，所述正例图像对应的负例图像是对所述正例图像进行拉伸得到的；
特征获取模块660，用于将所述锚点图像、所述N张正例图像和所述每张正例图像对应的负例图像输入所述预训练后的UNet的编码器网络，得到所述锚点图像对应的第一语义特征、所述正例图像对应的第二语义特征和所述负例图像对应的第三语义特征；
损失获取模块670，用于计算所述第一语义特征、所述第二语义特征和所述第三语义特征之间的腺体宽度差异和腺体数量差异，得到自监督学习损失；
所述损失获取模块670，还用于基于所述第一睑板腺样本图像的预测结果和所述真实图像标签确定全监督学习损失；
所述损失获取模块670，还用于基于所述伪图像标签和所述添加噪声后的第二睑板腺样本图像的预测结果确定半监督学习损失；
多监督训练模块680，用于使用所述自监督学习损失、所述全监督学习损失和所述半监督学习损失对所述预训练后的UNet进行多监督训练，得到所述睑板腺分割网络。
相关细节参考上述方法实施例。
需要说明的是：上述实施例中提供的基于多种监督方式的睑板腺分割网络的训练装置在进行基于多种监督方式的睑板腺分割网络的训练时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将基于多种监督方式的睑板腺分割网络的训练装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于多种监督方式的睑板腺分割网络的训练装置与基于多种监督方式的睑板腺分割网络的训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的基于多种监督方式的睑板腺分割网络的训练方法。
可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的基于多种监督方式的睑板腺分割网络的训练方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于多种监督方式的睑板腺分割网络的训练方法，其特征在于，所述方法包括：
获取训练数据集，所述训练数据集包括第一数据集和第二数据集，所述第一数据集包括第一睑板腺样本图像和所述第一睑板腺样本图像的真实图像标签，所述真实图像标签包括腺体标签和眼皮标签；所述第二数据集包括第二睑板腺样本图像；
使用所述第一数据集对预先创建的UNet进行全监督训练，得到预训练后的UNet，所述UNet包括编码器网络和解码器网络；
将所述第一睑板腺样本图像、所述第二睑板腺样本图像和添加噪声后的第二睑板腺样本图像输入所述预训练后的UNet，得到所述第一睑板腺样本图像的预测结果、所述第二睑板腺样本图像的伪图像标签和所述添加噪声后的第二睑板腺样本图像的预测结果，所述伪图像标签包括腺体标签和眼皮标签；
基于所述真实图像标签确定所述第一睑板腺样本图像中的感兴趣区域、并基于所述伪图像标签确定所述第二睑板腺样本图像中的感兴趣区域；
从所述感兴趣区域中提取锚点图像、N张正例图像和与每张正例图像对应的负例图像；每张正例图像是从所述锚点图像中提取到的，所述正例图像对应的负例图像是对所述正例图像进行拉伸得到的；
将所述锚点图像、所述N张正例图像和所述每张正例图像对应的负例图像输入所述预训练后的UNet的编码器网络，得到所述锚点图像对应的第一语义特征、所述正例图像对应的第二语义特征和所述负例图像对应的第三语义特征；
计算所述第一语义特征、所述第二语义特征和所述第三语义特征之间的腺体宽度差异和腺体数量差异，得到自监督学习损失；
基于所述第一睑板腺样本图像的预测结果和所述真实图像标签确定全监督学习损失；
基于所述伪图像标签和所述添加噪声后的第二睑板腺样本图像的预测结果确定半监督学习损失；
使用所述自监督学习损失、所述全监督学习损失和所述半监督学习损失对所述预训练后的UNet进行多监督训练，得到所述睑板腺分割网络。
2.根据权利要求1所述的方法，其特征在于，所述基于所述真实图像标签确定所述第一睑板腺样本图像中的感兴趣区域、并基于所述伪图像标签确定所述第二睑板腺样本图像中的感兴趣区域，包括：
将真实图像标签中的腺体标签指示的腺体与眼皮标签指示的眼皮区域相加，得到包含腺体的整个眼皮区域掩膜；
将伪图像标签中的腺体标签指示的腺体与眼皮标签指示的眼皮区域相加，得到包含腺体的整个眼皮区域掩膜；
确定所述掩膜中的最大轮廓，并用矩形拟合所述最大轮廓；
根据所述最大轮廓从所述第一睑板腺样本图像和所述第二睑板腺样本图像中提取所述感兴趣区域。
3.根据权利要求1所述的方法，其特征在于，所述从所述感兴趣区域中提取锚点图像、N张正例图像和与每张正例图像对应的负例图像，包括：
将所述感兴趣区域旋转至水平得到图像块；
通过边缘截取与填充将所述图像块修正至同一的像素大小；
对于每一张修正后的图像块，选取中心矩形框作为所述锚点图像，并随机取同样大小的矩形框作为所述正例图像。
对于每一个所述正例图像，采用高度不变、且宽度小于正例图像的区域，随机从正例图像中截取，并将截取到的图像拉伸至所述正例图像的大小，得到所述负例图像。
4.根据权利要求1所述的方法，其特征在于，所述负例图像的腺体宽度大于所述正例图像的腺体宽度、且大于所述锚点图像的腺体宽度；所述负例图像的腺体数量小于所述正例图像的腺体数量；
所述腺体宽度差异通过下式表示：
Lw(Za,Zp,Zn)＝Σmax(L2(Za,Zp)-L2(Za,Zn)+m1,0)；
所述腺体数量差异通过下式表示：
Ln(Zp,Zn)＝Σmax(f(Zn)-f(Zp)+m2,0)；
其中，Za表示所述第一语义特征、Zp表示所述第二语义特征、Zn表示所述第三语义特征，Lw表示所述腺体宽度差异，L2表示向量间的二范式距离，Ln表示所述腺体数量差异，f用于将向量变换成表示腺体数量的标量，m1和m2表示固定数值。
5.根据权利要求1所述的方法，其特征在于，所述使用所述第一数据集对预先创建的UNet进行全监督训练，得到预训练后的UNet，包括：
将所述第一睑板腺样本图像输入预先创建的UNet，进行网络正向传播计算，并在最后一个卷积层后使用softmax得到所述UNet对所述第一睑板腺样本图像的分割预测结果；
对所述图像标签和所述分割预测结果计算戴斯Dice损失；
根据所述Dice损失计算梯度，并使用Adam优化器对所述UNet执行反向传播迭代更新网络参数；
在迭代次数达到第一次数阈值后，得到所述预训练后的UNet。
6.根据权利要求1所述的方法，其特征在于，所述获取训练数据集，包括：
获取所述第一睑板腺样本图像；
对所述第一睑板腺样本图像进行图像增强，得到增强后的睑板腺样本图像；
通过所述增强后的睑板腺样本图像，获取所述第一睑板腺样本图像的真实图像标签。
7.根据权利要求6所述的方法，其特征在于，所述通过所述增强后的睑板腺样本图像，获取所述第一睑板腺样本图像的真实图像标签，包括：
使用自动标注工具对所述增强后的睑板腺样本图像进行标注，得到区域标签；
对所述区域标签进行柔性腐蚀操作，得到所述真实图像标签。
8.根据权利要求7所述的方法，其特征在于，所述对所述区域标签进行柔性腐蚀操作，得到所述真实图像标签，包括：
使用预设尺寸的模板对所述区域标签进行循环腐蚀，得到腐蚀后的图像；
使用所述区域标签与所述腐蚀后的图像相减，得到所述区域标签边缘的最外层；
在循环腐蚀预设次数后，设置每次腐蚀对应的最外层的标签值，所述标签值与对应的腐蚀后的图像为所述真实图像标签。
9.根据权利要求1至8任一所述的方法，其特征在于，所述使用所述自监督学习损失、所述全监督学习损失和所述半监督学习损失对所述预训练后的UNet进行多监督训练，得到所述睑板腺分割网络，包括：
基于所述自监督学习损失、所述全监督学习损失和所述半监督学习损失计算总损失值；
基于所述总损失值计算梯度；
使用所述Adam优化器对所述预训练后的UNet执行反向传播迭代更新网络参数；
在迭代次数达到第二次数阈值后，保存最优的总损失值对应的网络参数，得到所述睑板腺分割网络。
10.一种基于多种监督方式的睑板腺分割网络的训练装置，其特征在于，所述装置包括：
数据获取模块，用于获取训练数据集，所述训练数据集包括第一数据集和第二数据集，所述第一数据集包括第一睑板腺样本图像和所述第一睑板腺样本图像的真实图像标签，所述真实图像标签包括腺体标签和眼皮标签；所述第二数据集包括第二睑板腺样本图像；
预训练模块，用于使用所述第一数据集对预先创建的UNet进行全监督训练，得到预训练后的UNet，所述UNet包括编码器网络和解码器网络；
图像输入模块，用于将所述第一睑板腺样本图像、所述第二睑板腺样本图像和添加噪声后的第二睑板腺样本图像输入所述预训练后的UNet，得到所述第一睑板腺样本图像的预测结果、所述第二睑板腺样本图像的伪图像标签和所述添加噪声后的第二睑板腺样本图像的预测结果，所述伪图像标签包括腺体标签和眼皮标签；
区域提取模块，用于基于所述真实图像标签确定所述第一睑板腺样本图像中的感兴趣区域、并基于所述伪图像标签确定所述第二睑板腺样本图像中的感兴趣区域；
代理任务预处理模块，用于从所述感兴趣区域中提取锚点图像、N张正例图像和与每张正例图像对应的负例图像；每张正例图像是从所述锚点图像中提取到的，所述正例图像对应的负例图像是对所述正例图像进行拉伸得到的；
特征获取模块，用于将所述锚点图像、所述N张正例图像和所述每张正例图像对应的负例图像输入所述预训练后的UNet的编码器网络，得到所述锚点图像对应的第一语义特征、所述正例图像对应的第二语义特征和所述负例图像对应的第三语义特征；
损失获取模块，用于计算所述第一语义特征、所述第二语义特征和所述第三语义特征之间的腺体宽度差异和腺体数量差异，得到自监督学习损失；
所述损失获取模块，还用于基于所述第一睑板腺样本图像的预测结果和所述真实图像标签确定全监督学习损失；
所述损失获取模块，还用于基于所述伪图像标签和所述添加噪声后的第二睑板腺样本图像的预测结果确定半监督学习损失；
多监督训练模块，用于使用所述自监督学习损失、所述全监督学习损失和所述半监督学习损失对所述预训练后的UNet进行多监督训练，得到所述睑板腺分割网络。
CN202111113479.6A 2021-09-23 2021-09-23 基于多种监督方式的睑板腺分割网络的训练方法及装置 Active CN113706564B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111113479.6A CN113706564B (zh) 2021-09-23 2021-09-23 基于多种监督方式的睑板腺分割网络的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111113479.6A CN113706564B (zh) 2021-09-23 2021-09-23 基于多种监督方式的睑板腺分割网络的训练方法及装置

Publications (2)

Publication Number Publication Date
CN113706564A true CN113706564A (zh) 2021-11-26
CN113706564B CN113706564B (zh) 2023-07-18

Family

ID=78661521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111113479.6A Active CN113706564B (zh) 2021-09-23 2021-09-23 基于多种监督方式的睑板腺分割网络的训练方法及装置

Country Status (1)

Country Link
CN (1) CN113706564B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549904A (zh) * 2022-02-25 2022-05-27 北京百度网讯科技有限公司 视觉处理及模型训练方法、设备、存储介质及程序产品
CN114972313A (zh) * 2022-06-22 2022-08-30 北京航空航天大学 图像分割网络预训练方法及装置
CN114972118A (zh) * 2022-06-30 2022-08-30 抖音视界(北京)有限公司 检查图像的降噪方法、装置、可读介质和电子设备
CN115147426A (zh) * 2022-09-06 2022-10-04 北京大学 基于半监督学习的模型训练与图像分割方法和系统
CN115661460A (zh) * 2022-11-03 2023-01-31 广东工业大学 一种具有对比机制的相似度感知框架的医学图像分割方法
CN117541798A (zh) * 2024-01-09 2024-02-09 中国医学科学院北京协和医院 一种医学影像肿瘤分割模型训练方法、装置及分割方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785321A (zh) * 2019-01-30 2019-05-21 杭州又拍云科技有限公司 基于深度学习和Gabor滤波器的睑板腺区域提取方法
CN110363770A (zh) * 2019-07-12 2019-10-22 安徽大学 一种边缘引导式红外语义分割模型的训练方法及装置
US10468142B1 (en) * 2018-07-27 2019-11-05 University Of Miami Artificial intelligence-based system and methods for corneal diagnosis
CN110428908A (zh) * 2019-07-31 2019-11-08 广西壮族自治区人民医院 一种基于人工智能的眼睑运动功能评估系统
WO2020156303A1 (zh) * 2019-01-30 2020-08-06 广州市百果园信息技术有限公司 语义分割网络的训练方法及装置、基于语义分割网络的图像处理方法及装置、设备、存储介质
WO2021114130A1 (zh) * 2019-12-11 2021-06-17 中国科学院深圳先进技术研究院 一种无监督自适应乳腺病变分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10468142B1 (en) * 2018-07-27 2019-11-05 University Of Miami Artificial intelligence-based system and methods for corneal diagnosis
CN109785321A (zh) * 2019-01-30 2019-05-21 杭州又拍云科技有限公司 基于深度学习和Gabor滤波器的睑板腺区域提取方法
WO2020156303A1 (zh) * 2019-01-30 2020-08-06 广州市百果园信息技术有限公司 语义分割网络的训练方法及装置、基于语义分割网络的图像处理方法及装置、设备、存储介质
CN110363770A (zh) * 2019-07-12 2019-10-22 安徽大学 一种边缘引导式红外语义分割模型的训练方法及装置
CN110428908A (zh) * 2019-07-31 2019-11-08 广西壮族自治区人民医院 一种基于人工智能的眼睑运动功能评估系统
WO2021114130A1 (zh) * 2019-12-11 2021-06-17 中国科学院深圳先进技术研究院 一种无监督自适应乳腺病变分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贡荣麟;施俊;王骏;: "面向乳腺超声图像分割的混合监督双通道反馈U-Net", 中国图象图形学报, no. 10, pages 260 - 271 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549904A (zh) * 2022-02-25 2022-05-27 北京百度网讯科技有限公司 视觉处理及模型训练方法、设备、存储介质及程序产品
CN114972313A (zh) * 2022-06-22 2022-08-30 北京航空航天大学 图像分割网络预训练方法及装置
CN114972313B (zh) * 2022-06-22 2024-04-19 北京航空航天大学 图像分割网络预训练方法及装置
CN114972118A (zh) * 2022-06-30 2022-08-30 抖音视界(北京)有限公司 检查图像的降噪方法、装置、可读介质和电子设备
CN115147426A (zh) * 2022-09-06 2022-10-04 北京大学 基于半监督学习的模型训练与图像分割方法和系统
CN115661460A (zh) * 2022-11-03 2023-01-31 广东工业大学 一种具有对比机制的相似度感知框架的医学图像分割方法
CN117541798A (zh) * 2024-01-09 2024-02-09 中国医学科学院北京协和医院 一种医学影像肿瘤分割模型训练方法、装置及分割方法
CN117541798B (zh) * 2024-01-09 2024-03-29 中国医学科学院北京协和医院 一种医学影像肿瘤分割模型训练方法、装置及分割方法

Also Published As

Publication number Publication date
CN113706564B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN113706564A (zh) 基于多种监督方式的睑板腺分割网络的训练方法及装置
CN111723860B (zh) 一种目标检测方法及装置
US11842487B2 (en) Detection model training method and apparatus, computer device and storage medium
US20220189142A1 (en) Ai-based object classification method and apparatus, and medical imaging device and storage medium
US11915514B2 (en) Method and apparatus for detecting facial key points, computer device, and storage medium
CN111260055B (zh) 基于三维图像识别的模型训练方法、存储介质和设备
WO2022078041A1 (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN111860670A (zh) 域自适应模型训练、图像检测方法、装置、设备及介质
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
CN112085714B (zh) 一种肺结节检测方法、模型训练方法、装置、设备及介质
CN109903272B (zh) 目标检测方法、装置、设备、计算机设备和存储介质
CN110322436B (zh) 医学图像处理方法、装置、存储介质及设备
Santiago et al. 2D segmentation using a robust active shape model with the EM algorithm
CN109390053B (zh) 眼底图像处理方法、装置、计算机设备和存储介质
CN113469092B (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
CN112001983B (zh) 生成遮挡图像的方法、装置、计算机设备和存储介质
CN111462060A (zh) 胎儿超声图像中标准切面图像的检测方法和装置
CN114841947A (zh) 肺腺癌h&e染色病理图像肿瘤区域多尺度特征提取与预后分析方法、装置
CN112906813A (zh) 一种基于密度聚类和胶囊神经网络的浮选工况识别方法
CN114897782B (zh) 基于生成式对抗网络的胃癌病理切片图像分割预测方法
CN112419335B (zh) 一种细胞核分割网络的形状损失计算方法
CN110991408B (zh) 基于深度学习方法分割脑白质高信号的方法和装置
CN110232684B (zh) 一种基于谱分析的三维医学图像自动分割方法
CN116228795A (zh) 一种基于弱监督学习的超高分辨率医学图像分割方法
CN114399494A (zh) 异常细胞检测分割方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant