CN114565586B - 息肉分割模型的训练方法、息肉分割方法及相关装置 - Google Patents

息肉分割模型的训练方法、息肉分割方法及相关装置 Download PDF

Info

Publication number
CN114565586B
CN114565586B CN202210199449.XA CN202210199449A CN114565586B CN 114565586 B CN114565586 B CN 114565586B CN 202210199449 A CN202210199449 A CN 202210199449A CN 114565586 B CN114565586 B CN 114565586B
Authority
CN
China
Prior art keywords
segmentation
polyp
image
sample image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210199449.XA
Other languages
English (en)
Other versions
CN114565586A (zh
Inventor
边成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaohe Medical Instrument Hainan Co ltd
Original Assignee
Xiaohe Medical Instrument Hainan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaohe Medical Instrument Hainan Co ltd filed Critical Xiaohe Medical Instrument Hainan Co ltd
Priority to CN202210199449.XA priority Critical patent/CN114565586B/zh
Publication of CN114565586A publication Critical patent/CN114565586A/zh
Application granted granted Critical
Publication of CN114565586B publication Critical patent/CN114565586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种息肉分割模型的训练方法、息肉分割方法及相关装置，以减少标注成本的同时提升息肉分割模型的鲁棒性和泛化性。该方法包括：将样本图像输入息肉分割模型，得到第一分割网络针对样本图像输出的分割结果和第二分割网络针对样本图像输出的分割结果；基于判别网络和第一分割网络针对第一样本图像和第二样本图像输出的分割结果、以及第二分割网络针对第一样本图像和第二样本图像输出的分割结果，得到判别结果；根据第一分割网络输出的分割结果、第二分割网络输出的分割结果和判别结果计算目标损失函数值；基于目标损失函数值调整息肉分割模型的参数。

Description

息肉分割模型的训练方法、息肉分割方法及相关装置
技术领域
本公开涉及图像处理技术领域，具体地，涉及一种息肉分割模型的训练方法、息肉分割方法及相关装置。
背景技术
结肠镜检查可以有效地发现并去除息肉。息肉分割(Polyp Segmentation)作为一种计算机视觉任务，可以自动地将图像或视频中的息肉部位分割出来，能够在结肠镜检查过程中降低息肉的漏检率。但是，大多数息肉分割模型都需要大量像素级精确标注的数据集作为训练样本，而对数据集进行像素级精确标注需要耗费大量的人力物力。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，本公开提供一种息肉分割模型的训练方法，所述息肉分割模型包括第一分割网络和第二分割网络，所述训练方法包括：
将样本图像输入所述息肉分割模型，得到所述第一分割网络针对所述样本图像输出的分割结果和所述第二分割网络针对所述样本图像输出的分割结果，其中所述样本图像包括标注有息肉位置标签的第一样本图像和未标注息肉位置标签的第二样本图像；
基于判别网络和所述第一分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果、以及所述第二分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果，得到判别结果，所述判别网络用于判别输入的分割结果是否对应标注有息肉位置标签的样本图像；
根据所述第一分割网络输出的分割结果、所述第二分割网络输出的分割结果和所述判别结果计算目标损失函数值；
基于所述目标损失函数值调整所述息肉分割模型的参数。
第二方面，本公开提供一种息肉分割方法，所述方法包括：
获取待分割的内窥镜图像；
通过息肉分割模型对所述内窥镜图像进行分割处理，得到目标息肉图像，所述息肉分割模型是通过本公开第一方面所述的息肉分割模型的训练方法得到的，所述息肉分割模型用于通过如下方式对所述内窥镜图像进行分割处理，得到目标息肉图像：
通过第一分割网络对所述内窥镜图像进行分割处理，得到第一息肉图像，并通过第二分割网络对所述内窥镜图像进行分割处理，得到第二息肉图像；
将所述第一息肉图像与所述第二息肉图像进行图像融合，得到目标息肉图像。
第三方面，本公开提供一种息肉分割模型的训练装置，所述息肉分割模型包括第一分割网络和第二分割网络，所述训练装置包括：
输入模块，用于将样本图像输入所述息肉分割模型，得到所述第一分割网络针对所述样本图像输出的分割结果和所述第二分割网络针对所述样本图像输出的分割结果，其中所述样本图像包括标注有息肉位置标签的第一样本图像和未标注息肉位置标签的第二样本图像；
判别模块，用于基于判别网络和所述第一分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果、以及所述第二分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果，得到判别结果，所述判别网络用于判别输入的分割结果是否对应标注有息肉位置标签的样本图像；
计算模块，用于根据所述第一分割网络输出的分割结果、所述第二分割网络输出的分割结果和所述判别结果计算目标损失函数值；
调整模块，用于基于所述目标损失函数值调整所述息肉分割模型的参数。
第四方面，本公开提供一种息肉分割装置，所述装置包括：
获取模块，用于获取待分割的内窥镜图像；
分割模块，用于通过息肉分割模型对所述内窥镜图像进行分割处理，得到目标息肉图像，所述息肉分割模型是通过本公开第一方面所述的息肉分割模型的训练方法得到的，所述息肉分割模型用于通过如下方式对所述内窥镜图像进行分割处理，得到目标息肉图像：
通过第一分割网络对所述内窥镜图像进行分割处理，得到第一息肉图像，并通过第二分割网络对所述内窥镜图像进行分割处理，得到第二息肉图像；
将所述第一息肉图像与所述第二息肉图像进行图像融合，得到目标息肉图像。
第五方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面所述方法的步骤。
第六方面，本公开提供一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
通过上述技术方案，可以利用少量的标注有息肉位置标签的样本图像和大量的未标注息肉位置标签的样本图像对息肉分割模型进行训练，减少标注成本的同时提升息肉分割模型的泛化性。另外，在训练过程中，第一分割网络和第二分割网络之间可以相互优化、相互引导，并且通过判别网络可以进一步对息肉分割模型进行优化，提升息肉分割模型的鲁棒性和泛化性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
图1是根据一示例性实施例提供的一种息肉分割模型的训练方法的流程图；
图2是根据一示例性实施例提供的一种第一分割网络的结构示意图；
图3是根据一示例性实施例提供的一种第二分割网络的结构示意图；
图4是根据一示例性实施例提供的另一种息肉分割模型的训练方法的流程图；
图5是根据一示例性实施例提供的一种息肉分割方法的流程图；
图6是根据一示例性实施例提供的一种息肉分割模型的训练装置的框图；
图7是根据一示例性实施例提供的一种息肉分割装置的框图；
图8是根据一示例性实施例提供的一种电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
正如背景技术所言，息肉分割(Polyp Segmentation)作为一种计算机视觉任务，可以自动地将图像或视频中的息肉部位分割出来，能够在结肠镜检查过程中降低息肉的漏检率。结直肠息肉一般来说有以下特点：息肉的大小、形状的差异性大，大多数息肉的颜色与背景色相近，差异不明显以及肠道环境的差异性大。目前息肉分割模型通常采用U-Net结构的分割模型，如ResU-Net、PraNe等。这类息肉分割模型都是基于全监督的训练策略，通常需要大量像素级精确标注的数据集，而对数据集进行像素级精确标注需要专业的临床医生对息肉先进行粗略定位，再根据局部特征准确地勾勒出息肉的轮廓，因此需要耗费大量的人力物力。而有限且数量较小的像素级标注数据通常是难以完全代表结肠息肉以及结肠环境多变的特点的，使得全监督的息肉分割模型难以具有很好的泛化性。
为了解决上述存在的技术问题，本公开提供一种息肉分割模型的训练方法、息肉分割方法及相关装置。虽然，目前卷积神经网络(CNN)在医学图像分割领域取得了不错的效果，但是医学图像的一大问题是像素级标注数据数量太少，而在临床场景下医生没有时间和精力对产生的海量数据进行大规模标注。因此，本公开训练方法可以利用少量的标注有息肉位置标签的样本图像和大量的未标注息肉位置标签的样本图像对息肉分割模型进行训练，减少标注成本的同时提升息肉分割模型的泛化性。也就是说，除了将标注的息肉位置标签作为真值标签外，还将息肉分割模型针对未标注息肉位置标签的样本图像的分割结果作为伪标签，进而对息肉分割模型进行迭代训练。
此外，虽然相关技术中可以利用未标注的数据帮助模型提高性能，但是通常有监督部分的训练(有息肉位置标签的样本图像)和无监督部分训练(未标注息肉位置标签的样本图像)有着不一致的训练目标，这样会使无监督和有监督部分很难同时达到最优的结果。因此，本公开的训练方法通过判别网络对第一分割网络和第二分割网络进行一致性约束训练，进一步对息肉分割模型进行优化，以提升息肉分割模型的鲁棒性和泛化性。
下面结合具体实施例对本公开进行说明。
图1是根据一示例性实施例提供的一种息肉分割模型的训练方法的流程图，息肉分割模型包括第一分割网络和第二分割网络，参照图1，该方法包括：
S101、将样本图像输入息肉分割模型，得到第一分割网络针对样本图像输出的分割结果和第二分割网络针对样本图像输出的分割结果。
其中，样本图像包括标注有息肉位置标签的第一样本图像和未标注息肉位置标签的第二样本图像。
S102、基于判别网络和第一分割网络针对第一样本图像和第二样本图像输出的分割结果、以及第二分割网络针对第一样本图像和第二样本图像输出的分割结果，得到判别结果。
其中，判别网络用于判别输入的分割结果是否对应标注有息肉位置标签的样本图像。
S103、根据第一分割网络输出的分割结果、第二分割网络输出的分割结果和判别结果计算目标损失函数值。
S104、基于目标损失函数值调整息肉分割模型的参数。
通过上述方式，可以利用少量的标注有息肉位置标签的样本图像和大量的未标注息肉位置标签的样本图像对息肉分割模型进行训练，减少标注成本的同时提升息肉分割模型的泛化性。并且第一分割网络和第二分割网络之间可以相互优化、相互引导，以及通过判别网络进一步对息肉分割模型进行优化，提升息肉分割模型的鲁棒性和泛化性。
下面先对息肉分割模型的结构进行说明，该息肉分割模型包括第一分割模型和第二分割模型。
在可能的方式中，第一分割网络包括第一编码子模块、第二编码子模块以及解码子模块，解码子模块的解码单元与第一编码子模块的编码单元一一对应，将样本图像输入息肉分割模型，得到第一分割网络针对样本图像输出的分割结果可以是：首先将样本图像划分为多个图像块，并通过二维卷积层对多个图像块进行特征提取，得到目标一维特征。然后通过第一编码子模块中的编码单元对目标一维特征进行线性编码和下采样，得到第一图像特征，并通过第二编码子模块对第一图像特征进行下采样得到第二图像特征。进而将第二图像特征输入解码子模块的解码单元，得到第三图像特征，其中每一解码单元用于获取与其对应的编码单元提取的图像特征和输入解码单元的图像特征进行上采样。最后根据第三图像特征得到第一分割网络针对样本图像输出的分割结果。
示例地，参照图2，第一分割网络可以是构造为U-Net网络形式的Swin-Transformer网络，包括第一编码子模块、第二编码子模块以及解码子模块。其中，第一编码子模块、第二编码子模块相当于Swin-Transformer网络的编码模块(Encoder)，解码子模块相当于Swin-Transformer网络的解码模块(Decoder)。第一编码子模块包括多个编码单元，解码子模块包括多个解码单元，且编码单元与解码单元一一对应，并通过跳转连接将编码单元提取的图像特征输入对应的解码单元中，还原下采样所带来的特征损失。
首先，将样本图像划分为多个patch_size×patch_size像素大小的图像块，例如输入的样本图像的大小为256×256像素，划分为多个32×32像素大小的图像块。由于Swin-Transformer网络需要输入一维序列，因此需要通过二维卷积层对多个图像块进行特征提取，得到目标一维特征。其中，二维卷积层的步长(stride)和卷积核大小(kernel size)设置为patch_size大小，即32×32像素，从而将样本图像的H维度与W维度展开，移动到第一维度上，得到目标一维特征。
然后，将目标一维特征输入第一编码子模块，通过线性编码层(LinearEmbedding)进行线性编码，通过下采样层(Patch Merging)进行下采样以降低图片分辨率，以及通过特征提取层(Swin Transformer Block)进行特征提取，经过多个编码单元后得到第一图像特征。并将第一图像特征输入第二编码子模块，通过下采样层进行下采样以及特征提取层进行特征提取得到第二图像特征。
最后，在解码子模块中，通过上采样层(Patch Expanding)进行上采样以恢复特征图像的分辨率，以及通过特征提取层(Swin Transformer Block)进行特征提取，得到第三图像特征，并通过编码映射层(Linear projection)将第三图像特征映射到样本图像中，得到第一分割网络针对样本图像输出的分割结果。其中，每一解码单元进行特征提取时，需要结合输入解码单元的图像特征以及通过跳转连接获取与其对应的编码单元提取的图像特征进行上采样。
需说明的是，图2中编码单元和解码单元的数量仅作为举例说明，本公开不作限定。在实际操作中，仅需要保证编码单元与解码单元的数量一致且一一对应即可。并且，编码单元和解码单元对图像的具体处理过程，可以参考相关技术中关于Swin-Transformer网络的内容，例如Swin Transformer Block中的多头注意力(Transformer Attention Head)可以设置为8个，本公开在此不再赘述。
在可能的方式中，参照图3，第二分割网络可以U-Net网络，包括编码模块以及解码模块。其中，编码模块可以是ResNet网络的卷积层部分，例如将ResNet-34网络中的layer1、layer2、layer3以及layer4四个不同的卷积模块作为编码模块的编码单元。解码模块包括多个解码单元，每一解码单元包括3层卷积层和1层上采样层。此外，解码单元与编码单元一一对应，并通过跳转连接将编码单元提取的图像特征输入对应的解码单元中，还原解码单元下采样所带来的特征损失。
示例地，首先将样本图像输入编码模块，通过编码单元的卷积模块进行下采样得到图像特征，以降低图片分辨率。然后将图像特征输入解码模块继续，通过解码单元的卷积层进行卷积处理，并通过上采样层进行上采样，逐渐将提取的图像特征还原到样本图像中，得到第二分割网络针对样本图像输出的分割结果。其中，每一解码单元进行图像特征处理时，需要结合输入解码单元的图像特征以及通过跳转连接获取与其对应的编码单元提取的图像特征进行处理。
需说明的是，图3中编码单元和解码单元的数量仅作为举例说明，本公开不作限定。在实际操作中，仅需要保证编码单元与解码单元的数量一致且一一对应即可。并且，编码单元和解码单元对图像的具体处理过程，可以参考相关技术中关于U-Net网络的内容，本公开在此不再赘述。
值得说明的是，U-Net网络更关注于样本图像的局部特征信息，而Swin-Transformer网络更关注于样本图像的远距离依赖特征信息。因此，通过二者的结合可以同时提取局部特征信息以及远距离依赖特征信息，并通过两者相互引导可以提升息肉分割模型的分割性能。
在可能的方式中，根据第一分割网络输出的分割结果、第二分割网络输出的分割结果和判别结果计算目标损失函数值可以是：首先根据第一分割网络针对第一样本图像输出的分割结果和第一样本图像标注的息肉位置标签、以及第二分割网络针对第一样本图像输出的分割结果和第一样本图像标注的息肉位置标签，计算第一损失函数值。然后根据第一分割网络针对第二样本图像输出的分割结果和第二分割网络针对第二样本图像输出的分割结果，计算第二损失函数值。进而根据判别结果，计算第三损失函数值。最后将第一损失函数值、第二损失函数值和第三损失函数值的总和确定为目标损失函数值。
示例地，可以通过如下计算式计算第一损失函数值：
L1＝Lbce(Y1，Y)+Lbce(Y2，Y)+Ldice(Y1，Y)+Ldice(Y2，Y)
其中，L1表示第一损失函数值，Lbce表示交叉熵损失，Ldice表示骰子系数损失(DiceLoss)，Y1表示第一分割网络针对第一样本图像输出的分割结果，Y2表示第二分割网络针对第一样本图像输出的分割结果，Y表示第一样本图像标注的息肉位置标签，也就是真值标签。
在可能的方式中，根据第一分割网络针对第二样本图像输出的分割结果和第二分割网络针对第二样本图像输出的分割结果，计算第二损失函数值可以是：首先基于第一分割网络针对第二样本图像输出的分割结果，确定第一息肉位置标签，并根据第一息肉位置标签和第二分割网络针对第二样本图像输出的分割结果计算第一分割损失函数值。然后基于第二分割网络针对第二样本图像输出的分割结果，确定第二息肉位置标签，并根据第二息肉位置标签和第一分割网络针对第二样本图像输出的分割结果计算第二分割损失函数值。最后将第一分割损失函数值和第二分割损失函数值的总和确定为第二损失函数值。
示例地，可以通过如下计算式计算第二损失函数值：
L2＝Lbce(Y3，I(Y4))+Lbce(Y4，I(Y3))+Ldice(Y3，I(Y4))+Ldice(Y4，I(Y3))
Figure BDA0003528672050000111
其中，L2表示第二损失函数值，Y3表示第一分割网络针对第二样本图像输出的分割结果，Y4表示第二分割网络针对第二样本图像输出的分割结果，I(x)表示对分割结果进行二值化，即将分割结果作为第二样本图像标注的息肉位置标签，相当于伪标签。
也就是说，在计算第一分割网络针对未标注息肉位置标签的样本图像的损失时，将第二分割网络针对第二样本图像输出的分割结果作为息肉位置标签进行损失计算，得到第一分割损失函数值。相应地，在计算第二分割网络针对未标注息肉位置标签的样本图像的损失时，将第一分割网络针对第二样本图像输出的分割结果作为息肉位置标签进行损失计算，得到第二分割损失函数值。最后将第一分割损失函数值和第二分割损失函数值的总和确定为第二损失函数值。
值得说明的是，交叉熵损失函数是单独评估每个像素矢量的类预测，然后对所有像素求平均值。但是，医学图像中常出现类别不均衡(class imbalance)的问题，由此导致训练会被像素较多的类主导，对于较小的物体(例如息肉)很难学习到其特征，从而降低分割模型的有效性。而骰子系数损失函数能够使分割模型专注于分割对象区域，以应对分割对象占比较小的问题，从而提升分割模型的分割性能。因此，通过交叉熵损失和骰子系数损失二者结合的方式训练息肉分割模型，可以得到更好的分割效果。
在可能的方式中，基于判别网络和第一分割网络针对第一样本图像和第二样本图像输出的分割结果、以及第二分割网络针对第一样本图像和第二样本图像输出的分割结果，得到判别结果可以是：将第一样本图像和第一分割网络针对第一样本图像输出的分割结果输入判别网络，得到第一判别结果，将第二样本图像和第一分割网络针对第二样本图像输出的分割结果输入判别网络，得到第二判别结果，将第一样本图像和第二分割网络针对第一样本图像输出的分割结果输入判别网络，得到第三判别结果，将第二样本图像和第二分割网络针对第二样本图像输出的分割结果输入判别网络，得到第四判别结果。进而根据第一判别结果、第二判别结果、第三判别结果和第四判别结果计算第三损失函数值。
值得说明的是，对抗网络由一个生成网络与一个判别网络组成，通过让两个神经网络相互博弈的方式进行学习。在本公开中，息肉分割模型相当于生成网络，其输出的分割结果需要尽量接近针对标注有息肉位置标签的样本图像的分割结果，即息肉分割模型要尽可能地欺骗判别网络。而判别网络需要将息肉分割模型输出的分割结果尽可能的区分出是来自标注有息肉位置标签的样本图像(第一样本图像)，还是来自未标注息肉位置标签的样本图像(第二样本图像)。息肉分割模型和判别网络相互对抗，从而利用未标注息肉位置标签的样本图像来帮助息肉分割模型提升分割表现并减轻样本图像有限的问题。通过引入基于判别网络的对抗学习，给息肉分割模型的训练增加难度，使息肉分割模型得到更加具有泛化性的结果，同时可以促进息肉分割模型产生更好的分割结果。其中，该判别网络可以是残差网络，例如ResNet-34网络，本公开对此不作限定。
进一步地，根据第一判别结果、第二判别结果、第三判别结果和第四判别结果计算第三损失函数值可以是：根据第一判别结果与第二判别结果确定第一交叉熵损失值，以及根据第三判别结果与第四判别结果确定第二交叉熵损失值，然后将第一交叉熵损失值与第二交叉熵损失值相加得到第三损失函数值。
示例地，可以通过如下计算式计算第三损失函数值：
L3＝Lbce(D(X1，Y1)，D(X2，Y3))+Lbce(D(X1，Y2)，D(X2，Y4))
其中，L3表示第三损失函数值，X1表示第一样本图像(标注有息肉位置标签的样本图像)，X2表示第二样本图像(未标注息肉位置标签的样本图像)，D表示将样本图像和分割结果输入到判别网络得到的判别结果。
再进一步地，在得到第一损失函数值、第二损失函数值以及第三损失函数值之后，可以通过以下计算式计算目标损失函数值L：
L＝L1+L2+L3
示例地，通过上述计算式得到目标损失函数值之后，可以基于目标损失函数值调整第一分割网络、第二分割网络的参数。也就是说，通过目标损失函数值对第一分割网络和第二分割网络使用一致性约束损失来同时优化两者，以实现两者可以相互优化，相互引导的目的。并且还可以调整判别网络的参数，使得息肉分割模型与判别网络之间相互学习、相互优化，最终提升息肉分割模型的分割性能。
为了使本领域技术人员更容易理解本公开实施例提供的方法，下面结合附图对本公开实施例提供的息肉分割模型的训练方法的步骤进行详细说明。
参照图4，首先将标注有息肉位置标签的第一样本图像以及未标注息肉位置标签的第二样本图像输入第一分割网络和第二分割网络中，分别得到第一分割网络针对第一样本图像的第一分割结果、第一分割网络针对第二样本图像的第二分割结果、第二分割网络针对第一样本图像的第三分割结果以及第二分割网络针对第二样本图像的第四分割结果。
然后，将第一样本图像和第一分割结果、第二样本图像和第二分割结果、第一样本图像和第三分割结果以及第二样本图像和第四分割结果输入判别网络，得到判别结果。
进而，根据第一分割结果与第一样本图像标注的息肉位置标签，以及第三分割结果与第一样本图像标注的息肉位置标签计算第一损失函数值。并根据第二分割结果以及第四分割结果计算第二损失函数值，以及判别结果计算第三损失函数值。最后将第一损失函数值、第二损失函数值和第三损失函数值的总和确定为目标损失函数值，并基于目标损失函数值调整息肉分割模型的参数。
需说明的是，本公开采用的样本图像包括2000张标注有息肉位置的内窥镜图像和160个未标注息肉位置的内窥镜视频片段对息肉分割模型进行训练。其中，内窥镜视频片段包括200个带有息肉的32884张内窥镜图像。并且将2000张标注有息肉位置的内窥镜图像按照60％、10％以及30％的比例分为训练集、验证集以及测试集，并将全部的未标注息肉位置的内窥镜图像全部用于训练。也就是说，利用少量的标注有息肉位置标签的样本图像和大量的未标注息肉位置标签的样本图像对息肉分割模型进行训练。
此外，在模型训练过程中，可以设置息肉分割模型的初始学习率为0.0001，以及每一次训练选取的样本图像数量为32，并选择Adam优化算法对息肉分割模型进行优化。通过设置预设数量的训练次数，例如2000次训练后，会生成多个候选的息肉分割模型，这时可以利用验证集的样本图像从多个候选的息肉分割模型中选择分割性能最优的息肉分割模型作为最终的息肉分割模型，并进一步通过测试集的样本图像对息肉分割模型的分割性能进行测试。
上述息肉分割模型的训练过程中所使用的样本图像以及设置的模型参数均为示例性说明，本公开对此不作限制。在具体实施过程中，可以根据需求进行调整，只要保证未标注息肉位置的样本图像远大于标注有息肉位置的样本图像即可。
通过上述息肉分割模型的训练方法，可以利用少量的标注有息肉位置标签的样本图像和大量的未标注息肉位置标签的样本图像对息肉分割模型进行训练，相当于结合全监督训练策略和无监督训练策略实现对息肉分割模型的半监督训练，从而减少标注成本的同时提升息肉分割模型的泛化性。并且第一分割网络和第二分割网络之间可以相互优化、相互引导，以及通过判别网络进一步对息肉分割模型进行优化，提升息肉分割模型的鲁棒性和泛化性。
基于同一构思，本公开实施例还提供一种息肉分割方法。参照图5，该方法包括：
S501、获取待分割的内窥镜图像。
S502、通过息肉分割模型对内窥镜图像进行分割处理，得到目标息肉图像。
其中，息肉分割模型是通过上述息肉分割模型的训练方法得到的，息肉分割模型用于通过如下方式对内窥镜图像进行分割处理，得到目标息肉图像：首先通过第一分割网络对内窥镜图像进行分割处理，得到第一息肉图像，并通过第二分割网络对内窥镜图像进行分割处理，得到第二息肉图像。然后将第一息肉图像与第二息肉图像进行图像融合，得到目标息肉图像。
示例地，第一息肉图像与第二息肉图像进行图像融合，得到目标息肉图像可以是：将第一息肉图像的每一像素点与第二息肉图像的每一像素点进行相加后取平均值，得到目标息肉图像。
采用上述方法，通过训练好的息肉分割模型对内窥镜图像进行分割处理，结合第一分割网络得到第一息肉图像和第二分割网络得到的第二息肉图像，将第一息肉图像与第二息肉图像进行图像融合，得到目标息肉图像。也就是说，结合第一分割网络提取的图像特征和第二分割网络提取的图像特征得到最终的目标息肉图像，从而更精确的对内窥镜图像进行息肉分割。
基于同一构思，本公开实施例还提供一种息肉分割模型的训练装置。参照图6，息肉分割模型包括第一分割网络和第二分割网络，该训练装置600包括：
输入模块601，用于将样本图像输入所述息肉分割模型，得到所述第一分割网络针对所述样本图像输出的分割结果和所述第二分割网络针对所述样本图像输出的分割结果，其中所述样本图像包括标注有息肉位置标签的第一样本图像和未标注息肉位置标签的第二样本图像。
判别模块602，用于基于判别网络和所述第一分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果、以及所述第二分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果，得到判别结果，所述判别网络用于判别输入的分割结果是否对应标注有息肉位置标签的样本图像。
计算模块603，用于根据所述第一分割网络输出的分割结果、所述第二分割网络输出的分割结果和所述判别结果计算目标损失函数值。
调整模块604，用于基于所述目标损失函数值调整所述息肉分割模型的参数。
可选地，所述计算模块603用于：
根据所述第一分割网络针对所述第一样本图像输出的分割结果和所述第一样本图像标注的息肉位置标签、以及所述第二分割网络针对所述第一样本图像输出的分割结果和所述第一样本图像标注的息肉位置标签，计算第一损失函数值；
根据所述第一分割网络针对所述第二样本图像输出的分割结果和所述第二分割网络针对所述第二样本图像输出的分割结果，计算第二损失函数值；
根据所述判别结果，计算第三损失函数值；
将所述第一损失函数值、所述第二损失函数值和所述第三损失函数值的总和确定为目标损失函数值。
可选地，所述计算模块603用于：
基于所述第一分割网络针对所述第二样本图像输出的分割结果，确定第一息肉位置标签，并根据所述第一息肉位置标签和所述第二分割网络针对所述第二样本图像输出的分割结果计算第一分割损失函数值；
基于所述第二分割网络针对所述第二样本图像输出的分割结果，确定第二息肉位置标签，并根据所述第二息肉位置标签和所述第一分割网络针对所述第二样本图像输出的分割结果计算第二分割损失函数值；
将所述第一分割损失函数值和所述第二分割损失函数值的总和确定为所述第二损失函数值。
可选地，所述计算模块603用于：
将所述第一样本图像和所述第一分割网络针对所述第一样本图像输出的分割结果输入所述判别网络，得到第一判别结果，将所述第二样本图像和所述第一分割网络针对所述第二样本图像输出的分割结果输入所述判别网络，得到第二判别结果，将所述第一样本图像和所述第二分割网络针对所述第一样本图像输出的分割结果输入所述判别网络，得到第三判别结果，将所述第二样本图像和所述第二分割网络针对所述第二样本图像输出的分割结果输入所述判别网络，得到第四判别结果；
所述根据所述判别结果，计算第三损失函数值，包括：
根据所述第一判别结果、所述第二判别结果、所述第三判别结果和所述第四判别结果计算第三损失函数值。
可选地，所述计算模块603用于：
根据所述第一判别结果与所述第二判别结果确定第一交叉熵损失值，以及根据所述第三判别结果与所述第四判别结果确定第二交叉熵损失值；
将所述第一交叉熵损失值与所述第二交叉熵损失值相加得到所述第三损失函数值。
可选地，所述第一分割网络包括第一编码子模块、第二编码子模块以及解码子模块，所述解码子模块的解码单元与所述第一编码子模块的编码单元一一对应，所述输入模块601用于：
将所述样本图像划分为多个图像块，并通过二维卷积层对所述多个图像块进行特征提取，得到目标一维特征；
通过所述第一编码子模块中的编码单元对所述目标一维特征进行线性编码和下采样，得到第一图像特征，并通过所述第二编码子模块对所述第一图像特征进行下采样得到第二图像特征；
将所述第二图像特征输入所述解码子模块的解码单元，得到第三图像特征，其中每一所述解码单元用于获取与其对应的编码单元提取的图像特征和输入所述解码单元的图像特征进行上采样；
根据所述第三图像特征得到所述第一分割网络针对所述样本图像输出的分割结果。
通过上述训练装置，可以利用少量的标注有息肉位置标签的样本图像和大量的未标注息肉位置标签的样本图像对息肉分割模型进行训练，减少标注成本的同时提升息肉分割模型的泛化性。并且第一分割网络和第二分割网络之间可以相互优化、相互引导，以及通过判别网络进一步对息肉分割模型进行优化，提升息肉分割模型的鲁棒性和泛化性。
基于同一构思，本公开实施例还提供一种息肉分割装置。参照图7，该装置700包括：
获取模块701，用于获取待分割的内窥镜图像；
分割模块702，用于通过息肉分割模型对所述内窥镜图像进行分割处理，得到目标息肉图像，所述息肉分割模型是通过上述息肉分割模型的训练方法得到的。
所述分割模块702用于：
通过第一分割网络对所述内窥镜图像进行分割处理，得到第一息肉图像，并通过第二分割网络对所述内窥镜图像进行分割处理，得到第二息肉图像；
将所述第一息肉图像与所述第二息肉图像进行图像融合，得到目标息肉图像。
采用上述装置，通过训练好的息肉分割模型对内窥镜图像进行分割处理，结合第一分割网络得到第一息肉图像和第二分割网络得到的第二息肉图像，将第一息肉图像与第二息肉图像进行图像融合，得到目标息肉图像。也就是说，结合第一分割网络提取的图像特征和第二分割网络提取的图像特征得到最终的目标息肉图像，从而更精确的对内窥镜图像进行息肉分割。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于同一构思，本公开实施例还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现上述任一息肉分割模型的训练方法或息肉分割方法的步骤。
基于同一构思，本公开实施例还提供一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现上述任一息肉分割模型的训练方法或息肉分割方法的步骤。
下面参考图8，其示出了适于用来实现本公开实施例的电子设备800的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图8示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储装置808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有电子设备800操作所需的各种程序和数据。处理装置801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
通常，以下装置可以连接至I/O接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置807；包括例如磁带、硬盘等的存储装置808；以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备800，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从ROM 802被安装。在该计算机程序被处理装置801执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，可以利用诸如HTTP(HyperText Transfer Protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：将样本图像输入所述息肉分割模型，得到所述第一分割网络针对所述样本图像输出的分割结果和所述第二分割网络针对所述样本图像输出的分割结果，其中所述样本图像包括标注有息肉位置标签的第一样本图像和未标注息肉位置标签的第二样本图像；基于判别网络和所述第一分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果、以及所述第二分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果，得到判别结果，所述判别网络用于判别输入的分割结果是否对应标注有息肉位置标签的样本图像；根据所述第一分割网络输出的分割结果、所述第二分割网络输出的分割结果和所述判别结果计算目标损失函数值；基于所述目标损失函数值调整所述息肉分割模型的参数。
或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待分割的内窥镜图像；
通过息肉分割模型对所述内窥镜图像进行分割处理，得到目标息肉图像，所述息肉分割模型是通过本公开提供的任一项所述的息肉分割模型的训练方法得到的，所述息肉分割模型用于通过如下方式对所述内窥镜图像进行分割处理，得到目标息肉图像：通过第一分割网络对所述内窥镜图像进行分割处理，得到第一息肉图像，并通过第二分割网络对所述内窥镜图像进行分割处理，得到第二息肉图像；将所述第一息肉图像与所述第二息肉图像进行图像融合，得到目标息肉图像。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取待分割的内窥镜图像的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种息肉分割模型的训练方法，所述息肉分割模型包括第一分割网络和第二分割网络，所述训练方法包括：将样本图像输入所述息肉分割模型，得到所述第一分割网络针对所述样本图像输出的分割结果和所述第二分割网络针对所述样本图像输出的分割结果，其中所述样本图像包括标注有息肉位置标签的第一样本图像和未标注息肉位置标签的第二样本图像；基于判别网络和所述第一分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果、以及所述第二分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果，得到判别结果，所述判别网络用于判别输入的分割结果是否对应标注有息肉位置标签的样本图像；根据所述第一分割网络输出的分割结果、所述第二分割网络输出的分割结果和所述判别结果计算目标损失函数值；基于所述目标损失函数值调整所述息肉分割模型的参数。
根据本公开的一个或多个实施例，示例2提供了示例1的方法，所述根据所述第一分割网络输出的分割结果、所述第二分割网络输出的分割结果和所述判别结果计算目标损失函数值，包括：根据所述第一分割网络针对所述第一样本图像输出的分割结果和所述第一样本图像标注的息肉位置标签、以及所述第二分割网络针对所述第一样本图像输出的分割结果和所述第一样本图像标注的息肉位置标签，计算第一损失函数值；根据所述第一分割网络针对所述第二样本图像输出的分割结果和所述第二分割网络针对所述第二样本图像输出的分割结果，计算第二损失函数值；根据所述判别结果，计算第三损失函数值；将所述第一损失函数值、所述第二损失函数值和所述第三损失函数值的总和确定为目标损失函数值。
根据本公开的一个或多个实施例，示例3提供了示例2的方法，所述根据所述第一分割网络针对所述第二样本图像输出的分割结果和所述第二分割网络针对所述第二样本图像输出的分割结果，计算第二损失函数值，包括：基于所述第一分割网络针对所述第二样本图像输出的分割结果，确定第一息肉位置标签，并根据所述第一息肉位置标签和所述第二分割网络针对所述第二样本图像输出的分割结果计算第一分割损失函数值；基于所述第二分割网络针对所述第二样本图像输出的分割结果，确定第二息肉位置标签，并根据所述第二息肉位置标签和所述第一分割网络针对所述第二样本图像输出的分割结果计算第二分割损失函数值；将所述第一分割损失函数值和所述第二分割损失函数值的总和确定为所述第二损失函数值。
根据本公开的一个或多个实施例，示例4提供了示例2或3任一项所述的方法，所述基于判别网络和所述第一分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果、以及所述第二分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果，得到判别结果，包括：将所述第一样本图像和所述第一分割网络针对所述第一样本图像输出的分割结果输入所述判别网络，得到第一判别结果，将所述第二样本图像和所述第一分割网络针对所述第二样本图像输出的分割结果输入所述判别网络，得到第二判别结果，将所述第一样本图像和所述第二分割网络针对所述第一样本图像输出的分割结果输入所述判别网络，得到第三判别结果，将所述第二样本图像和所述第二分割网络针对所述第二样本图像输出的分割结果输入所述判别网络，得到第四判别结果；所述根据所述判别结果，计算第三损失函数值，包括：根据所述第一判别结果、所述第二判别结果、所述第三判别结果和所述第四判别结果计算第三损失函数值。
根据本公开的一个或多个实施例，示例5提供了示例4所述的方法，所述根据所述第一判别结果、所述第二判别结果、所述第三判别结果和所述第四判别结果计算第三损失函数值，包括：根据所述第一判别结果与所述第二判别结果确定第一交叉熵损失值，以及根据所述第三判别结果与所述第四判别结果确定第二交叉熵损失值；将所述第一交叉熵损失值与所述第二交叉熵损失值相加得到所述第三损失函数值。
根据本公开的一个或多个实施例，示例6提供了示例1-3任一项所述的方法，所述第一分割网络包括第一编码子模块、第二编码子模块以及解码子模块，所述解码子模块的解码单元与所述第一编码子模块的编码单元一一对应，所述将样本图像输入所述息肉分割模型，得到所述第一分割网络针对所述样本图像输出的分割结果，包括：将所述样本图像划分为多个图像块，并通过二维卷积层对所述多个图像块进行特征提取，得到目标一维特征；通过所述第一编码子模块中的编码单元对所述目标一维特征进行线性编码和下采样，得到第一图像特征，并通过所述第二编码子模块对所述第一图像特征进行下采样得到第二图像特征；将所述第二图像特征输入所述解码子模块的解码单元，得到第三图像特征，其中每一所述解码单元用于获取与其对应的编码单元提取的图像特征和输入所述解码单元的图像特征进行上采样；根据所述第三图像特征得到所述第一分割网络针对所述样本图像输出的分割结果。
根据本公开的一个或多个实施例，示例7提供了一种息肉分割方法，所述方法包括：获取待分割的内窥镜图像；通过息肉分割模型对所述内窥镜图像进行分割处理，得到目标息肉图像，所述息肉分割模型是通过示例1-6任一项所述的息肉分割模型的训练方法得到的，所述息肉分割模型用于通过如下方式对所述内窥镜图像进行分割处理，得到目标息肉图像：通过第一分割网络对所述内窥镜图像进行分割处理，得到第一息肉图像，并通过第二分割网络对所述内窥镜图像进行分割处理，得到第二息肉图像；将所述第一息肉图像与所述第二息肉图像进行图像融合，得到目标息肉图像。
根据本公开的一个或多个实施例，示例8提供了一种息肉分割模型的训练装置，所述息肉分割模型包括第一分割网络和第二分割网络，所述训练装置包括：输入模块，用于将样本图像输入所述息肉分割模型，得到所述第一分割网络针对所述样本图像输出的分割结果和所述第二分割网络针对所述样本图像输出的分割结果，其中所述样本图像包括标注有息肉位置标签的第一样本图像和未标注息肉位置标签的第二样本图像；判别模块，用于基于判别网络和所述第一分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果、以及所述第二分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果，得到判别结果，所述判别网络用于判别输入的分割结果是否对应标注有息肉位置标签的样本图像；计算模块，用于根据所述第一分割网络输出的分割结果、所述第二分割网络输出的分割结果和所述判别结果计算目标损失函数值；调整模块，用于基于所述目标损失函数值调整所述息肉分割模型的参数。
根据本公开的一个或多个实施例，示例9提供了一种息肉分割装置，所述装置包括：获取模块，用于获取待分割的内窥镜图像；分割模块，用于通过息肉分割模型对所述内窥镜图像进行分割处理，得到目标息肉图像，所述息肉分割模型是通过示例1-6任一项所述的息肉分割模型的训练方法得到的，所述息肉分割模型用于通过如下方式对所述内窥镜图像进行分割处理，得到目标息肉图像：通过第一分割网络对所述内窥镜图像进行分割处理，得到第一息肉图像，并通过第二分割网络对所述内窥镜图像进行分割处理，得到第二息肉图像；将所述第一息肉图像与所述第二息肉图像进行图像融合，得到目标息肉图像。
根据本公开的一个或多个实施例，示例10提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现示例1至示例7中任一示例所述方法的步骤。
根据本公开的一个或多个实施例，示例11提供了一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例1至示例7中任一示例所述方法的步骤。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (10)

1.一种息肉分割模型的训练方法，其特征在于，所述息肉分割模型包括第一分割网络和第二分割网络，所述训练方法包括：
将样本图像输入所述息肉分割模型，得到所述第一分割网络针对所述样本图像输出的分割结果和所述第二分割网络针对所述样本图像输出的分割结果，其中所述样本图像包括标注有息肉位置标签的第一样本图像和未标注息肉位置标签的第二样本图像；
基于判别网络和所述第一分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果、以及所述第二分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果，得到判别结果，所述判别网络用于判别输入的分割结果是否对应标注有息肉位置标签的样本图像；
根据所述第一分割网络针对所述第一样本图像输出的分割结果和所述第一样本图像标注的息肉位置标签、以及所述第二分割网络针对所述第一样本图像输出的分割结果和所述第一样本图像标注的息肉位置标签，计算第一损失函数值；
根据所述第一分割网络针对所述第二样本图像输出的分割结果和所述第二分割网络针对所述第二样本图像输出的分割结果，计算第二损失函数值；
根据所述判别结果，计算第三损失函数值；
将所述第一损失函数值、所述第二损失函数值和所述第三损失函数值的总和确定为目标损失函数值；
基于所述目标损失函数值调整所述息肉分割模型的参数。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一分割网络针对所述第二样本图像输出的分割结果和所述第二分割网络针对所述第二样本图像输出的分割结果，计算第二损失函数值，包括：
基于所述第一分割网络针对所述第二样本图像输出的分割结果，确定第一息肉位置标签，并根据所述第一息肉位置标签和所述第二分割网络针对所述第二样本图像输出的分割结果计算第一分割损失函数值；
基于所述第二分割网络针对所述第二样本图像输出的分割结果，确定第二息肉位置标签，并根据所述第二息肉位置标签和所述第一分割网络针对所述第二样本图像输出的分割结果计算第二分割损失函数值；
将所述第一分割损失函数值和所述第二分割损失函数值的总和确定为所述第二损失函数值。
3.根据权利要求1或2所述的方法，其特征在于，所述基于判别网络和所述第一分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果、以及所述第二分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果，得到判别结果，包括：
将所述第一样本图像和所述第一分割网络针对所述第一样本图像输出的分割结果输入所述判别网络，得到第一判别结果，将所述第二样本图像和所述第一分割网络针对所述第二样本图像输出的分割结果输入所述判别网络，得到第二判别结果，将所述第一样本图像和所述第二分割网络针对所述第一样本图像输出的分割结果输入所述判别网络，得到第三判别结果，将所述第二样本图像和所述第二分割网络针对所述第二样本图像输出的分割结果输入所述判别网络，得到第四判别结果；
所述根据所述判别结果，计算第三损失函数值，包括：
根据所述第一判别结果、所述第二判别结果、所述第三判别结果和所述第四判别结果计算第三损失函数值。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一判别结果、所述第二判别结果、所述第三判别结果和所述第四判别结果计算第三损失函数值，包括：
根据所述第一判别结果与所述第二判别结果确定第一交叉熵损失值，以及根据所述第三判别结果与所述第四判别结果确定第二交叉熵损失值；
将所述第一交叉熵损失值与所述第二交叉熵损失值相加得到所述第三损失函数值。
5.根据权利要求1或2所述的方法，其特征在于，所述第一分割网络包括第一编码子模块、第二编码子模块以及解码子模块，所述解码子模块的解码单元与所述第一编码子模块的编码单元一一对应，所述将样本图像输入所述息肉分割模型，得到所述第一分割网络针对所述样本图像输出的分割结果，包括：
将所述样本图像划分为多个图像块，并通过二维卷积层对所述多个图像块进行特征提取，得到目标一维特征；
通过所述第一编码子模块中的编码单元对所述目标一维特征进行线性编码和下采样，得到第一图像特征，并通过所述第二编码子模块对所述第一图像特征进行下采样得到第二图像特征；
将所述第二图像特征输入所述解码子模块的解码单元，得到第三图像特征，其中每一所述解码单元用于获取与其对应的编码单元提取的图像特征和输入所述解码单元的图像特征进行上采样；
根据所述第三图像特征得到所述第一分割网络针对所述样本图像输出的分割结果。
6.一种息肉分割方法，其特征在于，所述方法包括：
获取待分割的内窥镜图像；
通过息肉分割模型对所述内窥镜图像进行分割处理，得到目标息肉图像，所述息肉分割模型是通过权利要求1-5任一项所述的息肉分割模型的训练方法得到的，所述息肉分割模型用于通过如下方式对所述内窥镜图像进行分割处理，得到目标息肉图像：
通过第一分割网络对所述内窥镜图像进行分割处理，得到第一息肉图像，并通过第二分割网络对所述内窥镜图像进行分割处理，得到第二息肉图像；
将所述第一息肉图像与所述第二息肉图像进行图像融合，得到目标息肉图像。
7.一种息肉分割模型的训练装置，其特征在于，所述息肉分割模型包括第一分割网络和第二分割网络，所述训练装置包括：
输入模块，用于将样本图像输入所述息肉分割模型，得到所述第一分割网络针对所述样本图像输出的分割结果和所述第二分割网络针对所述样本图像输出的分割结果，其中所述样本图像包括标注有息肉位置标签的第一样本图像和未标注息肉位置标签的第二样本图像；
判别模块，用于基于判别网络和所述第一分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果、以及所述第二分割网络针对所述第一样本图像和所述第二样本图像输出的分割结果，得到判别结果，所述判别网络用于判别输入的分割结果是否对应标注有息肉位置标签的样本图像；
计算模块，用于根据所述第一分割网络针对所述第一样本图像输出的分割结果和所述第一样本图像标注的息肉位置标签、以及所述第二分割网络针对所述第一样本图像输出的分割结果和所述第一样本图像标注的息肉位置标签，计算第一损失函数值，根据所述第一分割网络针对所述第二样本图像输出的分割结果和所述第二分割网络针对所述第二样本图像输出的分割结果，计算第二损失函数值，根据所述判别结果，计算第三损失函数值，将所述第一损失函数值、所述第二损失函数值和所述第三损失函数值的总和确定为目标损失函数值；
调整模块，用于基于所述目标损失函数值调整所述息肉分割模型的参数。
8.一种息肉分割装置，其特征在于，所述装置包括：
获取模块，用于获取待分割的内窥镜图像；
分割模块，用于通过息肉分割模型对所述内窥镜图像进行分割处理，得到目标息肉图像，所述息肉分割模型是通过权利要求1-5任一项所述的息肉分割模型的训练方法得到的，所述息肉分割模型用于通过如下方式对所述内窥镜图像进行分割处理，得到目标息肉图像：
通过第一分割网络对所述内窥镜图像进行分割处理，得到第一息肉图像，并通过第二分割网络对所述内窥镜图像进行分割处理，得到第二息肉图像；
将所述第一息肉图像与所述第二息肉图像进行图像融合，得到目标息肉图像。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-6中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。
CN202210199449.XA 2022-03-02 2022-03-02 息肉分割模型的训练方法、息肉分割方法及相关装置 Active CN114565586B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210199449.XA CN114565586B (zh) 2022-03-02 2022-03-02 息肉分割模型的训练方法、息肉分割方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210199449.XA CN114565586B (zh) 2022-03-02 2022-03-02 息肉分割模型的训练方法、息肉分割方法及相关装置

Publications (2)

Publication Number Publication Date
CN114565586A CN114565586A (zh) 2022-05-31
CN114565586B true CN114565586B (zh) 2023-05-30

Family

ID=81716176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210199449.XA Active CN114565586B (zh) 2022-03-02 2022-03-02 息肉分割模型的训练方法、息肉分割方法及相关装置

Country Status (1)

Country Link
CN (1) CN114565586B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724203A (zh) * 2021-08-03 2021-11-30 唯智医疗科技(佛山)有限公司 一种oct图像中目标特征的分割方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016522465A (ja) * 2013-03-15 2016-07-28 ジボ インコーポレイテッド 永続性コンパニオンデバイスを提供するための装置及び方法
CN112164026B (zh) * 2020-09-01 2022-10-25 上海交通大学 一种内窥镜息肉实时检测方法、系统及终端
CN112419327B (zh) * 2020-12-10 2023-08-04 复旦大学附属肿瘤医院 一种基于生成对抗网络的图像分割方法、系统和装置
CN113470031B (zh) * 2021-09-03 2021-12-03 北京字节跳动网络技术有限公司 息肉分型方法、模型训练方法及相关装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724203A (zh) * 2021-08-03 2021-11-30 唯智医疗科技(佛山)有限公司 一种oct图像中目标特征的分割方法及装置

Also Published As

Publication number Publication date
CN114565586A (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN112184738B (zh) 一种图像分割方法、装置、设备及存储介质
CN111915480B (zh) 生成特征提取网络的方法、装置、设备和计算机可读介质
CN113469295B (zh) 生成模型的训练方法、息肉识别方法、装置、介质及设备
CN114898177B (zh) 缺陷图像生成方法、模型训练方法、设备、介质及产品
CN112418249A (zh) 掩膜图像生成方法、装置、电子设备和计算机可读介质
CN110288532B (zh) 生成全身图像的方法、装置、设备及计算机可读存储介质
CN113610034B (zh) 识别视频中人物实体的方法、装置、存储介质及电子设备
CN111311609B (zh) 一种图像分割方法、装置、电子设备及存储介质
CN112884702A (zh) 一种基于内窥镜图像的息肉识别系统和方法
CN114565586B (zh) 息肉分割模型的训练方法、息肉分割方法及相关装置
CN115375657A (zh) 息肉检测模型的训练方法、检测方法、装置、介质及设备
CN113470026B (zh) 息肉识别方法、装置、介质及设备
CN114863124A (zh) 模型训练方法、息肉检测方法、相应装置、介质及设备
CN113222050B (zh) 图像分类方法、装置、可读介质及电子设备
CN115375656A (zh) 息肉分割模型的训练方法、分割方法、装置、介质及设备
CN116704593A (zh) 预测模型训练方法、装置、电子设备和计算机可读介质
CN117437516A (zh) 语义分割模型训练方法、装置、电子设备及存储介质
CN115115836A (zh) 图像识别方法、装置、存储介质以及电子设备
CN111353536B (zh) 图像的标注方法、装置、可读介质和电子设备
CN114495080A (zh) 字体识别方法、装置、可读介质及电子设备
CN115240042B (zh) 多模态图像识别方法、装置、可读介质和电子设备
CN114782390B (zh) 检测模型的确定方法、息肉检测方法、装置、介质及设备
CN114049417B (zh) 虚拟角色图像的生成方法、装置、可读介质及电子设备
CN117115139A (zh) 内窥镜视频检测方法、装置、可读介质及电子设备
CN112395826B (zh) 文字特效处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant