CN114742119A - 交叉监督的模型训练方法、图像分割方法及相关设备 - Google Patents

交叉监督的模型训练方法、图像分割方法及相关设备 Download PDF

Info

Publication number
CN114742119A
CN114742119A CN202111653265.8A CN202111653265A CN114742119A CN 114742119 A CN114742119 A CN 114742119A CN 202111653265 A CN202111653265 A CN 202111653265A CN 114742119 A CN114742119 A CN 114742119A
Authority
CN
China
Prior art keywords
network
loss
image
twin
primary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111653265.8A
Other languages
English (en)
Inventor
林春晖
熊剑平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111653265.8A priority Critical patent/CN114742119A/zh
Publication of CN114742119A publication Critical patent/CN114742119A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种交叉监督的模型训练方法、图像分割方法及相关设备,该交叉监督的模型训练方法包括:获取样本图像;将样本图像输入基础孪生网络,孪生网络包括网络结构相同的第一网络和第二网络,第一网络的基础参数与第二网络的基础参数不同;以第一网络的预测结果作为第二网络的标签,计算第二网络的损失,以第二网络的预测结果作为第一网络的标签,计算第一网络的损失,以获取孪生网络的损失;基于孪生网络的损失,迭代更新第一网络与第二网络的参数,直至满足训练截止条件;将训练更新后的第一网络或第二网络作为目标模型。通过上述方式,本发明能够减少样本图像的标注,提高模型运算准确率。

Description

交叉监督的模型训练方法、图像分割方法及相关设备
技术领域
本发明涉及图像处理技术领域,特别是涉及一种交叉监督的模型训 练方法、图像分割方法及相关设备。
背景技术
目前,对分割模型、分类模型等网络模型训练时,需要对大量的样 本数据进行人工标注,当需要标注像素级别的标签时,需要非常多的标 注资源,标注难度大,而当标注样本数量少时,训练得到模型的运算准 确率则无法保证。
发明内容
本发明主要解决的技术问题是提供一种交叉监督的模型训练方法、 图像分割方法及相关设备,能够减少样本图像的标注,提高模型运算准 确率。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种交 叉监督的模型训练方法,该交叉监督的模型训练方法包括:获取样本图 像;将样本图像输入基础孪生网络,孪生网络包括网络结构相同的第一 网络和第二网络,第一网络的基础参数与第二网络的基础参数不同;以 第一网络的预测结果作为第二网络的标签,计算第二网络的损失,以第 二网络的预测结果作为第一网络的标签,计算第一网络的损失,以获取 孪生网络的损失;基于孪生网络的损失,迭代更新第一网络与第二网络 的参数,直至满足训练截止条件;将训练更新后的第一网络或第二网络 作为目标模型。
其中,样本图像包括一级样本图像和二级样本图像,一级样本图像 带有一级标签,二级样本图像不具有一级标签,获取孪生网络的损失包 括:将一级样本图像分别输入基础孪生网络的第一网络和第二网络,利 用一级标签计算第一网络的第一损失,以及第二网络的第一损失;将二 级样本图像分别输入基础孪生网络的第一网络和第二网络,以第一网络 的预测结果作为第二网络中二级样本图像的一级标签,计算第二网络的 第二损失,以第二网络的预测结果作为第一网络中二级样本图像的一级 标签,计算第一网络的第二损失;结合第一网络的第一损失、第一网络 的第二损失、第二网络的第一损失、第二网络的第二损失得到孪生网络 的损失。
其中,二级样本图像带有二级标签,所述一级标签的分辨率高于所 述二级标签的分辨率,基础孪生网络还包括第三网络和第四网络的第三 网络和第四网络,利用二级标签计算第三网络的第三损失,以及第四网 络的第三损失;结合第一网络的第一损失、第一网络的第二损失、第二 网络的第一损失、第二网络的第二损失、第三网络的第三损失、第四网络的第三损失得到孪生网络的损失。
其中,结合第一网络的第一损失、第一网络的第二损失、第二网络 的第一损失、第二网络的第二损失、第三网络的第三损失,第四网络的 第三损失得到孪生网络的损失包括:将所述第一网络的第一损失、第一 网络的第二损失、第二网络的第一损失、第二网络的第二损失、第三网 络的第三损失与第四网络的第三损失加权相加,得到孪生网络的损失;其中,第一网络的第一损失、第二网络的第一损失、第三网络的第三损 失与第四网络的第三损失的权重系数为1,第一网络的第二损失、第二 网络的第二损失的权重系数小于1。
其中,目标模型为图像分割模型,一级样本图像带有像素级标注, 二级样本图像带有图像级标注,第一网络和第二网络为分割分支网络, 第三网络和第四网络为分类分支网络。
其中,该交叉监督的模型训练方法包括:将一级样本图像输入初始 孪生网络,分别利用一级标签计算第一网络的初级损失,以及第二网络 的初级损失,以获取孪生网络的初级损失;基于孪生网络的初级损失, 迭代更新第一网络与第二网络的参数,直至满足训练截止条件,得到基 础孪生网络。
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种 图像分割方法,该图像分割方法包括:获取待处理图像;利用图像分割 模型对待处理图像进行处理,得到分割图像,图像分割模型是利用上述 的交叉监督的模型训练方法训练得到的。
其中,利用图像分割模型对待处理图像进行处理,得到分割图像包 括:将待处理图像输入图像分割模型,得到图像类别掩膜;融合图像类 别掩膜与待处理图像,得到分割图像。
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种 交叉监督的模型训练设备,该交叉监督的模型训练设备包括处理器,处 理器用于执行以实现上述的交叉监督的模型训练方法。
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种 计算机可读存储介质,计算机可读存储介质用于存储指令/程序数据,指 令/程序数据能够被执行以实现上述的交叉监督的模型训练方法。
本发明的有益效果是:区别于现有技术的情况,本发明通过建立孪 生网络,将两个网络的输出结果分别作为另一个网络的训练标签进行训 练,使用该交叉监督的方法能够减少对初始样本图像的标注,提高模型 运算的准确率。
附图说明
图1是本申请模型训练方法的一实施方式的流程示意图;
图2是本申请模型训练方法的另一实施方式的流程示意图;
图3是本申请孪生网络训练方法的一实施方式的流程示意图;
图4是本申请基础孪生网络一实施方式的结构示意图;
图5是本申请孪生网络训练方法的另一实施方式的流程示意图;
图6是本申请基础孪生网络另一实施方式的结构示意图;
图7是本申请孪生网络训练方法的又一实施方式的流程示意图;
图8是本申请初始孪生网络一实施方式的结构示意图;
图9是本申请图像分割方法一实施方式的流程示意图;
图10是本申请实施方式中交叉监督的模型训练方法装置的结构示 意图;
图11是本申请实施方式中交叉监督的模型训练设备的结构示意图;
图12是本申请实施方式中计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附 图并举实施例对本发明进一步详细说明。
本申请提供一种交叉监督的模型训练方法,通过建立孪生网络,将 两个网络的输出结果分别作为另一个网络的训练标签进行训练,使用该 交叉监督的方法能够减少对初始样本图像的标注,提高模型运算的准确 率。
请参阅图1,图1是本申请模型训练方法的一实施方式的流程示意 图。需注意的是,若有实质上相同的结果,本实施例并不以图1所示的 流程顺序为限。如图1所示,本实施方式包括:
S110:获取样本图像。
S130:将样本图像输入基础孪生网络。
孪生神经网络(Siamese neural network),又名双生神经网络,是基 于两个人工神经网络建立的耦合构架。孪生网络包括网络结构相同的第 一网络和第二网络。构建第一网络的基础参数与第二网络的基础参数不 同的基础孪生网络。将样本图像分别输入基础孪生网络的第一网络和第 二网络。
S150:以第一网络的预测结果作为第二网络的标签,计算第二网络 的损失,以第二网络的预测结果作为第一网络的标签,计算第一网络的 损失,以获取孪生网络的损失。
将第一网络的输出结果,即预测结果作为第二网络的标签,利用第 一网络的预测结果监督引导第二网络调整网络参数。将第二网络的输出 结果,即预测结果作为第一网络的标签,利用第二网络的预测结果监督 引导第一网络调整网络参数。具体地,分别计算两个网络的损失,得到 孪生网络的总损失。
S170:基于孪生网络的损失,迭代更新第一网络与第二网络的参数, 直至满足训练截止条件。
计算多个损失并迭代更新孪生网络中两个分支网络的参数,在训练 过程中,因两个分支网络使用的是另一个分支网络的输出作为标签,则 两个网络的网络参数越来越接近,直至孪生网络的损失满足训练截止条 件,即损失小于预设损失,则停止训练。
S190:将训练更新后的第一网络或第二网络作为目标模型。
利用上述方法对孪生网络模型训练之后,其第一网络和第二网络的 具体参数几近于相同,因此,可以选择其中一个分支网络作为目标模型。
该实施方式中,通过建立孪生网络,将两个网络的输出结果分别作 为另一个网络的训练标签进行训练,使用该交叉监督的方法能够减少对 初始样本图像的标注,提高模型运算的准确率。
在一实施方式中,获取样本图像之后,选择少量样本图像作为一级 样本图像,并对一级样本图像及进行一级标注,得到对应的一级标签。 将剩余的样本图像作为二级样本图像。在一具体实施方式中,可以选择 10%的样本图像作为一级样本图像,将90%的样本图像作为二级样本图 像。
请参阅图2,图2是本申请模型训练方法的另一实施方式的流程示 意图。需注意的是,若有实质上相同的结果,本实施例并不以图2所示 的流程顺序为限。如图2所示,本实施方式包括:
S210:获取一级样本图像和二级样本图像。
分别获取经过标注的一级样本图像和二级样本图像。
S230:利用一级样本图像和二级样本图像训练孪生网络的第一网络 和第二网络。
首先构建孪生网络,其具有两个网络分支,分别为第一网络和第二 网络,第一网络和第二网络具有相同的网络结构,为了使两个同样结构 的网络产生差异,便于后续训练,分别对两个分支的权重参数采用随机 kaiming初始化。
将一级样本图像和二级样本图像分别输入孪生网络中,对该孪生网 络进行训练。
在一实施方式中,因为第一样本图像具有一级标签,因此可以直接 利用一级样本图像和其对应的一级标签训练孪生网络模型,而同时利用 二级样本图像对孪生网络模型进行交叉监督训练。具体地,请参阅图3, 图3是本申请孪生网络训练方法的一实施方式的流程示意图。需注意的 是,若有实质上相同的结果,本实施例并不以图3所示的流程顺序为限。 如图3所示,本实施方式包括:
S310:将一级样本图像输入基础孪生网络,并分别利用一级标签计 算第一网络的第一损失,以及第二网络的第一损失。
请参阅图4,图4是本申请基础孪生网络一实施方式的结构示意图。 其中,上分支为基础孪生网络的第一网络。下分支为基础孪生网络的第 二网络。将一级样本图像分别输入到该基础孪生网络的第一网络和第二 网络中,利用基础孪生网络得到每个分支网络的预测结果。以输入的一 级样本的一级标签作为该网络的监督信息,监督该网络训练。结合预测 结果和对应的一级标签,利用损失函数计算基础孪生网络中第一网络的 第一损失,以及第二网络的第一损失。具体地,损失函数可以选择交叉 熵函数,具体计算方式如下:
Figure BDA0003447140650000061
其中,Dl表示一级样本图像,W表示一级样本图像的宽,H表示一级样 本图像的高,p1i表示基础孪生网络的第一网络的预测结果,p2i表示基础 孪生网络的第二网络的预测结果,
Figure BDA0003447140650000062
表示输入到第一网络中的一级样本 图像的一级标签,
Figure BDA0003447140650000063
表示输入到第二网络中的一级样本图像的一级标 签,lce表示交叉熵函数,lce交叉熵函数具体表示如下:
Figure BDA0003447140650000064
其中,x表示样本,y表示标签,a表示输出的预测结果,n表示样本总 数量。
S330:将二级样本图像输入基础孪生网络,以第一网络的预测结果 作为第二网络中二级样本图像的一级标签,计算第二网络的第二损失, 以第二网络的预测结果作为第一网络中二级样本图像的一级标签,计算 第一网络的第二损失。
请继续参阅图4,将二级样本图像分别输入到该基础孪生网络的第 一网络和第二网络中,利用基础孪生网络得到每个分支网络的预测结 果。通过双分支网络交叉监督的方式,将基础孪生网络的第一网络的预 测结果作为第二网络中二级样本图像的一级标签,将该二级样本图像的 一级标签作为第二网络的监督信息,监督第二网络训练。将基础孪生网络的第二网络的预测结果作为第一网络中二级样本图像的一级标签,将 该二级样本图像的一级标签作为第一网络的监督信息,监督第一网络训 练。具体地,结合第一网络的预测结果和对应的二级样本图像的一级标 签,利用损失函数计算基础孪生网络中第一网络的第二损失;以及结合 第二网络的预测结果和对应的二级样本图像的一级标签,利用损失函数 计算基础孪生网络的第二网络的第二损失。具体地,损失函数可以选择 交叉熵函数,具体计算方式如下:
Figure BDA0003447140650000071
其中,Du表示二级样本,lce表示交叉熵损失函数,p1i表示第一网络的预 测结果,p2i表示第二网络的预测结果,y2i表示将第二网络的预测结果得 到的二级样本图像的一级标签,y1i表示将第一网络的预测结果得到的二 级样本图像的一级标签。
对步骤S310和步骤S330的顺序不进行限定,可以先执行步骤S310, 再执行步骤S330,也可以先执行步骤S330,再执行步骤S310。
S350:结合第一网络的第一损失、第一网络的第二损失、第二网络 的第一损失、第二网络的第二损失得到孪生网络的损失。
具体地,将上述损失加权相加,得到孪生网络的损失。具体损失函 数如下:
L=Ls+λLcps
其中,λ为进行交叉监督时,损失函数的权重系数,λ<1。
S370:基于孪生网络的损失,迭代更新第一网络与第二网络的参数, 直至满足训练截止条件。
计算多个损失并迭代更新孪生网络中两个分支网络的参数,直至孪 生网络的损失满足训练截止条件,即损失小于预设损失,则停止训练。
在该实施方式中,因一级样本具有一级标签,利用一级样本训练孪 生网络相较利用二级样本训练孪生网络时,训练效果更佳。但对数据样 本进行一级标注的难度大,耗时久,因此,使用的一级样本数量较少。 在另一实施方式中,为提高模型训练的效率,在训练之前,对一级样本 设置一级标签的同时,对二级样本进行二级标注,得到二级样本的二级标签,其中,二级标签的分辨率低于一级标签,标注难度较小。具体地, 请参阅图5,图5是本申请孪生网络训练方法的另一实施方式的流程示 意图。需注意的是,若有实质上相同的结果,本实施例并不以图5所示 的流程顺序为限。如图5所示,本实施方式包括:
S510:将一级样本图像输入基础孪生网络,并分别利用一级标签计 算第一网络的第一损失,以及第二网络的第一损失。
请参阅图6,图6是本申请基础孪生网络另一实施方式的结构示意 图。如图6所示。图6的基础孪生网络是在图4的基础孪生网络基础上, 在输出之前增加两个分支,作为第三网络和第四网络。
将一级样本图像分别输入到该基础孪生网络的第一网络和第二网 络中,利用基础孪生网络得到每个分支网络的预测结果。以输入的一级 样本的一级标签作为该网络的监督信息,监督该网络训练。计算得到基 础孪生网络的有监督损失为Ls
S530:将二级样本图像输入基础孪生网络,以第一网络的预测结果 作为第二网络中二级样本图像的一级标签,计算第二网络的第二损失, 以第二网络的预测结果作为第一网络中二级样本图像的一级标签,计算 第一网络的第二损失。
请继续参阅图6,将二级样本图像分别输入到该基础孪生网络的第 一网络和第二网络中,利用基础孪生网络得到每个分支网络的预测结 果。通过双分支网络交叉监督的方式,监督该网络训练。计算得到基础 孪生网络的有监督损失为Lcps
S550:将二级样本图像输入基础孪生网络,并分别利用二级标签计 算第一网络的第三损失,以及第二网络的第三损失。
将二级样本图像分别输入到该基础孪生网络的第三网络和第四网 络中,利用基础孪生网络得到每个分支网络的预测结果。以输入的二级 样本图片的二级标签作为该网络的监督信息,监督该网络训练。结合预 测结果和对应的二级标签,利用损失函数计算基础孪生网络的第三网络 的第三损失,以及第四网络的第三损失。具体地,损失函数可以选择交 叉熵函数,具体计算方式如下:
Figure BDA0003447140650000091
其中,Du表示二级样本,lce表示交叉熵损失函数,pc1i表示第三网络的 预测结果,pc2i表示第四网络的预测结果,
Figure BDA0003447140650000092
表示输入到第三网络中的 二级样本图像的二级标签,
Figure BDA0003447140650000093
表示输入到第四网络中的二级样本图像的 二级标签。
对步骤S510、步骤S530和步骤S550的顺序不进行限定,在一实施 方式中,可以先执行步骤S510,再执行步骤S550,再执行步骤S530。 在另一实施方式中,也可以先执行步骤S530,再执行步骤S550,再执 行步骤S510。
S570:结合第一网络的第一损失、第一网络的第二损失、第二网络 的第一损失、第二网络的第二损失、第三网络的第三损失和第四网络的 第三损失得到孪生网络的损失。
具体地,将上述损失加权相加,得到孪生网络的损失。具体损失函 数如下:
L=Ls+λLcps+Lcls
其中,λ为进行交叉监督时,损失函数的权重系数,λ<1。
S590:基于孪生网络的损失,迭代更新第一网络与第二网络的参数, 直至满足训练截止条件。
计算多个损失并迭代更新孪生网络中分支网络的参数,直至孪生网 络的损失满足训练截止条件,即损失小于预设损失,则停止训练。
在该实施方式中,请参阅图7,图7是本申请孪生网络训练方法的 又一实施方式的流程示意图。需注意的是,若有实质上相同的结果,本 实施例并不以图7所示的流程顺序为限。如图7所示,本实施方式包括:
S710:将一级样本图像输入初始孪生网络,分别利用一级标签计算 第一网络的第一损失,以及第二网络的第一损失,以获取孪生网络的损 失。
对于建立好的初始孪生网络,先将一级样本图像输入到网络模型 中,请参阅图8,图8是本申请初始孪生网络一实施方式的结构示意图。 利用一级样本图像对初始孪生网络的第一网络分支和第二网络分支分 别训练多个周期。具体地,利用一级样本图像和一级标签分别计算第一 网络和第二网络的初级损失。其中,损失函数可以选择交叉熵函数,具 体计算方式如下:
Figure BDA0003447140650000101
其中,Dl表示一级样本图像,W表示一级样本图像的宽,H表示一 级样本图像的高,p1i表示基础孪生网络的第一网络的预测结果,p2i表示 基础孪生网络的第二网络的预测结果,
Figure BDA0003447140650000102
表示输入到第一网络中的一级 样本图像的一级标签,
Figure BDA0003447140650000103
表示输入到第二网络中的一级样本图像的一级 标签,lce表示交叉熵函数。
S730:基于孪生网络的初级损失,迭代更新第一网络与第二网络的 参数,直至满足训练截止条件,得到基础孪生网络。
计算损失并迭代更新初始孪生网络中分支网络的参数,直至孪生网 络的损失满足训练截止条件,即损失小于预设损失,则停止训练,得到 基础孪生网络。
S250:将训练更新后的第一网络或第二网络作为目标模型。
利用上述方法对孪生网络模型训练之后,其第一网络和第二网络的 具体参数几近于相同,因此,可以选择其中一个分支网络作为目标模型。
该实施方式中,采用半监督图像训练方法,通过双分支孪生网络的 构建,只需对少量的样本数据进行一级标注,其余数据进行二级标注即 可达到全部一级标注数据训练的效果。需要的标注资源少且准确率更 高,同时能够提高模型准确率。同时,本申请提出了一种基于图像级标 签的分类分支辅助半监督语义分割的训练,通过分类信息的监督使交叉 监督的训练更加稳定,效果更好。
本申请获取的目标模型可以应用于多种图像处理的分割和分类中。 在一具体实施方式中,本申请的交叉监督的模型训练方法可以应用于对 肺腺癌的病例切片图像的处理。其中,病理切片是取一定大小的病变组 织,包埋在石蜡块里用切片机切成薄片,再用苏木精-伊红(H-E)染色, 用显微镜进一步检查病变。而肺腺癌是肺癌的一种,属于非小细胞癌, 较易发生于女性及不抽烟者,且发病年龄较小。基于病理切片的语义分 割作为AI辅助诊断中的常用技术,能够有效的减少医生的工作量,提 高医生诊断的工作效率。
请参阅图9,图9是本申请图像分割方法一实施方式的流程示意图。 需注意的是,若有实质上相同的结果,本实施例并不以图9所示的流程 顺序为限。如图9所示,本实施方式包括:
S910:获取病理切片样本图像。
首先,获取一定大小的病变组织,用病理组织学方法制成病理切片, 通过病理切片扫描成像装置扫描成数字图像。其中,通常将病变组织包 埋在石蜡块里,用切片机切成薄片,再用苏木精-伊红(H-E)染色。一般 地,由于病理切片图像通常特别大,为80000像素x40000像素,因此 还需要人工剪裁,挑选出需要ROI区域,进而完成数据集的构建,得到 多个病理切片样本图像,作为样本图像集。
S920:对病理切片样本图像进行像素级标注。
从获取的病理切片样本图像集中随机挑选10%的数据作为一级样本 图像,对一级样本图像进行像素级的图像标注,得到一级样本图像的一 级标签,即像素级样本图像的像素级标签。具体地,通过标注工具标注 出一张一级样本图像中的各种类型的组织,包括癌症上皮组织、癌症介 质组织以及正常的组织等,不同大小的组织在标注时需选择合适的倍 率,来达到更精准的标注效果。为方便处理,将一级样本图像缩放为 512x512分辨率的图像。
S930:对病理切片样本图像进行图像级标注。
将剩余的90%的数据作为二级样本图像,对二级样本图像进行图像 级的图像标,得到二级样本图像的二级标签,即图像级样本图像的图像 级标签。具体地,只需要对一张图片给出二级样本图像的一个图像级分 类,例如癌症上皮组织、癌症介质组织以及正常的组织等中的一个。为 方便处理,将二级样本图像缩放为512x512分辨率的图像。
S940:构建双分支孪生网络分别训练像素级样本图像。
在本申请的实施方式中,利用Pytorch框架,构建双分支Deeplabv3 的孪生网络。孪生网络具有两个相同的网络结构,为了使两个同样结构 的网络产生差异,便于后续训练,分别对两个分支的权重参数采用随机 kaiming初始化。具体地,kaiming初始化如下:
Figure BDA0003447140650000121
其中,a为激活函数leaky-relu的负斜率,relu的负斜率为0,fan_in表 示会保留前向传递中权重的方差大小。
将一级样本图像输入到如图4所示双分支孪生网络中进行训练,输 出像素级样本图像的分割结果,将两个分支分别训练10个周期,以保 证该网络模型的初始性能,防止之后进行交叉监督时的标签蔓延。训练 过程中,计算初级损失,并迭代更新孪生网络中分支网络的参数,直至 损失满足训练截止条件,即损失小于预设损失,则停止训练。
S950:利用双分支孪生网络交叉监督训练图像级样本图像。
利用上述方法,得到双分支孪生网络的基础网络之后,将图像级样 本图像输入上述训练好的双分支孪生网络中继续训练,通过交叉监督的 方式,相互训练,得到图像分割结果。具体地,如图6所示,将孪生网 络第一分支的分割结果作为第二分支的二级样本图像的一级标签,监督 第二分支网络训练,将孪生网络第二分支的分割结果作为第一分支的二级样本图像的一级标签,监督第一分支网络训练,得到交叉监督损失函 数。
同时,将像素级样本图像也输入双分支孪生网络的第一分支和第二 分支中,两个分支网络分别监督训练,得到图像分割结果。并计算有监 督损失函数。
同时,可以第三网络和第四网络作为分类分支,主要是在第一网络 和第二网络的特征图上增加2个卷积层和池化层,将图像级样本图像输 入双分支孪生网络的第三网络和第四网络的分类分支中,利用图像级样 本图像的二级标签对其进行有监督训练,得到分类结果,虽然二级标签 分辨率低于一级标签,但由于具有二级标签的图像更多,因此,引入分类分支可以加强交叉监督的准确率,避免在交叉监督训练的一开始走 偏。具体地,预测得到每个类别的得分置信度并计算分类损失。
计算上述多个损失并迭代更新孪生网络中分支网络的参数,直至损 失满足训练截止条件,即损失小于预设损失,则停止训练。
S960:部署单分支模型作为分割模型。
经过步骤S940-步骤S960中双分支孪生网络的交叉监督学习,每一 个分支都训练了10%的像素级标签数据和90%的图像级标签数据,对于 癌症上皮、介质以及正常组织的分割效果都有了显著的提升。同时由于 交叉监督的原因,两个分支最后都学到了相近的特征提取能力,因此在 部署时,我们只需要部署其中第一个分支,即可以达到相同的效果。最终通过TensorRT工具加速模型推理速度,将Deeplabv3网络部署在嵌入 式芯片。
S970:利用预测模型对数字病理切片图像进行分割。
获取需要处理的病理组织,通过病理切片扫描成像装置扫描成数字 图像,此时通过图像采集卡获取数字病理切片图像,并传输到分割模型 中。
对图像预处理得到512x512大小后,利用分割模型对数字病理切片 图像处理,通过单一分支的Deeplabv3模型分析每一个像素对应的癌症 上皮、介质和组织类别,得到对不同图像类别的标注,作为图像类别掩 模。在一实施方式中,对不同的组织类型使用不同的颜色标注,如黄色 表示正常组织,蓝色表示癌症上皮,绿色表示癌症介质。
将图像类别掩模于输入的数字病理切片图像进行融合,得到分割图 像。
现有的比较准确的病理切片诊断主要通过语义分割的方法,但是语 义分割所需的像素级的标签,需要的非常多的标注资源。并且由于病理 切片的标注需要较深的专业基础,难以获得标注人员。或者目前的方法 只标注了少量的数据,模型的泛化能力一般,难以有较好的辅助诊断效 果。因此,在该实施方式中,采用半监督图像分割方法,通过双分支孪生网络的构建,只需对10%的数据进行像素级标注,其余数据进行图像 级标注即可达到全部像素级标注数据训练的效果。需要的标注资源少且 准确率更高,可以明显解决医学病理切片数据量少,标注资源稀缺的问 题,同时能够达到较高的分割准确率。同时,本申请提出了一种基于图 像级标签的分类分支辅助半监督语义分割的训练,通过分类信息的监督 使交叉监督的训练更加稳定,效果更好。
请参阅图10,图10是本申请实施方式中交叉监督的模型训练装置 的结构示意图。该实施方式中,交叉监督的模型训练装置包括获取模块 01、输入模块02、预测模块03和更新模块04。
其中,获取模块01用于获取样本图像;输入模块02用于将样本图 像输入基础孪生网络,孪生网络包括网络结构相同的第一网络和第二网 络;预测模块03用于以第一网络的预测结果作为第二网络的标签,计 算第二网络的损失,以第二网络的预测结果作为第一网络的标签,计算 第一网络的损失,以获取孪生网络的损失;基于孪生网络的损失,迭代 更新第一网络与第二网络的参数,直至满足训练截止条件;更新模块04 用于将训练更新后的第一网络或第二网络作为目标模型。该交叉监督的 模型训练装置用于通过建立孪生网络,将两个网络的输出结果分别作为 另一个网络的训练标签进行训练,使用该交叉监督的方法能够减少对初 始样本图像的标注,提高模型运算的准确率。
请参阅图11,图11是本申请实施方式中交叉监督的模型训练设备 的结构示意图。该实施方式中,交叉监督的模型训练设备11包括处理 器12。
处理器12还可以称为CPU(Central Processing Unit,中央处理单元)。 处理器12可能是一种集成电路芯片,具有信号的处理能力。处理器12 还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、 现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶 体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器12也可以是任何常规的处理器等。
交叉监督的模型训练设备11可以进一步包括存储器(图中未示出), 用于存储处理器12运行所需的指令和数据。
处理器12用于执行指令以实现上述本申请交叉监督的模型训练方 法和图像分割方法任一实施例及任意不冲突的组合所提供的方法。
请参阅图12,图12是本申请实施方式中计算机可读存储介质的结 构示意图。本申请实施例的计算机可读存储介质21存储有指令/程序数 据22,该指令/程序数据22被执行时实现本申请交叉监督的模型训练方 法和图像分割方法任一实施例以及任意不冲突的组合所提供的方法。其 中,该指令/程序数据22可以形成程序文件以软件产品的形式存储在上 述存储介质21中,以使得一台计算机设备(可以是个人计算机,服务 器,或者网络设备等)或处理器(processor)执行本申请各个实施方式 方法的全部或部分步骤。而前述的存储介质21包括:U盘、移动硬盘、 只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM, Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介 质,或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装 置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例 仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际 实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以 集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口, 装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单 元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集 成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以 采用软件功能单元的形式实现。
以上所述仅为本发明的实施方式,并非因此限制本发明的专利范 围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变 换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的 专利保护范围内。

Claims (10)

1.一种交叉监督的模型训练方法,其特征在于,所述方法包括:
获取样本图像;
将所述样本图像输入基础孪生网络,孪生网络包括网络结构相同的第一网络和第二网络,所述第一网络的基础参数与所述第二网络的基础参数不同;
以所述第一网络的预测结果作为所述第二网络的标签,计算所述第二网络的损失,以所述第二网络的预测结果作为所述第一网络的标签,计算所述第一网络的损失,以获取所述孪生网络的损失;
基于所述孪生网络的损失,迭代更新所述第一网络与所述第二网络的参数,直至满足训练截止条件;
将训练更新后的所述第一网络或所述第二网络作为目标模型。
2.根据权利要求1所述的交叉监督的模型训练方法,其特征在于,
所述样本图像包括一级样本图像和二级样本图像,所述一级样本图像带有一级标签,所述二级样本图像不具有所述一级标签,所述获取所述孪生网络的损失包括:
将所述一级样本图像分别输入所述基础孪生网络的第一网络和第二网络,利用所述一级标签计算所述第一网络的第一损失,以及所述第二网络的第一损失;将所述二级样本图像分别输入所述基础孪生网络的第一网络和第二网络,以所述第一网络的预测结果作为所述第二网络中二级样本图像的一级标签,计算所述第二网络的第二损失,以所述第二网络的预测结果作为所述第一网络中二级样本图像的一级标签,计算所述第一网络的第二损失;
结合所述第一网络的第一损失、所述第一网络的第二损失、所述第二网络的第一损失、所述第二网络的第二损失得到所述孪生网络的损失。
3.根据权利要求2所述的交叉监督的模型训练方法,其特征在于,
所述二级样本图像带有二级标签,所述一级标签的分辨率高于所述二级标签的分辨率,所述基础孪生网络还包括第三网络和第四网络,所述获取所述孪生网络的损失还包括:
将所述二级样本图像分别输入所述基础孪生网络的第三网络和第四网络,利用所述二级标签计算所述第三网络的第三损失,以及所述第四网络的第三损失;
结合所述第一网络的第一损失、所述第一网络的第二损失、所述第二网络的第一损失、所述第二网络的第二损失、所述第三网络的第三损失、所述第四网络的第三损失得到所述孪生网络的损失。
4.根据权利要求3所述的交叉监督的模型训练方法,其特征在于,所述结合所述第一网络的第一损失、所述第一网络的第二损失、所述第二网络的第一损失、所述第二网络的第二损失、所述第三网络的第三损失,所述第四网络的第三损失得到所述孪生网络的损失包括:
将所述第一网络的第一损失、所述第一网络的第二损失、所述第二网络的第一损失、所述第二网络的第二损失、所述第三网络的第三损失与所述第四网络的第三损失加权相加,得到所述孪生网络的损失;
其中,所述第一网络的第一损失、所述第二网络的第一损失、所述第三网络的第三损失与所述第四网络的第三损失的权重系数为1,所述第一网络的第二损失、所述第二网络的第二损失的权重系数小于1。
5.根据权利要求3所述的交叉监督的模型训练方法,其特征在于,
所述目标模型为图像分割模型,所述一级样本图像带有像素级标注,所述二级样本图像带有图像级标注,所述第一网络和所述第二网络为分割分支网络,所述第三网络和所述第四网络为分类分支网络。
6.根据权利要求2所述的交叉监督的模型训练方法,其特征在于,所述方法还包括:
将所述一级样本图像输入初始孪生网络,分别利用所述一级标签计算所述第一网络的初级损失,以及所述第二网络的初级损失,以获取所述孪生网络的初级损失;
基于所述孪生网络的初级损失,迭代更新所述第一网络与所述第二网络的参数,直至满足训练截止条件,得到所述基础孪生网络。
7.一种图像分割方法,其特征在于,包括:
获取待处理图像;
利用图像分割模型对所述待处理图像进行处理,得到分割图像,所述图像分割模型是利用如权利要求1-6任一项所述的交叉监督的模型训练方法训练得到的。
8.根据权利要求7所述的图像分割方法,其特征在于,
所述利用图像分割模型对所述待处理图像进行处理,得到分割图像包括:
将所述待处理图像输入所述图像分割模型,得到图像类别掩膜;
融合所述图像类别掩膜与所述待处理图像,得到所述分割图像。
9.一种交叉监督的模型训练设备,其特征在于,包括处理器,所述处理器用于执行指令以实现如权利要求1-6任一项所述的交叉监督的模型训练方法或权利要求7-8任一项所述的图像分割方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储指令/程序数据,所述指令/程序数据能够被执行以实现如权利要求1-6任一项所述的交叉监督的模型训练方法或权利要求7-8任一项所述的图像分割方法。
CN202111653265.8A 2021-12-30 2021-12-30 交叉监督的模型训练方法、图像分割方法及相关设备 Pending CN114742119A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111653265.8A CN114742119A (zh) 2021-12-30 2021-12-30 交叉监督的模型训练方法、图像分割方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111653265.8A CN114742119A (zh) 2021-12-30 2021-12-30 交叉监督的模型训练方法、图像分割方法及相关设备

Publications (1)

Publication Number Publication Date
CN114742119A true CN114742119A (zh) 2022-07-12

Family

ID=82275930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111653265.8A Pending CN114742119A (zh) 2021-12-30 2021-12-30 交叉监督的模型训练方法、图像分割方法及相关设备

Country Status (1)

Country Link
CN (1) CN114742119A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024016945A1 (zh) * 2022-07-19 2024-01-25 马上消费金融股份有限公司 图像分类模型的训练方法、图像分类方法及相关设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344833A (zh) * 2018-09-04 2019-02-15 中国科学院深圳先进技术研究院 医学图像分割方法、分割系统及计算机可读存储介质
CN109934166A (zh) * 2019-03-12 2019-06-25 中山大学 基于语义分割和孪生神经网络的无人机图像变化检测方法
US20200125897A1 (en) * 2018-10-18 2020-04-23 Deepnorth Inc. Semi-Supervised Person Re-Identification Using Multi-View Clustering
CN111369572A (zh) * 2020-02-28 2020-07-03 清华大学深圳国际研究生院 一种基于图像修复技术的弱监督语义分割方法和装置
CN112749801A (zh) * 2021-01-22 2021-05-04 上海商汤智能科技有限公司 神经网络训练和图像处理方法及装置
CN113222998A (zh) * 2021-04-13 2021-08-06 天津大学 基于自监督低秩网络的半监督图像语义分割方法及装置
CN113591566A (zh) * 2021-06-28 2021-11-02 北京百度网讯科技有限公司 图像识别模型的训练方法、装置、电子设备和存储介质
CN113657455A (zh) * 2021-07-23 2021-11-16 西北工业大学 一种基于三重网络与标注一致性正则化的半监督学习方法
CN113673498A (zh) * 2021-07-28 2021-11-19 浙江大华技术股份有限公司 目标检测方法、装置、设备和计算机可读存储介质
CN113706486A (zh) * 2021-08-17 2021-11-26 西安电子科技大学 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法
US20220139072A1 (en) * 2019-03-28 2022-05-05 Hoffmann-La Roche Inc. Machine learning using distance-based similarity labels
US20230186100A1 (en) * 2020-05-27 2023-06-15 Tomtom Global Content B.V. Neural Network Model for Image Segmentation

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344833A (zh) * 2018-09-04 2019-02-15 中国科学院深圳先进技术研究院 医学图像分割方法、分割系统及计算机可读存储介质
US20200125897A1 (en) * 2018-10-18 2020-04-23 Deepnorth Inc. Semi-Supervised Person Re-Identification Using Multi-View Clustering
CN109934166A (zh) * 2019-03-12 2019-06-25 中山大学 基于语义分割和孪生神经网络的无人机图像变化检测方法
US20220139072A1 (en) * 2019-03-28 2022-05-05 Hoffmann-La Roche Inc. Machine learning using distance-based similarity labels
CN111369572A (zh) * 2020-02-28 2020-07-03 清华大学深圳国际研究生院 一种基于图像修复技术的弱监督语义分割方法和装置
US20230186100A1 (en) * 2020-05-27 2023-06-15 Tomtom Global Content B.V. Neural Network Model for Image Segmentation
CN112749801A (zh) * 2021-01-22 2021-05-04 上海商汤智能科技有限公司 神经网络训练和图像处理方法及装置
CN113222998A (zh) * 2021-04-13 2021-08-06 天津大学 基于自监督低秩网络的半监督图像语义分割方法及装置
CN113591566A (zh) * 2021-06-28 2021-11-02 北京百度网讯科技有限公司 图像识别模型的训练方法、装置、电子设备和存储介质
CN113657455A (zh) * 2021-07-23 2021-11-16 西北工业大学 一种基于三重网络与标注一致性正则化的半监督学习方法
CN113673498A (zh) * 2021-07-28 2021-11-19 浙江大华技术股份有限公司 目标检测方法、装置、设备和计算机可读存储介质
CN113706486A (zh) * 2021-08-17 2021-11-26 西安电子科技大学 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHEN XIAOKANG 等: "Semi-Supervised Semantic Segmentation with Cross Pseudo Supervision", 2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2 November 2021 (2021-11-02), pages 2613 - 2622 *
LUO WENFENG 等: "Semi-supervised Semantic Segmentation via Strong-Weak Dual-Branch Network", COMPUTER VISION – ECCV 2020, 29 October 2020 (2020-10-29), pages 784 - 800 *
WEI QIJIE 等: "Learn to Segment Retinal Lesions and Beyond", 2020 25TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR), 5 May 2021 (2021-05-05), pages 7403 - 7410 *
陈佳阳: "基于深度学习的糖尿病性视网膜病变图像分类研究", 中国优秀硕士学位论文全文数据库 医药卫生科技辑, no. 6, 15 June 2021 (2021-06-15), pages 065 - 37 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024016945A1 (zh) * 2022-07-19 2024-01-25 马上消费金融股份有限公司 图像分类模型的训练方法、图像分类方法及相关设备

Similar Documents

Publication Publication Date Title
WO2021196632A1 (zh) 一种全景数字病理图像智能分析系统及方法
US11562491B2 (en) Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network
CN108898175B (zh) 基于深度学习胃癌病理切片的计算机辅助模型构建方法
CN108898160B (zh) 基于cnn和影像组学特征融合的乳腺癌组织病理学分级方法
CN111931751B (zh) 深度学习训练方法、目标物识别方法、系统和存储介质
CN108229576B (zh) 一种跨倍率病理图像特征学习方法
CN108830149B (zh) 一种目标细菌的检测方法及终端设备
WO2023045231A1 (zh) 一种解耦分治的面神经分割方法和装置
CN111931931A (zh) 一种针对病理全场图像的深度神经网络训练方法、装置
US11501431B2 (en) Image processing method and apparatus and neural network model training method
CN110838100A (zh) 一种基于滑动窗口的结肠镜病理切片筛查与分割系统
WO2023179099A1 (zh) 一种图像检测方法、装置、设备及可读存储介质
CN113313680B (zh) 一种结直肠癌病理图像预后辅助预测方法及系统
WO2021139447A1 (zh) 一种宫颈异常细胞检测装置及方法
CN112434172A (zh) 一种病理图像预后特征权重计算方法及系统
WO2021164320A1 (zh) 基于计算机视觉的导管特征获取方法、装置和智能显微镜
KR20220066944A (ko) 조직 분할을 위한 머신 러닝 모델의 상호작용 트레이닝
CN115130543B (zh) 图像识别方法和装置、存储介质及电子设备
CN110827963A (zh) 针对病理图像的语义分割方法和电子设备
CN114742119A (zh) 交叉监督的模型训练方法、图像分割方法及相关设备
CN115063592A (zh) 一种基于多尺度的全扫描病理特征融合提取方法及系统
CN111598144A (zh) 图像识别模型的训练方法和装置
CN116843956A (zh) 一种宫颈病理图像异常细胞识别方法、系统及存储介质
CN111553412A (zh) 对性早熟分类模型进行训练的方法、装置和设备
CN114240938B (zh) 一种h&amp;e染色切片图像中异常组织的分割方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination