CN113313697A - 图像分割和分类方法及其模型训练方法、相关装置及介质 - Google Patents

图像分割和分类方法及其模型训练方法、相关装置及介质 Download PDF

Info

Publication number
CN113313697A
CN113313697A CN202110638029.2A CN202110638029A CN113313697A CN 113313697 A CN113313697 A CN 113313697A CN 202110638029 A CN202110638029 A CN 202110638029A CN 113313697 A CN113313697 A CN 113313697A
Authority
CN
China
Prior art keywords
image
image segmentation
region
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110638029.2A
Other languages
English (en)
Other versions
CN113313697B (zh
Inventor
张晨滨
陈文�
胡志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Shangtang Technology Co ltd
Original Assignee
Qingdao Shangtang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Shangtang Technology Co ltd filed Critical Qingdao Shangtang Technology Co ltd
Priority to CN202110638029.2A priority Critical patent/CN113313697B/zh
Publication of CN113313697A publication Critical patent/CN113313697A/zh
Priority to PCT/CN2021/139251 priority patent/WO2022257410A1/zh
Application granted granted Critical
Publication of CN113313697B publication Critical patent/CN113313697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本申请公开了图像分割和分类方法及其模型训练方法、相关装置及介质，其中，图像分割模型用于对输入图像的不同区域进行预测，该图像分割模型的训练方法包括：将样本病理图像中的不同区域划分为第一有标签区域和无标签区域；其中，第一有标签区域是按照样本病理图像所属的实际类别进行标注，无标签区域未被标注；利用第一有标签区域对图像分割模型进行第一训练；分别利用前后两个周期的第一训练所得到的图像分割模型对无标签区域进行预测，得到无标签区域的第一类别预测结果和第二类别预测结果；基于第一类别预测结果和第二类别预测结果之间的差异，调整图像分割模型的网络参数。上述方案，使图像分割模型具有较高的稳定性和鲁棒性。

Description

图像分割和分类方法及其模型训练方法、相关装置及介质
技术领域
本申请涉及人工智能技术领域，特别是涉及一种图像分割和分类方法及其模型训练方法、相关装置及介质。
背景技术
病理图像是医生段诊断病变组织和细胞的重要依据。医生诊断病理图像，需要大量的临床经验，在超高分辨率的病理图像上对全部组织和细胞进行诊断，费时费力，并存在一些主观偏差。深度学习技术的发展，推动了病理图像辅助诊断的进步，并且提高了诊断的精度和效率。同时，临床医生每天将会查阅至少100个活检病理切片，但是真正恶性的案例出现的机率远低于10％。所以，一个高效率的辅助诊断技术，不仅可以检测出可疑的恶性案例，并且可以排除部分阴性案例，节约医生的阅片时间。
但实际研究中，通常需要区域级别的标注来开发算法以解决全切片数字病理图像的自动诊断问题，然而区域级别的标注需要专业医生花费大量时间。有鉴于此，如何提供准确率较高的病理图像分类诊断方法成为极具研究价值的课题。
发明内容
本申请提供一种图像分割和分类方法及其模型训练方法、相关装置及介质。
本申请第一方面提供了一种图像分割模型的训练方法，所述图像分割模型用于对输入图像的不同区域进行预测，得到每个所述区域的类别预测结果；所述训练方法包括：将样本病理图像中的不同区域划分为第一有标签区域和无标签区域；其中，所述第一有标签区域是按照所述样本病理图像所属的实际类别进行标注，所述无标签区域未被标注；利用所述第一有标签区域对所述图像分割模型分别进行第一周期的第一训练和第二周期的第一训练，得到第一图像分割模型和第二图像分割模型，其中所述第一周期不同于所述第二周期；分别利用所述第一图像分割模型和所述第二图像分割模型对所述无标签区域进行预测，得到所述无标签区域的第一类别预测结果和第二类别预测结果；基于所述第一类别预测结果和第二类别预测结果之间的差异，调整所述第二图像分割模型的网络参数。
因此，通过获取样本病理图像，由于样本病理图像带有标签，因此利用图像分割模型对样本病理图像的不同区域进行预测，根据得到的每个区域的类别预测结果将样本病理图像中的不同区域划分为第一有标签区域和无标签区域，其中，第一有标签区域是按照样本病理图像所属的实际类别进行标注，无标签区域未被标注；然后利用第一有标签区域可以对图像分割模型进行第一训练，在第一周期进行第一训练得到第一图像分割模型，在第二周期进行第一训练得到第二图像分割模型，第二周期为第一周期的后一个周期，于是将第一图像分割模型作为老师模型，将第二图像分割模型作为学生模型，利用老师模型和学生模型分别对无标签区域进行预测，对应得到无标签区域的第一类别预测结果和第二类别预测结果；然后基于第一类别预测结果和第二类别预测结果之间的差异，可以对学生模型进行优化，采用半监督的训练方式所得到的图像分割模型，具有较高的稳定性和鲁棒性。
其中，所述将样本病理图像中的不同区域划分为第一有标签区域和无标签区域，包括：将所述样本病理图像划分为多个区域，并对每个所述区域进行预测，得到每个所述区域的第三类别预测结果；基于所述第三类别预测结果，选择至少一个第一目标区域；按照所述样本病理图像所属的实际类别对所述第一目标区域进行标注，以作为所述第一有标签区域，并将剩余的至少部分所述区域作为所述无标签区域。
因此，利用图像分割模型对样本病理图像的不同区域进行预测，根据得到的每个区域的类别预测结果，可以将第一目标区域按照所述样本病理图像的实际类别进行标注，将剩余的区域不进行标注，于是得到第一有标签区域和无标签区域，进而可以实现利用第一有标签区域对图像分割模型进行第一周期的第一训练和第二周期的第一训练，得到第一图像分割模型和第二图像分割模型，利用无标签数据对第一图像分割模型和第二图像分割模型进行半监督训练，使所得到的图像分割模型具有较高的稳定性和鲁棒性。
其中，所述图像分割模型得到的所述类别预测结果为所述区域属于预设类别的第一概率；所述基于所述第三类别预测结果，选择至少一个第一目标区域，包括：基于所述第一概率，确定每个所述区域属于所述实际类别的第二概率，并选择所述第二概率满足第一预设概率要求的区域作为所述第一目标区域；和/或，所述将剩余的至少部分所述区域作为所述无标签区域，包括：从剩余的所述区域中，选择所述第二概率满足第二预设概率要求的所述区域作为所述无标签区域。
因此，选择第二概率满足第一预设概率要求的区域作为第一目标区域，使第一目标区域的标注与样本病理图像所属的实际类别相符，得到的第一有标签区域可以用于对图像分割模型进行第一周期的第一训练和第二周期的第一训练，得到第一图像分割模型和第二图像分割模型；而从剩余的区域中，选择第二概率满足第二预设概率要求的区域作为无标签区域，使得到的无标签区域可以用于对第一图像分割模型和第二图像分割模型进行半监督训练。
其中，在所述将样本病理图像中的不同区域划分为第一有标签区域和无标签区域之前，所述方法还包括：将所述样本病理图像划分为多个所述区域，并对每个所述区域进行预测，得到每个所述区域的第四类别预测结果；基于所述第四类别预测结果，选择至少一个第二目标区域；按照所述样本病理图像的实际类别对所述第二目标区域进行标注，以作为第二有标签区域；利用所述第二有标签区域对所述图像分割模型进行第二训练。
因此，在进行半监督训练之前，利用图像分割模型对样本病理图像的不同区域进行预测，根据得到的每个区域的第四类别预测结果，可以将样本病理图像中的第二目标区域按照样本病理图像的实际类别进行标注，得到第二有标签区域，然后利用第二有标签区域可以对图像分割模型进行第二训练，从而可以得到第二训练之后的图像分割模型，进而可以实现利用第二训练之后的图像分割模型进行半监督训练。
其中，所述图像分割模型得到的所述类别预测结果为所述区域属于预设类别的第一概率；所述基于所述第四类别预测结果，选择至少一个第二目标区域，包括：基于所述第一概率，确定每个所述区域属于所述实际类别的第二概率，并选择所述第二概率满足第一预设概率要求的区域作为所述第二目标区域。
因此，选择第二概率满足第一预设概率要求的区域作为第二目标区域，使第二目标区域的标注与样本病理图像所属的实际类别相符，得到的第二有标签区域可以用于对图像分割模型进行第二训练，从而可以得到第二训练之后的图像分割模型。
其中，所述第一预设概率要求为所述第二概率从高到低排序的前N位，其中N为大于等于1的整数；和/或，所述第二预设概率要求为所述第二概率从高到低排序的第N+1到N+M位，其中M为大于等于1的整数。
因此，由于第一预设概率要求为第二概率从高到低排序的前N位，因此，所得到的第一目标区域和第二目标区域的标注与样本病理图像所属的实际类别相同的概率最高，于是可以利用第一有标签区域对图像分割模型进行第一训练、利用第二有标签区域对图像分割模型进行第二训练；而从剩余的区域中，选择第二概率满足第二预设概率要求的区域作为无标签区域，由于第二预设概率要求为第二概率从高到低排序的第N+1到N+M位，因此，所得到的无标签区域最可能与样本病理图像所属的实际类别相关，于是可以利用无标签数据对第一训练得到的第一图像分割模型和第二图像分割模型进行半监督训练，使所得到的图像分割模型具有较高的稳定性和鲁棒性。
其中，在对所述图像分割模型进行第二训练之前，所述方法还包括：利用预设样本图像库中的样本图像对所述图像分割模型进行预训练。
因此，通过从预设样本图像库中获取样本图像，由于预设样本图像库具有大量的图像数据，通过大量的样本图像进行预训练，可以构建出精准地对图像区域进行预测的图像分割模型。
为了解决上述问题，本申请第二方面提供了一种图像分类模型的训练方法，所述图像分类模型包括图像分割子模型和分类子模型，所述训练方法包括：利用上述第一方面中的方法训练得到所述图像分割子模型；利用经训练的所述图像分割子模型对样本病理图像进行处理，得到所述样本病理图像的至少部分区域的特征信息；其中，所述样本病理图像标注有所属的实际类别；利用所述分类子模型对所述至少部分区域的特征信息进行分类预测，得到所述样本病理图像的预测类别；基于所述实际类别与所述预测类别之间的差异，调整所述分类子模型。
因此，通过获取样本病理图像，由于样本病理图像标注有所属的实际类别，因此利用经训练的图像分割子模型对样本病理图像进行处理，得到样本病理图像的至少部分区域的特征信息，然后利用分类子模型对至少部分区域的特征信息进行分类预测，得到样本病理图像的预测类别，于是基于实际类别与预测类别之间的差异，可以对分类子模型进行优化，由于图像分割子模型是利用上述第一方面中的方法训练得到，可以为图像分类模型提供更多的有效的子图像进行训练，从而可以提升图像分类模型的性能。
其中，所述利用经训练的所述图像分割子模型对样本病理图像进行处理，得到所述样本病理图像的至少部分区域的特征信息，包括：利用所述图像分割子模型将所述样本病理图像划分为多个区域，并对每个所述区域进行预测，得到每个所述区域的类别概率；利用所述图像分割子模型提取所述类别概率满足预设概率条件的区域的特征信息。
因此，由于图像分割子模型可以将样本病理图像划分为多个区域，并对每个区域进行预测，得到每个区域的类别概率，而得到的是类别概率满足预设概率条件的区域的特征信息，所得到的区域最可能与样本病理图像所属的实际类别相关，于是利用分类子模型对类别概率满足预设概率条件的区域的特征信息进行分类预测，所得到的样本病理图像的预测类别与实际类别差异更小，从而可以得到高性能的图像分类模型。
为了解决上述问题，本申请第三方面提供了一种图像分割方法，所述图像分割方法包括：获取待分割病理图像；利用图像分割模型对所述待分割病理图像进行分割处理，得到所述待分割病理图像对应的分割结果；其中，所述图像分割模型是利用上述第一方面中的方法训练得到的。
为了解决上述问题，本申请第四方面提供了一种图像分类方法，所述图像分类方法包括：获取待分类病理图像；利用图像分类模型对所述待分类病理图像进行分类，得到所述待分类病理图像对应的分类结果；其中，所述图像分类模型是利用上述第二方面中的方法训练得到的。
为了解决上述问题，本申请第五方面提供了一种图像分割模型的训练装置，所述图像分割模型用于对输入图像的不同区域进行预测，得到每个所述区域的类别预测结果；所述图像分割模型的训练装置包括：区域划分模块，用于将样本病理图像中的不同区域划分为第一有标签区域和无标签区域；其中，所述第一有标签区域是按照所述样本病理图像所属的实际类别进行标注，所述无标签区域未被标注；第一训练模块，用于利用所述第一有标签区域对所述图像分割模型分别进行第一周期的第一训练和第二周期的第一训练，得到第一图像分割模型和第二图像分割模型，其中所述第一周期不同于所述第二周期；区域预测模块，用于分别利用所述第一图像分割模型和所述第二图像分割模型对所述无标签区域进行预测，得到所述无标签区域的第一类别预测结果和第二类别预测结果；第一优化模块，用于基于所述第一类别预测结果和第二类别预测结果之间的差异，调整所述第二图像分割模型的网络参数。
为了解决上述问题，本申请第六方面提供了一种图像分类模型的训练装置，所述图像分类模型包括图像分割子模型和分类子模型，所述图像分类模型的训练装置包括：模型获取模块，用于利用上述第五方面中的装置训练得到所述图像分割子模型；特征获取模块，用于利用经训练的所述图像分割子模型对样本病理图像进行处理，得到所述样本病理图像的至少部分区域的特征信息；其中，所述样本病理图像标注有所属的实际类别；分类预测模块，用于利用所述分类子模型对所述至少部分区域的特征信息进行分类预测，得到所述样本病理图像的预测类别；第二优化模块，用于基于所述实际类别与所述预测类别之间的差异，调整所述分类子模型。
为了解决上述问题，本申请第七方面提供了一种图像分割装置，所述图像分割装置包括：图像获取模块，用于获取待分割病理图像；图像分割模块，用于利用图像分割模型对所述待分割病理图像进行分割处理，得到所述待分割病理图像对应的分割结果；其中，所述图像分割模型是利用上述第一方面中的方法训练得到的。
为了解决上述问题，本申请第八方面提供了一种图像分类装置，所述图像分类装置包括：图像获取模块，用于获取待分类病理图像；图像分类模块，用于利用图像分类模型对所述待分类病理图像进行分类，得到所述待分类病理图像对应的分类结果；其中，所述图像分类模型是利用上述第二方面中的方法训练得到的。
为了解决上述问题，本申请第九方面提供了一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述第一方面中的图像分割模型的训练方法，或上述第二方面中的图像分类模型的训练方法，或上述第三方面中的图像分割方法，或上述第四方面中的图像分类方法。
为了解决上述问题，本申请第十方面提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现上述第一方面中的图像分割模型的训练方法，或上述第二方面中的图像分类模型的训练方法，或上述第三方面中的图像分割方法，或上述第四方面中的图像分类方法。
上述方案，通过获取样本病理图像，由于样本病理图像带有标签，因此利用图像分割模型对样本病理图像的不同区域进行预测，根据得到的每个区域的类别预测结果将样本病理图像中的不同区域划分为第一有标签区域和无标签区域，其中，第一有标签区域是按照样本病理图像所属的实际类别进行标注，无标签区域未被标注；然后利用第一有标签区域可以对图像分割模型进行第一训练，在第一周期进行第一训练得到第一图像分割模型，在第二周期进行第一训练得到第二图像分割模型，第二周期为第一周期的后一个周期，于是将第一图像分割模型作为老师模型，将第二图像分割模型作为学生模型，利用老师模型和学生模型分别对无标签区域进行预测，对应得到无标签区域的第一类别预测结果和第二类别预测结果；然后基于第一类别预测结果和第二类别预测结果之间的差异，可以对学生模型进行优化，采用半监督的训练方式所得到的图像分割模型，具有较高的稳定性和鲁棒性；另外，利用所得到的图像分割模型，可以为图像分类模型提供更多的有效的子图像进行训练，从而可以提升图像分类模型的性能。
附图说明
图1是本申请图像分割模型的训练方法一实施例的流程示意图；
图2是图1中步骤S11一实施例的流程示意图；
图3是本申请图像分割模型的训练方法另一实施例的流程示意图；
图4是本申请图像分类模型的训练方法一实施例的流程示意图；
图5是本申请图像分割方法一实施例的流程示意图；
图6是本申请图像分类方法一实施例的流程示意图；
图7是本申请图像分割模型的训练装置一实施例的框架示意图；
图8是本申请图像分类模型的训练装置一实施例的框架示意图；
图9是本申请图像分割装置一实施例的框架示意图；
图10是本申请图像分类装置一实施例的框架示意图；
图11是本申请电子设备一实施例的框架示意图；
图12是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请图像分割模型的训练方法一实施例的流程示意图。具体而言，图像分割模型用于对输入图像的不同区域进行预测，得到每个区域属于阳性或阴性的类别预测结果，所输入的图像可以是病理图像，例如病理切片的图像，所述病理图像对应的目标对象包含但不限于肝脏、肾脏、脾脏、胃等。图像分割模型的训练方法可以包括如下步骤：
步骤S11：将样本病理图像中的不同区域划分为第一有标签区域和无标签区域。其中，所述第一有标签区域是按照所述样本病理图像所属的实际类别进行标注，所述无标签区域未被标注。
具体地，样本病理图像用于训练图像分割模型，样本病理图像携带有标签，该标签可以反映样本病理图像所属的实际类别；可以理解的是，将样本病理图像划分为不同的检测区域，检测区域包含有目标细胞，而根据对检测区域中的目标细胞的检测，可以对检测区域进行标注，其中，若检测区域中的目标细胞的类别与样本病理图像所属的实际类别相同，则按照所述样本病理图像所属的实际类别对该检测区域进行标注，即为第一有标签区域，若检测区域中的目标细胞的类别与样本病理图像所属的实际类别不同，则不对该检测区域进行标注，即为无标签区域。
步骤S12：利用所述第一有标签区域对所述图像分割模型分别进行第一周期的第一训练和第二周期的第一训练，得到第一图像分割模型和第二图像分割模型，其中所述第一周期不同于所述第二周期。
由于第一有标签区域标注有类别标签，因此利用第一有标签区域对图像分割模型进行第一训练，使得第一训练之后的图像分割模型所输出的预测值与第一有标签区域的实际标注相符，可以提高图像分割模型的准确性。其中，利用第一有标签区域可以对图像分割模型进行多个周期的第一训练，其中，对图像分割模型进行第一周期的第一训练可以得到第一图像分割模型，对图像分割模型进行第二周期的第一训练可以得到第二图像分割模型，而第二周期为第一周期的后一个周期。
步骤S13：分别利用所述第一图像分割模型和所述第二图像分割模型对所述无标签区域进行预测，得到所述无标签区域的第一类别预测结果和第二类别预测结果。
步骤S14：基于所述第一类别预测结果和第二类别预测结果之间的差异，调整所述第二图像分割模型的网络参数。
可以理解的是，利用第一图像分割模型和第二图像分割模型分别对无标签区域进行预测，可以得到第一周期的第一训练所得到第一图像分割模型预测的无标签区域对应的第一类别预测结果，以及第二周期的第一训练所得到第二图像分割模型预测的无标签区域对应的第二类别预测结果；由于第二周期为第一周期的后一个周期，因此第二图像分割模型实际上是通过将第一图像分割模型进行第一训练所得到的，故期望两者预测得到的第一类别预测结果和第二类别预测结果具有较高的一致性，因此，通过比较第一类别预测结果和第二类别预测结果，得到第一类别预测结果和第二类别预测结果之间的差异，然后可以根据第一类别预测结果和第二类别预测结果之间的差异对第二图像分割模型的网络参数进行调整，以实现对第二图像分割模型进行更新。于是，利用按照样本病理图像所属的实际类别进行标注的第一有标签区域和未被标注的无标签区域，可以使作为学生模型的第二图像分割模型实现优化，而所得到的优化后的第二图像分割模型相对于下一个周期而言又作为第一图像分割模型，即将优化后的第二图像分割模型在下一周期的优化过程中又作为老师模型，即实现了老师模型和学生模型共同优化和提升，以提高图像分割模型的鲁棒性和分割性能。
另外，在图像分割模型的训练过程中，可以获取第一类别预测结果和第二类别预测结果之间的差异的收敛性，当第一类别预测结果和第二类别预测结果之间的差异收敛时，则可以停止对第二图像分割模型的网络参数的更新，而当第一类别预测结果和第二类别预测结果之间的差异不收敛时，可以获取网络参数的调整次数，当调整次数达到预设次数时，则可以根据此时的网络参数确定最终的图像分割模型，以避免损失函数不收敛而影响训练效率。
上述方案，通过获取样本病理图像，由于样本病理图像带有标签，因此利用图像分割模型对样本病理图像的不同区域进行预测，根据得到的每个区域的类别预测结果将样本病理图像中的不同区域划分为第一有标签区域和无标签区域，其中，第一有标签区域是按照样本病理图像所属的实际类别进行标注，无标签区域未被标注；然后利用第一有标签区域可以对图像分割模型进行第一训练，在第一周期进行第一训练得到第一图像分割模型，在第二周期进行第一训练得到第二图像分割模型，第二周期为第一周期的后一个周期，于是将第一图像分割模型作为老师模型，将第二图像分割模型作为学生模型，利用老师模型和学生模型分别对无标签区域进行预测，对应得到无标签区域的第一类别预测结果和第二类别预测结果；然后基于第一类别预测结果和第二类别预测结果之间的差异，可以对学生模型进行优化，采用半监督的训练方式所得到的图像分割模型，具有较高的稳定性和鲁棒性。
请参阅图2，图2是图1中步骤S11一实施例的流程示意图。在一实施例中，上述步骤S11具体可以包括如下步骤：
步骤S111：将所述样本病理图像划分为多个区域，并对每个所述区域进行预测，得到每个所述区域的第三类别预测结果。
利用图像分割模型对样本病理图像进行区域划分，得到多个包含目标细胞的区域和多个不包含目标细胞的区域，在对每个区域进行预测后，可以得到每个区域的第三类别预测结果。例如，对所属的实际类别为阳性的肝脏病理图像进行划分，可以得到多个区域，其中部分区域包含病变细胞，而其他区域不包含病变细胞，对每个区域进行预测后，可以得到每个区域的第三类别预测结果。
步骤S112：基于所述第三类别预测结果，选择至少一个第一目标区域。
步骤S113：按照所述样本病理图像所属的实际类别对所述第一目标区域进行标注，以作为所述第一有标签区域，并将剩余的至少部分所述区域作为所述无标签区域。
根据第三类别预测结果，选择至少一个第一目标区域，其中该第一目标区域对应样本病理图像所属的实际类别，因此，可以按照样本病理图像的实际类别对第一目标区域进行标注，以作为第一有标签区域，同时，可以将至少部分其他的区域作为无标签区域。
上述方案，利用图像分割模型对样本病理图像的不同区域进行预测，根据得到的每个区域的类别预测结果，可以将第一目标区域按照所述样本病理图像的实际类别进行标注，将剩余的区域不进行标注，于是得到第一有标签区域和无标签区域，进而可以实现利用第一有标签区域对图像分割模型进行第一周期的第一训练和第二周期的第一训练，得到第一图像分割模型和第二图像分割模型，利用无标签数据对第一图像分割模型和第二图像分割模型进行半监督训练，使所得到的图像分割模型具有较高的稳定性和鲁棒性。
进一步地，图像分割模型得到的类别预测结果为区域属于预设类别的第一概率，因此，利用图像分割模型对每个区域进行预测，所得到每个区域的第三类别预测结果中，包含有该区域属于预设类别的第一概率。此时，上述步骤S112可以包括：基于所述第一概率，确定每个所述区域属于所述实际类别的第二概率，并选择所述第二概率满足第一预设概率要求的区域作为所述第一目标区域。具体地，利用图像分割模型可以对每个区域进行预测，例如对区域中的所有细胞进行分析判断，并根据对细胞的分析结果给出该区域属于预设类别的第一概率，由于该区域对应的样本病理图像具有实际类别，预设类别和实际类别可能相同或者不同，因此，需要进一步根据第一概率，确定每个区域属于实际类别的第二概率，然后选择第二概率满足第一预设概率要求的区域作为第一目标区域，进而可以按照样本病理图像的实际类别对第一目标区域进行标注，以作为第一有标签区域。在一实施例中，第一预设概率要求为第二概率从高到低排序的前N位，其中N为大于等于1的整数，由于所得到的的第一目标区域的标注与样本病理图像所属的实际类别的相符程度为最高的前N位，因此得到的第一有标签区域可以用于对图像分割模型进行第一训练。
另外，上述步骤S113中，所述将剩余的至少部分所述区域作为所述无标签区域，包括：从剩余的所述区域中，选择所述第二概率满足第二预设概率要求的所述区域作为所述无标签区域。可以理解的是，一张样本病理图像可以划分为多个区域，有的区域可以反映该样本病理图像属于实际类别的特征，而有的区域却不能反映该样本病理图像所述的类别，因此，需要从剩余的区域中，选择用于确定区域属于实际类别的第二概率满足第二预设概率要求的区域来作为无标签区域，使得无标签区域可以用于对第一图像分割模型和第二图像分割模型进行半监督训练。在一实施例中，第二预设概率要求为第二概率从高到低排序的第N+1到N+M位，其中M为大于等于1的整数，通过在所有区域中，选取了第二概率从高到低排序的前N位的区域作为第一有标签区域之后，从剩余的区域中，再选取第二概率从高到低排序的第N+1到N+M位的区域作为无标签区域，所得到的无标签区域具有能反映样本病理图像属于实际类别的特征的可能性最大，因此，所得到的第一有标签区域可以用于对第一图像分割模型和第二图像分割模型进行半监督训练。
请参阅图3，图3是本申请图像分割模型的训练方法另一实施例的流程示意图。具体而言，图像分割模型的训练方法可以包括如下步骤：
步骤S31：将所述样本病理图像划分为多个所述区域，并对每个所述区域进行预测，得到每个所述区域的第四类别预测结果。
步骤S32：基于所述第四类别预测结果，选择至少一个第二目标区域。
步骤S33：按照所述样本病理图像的实际类别对所述第二目标区域进行标注，以作为第二有标签区域。
步骤S34：利用所述第二有标签区域对所述图像分割模型进行第二训练。
利用图像分割模型对样本病理图像进行区域划分，得到多个区域，在对每个区域进行预测后，可以得到每个区域的第四类别预测结果，根据第四类别预测结果，选择至少一个第二目标区域，其中该第一目标区域对应样本病理图像所属的实际类别，因此，可以按照样本病理图像的实际类别对第二目标区域进行标注，以作为第二有标签区域。由于第二有标签区域标注有类别标签，因此利用第二有标签区域对图像分割模型进行第二训练，使得第二训练之后的图像分割模型所输出的预测值与第二有标签区域的实际标注相符，可以提高图像分割模型的准确性。
步骤S35：将样本病理图像中的不同区域划分为第一有标签区域和无标签区域。其中，所述第一有标签区域是按照所述样本病理图像所属的实际类别进行标注，所述无标签区域未被标注。
步骤S36：利用所述第一有标签区域对所述图像分割模型分别进行第一周期的第一训练和第二周期的第一训练，得到第一图像分割模型和第二图像分割模型，其中所述第一周期不同于所述第二周期。
步骤S37：分别利用所述第一图像分割模型和所述第二图像分割模型对所述无标签区域进行预测，对应得到所述无标签区域的第一类别预测结果和第二类别预测结果。
步骤S38：基于所述第一类别预测结果和第二类别预测结果之间的差异，调整所述第二图像分割模型的网络参数。
本实施例中，步骤S35-S38与本申请上述实施例的步骤S11-S14基本类似，此处不再赘述。
因此，在进行半监督训练之前，利用图像分割模型对样本病理图像的不同区域进行预测，根据得到的每个区域的第四类别预测结果，可以将样本病理图像中的第二目标区域按照样本病理图像的实际类别进行标注，得到第二有标签区域，然后利用第二有标签区域可以对图像分割模型进行第二训练，从而可以得到第二训练之后的图像分割模型，进而可以实现利用第二训练之后的图像分割模型进行半监督训练。
进一步地，图像分割模型得到的类别预测结果为区域属于预设类别的第一概率，因此，利用图像分割模型对每个区域进行预测，所得到每个区域的第四类别预测结果中，包含有该区域属于预设类别的第一概率。此时，上述步骤S32可以包括：基于所述第一概率，确定每个所述区域属于所述实际类别的第二概率，并选择所述第二概率满足第一预设概率要求的区域作为所述第二目标区域。具体地，利用图像分割模型可以对每个区域进行预测，例如对区域中的所有细胞进行分析判断，并根据对细胞的分析结果给出该区域属于预设类别的第一概率，由于该区域对应的样本病理图像具有实际类别，预设类别和实际类别可能相同或者不同，因此，需要进一步根据第一概率，确定每个区域属于实际类别的第二概率，然后选择第二概率满足第一预设概率要求的区域作为第二目标区域，进而可以按照样本病理图像的实际类别对第二目标区域进行标注，以作为第二有标签区域，从而可以得到第二训练之后的图像分割模型。在一实施例中，第一预设概率要求为第二概率从高到低排序的前N位，其中N为大于等于1的整数，由于所得到的的第二目标区域的标注与样本病理图像所属的实际类别的相符程度为最高的前N位，因此得到的第二有标签区域可以用于对图像分割模型进行第二训练。
在一些实施例中，在上述步骤S31之前，还包括：利用预设样本图像库中的样本图像对所述图像分割模型进行预训练。预设样本图像库可以为ImageNet数据库，通过从预设样本图像库中获取样本图像，由于预设样本图像库具有大量的图像数据，通过大量的样本图像进行预训练，可以构建出精准地对图像区域进行预测的图像分割模型。本申请中，图像分割模型可以为resnet34残差网络。
请参阅图4，图4是本申请图像分类模型的训练方法一实施例的流程示意图。具体而言，所述图像分类模型包括图像分割子模型和分类子模型。图像分类模型的训练方法可以包括如下步骤：
步骤S41：利用上述任一种图像分割模型的训练方法训练得到所述图像分割子模型。
步骤S42：利用经训练的所述图像分割子模型对样本病理图像进行处理，得到所述样本病理图像的至少部分区域的特征信息。其中，所述样本病理图像标注有所属的实际类别。
步骤S43：利用所述分类子模型对所述至少部分区域的特征信息进行分类预测，得到所述样本病理图像的预测类别。
步骤S44：基于所述实际类别与所述预测类别之间的差异，调整所述分类子模型。
通过获取样本病理图像，由于样本病理图像标注有所属的实际类别，因此利用经训练的图像分割子模型对样本病理图像进行处理，得到样本病理图像的至少部分区域的特征信息，然后利用分类子模型对至少部分区域的特征信息进行分类预测，得到样本病理图像的预测类别，由于样本病理图像标注有所属的实际类别，于是基于实际类别与预测类别之间的差异，可以对分类子模型进行优化，由于图像分割子模型是利用上述图像分割模型的训练方法训练得到的，可以为图像分类模型提供更多的有效的子图像进行训练，从而可以提升图像分类模型的性能。
在一些实施例中，上述步骤S42具体可以包括：利用所述图像分割子模型将所述样本病理图像划分为多个区域，并对每个所述区域进行预测，得到每个所述区域的类别概率；利用所述图像分割子模型提取所述类别概率满足预设概率条件的区域的特征信息。由于图像分割子模型可以将样本病理图像划分为多个区域，并对每个区域进行预测，得到每个区域的类别概率，而得到的是类别概率满足预设概率条件的区域的特征信息，所得到的区域最可能与样本病理图像所属的实际类别相关，于是利用分类子模型对类别概率满足预设概率条件的区域的特征信息进行分类预测，所得到的样本病理图像的预测类别与实际类别差异更小，从而可以得到高性能的图像分类模型。
请参阅图5，图5是本申请图像分割方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S51：获取待分割病理图像。
步骤S52：利用图像分割模型对所述待分割病理图像进行分割处理，得到所述待分割病理图像对应的分割结果。
其中，所述图像分割模型是利用上述的图像分割模型的训练方法训练得到的。通过本申请的图像分割方法，可用于临床医生在诊断病变组织和细胞时，检测出可疑的恶性案例，并且可以排除部分阴性案例，节约医生的阅片时间。
请参阅图6，图6是本申请图像分类方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S61：获取待分类病理图像。
步骤S62：利用图像分类模型对所述待分类病理图像进行分类，得到所述待分类病理图像对应的分类结果。
其中，所述图像分类模型是利用上述的图像分类模型的训练方法训练得到的。由于在仅使用切片图像级别标注的情况下，可以得到病理图像整图的分类模型，并且引入半监督的训练思想，使模型更加稳定，更具有鲁棒性，因此通过本申请的图像分类方法，可以仅使用切片图像级别标注，就可以实现准确率较高的病理图像分类诊断。
请参阅图7，图7是本申请图像分割模型的训练装置一实施例的框架示意图。图像分割模型用于对输入图像的不同区域进行预测，得到每个所述区域属于阳性或阴性的类别预测结果；图像分割模型的训练装置70包括：区域划分模块700，用于将样本病理图像中的不同区域划分为第一有标签区域和无标签区域；其中，所述第一有标签区域是按照所述样本病理图像所属的实际类别进行标注，所述无标签区域未被标注；第一训练模块702，用于利用所述第一有标签区域对所述图像分割模型分别进行第一周期的第一训练和第二周期的第一训练，得到第一图像分割模型和第二图像分割模型，其中所述第一周期不同于所述第二周期；区域预测模块704，用于分别利用所述第一图像分割模型和所述第二图像分割模型对所述无标签区域进行预测，得到所述无标签区域的第一类别预测结果和第二类别预测结果；第一优化模块706，用于基于所述第一类别预测结果和第二类别预测结果之间的差异，调整所述第二图像分割模型的网络参数。
上述方案，通过获取样本病理图像，由于样本病理图像带有标签，因此利用图像分割模型对样本病理图像的不同区域进行预测，根据得到的每个区域的类别预测结果将样本病理图像中的不同区域划分为第一有标签区域和无标签区域，其中，第一有标签区域是按照样本病理图像所属的实际类别进行标注，无标签区域未被标注；然后利用第一有标签区域可以对图像分割模型进行第一训练，在第一周期进行第一训练得到第一图像分割模型，在第二周期进行第一训练得到第二图像分割模型，第二周期为第一周期的后一个周期，于是将第一图像分割模型作为老师模型，将第二图像分割模型作为学生模型，利用老师模型和学生模型分别对无标签区域进行预测，对应得到无标签区域的第一类别预测结果和第二类别预测结果；然后基于第一类别预测结果和第二类别预测结果之间的差异，可以对学生模型进行优化，采用半监督的训练方式所得到的图像分割模型，具有较高的稳定性和鲁棒性。
在一些实施例中，区域划分模块700具体可以用于利用所述图像分割模型将所述样本病理图像划分为多个区域，并对每个所述区域进行预测，得到每个所述区域的第三类别预测结果；基于所述第三类别预测结果，选择至少一个第一目标区域；按照所述样本病理图像的实际类别对所述第一目标区域进行标注，以作为所述第一有标签区域，并将剩余的至少部分所述区域作为所述无标签区域。
在一些实施例中，所述图像分割模型得到的所述类别预测结果为所述区域属于预设类别的第一概率；区域划分模块700执行基于所述第三类别预测结果，选择至少一个第一目标区域的步骤，具体包括：基于所述第一概率，确定每个所述区域属于所述实际类别的第二概率，并选择所述第二概率满足第一预设概率要求的区域作为所述第一目标区域。
在一些实施例中，区域划分模块700执行将剩余的至少部分所述区域作为所述无标签区域的步骤，具体包括：从剩余的所述区域中，选择所述第二概率满足第二预设概率要求的所述区域作为所述无标签区域。
在一些实施例中，图像分割模型的训练装置70还包括第二训练模块708；在区域划分模块700将样本病理图像中的不同区域划分为第一有标签区域和无标签区域之前，第二训练模块708用于对所述图像分割模型进行第二训练；且具体用于：将所述样本病理图像划分为多个所述区域，并对每个所述区域进行预测，得到每个所述区域的第四类别预测结果；基于所述第四类别预测结果，选择至少一个第二目标区域；按照所述样本病理图像的实际类别对所述第二目标区域进行标注，以作为第二有标签区域；利用所述第二有标签区域对所述图像分割模型进行第二训练。
在一些实施例中，所述图像分割模型得到的所述类别预测结果为所述区域属于预设类别的第一概率；第二训练模块708执行基于所述第四类别预测结果，选择至少一个第二目标区域的步骤，具体包括：基于所述第一概率，确定每个所述区域属于所述实际类别的第二概率，并选择所述第二概率满足第一预设概率要求的区域作为所述第二目标区域。
在一些实施例中，图像分割模型的训练装置70还包括预训练模块709；在第二训练模块708对所述图像分割模型进行第二训练之前，预训练模块709用于利用预设样本图像库中的样本图像对所述图像分割模型进行预训练。
请参阅图8，图8是本申请图像分类模型的训练装置一实施例的框架示意图。图像分类模型包括图像分割子模型和分类子模型；图像分类模型的训练装置80包括：模型获取模块800，用于利用上述的图像分割模型的训练装置70训练得到所述图像分割子模型；特征获取模块802，用于利用经训练的所述图像分割子模型对样本病理图像进行处理，得到所述样本病理图像的至少部分区域的特征信息；其中，所述样本病理图像标注有所属的实际类别；分类预测模块804，用于利用所述分类子模型对所述至少部分区域的特征信息进行分类预测，得到所述样本病理图像的预测类别；第二优化模块806，用于基于所述实际类别与所述预测类别之间的差异，调整所述分类子模型。
上述方案，通过获取样本病理图像，由于样本病理图像标注有所属的实际类别，因此利用经训练的图像分割子模型对样本病理图像进行处理，得到样本病理图像的至少部分区域的特征信息，然后利用分类子模型对至少部分区域的特征信息进行分类预测，得到样本病理图像的预测类别，由于样本病理图像标注有所属的实际类别，于是基于实际类别与预测类别之间的差异，可以对分类子模型进行优化，由于图像分割子模型是利用上述图像分割模型的训练方法训练得到的，可以为图像分类模型提供更多的有效的子图像进行训练，从而可以提升图像分类模型的性能。
在一些实施例中，特征获取模块802具体可以用于利用所述图像分割子模型将所述样本病理图像划分为多个区域，并对每个所述区域进行预测，得到每个所述区域的类别概率；利用所述图像分割子模型提取所述类别概率满足预设概率条件的区域的特征信息。
请参阅图9，图9是本申请图像分割装置一实施例的框架示意图。图像分割装置90包括：图像获取模块900，用于获取待分割病理图像；图像分割模块902，用于利用图像分割模型对所述待分割病理图像进行分割处理，得到所述待分割病理图像对应的分割结果；其中，所述图像分割模型是利用上述的图像分割模型的训练方法训练得到的。
上述方案，由于图像分割模型是通过将在第一周期进行第一训练所得到第一图像分割模型作为老师模型，将在第二周期进行第一训练所得到第二图像分割模型作为学生模型，采用半监督的方式进行训练而得到的，具有较高的稳定性和鲁棒性，因此，利用图像分割模型对待分割病理图像进行分割处理，可以得到待分割病理图像对应的精准分割结果，可用于临床医生在诊断病变组织和细胞时，检测出可疑的恶性案例，并且可以排除部分阴性案例，节约医生的阅片时间。
请参阅图10，图10是本申请图像分类装置一实施例的框架示意图。图像分类装置100包括：图像获取模块1000，用于获取待分类病理图像；图像分类模块1002，用于利用图像分割模型对所述待分割病理图像进行分割处理，得到所述待分类病理图像对应的分类结果；其中，所述图像分类模型是利用上述的图像分类模型的训练方法训练得到的。
上述方案，由于在仅使用切片图像级别标注的情况下，可以得到病理图像整图的分类模型，并且引入半监督的训练思想，使模型更加稳定，更具有鲁棒性，因此通过本申请的图像分类方法，可以仅使用切片图像级别标注，就可以实现准确率较高的病理图像分类诊断。
请参阅图11，图11是本申请电子设备一实施例的框架示意图。电子设备110包括相互耦接的存储器111和处理器112，处理器112用于执行存储器111中存储的程序指令，以实现上述任一图像分割模型的训练方法实施例的步骤，或上述任一图像分类模型的训练方法实施例的步骤，或上述任一图像分割方法实施例的步骤，或上述任一图像分类方法实施例的步骤。在一个具体的实施场景中，电子设备110可以包括但不限于：微型计算机、服务器。
具体而言，处理器112用于控制其自身以及存储器111以实现上述任一图像分割模型的训练方法实施例的步骤，或上述任一图像分类模型的训练方法实施例的步骤，或上述任一图像分割方法实施例的步骤，或上述任一图像分类方法实施例的步骤。处理器112还可以称为CPU(Central Processing Unit，中央处理单元)。处理器112可能是一种集成电路芯片，具有信号的处理能力。处理器112还可以是通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器112可以由集成电路芯片共同实现。
请参阅图12，图12是本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质120存储有能够被处理器运行的程序指令1200，程序指令1200用于实现上述任一图像分割模型的训练方法实施例的步骤，或上述任一图像分类模型的训练方法实施例的步骤，或上述任一图像分割方法实施例的步骤，或上述任一图像分类方法实施例的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (17)

1.一种图像分割模型的训练方法，其特征在于，所述图像分割模型用于对输入图像的不同区域进行预测，得到每个所述区域的类别预测结果；所述训练方法包括：
将样本病理图像中的不同区域划分为第一有标签区域和无标签区域；其中，所述第一有标签区域是按照所述样本病理图像所属的实际类别进行标注，所述无标签区域未被标注；
利用所述第一有标签区域对所述图像分割模型分别进行第一周期的第一训练和第二周期的第一训练，得到第一图像分割模型和第二图像分割模型，其中所述第一周期不同于所述第二周期；
分别利用所述第一图像分割模型和所述第二图像分割模型对所述无标签区域进行预测，得到所述无标签区域的第一类别预测结果和第二类别预测结果；
基于所述第一类别预测结果和第二类别预测结果之间的差异，调整所述第二图像分割模型的网络参数。
2.根据权利要求1所述的图像分割模型的训练方法，其特征在于，所述将样本病理图像中的不同区域划分为第一有标签区域和无标签区域，包括：
将所述样本病理图像划分为多个区域，并对每个所述区域进行预测，得到每个所述区域的第三类别预测结果；
基于所述第三类别预测结果，选择至少一个第一目标区域；
按照所述样本病理图像所属的实际类别对所述第一目标区域进行标注，以作为所述第一有标签区域，并将剩余的至少部分所述区域作为所述无标签区域。
3.根据权利要求2所述的图像分割模型的训练方法，其特征在于，所述图像分割模型得到的所述类别预测结果为所述区域属于预设类别的第一概率；
所述基于所述第三类别预测结果，选择至少一个第一目标区域，包括：
基于所述第一概率，确定每个所述区域属于所述实际类别的第二概率，并选择所述第二概率满足第一预设概率要求的区域作为所述第一目标区域；
和/或，所述将剩余的至少部分所述区域作为所述无标签区域，包括：
从剩余的所述区域中，选择所述第二概率满足第二预设概率要求的所述区域作为所述无标签区域。
4.根据权利要求1至3任一项所述的图像分割模型的训练方法，其特征在于，在所述将样本病理图像中的不同区域划分为第一有标签区域和无标签区域之前，所述方法还包括：
将所述样本病理图像划分为多个所述区域，并对每个所述区域进行预测，得到每个所述区域的第四类别预测结果；
基于所述第四类别预测结果，选择至少一个第二目标区域；
按照所述样本病理图像的实际类别对所述第二目标区域进行标注，以作为第二有标签区域；
利用所述第二有标签区域对所述图像分割模型进行第二训练。
5.根据权利要求4所述的图像分割模型的训练方法，其特征在于，所述图像分割模型得到的所述类别预测结果为所述区域属于预设类别的第一概率；
所述基于所述第四类别预测结果，选择至少一个第二目标区域，包括：
基于所述第一概率，确定每个所述区域属于所述实际类别的第二概率，并选择所述第二概率满足第一预设概率要求的区域作为所述第二目标区域。
6.根据权利要求3或5所述的图像分割模型的训练方法，其特征在于，所述第一预设概率要求为所述第二概率从高到低排序的前N位，其中N为大于等于1的整数；和/或，所述第二预设概率要求为所述第二概率从高到低排序的第N+1到N+M位，其中M为大于等于1的整数。
7.根据权利要求4所述的图像分割模型的训练方法，其特征在于，在对所述图像分割模型进行第二训练之前，所述方法还包括：
利用预设样本图像库中的样本图像对所述图像分割模型进行预训练。
8.一种图像分类模型的训练方法，其特征在于，所述图像分类模型包括图像分割子模型和分类子模型，所述训练方法包括：
利用权利要求1至7任一项所述的方法训练得到所述图像分割子模型；
利用经训练的所述图像分割子模型对样本病理图像进行处理，得到所述样本病理图像的至少部分区域的特征信息；其中，所述样本病理图像标注有所属的实际类别；
利用所述分类子模型对所述至少部分区域的特征信息进行分类预测，得到所述样本病理图像的预测类别；
基于所述实际类别与所述预测类别之间的差异，调整所述分类子模型。
9.根据权利要求8所述的训练方法，其特征在于，所述利用经训练的所述图像分割子模型对样本病理图像进行处理，得到所述样本病理图像的至少部分区域的特征信息，包括：
利用所述图像分割子模型将所述样本病理图像划分为多个区域，并对每个所述区域进行预测，得到每个所述区域的类别概率；
利用所述图像分割子模型提取所述类别概率满足预设概率条件的区域的特征信息。
10.一种图像分割方法，其特征在于，所述图像分割方法包括：
获取待分割病理图像；
利用图像分割模型对所述待分割病理图像进行分割处理，得到所述待分割病理图像对应的分割结果；
其中，所述图像分割模型是利用权利要求1至7任一项所述的方法训练得到的。
11.一种图像分类方法，其特征在于，所述图像分类方法包括：
获取待分类病理图像；
利用图像分类模型对所述待分类病理图像进行分类，得到所述待分类病理图像对应的分类结果；
其中，所述图像分类模型是利用权利要求8或9所述的方法训练得到的。
12.一种图像分割模型的训练装置，其特征在于，所述图像分割模型用于对输入图像的不同区域进行预测，得到每个所述区域的类别预测结果；所述图像分割模型的训练装置包括：
区域划分模块，用于将样本病理图像中的不同区域划分为第一有标签区域和无标签区域；其中，所述第一有标签区域是按照所述样本病理图像所属的实际类别进行标注，所述无标签区域未被标注；
第一训练模块，用于利用所述第一有标签区域对所述图像分割模型分别进行第一周期的第一训练和第二周期的第一训练，得到第一图像分割模型和第二图像分割模型，其中所述第一周期不同于所述第二周期；
区域预测模块，用于分别利用所述第一图像分割模型和所述第二图像分割模型对所述无标签区域进行预测，得到所述无标签区域的第一类别预测结果和第二类别预测结果；
第一优化模块，用于基于所述第一类别预测结果和第二类别预测结果之间的差异，调整所述第二图像分割模型的网络参数。
13.一种图像分类模型的训练装置，其特征在于，所述图像分类模型包括图像分割子模型和分类子模型，所述图像分类模型的训练装置包括：
模型获取模块，用于利用权利要求12所述的装置训练得到所述图像分割子模型；
特征获取模块，用于利用经训练的所述图像分割子模型对样本病理图像进行处理，得到所述样本病理图像的至少部分区域的特征信息；其中，所述样本病理图像标注有所属的实际类别；
分类预测模块，用于利用所述分类子模型对所述至少部分区域的特征信息进行分类预测，得到所述样本病理图像的预测类别；
第二优化模块，用于基于所述实际类别与所述预测类别之间的差异，调整所述分类子模型。
14.一种图像分割装置，其特征在于，所述图像分割装置包括：
图像获取模块，用于获取待分割病理图像；
图像分割模块，用于利用图像分割模型对所述待分割病理图像进行分割处理，得到所述待分割病理图像对应的分割结果；
其中，所述图像分割模型是利用权利要求1至7任一项所述的方法训练得到的。
15.一种图像分类装置，其特征在于，所述图像分类装置包括：
图像获取模块，用于获取待分类病理图像；
图像分类模块，用于利用图像分类模型对所述待分类病理图像进行分类，得到所述待分类病理图像对应的分类结果；
其中，所述图像分类模型是利用权利要求8或9所述的方法训练得到的。
16.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至7任一项所述的图像分割模型的训练方法，或权利要求8或9所述的图像分类模型的训练方法，或权利要求10所述的图像分割方法，或权利要求11所述的图像分类方法。
17.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至7任一项所述的图像分割模型的训练方法，或权利要求8或9所述的图像分类模型的训练方法，或权利要求10所述的图像分割方法，或权利要求11所述的图像分类方法。
CN202110638029.2A 2021-06-08 2021-06-08 图像分割和分类方法及其模型训练方法、相关装置及介质 Active CN113313697B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110638029.2A CN113313697B (zh) 2021-06-08 2021-06-08 图像分割和分类方法及其模型训练方法、相关装置及介质
PCT/CN2021/139251 WO2022257410A1 (zh) 2021-06-08 2021-12-17 图像分割和分类方法及其模型训练方法、相关装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110638029.2A CN113313697B (zh) 2021-06-08 2021-06-08 图像分割和分类方法及其模型训练方法、相关装置及介质

Publications (2)

Publication Number Publication Date
CN113313697A true CN113313697A (zh) 2021-08-27
CN113313697B CN113313697B (zh) 2023-04-07

Family

ID=77377659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110638029.2A Active CN113313697B (zh) 2021-06-08 2021-06-08 图像分割和分类方法及其模型训练方法、相关装置及介质

Country Status (2)

Country Link
CN (1) CN113313697B (zh)
WO (1) WO2022257410A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022257410A1 (zh) * 2021-06-08 2022-12-15 青岛商汤科技有限公司 图像分割和分类方法及其模型训练方法、相关装置及介质
WO2023092959A1 (zh) * 2021-11-23 2023-06-01 上海商汤智能科技有限公司 图像分割方法及其模型的训练方法及相关装置、电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385931B (zh) * 2023-04-04 2023-08-29 北京中科睿途科技有限公司 视频监控画面的检测方法、装置、电子设备和存储介质
CN117422732B (zh) * 2023-12-18 2024-02-23 湖南自兴智慧医疗科技有限公司 病理学图像分割方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030110142A1 (en) * 2001-12-12 2003-06-12 Robert Sesek Feed forward mail load notification system and method
CN108154222A (zh) * 2016-12-02 2018-06-12 北京市商汤科技开发有限公司 深度神经网络训练方法和系统、电子设备
CN108280455A (zh) * 2018-01-19 2018-07-13 北京市商汤科技开发有限公司 人体关键点检测方法和装置、电子设备、程序和介质
CN109615655A (zh) * 2018-11-16 2019-04-12 深圳市商汤科技有限公司 一种确定物体姿态的方法及装置、电子设备及计算机介质
US20190205775A1 (en) * 2018-01-03 2019-07-04 International Business Machines Corporation Forecasting Data Based on Hidden Cycle Evidence
CN110084281A (zh) * 2019-03-31 2019-08-02 华为技术有限公司 图像生成方法、神经网络的压缩方法及相关装置、设备
CN110298298A (zh) * 2019-06-26 2019-10-01 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备
CN110363138A (zh) * 2019-07-12 2019-10-22 腾讯科技（深圳）有限公司 模型训练方法、图像处理方法、装置、终端及存储介质
CN110782468A (zh) * 2019-10-25 2020-02-11 北京达佳互联信息技术有限公司 图像分割模型的训练方法及装置及图像分割方法及装置
CN111461165A (zh) * 2020-02-26 2020-07-28 上海商汤智能科技有限公司 图像识别方法、识别模型的训练方法及相关装置、设备
CN112132206A (zh) * 2020-09-18 2020-12-25 青岛商汤科技有限公司 图像识别方法及相关模型的训练方法及相关装置、设备
CN112132197A (zh) * 2020-09-15 2020-12-25 腾讯科技（深圳）有限公司 模型训练、图像处理方法、装置、计算机设备和存储介质
CN112419327A (zh) * 2020-12-10 2021-02-26 复旦大学附属肿瘤医院 一种基于生成对抗网络的图像分割方法、系统和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596882B (zh) * 2018-04-10 2019-04-02 中山大学肿瘤防治中心 病理图片的识别方法及装置
CN111369576B (zh) * 2020-05-28 2020-09-18 腾讯科技（深圳）有限公司 图像分割模型的训练方法、图像分割方法、装置及设备
CN112541928A (zh) * 2020-12-18 2021-03-23 上海商汤智能科技有限公司 网络训练方法及装置、图像分割方法及装置和电子设备
CN113313697B (zh) * 2021-06-08 2023-04-07 青岛商汤科技有限公司 图像分割和分类方法及其模型训练方法、相关装置及介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030110142A1 (en) * 2001-12-12 2003-06-12 Robert Sesek Feed forward mail load notification system and method
CN108154222A (zh) * 2016-12-02 2018-06-12 北京市商汤科技开发有限公司 深度神经网络训练方法和系统、电子设备
US20190205775A1 (en) * 2018-01-03 2019-07-04 International Business Machines Corporation Forecasting Data Based on Hidden Cycle Evidence
CN108280455A (zh) * 2018-01-19 2018-07-13 北京市商汤科技开发有限公司 人体关键点检测方法和装置、电子设备、程序和介质
CN109615655A (zh) * 2018-11-16 2019-04-12 深圳市商汤科技有限公司 一种确定物体姿态的方法及装置、电子设备及计算机介质
CN110084281A (zh) * 2019-03-31 2019-08-02 华为技术有限公司 图像生成方法、神经网络的压缩方法及相关装置、设备
CN110298298A (zh) * 2019-06-26 2019-10-01 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备
CN110363138A (zh) * 2019-07-12 2019-10-22 腾讯科技（深圳）有限公司 模型训练方法、图像处理方法、装置、终端及存储介质
CN110782468A (zh) * 2019-10-25 2020-02-11 北京达佳互联信息技术有限公司 图像分割模型的训练方法及装置及图像分割方法及装置
CN111461165A (zh) * 2020-02-26 2020-07-28 上海商汤智能科技有限公司 图像识别方法、识别模型的训练方法及相关装置、设备
CN112132197A (zh) * 2020-09-15 2020-12-25 腾讯科技（深圳）有限公司 模型训练、图像处理方法、装置、计算机设备和存储介质
CN112132206A (zh) * 2020-09-18 2020-12-25 青岛商汤科技有限公司 图像识别方法及相关模型的训练方法及相关装置、设备
CN112419327A (zh) * 2020-12-10 2021-02-26 复旦大学附属肿瘤医院 一种基于生成对抗网络的图像分割方法、系统和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022257410A1 (zh) * 2021-06-08 2022-12-15 青岛商汤科技有限公司 图像分割和分类方法及其模型训练方法、相关装置及介质
WO2023092959A1 (zh) * 2021-11-23 2023-06-01 上海商汤智能科技有限公司 图像分割方法及其模型的训练方法及相关装置、电子设备

Also Published As

Publication number Publication date
CN113313697B (zh) 2023-04-07
WO2022257410A1 (zh) 2022-12-15

Similar Documents

Publication Publication Date Title
CN113313697B (zh) 图像分割和分类方法及其模型训练方法、相关装置及介质
CN112163634B (zh) 实例分割模型样本筛选方法、装置、计算机设备及介质
US10496884B1 (en) Transformation of textbook information
US11748877B2 (en) System and method associated with predicting segmentation quality of objects in analysis of copious image data
WO2019200747A1 (zh) 分割股骨近端的方法、装置、计算机设备和存储介质
US10121245B2 (en) Identification of inflammation in tissue images
US20230368389A1 (en) Deep interactive learning for image segmentation models
CN111931811B (zh) 一种基于超像素图像相似度的计算方法
CN110245657B (zh) 病理图像相似性检测方法及检测装置
CN108629772B (zh) 图像处理方法及装置、计算机设备和计算机存储介质
CN104685540B (zh) 图像语义分割的方法和装置
CN110660478A (zh) 一种基于迁移学习的癌症图像预测判别方法和系统
CN112232407B (zh) 病理图像样本的神经网络模型训练方法、装置
WO2020223798A1 (en) Image diagnostic system, and methods of operating thereof
CN113378796B (zh) 一种基于上下文建模的宫颈细胞全切片分类方法
US20130226548A1 (en) Systems and methods for analysis to build predictive models from microscopic cancer images
CN113065609B (zh) 图像分类方法、装置、电子设备及可读存储介质
CN110827291A (zh) 一种用于自动化脑mri定量分析的方法和装置
EP4239589A1 (en) Ai-assisted generation of annotated medical images
CN111459050B (zh) 一种基于双网互联的智慧仿真型护理教学系统及教学方法
CN113223017A (zh) 目标分割模型的训练方法、目标分割方法及设备
CN112927203A (zh) 基于多序列mri全局信息的胶质瘤患者术后生存期预测方法
CN112241945A (zh) 深度学习算法和硬件整体优的数字病理图像智能分析方法
Fernandez-Martín et al. Uninformed Teacher-Student for hard-samples distillation in weakly supervised mitosis localization
US20240177301A1 (en) System and Method Associated with Predicting Segmentation Quality of Objects in Analysis of Copious Image Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40051702

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant