CN114708286B - 基于伪标注动态更新的细胞实例分割方法和装置 - Google Patents
基于伪标注动态更新的细胞实例分割方法和装置 Download PDFInfo
- Publication number
- CN114708286B CN114708286B CN202210627019.3A CN202210627019A CN114708286B CN 114708286 B CN114708286 B CN 114708286B CN 202210627019 A CN202210627019 A CN 202210627019A CN 114708286 B CN114708286 B CN 114708286B
- Authority
- CN
- China
- Prior art keywords
- cell
- segmentation
- student
- model
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 496
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 107
- 238000012795 verification Methods 0.000 claims abstract description 94
- 238000002372 labelling Methods 0.000 claims description 101
- 230000004927 fusion Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 230000004584 weight gain Effects 0.000 claims description 10
- 235000019786 weight gain Nutrition 0.000 claims description 10
- 238000010200 validation analysis Methods 0.000 claims description 8
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 7
- 238000013136 deep learning model Methods 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000032823 cell division Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011528 liquid biopsy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于伪标注动态更新的细胞实例分割方法和装置，其中方法包括：基于已标注细胞图像和所述未标注细胞图像及其伪标注，对学生分割模型进行训练；在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度；若当前学生分割模型的预测精度大于最佳模型，则基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注。本发明可以提高伪标注更新的可靠性，从而稳步提升未标注细胞图像的伪标注的准确性，保障学生分割模型后续训练的可靠性，进而提高细胞实例分割的准确性。
Description
技术领域
本发明涉及图像分割技术领域，尤其涉及一种基于伪标注动态更新的细胞实例分割方法和装置。
背景技术
在液态活检的技术流程当中，获取循环异常细胞环境下的完整分割是一个非常重要的步骤，因为精准和完整的细胞分割对下游的信号点检测有着非常大帮助。
现有深度学习的实例分割模型可以较好地对循环异常细胞进行细胞分割。然而，训练一个实例分割模型需要大量的细胞数据，而且由于需要对每个细胞对象都进行像素级别的标注，因此实例分割的标注成本非常高。因此，在保证实例分割模型的分割效果的同时，还需要尽可能降低实例分割模型训练过程中的标注成本，以提高模型构建的效率、降低模型构建的难度。
目前业界存在一些降低深度学习模型标注成本的方式，包括弱监督方式、半监督方式等。其中，半监督方式能利用有限的标注数据和大量的未标注数据来训练深度学习模型，大幅度降低深度学习模型的标注成本。然而，现有的半监督方式中，由于需要利用未标注数据的伪标注指导模型学习，因此深度学习模型的训练效果极易受到伪标注准确性的影响，故深度学习模型的训练效果得不到保证，难以满足细胞图像分割场景下对于分割准确度的需求。
此外，部分工作会在利用未标注数据对深度学习模型进行训练的过程中，随着模型参数的更新也迭代更新未标注数据的伪标注。然而，发明人发现，此类工作中均是在固定时机（例如一次迭代后）对未标注数据的伪标注进行更新，一旦在该固定时机模型的训练效果不佳，此时贸然更新未标注数据的伪标注反而可能导致伪标注准确性降低，从而降低了模型的训练效果。因此，如何动态更新伪标注以逐步提升伪标注准确性，从而保证模型训练过程中所使用的伪标注的准确性，将是半监督方式下提升模型训练效果的关键所在。
发明内容
本发明提供一种基于伪标注动态更新的细胞实例分割方法和装置，用以解决现有技术中标注成本过高以及模型训练效果欠佳的缺陷。
本发明提供一种基于伪标注动态更新的细胞实例分割方法，包括：
基于已标注细胞图像，训练得到教师分割模型，并基于所述教师分割模型对未标注细胞图像进行分割，得到所述未标注细胞图像的伪标注；
基于已标注细胞图像和所述未标注细胞图像及其伪标注，对学生分割模型进行训练；其中，在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度；若当前学生分割模型的预测精度大于最佳模型，则基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注；
基于训练好的学生分割模型，对待分割细胞图像进行实例分割，得到所述待分割细胞图像的分割结果。
根据本发明提供的一种伪标注动态更新的细胞实例分割方法，所述基于验证集确定当前学生分割模型的预测精度，具体包括：
基于验证集确定当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，并基于所述细胞整体分割精度、细胞边缘分割精度和对应权重确定当前学生分割模型的预测精度。
根据本发明提供的一种伪标注动态更新的细胞实例分割方法，所述基于验证集确定当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，具体包括：
基于当前学生分割模型对所述验证集中的各个验证图像进行实例分割，得到所述各个验证图像的分割结果；
基于所述各个验证图像的分割结果和标注结果，确定细胞命中数量、假阳细胞数量和细胞遗漏数量，并基于所述细胞命中数量、所述假阳细胞数量和所述细胞遗漏数量，确定所述细胞整体分割精度；
基于所述各个验证图像的分割结果和标注结果，确定边缘命中数量、假阳边缘数量和边缘遗漏数量，并基于所述边缘命中数量、所述假阳边缘数量和所述边缘遗漏数量，确定所述细胞边缘分割精度。
根据本发明提供的一种伪标注动态更新的细胞实例分割方法，所述边缘命中数量、假阳边缘数量和边缘遗漏数量是基于预测细胞边缘与真实细胞边缘之间的匹配结果确定的；
所述预测细胞边缘与真实细胞边缘之间的匹配结果是基于如下步骤确定的：
基于所述各个验证图像的分割结果和标注结果，确定各个细胞的标签边缘区域以及预测边缘区域；所述标签边缘区域为与标注出的真实细胞边缘相距预设距离的区域，所述预测边缘区域为与分割出的预测细胞边缘相距预设距离的区域；
基于所述各个验证图像中各个细胞的标签边缘区域和预测边缘区域，确定所述预测细胞边缘与真实细胞边缘之间的匹配结果。
根据本发明提供的一种伪标注动态更新的细胞实例分割方法，所述基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注，之后还包括：
增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重。
根据本发明提供的一种伪标注动态更新的细胞实例分割方法，所述增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重，具体包括：
确定当前学生分割模型的预测精度与更新前的最佳模型的预测精度之间的精度差异；
基于所述精度差异，确定所述未标注细胞图像中各个像素的预测损失的权重增长值；其中，所述精度差异越大，所述权重增长值也越大；
基于所述权重增长值，增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重。
根据本发明提供的一种伪标注动态更新的细胞实例分割方法，所述学生分割模型包含结构不同的第一学生子模型和第二学生子模型以及融合层；所述未标注细胞图像的伪标注包括各个细胞的细胞标注掩膜；
所述基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注，具体包括：
基于所述更新后的最佳模型中的所述第一学生子模型和所述第二学生子模型，对所述未标注细胞图像进行实例分割，得到所述未标注细胞图像的第一分割结果和第二分割结果；所述第一分割结果和所述第二分割结果中均包含分割得到的细胞预测掩膜及其对应区域的细胞预测概率；
将所述第一分割结果中任一区域的细胞预测概率与所述第二分割结果中同一区域的细胞预测概率融合，得到所述任一区域的更新预测概率；
若所述任一区域的更新预测概率低于预设阈值，则从所述未标注细胞图像的伪标注中将所述任一区域对应的细胞标注掩膜删除；
否则，将所述第一分割结果中所述任一区域对应的细胞预测掩膜与所述第二分割结果中同一区域对应的细胞预测掩膜融合，得到所述任一区域对应的更新预测掩膜，并将所述任一区域对应的更新预测掩膜作为所述未标注细胞图像的伪标注中所述任一区域对应的细胞标注掩膜。
根据本发明提供的一种伪标注动态更新的细胞实例分割方法，所述在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度，具体包括：
分别基于所述第一学生子模型和所述第二学生子模型对所述验证集中的验证图像进行实例分割，得到所述验证图像的第一分割结果和第二分割结果；
基于所述融合层，将所述验证图像的第一分割结果和第二分割结果进行融合，得到所述验证图像的分割结果；
基于所述验证集中各个验证图像的分割结果，确定所述学生分割模型的预测精度。
本发明还提供一种伪标注动态更新的细胞实例分割装置，包括：
伪标注预测单元，用于基于已标注细胞图像，训练得到教师分割模型，并基于所述教师分割模型对未标注细胞图像进行分割，得到所述未标注细胞图像的伪标注；
学生模型训练单元，用于基于已标注细胞图像和所述未标注细胞图像及其伪标注，对学生分割模型进行训练；其中，在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度；若当前学生分割模型的预测精度大于最佳模型，则基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注；
实例分割单元，用于基于训练好的学生分割模型，对待分割细胞图像进行实例分割，得到所述待分割细胞图像的分割结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述伪标注动态更新的细胞实例分割方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述伪标注动态更新的细胞实例分割方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述伪标注动态更新的细胞实例分割方法的步骤。
本发明提供的基于伪标注动态更新的细胞实例分割方法和装置，通过基于已标注细胞图像训练的教师分割模型对未标注细胞图像进行分割，得到未标注细胞图像的伪标注，作为学生分割模型的训练样本，可以有效减轻细胞实例分割任务中的标注成本，在学生分割模型当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度，在当前学生分割模型的预测精度大于最佳模型时更新未标注细胞图像的伪标注，可以提高伪标注更新的可靠性，从而稳步提升未标注细胞图像的伪标注的准确性，保障学生分割模型后续训练的可靠性，进而提高细胞实例分割的准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于伪标注动态更新的细胞实例分割方法的流程示意图；
图2是本发明提供的置信度统计的示意图；
图3是本发明提供的学生分割模型训练方法的示意图；
图4是本发明提供的数据增强方法的效果图；
图5是本发明提供的基于多模型融合的学生分割模型训练方法的示意图；
图6是本发明提供的基于伪标注动态更新的细胞实例分割装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的基于伪标注动态更新的细胞实例分割方法的流程示意图，如图1所示，该方法包括：
步骤110，基于已标注细胞图像，训练得到教师分割模型，并基于所述教师分割模型对未标注细胞图像进行分割，得到所述未标注细胞图像的伪标注。
此处，可以对样本细胞图像进行人工标注，标注出其中每个像素的类型（细胞像素或背景像素），生成样本细胞图像中各个细胞的掩膜，得到已标注细胞图像。随后，利用已标注细胞图像对实例分割模型（例如MaskRCNN模型）进行有监督训练，得到教师分割模型。利用该教师分割模型，对大量的未标注细胞图像（即没有经过人工标注的样本细胞图像）进行实例分割，得到未标注细胞图像的伪标注。其中，未标注细胞图像的伪标注包括模型预测的该图像中各个细胞的细胞掩膜，此外还可以包括该图像中各个细胞的外接包围框。此处，具体是否需要生成细胞的外接包围框可以根据后续学生分割模型采用的网络架构决定，例如，若学生分割模型采用MaskRCNN架构，则伪标注中需要包含细胞的外接包围框，若学生分割模型是基于Unet架构的网络，则伪标注中可以不包含细胞的外接包围框。
另外，为了提高伪标注的准确性，在教师分割模型对部分未标注细胞图像进行实例分割后，如图2所示，可以统计模型输出的分割结果的置信度，并根据统计的置信度，利用肘部法则设置过滤阈值，例如0.95。随后，基于教师分割模型再对大量未标注细胞图像进行实例分割，并根据该过滤阈值对模型输出的分割结果进行过滤，保留置信度高于过滤阈值的分割结果，作为对应未标注细胞图像的伪标注。
普通的实例分割模型在训练时，通常采用基于mask的损失函数。然而，不精准的mask不利于基于mask的损失函数的收敛，且由于教师分割模型需要对细胞边缘进行分割，因此为了提高教师分割模型的细胞边缘分割精度，从而提高伪标注中细胞掩膜的精度，在训练教师分割模型时，其采用的损失函数在基于mask的损失函数基础上增加了boundaryloss，以增强模型对mask边缘的预测。
步骤120，基于已标注细胞图像和所述未标注细胞图像及其伪标注，对学生分割模型进行训练；其中，在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度；若当前学生分割模型的预测精度大于最佳模型，则基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注。
此处，如图3所示，利用已标注细胞图像和上述步骤得到的未标注细胞图像及其伪标注，对学生分割模型进行训练。其中，学生分割模型的网络结构与教师分割模型的网络结构可以相同也可以不同，本发明实施例对此不作具体限定。其中，由于随着模型的训练，模型的性能效果会慢慢逼近伪标注所对应的性能最高点，如果没有及时更新伪标注以提升伪标注的准确性，反而会限制模型的性能效果，无法带来突破。因此，在学生分割模型的训练过程中，可以选取合适时机对未标注细胞图像的伪标注进行动态更新。具体而言，在当前轮训练（即一个epoch）结束后，可以基于验证集确定当前学生分割模型的预测精度。
若当前学生分割模型的预测精度大于当前保存的最佳模型的预测精度，表明通过这一轮训练，当前学生分割模型的训练效果有所提升，其分割准确性更佳。因此，可以基于当前学生分割模型更新最佳模型，即将当前学生分割模型作为新的最佳模型进行保存，再基于更新后的最佳模型更新上述未标注细胞图像的伪标注，以提升伪标注的准确性。可见，通过上述方式准确评估学生分割模型的训练效果，在其训练效果有明确提升时，再利用该明确提升的模型对未标注细胞图像的伪标注进行更新，可以提高伪标注更新的可靠性，从而稳步提升未标注细胞图像的伪标注的准确性，进而保障学生分割模型后续训练的可靠性。
此外，未标注细胞图像的伪标注中可能含有较多高置信度的噪声，因此可以对未标注细胞图像采用强数据增强方法，例如resize、垂直反转、高斯噪声、亮度变化、旋转、亮度噪声、饱和度变化以及copypaste，丰富未标注细胞图像中的信息，避免模型过拟合伪标注中的噪声。而对于已标注细胞图像，可以采用常规的数据增强方法，例如resize和随机翻转。其中，强数据增强方法的效果如图4所示，其中左图为原始图像，右图为强数据增强后的图像（二者并非完全对应，仅为示意）。
步骤130，基于训练好的学生分割模型，对待分割细胞图像进行实例分割，得到所述待分割细胞图像的分割结果。
此处，获取需要进行实例分割的待分割细胞图像，并将该待分割细胞图像输入至学生分割模型中进行实例分割，得到学生分割模型输出的待分割细胞图像的分割结果。其中，待分割细胞图像的分割结果可以包含该图像中每一像素的类型，或是包含该图像中各个细胞的细胞掩膜，分割结果的具体形式可以根据应用场景中的实际需求设定，本发明实施例对此不作具体限定。
本发明实施例提供的方法，通过基于已标注细胞图像训练的教师分割模型对未标注细胞图像进行分割，得到未标注细胞图像的伪标注，作为学生分割模型的训练样本，可以有效减轻细胞实例分割任务中的标注成本，在学生分割模型当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度，在当前学生分割模型的预测精度大于最佳模型时更新未标注细胞图像的伪标注，可以提高伪标注更新的可靠性，从而稳步提升未标注细胞图像的伪标注的准确性，保障学生分割模型后续训练的可靠性，进而提高细胞实例分割的准确性。
基于上述实施例，所述基于验证集确定当前学生分割模型的预测精度，具体包括：
基于验证集确定当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，并基于所述细胞整体分割精度、细胞边缘分割精度和对应权重确定当前学生分割模型的预测精度。
具体地，可以基于验证集确定当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，再基于上述细胞整体分割精度、细胞边缘分割精度和两类精度分别对应权重确定当前学生分割模型的预测精度，以精确评估当前学生分割模型的训练效果，从而确定更准确的伪标注更新时机。其中，在计算预测精度时，细胞整体分割精度和细胞边缘分割精度对应的权重可以相同也可以不同。为了引导学生分割模型更关注细胞边缘的分割，以提升细胞实例分割的边缘分割精度，可以将细胞边缘分割精度的权重设定得高于细胞整体分割精度的权重。此处，可以采用如下公式计算当前学生分割模型的预测精度AP：
AP = w1*mask AP+w2*boundary AP
其中，mask AP为细胞整体分割精度，boundary AP为细胞边缘分割精度，w1和w2分别为细胞整体分割精度和细胞边缘分割精度的权重，示例性地，w1可以设置为0.5，w2可以设置为1。
此处，通过确定当前学生分割模型的细胞整体分割精度，可以量化该模型对于细胞整体的分割准确性，即区分细胞区域和非细胞区域的能力。然而，在确定细胞整体分割精度时，其结果易受到细胞尺寸以及图像噪声等干扰，单一的细胞整体分割精度难以准确反映模型的分割效果。此外，对于细胞分割任务而言，尤其是循环异常细胞等特殊细胞的分割任务，对于细胞边缘的分割精度要求较高。因此，在评估模型训练效果时，还引入了细胞边缘分割精度，以量化该模型对于细胞边缘的分割准确性，从而全面且精准地评估模型当前的训练效果。
基于上述任一实施例，所述基于验证集确定当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，具体包括：
基于当前学生分割模型对所述验证集中的各个验证图像进行实例分割，得到所述各个验证图像的分割结果；
基于所述各个验证图像的分割结果和标注结果，确定细胞命中数量、假阳细胞数量和细胞遗漏数量，并基于所述细胞命中数量、所述假阳细胞数量和所述细胞遗漏数量，确定所述细胞整体分割精度；
基于所述各个验证图像的分割结果和标注结果，确定边缘命中数量、假阳边缘数量和边缘遗漏数量，并基于所述边缘命中数量、所述假阳边缘数量和所述边缘遗漏数量，确定所述细胞边缘分割精度。
具体地，学生分割模型训练效果的评估准确性直接影响着伪标注更新的可靠性，评估准确性越高，选取的伪标注更新时机越恰当，因此伪标注更新的可靠性越高。因此，需要加强学生分割模型训练效果评估的准确性，以提升未标注细胞图像伪标注的准确性。
对此，可以基于当前学生分割模型对验证集中的各个验证图像进行实例分割，得到各个验证图像的分割结果。随后，一方面，可以基于各个验证图像的分割结果和标注结果，确定细胞命中数量、假阳细胞数量和细胞遗漏数量。其中，细胞命中数量是指分割结果中能够与标注结果中标注得到的真实细胞相匹配的细胞数量；假阳细胞数量是指分割结果中与标注结果中标注得到的所有真实细胞均不匹配的细胞数量；细胞遗漏数量是指标注结果中与分割结果中分割得到的所有细胞均不匹配的真实细胞数量。细胞之间是否匹配，可以采用IoU方式确定，即求取两个细胞对应区域的交并比，交并比的公式如下所示：
若交并比大于预设阈值（例如0.5）则表示两个细胞相匹配，否则两个细胞不匹配。
基于细胞命中数量、假阳细胞数量和细胞遗漏数量，可以确定细胞整体分割精度。此处，可以采用如下公式计算细胞整体分割精度：
其中，mask AP为细胞整体分割精度，TP为细胞命中数量，FP为假阳细胞数量，FN为细胞遗漏数量。
另一方面，还可以基于各个验证图像的分割结果和标注结果，确定边缘命中数量、假阳边缘数量和边缘遗漏数量。其中，边缘命中数量是指分割结果中边缘部分能够与标注结果中标注得到的真实细胞的边缘部分相匹配的细胞数量；假阳边缘数量是指分割结果中边缘部分与标注结果中标注得到的所有真实细胞的边缘部分均不匹配的细胞数量；细胞遗漏数量是指标注结果中边缘部分与分割结果中分割得到的所有细胞的边缘部分均不匹配的真实细胞数量。
随后，基于边缘命中数量、假阳边缘数量和边缘遗漏数量，可以确定细胞边缘分割精度。其中，细胞边缘分割精度的计算方式与细胞整体分割精度的计算方式类似，在此不再赘述。
需要说明的是，本发明实施例不对细胞整体分割精度的确定步骤与细胞边缘分割精度的确定步骤的执行顺序作任何限定，二者可以以任何顺序先后执行或是同时执行。
通过上述方式确定细胞整体分割精度和细胞边缘分割精度，可以兼顾细胞整体区域、细胞边缘区域，以及假阳检测、细胞遗漏等细胞分割任务中容易出现的错误类型，从而提高了学生分割模型训练效果评估的准确性，进而提高了伪标注更新的可靠性。
基于上述任一实施例，所述边缘命中数量、假阳边缘数量和边缘遗漏数量是基于预测细胞边缘与真实细胞边缘之间的匹配结果确定的；
所述预测细胞边缘与真实细胞边缘之间的匹配结果是基于如下步骤确定的：
基于所述各个验证图像的分割结果和标注结果，确定各个细胞的标签边缘区域以及预测边缘区域；所述标签边缘区域为与标注出的真实细胞边缘相距预设距离的区域，所述预测边缘区域为与分割出的预测细胞边缘相距预设距离的区域；
基于所述各个验证图像中各个细胞的标签边缘区域和预测边缘区域，确定所述预测细胞边缘与真实细胞边缘之间的匹配结果。
具体地，在计算边缘命中数量、假阳边缘数量和边缘遗漏数量时，需要判断两个细胞的边缘部分是否相匹配，即需要确定预测细胞边缘与真实细胞边缘之间的匹配结果。其中，预测细胞边缘是分割结果中细胞的边缘部分，真实细胞边缘是标注结果中真实细胞的边缘部分。
此处，可以基于各个验证图像的分割结果和标注结果，确定各个细胞的标签边缘区域以及预测边缘区域，再基于各个验证图像中各个细胞的标签边缘区域和预测边缘区域，确定预测细胞边缘与真实细胞边缘之间的匹配结果。其中，标签边缘区域为与标注出的真实细胞边缘相距预设距离的区域；预测边缘区域为与分割出的预测细胞边缘相距预设距离的区域。通过获取同一细胞在标注结果中的标签边缘区域及其在分割结果中的预测边缘区域，并通过交并比的方式确定预测细胞边缘与真实细胞边缘之间的匹配结果。此处，预测细胞边缘与真实细胞边缘之间的匹配度可以采用如下公式计算得到：
其中，
为预测细胞边缘与真实细胞边缘之间的匹配度；G指代标注结果中任一细胞的掩膜，P指代分割结果中该细胞的掩膜，Gd指代标签边缘区域，Pd指代预测边缘区域。
若预测细胞边缘与真实细胞边缘之间的匹配度大于预设阈值，则表明预测细胞边缘与真实细胞边缘之间相匹配，否则预测细胞边缘与真实细胞边缘之间不匹配。
基于上述任一实施例，所述基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注，之后还包括：
增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重。
具体地，当当前学生分割模型的训练效果有明确提升时更新未标注细胞图像的伪标注，提升了未标注细胞图像伪标注的准确性，因此其可以为模型提供更准确的训练方向。正由于未标注细胞图像的伪标注的准确性有所提升，因此在学生分割模型下一轮的训练过程中，可以增大未标注细胞图像中各个像素的预测损失在计算整体分割损失时的权重，以加强未标注细胞图像的伪标注在训练过程中对于模型训练方向的影响，进一步提升模型的训练效果。
需要说明的是，在学生分割模型开始训练时，虽然未标注细胞图像的伪标注的准确性不是很高，但仍将未标注细胞图像中各个像素的预测损失在计算整体分割损失时的权重设置为与已标注细胞图像的对应权重相等。原因在于，虽然标注细胞图像的伪标注的准确性不是很高，但是一方面较强的数据增强处理可以避免模型过拟合伪标注中的噪声，另一方面未标注细胞图像的数据量远大于已标注细胞图像（一般10倍以上），通过将未标注细胞图像中各个像素的预测损失在计算整体分割损失时的权重设置为与已标注细胞图像的对应权重相等，可以让模型更多地关注未标注细胞图像，避免模型过拟合少部分已标注细胞图像。
基于上述任一实施例，所述增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重，具体包括：
确定当前学生分割模型的预测精度与更新前的最佳模型的预测精度之间的精度差异；
基于所述精度差异，确定所述未标注细胞图像中各个像素的预测损失的权重增长值；其中，所述精度差异越大，所述权重增长值也越大；
基于所述权重增长值，增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重。
具体地，在增大未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重时，权重的增加幅度将是影响模型后续训练效果的关键之一。若权重的增加幅度过大，可能导致伪标注中当前存在的较多错误标注对模型训练产生过大的负面影响，从而阻碍模型学习。
对此，可以确定当前学生分割模型的预测精度与更新前的最佳模型的预测精度之间的精度差异，并基于该精度差异，确定未标注细胞图像中各个像素的预测损失的权重增长值。需要说明的是，各个未标注细胞图像中各个像素的预测损失的权重增长值相同，例如都增加0.2。其中，精度差异越大，表明当前学生分割模型的性能提升越明显，利用当前学生分割模型更新后的未标注细胞图像的伪标注的准确性更高、错误标注更少。因此，可以将权重增长值设置得越大，以快速提高未标注细胞图像的伪标注在下一轮训练中的影响，在提升模型后续训练效果的同时加快模型训练效率。反之，精度差异越小，表明当前学生分割模型的性能提升越微弱，利用当前学生分割模型更新后的伪标注中错误标注难以明显降低。因此，可以将权重增长值设置得更小，以避免未标注细胞图像的伪标注中的错误标注在下一轮训练中产生过大负面影响。
随后，根据上述确定的权重增长值，增大未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重，以开启学生分割模型的下一轮训练。
基于上述任一实施例，所述学生分割模型包含结构不同的第一学生子模型和第二学生子模型以及融合层；所述未标注细胞图像的伪标注包括各个细胞的细胞标注掩膜；
所述基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注，具体包括：
基于所述更新后的最佳模型中的所述第一学生子模型和所述第二学生子模型，对所述未标注细胞图像进行实例分割，得到所述未标注细胞图像的第一分割结果和第二分割结果；所述第一分割结果和所述第二分割结果中均包含分割得到的细胞预测掩膜及其对应区域的细胞预测概率；
将所述第一分割结果中任一区域的细胞预测概率与所述第二分割结果中同一区域的细胞预测概率融合，得到所述任一区域的更新预测概率；
若所述任一区域的更新预测概率低于预设阈值，则从所述未标注细胞图像的伪标注中将所述任一区域对应的细胞标注掩膜删除；
否则，将所述第一分割结果中所述任一区域对应的细胞预测掩膜与所述第二分割结果中同一区域对应的细胞预测掩膜融合，得到所述任一区域对应的更新预测掩膜，并将所述任一区域对应的更新预测掩膜作为所述未标注细胞图像的伪标注中所述任一区域对应的细胞标注掩膜。
具体地，由于伪标注中容易存在错误标注，而这些错误标注若为高置信度，则容易在后续的半监督训练中得以累计，导致模型更加确信自己的错误预测，从而朝向错误的方向学习，较大程度降低了模型的训练效果。因此，为了纠正伪标注中高置信度的错误标注，以提升伪标注的准确性，可以采用多模型融合的方式进行伪标注的更新。
具体而言，如图5所示，学生分割模型可以包含结构不同的第一学生子模型和第二学生子模型以及融合层，以融合第一学生子模型和第二学生子模型针对未标注细胞图像的预测结果，两种预测结果相互印证，从而可以得到置信度更高的预测结果，提升伪标注更新的可靠性。其中，第一学生子模型和第二学生子模型为两个结构不同的实例分割模型，原因在于在学生分割模型的训练过程中，第一学生子模型和第二学生子模型所使用的训练样本是相同的，若二者的模型结构相同，会导致两个模型的预测结果趋同，难以达到两个模型相互印证的效果，对于伪标注准确性的提升效果也将不明显。
需要说明的是，当学生分割模型训练完毕后，实际使用时，可以利用整个学生分割模型或是其中的子模型进行细胞实例分割，选用某个子模型进行实例分割时，可以采用第一学生子模型和第二学生子模型中性能更好的子模型，本发明实施例对此不作具体限定。另外，为了与学生分割模型相一致，教师分割模型也可以包含第一教师子模型和第二教师子模型以及融合层，利用第一教师子模型和第二教师子模型分别对未标注细胞图像进行分割，并将两个子模型的输出结果进行融合，得到未标注细胞图像最初始的伪标注。
未标注细胞图像的伪标注包括对应图像中各个细胞的细胞标注掩膜。为了更可靠地更新伪标注以提升伪标注的准确性，可以在确认当前学生分割模型的性能有明确提升时，利用当前学生分割模型中的第一学生子模型和第二学生子模型，对未标注细胞图像进行实例分割，得到该未标注细胞图像的第一分割结果和第二分割结果。其中，第一分割结果和第二分割结果中均包含分割得到的细胞预测掩膜及其对应区域的细胞预测概率。此处，细胞预测掩膜为对应模型预测得到的细胞掩膜，细胞预测概率为对应模型计算的细胞预测掩膜对应区域为细胞区域的概率，细胞预测概率越高，对应模型越确信对应区域为细胞区域。
随后，将第一分割结果中任一区域的细胞预测概率与第二分割结果中同一区域的细胞预测概率融合，得到该区域的更新预测概率。其中，第二分割结果中任一细胞预测掩膜对应的区域与第一分割结果中任一细胞预测掩膜对应的区域之间的重合程度超过预设阈值，则可以认为两个区域是同一区域。此处，若第一分割结果或第二分割结果中该区域的细胞预测概率较低，融合之后，将会拉低该区域的更新预测概率；若第一分割结果和第二分割结果中该区域的细胞预测概率均较高，则该区域的更新预测概率也会维持在一个较高值。
通过判断该区域的更新预测概率是否低于预设阈值，可以确定该区域是否真的是细胞区域。若该区域的更新预测概率低于预设阈值，即第一学生子模型和第二学生子模型中至少有一个子模型不确定该区域是否为细胞区域，故可以认为该区域为假阳区域，因此从该未标注细胞图像的伪标注中将该区域对应的细胞标注掩膜删除，从而纠正伪标注中的错误标注。
否则，将第一分割结果中该区域对应的细胞预测掩膜与第二分割结果中同一区域对应的细胞预测掩膜融合，得到该区域对应的更新预测掩膜，并将该区域对应的更新预测掩膜作为该未标注细胞图像的伪标注中该区域对应的细胞标注掩膜，实现伪标注的更新。
整个伪标注的更新过程可以如下式所示：
其中，
为未标注细胞图像；
和
分别代表第一学生子模型和第二学生子模型；
表示第一学生子模型输出的细胞预测概率、细胞包围框和细胞预测掩膜，
表示第二学生子模型输出的细胞预测概率、外接包围框和细胞预测掩膜，其中，外接包围框可以根据模型结构选择是否输出；
其中，
为更新预测概率；
若更新预测概率大于预设阈值，则采用下式进行伪标注更新：
其中，
为更新预测掩膜。
在此基础上，若模型结构决定了训练过程中需要使用外接包围框，也可以基于上述更新预测掩膜生成对应的外接包围框，并据此更新伪标注。
基于上述任一实施例，所述在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度，具体包括：
分别基于所述第一学生子模型和所述第二学生子模型对所述验证集中的验证图像进行实例分割，得到所述验证图像的第一分割结果和第二分割结果；
基于所述融合层，将所述验证图像的第一分割结果和第二分割结果进行融合，得到所述验证图像的分割结果；
基于所述验证集中各个验证图像的分割结果，确定所述学生分割模型的预测精度。
具体地，在确认伪标注动态更新的时机时，需要确定当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，并基于细胞整体分割精度、细胞边缘分割精度和对应权重确定当前学生分割模型的预测精度。对于上述多模型融合结构的学生分割模型，可以分别基于第一学生子模型和第二学生子模型对验证集中的验证图像进行实例分割，得到验证图像的第一分割结果和第二分割结果。随后，基于融合层，将验证图像的第一分割结果和第二分割结果进行融合，得到该验证图像更高置信度的分割结果。
随后，基于验证集中各个验证图像的分割结果，采用如上述实施例中给出的方式确定学生分割模型的预测精度。例如，获取当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，并基于细胞整体分割精度、细胞边缘分割精度和对应权重确定当前学生分割模型的预测精度。
基于上述任一实施例，图6为本发明实施例提供的基于伪标注动态更新的细胞实例分割装置的结构示意图，如图6所示，该装置包括：伪标注预测单元610、学生模型训练单元620和实例分割单元630。
其中，伪标注预测单元610用于基于已标注细胞图像，训练得到教师分割模型，并基于所述教师分割模型对未标注细胞图像进行分割，得到所述未标注细胞图像的伪标注；
学生模型训练单元620用于基于已标注细胞图像和所述未标注细胞图像及其伪标注，对学生分割模型进行训练；其中，在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度；若当前学生分割模型的预测精度大于最佳模型，则基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注；
实例分割单元630用于基于训练好的学生分割模型，对待分割细胞图像进行实例分割，得到所述待分割细胞图像的分割结果。
本发明实施例提供的装置，通过基于已标注细胞图像训练的教师分割模型对未标注细胞图像进行分割，得到未标注细胞图像的伪标注，作为学生分割模型的训练样本，可以有效减轻细胞实例分割任务中的标注成本，在学生分割模型当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度，在当前学生分割模型的预测精度大于最佳模型时更新未标注细胞图像的伪标注，可以提高伪标注更新的可靠性，从而稳步提升未标注细胞图像的伪标注的准确性，保障学生分割模型后续训练的可靠性，进而提高细胞实例分割的准确性。
基于上述任一实施例，所述基于验证集确定当前学生分割模型的预测精度，具体包括：
基于验证集确定当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，并基于所述细胞整体分割精度、细胞边缘分割精度和对应权重确定当前学生分割模型的预测精度。
基于上述任一实施例，所述基于验证集确定当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，具体包括：
基于当前学生分割模型对所述验证集中的各个验证图像进行实例分割，得到所述各个验证图像的分割结果；
基于所述各个验证图像的分割结果和标注结果，确定细胞命中数量、假阳细胞数量和细胞遗漏数量，并基于所述细胞命中数量、所述假阳细胞数量和所述细胞遗漏数量，确定所述细胞整体分割精度；
基于所述各个验证图像的分割结果和标注结果，确定边缘命中数量、假阳边缘数量和边缘遗漏数量，并基于所述边缘命中数量、所述假阳边缘数量和所述边缘遗漏数量，确定所述细胞边缘分割精度。
基于上述任一实施例，所述边缘命中数量、假阳边缘数量和边缘遗漏数量是基于预测细胞边缘与真实细胞边缘之间的匹配结果确定的；
所述预测细胞边缘与真实细胞边缘之间的匹配结果是基于如下步骤确定的：
基于所述各个验证图像的分割结果和标注结果，确定各个细胞的标签边缘区域以及预测边缘区域；所述标签边缘区域为与标注出的真实细胞边缘相距预设距离的区域，所述预测边缘区域为与分割出的预测细胞边缘相距预设距离的区域；
基于所述各个验证图像中各个细胞的标签边缘区域和预测边缘区域，确定所述预测细胞边缘与真实细胞边缘之间的匹配结果。
基于上述任一实施例，所述基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注，之后还包括：
增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重。
基于上述任一实施例，所述增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重，具体包括：
确定当前学生分割模型的预测精度与更新前的最佳模型的预测精度之间的精度差异；
基于所述精度差异，确定所述未标注细胞图像中各个像素的预测损失的权重增长值；其中，所述精度差异越大，所述权重增长值也越大；
基于所述权重增长值，增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重。
基于上述任一实施例，所述学生分割模型包含结构不同的第一学生子模型和第二学生子模型以及融合层；所述未标注细胞图像的伪标注包括各个细胞的细胞标注掩膜；
所述基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注，具体包括：
基于所述更新后的最佳模型中的所述第一学生子模型和所述第二学生子模型，对所述未标注细胞图像进行实例分割，得到所述未标注细胞图像的第一分割结果和第二分割结果；所述第一分割结果和所述第二分割结果中均包含分割得到的细胞预测掩膜及其对应区域的细胞预测概率；
将所述第一分割结果中任一区域的细胞预测概率与所述第二分割结果中同一区域的细胞预测概率融合，得到所述任一区域的更新预测概率；
若所述任一区域的更新预测概率低于预设阈值，则从所述未标注细胞图像的伪标注中将所述任一区域对应的细胞标注掩膜删除；
否则，将所述第一分割结果中所述任一区域对应的细胞预测掩膜与所述第二分割结果中同一区域对应的细胞预测掩膜融合，得到所述任一区域对应的更新预测掩膜，并将所述任一区域对应的更新预测掩膜作为所述未标注细胞图像的伪标注中所述任一区域对应的细胞标注掩膜。
基于上述任一实施例，所述在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度，具体包括：
分别基于所述第一学生子模型和所述第二学生子模型对所述验证集中的验证图像进行实例分割，得到所述验证图像的第一分割结果和第二分割结果；
基于所述融合层，将所述验证图像的第一分割结果和第二分割结果进行融合，得到所述验证图像的分割结果；
基于所述验证集中各个验证图像的分割结果，确定所述学生分割模型的预测精度。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行基于伪标注动态更新的细胞实例分割方法，该方法包括：基于已标注细胞图像，训练得到教师分割模型，并基于所述教师分割模型对未标注细胞图像进行分割，得到所述未标注细胞图像的伪标注；基于已标注细胞图像和所述未标注细胞图像及其伪标注，对学生分割模型进行训练；其中，在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度；若当前学生分割模型的预测精度大于最佳模型，则基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注；基于训练好的学生分割模型，对待分割细胞图像进行实例分割，得到所述待分割细胞图像的分割结果。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于伪标注动态更新的细胞实例分割方法，该方法包括：基于已标注细胞图像，训练得到教师分割模型，并基于所述教师分割模型对未标注细胞图像进行分割，得到所述未标注细胞图像的伪标注；基于已标注细胞图像和所述未标注细胞图像及其伪标注，对学生分割模型进行训练；其中，在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度；若当前学生分割模型的预测精度大于最佳模型，则基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注；基于训练好的学生分割模型，对待分割细胞图像进行实例分割，得到所述待分割细胞图像的分割结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于伪标注动态更新的细胞实例分割方法，该方法包括：基于已标注细胞图像，训练得到教师分割模型，并基于所述教师分割模型对未标注细胞图像进行分割，得到所述未标注细胞图像的伪标注；基于已标注细胞图像和所述未标注细胞图像及其伪标注，对学生分割模型进行训练；其中，在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度；若当前学生分割模型的预测精度大于最佳模型，则基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注；基于训练好的学生分割模型，对待分割细胞图像进行实例分割，得到所述待分割细胞图像的分割结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于伪标注动态更新的细胞实例分割方法，其特征在于，包括：
基于已标注细胞图像，训练得到教师分割模型，并基于所述教师分割模型对未标注细胞图像进行分割，得到所述未标注细胞图像的伪标注；
基于已标注细胞图像和所述未标注细胞图像及其伪标注，对学生分割模型进行训练；其中，在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度；若当前学生分割模型的预测精度大于最佳模型，则基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注；
基于训练好的学生分割模型，对待分割细胞图像进行实例分割，得到所述待分割细胞图像的分割结果；
所述学生分割模型包含结构不同的第一学生子模型和第二学生子模型以及融合层；所述未标注细胞图像的伪标注包括各个细胞的细胞标注掩膜；
所述基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注，具体包括：
基于所述更新后的最佳模型中的所述第一学生子模型和所述第二学生子模型，对所述未标注细胞图像进行实例分割，得到所述未标注细胞图像的第一分割结果和第二分割结果；所述第一分割结果和所述第二分割结果中均包含分割得到的细胞预测掩膜及其对应区域的细胞预测概率；
将所述第一分割结果中任一区域的细胞预测概率与所述第二分割结果中同一区域的细胞预测概率融合，得到所述任一区域的更新预测概率；
若所述任一区域的更新预测概率低于预设阈值，则从所述未标注细胞图像的伪标注中将所述任一区域对应的细胞标注掩膜删除；
否则，将所述第一分割结果中所述任一区域对应的细胞预测掩膜与所述第二分割结果中同一区域对应的细胞预测掩膜融合，得到所述任一区域对应的更新预测掩膜，并将所述任一区域对应的更新预测掩膜作为所述未标注细胞图像的伪标注中所述任一区域对应的细胞标注掩膜。
2.根据权利要求1所述的基于伪标注动态更新的细胞实例分割方法，其特征在于，所述基于验证集确定当前学生分割模型的预测精度，具体包括：
基于验证集确定当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，并基于所述细胞整体分割精度、细胞边缘分割精度和对应权重确定当前学生分割模型的预测精度。
3.根据权利要求2所述的基于伪标注动态更新的细胞实例分割方法，其特征在于，所述基于验证集确定当前学生分割模型的细胞整体分割精度和细胞边缘分割精度，具体包括：
基于当前学生分割模型对所述验证集中的各个验证图像进行实例分割，得到所述各个验证图像的分割结果；
基于所述各个验证图像的分割结果和标注结果，确定细胞命中数量、假阳细胞数量和细胞遗漏数量，并基于所述细胞命中数量、所述假阳细胞数量和所述细胞遗漏数量，确定所述细胞整体分割精度；
基于所述各个验证图像的分割结果和标注结果，确定边缘命中数量、假阳边缘数量和边缘遗漏数量，并基于所述边缘命中数量、所述假阳边缘数量和所述边缘遗漏数量，确定所述细胞边缘分割精度。
4.根据权利要求3所述的基于伪标注动态更新的细胞实例分割方法，其特征在于，所述边缘命中数量、假阳边缘数量和边缘遗漏数量是基于预测细胞边缘与真实细胞边缘之间的匹配结果确定的；
所述预测细胞边缘与真实细胞边缘之间的匹配结果是基于如下步骤确定的：
基于所述各个验证图像的分割结果和标注结果，确定各个细胞的标签边缘区域以及预测边缘区域；所述标签边缘区域为与标注出的真实细胞边缘相距预设距离的区域，所述预测边缘区域为与分割出的预测细胞边缘相距预设距离的区域；
基于所述各个验证图像中各个细胞的标签边缘区域和预测边缘区域，确定所述预测细胞边缘与真实细胞边缘之间的匹配结果。
5.根据权利要求1所述的基于伪标注动态更新的细胞实例分割方法，其特征在于，所述基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注，之后还包括：
增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重。
6.根据权利要求5所述的基于伪标注动态更新的细胞实例分割方法，其特征在于，所述增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重，具体包括：
确定当前学生分割模型的预测精度与更新前的最佳模型的预测精度之间的精度差异；
基于所述精度差异，确定所述未标注细胞图像中各个像素的预测损失的权重增长值；其中，所述精度差异越大，所述权重增长值也越大；
基于所述权重增长值，增大所述未标注细胞图像中各个像素的预测损失在下一轮训练过程中计算整体分割损失时的权重。
7.根据权利要求1所述的基于伪标注动态更新的细胞实例分割方法，其特征在于，所述在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度，具体包括：
分别基于所述第一学生子模型和所述第二学生子模型对所述验证集中的验证图像进行实例分割，得到所述验证图像的第一分割结果和第二分割结果；
基于所述融合层，将所述验证图像的第一分割结果和第二分割结果进行融合，得到所述验证图像的分割结果；
基于所述验证集中各个验证图像的分割结果，确定所述学生分割模型的预测精度。
8.一种基于伪标注动态更新的细胞实例分割装置，其特征在于，包括：
伪标注预测单元，用于基于已标注细胞图像，训练得到教师分割模型，并基于所述教师分割模型对未标注细胞图像进行分割，得到所述未标注细胞图像的伪标注；
学生模型训练单元，用于基于已标注细胞图像和所述未标注细胞图像及其伪标注，对学生分割模型进行训练；其中，在当前轮训练结束后，基于验证集确定当前学生分割模型的预测精度；若当前学生分割模型的预测精度大于最佳模型，则基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注；
实例分割单元，用于基于训练好的学生分割模型，对待分割细胞图像进行实例分割，得到所述待分割细胞图像的分割结果；
所述学生分割模型包含结构不同的第一学生子模型和第二学生子模型以及融合层；所述未标注细胞图像的伪标注包括各个细胞的细胞标注掩膜；
所述基于当前学生分割模型更新最佳模型，再基于更新后的最佳模型更新所述未标注细胞图像的伪标注，具体包括：
基于所述更新后的最佳模型中的所述第一学生子模型和所述第二学生子模型，对所述未标注细胞图像进行实例分割，得到所述未标注细胞图像的第一分割结果和第二分割结果；所述第一分割结果和所述第二分割结果中均包含分割得到的细胞预测掩膜及其对应区域的细胞预测概率；
将所述第一分割结果中任一区域的细胞预测概率与所述第二分割结果中同一区域的细胞预测概率融合，得到所述任一区域的更新预测概率；
若所述任一区域的更新预测概率低于预设阈值，则从所述未标注细胞图像的伪标注中将所述任一区域对应的细胞标注掩膜删除；
否则，将所述第一分割结果中所述任一区域对应的细胞预测掩膜与所述第二分割结果中同一区域对应的细胞预测掩膜融合，得到所述任一区域对应的更新预测掩膜，并将所述任一区域对应的更新预测掩膜作为所述未标注细胞图像的伪标注中所述任一区域对应的细胞标注掩膜。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于伪标注动态更新的细胞实例分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210627019.3A CN114708286B (zh) | 2022-06-06 | 2022-06-06 | 基于伪标注动态更新的细胞实例分割方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210627019.3A CN114708286B (zh) | 2022-06-06 | 2022-06-06 | 基于伪标注动态更新的细胞实例分割方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114708286A CN114708286A (zh) | 2022-07-05 |
| CN114708286B true CN114708286B (zh) | 2022-08-26 |
Family
ID=82178108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210627019.3A Active CN114708286B (zh) | 2022-06-06 | 2022-06-06 | 基于伪标注动态更新的细胞实例分割方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114708286B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115131333B (zh) * | 2022-07-20 | 2023-03-28 | 珠海横琴圣澳云智科技有限公司 | 基于实例不确定性的图像检测及分割的方法和装置 |
| CN117765532B (zh) * | 2024-02-22 | 2024-05-31 | 中国科学院宁波材料技术与工程研究所 | 基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112541928A (zh) * | 2020-12-18 | 2021-03-23 | 上海商汤智能科技有限公司 | 网络训练方法及装置、图像分割方法及装置和电子设备 |
| CN114067119A (zh) * | 2022-01-17 | 2022-02-18 | 深圳市海清视讯科技有限公司 | 全景分割模型的训练方法、全景分割方法及装置 |
| CN114169392A (zh) * | 2021-10-29 | 2022-03-11 | 阿里巴巴（中国）有限公司 | 模型训练方法及装置、任务处理方法、存储介质和处理器 |
| CN114240978A (zh) * | 2022-03-01 | 2022-03-25 | 珠海横琴圣澳云智科技有限公司 | 基于自适应形态学的细胞边缘分割方法和装置 |
| CN114494275A (zh) * | 2022-04-15 | 2022-05-13 | 北京美摄网络科技有限公司 | 一种用于移动终端图像分割模型训练方法和装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220343623A1 (en) * | 2019-11-28 | 2022-10-27 | Beijing Xiaoying Technology Co., Ltd. | Blood smear full-view intelligent analysis method, and blood cell segmentation model and recognition model construction method |
| US11430124B2 (en) * | 2020-06-24 | 2022-08-30 | Samsung Electronics Co., Ltd. | Visual object instance segmentation using foreground-specialized model imitation |
| CN113538441A (zh) * | 2021-01-06 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 图像分割模型的处理方法、图像处理方法及装置 |
| CN113177957B (zh) * | 2021-05-24 | 2024-03-08 | 西交利物浦大学 | 一种细胞图像的分割方法、装置、电子设备及存储介质 |
| CN114255237A (zh) * | 2021-11-12 | 2022-03-29 | 深圳大学 | 基于半监督学习的图像分割模型的训练方法及分割方法 |
-
2022
- 2022-06-06 CN CN202210627019.3A patent/CN114708286B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112541928A (zh) * | 2020-12-18 | 2021-03-23 | 上海商汤智能科技有限公司 | 网络训练方法及装置、图像分割方法及装置和电子设备 |
| CN114169392A (zh) * | 2021-10-29 | 2022-03-11 | 阿里巴巴（中国）有限公司 | 模型训练方法及装置、任务处理方法、存储介质和处理器 |
| CN114067119A (zh) * | 2022-01-17 | 2022-02-18 | 深圳市海清视讯科技有限公司 | 全景分割模型的训练方法、全景分割方法及装置 |
| CN114240978A (zh) * | 2022-03-01 | 2022-03-25 | 珠海横琴圣澳云智科技有限公司 | 基于自适应形态学的细胞边缘分割方法和装置 |
| CN114494275A (zh) * | 2022-04-15 | 2022-05-13 | 北京美摄网络科技有限公司 | 一种用于移动终端图像分割模型训练方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于残差块和注意力机制的细胞图像分割方法;张文秀等;《光学学报》;20201231(第17期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114708286A (zh) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114708286B (zh) | 基于伪标注动态更新的细胞实例分割方法和装置 | |
| CN113822278B (zh) | 一种无受限场景车牌识别方法 | |
| CN110362814B (zh) | 一种基于改进损失函数的命名实体识别方法及装置 | |
| KR20210062687A (ko) | 이미지 분류 모델 훈련 방법, 이미지 처리 방법 및 장치 | |
| CN113657202A (zh) | 构件识别方法、构建训练集方法、装置、设备及存储介质 | |
| WO2021190046A1 (zh) | 手势识别模型的训练方法、手势识别方法及装置 | |
| US11893773B2 (en) | Finger vein comparison method, computer equipment, and storage medium | |
| CN110969200A (zh) | 基于一致性负样本的图像目标检测模型训练方法及装置 | |
| CN113850300A (zh) | 训练分类模型的方法和装置 | |
| US20240355095A1 (en) | Object detection method and device, and object detection module training method and device | |
| CN112215236A (zh) | 文本识别方法、装置、电子设备及存储介质 | |
| CN113283388A (zh) | 活体人脸检测模型的训练方法、装置、设备及存储介质 | |
| CN116758373A (zh) | 深度学习模型的训练方法、图像处理方法、装置和设备 | |
| CN115937883A (zh) | 用于评估ocr识别质量的方法及相关产品 | |
| CN115359322A (zh) | 一种目标检测模型训练方法、装置、设备和存储介质 | |
| CN114330542A (zh) | 一种基于目标检测的样本挖掘方法、装置及存储介质 | |
| CN114973268A (zh) | 文本识别方法、装置、存储介质及电子设备 | |
| CN113469176A (zh) | 一种目标检测模型训练方法、目标检测方法及其相关设备 | |
| CN115424250A (zh) | 一种车牌识别方法及装置 | |
| CN113849634A (zh) | 用于提升深度模型推荐方案可解释性的方法 | |
| US12019771B2 (en) | Method, apparatus, device and medium for protecting sensitive data | |
| CN114550171B (zh) | 细胞实例分割模型构建方法、细胞实例分割方法和装置 | |
| CN117743568B (zh) | 基于资源流量和置信度融合的内容生成方法和系统 | |
| CN113449728B (zh) | 一种文字识别方法及其相关设备 | |
| CN118227768B (zh) | 基于人工智能的视觉问答方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |