CN117635629A - 利用部分注释图像训练实例分割算法 - Google Patents

利用部分注释图像训练实例分割算法 Download PDF

Info

Publication number
CN117635629A
CN117635629A CN202311120571.4A CN202311120571A CN117635629A CN 117635629 A CN117635629 A CN 117635629A CN 202311120571 A CN202311120571 A CN 202311120571A CN 117635629 A CN117635629 A CN 117635629A
Authority
CN
China
Prior art keywords
machine learning
image
learning model
annotation
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311120571.4A
Other languages
English (en)
Inventor
西蒙·弗兰基尼
塞巴斯蒂安·索耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of CN117635629A publication Critical patent/CN117635629A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明涉及利用部分注释图像训练实例分割算法，涉及一种用于训练机器学习模型的方法，该机器学习模型用于图像、特别是显微镜图像中的对象的实例分割。第一工作步骤是读取具有第一注释范围的部分注释图像，其中，在部分注释图像的第一注释范围中将对象的区域与对象类相关联，并且将没有对象的区域与背景类相关联。在下一步骤中，通过机器学习模型执行对图像、尤其整个图像的标注，其中，由机器学习模型预测的对象区域与对象类相关联。此后，通过将与第一注释范围相关的注释与相应的标签进行比较来计算机器学习模型的损失函数的值。在最后的步骤中，以尽可能最小化损失函数的方式来适配机器学习模型。

Description

利用部分注释图像训练实例分割算法
技术领域
本发明涉及用于训练机器学习模型的方法和系统，该机器学习模型用于对图像、尤其显微镜图像中的对象进行实例分割。另外，本发明涉及借助于机器学习模型对图像进行实例分割的方法和系统。
背景技术
在经典显微镜中，用户坐着或站着通过目镜观察样品载体。在此，用户能够直接以如下方式与样品交互：即其一方面能够获得关于物镜视场的的粗略概览，特别是关于样品载体、盖玻片和样品的位置的粗略概览，并且另一方面能够直接或借助于可调节的样品台横向位移具有样品的样品载体，以便将样品载体的其他范围置于物镜的视野中。在此，显微镜的用户能够留在自己的位置处，并且只需最少地移动其头部，使得典型的显微镜在这方面最符合人体工程学。
另一方面，如今的显微镜系统允许：沿着观察方向记录所谓的闪光栈，并从中重建样品的空间图像。为此，借助于探测器产生图像。优选地将配备有对应的面传感器、特别是CCD芯片的相机或所谓的光电倍增器用作为检测器。
因此，在这些新型的显微镜系统中，工作场所远离显微镜支架进而远离样品朝计算机或这种系统的屏幕移动。但是，显微镜支架之前的工作场所仍然经常被使用并且被需要，以便准备或放置样品载体或样品以进行分析。
这包括以下工作步骤：
·将样品载体置于物镜的视野内；
·选择样品载体上的区域，在该样品载体中设置样品；
·移动该区域；和
·最后将显微镜聚焦到样品载体或样品上。
因此，在使用现代复杂显微镜系统中，工作流程通常与两个工作范围联系在一起，在该工作范围处发生不同的工作步骤并且该工作范围空间上彼此分离。一方面是具有用于直接观察的目镜的显微镜支架，另一方面是计算机屏幕。
文献DE 10 2017 111 718 A1涉及一种用于生产和分析样品载体和/或设置在样品载体上的样品的概览对比度图像的方法，其中，对至少部分地设置在检测光学装置的焦点中的样品载体以二维、阵列形的照明图案在透射光中进行照明，其中，借助样品载体的不同照明来探测至少两个原始概览图像，并且根据待从概览对比度图像中提取的信息来选择计算算法，借助该计算算法将至少两个原始概览图像计算成概览对比度图像，并且根据待从概览对比度图像中提取的信息来选择图像评估算法，借助该图像评估算法从概览对比度图像中提取信息。
Linquing Feng等人的公开文献“使用部分标注的样品进行稳健的细胞核检测(Robust Nucleous Detection with Partially Labeled Exemplars)”，IEEE Access，2019，第7卷，第162169-162178页涉及一种用于自动表征图像中的细胞的方法，其中，使用深度卷积网络。
发明内容
本发明的目的是改进、尤其自动化对显微镜图像中的对象的鉴别。
该目的通过根据独立权利要求的用于训练机器学习模型的方法和系统来实现，该机器学习模型用于对对象和图像进行实例分割。从属权利要求中要求保护有利的设计方案。
本发明的第一方面涉及一种用于训练机器学习模型的方法，该机器学习模型用于对图像、尤其显微镜图像中的对象进行实例分割，该方法具有以下工作步骤：
a.读取具有第一注释范围的部分注释图像，其中，在部分注释图像的第一注释范围中将对象的区域与对象类相关联并且将没有对象的区域与背景类相关联；
b.对图像、尤其整个图像通过机器学习模型进行标注，其中，对象的由机器学习模型预测的区域与对象类相关联；
c.通过将关于第一注释范围的注释与相应的标签进行比较来计算机器学习模型的损失函数的值；和
d.以最小化损失函数的方式来适配机器学习模型。
本发明的第二方面涉及计算机实施的机器学习模型，特别是人工神经网络，用于将图像、特别是显微镜图像中的对象进行实例分割，其中，配置机器学习模型，在该机器学习模型中针对多个训练输入中的每个训练输入执行用于训练机器学习模型的方法的工作步骤，该机器学习模型用于将图像、特别是显微镜图像中的对象进行实例分割。
本发明的第三方面涉及一种计算机实施的方法，用于将图像、特别是显微镜图像中的对象进行实例分割，该方法具有以下工作步骤：
·读取图像；
·通过机器学习模型对图像、特别是整个图像进行标注；和
·输出已标注的图像。
本发明的第四方面涉及一种用于训练机器学习模型的系统，该机器学习模型用于对图像、特别是显微镜图像中的对象进行实例分割，该系统具有：
·第一接口，用于读取具有第一注释范围的部分注释图像，其中，在部分注释图像的第一注释范围中将对象的区域与对象类相关联，并且将没有对象的区域与背景类相关联；
·机构，设计用于对图像、尤其整个图像通过机器学习模型进行标注，其中，对象的由机器学习模型预测的区域与对象类相关联；
·机构，设计用于通过将关于第一注释范围的注释与相应的标签进行比较来计算机器学习模型的损失函数的值；和
·机构，设计用于以最小化损失函数的方式来适配机器学习模型。
本发明的第五方面涉及一种用于对图像、特别是显微镜图像中的对象进行实例分割的系统，具有以下工作步骤：
·第二接口，用于读取图像；
·机构，设计用于通过根据本发明的第二方面的机器学习模型标注图像、特别是整个图像；和
·机构，设计用于输出已标注的图像。
就本发明而言的注释优选地是存储与图像的区域相关的信息，特别是在图像中的信息。
就本发明而言的标注优选地是通过算法存储与图像的区域相关的信息，特别是在图像中的信息。
与图像的各个范围或像素相关的信息能够存储为元信息。
就本发明而言的分类优选地是类别的关联。
就本发明而言的分割优选地是将图像的每个像素与特定的类相关联。
就本发明而言的实例分割是将图像的像素与一个或多个类的一个或多个实例相关联。优选地，在实例分割时产生对象的掩模。
就本发明而言的损失函数优选地说明，机器学习模型的预测与实际情况(“真实情况”)的偏离程度，并且用于在训练期间优化参数，特别是机器学习模型的连接评估因子和影响值(“权重和偏差”)。
就本发明而言的区域是图像的范围的一部分。在此，区域既能够在空间上分离，也能够在空间上连续。
就本发明而言的人工神经网络优选地具有神经元，其中，每个神经元具有连接评估因子和相应的影响值(英文：权重和偏差)，该连接评估因子和影响值能够在训练期间改变。优选地，人工神经网络通过以下方式配置，即针对多个训练输入中的每个训练输入，基于神经元各自的概率随机地选择一个或多个神经元并且将其去激活，并且基于人工神经网络的输出的比较响应于具有参考值的训练输入来适配权重。
就本发明而言的机构能够构成为硬件和/或软件，并且特别具有处理单元、优选与存储器和/或总线系统数据或信号连接的处理单元、尤其数字处理单元、尤其微处理器单元(CPU)和/或一个或多个程序或程序模块。CPU能够构成用于，处理作为存储在存储器系统中的程序的命令，从数据总线检测输入信号和/或将输出信号输出给数据总线。存储系统能够具有一个或多个、特别是不同的存储介质，特别是光、磁、固态和/或其他非易失性介质。该程序能够被设置为，使得其体现或能够执行在此描述的方法，使得CPU能够执行这种方法的步骤。
本发明基于，仅使用部分注释图像来训练用于整个图像的实例分割的目的的机器学习模型。
根据本发明，读取部分注释图像，即用户在一范围中执行实例分割并注释的图像或者从其他来源中已经借助实例分割来注释的图像。根据本发明，以如下方式执行注释，即图像的被对象覆盖的区域与对象类相关联，并且图像的没有对象的区域与背景类相关联。
然后借助于机器学习模型对相同的、但没有注释的图像进行标注，由此形成标注的图像。在此，其能够是通用机器学习模型或也能够是预先训练的机器学习模型。在通过机器学习模型进行标注的情况下，也优选地将对象的由机器学习模型预测的区域与对象类相关联。
然后，将部分注释图像与通过机器学习模型标注的图像进行比较。基于比较计算损失函数的值。在此，比较是损失函数的一部分。
最后，改变或适配用于标注的机器学习模型。在此，优选是以优化、尤其最小化损失函数为目的。
优选地，在适配机器学习模型时，使用所谓的进化算法，但是在此也能够使用其他算法和策略。
本发明实现，基于仅部分或局部标注的图像来训练用于实例分割的机器学习模型。在此，通过使用背景类，能够显著提高训练过的机器学习模型的预测精度。不再需要借助其中注释所有对象的图像进行训练。
在部分注释图像的注释范围和其通过机器学习模型产生的标注的比较中，在通过机器学习模型标注时在所谓的“真阳性”，即正确预测的对象、“假阳性”、即错误预测的对象、“真阴性”、即正确预测的没有对象的区域和错误预测的没有对象的区域之间进行区分。在错误预测的没有对象的区域中，在显示中存在对象。通过考虑背景类，在训练机器学习模型时也能够考虑“假阴性”。这引起在训练机器学习模型时训练效果的显著改进。
当具有高对象密度的图像、即例如显微镜图像要进行实例分割时，本发明特别有利。与例如风景或人物照片的日常图像相比，这种图像具有大数量的对象。
由此，如果用于训练机器学习模型的所有图像的所有对象都必须被注释，则在注释数据时形成巨大的耗费。在此，通常无法减小用于训练的注释的图像的数量，因为各个图像之间的对象通常比图像内变化更大。特别是在显微图像中，通常，图像与时间相关地变化。能够借助于本发明将图像之间的对象特性的这种差异反映到机器学习模型中。
在此，优选地，对部分注释图像的在不同图像之间具有最大差异的范围进行注释。考虑注释的对象的差异是重要的，以便训练的机器学习模型能够对对象在其所有形状、大小、颜色等方面进行实例分割。
本发明提供了一种机制，以便在训练用于实例分割的机器学习模型时，即使没有对整个图像注释也能够考虑“假阳性”预测和“假阴性”预测。叠加的对象也能够系统性地彼此区分。特别地，根据本发明，注释范围能够具有任何形状。
此外，根据本发明的方案能够用于大量模型架构，例如用于所谓的“区域提议网络”、Mask R-CNN架构或者还有Mask2Former架构。在此，根据本发明的方法通常适用于基于锚点的机器学习模型以及不基于锚点的机器学习模型。
在一个有利的设计方案中，用于训练机器学习模型的方法还具有工作步骤e，即检查是否达到预定的中断条件。优选地，重复工作步骤b至d，直到达到预定的中断条件，特别是通过达到预定的重复次数达到中断条件，和/或直到损失函数的值低于预定值和/或直到损失函数的值的变化低于当前阈值和/或机器学习模型的精度在图像的未注释的或仅出于测试目的而注释的范围中低于预定的品质。
通过重复步骤b.至d.直至中断条件都能够进行机器学习模型的迭代训练。由此允许根据唯一的注释的范围对机器学习模型进行最佳训练。特别地，由此能够减少用于训练机器学习模型的注释耗费。
在另一有利的设计方案中，训练方法还具有以下工作步骤：
f.再次读取具有第二注释范围的部分注释图像，其中，在部分注释图像的第二范围中将对象的区域与对象类相关联并且将没有对象的区域与背景类相关联；
g.通过已适配的机器学习模型对图像再次进行标注，其中，将对象的由已适配的机器学习模型预测的区域与对象类相关联，并且将没有对象的预测的区域与背景类相关联；
h.通过将注释与第一注释范围和第二注释范围中的标签进行比较来再次计算机器学习模型的损失函数的值；和
i.以最小化损失函数的方式再次适配已适配的机器学习模型。
第二标注范围优选位于图像的其中机器学习模型在工作步骤b中标注时没有提供良好结果的范围。在这方面，该第二注释范围的注释越有针对性，则必须花费越少的精力来注释不增加精度的值的范围。理想地，在其处依次执行根据本发明的方法的第二注释范围和可选的另外的注释范围，因此优选地仅包括尚未被足够精确地进行实例分割的各个对象或区域。
在另一有利的设计方案中，用于训练的方法还具有工作步骤j.，即再次检查是否满足预定的中断条件；其中，重复工作步骤g.至i.，直到达到预定的中断条件，特别是直到达到预定的重复次数和/或直到损失函数的值低于预定值和/或直到损失函数的值的变化低于预定的阈值和/或机器学习模型的精度在图像的未注释的或仅出于测试目的而注释的范围中低于预定的品质。
由此也能够迭代地根据第二注释范围优化机器学习模型。以该方式，能够最佳地利用来自第二注释范围的信息，并且能够将注释耗费保持得低。
在用于训练的方法的另一有利的设计方案中，损失函数取决于通过机器学习模型预测的对象相对于第一注释范围和/或相对于在第一注释范围中注释的区域、特别是对象的区域和/或相对于第二注释范围、尤其对象的范围的几何设置。
在此，预测的对象的几何设置确定，预测的对象是否包含到损失函数值的计算中。这确保，机器学习模型的算法仅针对被注释的范围和/或区域而受到奖励或惩罚。这确保，只有实际已注释的范围才会被包括到评估中。
在用于训练的方法的另一有利的设计方案中，通过机器学习模型预测的对象始终包括在损失函数的值的计算中，其中，该对象能够与在第一注释范围和/或第二注释范围中的对象的区域相关联。
因此，部分设置在注释范围之外的但仍可与对象的区域相关联的预测的对象也能够一起包含到损失函数中。由此确保，在评估机器学习模型时始终考虑基本上正确预测的对象。
在用于训练的方法的另一有利的设计方案中，机器学习模型是“基于区域的卷积神经网络”，其始终包括到损失函数的值的计算中，其中，能够关联用于第一注释范围和/或第二注释范围中的对象的“锚点”。
在用于训练的方法的另一有利的设计方案中，仅当通过机器学习模型预测的、不能够与对象在第一注释范围中的任何区域相关联的对象至少与第一注释范围叠加、优选主要与第一注释范围叠加、最优选与第一注释范围完全叠加时，才将所预测的对象包括到损失函数的值的计算中，和/或，当通过机器学习模型预测的、不能够与对象在第二注释范围中的任何区域相关联的对象至少与第二注释范围叠加、优选主要与第二注释范围叠加、并且最优选与第二注释范围完全叠加时，才将所预测的对象包括到损失函数的值的计算中。
就本发明而言，“主要”和“大部分”优选地表示超过一半的范围，特别是面积。
由此确保，仅当能够保证错误预测的对象(即“假阳性”)不是注释范围之外的对象的区域的“真阳性”时，才将其包含到机器学习模型的评估中。由此确保了对机器学习模型进行特别鲁棒性的评估。
在用于训练的方法的另一有利的设计方案中，机器学习模型是“基于区域的卷积神经网络”，并且如果“锚点”的“边界框”至少不与第一注释范围叠加，优选地不主要与第一注释范围叠加，或最优选完全不与第一注释范围叠加，则忽略“锚点”，和/或其中，如果“锚点”的“边界框”至少不与第二注释范围叠加，优选地不主要与第二注释范围叠加，或最优选完全不与第二注释范围叠加，则忽略“锚点”。
在用于训练的方法的另一有利的设计方案中，注释包括分割和分类。
在另一有利的设计方案中，用于训练的方法还具有基于用户说明来注释第一范围和/或第二范围的工作步骤。
由此确保，为机器学习模型提供高品质的“Ground Truth”数据以进行训练。
附图说明
其他的特征和优点在下面的描述中参考附图进行解释。该附图至少部分示意性地示出：
图1示出用于训练机器学习模型的方法的一个实施例的图形视图；
图2示出用于训练机器学习模型的方法的实施例的其他工作步骤的图形视图，该机器学习模型用于对图像中的对象进行实例分割；
图3示出根据图1和图2的用于训练的机器学习模型的实施例的流程图；
图4示出损失函数的实施例的评估规则的图形视图；
图5示出用于对象和图像的实例分割的方法的实施例的流程图；
图6示出用于训练机器学习模型的系统的实施例，该机器学习模型用于对图像中的对象进行实例分割；和
图7示出用于对图像中的对象进行实例分割的系统的实施例。
具体实施方式
下面根据图1、图2和图3描述用于训练机器学习模型的方法100的实施例。
在此，该方法纯示例性地根据显微镜图像的实例分割来解释，在该显微镜图像中应识别具有细胞核的细胞并且其所属的面积将被确定作为掩模。
在图1中示出待进行实例分割的显微镜图像3。在显微镜图像3中存在对象2和伪影9。在图1和图2所示的显微镜图像中，为了清楚起见，在此仅将一些细胞2设为对象，并且仅对一些伪影9设有附图标记。
在第一工作步骤101中，优选地基于用户的输入来注释第一范围4。在此，用户优选地将显微镜图像3的第一范围中的不同的面积分配给不同的类，用户能够根据其结构、颜色或其他特征来区分面积。此外，用户为其识别为细胞的面积创建掩模。
该部分注释图像在第二工作步骤102中被读取，其在图1中通过箭头(a)表明。
读取的部分注释图像3ann在图1中用第一注释范围4示出。所识别的细胞2在该注释范围4中以阴影线示出。用户已将至少一个对象类与该注释的细胞相关联，并将其面积注释为掩模。而第一注释范围4内的剩余面积(伪影9也属于该范围)与背景类相关联。
附加地，在部分注释图像3ann中所基于的显微镜图像由待训练的机器学习模型1在第三工作步骤103中进行标注。为此，优选地也在第二工作步骤102中单独地读取显微镜图像3或者从部分注释图像3ann中提取信息。在此，整个显微镜图像3优选地由机器学习模型1注释。标注103的第三工作步骤在图1中通过箭头(b)表明。
在标注的图像3lab中，对象的由机器学习模型1预测的区域5与对象类相关联，并且没有对象的区域与背景类相关联。
如图1的图像3lab所示，机器学习模型1在此已将伪影9分类为细胞的区域5。此外，对象2本身未被识别，进而与图像3lab中没有对象的其他区域一起与背景类相关联。
如在标注的图像3lab中所示，机器学习模型1已经标注整个显微镜图像3。
仅出于信息目的，与注释图像3ann的第一注释范围4相对应的范围在标注图像3lab中以虚线示出。
在第四工作步骤104中，将注释图像3ann的数据和标注图像3lab的数据传输给机器学习模型1的损失函数(I)。这通过箭头(c)在图1中示出。
损失函数(I)将与第一注释范围4相关的注释的信息与来自标注图像3lab的对应范围的标签进行比较，并从中计算表示对于由机器学习模型1预测的区域的品质的值。
例如，损失函数(I)能够是所谓的“二元交叉熵损失”(参见GoodfellowIan等人，“深度学习”，MIT Press 2016)。二元交叉熵损失的方程在图1中以用10表示的方式示出。但是，其应当被理解为纯示例性的。也能够使用本领域技术人员已知的任何其他类型的损失函数来计算该值。
在第五工作步骤105中，以最小化损失函数(I)的方式适配机器学习模型1。该工作步骤在图1中通过箭头(d)表明。
机器学习模型1和适配的机器学习模型1'纯示意性地示出为在中间层具有附加神经元的人工神经网络。然而，这用于纯粹说明，因为作为机器学习模型1，也能够使用除人工神经网络之外的算法。
作为机器学习模型1，纯示例性地考虑“区域提议网络”、Mask R-CNN架构或Mask2Former架构。优选地，使用深度人工神经网络。
在Mask-R-CNN架构中，对象分别由边界框来代表，该边界框具有类标签和用于边界框中的范围的分割掩模。
相反，Mask2Former架构为预限定数量的候选对象分别生成整个图像的完整分割掩模。该分割掩模由对象存在的每像素概率组成。预测的候选对象不强制性与注释对象完整关联(匹配)，并且能够区分以下情况：
-该对象与注释匹配。在该情况下，对于计算损失函数考虑预测对象。
-对象与注释不匹配。在该情况下，区分以下情况：
o代表预测对象的信号在注释范围内部比注释范围外部以足够的程度更强。在该情况下，对于计算损失函数考虑预测对象。
o代表预测对象的信号在注释范围内部并不比注释范围外部以足够的程度更强。在该情况下，对于损失函数的计算不考虑预测对象。
更下面参考图4解释用于通过损失函数评估预测的方法。然而，一般来说，损失函数的值取决于对象在第一注释范围4中的由机器学习模型1预测的区域5的几何设置和/或相对于第一注释范围4中注释的区域5的几何设置。此外，损失函数的值取决于对象的由机器学习模型1预测的区域5的几何设置。
在第六工作步骤106中，优选地检查是否已经达到预定的中断条件。
该中断条件优选地是第三工作步骤103、第四工作步骤104和第五工作步骤105的预定的重复次数，更优选地是损失函数的预定值，必须低于或超过该预定值以达到中断条件，更优选地是损失函数值的变化的预定阈值(梯度)，必须超过或低于该阈值，或更优选地是与机器学习模型1的精度相关的、在显微镜图像3的未注释的或为了测试目的而注释的范围中的预定品质，必须超过或低于该预定品质。
迭代地重复第三工作步骤、第四工作步骤和第五工作步骤103、104、105直到达到中断条件，如图3中所示。由此，适配的机器学习模型1'在此期间基于第一注释范围4提供的信息能够最佳地用于改进适配的机器学习模型1'。
此外，能够通过将显微镜图像3的第二注释范围8一起包括到优化中的方式，来进一步改进已经适配的机器学习模型1'。
用于训练机器学习模型1的方法100的部分在图2中示出。
首先，在第七工作步骤107中，优选地基于用户的输入来注释显微镜图像3的第二范围。这优选地始于已经注释的图像3ann来进行。第二注释范围优选为显微镜图像3中机器学习模型1在标注时已经取得较差结果的范围。
在第八工作步骤108中读取借助尤其附加的第二注释范围部分注释的图像3ann'。该工作步骤在图2中通过用(f)表示的箭头表明。显微镜图像3输送给适配的机器学习模型1'，该机器学习模型在第九工作步骤109中对该显微镜图像进行标注。该工作步骤在图2中用具有附图标记(g)的箭头表明。该标注的结果在图2中在标注图像3lab'中示出。
适配的机器学习模型1'尽管现在已正确预测范围4中的伪影9，并且所有对象5也在该范围中被正确预测，其中，该范围对应于第一注释范围。当然，在对应于第二注释范围8的范围8中，伪影9已被错误地识别为对象的区域5。
在第十工作步骤110中，基于来自注释的信息和来自标注的信息，再次计算适配的机器学习模型1'的损失函数10的值。为此，再次对信息进行比较。
在第十一工作步骤111中，进一步适配已经适配的机器学习模型1'，以便进一步优化机器学习模型1'并且最小化损失函数。上面已经提到的算法可用于此目的。该工作步骤在图2中通过用(i)表示的箭头表明。
由此形成的进一步适配的机器学习模型1”再次在图2中纯示例性地作为人工神经网络的符号示出。相对于适配的机器学习模型1'，在那里再次纯示例性地添加另一神经元层。
在该方法的另外的第十二工作步骤112中，再次检查是否达到预定的中断条件。该中断条件对应于上面已经提到的关于损失函数的值的中断条件。如果不是这种情况，则重复第九工作步骤109、第十工作步骤110和第十一工作步骤111，直到达到至少一个中断条件。这也在图3中再次示出。
图4是损失函数用来基于标注图像评估机器学习模型1的标准的图形视图。基本上，两条规则与通过损失函数进行评估相关。
第一规则在于，对象的由机器学习模型1预测的区域5始终被包括到损失函数的值的计算中，其能够与第一注释范围4和/或第二注释范围8中的对象的区域相关联。
在图4中，通过点划线示出第一注释范围4/第二注释范围8。视图所基于的图像是注释图像3ann。相应地，对象的区域5设置有阴影线。在此，两个区域5位于第一注释范围4/第二注释范围8内并且以交叉条示出。对象的另外两个区域5位于范围4/8之外并且以菱形形式示出。
图4所示的粗框为机器学习模型1的预测。为了能够说明用于由机器学习模型1进行评估的规则，将该粗框在注释图像3ann中叠加。粗实线框在此表示，在由损失函数评估时一起包含的预测。另一方面，粗虚线边框表示机器学习模型1的不一起包含到由损失函数进行的评估中的预测。
如从图4中可见，将与注释范围4/8中的对象的区域5很大程度上叠加的预测的对象一起包括到由损失函数进行的评估中。这是因为其能够与对象的区域5相关联。因此，该预测是“真阳性(true Positive)”6。
在评估机器学习模型1时，排除另一预测，该另一预测尽管与注释范围4/8叠加，但不能与对象的任何区域5相关联。该预测是所谓的“假阳性(false Positive)”7。
第二规则因此规定：仅当预测的对象绝大部分与第一注释范围4/第二注释范围8叠加时，机器学习模型1才将无法与第一注释范围4/第二注释范围8中的对象的区域5相关联的预测对象包含到损失函数值的计算中。对应地，在由机器学习模型进行的评估中，将很大程度上与注释范围4/8叠加的另一所示出的错误预测作为“假阳性”7一起被包括。
尽管机器学习模型1的进一步预测完整位于第一注释范围4/第二注释范围8中，但不能与对象的任何区域5相关联。特别地，预测不与第一注释范围4/第二注释范围8内的任何区域5叠加。因此，尽管该预测包含到由损失函数对机器学习模型1的评估中，但其被评估为“假阳性”7。其他的“假阳性”7位于第一注释范围4/第二注释范围8之外。因此，其也不包含到由损失函数进行的评估中。
另一对象5位于第一注释范围4/第二注释范围8中，但未被机器学习模型1识别。该另一对象作为“假阴性(false Negative)”7'包含到损失函数的评估中。
通过机器学习模型1预测位于标注范围4/8之外的对象中的一个，即为“真阳性”6，但不一起包括到由损失函数进行的评估中，因为绝大部分位于标注范围4/8之外。另一位于标注范围4/8之外的对象未由机器学习模型1识别，即其为“假阴性”7'，但其在由损失函数进行的评估中也没有被考虑，因为其位于注释范围4/8之外。
注释范围4/8的其中不存在对象的区域5和不存在错误预测的那些区域被评估为“真阴性(true Negative)”6'，进而不导致损失函数值的恶化。
“假阳性”7和“假阴性”7'优选地导致损失函数的增加，“真阳性”6和“真阴性”6'优选地导致损失函数的值的减小。
在一个替代的实施方式中，仅当预测对象至少与注释范围4叠加或者优选地完整位于注释范围4/8中时，能够将不能与第一注释范围4中的对象的任何区域5相关联的预测对象包括到损失函数的值的计算中。
图5示出用于对显微镜图像3中的细胞2进行实例分割的方法200的实施例。
在第一工作步骤201中，读取显微镜图像3。在第二工作步骤202中，显微镜图像3、尤其整个显微镜图像由机器学习模型1标注。在第三工作步骤203中，输出标注的显微镜图像3。
图6示出用于训练机器学习模型1的系统10的实施例，该机器学习模型用于对显微镜图像3中的细胞2进行实例分割。
系统10具有用于读取具有第一注释范围4的部分注释的显微镜图像3ann的第一接口11，其中，在部分注释的显微镜图像3ann的第一注释范围4中将对象的区域5与对象类相关联，并且将没有对象的区域与背景类相关联。第一接口11能够优选地构成为数据接口或相机。
此外，系统10具有机构12，其设计用于，由机器学习模型1来标注尤其整个显微镜图像3，其中，将对象的由机器学习模型1所预测的区域5与对象类相关联并且将没有对象的预测区域与背景类相关联。
此外，系统10具有机构13，其设计用于，通过将关于第一注释范围4的注释与对应的标签进行比较来计算机器学习模型1的损失函数(I)的值。
更优选地，系统10具有机构14，其设计用于，以最小化损失函数10的方式适配机器学习模型1。
机器学习模型1优选地又经由第二接口15输出。
图7示出用于对显微镜图像3中的细胞2进行实例分割的系统20的实施例。
系统20优选地具有用于读取显微镜图像3的第三接口21。此外，系统20优选地具有机构22，其设计用于，由机器学习模型来标注显微镜图像3、尤其整个显微镜图像3。最后，系统20优选地具有第四接口23，其设计用于，输出标注的显微镜图像3。
显微镜图像3优选地由显微镜30产生。更优选地，这种显微镜30是用于训练机器学习模型或用于实例分割的系统10、20的一部分，反之亦然。
需要指出的是：实施例仅是示例性的并且不应以任何方式限制范围、应用和结构。更确切地说，通过以上描述为本领域技术人员提供了用于实施至少一个实施例的教导，其中，能够在不脱离如从权利要求和等价特征组合中得出的保护范围的情况下进行各种改变，特别是关于所描述的组成部分的功能和设置方面的改变。特别地，注释范围能够具有任何形状。
附图标注列表
1机器学习模型
1'已适配的机器学习模型
1”已进一步适配的机器学习模型
2对象
3图像
4第一范围
5区域
6真阳性
6'真阴性
7假阳性
7'假阴性
8第二范围
9伪影
10系统
11第一接口
12 机构
13 机构
14 机构
15 第二接口
20 系统
21 第三接口
22 机构
23 第四接口30 显微镜(I)损失函数3ann注释的图像3lab标注的图像。

Claims (15)

1.一种用于训练机器学习模型(1)的方法(100)，所述机器学习模型用于为图像(3)、尤其显微镜图像中的对象(2)进行实例分割，所述方法具有以下工作步骤：
a.读取(102)具有第一注释范围(4)的部分注释图像(3ann)，其中，在所述部分注释图像(3')的所述第一注释范围(4)中将对象的区域(5)与对象类相关联并且将没有对象的区域与背景类相关联；
b.由所述机器学习模型(1)标注(103)所述图像(3)、尤其整个图像，其中，对象的由所述机器学习模型(1)预测的区域(5)与所述对象类相关联；
c.通过将关于所述第一注释范围(4)的注释与相应的标签进行比较来计算(104)所述机器学习模型(1)的损失函数(10)的值；以及
d.以将所述损失函数最小化的方式来适配(105)所述机器学习模型(1)。
2.根据权利要求1所述的方法(100)，还具有以下工作步骤：
e.检查(106)是否达到预定的中断条件；其中，重复工作步骤b至工作步骤d，直到达到预定的所述中断条件为止，尤其直到达到预定的重复次数和/或直到所述损失函数的值低于预定值和/或直到所述损失函数的值的变化低于预定阈值和/或所述机器学习模型(1)的精度在所述图像(3)的未注释的或仅出于测试目的而注释的范围中低于预定的品质为止。
3.根据权利要求1或2所述的方法(100)，还具有以下工作步骤：
f.再次读取(108)具有第二注释范围(8)的所述部分注释图像(3ann')，其中，在所述部分注释图像的第二范围中将对象的区域(5)与所述对象类相关联并且将没有对象的区域与所述背景类相关联；
g.由已适配的所述机器学习模型(1')再次标注(109)所述图像(3)，其中，将对象(6)的由已适配的所述机器学习模型预测的区域(5)与所述对象类相关联；
h.通过将注释与所述第一注释范围(4)和所述第二注释范围(8)中的标签进行比较，再次计算(110)已适配的所述机器学习模型(1')的所述损失函数(10)的值；以及
i.以将所述损失函数最小化的方式再次适配(111)已适配的所述机器学习模型(1')。
4.根据权利要求3所述的方法(100)，还具有以下工作步骤：
j.检查(112)是否达到预定的中断条件；
其中，重复工作步骤g.至工作步骤i.，直到达到预定的所述中断条件为止，尤其直到达到预定的重复次数和/或直到所述损失函数的值低于预定值和/或直到所述损失函数的值的变化低于预定的阈值和/或所述机器学习模型的精度在所述图像(3)的未注释的或仅出于测试目的而注释的范围中低于预定的品质为止。
5.根据权利要求1至4中任一项所述的方法(100)，其中，在所述第一注释区域(4)方面和/或在所述第一注释区域(4)中注释的区域、尤其对象的区域(5)方面和/或在所述第二注释区域(8)方面和/或在所述第二注释区域(8)中注释的区域、尤其对象的区域(5)方面，所述损失函数的值取决于对象的由所述机器学习模型(1)预测的区域(5)的几何布置。
6.根据权利要求1至5中任一项所述的方法(100)，其中，对象的由所述机器学习模型(1)预测的区域(5)始终被包括在所述损失函数的值的计算中，所述对象能够在所述第一注释区域(4)和/或所述第二注释区域(8)中与对象(6)的区域(5)相关联。
7.根据权利要求1至6中任一项所述的方法(100)，其中，仅当由所述机器学习模型(1)预测的对象至少与所述第一注释范围(4)叠加、优选主要与所述第一注释范围(4)叠加并且最优选与所述第一注释范围(4)完全叠加时，才将所述预测的对象包括到所述损失函数的值的计算中，所述预测的对象不能在所述第一注释区域(4)中与对象的区域(5)相关联，和/或其中，当由所述机器学习模型(1)预测的对象(6')至少与所述第二注释范围(8)叠加、优选主要与所述第二注释范围(8)叠加并且最优选与所述第二注释范围(8)完全叠加时，才将所述预测的对象(6')包括到所述损失函数的值的计算中，所述预测的对象不能在所述第二注释范围(8)中与对象(5)的区域(5)相关联。
8.根据权利要求1至7中任一项所述的方法(100)，还具有以下工作步骤：
基于用户输入来注释(101；107)第一范围(4)和/或第二范围(8)。
9.根据权利要求1至8中任一项所述的方法(100)，其中，由所述机器学习模型(1)针对对象类预测的对象(6')被视为设置在所述背景类的区域(7)中并且引起所述损失函数的值的增大，所述预测的对象不能在所述第一注释范围(4)中与对象(6)的区域相关联并且至少与所述第一注释范围(4)叠加、优选主要与所述第一注释范围(4)叠加并且最优选与所述第一注释范围(4)完全叠加。
10.一种计算机实施的机器学习模型(1)，所述机器学习模型特别是人工神经网络，用于为图像(3)、尤其显微镜图像中的对象(2)进行实例分割，其中，通过针对多个训练输入中的每个训练输入执行根据权利要求1至9中任一项所述的方法的工作步骤来配置所述机器学习模型。
11.一种计算机实施的方法(200)，用于为图像(3)、尤其显微镜图像中的对象(2)进行实例分割，所述方法具有以下工作步骤：
读取(201)图像(3)；
由根据权利要求10所述的机器学习模型(1)标注(202)所述图像(3)、尤其整个图像；以及
输出(203)已标注的所述图像(3)。
12.一种计算机程序或计算机程序产品，其中，所述计算机程序或计算机程序产品尤其存储在计算机可读的和/或非易失性的存储介质上并且包含指令，当所述指令由计算机执行时，所述指令使所述计算机执行根据权利要求1至9或11中任一项所述的方法(100)的步骤。
13.一种用于训练机器学习模型(1)的系统(10)，所述机器学习模型用于为图像(3)、尤其显微镜图像中的对象(2)进行实例分割，所述系统具有：
第一接口(11)，用于读取具有第一注释范围(4)的部分注释图像(3ann)，其中，在所述部分注释图像(3ann)的所述第一注释范围(4)中将对象的区域(5)与对象类相关联，并且将没有对象的区域与背景类相关联；
设计用于经由所述机器学习模型(1)标注所述图像(3)、尤其整个图像的机构(12)，其中，对象的由所述机器学习模型(1)预测的区域(5)与所述对象类相关联；
设计用于通过将关于所述第一注释范围(4)的注释与相应的标签进行比较来计算所述机器学习模型(1)的损失函数(10)的值的机构(13)；和
设计用于以将所述损失函数(10)最小化的方式适配所述机器学习模型(1)的机构(14)。
14.一种用于为图像(3)、尤其显微镜图像中的对象(2)进行实例分割的系统(20)，所述系统具有：
第三接口(21)，用于读取图像(3)；
机构(22)，设计用于由根据权利要求13所述的机器学习模型(1)标注所述图像(3)、尤其整个图像；和
第四接口(23)，设计用于输出已标注的所述图像(3)。
15.一种显微镜，具有根据权利要求13所述的系统和/或根据权利要求14所述的系统。
CN202311120571.4A 2022-09-01 2023-08-31 利用部分注释图像训练实例分割算法 Pending CN117635629A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022209113.2A DE102022209113A1 (de) 2022-09-01 2022-09-01 Training von instanzsegmentierungsalgorithmen mit partiell annotierten bildern
DE102022209113.2 2022-09-01

Publications (1)

Publication Number Publication Date
CN117635629A true CN117635629A (zh) 2024-03-01

Family

ID=89905621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311120571.4A Pending CN117635629A (zh) 2022-09-01 2023-08-31 利用部分注释图像训练实例分割算法

Country Status (3)

Country Link
US (1) US20240078681A1 (zh)
CN (1) CN117635629A (zh)
DE (1) DE102022209113A1 (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017111718A1 (de) 2017-05-30 2018-12-06 Carl Zeiss Microscopy Gmbh Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes

Also Published As

Publication number Publication date
DE102022209113A1 (de) 2024-03-07
US20240078681A1 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
US11756318B2 (en) Convolutional neural networks for locating objects of interest in images of biological samples
AU2020200835B2 (en) System and method for reviewing and analyzing cytological specimens
CN103518224B (zh) 用于分析微生物生长的方法
JP4037869B2 (ja) 画像解析支援方法、画像解析支援プログラムおよび画像解析支援装置
CN109829467A (zh) 图像标注方法、电子装置及非暂态电脑可读取储存媒体
CN111352227A (zh) 显微镜系统中样本平面的距离确定
WO2014087689A1 (ja) 画像処理装置、画像処理システム及びプログラム
WO2005119589A1 (en) Information processing method and apparatus, and image pickup device
CN111462076A (zh) 一种全切片数字病理图像模糊区域检测方法及系统
EP3848472A2 (en) Methods and systems for automated counting and classifying microorganisms
US20220222822A1 (en) Microscopy System and Method for Evaluating Image Processing Results
US20220309666A1 (en) Cell line development image characterization with convolutional neural networks
JPWO2015146113A1 (ja) 識別辞書学習システム、識別辞書学習方法および識別辞書学習プログラム
CN113343989A (zh) 一种基于前景选择域自适应的目标检测方法及系统
EP2523162A1 (en) Learning device, identification device, learning identification system and learning identification device
Marcuzzo et al. Automated Arabidopsis plant root cell segmentation based on SVM classification and region merging
KR20100108778A (ko) 영상정보 분류방법 및 장치
CN111553361B (zh) 一种病理切片标签识别方法
CN117635629A (zh) 利用部分注释图像训练实例分割算法
CN114037868B (zh) 图像识别模型的生成方法及装置
CN113408546B (zh) 基于相互全局上下文注意力机制的单样本目标检测方法
Iqbal et al. Towards Efficient Segmentation and Classification of White Blood Cell Cancer Using Deep Learning
JP2001307067A (ja) 欠陥検査装置
Jia et al. Coarse annotation refinement for segmentation of dot-matrix batchcodes
Sokolovas Cell Detection in Whole Slide Images With Out-of-Focus Corruption

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication