CN117635525A - 用于测试图像处理模型的敏感度的显微镜系统和方法 - Google Patents
用于测试图像处理模型的敏感度的显微镜系统和方法 Download PDFInfo
- Publication number
- CN117635525A CN117635525A CN202311069144.8A CN202311069144A CN117635525A CN 117635525 A CN117635525 A CN 117635525A CN 202311069144 A CN202311069144 A CN 202311069144A CN 117635525 A CN117635525 A CN 117635525A
- Authority
- CN
- China
- Prior art keywords
- parameter
- image processing
- image
- microscope
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 238
- 230000035945 sensitivity Effects 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000012360 testing method Methods 0.000 title claims abstract description 13
- 238000001000 micrograph Methods 0.000 claims abstract description 307
- 238000012549 training Methods 0.000 claims abstract description 112
- 239000013598 vector Substances 0.000 claims description 47
- 230000008859 change Effects 0.000 claims description 43
- 230000000694 effects Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000011109 contamination Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 description 36
- 230000008569 process Effects 0.000 description 30
- 238000012795 verification Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 28
- 238000005259 measurement Methods 0.000 description 20
- 238000004458 analytical method Methods 0.000 description 15
- 238000000513 principal component analysis Methods 0.000 description 15
- 241000894006 Bacteria Species 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 9
- 230000006399 behavior Effects 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 7
- 238000000926 separation method Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000010200 validation analysis Methods 0.000 description 5
- 238000013145 classification model Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000003908 quality control method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000700605 Viruses Species 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 230000001580 bacterial effect Effects 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000004005 microsphere Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008555 neuronal activation Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000010206 sensitivity analysis Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Microscoopes, Condenser (AREA)
Abstract
在用于测试图像处理模型(M)的敏感度的计算机实现的方法中,使用包括显微镜图像(20)的训练数据(T)来训练图像处理模型(M)。训练数据(T)还用于形成生成式模型(Gen),该生成式模型能够从输入参数集(P)产生生成的显微镜图像(25)。生成式模型(Gen)用于通过使参数集(P)中的至少一个参数(Pa‑Pz)变化来产生生成的显微镜图像(25)的系列(24a‑24z)。使用图像处理模型(M)从每个生成的显微镜图像(25)计算图像处理结果(R)。然后基于图像处理结果(R)之间的差异确定图像处理模型(M)对至少一个参数(Pa‑Pz)的敏感度(S)。
Description
技术领域
本公开涉及用于测试图像处理模型的敏感度的一种显微镜系统和一种方法。
背景技术
在现代显微镜系统中,机器学习的图像处理模型在处理和分析捕获的显微镜图像中的作用的重要性持续增加。机器学习的图像处理模型被用于例如自动定位样本、对样本类型进行分类、通过图像分割来确定汇合(即,被生物细胞覆盖的区域),或者自动计数显微镜图像中的细胞数量。经学习的图像处理模型也用于样本结构的虚拟染色或用于图像增强,例如用于降噪、分辨率增强或伪影去除。
在许多情况下,显微镜用户用他们自己的数据来训练这样的模型。由申请人开发的显微镜软件允许用户在没有机器学习领域的专业知识的情况下,使用他们自己的数据执行训练过程。这很重要,因为它有助于确保模型适合由用户处理的图像的类型。此外,还在努力以使得并入新显微镜数据的训练过程尽可能自动化。在所有这些情况下,一旦图像处理模型的训练已经完成,图像处理模型的质量控制是必不可少的。
质量控制传统上利用验证数据执行。所提供的显微镜图像的数据集被分成训练数据和验证数据。构成训练数据的显微镜图像用于图像处理模型的模型权重的迭代调整。在该训练已经完成后,构成验证数据的显微镜图像被输入到图像处理模型中,并且计算的图像处理结果与预定义的注释(基础事实数据)进行比较。图像处理结果和注释之间的对应性越大,就假定模型质量越高。
然而,仅仅高验证精度并不能保证图像处理模型能够正确处理不形成从中提取训练数据和验证数据的数据集的一部分的显微镜图像。这里使用计算样本分类的图像处理模型作为例子来解释这个问题。该模型旨在能够判别多种类型的细菌,以便正确地对显微镜图像中显示的样本进行分类。具有相应的显微镜图像和分别预定义的类别指定的数据集用于训练。该模型学习根据特定特征计算类别指定。这将参照图1进行更详细的解释。图1示意性地示出了由至少两个特征F1、F2张成的低维特征空间。特征空间中的训练数据的显微镜图像的表示被称为特征向量30。特征向量30由点表示,该点的坐标指示特征F1、F2……的值。分类模型旨在学习基于特征F1、F2分配正确的类别指定。在图1中,特征向量30由圆和正方形表示,它们象征不同的预定义注释。在这个例子中,圆和方块代表两种不同类型的细菌。显微镜图像是在不同的测量日D1、D2、D3捕获的,其中测量日D1、D2、D3在图1中由实心、空心和灰色阴影的圆或正方形区分。例如,黑色实心圆和正方形表示测量日D2的显微镜图像的特征向量30,而空心圆和正方形表示测量日D1的显微镜图像的特征向量30。在这个例子中,测量日D1和D2的显微镜图像或特征向量30被提供用于训练和验证,而测量日D3的显微镜图像或特征向量30仅在训练完成后在推断阶段被处理。
从图1中可以看出,测量日D1、D2、D3对显微镜图像的特征F1、F2具有强烈的影响。测量日D1的显微镜图像的特征向量30因此形成岛i1,该岛i1位于与另一测量日D2或D3的显微镜图像的特征向量30的岛i2或i3相距一定距离处。例如,当不同测量日D1-D3的环境照明不同时,会出现这种与测量日的不期望的相关性。因此,测量日构成了影响(偏差),由此不再可能从特征向量的坐标可靠地计算正确的类别指定。在图1中,尽管特征向量30的位置显示不同类型的细菌在特征F1、F2方面不同,但是偏差“捕获日”的影响如此之强,以至于在不知道捕获日的影响的情况下,不可能推断特定类型的细菌。如果图像处理模型(分类模型)的训练数据和验证数据来源于测量日D1和D2的数据集,那么理想情况下,应该可能会用验证数据来确立图像处理模型没有表现出高的分类精度。但是,根据数据如何被划分为训练数据和验证数据,情况并非如此。例如,可以规定,该数据集的每第十个显微镜图像用作验证图像,而其余的显微镜图像用作训练数据。在这种情况下,来自岛i1和i2的显微镜图像都既被用于训练数据又被用于验证数据。结果,基于验证数据建立了高验证准确度。然而,由测量日D3的测量数据象征的未来测量日的新测量数据在特征空间中形成新的岛i3,其在位置上不同于训练的岛i1-i2。因此,不可能可靠地确定正确的类别指定。原则上,通过将数据集分成训练数据和验证数据的不同划分,有可能检测到这个问题。例如,一个岛的底层显微镜图像,例如捕获日D2的岛i2的底层显微镜图像,可以专门用作验证数据而不是训练数据。基于这样的验证数据,可以确定充分描述模型质量的较差的验证精度。然而,这种分成训练数据和验证数据的划分需要大量的专业知识,并且通常很难自动化。例如,有必要知道显微镜图像的哪些区别特征应该与决策相关,哪些不应该,并且需要为训练数据指定这些区别特征。除了捕获日外,特征空间中的不期望的岛也可能由许多其他因素引起,例如不同测量设备的使用、不同的设备设置、不同的数据处理步骤或不同的样本制备或样本来源,特别是在来自不同患者的样本的情况下。
对于基于验证数据的常规质量控制,在相应图像处理结果的计算中,哪些数据特征对于模型是决定性的并不明显。仅输出的图像处理结果的正确性被检查。然而,图像处理结果是否可归因于不期望的数据特征(例如归因于测量日)的问题仍然存在。
基于验证数据的质量控制通常也不考虑干扰因素的影响,这些干扰因素实际上是可以预期的,但是验证数据并没有以有代表性的方式覆盖这些干扰因素。一个很好的例子是图像噪声,它实际上可能以统计相关的方式不同于验证数据的图像噪声。在这种情况下,不可能基于验证数据来预测图像处理模型是否能够计算正确的图像处理结果。
作为背景信息,参考:X.Glorot等人的(2010):"Understanding the difficultyof training deep feedforward neural networks”。该文章描述了训练和验证神经网络的典型步骤。
在“Ian Goodfellow等人的(2014):"Generative Adversarial Nets",arXiv:1406.2661v1[stat.ML]10Jun 2014”中,描述了生成式对抗网络的训练过程。
解释为什么一模型提供特定的输出是期望的。传统上,这通常是通过人工分析神经元激活而得出的。来自验证数据的图像被用于此目的。例如,可以检查给定输入图像的哪些图像区域是决策相关的,以及针对给定输入图像激活了哪些模型参数,参见Zhou,E.等人的“Learning Deep Features for Discriminative Localization,CVPR 2016”。然而,这种方法不能确定哪些因素导致了模型决策,或者不同的因素在多大程度上导致了模型决策。这一弱点也适用于对内部输出层的激活的分析,从而确定哪些特征映射在模型决策中起着重要作用,参见Zeiler,M.D.等人的“Visualising and UnderstandingConvolutional Networks”,在D.Fleet等人的“(Eds.):ECCV 2014,Part I,LNCS 8689,pp.818-833,2014,Springer International Publishing Switzerland”中。
在DE 10 2021 100 444 A1中,由验证数据的显微镜图像产生最小变化的显微镜图像,例如通过模糊图像,以测试图像处理模型。从这些显微镜图像中的每一个计算图像处理结果。如果这些图像处理结果基本上不对应,这表明模型鲁棒性低。然而,尽管这种方法允许对图像处理模型的一般鲁棒性进行估计,但是它不能揭示训练数据中的偏差,例如图1中所示的偏差。此外,在图像处理结果的计算中,不能确定哪些因素是决策相关的。
发明内容
可以认为本发明的目的是提供一种显微镜系统和方法,其可以以特别有意义的方式确定用于处理显微镜图像的机器学习的图像处理模型的敏感度。
这个目的通过具有独立权利要求的特征的显微镜系统和方法来实现。
在用于测试图像处理模型的敏感度的计算机实现的方法中,使用包括显微镜图像的训练数据来训练图像处理模型以从输入的显微镜图像计算图像处理结果。训练数据还用于形成生成式模型,该生成式模型能够从输入的参数集产生生成的显微镜图像。利用生成式模型产生至少一系列生成的显微镜图像,其中至少一个参数被改变。借助于图像处理模型,从该系列的所生成的显微镜图像中的每一个分别计算图像处理结果。基于图像处理结果之间的差异,对于在该系列的生成的显微镜图像中变化的至少一个参数,确定图像处理模型的敏感度。
计算的图像处理结果可以采取例如分类的形式。通过本发明确定了哪些参数对计算的分类具有重要影响。虽然自然显微镜图像通常同时在许多特征上不同,并且因此在许多参数上不同,但是生成式模型允许以有针对性的方式修改一个或多个参数,并且其他参数保持不变。因此,只有通过生成式模型,才有可能捕获单个参数对图像处理结果的影响,例如对分类的影响。知道了图像处理模型对不同参数的敏感度,使得能够进行更好的模型测试,以及确定设计用于提高模型质量的可选措施。特别地,可以分析为什么(即基于哪些参数)图像处理模型决定特定的输出,例如特定的分类。使用所确定的敏感度,还可以揭示训练数据中的偏差,即训练数据中的不期望的影响因素。因此,根据本发明确定的图像处理模型的敏感度以常规测试方法不能提供的方式提供了关于决策相关因素的信息。
本发明还涉及一种显微镜系统,包括用于图像捕获的显微镜和计算设备。计算设备被配置成执行根据本发明的方法。
本发明的计算机程序包括命令,当计算机执行该程序时,这些命令导致执行根据本发明的方法。
可选实施例
根据本发明的显微镜系统和根据本发明的方法的变型是从属权利要求的主题,并在下面的描述中解释。
为了便于更好地理解本发明,首先描述关于生成式模型如何从输入的参数集产生生成的显微镜图像的主题的示例实施例。然后解释如何确定图像处理模型对这些参数的敏感度。接下来,描述如何根据本发明利用所确定的敏感度来形成更高质量的图像处理模型的例子。
生成式模型
使用显微镜图像形成生成式模型,特别是估计和/或训练生成式模型。所讨论的显微镜图像可以由图像处理模型的训练数据的所有或至少多个显微镜图像构成。生成式模型旨在能够从输入数据产生生成的显微镜图像。这里的“输入数据”是指进入到生成式模型中的输入参数或参数集。该输入数据不存在于显微镜图像或处理过的图像数据中。生成的显微镜图像应该类似于训练数据的显微镜图像,例如,它应该看起来源于显微镜图像的特征的统计分布,使得判别程序不能可靠地辨别生成的显微镜图像和训练数据的显微镜图像。
可以使用显微镜图像以通常已知的方式形成生成式模型。形成生成式模型的不同方法解释如下:
可以为显微镜图像计算(基本)成分的分解。显微镜图像通过基本成分的组合而被再现。例如,可以采用主成分分析(PCA)来分解和确定基本成分。参数被乘以基本成分,随后形成总和,以便产生显微镜图像,即,以便再现训练数据的显微镜图像。基本成分也可以通过基于PCA的方法来确定,例如通过主动外观模型(AAM)。特别地,AAM可以如下面描述地被使用:Xinbo Gao等人的“A Review of Active Appearance Models”,IEEE TRANSACTIONSON SYSTEMS,MAN,AND CYBERNETICS-PART C:APPLICATIONS AND REVIEWS,VOL.40,NO.2,MARCH 2010。该文章的内容,特别是AAM的设计,通过引用并入本文。基本成分也可以通过非负矩阵分解(NMF)形成。在NMF中,给定的矩阵由两个(或更多)矩阵的乘积来近似。这两个矩阵包含的参数/元素比所述给定矩阵少得多。也可以采用独立成分分析(ICA)来确定组合起来可以再现显微镜图像的成分。
生成式模型也可以由深度神经网络形成,例如由生成对抗网络(GAN)或由基于自编码器的模型形成,特别是由自编码器的解码器形成。可以对显微镜图像进行预处理,用于形成生成式模型。该处理可以包括例如配准,通过该配准,样本或样本结构在显微镜图像中以相同的尺寸或放大率显示在相同的位置。
生成式模型可以被自动计算或手动创建。例如,当可以很好地模拟显微镜图像时,特别是当显微镜图像中不具有独特纹理的对象与图像处理相关时,手动创建是合适的。后者包括不能被显微镜分辨或分辨程度不够的对象,例如单个分子、细菌或珠,即在显微镜图像中可见的能够用特定抗原包被的微球体。特别地,单个分子实际上是点源,并且显示为系统的脉冲响应,即,显微镜图像中的点扩散函数(PSF)。PSF大部分是钟形的,并且没有纹理。当图像数据没有覆盖图像处理模型旨在能够处理的所有方面时,生成式模型的手动创建也可能是有利的。例如,手动形成的生成式模型可以模拟原始显微镜图像中不存在的伪影、噪声或误差。这使得分析图像处理模型对噪声、伪影或其他误差的敏感度成为可能。当参数的语义解释在其他情况下很困难时,手动形成生成式模型也是有用的,这将在后面更详细地描述。
也可以结合生成式模型的自动和手动设计。例如,可以首先使用可用的显微镜数据来部分学习生成式模型。生成式模型随后被手动补充以另外的参数,例如,复制另外的噪声变化、锐度变化或光学成像误差。
参数配置
参数配置或定义的参数集被理解为意味着为生成式模型的每个输入参数定义了特定值。根据这样的参数配置,生成式模型可以计算特定生成的显微镜图像。训练数据的每个显微镜图像可以通过特定的参数配置来重建。
术语“参数集”和“参数的集”是同义使用的。将参数集输入到生成式模型中所依据的描述应该被理解为意味着将参数集的参数的特定值,即特定的参数配置,输入到生成式模型中。
参数的变化涉及特定参数配置中的参数的值。由此产生多个参数配置,这些参数配置在至少一个参数的值上不同,而其余参数保持相同的值。从这些参数配置产生一系列生成的显微镜图像。
可以定义参数配置,即参数集的值,使得通过将该参数集输入到生成式模型中,可以从该参数集中产生训练数据的显微镜图像特征。特征显微镜图像可以被理解为位于训练数据的显微镜图像的图像特征的统计分布内。
例如,可以为训练数据的多个或所有显微镜图像计算各自的参数配置。这些参数配置也可以被称为生成式模型的特征空间中显微镜图像的潜在代码或潜在空间嵌入/表示。如果显微镜图像的潜在代码被输入到生成式模型中,则生成的显微镜图像从该生成式模型中产生,该生成的显微镜图像再现显微镜图像或者至少尽可能接近该显微镜图像。可以从多个或所有显微镜图像的潜在代码表示中计算质心/平均值。该质心指定了参数配置,通过该参数配置可以产生训练数据的生成的显微镜图像特征。替代地,训练数据的显微镜图像的对训练数据的显微镜图像特征进行编码的潜在代码表示可以用作参数配置。更一般地说,可以选择生成式模型的特征空间中的特征向量作为定义的参数配置或参数集,该特征向量位于特征空间中由训练数据的显微镜图像的潜在代码表示所跨越的区域内。
原则上,可以首先选择一显微镜图像作为特征,然后将其潜在代码表示用作定义的参数配置。对显微镜图像之一的选择可以发生在与生成式模型的特征空间不同的维度减少的特征空间中。例如,可以从训练数据的显微镜图像中计算t-SNE(t-分布式随机邻居嵌入)。在t-SNE中,每个显微镜图像由特征空间中的一点表示,其中点之间的距离越大,相关显微镜图像之间的差异越大。选择该嵌入中的中心点;相关联的显微镜图像被认为是训练数据的特征,并且该显微镜图像的潜在代码表示可以用作参数配置。
参数的变化范围
产生不同的参数集,生成式模型根据这些参数集产生一系列生成的显微镜图像。为了产生不同的参数集,可以从一参数集开始,然后同时使单个参数或多个参数变化。
当参数变化时,变化的参数的值覆盖一范围。该范围位于(特别是预定的)变化范围内,该变化范围应当基于在训练数据的显微镜图像中发现的参数方差。特别地,在机器学习模型的情况下,参数方差可以例如通过计算训练数据的多个或所有显微镜图像在生成式模型的特征空间中的相应投影来确定,即通过计算相应的特征向量/潜在代码表示来确定。这些特征向量的特定参数的值的方差表示参数方差。
为了产生一系列显微镜图像,至少一个参数的变化范围可以被设置为覆盖在训练数据的显微镜图像中发现的参数变化的至少60%或至少70%的值。变化范围尤其可以设定为显微镜图像中发现的参数变化的95%、98%或99%以上。原则上,高于100%的值也是可能的,尽管这带来了关于生成的显微镜图像看起来有多逼真的某种不确定性。根据所选的参数配置,变化范围不一定以参数配置中所选的参数值为中心。
使用显微镜图像的反向投影特征向量来确定参数方差应该理解为仅仅是一个例子。还可以更直接地从生成式模型中导出参数方差:例如,在PCA中,由主成分解释的显微镜图像的方差可用于每个估计的主成分。该主成分的参数的变化范围可以从该方差中导出。
改变多个参数并产生多个系列的显微镜图像
生成式模型也可以用于产生多个系列的生成的显微镜图像。所述系列的不同之处在于参数是变化的或多个参数是如何同时变化的。特别地,每个参数可以单独变化,从而为每个变化参数产生一系列生成的显微镜图像。
如果同时使多个参数变化,则生成式模型的特征空间中的相应参数配置或相应特征向量在原则上可以自由选择的方向上改变。一般来说,为了产生多组生成的显微镜图像,可以在特征空间的不同方向上改变特征向量。对于每组生成的显微镜图像,特征向量在特征空间的方向上偏移/改变。如果这些改变方向中的每一个都对应于特征空间的一个轴,那么对于每个系列,恰好有一个参数是变化的。然而,特征空间中的改变通常可以在任何方向上进行,其中为不同的系列选择特征空间中的不同方向(特别是相互垂直的方向)。因此,对于每个系列,所有参数也可以同时变化,其中这些系列的不同之处在于参数如何同时变化。单个参数的变化尤其适用于特征空间高度结构化的情况,例如由StyleGAN或无别名GAN生成的生成式模型的情况。
可以从训练数据的显微镜图像的潜在代码表示的分布中确定参数配置的一个或多个参数的变化的合适方向。当结果的参数配置仍然位于生成式模型的特征空间中的潜在代码表示的分布内时,变化方向(和变化增量)是合适的。变化方向不必是直线,而是可以沿着特征空间中基本上任何形式的线延伸。例如,可以通过定义起始和目标参数配置来确定变化方向或变化路径,起始和目标参数配置都位于训练数据的显微镜图像的潜在代码表示的分布内,然后通过线连接起始和目标参数配置。原则上,该线在特征空间中可以采取直线的形式。替代地,可以用考虑了特征空间中显微镜图像的潜在代码表示的密度的度量来计算起始和目标参数配置之间的最短路径。密度越高,路径或距离越短。因此,起始参数配置和目标参数配置通过一条线连接,该线在特征空间中穿过其中定位了特别大量的潜在代码表示的区域。这保证了一系列生成的显微镜图像看起来逼真。起始参数配置和目标参数配置可以是两幅显微镜图像的反向投影。可以选择具有不同注释(例如不同的类别指定)的两幅显微镜图像。这产生了一系列生成的显微镜图像,对于这些生成的显微镜图像,图像处理模型应该计算出显著不同的图像处理结果(例如,不同的类别指定)。
替代地或附加地,起始参数配置和目标参数配置可以是具有相同注释的两个显微镜图像的反向投影。这些起始和目标参数配置可以通过特征空间中的路径来连接,该路径沿着也具有相同注释的训练数据的显微镜图像的特征向量。这产生了一系列生成的显微镜图像,这些生成的显微镜图像将导致基本上相同的图像处理结果,例如相同的类别指定。
为了简单起见,当可以通过使不同的参数变化来产生不同系列的生成的显微镜图像时,通常使用“通过至少一个变化参数”的表述来解释本发明的变型。本发明的这些变型还包括在特征空间中使用不同的参数变化方向来产生不同系列的显微镜图像。对于不同系列的显微镜图像,可以改变相同的参数,尤其是所有参数,其中参数配置在特征空间中的不同方向上变化。不同系列的显微镜图像可以从共同的参数配置开始,也可以从不同的参数配置开始。
特征空间中的参数配置、变化范围和/或变化方向的确定不一定必须自动发生,而是通常也可以半自动地或完全手动地实现。
识别决策相关参数
如果分析了多个参数,则随后可以确定哪些参数对于图像处理模型是最与决策相关的。
首先通过生成式模型产生多个系列的生成的显微镜图像,其中这些系列的不同之处在于参数是变化的或者多个参数是如何变化的。图像处理结果是从所有系列生成的显微镜图像中计算出来的。对一系列的图像处理结果进行分析,以确定它们之间的差异如何显著。差异越大,图像处理模型对相关变化的敏感度越高。这些敏感度可用于识别图像处理模型对其表现出最大敏感度的参数,即,对图像处理模型的输出具有最大影响的参数。
参数语义
一系列的生成的显微镜图像可用于确定至少一个参数对生成的显微镜图像的产生的影响。一系列的生成的显微镜图像的参数配置仅在至少一个参数的所实施的变化上有所不同,因此该变化的效果或意义从该系列的生成的显微镜图像中是显而易见的。
因此,可以基于一系列生成的显微镜图像来确定参数语义。参数语义指定了通过使至少一个参数改变而改变的显微镜图像特征。
参数语义可以是,例如,所描绘的样本的几何特征(例如,大小、形状或取向)。因此,相应的参数改变了所描绘的样本的大小、形状或取向。参数语义还可以涉及所描绘的样本的数量或位置、所描绘的样本的亮度或亮度分布、或者其中没有样本的背景的亮度或亮度梯度。
对于每个变化参数,可以自动确定生成的显微镜图像中所导致的改变是否对应于多个预定参数语义中的一个。例如,可以自动确定哪个(些)参数定义了背景亮度,哪个(些)参数指定了样本的几何特征。
背景亮度和样本亮度可以以自动方式确定,例如,通过首先根据类别“样本”和“背景/非样本”计算生成的显微镜图像的分割。这可以例如通过使用机器学习的图像分割模型来发生。然后确定所生成的显微镜图像在分割中被识别为背景或样本的区域的平均像素亮度。这确定了背景亮度和样本亮度。如果在一系列生成的显微镜图像中,基本上只有以这种方式计算的背景亮度发生改变,则语义“背景亮度”可以分配给为该系列变化的至少一个参数。同样可以使用分割掩码自动计算几何特征,从而可以以类似的方式确定和分配相应的参数语义。
更一般地说,可以为多个已知参数语义分别存储已知参数语义对(生成的)显微镜图像有什么影响。已知的参数语义可以涉及以下中的一个或多个:样本大小、样本形状、样本取向、样本亮度、样本亮度梯度、样本位置、样本数量、样本纹理、背景亮度、背景亮度梯度、描绘的背景结构、伪影、污染、图像失真、反射或样本载体部件的几何特征。通过确定相同系列的生成的显微镜图像之间的差异是否精确地对应于已知参数语义之一的一个效果来确定参数语义。如果是这种情况,则相应的已知参数语义可以被分配给变化的至少一个参数。
特别地,可以针对每一系列生成的显微镜图像来确定参数语义。
描述了不同的示例实施例,根据这些实施例,使用一系列生成的显微镜图像来确定参数语义。这些将被理解为示例,并且其中参数语义已经预先已知的变型是可能的。
图像处理模型的敏感度
在至少一个参数的变化对图像处理模型的图像处理结果具有影响的意义上,理解图像处理模型对至少一个参数的敏感度。变化参数对图像处理模型的输出的影响越大,敏感度越高。图像处理模型的输入数据由从通过改变所述至少一个参数产生的参数集计算的生成的显微镜图像构成。
总的来说,可以通过以下方式计算敏感度:改变参数,产生相关的一系列的生成的显微镜图像,从生成的显微镜图像中计算图像处理结果(例如,类别指定),以及捕获图像处理结果之间的差异程度,作为各个变化参数的函数。
图像处理模型对所述至少一个参数的敏感度可以以图像处理结果之间的差异程度的形式被定量地确定,所述图像处理结果是从通过使所述至少一个参数变化而产生的生成的显微镜图像计算的。差异程度尤其可以作为所述至少一个变化参数的值的函数而被捕获。
例如,图像处理模型可以是分类模型,并以分类概率的形式计算图像处理结果,即(生成的)显微镜图像属于特定类别的概率。如果总是或主要从通过改变所述至少一个参数而产生的生成的显微镜图像中计算出相同的类别,则差异程度为零或低,使得图像处理模型对该参数不敏感或敏感度低。另一方面,如果变化参数对计算的类别概率有强烈的影响,则差异程度高,并且图像处理模型对变化参数具有高敏感度。
在二元分类的情况下,对于每个变化参数,可以以这种方式计算模型输出的相应差异程度,从而计算敏感度。在涉及两个以上类别的分类的情况下,模型输出包括估计形式的多个概率,即生成的显微镜图像属于不同类别的概率。在这种情况下,差异程度可以由多维输出空间中的轨迹来表示。替代地,再次在涉及两个以上类别的分类的情况下,也可以为每个输出类别分别计算曲线并可选地显示。然后可以指示针对每个输出类别的敏感度。
在回归中,图像处理模型输出至少一个数字,如果在特定数字范围内合适,该至少一个数字可以具有任意值。在这种情况下,可以将模型输出的值图显示为变化参数或相关统计的函数。
在检测的情况下,图像处理模型在(生成的)显微镜图像中检测至少一种预定义的对象类型。检测输出尤其可以采取被检测对象的数量、位置或大小的形式。数量、位置和/或大小的差异可以被计算为一个或多个差异程度。该至少一个差异程度被捕获为变化参数的函数。
在分割中,差异程度可以计算为片段在形状、大小、数量和位置以及它们的边界上变化的程度。
如果图像处理模型执行图像到图像的变换,则差异程度被确定为输出图像不同的程度。可以逐个像素地确定该差异,并且可选地显示该差异,其中,为每个像素计算值曲线,作为变化参数的函数。替代地,可以为图像的全部内容或由多个像素构成的图像区域计算单个差异程度。这种差异可以通过评估模型自动量化。还可以计算输出图像的空间平均值之间的差异。空间平均值可以对应于图像的平均像素亮度。输出图像的平均像素亮度或平均像素亮度的差值相对于至少一个变化参数被绘制。在为图像区域确定差异程度的情况下,可以为形成例如NxN网格的不同图像区域计算多个差异程度。替代地,可以通过基于结构的分析来计算输出图像之间的差异程度,例如通过分割相关区域、然后计算来自不同图像的片段之间的差异,其中可以关于片段的形状、大小、数量、位置和/或边界来捕获差异。
作为变化参数的函数的计算的敏感度或差异程度可以可选地显示给用户。可视化可以采取分别计算的差异程度的图表的形式,特别是作为变化的至少一个参数的值的函数,或者作为所使用的生成的显微镜图像的编号的函数。该编号指定了生成的显微镜图像的序列,其中至少一个参数是变化的。
敏感度分析
原则上可以手动和/或自动地分析所确定的敏感度。可选地,在分析中可以考虑所确定的参数语义。
为了考虑到参数语义,可以首先定义图像处理模型对预定义参数语义的参数的预期敏感度。这定义了特定显微镜图像特征对图像处理结果的计算的预期影响。然后进行比较,以确定其所确定的参数语义与预定义的参数语义匹配的一个或多个参数的所确定的敏感度是否对应于预期的敏感度。如果所确定的敏感度与预期的敏感度不一致,则发出警告。
在具体示例中,可以确认某个图像处理模型应该对样本类型进行分类,并且分类结果不应该依赖于图像噪声行为、背景亮度或潜在描绘的背景结构。在这种情况下,定义了图像处理模型对预定义参数语义“图像噪声行为”、“背景亮度”和“背景结构”的预期敏感度应该理想地为零。使不同的参数变化,并且基于相关的一系列生成的显微镜图像来确定变化参数的参数语义。识别其所确定的参数语义与预定义的参数语义“图像噪声行为”、“背景亮度”或“背景结构”之一相匹配的一个或多个参数。确定图像处理模型对这些参数的敏感度,并与预定的敏感度进行比较。在出现差异的情况下,发出警告,在该示例中,该警告指示分类依赖于图像噪声行为、背景亮度或背景结构,这是不期望的。
敏感度的分析或敏感度与预期敏感度的比较可以自动或手动地执行,并且可以特别涉及一个或多个以下因素:
-检测指示作为变化参数的函数的图像处理结果的曲线中的(非线性)线性变化。也可以捕获该曲线的多个拐点。
-与平滑曲线相对地,检测上述曲线中的突然变化或跳跃。也可以考虑到曲线的斜率,并将它们与例如预定的阈值进行比较。
-确定相同系列的显微镜图像的图像处理结果之间是否有任何改变或周期性改变。
-确定在参数变化下图像处理结果的对称行为。通常,图像处理结果的改变应该与由参数变化引起的生成的显微镜图像的改变对称。例如,处于相同/对称方式的生成的显微镜图像中的图像内容的偏移应该在计算的图像处理结果(例如分割掩码)或输出图像中产生偏移。
可选地,变化参数中的一些根据上述标准被预先选择,并且或者自动经历进一步的分析,或者被建议给用户进行手动分析。例如,当指示作为相关的变化参数的函数的图像处理结果之间的差异的曲线具有显眼的部段(例如跳跃)或者在特别大的间隔上变化时,可以选择该变化参数。
对于敏感度的手动分析,指示作为相关的变化参数的函数的图像处理结果之间的差异的曲线可以与从其计算图像处理结果的生成的显微镜图像一起显示。可选地,可以提供交互式配置选项,通过该选项,用户可以改变变化参数的值。利用生成式模型和图像处理模型,直接生成并显示相应的生成的显微镜图像和由此计算的图像处理结果。
图像处理模型响应于已知判别因素的验证
有可能知道应该确定图像处理结果的判别因素。同样有可能知道对图像处理结果没有影响的因素。敏感度和参数语义可用于验证已知的判别因素确实是决定图像处理结果的影响因素/决定因素。还可以验证,特定因素没有施加不希望的影响(偏差),因为已知它们应当不具有影响。例如,在细胞状态分类中,细胞形态应该具有最大的影响,而背景亮度应该对计算的分类没有影响或者至少几乎没有影响。
更一般地说,基于所确定的敏感度,可以进行对相关的变化参数是否是用于计算图像处理结果的判别因素的分类。分类可以采取是/否或分数的形式。以所描述的方式为变化参数确定相应的参数语义。为不同的参数语义存储规范,规定相关联的参数是否应该是计算图像处理结果的判别因素。检查在被分类为判别因素的参数和为相应的参数语义存储的规范之间是否存在矛盾。在出现矛盾的情况下,输出警告。
参数语义可以包括例如以下中的一个或多个:背景亮度;图像或背景的锐度;图像噪声;所描绘的对象的几何形状、数量、大小、位置和/或布置;所描绘对象的纹理;污染、伪影或反射。
为每个参数语义存储该参数是否应该是图像处理结果的计算的判别因素。什么应该构成判别因素可以取决于图像处理模型。例如,在肿瘤诊断中,特定细胞类型的形状可以是判别因素,而对于简单分类图像中是否存在细胞的模型,细胞类型的形状不应该是判别因素,或者至多应该仅仅是微弱的判别因素。
在被分类为判别因素的参数和为相应的参数语义存储的规范之间存在矛盾的情况下,可以建议增强训练数据,如稍后更详细描述的。
敏感度对生成的显微镜图像的方差的依赖性
可以基于敏感度来验证在(生成的)显微镜图像中引起较小变化值的参数对图像处理结果的影响也较小。例如,作为规则,图像处理模型应该对图像噪声不表现出敏感度或者仅仅表现出低敏感度。与其他(决策相关)参数相比,与图像噪声相关的参数在生成的显微镜图像中导致较小的变化值。因此,可以基于变化值以简单的方式执行自动分析。
在一些生成式模型中,例如,当它们基于PCA时,基本/主分量已经根据训练数据的显微镜图像的变化值的比例有多大进行了排序,这通过相应的基本/主分量来解释。利用这些生成式模型,参数已经根据它们各自对显微镜图像中的变化值的贡献而被分类。敏感度应该根据这个降序降低。如果不是这种情况,可以发出警告。
在相关的实施例中,分别为每个系列的生成的显微镜图像确定变化值,该变化值指定了相同系列的生成的显微镜图像之间图像内容不同的程度。基于所确定的变化值,然后可以确定导致最小变化值的变化参数。然后,检查导致最小变化值的变化参数是否也对图像处理结果具有最小的影响,即,比其他变化参数(的大多数)更小的影响。
图像处理结果的似然性检查
当参数变化时,可以使用在模型输出中表现出相同行为的参数来估计是否产生似然的图像处理结果。例如,生成的显微镜图像或相关的参数语义可以自动地相互比较,或者并排显示用于手动比较。
换句话说,可以识别确定了相似敏感度的参数。然后,通过比较在识别的参数变化期间产生的显微镜图像,对相似敏感度的似然性进行估计。
对结构或形态的敏感度
使用所确定的敏感度,可以检查对于图像处理结果的计算是决定性的是结构(纹理)还是形态学(几何形状)。特别地,可以确定被分类为判别因素的参数是否代表显微镜图像中所描绘的对象的纹理或几何形状。为了进行这种区分,确定一系列显微镜图像中的差异。如果差异涉及例如所描绘的对象的位置或形状,则所讨论的参数涉及形态/几何特征。另一方面,如果这些几何特征在一个系列中是相同的,并且在一个对象的纹理中发现了差异,则相应的变化参数对结构/纹理进行编码。当知道是结构还是形态学与图像处理模型的定义任务更相关时,这种知识尤其相关。
增强
在增强中,通常通过计算产生新的显微镜图像,并将其添加到用于新训练的训练数据中。
可以根据所确定的图像处理模型的敏感度来推荐增强。可以向用户输出相应的推荐,或者原则上以自动方式实施增强。
可以推荐增强,例如,作为参数是否已经被分类为判别因素的函数。在训练数据中,应尽可能覆盖由于判别因素造成的图像变化。还可以根据训练数据的显微镜图像的潜在代码表示的变化值来推荐增强,其中变化值是在生成式模型的特征空间中被分类为判别因素的参数的方向上计算的。代替变化值,还可以考虑沿着特征空间中前述参数的方向的显微镜图像的潜在代码表示的数量或密度。对于由决策相关因素引起的图像变化,训练数据的密度应该尽可能高。对于其中参数变化导致所得图像处理结果之间的差异程度发生特别大的改变的参数配置,也可以推荐增强。在特征空间中该参数配置周围的区域中,训练数据的密度应该尽可能高。因此,可以借助于生成式模型(随机地)生成该范围内的参数配置并将其转换成生成的显微镜图像,然后将生成的显微镜图像用作图像处理模型的附加训练数据。
当一参数已经被分类为判别因素,但是对于相应的参数语义存储了该参数不应该是判别因素,则增强也是合适的。通常,例如具有语义“图像噪声”或“背景亮度”的参数不应该是判别因素。尽管高质量的图像处理模型不应该使用该参数进行判别,但是可以产生仅在被分类为图像处理模型的判别因素的参数上不同的多个生成的显微镜图像。可以可选地将相同的注释分配给这些生成的显微镜图像。注释在图像处理模型的训练中用作目标结果,并且可以是例如对于所讨论的显微镜图像相同的类别指定。注释也可以是,例如,手动、自动或半自动创建的分割掩码,然后用于所有所述显微镜图像。这种增强增加了所讨论的参数在新的训练之后不再是图像处理模型的判别因素的可能性。
图像处理模型
待测试的图像处理模型尤其可以被设计用于回归、分类、分割、检测和/或图像到图像的变换。图像处理模型可以特别地被配置成从至少一幅显微镜图像计算以下至少一项作为图像处理结果:
-关于显微镜图像中是否存在特定对象的陈述。这可以包括对对象或实例的重新识别,借助于该重新识别,特别检查在一个显微镜图像中识别的对象、对象类型或对象实例是否也在其他显微镜图像中被描绘。
-逆图像变换,通过该逆图像变换来估计给定图像变换的逆变换。
-与所描绘的对象有关的几何规格,例如对象的位置、大小或取向;所描绘对象的标识、数量或特征。特别地,还可以确定汇合,即显微镜图像被特定类型的对象覆盖的区域的比例。
-关于分析条件、显微镜设置、样本特征或图像特征的警告。显微镜设置可以涉及例如照度或其他照明设置、检测设置或焦点。
-异常或新奇检测。如果输入的显微镜图像显著不同于训练的显微镜图像,则确定相对于训练数据的异常或新奇。图像处理模型还可以充当监督器,并在出现未预先定义的差异时发出警告。
-控制命令、用于控制显微镜或显微镜部件的控制命令的建议,或者执行后续图像评估的命令/建议。控制命令可以涉及例如照明、检测、图像捕获、聚焦、样本台位置、使用中的滤波器或使用中的物镜的改变。控制命令还可以涉及使用中的辅助部件,例如浸没设备或自适应光学器件,特别是空间光调制器(SLM),通过该空间光调制器来修改波前。可以推荐或命令特定的图像评估,例如,作为在显微镜图像中确定哪些对象的函数。控制命令还可以涉及自动校正设置,从而调整物镜的校正环,以便补偿特定的像差。
-确定捕获参数,利用这些捕获参数来捕获后续的显微镜图像。
-用于校准的参数确定,例如确定至少一个摄像头的位置和/或取向。
-关于未来维护(预测性维护)的规范。这尤其可以是特定显微镜部件是否已经受到磨损和/或是否需要重新校准的规范。
-模型测试结果,通过该模型测试结果测试另一图像处理模型或其输出,例如由Auto-ML设计的模型。该模型可以对应于本公开中描述的图像处理模型之一。在测试模型输出的情况下,也可以建议模型输出的校正。
-其中例如所描绘的对象更清晰可见或者以更高的图像质量被描绘的输出图像,或者其中特定结构的描绘被抑制的输出图像。改善的可见度或更高的图像质量通常可以与所描绘的对象相关,例如在噪声降低(去噪)、分辨率增强(超分辨率)、对比度增强(例如伽马值或对比度扩展的调整)或去卷积的情况下。然而,改善的可见度也可以仅与特定对象相关,如在不同对比类型之间转换的情况下,由此实现特定结构的虚拟染色。例如,这种转换可以发生在明场和DIC(差分干涉对比)这两种对比类型之间。例如,可以通过伪影去除或通过背景的细节减少来抑制结构。伪影减少不一定需要与已经存在于捕获的原始数据中的伪影有关,也可以与通过图像处理产生的伪影有关,特别是在模型压缩的情况下。模型压缩简化了机器学习的模型,以便降低模型的存储或计算要求,其中模型精度会稍微降低,并且作为模型压缩的结果会出现伪影。用于计算输出图像的图像到图像变换也可以涉及图像区域的填充(修补),例如作为周围图像内容的函数的瑕疵或间隙的填充。输出图像也可以是所描绘的对象的密度图,例如通过标记单元或对象中心。还可以计算白平衡、HDR图像或去渐晕。白平衡从输入的显微镜图像中去除扭曲的颜色或色调,使得实际上无色的对象在输出图像中被描绘成无色的。在HDR图像中,与输入的显微镜图像相比,每个颜色通道的可能亮度差异的程度增加了。去渐晕去除了输入的显微镜图像的边缘阴影,或者通常去除了朝向图像边缘增加的其他效应,例如颜色改变、成像误差或图像锐度损失。信号分离(“解混”)也是可能的,其中提取一个或多个信号分量,例如为了估计从捕获的图像中对光谱范围的提取。图像处理模型还可以包括GAN(例如StyleGAN)的生成器。
-分类结果,其根据显微镜图像的所描绘的图像内容来指定到多个可能类别中的至少一个类别的分类。不同的类别可以涉及例如样本类型、样本载体类型或其特征,例如特定对象或样本成分的尺寸或数量。还可以检查显微镜图像中或特定图像区域中是否存在对象。对象可以包括例如细胞、病毒、细菌、其部分或颗粒。还可以对对象状态进行分类,例如细胞阶段,其中尤其可以区分活细胞和死细胞。这些类别还可以涉及显微镜特性、显微镜部件或捕获类型或后续测量和/或处理步骤的适用性。分类结果也可以与到模型中的点云形式的输入相关。点云表示显微镜图像在维度减少的特征空间中的测量结果或特征向量。该分类也可以是质量评定,例如关于图像捕获或预先执行的图像处理步骤。分类可以可选地采取顺序分类的形式,其中多个可能的类别形成一个顺序,例如在样本载体的质量评定或所描绘的对象的大小估计的情况下。一类别分类也是可能的,其中估计某一类别是否存在,而不更详细地定义另一类别。在所有的例子中,指定了类别成员的概率。特别是在顺序分类的情况下,还可以估计预定义类别之间的中间结果。前面提到的分类可以可选地经由“开集分类”来实现,其中检测输入数据是否来源于训练数据的分布并因此可以被分配到已知类别之一,或者它是否属于在模型的训练中没有考虑到的新类别。
-回归结果,其原则上可以涉及关于分类提到的例子,或者涉及例如样本容器的填充水平的确定、焦点确定、图像质量确定或多孔板、其他样本载体或其他对象的高度确定。
-光场计算,借助于光场计算,从至少一个输入的显微镜图像或输入图像数据估计样本的3D图像。
-分割,特别是语义分割或实例分割,或者检测特定结构,例如样本区域、不同样本类型或样本部分、一个或多个不同样本载体区域、背景、显微镜部件(例如用于保持样本载体的保持夹或其他部分)和/或伪影。分割可以通过交互式分割而发生,其中用户在一次性选择或多次迭代中选择显微镜图像中应该或不应该属于待分割对象的图像区域。分割也可以是全景分割,其中指示了被分割对象的语义和实例。检测可以被理解为对图像中是否存在一个或多个上述结构的指定,或者被理解为对一个或多个所述结构的位置的指定,其中位置的指定可以通过图像坐标或者例如通过围绕相应结构的框来进行,该框通常被称为边界框。大小或其他几何对象特征的规格也可以通过在列表中检测而被输出。
-数据缩减,通过该数据缩减产生输入的至少一幅显微镜图像的压缩表示。数据缩减尤其可以采取稀疏或压缩表示的形式(压缩感测)。
-机器学习模型的模型压缩,模型通过该模型压缩而被简化。例如,可以通过参数减少来获得运行时间的改善。待压缩的模型可以特别对应于本公开中描述的图像处理模型之一。
-模型选择:确定多个机器学习模型中的哪个将用于后续分析或图像处理。
-在完成模型训练之后或在仍在进行的模型训练(训练观察者)期间,对机器学习模型或机器学习模型的模型架构的评估。
-评估图像处理模型的模型输出,以便通过连续的主动学习来计算图像处理模型的模型参数的改进。
-用于进一步的机器学习模型的训练数据。所讨论的训练数据可以由这里提到的任何输出构成。
-显微镜的工作流程的监督结果。可以对图像数据进行评定,以检查是否已经发生了某些事件,例如普通或特定的样本载体或校准对象是否已经被放置在显微镜载物台上。捕获的音频数据的频谱数据或音频数据的其他表示也可以被评估用于工作流程的监督。
-另一图像处理模型的图像处理结果的置信度估计,其可以对应于例如本公开中描述的图像处理模型之一。
-从图像数据集中选择图像,其中所选择的图像类似于输入的显微镜图像(图像检索)。
可以根据前述函数选择图像处理模型的训练数据。训练数据可以包含显微镜图像或从其导出的图像,这些图像充当图像处理模型的输入数据。在受监督的学习过程中,训练数据还包括预定义的目标数据(基本事实数据),计算的图像处理结果应该理想地与所述目标数据相同。对于分割,目标数据采取例如分割掩码的形式。在虚拟染色的情况下,目标数据采取例如具有化学染色的显微镜图像、荧光图像或通常以与要输入的显微镜图像不同的对比类型捕获的显微镜图像的形式。
图像处理模型的架构
原则上,机器学习的图像处理模型的架构可以采取任何形式。它可以包括神经网络,特别是参数化模型或特别包含卷积层的深度神经网络。图像处理模型可以包括例如以下中的一个或多个:
·用于分类或回归的编码器网络,例如ResNet或DenseNet;·生成对抗网络(GAN)·编码器-解码器网络,例如U-Net;·特征金字塔网络;·全卷积网络(FCN),例如DeepLab;·顺序模型,如递归神经网络(RNN)、长短期记忆(LSTM)或变换器;·全连接模型,例如多层感知器网络(MLP);·决策树或由多个不相关的决策树构成的随机森林;·支持向量机。
一般特征
机器学习模型通常指定已经由学习算法使用训练数据学习的模型。模型可以包括例如一个或多个卷积神经网络(CNN),其中其他深度神经网络模型架构也是可能的。借助于学习算法,使用训练数据来定义模型的模型参数的值。为此,可以优化预定的目标函数,例如可以最小化损失函数。修改模型参数值以最小化损失函数,该损失函数可以例如通过梯度下降和反向传播来计算。
显微镜可以是光显微镜,其包括系统摄像头和可选的概观摄像头。其他类型的显微镜也是可能的,例如电子显微镜、X射线显微镜或原子力显微镜。显微镜系统表示包括至少一个计算设备和显微镜的装置。
计算设备可以以分散方式设计,可以是显微镜的物理部分,或者可以单独布置在显微镜附近或离显微镜任意距离的位置。它通常可以由电子器件和软件的任意组合形成,并且可以特别包括计算机、服务器、基于云的计算系统或者一个或多个微处理器或图形处理器。计算设备还可以被配置成控制显微镜部件。特别地,当通过使用多个单独设备的联合学习来学习模型时,可以采用计算设备的分散设计。
单数形式的描述旨在涵盖“恰好1个”以及“至少一个”的变型。因此,由图像处理模型计算的图像处理结果应被理解为至少一个图像处理结果。例如,用于虚拟染色的图像处理模型可以被设计成从一个输入的显微镜图像计算多个不同染色的输出图像。分割模型也可以被设计成从一幅输入的显微镜图像中计算多个不同的分割掩码。“一/所述(变化的)参数”的描述也应理解为“至少一个(变化的)参数”。
显微镜图像可以由显微镜捕获的原始图像数据形成,或者通过原始图像数据的进一步处理产生。进一步的处理可以包括例如亮度和对比度的改变、将单个图像结合在一起的图像拼接、从图像数据中去除瑕疵的伪影去除、或者产生分割掩码的分割。单个原始图像的不同区部也可以用作多个更小的显微镜图像。
本发明的已经被描述为附加设备特征的特征,当按照预期实施时,也产生根据本发明的方法的变型。相反,显微镜系统或者特别是计算设备也可以被配置成执行所描述的方法变型。
附图说明
下面参照所附示意图描述本发明的进一步效果和特征:
图1是在特征空间中嵌入显微镜图像的示意图;
图2是根据本发明的显微镜系统的示例实施例的示意图。
图3示意性地示出了根据本发明的方法的示例实施例的过程;
图4示出了根据本发明的方法的示例实施例的生成式模型的过程;
图5示出了根据本发明的方法的示例实施例的生成式模型的过程;
图6示出了生成式模型的特征空间;
图7示出了生成式模型的特征空间;
图8示出了根据本发明的方法的另一示例实施例的过程;和
图9示出了根据本发明的方法的示例实施例的其他过程。
具体实施方式
下面参考附图描述不同的示例实施例。通常,相似的元件和以相似方式起作用的元件用相同的附图标记表示。
图2
图2示出了根据本发明的显微镜系统100的示例实施例。显微镜系统100包括计算设备10和显微镜1,显微镜1在所示的例子中是光显微镜,但是原则上可以是任何类型的显微镜。显微镜1包括支架2,经由该支架2支撑另外的显微镜部件。后者尤其可以包括:照明设备5;物镜转换器/旋转器3,在所示的例子中,物镜4安装在其上;具有用于保持样本载体7的保持框架的样本台6;和显微镜摄像头9。当物镜4枢转到显微镜的光路中时,显微镜摄像头9接收来自样本可位于其中的区域的检测光,以便捕获样本图像。样本可以是任何对象、流体或结构。作为显微镜摄像头9的替代或添加,也可以使用目镜12。显微镜1可选地包括附加的概观摄像头9A,用于捕获样本载体7的概观图像。概观摄像头9A的视场9C大于显微镜摄像头9的视场。在所示的例子中,概观摄像头9A经由反射镜9B观察样本载体7。反射镜9B布置在物镜旋转器3上,并且可以代替物镜4被选择。
在本公开中,显微镜图像被理解为由显微镜捕获的原始数据或由其处理的图像数据,其可以源自概观摄像头9A或样本摄像头/系统摄像头9。
显微镜图像旨在由机器学习的图像处理模型来处理。该模型可以由计算机程序11执行,计算机程序11形成计算设备10的一部分。图像处理模型的训练数据的选择或设计在很大程度上决定了图像处理模型的功能有多好。然而,利用传统采用的验证措施来令人满意地验证学习的图像处理模型使用哪些特征来计算特定结果是不可能的。具有验证数据的图像处理模型的高精度不足以推断该模型表现出足够的鲁棒性。因此,有必要验证图像处理模型对于显微镜图像的哪些特征具有高敏感度。这将在下面参照下面的附图进行解释。
图3
图3示意性地示出了根据本发明的方法的示例实施例的过程。参照图2提到的计算设备10或计算机程序11被设计成执行该方法。
用于图像处理模型M的训练数据T包括多个显微镜图像20。对于监督的或部分监督的学习过程,为显微镜图像20的至少一部分提供注释A。在所示的例子中,注释A以不同类别指定C1、C2的形式被分配给显微镜图像20。例如,类别指定C1、C2可以指定显微镜图像中描绘的样本类型(例如特定类型的细菌或病毒)。
借助于训练数据T,图像处理模型M的训练V1以基本上已知的方式执行。在完成训练V1后,图像处理模型M应该能够从输入的显微镜图像中计算出理想的正确类别指定。图像处理模型M通常还可以被训练以输出其他图像处理结果,为此相应地使用其他注释A,如在前面的总体描述中更详细解释的。
训练成功可以通过验证V2以同样基本上已知的方式来测试。在验证V2中,在训练V1中没有使用的显微镜图像21被输入到图像处理模型M中,图像处理模型M由此计算图像处理结果R,即在该示例中的类别指定。确定显微镜图像21的计算的类别指定和预定义的正确类别指定之间的对应性。对应性越高,输出的验证结果50越好。然而,在这种已知的途径中,不可能检测不同的问题,作为其结果,尽管计算出极好的验证结果50,图像处理模型M可能具有不足的质量。参考图1讨论了问题的潜在原因。例如,当不同类别的显微镜图像在不合适的图像特征(例如,噪声行为、图像锐度或背景亮度)上不方便地碰巧不同时,图像处理模型M会主要基于不合适的图像特征来学习分配类别指定。如果验证数据源自相同的分布,则图像处理模型M也将能够基于噪声行为、图像锐度或背景亮度来估计验证数据的正确的类别指定,从而获得良好的验证结果50。然而,一旦具有不同噪声特性、图像锐度或背景亮度的显微镜图像要被分类,则图像处理模型M将最终获得显著降低的精度。
本发明使得可以证明在图像处理结果R的计算中,显微镜图像的哪些特征对于图像处理模型M是决定性的。因此,可以检测已经训练好的图像处理模型M是基于不期望的特征(例如背景亮度)还是基于潜在合适的特征(例如所描绘的对象的形状)来计算分类。为此目的进行的过程将在下面更详细地描述。
在过程V3中,使用训练数据T的多个或所有显微镜图像20形成生成式模型Gen。因此,生成式模型Gen能够从包含多个参数Pa-Pz的输入参数集P计算生成的显微镜图像25。该生成的显微镜图像25类似于显微镜图像20,从而理想地不可能或几乎不可能区分图像是显微镜图像20还是生成的显微镜图像25。生成式模型Gen的设计和形成可以以本质上已知的方式再次发生。稍后将更详细地描述基于PCA或NMF的例子。此外,生成式模型Gen也可以由至少一个深度神经网络形成,例如在StyleGAN的情况下。
生成的显微镜图像25的图像特征取决于参数Pa-Pz的值。使参数Pa-Pz中的至少一个的值变化可以相应地改变生成的显微镜图像25的图像特征。在过程V4中,生成式模型Gen因此产生显微镜图像25的系列24a,其在参数Pa的值上不同。对于该系列24a的所有显微镜图像25,其余参数Pb-Pz中的每一个都具有相同的值。通过这种参数变化,生成式模型Gen产生多个系列24a-24z的显微镜图像25;对于每个系列24a-24z,使参数Pa-Pz中不同的参数变化。原则上,对于系列24a-24z之一,可以使多个参数Pa-Pz同时变化。
在所示的例子中,参数Pa决定性地影响生成的显微镜图像25中的背景亮度。另一方面,参数Pa对所描绘的样本(这里是细菌)没有影响或者只有极小的影响。
举例来说,参数Pz影响所描绘的对象的形状。因此,使参数Pz变化而产生生成的显微镜图像25,其在所描绘的对象/细菌的形状上不同,而其他图像特征基本上保持不变。
在过程V5中,每个生成的显微镜图像25被输入到图像处理模型M中,图像处理模型M在过程V6中分别计算相关联的图像处理结果R。在该示例中,对于每个生成的显微镜图像25,计算的图像处理结果R采取类别指定C的形式。类别指定C作为类别成员的概率输出。在二元分类的情况下,类别指定C可以采用例如最小值和最大值之间的任何值。最小值指示第一类别存在的最小概率(或第二类别存在的最大概率)。值增加到最大值表示第一类别的概率增加,因此第二类别的概率减少。
在过程V7中,确定图像处理模型M的敏感度S:
根据系列24a的显微镜图像25而计算的计算的类别指定C或图像处理结果R相对于参数Pa绘制,该参数Pa变化以产生该系列24a的显微镜图像25。图像处理结果R可以作为变化参数Pa的函数而被显示为图表。作为变化参数Pa的函数的图像处理结果R的改变是敏感度S的度量。如果作为参数Pa的值的函数计算出非常不同的图像处理结果R,则图像处理模型M对该参数Pa非常敏感。
在所示的例子中,图像处理模型M对参数Pa表现出高敏感度S:图像处理结果R强烈依赖于参数Pa的值。对于小的Pa值,计算出属于第一类别的高概率,其中该概率随着参数Pa值的增加而单调变得越来越小。由于参数Pa决定了生成的显微镜图像25的背景亮度,这意味着分类(这里分为两种细菌类型之一)强烈依赖于背景亮度。图像处理模型M显然已经学会使用错误的概念来辨别显微镜图像20、21、25。如果另一个数据集的显微镜图像被分类,背景亮度不可能是一个合适的标准。
对于每个系列24a,...24z的生成的显微镜图像25,确定图像处理模型M对系列中变化参数的敏感度S。举例示出了对参数Pz的变化的敏感度S。所计算的类别指定C或图像处理结果R并不单调依赖于参数Pz的值。相反,在一组接近的高Pz值内,类别指定C波动并且突然在两个类别之间切换。外观上非常接近的显微镜图像25的估计的类别指定C的极端变化指示已经学习了图像处理结果R对参数Pz的不正确的依赖性。特别地,因为参数Pz编码了所描绘的对象/细菌的形状,所以在所显示的敏感度S的曲线中不应出现多个跳跃,特别是在参数Pz值的小范围内不应出现多个跳跃。
所描述的例子用于说明敏感度S是用于评估或分析已训练好的图像处理模型M的有利度量。
还可以利用为相同系列24a的显微镜图像25计算的图像处理结果R之间的差异程度,而不是利用图像处理结果R。也就是说,敏感度S以图像处理结果R之间的差异程度的形式被确定为变化参数的函数。通过将两个输出图像之间的差异或差异程度计算为单个数字,这有助于比较复杂的图像处理结果,例如输出图像。另一方面,在图像处理结果采取类别指定C的形式的情况下,图像处理结果R可以显示为变化参数Pa的函数或差异程度(例如,图像处理结果R减去针对参考Pa值的图像处理结果)。
当用户执行敏感度的分析时,视觉显示是有用的。然而,也可以进行敏感度的自动分析或评估,在这种情况下可以省略视觉显示。
图4
图4示意性地示出了如何通过PCA(主成分分析)形成图3的生成式模型,以及如何产生生成的显微镜图像。
通过使用训练数据的显微镜图像,借助于PCA生成多个基或基本成分Ba至Bz。每个基本成分Ba-Bz是一图像,并且基本成分Ba-Bz的(线性)组合使得有可能再现训练数据的显微镜图像之一,即产生新的生成的显微镜图像。例如,可以为参数Pa,Pb,Pc,……指示数值。这些参数Pa,Pb,Pc,……的数值乘以基本分量Ba,Bb,Bc,……,然后形成了总和。该总和是生成的显微镜图像25。基于可用的显微镜图像,在PCA的框架内建立基本成分Ba-Bz的像素值。
参数配置或参数集可以理解为参数Pa,Pb,Pc,……的数值。这种参数配置对特定的生成的显微镜图像进行编码,即表示训练数据的显微镜图像之一的近似。在PCA的框架内,可以确定近似训练数据的不同显微镜图像的参数配置。
参照图3描述的与过程V4相关的参数变化可以从特定的(起始)参数配置开始。如在PCA的框架中确定的,近似训练数据的显微镜图像之一的参数配置可以被用作起始参数配置。从该起始参数配置开始,参数Pa,Pb,Pc,……中的至少一个的值被逐步修改。随着每次修改,创建新的参数配置,生成式模型将为其计算生成的显微镜图像。修改可以在正方向和负方向上发生,以起始参数配置为中心或相对于起始参数配置偏心。
除了PCA,还可以使用其他途径来形成生成式模型,如下图所示。
图5
图5示意性地示出了如何通过非负矩阵分解(NMF)形成图3的生成式模型,以及如何产生生成的显微镜图像。与PCA一样,生成的显微镜图像25在这里作为参数Pa,Pb,Pc,……的数值和相应的基本成分Ba-Bz的乘积的总和而产生。
所提供的PCA和NMF的例子仅用于说明目的。原则上可以使用任何其他方法来形成生成式模型,特别是深度神经网络。例如,可以使用GAN来学习生成器(生成式模型),该生成器可以从输入的参数集产生生成的显微镜图像,该显微镜图像不能被GAN的判别器与训练数据的显微镜图像可靠地区分。
对于所有类型的生成式模型,输入的参数集定义从该参数集生成的显微镜图像是常见的。这些参数共同张成一个特征空间,该特征空间的维数对应于参数的数量。特征空间中的点表示参数集的具体数值。这将参考下图进行更详细的讨论。
图6
图6示出了训练数据的显微镜图像在图3的生成式模型的特征空间Z中的嵌入19。原则上,生成式模型可以以任何方式形成。在本公开中,特征空间Z中的点也被称为特征向量、参数集或参数配置。训练数据的显微镜图像由特征向量20’近似,特征向量20’也被称为显微镜图像的潜在代码表示或嵌入。
作为训练数据的显微镜图像在特征空间Z中的投影的特征向量20’形成了点云。在神经网络形式的生成式模型的情况下,可以例如迭代地确定特征向量20’之一,使得由此生成的显微镜图像和训练数据的显微镜图像之间的差异最小化。
对于图3的过程V4中的参数变化,可以选择表征训练数据的(起始)参数配置。特征向量20’之一可以被解释为特征。替代地,特征可以被理解为意味着多个特征向量20’的参数值被平均以形成作为(起始)参数配置的特征向量22’。还可以从多个特征向量20’中选择中心特征向量22”作为起始参数配置。这些途径的优点在于,不变的参数具有在现实中经常发现的值,因此从这些参数生成的显微镜图像位于训练数据的显微镜图像的统计分布内。
图6下部的图再次示出了生成式模型的特征空间Z,其中绘制了起始参数配置P。如上所述,例如通过特征向量22’或22”来确定起始参数配置P。对于图3所示的过程V4的参数变化,参数Pa的值在变化范围Var上变化,从而产生多个(变化的)参数配置P’、P”、P”’、P””。在不变的参数中,例如参数Pz,参数配置P,P’到P””彼此一致。变化范围Var从特征向量20’的分布中导出,即从训练数据的显微镜图像的嵌入19中导出。在那里发现的参数Pa的变化值,即在训练数据中发现的参数变化Var0,确定了变化范围Var。例如,变化范围Var可以是在训练数据中找到的参数变化Var0的90%。因此,所有参数配置P、P’到P””的参数Pa的值都在这个参数范围内。这确保了生成的显微镜图像看起来自然。
也可以同时使多个参数变化。当特征向量20’的分布不均匀时,这是特别有利的。在这种情况下,可以选择通过特征空间Z的路径,对于该路径,多个或原则上所有参数Pa-Pz是变化的。可以选择路径,以便沿着具有高密度的特征向量20’的区域延伸。替代地,该路径可以采取近似特征向量20’的点云的线的形式。
图7
图7示出了如何确定多个参数的合适联合变化的示例。图7示出了训练数据的显微镜图像在生成式模型的特征空间Z中的嵌入19。显微镜图像的特征向量20’和20”通过显微镜图像的注释(例如类别指定)被辨别。对于训练数据的具有第一类别指定的显微镜图像,相关的特征向量20’在图7中用实心圆表示。另一方面,对于具有不同的第二类别指定的显微镜图像,相关联的特征向量20”在图7中由空心圆表示。
可以在特征空间Z中确定分隔线(或分离超平面)60,借助于该分隔线(或分离超平面)60,特征向量20’、20”根据它们的类别指定被尽可能精确地分离。这可以在数学上发生,例如通过(线性)判别分析(LDA)。变化路径可以定义为横向于或垂直于分隔线60。
特别地,如图所示,可以选择穿过特征空间Z的变化路径65,使得变化路径65以尽可能有代表性的方式跟踪特征向量20’、20”的分布,从一个类别的特征向量20’延伸到另一个类别的特征向量20”。
对于这种变化路径65,多个参数Pa-Pz被同时修改。利用沿着变化路径65的多个参数配置,产生形成系列的生成的显微镜图像。由于在该系列中发生了类别转变,所以图像处理模型应该对这一参数变化表现出高敏感度。通过在变化路径65的确定中考虑类别指定,可以有针对性地产生一系列生成的显微镜图像,对于这些图像,应当确立图像处理模型的高敏感度。如果没有确立高敏感度,则可以发出警告,或者可以将图像处理模型评级为不足。
图8
参考图8,描述了根据本发明的方法的示例实施例,其是图3的实施例的变型。与图3相对地,图像处理模型M不是分类模型,而是分割模型。此外,模型输出被一起输入到计算中,其结果用于确定图像处理模型M的敏感度。具体来说:
训练数据T的显微镜图像20包括分割掩码形式的注释A。在分割掩码中,不同的像素值指定不同的类别,例如“对象”和“非对象/背景”。借助于该训练数据T,图像处理模型M学习从输入的显微镜图像计算分割掩码35作为图像处理结果R。
通过使用显微镜图像20,在过程V3中学习生成式模型Gen。在过程V4中,从参数集开始,使至少一个参数的值变化,以便产生不同的参数集,然后将这些参数集输入到生成式模型Gen中,以便产生系列24a的生成的显微镜图像25。系列24a的每个生成的显微镜图像25被输入到图像处理模型M中,图像处理模型M分别计算相关联的分割掩码35作为图像处理结果R。
接下来,计算分割掩码35之间的差异程度D。特别地,差异程度D可以分别在两个分割掩码35之间计算,并且采用数字的形式,例如通过计算两个分割掩码35之间的像素差异的总和。差异程度D也可以捕获分割区域的形状、大小、面积或边界的差异。当每个分割掩码35指示每个像素的分类概率时,更精确的计算原则上是可能的。该概率可以由预定值范围内的任何值来表示,由此与例如二元掩码形式的分割掩码35相比的更精确的预测是可能的。
可以在分别相邻的分割掩码35之间,即在至少一个变化参数的相关值具有最小差异的分割掩码35之间,计算差异程度D。替代地,也可以总是相对于被选作参考的分割掩码35来计算差异程度D,其中原则上任何分割掩码35都可以用作参考。
在过程V7中,作为至少一个变化参数Pa的函数的差异程度D被确定为敏感度S。可选地,出现视觉显示,例如以图表的形式,如图8所示。在这个例子中,分割掩码35之间的差异程度D在变化参数Pa的值的整个范围内接近于零。这意味着图像处理模型M独立于参数Pa的值计算分割掩码35,即独立于(生成的)显微镜图像20、25中的背景亮度。
确定的对特定参数Pa-Pz的敏感度S是否是期望的可以由用户手动评估。为此,所确定的敏感度S可以与相应系列24a的相关联的生成的显微镜图像25一起显示。根据显微镜图像25,用户可以估计变化参数Pa对生成的显微镜图像25的影响(这在下文中被称为参数语义)。这允许用户评估所确定的敏感度S是否是所讨论的参数语义所期望的。
如图8的过程V8所示,也可以通过图像分析自动确定参数语义40。为此,确定系列24a的生成的显微镜图像25如何彼此不同。对于已知的参数语义41,存储相关的差异如何出现在(生成的)显微镜图像25中,使得可以确定变化参数Pa是否对应于已知的参数语义。
例如,已知的参数语义41可以指示背景亮度。存储的图像分析规则规定,为显微镜图像25的图像区域计算平均像素亮度,该图像区域已经被估计为以足够高的概率构成背景。如果相同系列24a的不同的生成的显微镜图像25的这些平均像素亮度之间的差异超过预定最小值,则推断变化参数影响背景亮度。
在自动确定变化参数Pa的参数语义40的情况下,可以跟随进行敏感度S的进一步自动分析。可以为已知的参数语义41存储哪个敏感度S是可接受的或者是否要发出警告。例如,对于已知的参数语义41,可以存储的是,随着参数Pa增加,差异程度D应该增加、减少、单调变化、覆盖预定的最小间隔或者在预定的限度内是恒定的。
在过程V9中,根据相关联的所确定的语义40来测试所确定的敏感度S,即取决于变化参数Pa的差异程度D。为此目的,对于不同的已知或预定义的参数语义41,预期的敏感度是可用的。进行比较以测试所确定的语义40的敏感度S是否对应于预期的敏感度。图像处理模型M的质量Q可以作为测试结果输出。质量Q可以指示图像处理模型M的适应性。在所示的例子中,确定图像处理模型M根据需要独立于背景亮度执行样本分割。如果在过程V9中,确定的对其他变化参数的敏感度也产生正的结果以及相关联的参数语义,则推断图像处理模型M的总体质量Q是高的。否则,可以发出警告。
图像处理模型M作为分割模型的功能仅出于说明的目的而被描述。在前面的总体描述中更详细地列出了其他功能。
图9
图9示出了可以补充至此描述的示例实施例的过程。
在过程V7中,可以确定图像处理模型对大部分(特别是所有)参数Pa-Pz的变化的敏感度S。
然后确定敏感度S相对于参数Pa-Pz中的哪一个最大。在本示例中,参数Pa和Pc就是这种情况。选择这些参数Pa和Pc用于进一步分析(过程V10)。例如,相应系列24a或24c的相关联的显微镜图像25可以与差异程度D的图表一起显示在屏幕上和/或被自动评估。尤其可以检查这些参数Pa、Pc对于图像处理模型M的定义任务是否是已知的判别因素。
关于不同附图描述的变型可以彼此组合。所描述的示例性实施例纯粹是说明性的,并且在所附权利要求的范围内其变型是可能的。
附图标记列表
1 显微镜
2 支架
3 物镜旋转器
4 (显微镜)物镜
5 照明设备
6 样本台/显微镜台
7 样本载体
9 显微镜摄像头
9A 概观摄像头
9B 反射镜
9C 概观摄像头的视场
10 计算设备
11 计算机程序
12 目镜
19 显微镜图像在生成式模型的特征空间中的嵌入
20 显微镜图像,特别是训练数据的显微镜图像
20’、20”对应于显微镜图像在生成式模型的特征空间中的表示的特征向量
21验证数据的显微镜图像
22’、22”作为参数变化的(起始)参数配置的平均或质心特征向量
24A-24z生成的显微镜图像的系列
25 生成的显微镜图像
30 显微镜图像的特征向量
35 图像处理模型M计算的分割掩码
40 使用显微镜图像确定的参数语义
41 已知的参数语义
50 验证结果
60 特征向量之间的根据其注释/类别成员的分割线
65 穿过生成式模型的特征空间的变化路径
100 显微镜系统
A 显微镜图像的注释
Ba-Bz生成式模型的基本成分
C图像处理模型的示例图像处理结果的类别指定
C1、C2作为示例注释的类别指定
D图像处理结果之间的差异程度
D1、D2、D3测量日
F1、F2特征
Gen 生成式模型
i1、i2、i3 维度减少的特征空间中的特征向量的岛
M 图像处理模型
P 参数集/参数配置
P’-P”” 通过使至少一个参数变化产生的参数配置
Pa-Pz 输入到生成式模型Gen中的参数
Q 基于敏感度和至少一个参数语义确定的图像处理模型的质量
R 由图像处理模型从(生成的)显微镜图像计算的图像处理结果
S 敏感度
T 包括显微镜图像的训练数据
V1-V10 根据本发明的方法的过程
Var 变化参数的变化范围
Var0 在训练数据的显微镜图像中找到的参数变化
Z 生成式模型的特征空间
Claims (17)
1.一种用于测试图像处理模型(M)的敏感度的计算机实现的方法,包括:
使用包括显微镜图像(20)的训练数据(T)来训练(V1)所述图像处理模型(M),使得所述图像处理模型(M)被配置成从输入的显微镜图像(20)计算图像处理结果(R);
从所述训练数据(T)形成(V3)生成式模型(Gen),使得所述生成式模型(Gen)被配置成从输入的参数集(P)产生生成的显微镜图像(25);
其特征在于
通过使所述参数集(P)中的至少一个参数(Pa-Pz)变化,用所述生成式模型(Gen)产生(V4)生成的显微镜图像(25)的系列(24a-24z);
使用所述图像处理模型(M)从所述生成的显微镜图像(25)中的每一个计算(V6)图像处理结果(R);和
基于所述图像处理结果(R)之间的差异,确定(V7)所述图像处理模型(M)对所述至少一个参数(Pa-Pz)的敏感度(S)。
2.根据权利要求1所述的方法,还包括:
定义参数配置(22’、22”),通过将所述参数配置(22’,22”)输入到所述生成式模型(Gen)中,能够从所述参数配置产生表征所述训练数据(T)的生成的显微镜图像(25);
其中,生成的显微镜图像(25)的系列(24a-24z)的产生包括多次使所确定的参数配置(22’,22”)中的参数(Pa-Pz)中的至少一个变化,并将以这种方式产生的参数集(P’-P””)输入到所述生成式模型(Gen)中。
3.根据权利要求2所述的方法,
其中,选择对应于所述生成式模型(Gen)的特征空间(Z)中的训练数据(T)的显微镜图像(20)之一的表示的特征向量(20’)作为所述参数配置(22’,22”);或者
其中,计算对应于所述生成式模型(Gen)的所述特征空间(Z)中的训练数据(T)的多个显微镜图像(20)的表示的多个特征向量(20’)的平均值,并且该平均值被用作所述参数配置(22’,22”)。
4.根据权利要求1所述的方法,
其中,所述至少一个参数(Pa-Pz)的变化范围(Var)被设置为覆盖在所述训练数据(T)的显微镜图像(20)中发现的参数变化(Var0)的至少70%的值。
5.根据权利要求1所述的方法,
其中,所述生成式模型(Gen)用于产生生成的显微镜图像(25)的多个系列(24a-24z),其中,所述系列(24a-24z)的不同之处在于哪些参数(Pa-Pz)变化,
其中,从所有系列(24a-24z)的生成的显微镜图像(25)计算图像处理结果(R);
其中,基于所述敏感度(S)来识别所述图像处理模型(M)相对于其具有最大敏感度(S)的参数(Pa-Pz)。
6.根据权利要求1所述的方法,还包括:
使用生成的显微镜图像(25)的系列(24a-24z)来确定参数语义(40),其中,所述参数语义(40)指定通过使所述至少一个参数(Pa-Pz)变化而改变的显微镜图像特征;和
基于所述图像处理模型(M)对所述至少一个参数(Pa-Pz)的敏感度(S)并且基于相关联的参数语义(40)来测试(V8)所述图像处理模型(M)。
7.根据权利要求6所述的方法,
其中,对于多个已知的参数语义(41),分别存储所述参数语义(41)对生成的显微镜图像(25)具有的影响;
其中,所述已知的参数语义(41)涉及以下中的一个或多个:样本大小、样本形状、样本取向、样本亮度、样本亮度梯度、样本位置、样本数量、样本纹理、背景亮度、背景亮度梯度、描绘的背景结构、伪影、污染、图像失真、反射或样本载体部件的几何特征;
其中,通过确立同一系列(24a-24z)的生成的显微镜图像(25)之间的差异是否精确对应于已知参数语义(41)中的一个的效果来确定参数语义(40)。
8.根据权利要求1至7中任一项所述的方法,
其中,所述图像处理模型(M)对所述至少一个参数(Pa-Pz)的敏感度(S)以图像处理结果(R)之间的差异程度(D)的形式被确定,所述图像处理结果(R)之间的差异程度(D)从通过使所述至少一个参数(Pa-Pz)变化而产生的生成的显微镜图像(25)计算。
9.根据权利要求1至7中任一项所述的方法,进一步包括:
定义所述图像处理模型(M)对预定义的参数语义(41)的参数(Pa-Pz)的预期敏感度;
进行比较以确定:其确定的参数语义(40)与所述预定义的参数语义(41)匹配的一个或多个参数(Pa-Pz)的所确定的敏感度(S)是否对应于所述预期敏感度;
如果所确定的敏感度(S)与所述预期敏感度不一致,则发出警告。
10.根据权利要求1所述的方法,还包括:
使用所确定的敏感度(S)用于为相关的变化参数(Pa-Pz)是否是用于计算所述图像处理结果(R)的判别因素进行归类;
基于通过使相应的参数(Pa-Pz)变化而产生的生成的显微镜图像(25)的系列(24a-24z)来确定参数(Pa-Pz)的相应参数语义(40);
其中,为不同的已知的参数语义(41)存储规范,所述规范指示相关联的参数(Pa-Pz)是否应该是用于计算所述图像处理结果(R)的判别因素;
检查(V9)被归类为判别因素的参数(Pa-Pz)和为相应的参数语义(41)存储的规范之间是否存在矛盾;和
在矛盾的情况下,输出警告。
11.根据权利要求10所述的方法,
其中,所述已知的参数语义(41)包括以下中的一个或多个:背景亮度;图像或背景的锐度;图像噪声;所描绘对象的几何形状、数量或大小;所描绘对象的纹理;污染、伪影或反射;
其中,所述规范为每个已知的参数语义(41)指示所述已知的参数语义(41)是否应该是计算所述图像处理结果(R)的判别因素。
12.根据权利要求10所述的方法,
其中,在被归类为判别因素的参数(Pa-Pz)和为相应的参数语义存储的规范之间存在矛盾的情况下,为被归类为判别因素的参数(Pa-Pz)建议所述训练数据(T)的增强。
13.根据权利要求1至7中任一项所述的方法,进一步包括:
确定被归类为判别因素的参数(Pa-Pz)是否代表生成的显微镜图像(25)中所描绘的对象的纹理或几何形状。
14.根据权利要求1至7中任一项所述的方法,
其中,根据所述图像处理模型(M)的敏感度(S)建议所述训练数据(T)的增强。
15.根据权利要求1至7中任一项所述的方法,进一步包括:
基于所述敏感度(S)验证在所述生成的显微镜图像(25)中引起较小变化的参数(Pa-Pz)对所述图像处理结果(R)的影响也较小;或者
识别确定了相似敏感度(S)的参数(Pa-Pz),并且通过比较在所识别的参数(Pa-Pz)的变化期间产生的生成的显微镜图像(25)来估计所述相似敏感度(S)的似然性。
16.一种显微镜系统,包括:
显微镜(1),用于图像捕获;和
计算设备(10),被配置为执行根据权利要求1至7中任一项所述的计算机实现的方法。
17.一种计算机程序,包括存储在非暂时性计算机可读介质上的命令,并且当所述程序由计算机执行时,所述命令导致执行根据权利要求1至7中任一项所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022121542.3A DE102022121542A1 (de) | 2022-08-25 | 2022-08-25 | Mikroskopiesystem und Verfahren zur Sensitivitätsprüfung eines Bildverarbeitungsmodells |
DE102022121542.3 | 2022-08-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117635525A true CN117635525A (zh) | 2024-03-01 |
Family
ID=89905692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311069144.8A Pending CN117635525A (zh) | 2022-08-25 | 2023-08-23 | 用于测试图像处理模型的敏感度的显微镜系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240071057A1 (zh) |
CN (1) | CN117635525A (zh) |
DE (1) | DE102022121542A1 (zh) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102021100444A1 (de) | 2021-01-12 | 2022-07-14 | Carl Zeiss Microscopy Gmbh | Mikroskopiesystem und verfahren zum bewerten von bildverarbeitungsergebnissen |
-
2022
- 2022-08-25 DE DE102022121542.3A patent/DE102022121542A1/de active Pending
-
2023
- 2023-08-18 US US18/235,508 patent/US20240071057A1/en active Pending
- 2023-08-23 CN CN202311069144.8A patent/CN117635525A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240071057A1 (en) | 2024-02-29 |
DE102022121542A1 (de) | 2024-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7422825B2 (ja) | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 | |
US10565479B1 (en) | Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring | |
CN111583187B (zh) | 一种基于cnn可视化的pcb电路板缺陷检测方法 | |
US7949181B2 (en) | Segmentation of tissue images using color and texture | |
CN110675368B (zh) | 一种融合图像分割与分类的细胞图像语义分割方法 | |
CN112215201B (zh) | 评估人脸识别模型、针对图像的分类模型的方法及装置 | |
CN111507426B (zh) | 基于视觉融合特征的无参考图像质量分级评价方法及装置 | |
CN109711283A (zh) | 一种联合双字典和误差矩阵的遮挡表情识别算法 | |
US20130071033A1 (en) | Classifier for use in generating a diffuse image | |
US20220222822A1 (en) | Microscopy System and Method for Evaluating Image Processing Results | |
CN109191418A (zh) | 一种基于收缩自编码器特征学习的遥感图像变化检测方法 | |
Veras et al. | Discriminability tests for visualization effectiveness and scalability | |
CN111401387A (zh) | 异常样本构建方法、装置、计算机设备和存储介质 | |
CN116740728B (zh) | 一种用于晶圆读码器动态获取方法和系统 | |
Pramunendar et al. | A Robust Image Enhancement Techniques for Underwater Fish Classification in Marine Environment. | |
Kar et al. | Benchmarking of deep learning algorithms for 3D instance segmentation of confocal image datasets | |
CN113313678A (zh) | 一种基于多尺度特征融合的精子形态学自动分析方法 | |
US20230194847A1 (en) | Microscopy System and Method for Modifying Microscope Images in the Feature Space of a Generative Network | |
CN116934747A (zh) | 眼底图像分割模型训练方法、设备和青光眼辅助诊断系统 | |
US11508045B1 (en) | Microscopy system and method for generating stylized contrast images | |
CN117635525A (zh) | 用于测试图像处理模型的敏感度的显微镜系统和方法 | |
US20240070537A1 (en) | Microscopy System and Method for Generating a Machine-Learned Model for Processing Microscope Data | |
US20240071058A1 (en) | Microscopy System and Method for Testing a Quality of a Machine-Learned Image Processing Model | |
CN113920562B (zh) | 年龄预测模型的训练方法、年龄预测方法及装置 | |
KR102461685B1 (ko) | 특징 맵을 이용한 출력 노드 변화 시각화 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |