CN117236462A - 评估虚拟处理映射的一致性的方法、训练具有处理模型的机器学习系统的方法、机器学习系统、计算机程序产品和图像处理系统 - Google Patents

评估虚拟处理映射的一致性的方法、训练具有处理模型的机器学习系统的方法、机器学习系统、计算机程序产品和图像处理系统 Download PDF

Info

Publication number
CN117236462A
CN117236462A CN202310688199.0A CN202310688199A CN117236462A CN 117236462 A CN117236462 A CN 117236462A CN 202310688199 A CN202310688199 A CN 202310688199A CN 117236462 A CN117236462 A CN 117236462A
Authority
CN
China
Prior art keywords
tensor
consistency
model
layer
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310688199.0A
Other languages
English (en)
Inventor
M·阿姆托尔
D·哈斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of CN117236462A publication Critical patent/CN117236462A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及评估虚拟处理映射的一致性的方法、训练具有处理模型的机器学习系统的方法、机器学习系统、计算机程序产品和图像处理系统，尤其涉及一种确定机器学习系统的处理模型的虚拟处理映射的一致性的方法，包括：将第一输入张量输入处理模型；将第二输入张量输入处理模型，其中第一输入张量和第二输入张量由初始的输入张量确定，或者第一输入张量和第二输入张量检测对象的属性，并且第一输入张量和第二输入张量检测同一对象；确定一致性函数，其中一致性函数包括处理模型的特定层的至少一个层一致性函数，其中，层一致性函数检测由第一输入张量和第二输入张量所生成的处理模型的层的输出张量之间的差别，其特征在于，特定层的输出张量是处理模型的另一层的输入张量。

Description

评估虚拟处理映射的一致性的方法、训练具有处理模型的机 器学习系统的方法、机器学习系统、计算机程序产品和图像处 理系统
技术领域
本发明涉及一种评估虚拟处理映射的一致性的方法，一种根据非注释数据集训练具有多层处理模型的机器学习系统的方法，一种具有处理模型的机器学习系统，一种计算机程序，以及一种计算机可读存储介质。
背景技术
在现有技术中，由显微镜系统拍摄的显微镜图像是利用用于进行图像处理的处理模型来处理的，其中越来越多的处理模型(例如神经网络)被投入使用，其是根据训练数据进行学习的。在处理过程中会出现各种问题。在“Deep learning achieves super-resolution in fluorescence microscopy(深度学习实现荧光显微镜的超级分辨率)”(bioRxiv期刊309641；网络数字对象标识符：https://doiorg/10.1101/309641)中，HongdaWang等人描述了一种生成式对抗网络(GAN，英文：generative adversarial network)，其被训练用来计算高分辨率的荧光图像。对于这种方法，在所计算的结果图中观察到发明的/幻觉的对象，这是借助于在损失函数的惩罚或进一步的正则化来避免的。但是，新型输入图像是否存在错误的结果，则要由人来评估。
为了识别处理模型中的特定类型的错误结果，申请人开发了在DE102019114012中描述的验证模型。该验证模型例如是根据训练数据学习的模型，其中，训练数据包含例如被标记为正确的或被标记为错误的图像处理结果。通过这样的训练，验证模型能够识别特定类型的有缺陷的图像处理结果。
在“Content-Aware Image Restoration:Pushing the Limits of FluorescenceMicroscopy(内容感知图像恢复：推进荧光显微镜的极限)”(Nature Methods，2018年，第15卷，第12期，第1090页或bioRxiv期刊预印本，网络数字对象标识符：https://doi.org/10.1101/236463)中，M.Weigert等人描述了一种由多个相同类型的学习的处理模型所组成的集合，其中，在处理模型的结果中的差别被解释为结果的不确定性。这种类型的处理模型分析的问题在于，无法检测到由该集合的所有处理模型所造成的错误。
在德国专利申请第10 2021 10044.6号中(此处通过引用将其全部内容并入本申请中)，申请人描述了一种用于确定图像处理算法的一致性的方法，其中，图像处理结果的置信度度量根据在图像处理结果之间的一致性程度来确定，其中，图像处理结果由不同的显微镜图像计算得到。
在“Unpaired image-to-image translation using cycle-consistentadversarial networks(使用周期一致性的对抗网络进行非成对的图像到图像的转换)”中，Jun-Yan Zhu等人描述了一种用于图像到图像的转换的方法，其中使用了周期一致性的对抗性网络。对于该图像到图像的转换，注释训练数据往往不可用。因此，该公开文献提出了一种循环的一致性损失函数。其将输出图像与从结果图像获取的反向成像的结果图像进行比较。借助于该周期一致性的对抗性网络有可能的是，学习例如图像到图像的转换，通过其将照片转化为具有特定绘画风格的图像，例如将风景照片转化为莫奈、梵高、塞尚或其他人的风景画。可供选择地，例如在照片中的个别物体或部分能够借助于所学习到的图像到图像的转换来进行转化，例如将斑马转化成马，或者将夏季风景照片转化成冬季风景照片。
在“PixMatch：Unsupervised domain adaption via pixelwise consistencytraining(通过像素一致性训练进行无监督域自适应训练)”中，Luke Melas-Kyriazi等人描述了一种使用像素化一致性训练进行无监督域适配的方法。对于像素化一致性训练，在两个不同域(即源域和目标域)中进行训练。源域是基于模拟的注释数据，目标域是基于未注释数据。为每个域优化一个交叉熵损失函数。在源域中的损失函数检测在由网络输出的结果张量与在数据中预先给定的目标张量之间的差别。在目标域中，损失函数检测在基于无干扰的目标图像的网络输出以及基于有干扰的目标图像的网络输出之间的差别或者一致性。有干扰的目标图像借助于不同的干扰函数来确定。
现有技术已知的、用于评估或确定图像处理的质量的方法只能够非常受限地评价结果的质量。因此，有必要尽可能可靠地并且详细地评估图像处理的质量和一致性。
现有技术已知的、用于根据一致性条件进行机器学习的方法部分显示出在训练期间不稳定的行为，此外其容易过度拟合且仅能很慢地收敛。这意味着，这些方法在训练时会消耗大量的时间和相应的计算资源。
发明内容
本发明的目的在于提出一种方法，通过该方法能够尽可能详细地检查，输入张量(例如显微镜图像)是否能在处理模型中被可靠且一致地处理。
本发明的另一目的在于提出一种方法，该方法使得借助于未注释数据训练具有处理模型的机器学习系统变得更快且更可靠。此外，本发明对所述目的的解决是通过提出一种机器学习系统，一种计算机程序以及一种计算机可读存储介质，其使得对具有处理模型的机器学习系统的训练变得更快且更可靠。
一个或多个目的通过独立权利要求的主题对象得以解决。有利的进一步发展和优选实施方式构成了从属权利要求的主题对象。
本发明的一个方面涉及一种用于确定机器学习系统的处理模型的虚拟处理映射的一致性的方法。所述方法包括以下步骤：将第一输入张量输入处理模型；将第二输入张量输入处理模型，其中，该第一输入张量和第二输入张量由初始的输入张量确定或者该第一输入张量和第二输入张量检测对象的属性并且该第一输入张量和第二输入张量检测同一对象；以及，确定一致性函数，其中该一致性函数包括处理模型的特定层的至少一个层一致性函数，其中层一致性函数检测由第一输入张量和第二输入张量所生成的处理模型的层的输出张量之间的差别，其特征在于，特定层的输出张量是处理模型的另一层的输入张量。
优选地，第一输入张量和第二输入张量在随机噪声方面有所不同。
在用于检查或评估虚拟处理映射的质量或一致性的传统方法中，首要考虑的是输出层的行为。发明人认识到的是，处理模型的不期望出现的行为也可能出现在深层中，而这一点并没有被用于评价处理映射的质量或一致性的普遍已知的方法所认识或考虑到。
如果一虚拟处理映射以相同的方式处理显示同一对象的显微镜图像，则该虚拟处理映射是一致的。
本发明使得有可能确定处理模型在其整个深度中的行为，因此能够识别有缺陷的处理的起源，从而能够更加准确地评价虚拟处理映射处理输入张量的质量。
例如，如果考虑回归模型、分类模型或探测模型，则模型的输出数据的量仅仅是非常小的。然而，如果考虑模型的中间层，则会有大量的数据，根据这些数据能够评价虚拟处理映射的一致行为。也就是说，本发明使得还能够为回归模型、分类模型和探测模型详细地确定处理映射的一致性。
由于第一输入张量和第二输入张量表示同一对象或者基于相同的初始的输入张量，所以除了统计学上的变化，虚拟处理模型的不同层的输出应当一致。如果例如观察到在特定层中产生了结构，那么例如，借助于一致性函数监测这些层就足以检查处理映射的质量，从而检查虚拟处理映射是否可靠地并且以较高质量处理所输入的数据。
因此，借助于根据本发明的一致性函数，由处理模型生成的结构已经能够在中间层中识别出来。此种结果也能被称为幻觉结构。因此，本发明还使得能够在处理模型的中间层中识别出幻觉结构。因此，出现的幻觉结构越少，被评价的虚拟处理映射就越适合用于处理所输入的数据。
优选地，处理模型是完成训练的处理模型。
由于处理模型以及根据相应的训练数据被训练，则经训练的虚拟处理映射至少应当对训练数据进行充分的处理。如果现在确定的是，对于待处理的数据集，特定中间层的一致性函数或者层一致性函数的值高于一极限值，则该处理模型或者相应的中间层不适合用于处理该数据集。因此本发明还能够简单地识别出，处理模型及其层是否适合处理新的数据。
优选地，借助于一致性函数生成一致性卡，其中，在该一致性卡中，针对输出张量的不同部分区域检测出输出张量之间的差别。
基于输出张量能够生成一致性卡，这是通过为不同的张量条目或者输出张量的特定区域确定输出张量的差别。例如能够按条目形成或者在一区域上形成条目的差别。因此一致性函数给出了一个度量(也称为置信度)，其规定不同输出张量的与位置对应的张量条目或者张量区域的近似程度。由此，一致性卡规定了虚拟处理映射的结果对于相应层的输出张量的不同区域的可信度。
输入张量和输出张量例如为借助于图像到图像处理映射被相互转化的显微镜图像，则一致性卡的启发性的表示就是将输出图像与一致性卡相重叠。为此，例如结果图像的图像信息被表达为像素的亮度，并且一致性卡的值被表达为像素的色调或色彩饱和度。
优选地，根据一致性卡实现一评估，即评估虚拟处理映射是否适合用于所检测对象的输入张量的处理。
由于一致性函数生成一致性卡，则在一致性卡的部分区域中检测到的对象的结构能够被相应评价，即虚拟处理映射是否适合映射相应的结构。
在DE 10 2021 100 444.6中，关于置信度描述了以下内容：
如果关于图像处理结果的置信度超过预定的可容许的极限值，则能够发出警告，能够开始对图像处理结果进行后续处理或者实现新的数据采集以生成更加适合的显微镜图像。
如果所获取的关于图像区域的置信度超过预定的极限值或者如果关于一图像区域中的多个像素的置信度超过预定的极限值，则可特别进行以下过程中的一个或多个：
-图像区域能够通过拍摄新的图像来检查。尤其是在此仅检查具有不足置信度的图像区域。
-图像区域能够被标记带有警告提示，例如通过在显微镜或结果图像中的一个上的视觉表示。
-图像区域可被设置人工噪声或者降低其图像分辨率，即像素化。由此一方面表明置信度有所降低。另一方面避免了在后续的图像分析中从受影响的图像区域的有问题信息得出不准确的结论。
-图像区域也可通过来自显微镜图像的图像信息或来自多个显微镜图像中的一个的图像信息来填充。例如，如果图像处理算法计算出被降噪的结果图像并且一个图像区域在结果图像之间差别太大，则该图像区域的内容能够基于一个或多个显微镜图像的相应图像内容来替换。
上述图像区域是指图像处理算法的结果图像中的一个，或者可供选择地是指由多个结果图像所构成的图像，其例如可为结果图像的平均数。
可供选择地，可根据置信度确定如何改变图像处理算法的一个或多个图像处理参数。最后，通过使用一个或多个经修改后的图像处理参数的图像处理算法来实现对显微镜图像的重新处理或者对多个显微镜图像中一个的重新处理。
额外地或可供选择地，能够根据置信度和所属的图像处理结果得出对图像处理算法的改变，以使其对于有噪声的输入数据更加鲁棒。如果图像处理算法包括机器学习模型，则其例如可被重新训练。特别地，后续训练涉及那些被确定为置信度不足的结构。此外，原始图像/显微镜图像也可被再次拍摄并且添加到训练数据中。在此，新拍摄的图像能够再次显示那些被确定为置信度不足的结构。可供选择地或额外地，首先可根据置信度卡进行评估，即评估图像处理算法是否适用于所拍摄的结构和/或是否应当对使用经训练的机器学习模型形成的图像处理算法进行后续训练。如果置信度卡例如指明某些图像区域有高置信度/高一致性，并且其他的图像区域有较低的置信度，则能够将图像处理算法评估为在原则上是适合的，其中建议具有较低置信度的图像区域进行后续训练。此类建议能够被发送给用户。相对地，如果置信度卡指明所有的图像区域(或置信度卡的预定最小部分)的置信度不足，则作为评估能够确定的是，所述图像处理算法不适用于所检查的结构。
类似于置信度，根据本申请，基于处理模型的中间输出计算一致性函数。如果一致性函数相应地超过一个极限值，则还能够相应地执行以上参考置信度所描述的过程。
本发明的另一方面涉及一种方法，该方法用于训练具有处理模型(尤其是多层神经网络)的机器学习系统，以便执行虚拟处理映射。方法包括上述方法的如下步骤：确定虚拟处理映射的一致性；以及，通过适配处理模型的模型参数来优化一致性函数。
在用于训练具有处理模型的机器学习系统的传统方法中，监测处理模型的输出层的输出，并且，通过基于处理模型的输出层的输出来适配处理模型的模型参数以便优化目标函数。
发明人已经认识到的是，在优化过程中，处理模型的单个中间层可能显示出不期望出现的行为。例如在单个层中可能出现拟合，或者出现在单个层中的单个模型参数的不适当的适配。单个层中的这种不期望出现的训练行为必须由处理模型的其他中间层来平衡。
例如处理模型(其解决分类问题)的中间层的输出从一特定层深度开始是变换不变的。如果不是这种情况，则在处理模型中的较深层必须建立变换不变性，尽管这种变换不变性实际上应该已经在在先层中得到了保证。
因此，发明人已经提出了一种一致性函数，其包括处理模型的至少一个中间层(英文：hidden layer)的层一致性函数。层一致性函数检测在由第一输入张量和由第二输入张量生成的层的输出张量之间的差别。因此，其给出了一个关于处理模型或者其单个层的学习成功与否的度量，其中该差别应当尽可能小，因为独立于借助其确定了第一或第二输入张量的变换，该第一和第二输入张量都应当以相同的方式进行处理。
因此，本发明使得能够有针对性地监控处理模型的中间层的行为。也就是说，一致性函数还能够借助于该方法识别出中间层可能不利的或者不希望的行为，并且在处理模型的模型参数的优化中加以考虑，并由此防止处理模型的中间层的此类不希望的行为。
将以上在处理模型中从一特定深度开始的、中间层的输出的期望的变换不变作为示例。变换不变能够借助于层(其应当是变换不变的)的层一致性函数在一致性函数中被监测，例如通过适当地选择在一致性函数的层一致性函数的层权重。由此，本发明允许借助于所提出的一致性函数来确保或者控制特定中间层的变换不变。也就是说，根据本发明的一致性函数允许沿着处理模型的整个深度对处理模型进行有针对性的优化。所提出的一致性函数由此确保的是，所有的层都显示出所希望的行为，因此根据一致性函数的处理模型的训练变得更可靠且更快速。
优选地，一致性函数包括至少一个其他层的层一致性函数，其中，该其他层特别为处理模型的输出层。
优选地，一致性函数为层一致性函数之和，其中，特别为一致性函数中的每个层一致性函数分配层权重。层权重可在训练中是固定的，或者也可以在训练中动态地选择或确定。
因此，将一致性函数设计为多个层一致性函数之和，一致性函数能够根据中间层的行为进行优化，也就是说，中间层的行为能够被监测，而传统的方式仅能够监测输出层的输出信号。在传统的学习中，单个层例如可能显示出不希望的行为，其能够通过其他层来补偿或者必须通过其他层来补偿。而这在使用特殊的一致性函数时不是必需的，因为处理模型的训练也在中间层中被监测。
特别地，在一致性函数中可包含在后层的层一致性函数。
在后层(也称为深层)在本发明的范畴中指的是一个离处理模型的输出层比离输入层更近的层。
在先层指的是离处理模型的输入层比离输出层更近的、处理模型的层。
特别地，希望的是，具有小的层权重的在先层的层一致性函数包括在一致性函数中，而具有大的层权重的在后层的层一致性函数包括在一致性函数中。
特别地，大的层权重例如为大于平均层权重的层权重，而小的层权重例如为小于平均层权重的层权重。
对于在先层可预期的是，由第二输入张量和由第一输入张量生成的输出张量相对于应用在输入张量上的变换而言的行为并非是不变的。相对地，对于在后层，预期多个可能的变换和待学习的处理映射是不变的。如果第二输入张量例如是借助于几何变换生成的，并且待学习的映射例如为一种分类，则该分类应当是与所执行的几何变换无关的，也就是说变换不变的。处理模型应当不仅对于输出层而且对于处理模型中的在后层具有此种变换不变性。
因此，仅具有小的层权重的在先层的层一致性函数包括在一致性函数中，则即使存在非变换不变的中间层，一致性函数仍然可被优化，因为仅具有小的层权重的非变换不变的中间层包括在一致性函数中，并由此不会对一致性函数的收敛行为产生负面影响。因此，层权重的适当选择还改善了一致性函数的收敛行为。
因此，为一致性函数的层一致性函数分配层权重，其例如在训练期间被动态地确定，而层权重可在训练期间被用作正则化参数(Regularisierungsparameter)，借助于该正则化参数能够稳定处理模型的训练。此类正则化参数的作用是防止过度拟合。
因此，层权重被选择为，使得其从特定深度开始对一致性函数做出更大的贡献，由此可实现的是，从特定深度开始相对于特定变换有不变性。
优选地，该方法在优化一致性函数之前还包括计算至少一个经变换的输出张量。经变换的输出张量能够通过由第一输入张量生成的输出张量的逆变换来计算，或者通过由第二输入张量生成的输出张量的变换来计算，或者通过由第一输入张量生成的输出张量的部分逆变换和由第二输入张量生成的输出张量的部分变换来计算。经变换的输出张量在层一致性函数中使用，由此层一致性函数检测在经变换的输出张量和未经变换的输出张量之间的差别，或者检测每个经变换的输出张量(即经部分变换的和经部分逆变换的输出张量)之间的差别。
因此，层一致性函数检测在经变换的输出张量和未经变换的输出张量之间的差别，或者检测在经变换的输出张量之间的差别，通过输出张量的相应逆变换或者变换，用于训练机器学习系统的方法也能够被用于多种映射，这些映射关于输入张量的变换而言是非不变的。此外还可能的是，如果在先层的输出张量在输入张量变换的情况下是非不变的，则为在先层执行相应的逆变换，而不发生在后层的输出张量的逆变换，因为在后层的输出张量例如为变换不变的。
优选地，所述方法包括：将其他的输入张量输入处理模型中，其中，所述其他的输入张量借助于其他的变换由初始的输入张量计算得到，其中，层一致性函数分别成对地检测所有由初始的输入张量得出的层的输出张量之间的差别。
因此，大量输入张量由初始的输入张量被计算出来并且被输入处理模型，并且由此得出的输出张量分别成对地借助于层一致性函数彼此相互比较，训练能够被进一步优化，因为每种情况下生成的经变换的输入张量必须仅通过处理模型传播一次，但是与多个其他的输出张量(其也基于初始的输入张量)的差别借助于层一致性函数被检测，由此能够节省计算能力。
例如，机器学习系统借助于不被监测的学习进行训练，其中只有非注释数据集被用于训练。而处理模型例如可为自动编码器。
优选地，机器学习系统根据注释数据集和非注释数据集进行训练，并且该方法还包括借助于注释数据集通过适配模型参数来优化目标函数。
因此，目标函数借助于注释数据集训练，可学习对应于处理映射(借助其生成注释数据集)的虚拟处理映射。
注释数据集在本发明的范畴中为一个数据集，其既包括输入张量，也包括针对每个输入张量的相应的目标张量，其借助于处理映射由输入张量生成。处理映射对应于机器学习系统要学习的虚拟处理映射。在使用注释数据集训练处理模型时，目标张量被用作监测信号，这是通过将其与处理模型的输出层的输出张量平衡，例如借助于目标函数。
借助于处理映射来创建目标张量可能是成本非常高的。例如，处理映射可以为显微镜图像的语义分割，其手动创建是非常复杂的。
可供选择地，处理映射也可能是化学着色的。例如生物样本的着色可能是成本非常高的，而在着色时还可能导致被着色的或者待着色的组织的损坏，这就是为什么某些样本没有着色。此外有可能的是，在生成输入张量时根本没有伴随着生成相应的目标张量。因此，根据本发明，在注释数据集中的数据的量并不足以仅仅根据注释数据集来训练处理模型。
目标张量是可在虚拟处理映射的训练中使用的张量，处理模型的输出张量(例如虚拟着色的图像)应与之近似。这种近似是借助于目标函数(尤其是增益函数或损失函数)实现的，其规定了如何评估在处理模型的输出张量与目标张量之间的差别。该差别的评估能够根据张量的条目按条目来实现，或者通过比较更抽象的实体来实现。例如，在虚拟的图像处理映射时能够使用图像描述，例如边缘走势的图像描述。
例如，化学着色的图像能够被裁剪，或者改变图像属性，例如亮度、对比度或色调值，以形成目标图像。此外，其他的图像到图像映射(例如用于降噪、图像锐化、模糊或背景抑制)也有可能由化学着色的图像形成目标图像。
关于虚拟处理映射，其被理解为由处理模型机器学习的映射。在处理模型中输入输入张量(其例如为图像数据)，并且处理模型由输入张量计算出结果张量。结果张量例如为由处理模型借助于虚拟处理映射从输入图像计算出的输出图像，但其并不强制为是图像。虚拟处理映射能够借助于被监测的学习或者不被监测的学习来进行机器学习。
处理模型例如也可为探测模型。探测模型在输入数据中搜索预定的模式，并随后输出被找到的各预定的模式的定位列表。对于处理模型为探测模型的情况而言，则每个输入张量(也称为输入资料)的注释数据集包含目标资料，其例如给定在相应输入资料中的被找到的各模式的定位列表。例如输入资料为显微镜图像，并且探测模型识别在输入数据中的预定模式，其例如相应于某些预先给定的细胞类型或细胞。随后，输出带有探测到的模式(例如细胞)及其位置(也即其在显微镜图像中的定位)的列表作为结果资料。
优选地，处理模型为回归模型或分类模型。如果处理模型为回归模型，则结果张量是标量。如果处理模型是分类模型，则结果张量是向量。
处理模型使用一学习算法来训练，以执行虚拟处理映射。
虚拟处理映射例如借助于神经网络实现，也就是说，处理模型例如为神经网络。该神经网络例如可分别包括一个或多个卷积神经网络(英文：convolutional neuralnetwork，CNN)，其包含至少一个图像作为输入，该图像是显微镜图像或是从其推导出的图像。该神经网络例如可设计为完全卷积的(英文：fully-convolutional)，并且形成为图像到图像回归(Bild-zu-Bild-Regression)。
特别地，处理模型也可为U形网络，其中该意义上，U形由连续的层形成，由这些层输出的输出张量(也称为特征图，英文“feature maps”)首先在其相应的空间维度上变得越来越小而在其深度上变得越来越大，并且最终在其相应的空间维度上变得越来越大而在其深度上变得越来越小。特别地，U形网络优选被使用于图像回归或图像分割。
自动编码器、变量自动编码器、残差神经网络(英文：residual neural network，ResNet)、多层感知器(英文：multilayer perceptron，MLP)、密集神经网络(英文：DenseNetwork，DenseNet)、变换器网络和/或可逆网络(英文：invertible network，INN)也能够被用作处理模型。
在使用注释数据集的被监测的学习中，为每个输入张量预先给定相应的注释/标签，即目标张量。其例如可包括化学着色的图像或者由其推导得到。借助于学习算法，处理模型的模型参数根据训练数据来确定。除此之外，目标函数为此目的而被优化。目标函数例如是被最小化的损失函数。
在不被监测的学习中，例如在被用于训练的自动编码器中，训练数据仅包括非注释数据集，数据集也仅包括输入张量，并且处理模型根据一致性函数被优化。
损失函数例如可按像素检测在由处理模型计算的图像和预先给定的目标图像之间的差别。在L1损失函数中，按像素的差别能够按量(作为绝对值)相加。在L2损失函数中，形成按像素的差别的平方和。为了最小化损失函数，处理模型的模型参数的值改变，这例如通过梯度下降法和反向传播来计算。
代替损失函数，目标函数还可包括被最大化的增益函数。
在CNN的情况下，模型参数尤其可包括CNN的不同层的卷积矩阵的条目。可选地，不直接连续的层能够通过所谓的“跳过连接”或“剩余连接”进行连接，由此，层的输出不仅被传递至直接连续的层，而且额外地也被传递至其他的层。
深度神经网络(英文：deep neural network)的其他模型架构也是可能的。处理模型的输出例如可为其中每个像素由亮度值指定的图像。可供选择地，在输出的图像中为每个像素指定亮度分布。通过亮度分布，每个像素被指定最有可能的亮度值，但具有相关的不确定性。图像可包括一个或多个颜色通道，每个通道都以这种方式通过一亮度值或亮度分布来定义。
原则上，所有可能的处理映射都可被视为待学习的处理映射，但是本发明对于目标张量的生成成本非常高的此类处理映射而言是特别有意义的，原因在于注释数据集仅包括有限的数据量。
非注释数据集包含输入张量，但没有相应的目标张量。非注释数据集的输入张量来自于与注释数据集的输入张量类似的域。
层一致性函数也可能为损失函数或增益函数，其被相应地最小化或最大化。层一致性函数也根据当前模型参数由训练数据进行计算。与目标函数不同，层一致性函数检测在处理模型的相应层的输出张量之间的差别，其中，输出张量由第一输入张量并且由第二输入张量生成。
优选地，处理模型是生成式对抗网络，GAN。该GAN包括发生器和鉴别器，并且，第一和第二输入张量包括第一和第二发生器输入张量以及第一和第二鉴别器输入张量。该方法还包括以下步骤：由注释数据集和非注释数据集的初始的输入张量确定第一和第二发生器输入张量；和/或，由从发生器生成的结果张量以及由注释数据集的目标张量确定第一和第二鉴别器输入张量，其中，特定层包括发生器的至少一个层，或者鉴别器的层，或者发生器和鉴别器的至少一个层。
对于处理模型是GAN的情况，发生器例如学习虚拟处理映射。鉴别器被训练成，正确地分类从注释数据集输入的目标张量和由发生器生成的结果张量，也就是说，识别出是否涉及注释数据集的目标张量或者由发生器生成的结果张量。
因此，在使用注释数据集以及非注释数据集进行训练期间，发生器和鉴别器的中间层借助于一致性函数进行监测，则GAN的收敛行为能够被更加精确地控制，由此能够识别并且防止在中间层中不希望的适配，从而防止过度拟合，也能够确保更快的训练。
优选地，目标函数包括发生器目标函数和鉴别器目标函数，并且，模型参数包括发生器模型参数和鉴别器模型参数。目标函数是发生器目标函数和鉴别器目标函数的加权和，其中，发生器目标函数和鉴别器目标函数被分别分配目标权重。
处理模型为GAN，因此发生器模型参数包括发生器的卷积矩阵的条目，并且鉴别器模型参数包括鉴别器的卷积矩阵。
因此，目标函数是发生器目标函数和鉴别器目标函数的加权和，各自带有目标权重的发生器目标函数和鉴别器目标函数包含在目标函数中，在训练中可适当地选择目标权重，以应对可能发生的对相应模型参数的不适合的适配。例如在GAN中会出现发生器或鉴别器优于另一个的情况，也就是说一个网络的适配速度快于其他的网络。例如，鉴别器收敛速度快于发生器，这就是为什么鉴别器可正确分类所有由发生器生成的输出张量。借助于适当选择目标权重，能够相应地抑制或减慢例如鉴别器的进一步适配。
优选地，一致性函数的优化以及目标函数的优化包括通过适配模型参数来优化复合函数。该复合函数是目标函数和一致性函数之和。在复合函数中，目标函数以及一致性函数可分别分配有复合权重。
例如，目标函数以及一致性函数的复合权重在每个训练步骤中确定。可供选择地，对于整个训练而言，复合权重也可保持恒定不变。
因此，复合函数是一致性函数和目标函数之和，而一致性函数和目标函数分别根据其复合权重对复合函数做出贡献，在使用复合权重进行训练时，可使用其他的正则化参数，根据其能够控制复合函数的优化，从而使得能够防止过度拟合也可学报快速的训练。
例如，复合权重特别根据在训练步骤中所使用的注释数据集的输入张量的数量以及在训练步骤中所使用的非注释数据集的输入张量的数量来确定。
例如，如果使用随机梯度下降法，这是通过每次仅使用注释和/或非注释数据集的训练数据的一个小的子集，那么一致性函数和目标函数的复合权重能够根据所述子集中的相应训练数据的量来确定。例如，如果使用注释数据集的相对少量的输入张量，并且对于这种情况，具有相同复合权重的一致性函数和目标函数包括在复合函数中，则注释数据集对复合函数的影响将不成比例地大。相对地，如果复合权重根据来自注释数据集和非注释数据集的相应训练数据的量来确定，或者根据分别对目标函数或对复合函数做贡献的比较的张量的数量来确定，则能够更好地适配模型参数并且避免过度拟合。这进一步改善了训练方法的收敛行为。
优选地，一致性函数的优化包括从至少一个层的输出张量计算出压缩的输出张量，其中，该压缩的输出张量包括比非压缩的输出张量更少的信息，并且其中，一致性函数包括至少一个层一致性函数，其监测压缩的输出张量的差别。
压缩的输出张量例如为输出张量，其为输出张量的特定部分给定了均值、最大值、最小值或类似的值。最强的压缩是通过在压缩的输出张量仅取出单个值(例如最大值、均值或最小值)来获得的。
例如，通过使用压缩的输出张量能够压缩在先层的输出。因为在处理模型中的在先层通常是非变换不变的，则可通过适当的压缩(例如通过确定输出张量的最大值，其先前经过几何变换)提取出变换不变的信息，并因此，在先层也在计算一致性函数时被加以考虑。因此，这种压缩的输出张量使得即使在先前的非变换不变层中也能够监测神经网络或者处理模型的训练，并因此能够更加稳定地训练网络以及抵消过度拟合。
优选地，在计算目标函数或一致性函数时能够省略输出张量的单个条目，例如可为输出张量的特定条目设置标志，该标志表明在计算目标函数和/或一致性函数时并不使用该条目。
例如，如果已知的是，输出张量的特定条目包含不属于或不贡献于所学习的映射的元素，则能够在确定一致性函数或者目标函数时通过相应的标志忽略输出张量的元素或条目。由此能够避免的是，与要训练的数据不匹配的数据使得训练恶化。
优选地，输入张量是显微镜图像(2维张量)，尤其是高度偏移的显微镜图像的堆栈(3维张量)，显微镜图像的时间序列(3维张量)或者高度偏移的显微镜图像的堆栈的时间序列(4维张量)，其中，注释数据集包括输入张量和相应的目标张量，其中借助于和虚拟处理映射相应的处理映射从输入张量获得目标张量。处理映射是例如用于虚拟着色的映射，用于创建超高分辨率显微镜图像的映射，图像优化(尤其是降噪或去伪映射)，去卷积映射，用于格计数的格密度估计映射或者语义分割中的一个或多个。
优选地，变换包括镜像、旋转、缩放、借助于弹性网格的变形、变亮、变暗、调整伽马校正值、晕染、偏移、颜色反转、人工噪声、降噪、欠采样、遮蔽、模糊、任何使用线性或非线性过滤器的过滤、锐化、去伪映射、去卷积、降采样或者显微镜图像的修复中的一个或多个。例如，所述变换为来自注释或非注释数据集的初始的输入张量旋转90°并且第二输入张量是没有变换的初始的输入张量。可供选择地，第二输入张量可通过对变换的逆变换确定，在该情况下例如为旋转-90°。类似的逆变换也可用于其他可能的变换，以便由初始的输入张量生成第一和第二输入张量。
可供选择地，第一输入张量可借助于第一变换由初始的输入张量计算得出，并且，第二输入张量可借助于与第一变换完全不同的第二变换计算得出。
上述其他的输入张量也可借助于上述可能变换的任意组合计算得出。
例如，在计算层一致性函数之前，变换组合中的一个或多个变换必须被逆变换，而例如变换组合中的一个或多个其他变换则不必被逆变换。
一个变换是否必须被逆变换，取决于该变换以及待学习的虚拟处理映射。
优选地，变换借助于完成训练的预处理模型来执行。
例如一个完成训练的预处理模型可执行上述变换中的一个。可供选择地，预处理模型还可实现更复杂的变换，例如去伪映射、增强、降噪或者去卷积。
如果，如果变换借助于预处理模型执行，则该变换可以是降噪也可以是虚拟处理映射。借助于预处理模型执行的降噪与借助于虚拟处理映射执行的降噪的不同之处在于，借助于预处理模型的降噪并不像借助于虚拟处理映射的降噪那样好。这例如归因于，预处理映射并不是使用特定领域的显微镜图像进行训练，并因此，仅能去除显微镜图像的一般图像噪声，但不能去除在借助于处理映射进行处理的显微镜图像中越来越多地出现的噪声。
这同样适用于其他变换，比如去伪映射、增强和去卷积。如果这些借助于训练好的预处理模型来进行，那么借助于预处理模型的变换总是与要学习的虚拟处理映射不同，例如在实现的质量方面或者在降噪或去伪的类型方面。
优选地，注释数据集包括部分注释显微镜图像，其中，部分注释显微镜图像包括显微镜图像的注释的部分区域。例如，部分注释显微镜图像包括注释掩码。根据注释掩码，部分注释显微镜图像的注释的部分区域的每个像素可被分配第一掩码值，例如1，并且，部分注释显微镜图像的每个未注释的像素被分配第二掩码值，例如0。可供选择地，注释掩码还能够具有多于两个不同的值，例如第一值、第二值、第三值和第四值，其中，第一至第三值例如被分配给对应于显微镜图像的第一细胞类型、第二细胞类型和背景的像素，并且第四值被分配给未注释的像素。在第一和第三值之间的值域可称为注释值域。具有关于未注释的像素的注释值的值域例如称为初始化值域。相应地，注释的部分区域的每个像素可被分配在注释值域中的掩码值，并且，未注释的部分区域的每个像素可被分配在注释值域中的掩码值。具有在注释值域中的掩码值的像素属于注释的数据集，并且，具有在初始化值域中的掩码值的像素属于非注释数据集。
特别地，在计算经变换的输出张量时使用的变换是根据处理映射和用于计算第一输入张量的变换来选择的。
优选地，输入张量还包括背景信息，该背景信息被使用于虚拟处理映射中，或被使用于与虚拟处理映射相应的处理映射中。特别地，该背景信息可包括以下步骤的一个或多个：
-样本的类型，该样本要成像在显微镜图像中，
-样本载体的类型，该样本载体被用于拍摄样本图像，例如是否使用室载玻片、微孔板、带盖玻片的载玻片或培养皿，
-图像拍摄参数，例如关于照明强度、照明或探测波长、相机灵敏度、曝光时间、滤镜设置、荧光激发、对比度方法或试验台设置的信息，
-关于在相应的显微镜图像包含的对象的信息，
-应用信息，其表示显微镜图像被拍摄用于何种类型的应用，
-关于拍摄图像的用户的信息。
背景信息能够例如在拍摄图像期间被自动地单独添加到每个显微镜图像上，但是该背景信息还能够在拍摄显微镜图像之前为一组显微镜图像输入。可供选择地，其他完成训练的处理模型也可为显微镜图像生成背景信息，例如处理模型可生成并添加样本的类型、样本载体的类型或关于在显微镜图像中包含的对象的信息作为背景信息。
本发明的另一方面涉及一种机器学习系统，其包括执行用于训练机器学习系统的上述方法的装置。
本发明的另一方面涉及一种计算机程序，其包括在通过计算机执行程序时使得执行用于训练机器学习系统的前述方法的指令。
本发明的另一方面涉及一种计算机可读存储介质，其包括在通过计算机执行命令时使得执行用于训练机器学习系统的前述方法的指令。
图像处理系统包括评定设备，其中该评定设备包括处理模型，其根据用于训练机器学习系统的方法被训练，其中，评定设备被特别设计成，借助于由处理模型学习的虚拟处理映射对使用图像生成设备拍摄的图像进行处理。
附图说明
在下文中将根据附图中所示的实施例来说明本发明。附图中示出的是：
图1示意性地示出了根据一实施方式的使用了用于训练具有处理模型的机器学习系统的方法的系统；
图2示意性地示出了根据一实施方式的用于训练具有处理模型的机器学习系统的软件应用；
图3示意性地示出了根据另一实施方式的具有多层的处理模型；
图4示出了根据另一实施方式的用于训练机器学习系统的方法的示意图；
图5示出了根据另一实施方式的方法的处理的示意图；
图6示出了根据另一实施方式的方法的处理的示意图；
图7示意性地示出了根据另一实施方式的处理模型的不同层的输出；
图8示出了根据另一实施方式的方法的处理的示意图；
图9示出了用于确定机器学习系统的处理模型的虚拟处理映射的一致性的软件应用的示意图；
图10示出了根据另一实施方式的用于确定虚拟处理映射的一致性的方法的处理的示意图；
图11示出了根据另一实施方式的用于确定虚拟处理映射的一致性的方法的处理的示意图；以及
图12示出了用于确定虚拟处理映射的一致性的方法的处理的另一示意图。
附图标记列表
1 机器学习系统
2 显微镜
3 控制装置
4 评定设备
5 处理模型
6 三脚架
7 换镜旋座
8 安装的物镜
9 试验台
10 保持框架
11 样本载体
12 显微镜相机
13照明设备
14全景相机
15视野
16镜子
17屏幕
18存储模块
19注释数据集
20非注释数据集
21初始的输入张量
22目标张量
23结果张量
24通道
25张量输送模块
26输入变换模块
27目标函数模块
28a第一输入张量
28b第二输入张量
29层
30输入层
31输出层
32输出张量
33输出张量输送模块
34输出变换模块
35一致性函数模块
36经变换的输出张量
37模型参数优化模块
38一致性数据集
39特定中间层
40一致性卡
41剪切部分
具体实施方式
机器学习系统1的一个实施例包括显微镜2、控制装置3和评定设备4。显微镜2与评定设备4通信耦合。评定设备4包括处理模型5。处理模型5能够借助于由显微镜2检测的显微镜图像进行训练，以便执行虚拟处理映射(图1)。
显微镜2是光学显微镜。显微镜2包括三脚架6，其包含其他的显微镜组件。所述其他的显微镜组件特别为：物镜更换器或换镜旋座7，其带有安装的物镜8；试验台9，其带有保持框架10以保持样本载体11；以及，显微镜相机12。如果样本被夹在样本载体11上，并且物镜8被转入显微镜的光路中，并且照明设备13照亮该样本，则显微镜相机12接收来自被夹住的样本的探测光并且能够拍摄显微镜图像。样本能够为任意的对象、液体或结构。
可选地，显微镜2包括全景相机14，借助该全景相机14能够拍摄样本环境的全局图像。该全局图像例如显示样本载体11。该全景相机14的视野15大于拍摄显微镜图像时的视野15。全景相机14借助于镜子16观察样本载体11。镜子16布置在换镜旋座7上，并且能够被选择代替物镜8。
根据该实施方式，控制装置3(如图1中示意性示出的)包括屏幕17和评定设备4。该控制装置3被设置成，控制用于拍摄显微镜图像的显微镜2，并且将由显微镜相机12拍摄的显微镜图像存储在评定设备4的存储模块18并且将其显示到屏幕17上。随后，所拍摄的显微镜图像被评定设备4进一步处理。
评定设备4还在存储模块18中存储用于训练处理模块5的训练数据。该训练数据包括注释数据集19和非注释数据集20。
注释数据集19包含输入张量21和目标张量22(图5)。
在本实施例中，输入张量21为第一显微镜图像，并且，目标张量22为化学着色的显微镜图像。在本实施例中，输入张量(21)是矢量。
关于化学着色的显微镜图像可以被理解为由显微镜2拍摄的图像或者由所拍摄的图像数据生成的样本的图像，其中，至少一个颜料在样本中是可见的，而其在第一显微镜图像中是不可见的或只是微弱可见的。该颜料能够是人工添加的，或者也能够是自然存在于样本中的。根据设计，所述颜料仅仅是通过激发才可见的，例如荧光染料，或者该燃料通过简单的观察已经是可见的。在第一显微镜图像和在化学着色的显微镜图像中检查的样本对于两幅图像来说可以是相同的，其中，在第一显微镜图像中的颜料由于拍摄技术的原因是不可见的或者只是微弱可见的。例如，荧光图像能够被拍摄为化学着色的显微镜图像，并且，第一显微镜图像能够为相位对比图像(Phasenkontrastbild)。在这种情况下，荧光团在相位对比图像中是不可见的。在其他情况下，首先拍摄第一显微镜图像，随后加入染料，再拍摄化学着色的图像。除了荧光团，染料还在原则上能够为任意的色团。借助于明场染料，透射光或反射光图像能够被拍摄为化学着色的图像。根据染料的不同，暗场拍摄也是可能的。
在化学着色的显微镜图像中的表述“化学”应被理解为与虚拟着色显微镜图像的区别。在虚拟着色显微镜图像中，染色是通过计算方式(虚拟)添加的，而在化学着色的显微镜图像中，染色是根据样本(即其物理的或化学的属性)给定的。借助于根据该实施方式的方式，处理模型5应被训练以计算虚拟着色显微镜图像，也就是说，在该实施方式中，要学习的处理映射是显微镜图像的虚拟着色。
一般来说，第一显微镜图像和化学着色的显微镜图像的差别是由拍摄技术和/或在拍摄两张图像之间的样本准备所造成的。此处，在图像之间的样本准备通常是成本非常高昂的，原因在于图像对的生成与非常大的成本相关联。此外，依赖于拍摄技术，进一步拍摄可能对样本产生过大的负荷，例如所使用的颜料可能使样本有过大的负荷并且破坏样本。此外，进一步的照明(例如用于产生荧光图像的照明)会导致照片脱色(Fotobleichung)或者产生光毒性效果，并且还可能导致样本的破坏。样本的破坏通常是不希望发生的，原因在于化学着色的显微镜图像的拍摄不能在没有进一步成本的情况下实现或者仅在有相当成本的情况下实现。
在现有技术中，处理模型5借助于范围广泛的注释数据集19进行训练。为此，输入张量21被输入处理模型5，结果张量23被处理模型5输出。目标函数检测结果张量23与相应的目标张量22之间的差别。目标函数通过处理模型5的模型参数的适配来进行优化。
根据第一实施方式，由于在注释数据集19时的高成本无法通过合理的成本实现生成具有足够数量的示例的、由输入张量21和目标张量22组成的注释数据集19，从而完全地训练处理模型5。因此，除了注释数据集19之外，本发明还使用非注释数据集20来训练处理模型5。
非注释数据集20包含与参照注释数据集19所描述的第一显微镜图像(图5)类似的显微镜图像。非注释数据集20被用于借助一致性函数进一步优化处理模型5，也就是说，处理模型5借助于注释数据集19进行学习，执行虚拟处理映射。借助于非注释数据集20，处理模型5基于一致性考虑被进一步优化。
评定设备4还包括其他的模块，其经由通道24交换数据。通道24是各个模块之间的逻辑数据连接。这些模块能够被设计为软件模块或者是硬件模块。
评定设备4包括存储模块18，借助该存储模块18来储存和管理训练数据。张量输送模块25从存储模块18读取出初始的输入张量21，并且将该初始的输入张量21输入处理模型5，或者输送到输入变换模块26。此外，张量输送模块25从存储模块18读取出目标张量22，并且将该目标张量22输送到目标函数模块27。
输入变换模块26借助于变换T从初始的输入张量21计算出第一输入张量28a，并且将该第一输入张量28a输出到处理模型5。
根据第一实施方式，处理模型5为具有多个层29的卷积神经网络(CNN，Convolutional Neuronal Network)。该神经网络包括多个中间层29、输入层30以及输出层31(见图3)。
每个层29接收输入张量21并且输出输出张量32。在CNN中，输入层30以及中间层29的输出张量32形成在后层29的输入张量21。输出层31的输出张量32也称为结果张量23。
处理模型5将在图3中以阴影表示的预定中间层29以及输出层31的输出张量32传递至输出张量输送模块33。该输出张量输送模块33将输出张量32适当地传递至输出变换模块34、目标函数模块27和一致性函数模块35。
输出变换模块34从处理模型5接收输出张量32，并且经变换后的输出张量36被重新输出。经变换的输出张量36被传递至一致性函数模块35。
一致性函数模块35从输出张量输送模块33接收输出张量32，并且从输出变换模块34接收经变换的输出张量36。根据所接收的输出张量32和相应的经变换的输出张量36，一致性函数模块35计算出一致性函数。该致性函数模块35将计算出的一致性函数传递至模型参数优化模块37。
目标函数模块27从张量输送模块25接收目标张量22，并且从输出张量输送模块33接收结果张量23，并且根据所述结果张量23和相应的目标张量22计算出目标函数。目标函数模块27将计算出的目标函数传递至模型参数优化模块37。
模型参数优化模块37从一致性函数模块35接收一致性函数，并且从目标函数模块27接收目标函数，并且根据所述一致性函数和目标函数计算出用于处理模型5的新的模型参数。模型参数优化模块37将该新的模型参数传递至处理模型5。
处理模型5接收该新的模型参数，并且根据该新的模型参数适配处理模型的模型参数。
可供选择地，机器学习系统1也可仅由评定设备4构成。注释数据集19和非注释数据集20能够经由通信连接或者由移动数据载体被传输到评定设备4的存储模块18，并且评定设备4随后根据训练数据进行训练。如果评定设备4的处理模型5被完全训练，则评定设备4还能够独立于显微镜2根据所学习到的处理映射来评定显微镜图像。
可供选择地，机器学习系统1还能够借助于显微镜图像以外的其他输入张量21来训练。输入张量21可例如为图像，并且机器学习系统1被训练以识别所显示的对象。因此，目标张量22适当地指定在相应的图像中包含哪个对象。
例如对象可包括不同的类别，例如风景、建筑物、车辆、其他基础设施(比如道路、铁轨、电线杆、隧道或类似物)，但也可包括动物、人物、微生物、天气现象或类似物。例如，处理模型5可被训练成，为所显示的对象分配这些类别，但也能够将这些类别细分为子类别，并且，处理模型5还被训练成，正确地相应分配这些子类别。在这种情况下，处理模型将是一个分类模型，并且处理映射将是一个根据例如给定的类别的分类。
作为上述可能的处理映射的备选方案，处理模型5也可实现其他的处理映射。例如图像到图像的映射比如为创建超高分辨率的映射、图像优化(尤其是降噪或去伪)、去卷积映射以及任何种类的增强。借助于一致性函数进行学习的所述方法并不限于特定的处理映射，而是可应用于任何的处理映射。
可供选择地，输入变换模块26根据初始的输入张量21借助于第一变换T1计算出第一输入张量28a并且借助于变换T2计算出第二输入张量28b，并且将该第一输入张量28a和第二输入张量28b输入至处理模型5。
根据第一实施方式，评定设备4是计算机。可供选择地，评定设备4也可集成到显微镜2中，或者，通过例如云服务器实现，其可通过网络连接向用户提供评估结果。
根据第一实施方式，初始的输入张量21是显微镜图像，即二维张量。可供选择地，输入张量21也可为三维张量，例如高度偏移的显微镜图像的堆栈或显微镜图像的时间序列，或者为四维张量，例如高度偏移的显微镜图像的堆栈的时间序列。
下文中根据第一实施方式解释借助于注释数据集19和非注释数据集20来训练具有处理模型5的机器学习系统1的方法(图4)。在所述方法中，随机梯度下降法或随机梯度法被用于优化处理模型的模型参数。
训练是以更多的训练步骤实现的。在每个训练步骤之后，处理模型5的模型参数针对后续的训练步骤被适配。每个训练步骤都包括步骤S1。该步骤S1包括将输入张量21输入处理模型5。
在步骤S1中，张量输送模块25首先从注释数据集19和非注释数据集20随机选择一组实例，该组实例由注释数据集19的输入张量21和相应的目标张量22以及非注释数据集20的输入张量21组成。该组实例也被称为批次(Batch)。
张量输送模块25将该批次的初始的输入张量21作为第二输入张量28b输入到处理模型5，此外，将该批次的初始的输入张量21传递至输入变换模块26。张量输送模块25将与注释数据集19的输入张量21对应的、该批次的目标张量22传递至目标函数模块27(也见图5中的示意图)。
输入变换模块26对所输入的输入张量21进行转换，并且将该第一输入张量28a输入处理模型5。在该实施方式中，第一输入张量28a借助于几何变换生成。如从图5可看出的，几何变换T是显微镜图像在垂直轴上的镜像。
在此，张量输送模块25和输入变换模块26被优选地设置成，将初始的输入张量21和根据该初始的输入张量21生成的第一输入张量28a直接先后顺序地输入至处理模型5。
处理模型5为每个被输入的该批次的输入张量21输出该处理模型5的预定中间层29以及输出层31的输出张量32(在图3中用阴影表示的预定中间层输出输出张量32，此外，由输出层31输出的结果张量23在该意义上也算作输出张量32)。预定中间层29能够为处理模型5中的任何层29。例如，预定中间层可为卷积层、非线性的活动层(例如ReLU、Swish、ReLUP、Sigmoid、Tanh)、或归一化层(例如Batchnorm、GroupNorm或Instance-Norm)、池化层或注意块(Attention-)/功能(例如挤压和激励块、常规注意、自我注意、多头注意或转化块)(也见图5中的示意图，其中分别示例性地示出了由输出层31输出的结果张量23)。
根据步骤S1实现的处理步骤也被称为确定处理模型5的虚拟处理映射的一致性。
每个训练步骤还包括步骤S2，包括通过适配处理模型5的模型参数来优化复合函数。
输出张量输送模块33接收输出张量32。输出张量输送模块33将由注释数据集19的输入张量21生成的结果张量23传递至目标函数模块27。
此外，输出张量输送模块33还将由第一输入张量28a生成的输出张量32传递至输出变换模块34，并且将由第二输入张量28b生成的输出张量32传递至一致性函数模块35。
输出变换模块34使用由第一输入张量28a生成的输出张量32进行变换T-1，并且将借助于变换T-1生成的经变换的输出张量36传递给一致性函数模块35。
目标函数模块27接收由目标张量22和相应的结果张量23组成的对，并且分别为每个对计算目标函数。目标函数检测在目标张量22和相应的结果张量23之间的差别。在目标张量22和相应的结果张量23之间的差别是按像素检测的。目标函数是L2损失函数，其中计算按像素的差别的平方和。所计算出的目标函数被进一步传送至模型参数优化模块37。
一致性函数模块35为批次中的每个输入张量21以及为预定中间层29以及输出层31中的每一个接收由输出张量32和相应的经变换的输出张量36所组成的对。一致性函数模块35为该批次中的每个输入张量21计算一致性函数。一致性函数是特定中间层以及输出层31的层一致性函数之和，其中，每个层一致性函数根据相应的层一致性函数中的层权重被包括在一致性函数中。层一致性函数按条目进行检测，也就是说，为输出张量32与相应的经变换的输出张量36中的每个条目检测在各个层29中的输出张量32与相应的经变换的输出张量36之间的差别。层一致性函数是L2损失函数，其中计算按条目的差别的平方和。一致性函数是层一致性函数的加权和，也就是说，每个层一致性函数被分配层权重，并且该层一致性函数以相应的层权重进行加权后包括在一致性函数中。根据第一实施方式，所有层一致性函数以同一层权重包括在一致性函数中。
一致性函数模块35将一致性函数传递至模型参数优化模块37。
该模型参数优化模块37接收关于批次中的每个输入张量21的所计算的目标函数以及所计算的一致性函数，其中，来自非注释数据集20的输入张量21的目标函数被设置为零。模型参数优化模块37为目标函数以及一致性函数分配相应的一个复合权重，并且将复合函数计算为目标函数与一致性函数之和，其中，这些总和按其在和中的复合权重进行加权。
为每个训练步骤(也就是说为每个新选择的批次)重新确定复合权重。根据第一实施方式，复合权重依赖于分别从非注释数据集20和注释数据集19选择的输入张量21的数量来确定。
模型参数优化模块37在每个训练步骤结束时借助于梯度下降法结合反向传播来适配模型参数。由此，为批次中的每个示例确定损失函数的梯度，并且对在批次中确定的梯度进行求和或求平均。随后，由此获得的新的模型参数由模型参数优化模块37传递至处理模型5，该处理模型5根据新的模型参数来对模型参数进行适配。
在接下来的训练步骤中，使用处理模型5根据新的模型参数执行步骤S1和S2。
一旦通过复合函数的优化使得复合函数达到预定阈值，则处理模型5的训练停止。
根据第一实施方式优化复合函数，其中，目标函数和一致性函数二者相应于其复合权重被包含在复合函数中。
可供选择地，在训练处理模型5时，也可独立于目标函数使用来自非注释数据集20和注释数据集19的数据对一致性函数进行优化。同样，目标函数可独立于一致性函数借助于注释数据集19与一致性函数无关地进行优化。例如，在连续的训练步骤中，目标函数首先借助注释数据进行优化，并且在随后的训练步骤中，一致性函数借助于未注释数据进行优化。可供选择地，可每次在新的训练步骤之前确定一致性函数、目标函数或复合函数是否应当被优化，并随后相应于批次进行选择。一个批次包括至少一个输入张量。
作为固定选择的层权重的备选方案，可为每个训练步骤单独重新确定层一致性函数的层权重。
例如，相较于在后层29的层权重，在先层29的层权重被设置成具有较小的值。根据预期，在后层29通常较少依赖于在非注释数据集20的输入张量21上应用的变换，因此对于在后层29，能够容易地实现由第二输入张量28b生成的输出张量32和由第一输入张量28a生成的输出张量32的一致性。
可供选择地，也可使用其他的度量来计算层一致性函数/一致性函数以及目标函数，例如L1范数、熵损失、交叉熵损失、Hinge损失、Dice损失、对比损失、余弦损失(这取决于应用)以及借助于Kullback-Leibler发散、Wasserstein度量或Earth-Mover距离，或者其他已知的损失函数或增益函数。
可供选择地，输入变换模块26使用相应的变换(例如90°旋转和-90°旋转，或者变亮或相应地变暗)对来自注释或非注释数据集的初始的输入张量21进行变换，并且将相应变换后的第一输入张量28a和第二输入张量28b输入处理模型5。在确定经变换的输出张量时，相关对应的变换在必要时也被相应地逆变换。
根据第一实施方式的设计方案，处理模型5是预训练的处理模型。预徐连的处理模型是已经使用预训练数据集进行预训练的处理模型，其中，预训练数据集是与注释和非注释数据集不同的训练数据集。预训练数据集例如为一免费可用的数据集，如ImageNet。预训练能够为域特定的或者域非特定的。通过预训练，虚拟处理映射的训练能借助于注释和/或非注释数据集被明显地加速。
第二实施方式(在图6中示意性示出)与第一实施方式的差别在于，由第一输入张量28a生成的输出张量32不借助于输出变换模块34进行变换(逆变换)，但是由第二输入张量28b生成的输出张量32借助于变换T被变换称为经变换的输出张量36。在所示的示例中，变换T是在垂直轴上的镜像，相应地，由第二输入张量28b生成的输出张量32同样借助于变换T在垂直轴上进行镜像，以便获得经变换的输出张量36。
根据第三实施方式(在图7中示意性示出)，中间层29以及输出层31的输出是变换不变的(transformations-invariant)。因此，层一致性函数直接检测在由第二输入张量28b生成的输出张量32和由第一输入张量28a生成的输出张量32之间的差别。
根据第四实施方式，上述有关实施方式描述的方法也可应用于分类问题。就这一点，例如参考图8。处理映射是分类映射。为了更好的可视化，在这里选择一张带有细胞的图像，以便更好地说明所执行的不同层29的输出。可识别出细胞核以及细胞骨架的组成部分。该细胞的图像以经变换的方式和不经变换的方式被输入到处理模型5中，中间层29的输出被相应地逆变换或者被变换，以便借助于相应的层一致性函数对其进行比较。相对地，输出层31的结果张量23仅输出分类，也就是说对于该示例，结果张量23包含表明所检查的输入图像包含细胞的条目。输出张量32不依赖于对经变换的输入图像执行的几何变换，因此不需要结果张量23的逆变换。
根据第五实施方式，处理模型5的在先层29的输出恰好不是变换不变的并由此也不是可逆变换的。如果输出张量32的变换不是合理可能的或者并非必要的，则为在先层29压缩的输出张量被计算和比较。压缩的输出张量可例如为最大函数、平均函数或者其他的压缩方法。也就是说，在极端情况下，确定输出张量32的相应最大值，并且借助于层一致性函数进行比较。
根据第六实施方式，机器学习系统包括第一实施方式的显微镜2以及评定设备4，其中，评定设备4的处理模型5是根据用于训练按照第一实施方式的机器学习系统1的方法来训练的。
第七实施方式包括第一实施方式的评定设备4，其中，评定设备4的处理模型5是根据用于训练按照第一实施方式的机器学习系统1的方法来训练的。
根据第八实施方式，处理模型5是生成式对抗网络(英文：generativeadverserial network，GAN)。该GAN包括发生器和鉴别器。该发生器被训练为执行虚拟处理映射。该鉴别器被训练用于区别，输入张量是否为由发生器生成的结果张量或者是否为注释数据集的目标张量。
在该实施方式中，第一输入张量28a和第二输入张量28b可包括：第一和第二发生器输入张量，或第一和第二鉴别器输入张量，或两者兼有。类似于第一实施方式，第一和第二发生器输入张量根据未注释和注释数据集20、19的输入张量来确定。第一和第二鉴别器输入张量根据由发生器生成的结果张量和注释数据集的目标张量来确定。
在第八实施方式中的一致性函数与前述实施方式的区别在于，层一致性函数包括发生器的中间层以及鉴别器的中间层。类似于前述实施方式，在一致性函数中的每个层一致性函数被分配一个层权重。
在第八实施方式中的目标函数与前述实施方式的区别在于，其包括发生器目标函数以及鉴别器目标函数。因此，根据第八实施方式的复合函数包括具有发生器和鉴别器的层一致性函数的一致性函数，以及，发生器目标函数和鉴别器目标函数。
可供选择地，一致性函数也可仅包括发生器或者鉴别器的层一致性函数。例如，一致性函数仅包括发生器的层一致性函数，鉴别器将(代替第一和第二鉴别器输入张量)仅处理由发生器生成的结果张量和注释数据集的目标张量作为鉴别器输入张量，而不必确定第一和第二鉴别器输入张量。
可供选择地，一致性函数也可仅包括鉴别器的层一致性函数。对于这种情况，发生器将不处理第一和第二发生器输入张量，而仅仅处理注释数据集19和非注释数据集20的输入张量。
根据第九实施方式，注释数据集19包括部分注释的显微镜图像。在该部分注释显微镜图像中，每个像素被分配一个掩码值1或0，其中掩码值为1意味着该像素属于该显微镜图像的注释部分，而掩码值为0则意味着该像素属于该显微镜图像的未注释部分。因此，该显微镜图像的注释部分属于注释数据集，并且，该显微镜图像的未注释部分属于未注释数据集。
在该实施方式中，部分注释显微镜图像中的注释是由用户标记的细胞核，其中，用户每次仅标记细胞核中的一部分，因为标记所有的细胞核成本过高。例如，在显微镜图像的注释部分中，用户为每个细胞标记靠近细胞核中心的一个点。由此，进一步的处理映射借助于过滤器在细胞核中心生成一条高斯钟形曲线，即所谓的“密度钟”，然后这些密度钟能够例如用于创建密度图。
对于部分注释显微镜图像的另一种备选方案，例如仅在显微镜图像的一部分中执行物体探测。
可供选择地，例如显微镜图像也可仅被部分着色，因为特定结构仅在被着色的区域中才能被完全识别。着色例如能够通过化学着色来实现。可供选择地，在荧光图像中，例如显微镜图像中仅一部分可被激发出荧光，以便在发生光脱色的情况下使得样本的其余部分不受影响。
可供选择地，显微镜图像的一部分可以被手动分割，其中，具有在预定注释值域的掩码值的图像区域属于注释数据集19，并且，具有在不同于预定注释值域的初始化值域中的掩码值的图像区域或者没有掩码值的图像区域属于非注释数据集20。完全没有掩码值的显微镜图像同样属于非注释数据集。
根据另一备选方案，显微镜图像的部分注释可由用户创建。用户例如在屏幕17上观看来自于一组待分析的显微镜图像中的待分析的显微镜图像。例如，该显微镜图像包括两种不同类型的细胞和例如显微镜图像的背景。在所观看的显微镜图像的部分区域中，不同的细胞类型以及背景被用户标记出来。例如软件的工具基于标记提取细胞和背景。被标记的区域——其带有被识别的细胞以及被标记的背景——是注释数据集的一部分。没有标记的区域是非注释数据集的一部分。
可供选择地，用户也可包括细胞的一个像素。基于被标记的像素，工具例如借助于边缘探测来提取被识别的细胞的边，并且为在被识别的细胞的边内的像素分配掩码值，该掩码值对应于特定细胞类型并且位于注释值域中。在用户标记的区域中且位于所识别的细胞的边缘以外的像素被分配来自于注释值域的掩码值，这表明这些像素不属于特定细胞类型的细胞。
处理模型使用部分注释显微镜图像的具有在注释值域内的掩码值的区域作为注释数据集19，并且如在先描述的实施方式中一样根据该注释数据集19开始处理模型5的训练。
在后续的训练步骤中，处理模型5——在部分注释显微镜图像的另一非注释区域中和/或在一组待分析的显微镜图像中的另一待分析显微镜图像中——进一步探测所识别的特定细胞类型的细胞，并且将相应的掩码值分配给属于新识别的细胞的像素。
在处理模型5发现更多的特定细胞类型的细胞时，这些细胞被呈现(也就是说被显示在屏幕17上)给用户以进行控制，随后，用户能够相应地验证由处理模型5所识别的细胞并由此交互式地增大注释数据集19。在使用不断增长的注释数据集19进行训练时，正如参考先前描述的实施方式一样，处理模型5同时用注释数据集19和非注释数据集20进行训练。
可供选择地，在部分注释显微镜图像中还能够由用户识别多个不同的细胞类型。
在到目前为止所描述的实施方式涉及到特定的处理映射和特定的变换。然而，本发明也可适用于其他的处理映射。例如，所述处理映射还可为：例如生成超高分辨率的图像的映射、图像优化(例如降噪或去伪)、去卷积映射、用于格计数的格密度估计(Zelldichte-)，或者，处理映射能够是语义分割。处理映射能够为任何可用机器学习系统学习的处理映射。
可能的变换包括不同的几何变换，例如镜像、旋转、缩放或者借助于弹性网格的变换，另外，还可进行不同的像素变换，例如变亮或变暗、适配伽马值、晕染、像素值的偏移或反转。另外，还可设想不同的干扰变换，例如噪声、欠采样(也即随机欠采样)、降采样、图像修复、用线性的或非线性的滤波器进行过滤或者遮蔽。
相应的逆变换必须相应于待学习的处理映射和所执行的变换来选择。例如，干扰变换的逆变换往往是没有意义的，或者是根本不可能的。
一般来说，对于分类网络而言，输出张量的逆变换往往既不可能也无必要，原因在于类别输出不再与输出张量有空间上的关联。
根据到目前为止所描述的实施方式描述了在处理模型5的训练期间对处理模型5的虚拟处理映射的一致性进行确定。然而，该一致性的确定也可在推理中使用完全学习的处理模型5，以便确定处理模型5一致地处理输入张量的程度。这将在以下的实施方式中进行描述。
根据第十实施方式，评定设备4包括存储模块18、张量输送模块25、处理模型5和一致性函数模块35(比较图9)。张量输送模块25从存储模块18读取出第一输入张量28a和第二输入张量28b，以及，将第一输入张量28a和第二输入张量28b输入到处理模型5中。第一输入张量28a和第二输入张量28b分别为检测相同结构或相同对象的显微镜图像，其中，这些显微镜图像之间的差异仅在于随机像噪声。
如在第一实施方式中，处理模型5是具有多层29的卷积神经网络(见图3)。
处理模型将输出张量32输出，正如已参照第一实施方式所描述的。与第一实施方式有差别的是，输出张量32被直接输出到一致性函数模块35。
一致性函数模块35接收输出张量32并且计算一致性函数。
在下面解释根据第十实施方式的、用于确定机器学习系统1的处理模型5的虚拟处理映射的一致性的方法。
确定处理模型5的虚拟处理映射的一致性包括：在第一步骤中，将第一输入张量28a和第二输入张量28b输入到处理模型5中。
在第一步骤中，张量输送模块25首先从一致性数据集38选择出第一输入张量28a和第二输入张量28b。根据第十实施方式，第一输入张量28a和第二输入张量28b为显微镜图像，其中，显微镜已拍摄了相同对象两次，例如以上在图11或图12中所示。根据所示示例，所述对象包括细胞核。第一输入张量28a和第二输入张量28b彼此相互记录，也就是说，所拍摄的细胞中相同的点被映射到在显微镜图像中相同的点上。
张量输送模块25将第一输入张量28a和第二输入张量28b输入处理模型5(另见图10中的示意图)。
一致性数据集38包括彼此相互记录的一对显微镜图像，显微镜例如以短的时间间隔拍摄该对显微镜图像，其中，该对显微镜图像彼此之间的差别在于由显微镜相机12所导致的随机噪声。
类似于如图3中所示的第一实施方式，处理模型5为第一输入张量28a和第二输入张量28b分别输出处理模型5的预定中间层29以及输出层31的输出张量32。类似于第一实施方式，预定中间层29是处理模型中任意的层29。
一致性函数模块35接收由第一输入张量28a和第二输入张量28b生成的输出张量32，并且为由第一输入张量28a和第二输入张量28b所组成的对计算一致性函数。根据第十实施方式，一致性函数正好为特定中间层的层一致性函数。特定中间层39的层一致性函数在特定中间层39的输出张量32中按条目(也就是说为每个条目)检测由第一输入张量28a和第二输入张量28b确定的输出张量32之间的差别。层一致性函数为L2损失函数，其中计算按条目的差别的平方和。因此，层一致性函数提供了关于以下项的度量，即关于第一输入张量28a和第二输入张量28b被处理模型5的虚拟处理映射一致地处理的程度。
根据第十实施方式，一致性函数检测在特定中间层的输出张量中的差别，其中，输出张量32基于一对显微镜图像，这些显微镜图像彼此之间仅有在统计学上的噪声的差别。每个虚拟处理映射应以相同的方式处理该对显微镜图像，在统计学上的差别不应导致在虚拟处理映射中的差别，因为其并不是基于真实的差别。因此，根据第十实施方式的一致性函数使得有可能提出一种度量，根据该度量能够评价虚拟处理映射是否可靠地且一致地处理所输入的显微镜图像，而不会产生额外结构的幻觉。
可供选择地，在确定虚拟处理映射的一致性时，代替所描述的L2损失函数(如上参考前述实施方式描述的)，也可使用任何其他的损失函数。
作为一致性函数的备选方案(其中仅包括特定中间层39的层一致性函数)还可将一致性函数计算为层一致性函数之和，其中包括多个中间层和输出层31的层一致性函数，如参考前述实施方式所描述的。
由于根据第十实施方式的方法也为处理模型5的中间层确定一致性，还能够监测回归模型和分类模型的一致性。而这对于到目前为止已知的、用于虚拟处理映射的分析方法而言是不可能的。
根据第十实施方式，一致性数据集38是由彼此相互记录的一对显微镜图像所组成的数据集。该一致性数据集还可包括例如参考前述实施方式描述的注释数据集19和非注释数据集20。可供选择地，一致性数据集38也可包括如上所述的具有不同尺寸的张量。
根据另一备选方案，第一输入张量28a和第二输入张量28b借助于由初始的输入张量21的变换来进行计算，如以上参考前述实施方式所描述的。依赖于所使用的变换，由第一输入张量28a和第二输入张量28b确定的输出张量32——要在其差别被一致性函数检测到之前——被逆变换，如上所述。
根据第十实施方式，处理模型例如为以上参考前述实施方式所描述的处理模型中的一个，其中，处理模型5例如是完成训练的。可供选择地，如在前述实施方式中所描述的，在用于训练机器学习系统1的方法的框架中，虚拟处理映射的一致性被确定。
根据第十一实施方式，处理模型5为分类模型，虚拟处理映射还识别在显微镜图像中所包含的对象，见图11，处理模型据此识别出显微镜图像中包含细胞。分类模型仅输出对象类别，因此不能够根据处理模型5的输出层31的输出有意义地形成层一致性函数。然而如所示的，例如层一致性函数能够由处理模型的特定层的一对输出张量32计算得到，并且，层一致性函数之和能够包括在一致性函数中。可供选择地，层一致性函数中的仅一个也可形成一致性函数。
可供选择地，处理模型5也可为回归模型或探测模型。
根据第十二实施方式，层一致性函数为输出张量32的每个条目输出一致性卡40。根据第十一实施方式，一致性卡40正好为基于第一输入张量28a和第二输入张量28b的输出张量32的按像素的差别，如在图12下部示意性示出的。根据第十一实施方式，根据由一致性函数输出的一致性卡40进行评估，即评估虚拟处理映射是否适于处理所输入的显微镜图像。
正如通过比较输出张量32的在图12中部的剪切部分41可识别出的，在所示示例中，例如在细胞核左侧边处的结构被虚拟处理模型处理得差别尽可能小。
可供选择地，在一致性卡40中还能够检测输出张量的部分区域，例如为一致性卡40的每个部分区域确定L2损失函数。相应地，可随后为所述部分区域进行评估，即评估在显微镜图像中所检测的对象或者结构是否被虚拟处理映射适当地处理。例如，所述部分区域能够借助于分割掩码来确定。
可供选择地，部分区域也可借助于分类模型来确定，从而使得具有相同对象(例如细胞核或细胞质或可能的其他对象)的部分区域能够被各自适当地评估，并因此能够根据在所述部分区域中存在的对象被分类，这些对象是否被虚拟处理映射适当地处理。
类似于参考前述实施方式描述的、用于由初始的输入张量生成多个输入张量的方法，在用于确定虚拟处理映射的一致性的方法中，也能够借助于如上所述的不同变换由初始的输入张量确定两个以上的输入张量，相应地借助于处理模型进行处理，并随后相应地分别基于经变换的初始的输入张量在两个输出张量之间相应地检查虚拟处理映射的一致性，例如还参考每种情况下使用的变换或者每种情况下使用的变换组合以及(如有必要的话)逆变换。

Claims (28)

1.一种确定机器学习系统(1)的处理模型的虚拟处理映射的一致性的方法，所述方法包括：
-将第一输入张量(28a)输入所述处理模型(5)；
-将第二输入张量(28b)输入所述处理模型(5)，其中，所述第一输入张量(28a)和所述第二输入张量(28b)由初始的输入张量确定，或者所述第一输入张量(28a)和所述第二输入张量(28b)检测对象的属性，并且所述第一输入张量(28a)和所述第二输入张量(28b)检测同一对象；以及
-确定一致性函数，其中，所述一致性函数包括所述处理模型(5)的特定层(29)的至少一个层一致性函数，其中，层一致性函数检测所述处理模型(5)的层(29)的由所述第一输入张量(28a)和所述第二输入张量(28b)生成的输出张量(32)之间的差别，
其特征在于，所述特定层(29)的所述输出张量(32)是所述处理模型(5)的另一层(29)的输入张量。
2.根据权利要求1所述的方法，其中，所述第一输入张量(28a)和所述第二输入张量(28b)在随机噪声方面有所不同。
3.根据前述权利要求中任一项所述的方法，其中，所述处理模型(5)是完成训练的处理模型。
4.根据前述权利要求中任一项所述的方法，其中，借助于所述一致性函数生成一致性卡(40)，其中，在所述一致性卡(40)中，针对所述输出张量(32)的不同部分区域检测所述输出张量(32)之间的差别。
5.根据前述权利要求中任一项所述的方法，其中，根据所述一致性卡(40)实现关于所述虚拟处理映射是否适合用于所检测的对象的输入张量的处理的评估。
6.一种训练具有处理模型(5)的机器学习系统(1)的方法，所述处理模型(5)尤其是多层神经网络，以便执行虚拟处理映射，所述方法包括：
-依据根据权利要求1或2所述的方法确定所述虚拟处理映射的一致性；以及
-通过适配所述处理模型(5)的模型参数来优化一致性函数。
7.根据权利要求6所述的方法，其中，所述第一输入张量(28a)借助于变换由所述初始的输入张量(21)计算得到，并且所述第二输入张量(28b)是所述初始的输入张量(21)或者借助另一变换由所述初始的输入张量(21)计算得到。
8.根据前述权利要求中任一项所述的方法，
其特征在于，所述一致性函数包括至少一个其他层(29)的层一致性函数，其中，所述其他层(29)尤其是所述处理模型(5)的输出层(31)。
9.根据权利要求6至8中任一项所述的方法，其中，所述一致性函数是层一致性函数之和，尤其为所述一致性函数中的每个层一致性函数分配层权重，并且所述层权重在所述训练中是固定的，或者在所述训练中是动态地选择或确定的。
10.根据前述权利要求中任一项所述的方法，其中，所述方法在确定所述一致性函数之前还包括：
计算至少一个经变换的输出张量(36)，其中，所述经变换的输出张量(36)能够通过由所述第一输入张量(28a)生成的输出张量(32)的逆变换来确定，或者通过由所述第二输入张量(28b)生成的输出张量(32)的变换来确定，或者通过由所述第一输入张量(28a)生成的输出张量(32)的部分逆变换和由所述第二输入张量(28b)生成的输出张量(32)的部分变换来确定，其中，所述层一致性函数检测在经变换的输出张量(36)和未经变换的输出张量(32)之间的差别，或者检测在经变换的输出张量(36)之间的差别。
11.根据前述权利要求中任一项所述的方法，所述方法还包括：
将其他的输入张量输入所述处理模型(5)，其中，所述其他的输入张量借助于其他的变换由所述初始的输入张量(21)计算得到，其中，所述层一致性函数分别成对地检测所有由所述初始的输入张量(21)得出的层的输出张量之间的差别。
12.根据权利要求6至11中任一项所述的方法，其中，所述机器学习系统根据注释数据集(19)和非注释数据集(20)进行训练，并且所述方法还包括：
-借助于所述注释数据集(19)通过适配所述模型参数来优化目标函数。
13.根据权利要求12所述的方法，其中，所述处理模型(5)是生成式对抗网络GAN，其中，所述GAN包括发生器和鉴别器，并且所述第一输入张量(28a)和所述第二输入张量(28b)包括第一发生器输入张量和第二发生器输入张量以及第一鉴别器输入张量和第二鉴别器输入张量，其中，所述方法还包括：
-由所述注释数据集(19)和所述非注释数据集(20)的输入张量确定所述第一发生器输入张量和第二发生器输入张量，和/或
-由从所述发生器生成的结果张量和由所述注释数据集(19)的目标张量确定所述第一鉴别器输入张量和第二鉴别器输入张量，其中，所述特定层包括所述发生器的至少一个层，或者所述鉴别器的层，或者所述发生器和所述鉴别器的至少一个层。
14.根据权利要求13所述的方法，其中，所述目标函数包括发生器目标函数和鉴别器目标函数，所述模型参数包括发生器模型参数和鉴别器模型参数，并且所述目标函数是所述发生器目标函数和所述鉴别器目标函数的加权和，其中，所述发生器目标函数和所述鉴别器目标函数被分别分配目标权重。
15.根据权利要求12所述的方法，其中，所述处理模型(5)是神经网络，尤其是卷积神经网络。
16.根据权利要求12至15中任一项所述的方法，其中，所述一致性函数的优化以及所述目标函数的优化包括通过适配所述模型参数来优化复合函数，其中，所述复合函数是所述目标函数和所述一致性函数之和，其中，所述目标函数和所述一致性函数尤其被分别分配复合权重，其中，所述复合权重尤其在每个训练步骤中被确定或者为整个训练一次性地固定。
17.根据权利要求16所述的方法，其中，所述复合函数的优化还包括：
所述复合权重尤其根据在训练步骤中所使用的所述注释数据集(19)的输入张量(21)的数量以及在所述训练步骤中所使用的所述非注释数据集(20)的输入张量(20)的数量来确定。
18.根据权利要求6至17中任一项所述的方法，其中，所述一致性函数的优化还包括：
从用于至少一个层(29)的所述输出张量(32)计算出压缩的输出张量(32)，其中，压缩的所述输出张量(32)包括比非压缩的所述输出张量(32)更少的信息，并且其中，所述一致性函数包括至少一个层一致性函数，其检测压缩的所述输出张量(32)的差别。
19.根据权利要求6至18中任一项所述的方法，其中，在计算所述目标函数和/或一致性函数时能够省略所述输出张量(32)的条目，例如能够为所述输出张量(32)的特定条目设置标志，所述标志表明在计算所述目标函数和/或所述一致性函数时并不使用所述条目。
20.根据前述权利要求中任一项所述的方法，其中，所述输入张量(21)是显微镜图像，并且所述虚拟处理映射对应于由所述输入张量(21)确定目标张量(22)的处理映射，其中，所述处理映射为以下项中的一个或更多个：
-用于虚拟着色的映射；
-用于创建超高分辨率显微镜图像的映射；
-图像优化，尤其是降噪或去伪映射；
-去卷积映射；
-用于格计数的格密度估计映射；
-实例分割；
-全景分割；以及
-语义分割。
21.根据权利要求1至19中任一项所述的方法，其中，所述输入张量为显微镜图像，并且所述处理模型(5)为分类模型、回归模型或探测模型，其中，所述分类模型的输出是具有类概率分布的结果向量，所述回归模型的输出是标量，并且，所述探测模型的输出是预定模式的定位列表。
22.根据权利要求20或21所述的方法，其中，所述变换为以下项中的一个或更多个：
-镜像，
-旋转，
-缩放，
-借助于弹性网格的变形，
-变亮，
-变暗，
-调整伽马校正值，
-晕染，
-偏移，
-颜色反转，
-人工噪声，
-降噪，
-欠采样，
-遮蔽，
-模糊，
-任何使用线性或非线性过滤器的过滤，
-锐化，
-去伪映射，
-去卷积，
-降采样，以及
-显微镜图像的修复，
其中，所述变换尤其借助于训练的处理模型被执行。
23.根据权利要求22所述的方法，其中，在计算所述经变换的输出张量(3)时所使用的变换依赖于所述处理映射以及计算所述第一输入张量(28a)的变换来选择。
24.一种用于评定输入张量(21)的评定设备(4)，所述评定设备(4)尤其被设计为机器学习系统(1)，包括用于执行根据前述权利要求中任一项所述的方法的装置。
25.一种图像处理系统(1)，所述图像处理系统(1)包括根据权利要求24所述的评定设备(4)，尤其包括图像生成设备，例如显微镜(2)。
26.一种计算机程序产品，所述计算机程序产品包括在通过计算机执行程序时使得执行根据权利要求1至23中任一项所述的方法的指令，所述计算机程序产品尤其是计算机可读存储介质。
27.一种图像处理系统(1)，所述图像处理系统(1)包括评定设备(4)，其中，所述评定设备(4)依据根据权利要求1至5中任一项所述的方法确定处理模型(5)的一致性。
28.一种图像处理系统(1)，所述图像处理系统(1)包括评定设备(4)，其中，所述评定设备(4)包括处理模型(5)，所述处理模型(5)依据根据权利要求6至23中任一项所述的方法进行训练以执行虚拟处理映射，所述评定设备(4)尤其包括图像生成设备，例如显微镜(2)，其中，所述评定设备(4)被设计为，借助于所学习的虚拟处理映射来处理使用所述图像生成设备拍摄的图像。
CN202310688199.0A 2022-06-14 2023-06-12 评估虚拟处理映射的一致性的方法、训练具有处理模型的机器学习系统的方法、机器学习系统、计算机程序产品和图像处理系统 Pending CN117236462A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022114888.2 2022-06-14
DE102022114888.2A DE102022114888A1 (de) 2022-06-14 2022-06-14 Verfahren zum Bewerten einer Konsistenz einer virtuellen Verarbeitungsabbildung, Verfahren zum Trainieren eines Maschinenlernsystems mit einem Verarbeitungsmodell, Maschinenlernsystem, Computerprogrammprodukt, sowie Bildverarbeitungssystem

Publications (1)

Publication Number Publication Date
CN117236462A true CN117236462A (zh) 2023-12-15

Family

ID=88873995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310688199.0A Pending CN117236462A (zh) 2022-06-14 2023-06-12 评估虚拟处理映射的一致性的方法、训练具有处理模型的机器学习系统的方法、机器学习系统、计算机程序产品和图像处理系统

Country Status (2)

Country Link
CN (1) CN117236462A (zh)
DE (1) DE102022114888A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019114012A1 (de) 2019-05-24 2020-11-26 Carl Zeiss Microscopy Gmbh Mikroskopieverfahren, Mikroskop und Computerprogramm mit Verifikationsalgorithmus für Bildverarbeitungsergebnisse
DE102021100444A1 (de) 2021-01-12 2022-07-14 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum bewerten von bildverarbeitungsergebnissen

Also Published As

Publication number Publication date
DE102022114888A1 (de) 2023-12-14

Similar Documents

Publication Publication Date Title
Wang et al. An experimental-based review of image enhancement and image restoration methods for underwater imaging
JP7422825B2 (ja) 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測
CN110490212A (zh) 钼靶影像处理设备、方法和装置
Shi et al. Low-light image enhancement algorithm based on retinex and generative adversarial network
CN109871845A (zh) 证件图像提取方法及终端设备
CN112528782B (zh) 水下鱼类目标检测方法及装置
Han et al. Transferring microscopy image modalities with conditional generative adversarial networks
CN112330613B (zh) 一种细胞病理数字图像质量的评价方法及系统
CN114764189A (zh) 用于评估图像处理结果的显微镜系统和方法
JP2022549684A (ja) 深層学習による位相画像の再構築
CN117690128B (zh) 胚胎细胞多核目标检测系统、方法和计算机可读存储介质
CN116664446A (zh) 基于残差密集块的轻量级暗光图像增强方法
CN111862040A (zh) 人像图片质量评价方法、装置、设备及存储介质
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
CN105574844B (zh) 辐射响应函数估计方法和装置
US20230194847A1 (en) Microscopy System and Method for Modifying Microscope Images in the Feature Space of a Generative Network
CN117236462A (zh) 评估虚拟处理映射的一致性的方法、训练具有处理模型的机器学习系统的方法、机器学习系统、计算机程序产品和图像处理系统
Dai et al. Exceeding the limit for microscopic image translation with a deep learning-based unified framework
CN115170897A (zh) 一种基于掩码区域卷积神经网络的图像处理方法及其应用
Lyu Research on subway pedestrian detection algorithm based on big data cleaning technology
CN113128511B (zh) 一种焦炭组织识别方法及装置
Wang et al. Patch-based approach for the fusion of low-light image pairs
CN117934310B (zh) 基于深度学习的血管荧光图像与rgb图像融合系统
CN116843997B (zh) 模型训练、细胞图像标注方法、装置、设备及存储介质
CN117593591B (zh) 一种基于医学图像分割的舌象分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication