CN111226257A - 组织图像中的伪像移除 - Google Patents

组织图像中的伪像移除 Download PDF

Info

Publication number
CN111226257A
CN111226257A CN201880057545.2A CN201880057545A CN111226257A CN 111226257 A CN111226257 A CN 111226257A CN 201880057545 A CN201880057545 A CN 201880057545A CN 111226257 A CN111226257 A CN 111226257A
Authority
CN
China
Prior art keywords
image
logic
artifact
generation logic
artifact generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880057545.2A
Other languages
English (en)
Other versions
CN111226257B (zh
Inventor
E·克莱曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
F Hoffmann La Roche AG
Original Assignee
F Hoffmann La Roche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by F Hoffmann La Roche AG filed Critical F Hoffmann La Roche AG
Publication of CN111226257A publication Critical patent/CN111226257A/zh
Application granted granted Critical
Publication of CN111226257B publication Critical patent/CN111226257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明涉及一种用于生成被配置为从数字组织图像中移除伪像的程序逻辑的数字病理方法。该方法包括：通过在原始图像中的每个原始图像上应用第一图像伪像生成逻辑，针对多个原始图像中的每个原始图像生成第一人工降级图像；以及通过训练第一机器学习逻辑的未训练版本来生成程序逻辑，该第一机器学习逻辑在原始图像及其分别生成的第一降级图像上编码第一伪像移除逻辑；以及将训练的第一机器学习逻辑作为程序逻辑或作为其组件返回。第一图像伪像生成逻辑是A)图像采集系统特定的图像伪像生成逻辑或B)组织染色伪像生成逻辑。

Description

组织图像中的伪像移除
技术领域
本发明涉及图像分析，且更具体地涉及组织图像中的伪像(artifact)移除。
背景技术
在数字病理学中，从图像中提取在组织载玻片的数字图像中编码的信息，以回答各种生物医学问题，例如用于协助医疗保健专业人员进行疾病的诊断和治疗。数字病理学领域目前被认为是诊断医学最有希望的途径之一，以便实现更好、更快和更便宜的癌症和其它重要疾病的诊断、预后和预测。数字病理学技术还广泛用于药物开发环境中，以协助病理学家了解肿瘤的微环境，了解患者的反应，药物的作用方式以及可从组织图像获得的其它信息。
扫描的数字组织图像，特别是在高放大率下，倾向于具有与染色过程和扫描过程二者相关的几种类型的噪声。这些噪声伪像给手动和自动分析二者都带来了问题。伪像可显著影响和限制自动算法的结果以及专家病理学家的手动评分，或者至少使此类手动或自动评分非常困难且不一致。
存在用于预处理组织图像以从图像中移除或减少噪声伪像的各种方法。例如，Jain等人(Jain Viren和Sebastian Seung的“Natural image denoising withconvolutional networks”，神经信息处理系统的进展，2009年)建议应用卷积神经网络，Xie等人(Xie Junyuan、Linli Xu和Enhong Chen的“Image denoising and inpaintingwith deep neural networks”，神经信息处理系统的进展，2012年)使用堆叠式稀疏自动编码器进行图像降噪，Agostenelli等人(Agostinelli Forest、Michael R.Anderson和Honglak Lee的“Adaptive multi-column deep neural networks with application torobust image denoising”，神经信息处理系统的进展，2013年)使用自适应多列深度神经网络进行图像降噪。还描述了基于小波和马尔可夫随机域的其它方法。
US 2017/0213321 A1描述了一种用于对图像数据进行降噪的计算机实现的方法。该方法包括计算机系统接收包括噪声图像数据的输入图像，并使用包括顺序收集的多个多尺度网络的深度多尺度网络对输入图像进行降噪。每个相应的多尺度网络执行降噪处理，该降噪处理包括将输入图像划分为多个图像块，并使用基于阈值的降噪处理在多个分解级别上对那些图像块进行降噪。基于阈值的降噪处理使用阈值对每个相应的图像块进行降噪，该阈值根据在相应图像块中存在的噪声的估计进行缩放。噪声处理进一步包括通过对图像块进行平均来组装降噪图像。
RUOHAN GAO ET AL：“On-demand Learning for Deep Image Restoration”，2017IEEE国际计算机视觉大会(ICCV)，2017年8月(2017-08)描述了对传统“固定(fixated)”模型的弱点的考察，并证明了训练处理任意程度的损坏的通用模型不是易事。此外，还描述了一种按需学习算法，用于采用深度卷积神经网络训练图像恢复模型。主要思想是利用反馈机制自生成最需要的训练实例，从而学习可以跨难度级别进行概括的学习模型。
与当前的降噪方法相关的问题是，噪声移除逻辑的生成涉及训练数据上机器学习逻辑的训练阶段，该训练数据难以以所需数量和质量获得：通常，必须手动注释图像以用于生成训练数据集，其中看起来与伪像相似但不应被识别为噪声伪像的噪声伪像和/或组织结构被标记为“真实伪像”或“真实组织结构”。该过程非常耗时，并且需要一位或多位经验丰富的病理学家进行数小时、数天或甚至数周的工作。此外，对“真实噪声”和“真实组织”的手动注释可能是主观的，并且不同的病理学家可能对不能确定地归类为伪像的特定图像部分的性质具有不同的见解。因此，伪像移除程序逻辑的创建当前需要训练数据集的创建，这非常耗时且因此是昂贵的。
由于创建训练数据集所涉及的高成本，实践中使用的训练数据集通常几乎没有足够的大小以允许生成足够准确的噪声移除程序逻辑，因为对能够准确移除图像伪像的程序逻辑的训练通常需要庞大的训练数据集，该训练数据集涵盖特定伪像类型的许多不同表现形式。
发明内容
本发明的目的是提供一种生成程序逻辑的改进方法，该程序逻辑被配置用于从数字组织图像中移除伪像，并且用于如在独立权利要求中所指定的相应的存储介质和图像分析系统。在从属权利要求中给出了本发明的实施例。如果本发明的实施例不互相排斥，则可以彼此自由地组合。
在一方面，本发明涉及一种数字病理学方法。该方法包括：
-通过在原始图像中的每个原始图像上应用第一图像伪像生成逻辑，针对分别描绘组织样本的多个原始图像中的每个原始图像生成第一人工降级图像，该第一图像伪像生成逻辑被配置为专门生成第一类型的伪像；
-生成被配置为从数字组织图像中移除伪像的程序逻辑。该程序逻辑的生成包括：
·训练第一机器学习逻辑的未训练版本，该第一机器学习逻辑在原始图像及其分别生成的第一降级图像上编码第一伪像移除逻辑；以及
·将所训练的第一机器学习逻辑作为程序逻辑或作为其组件返回。
伪像生成逻辑特别可以是图像捕获设备特定的伪像生成逻辑(“选项A”)或与染色协议有关的伪像(“选项B”)。
所述特征可能是有利的，因为可以完全自动地创建包括“无真实伪像”和“含真实伪像”图像的训练数据集。因此，可以生成非常大的训练数据集。通常，可以相对容易地获得基本上没有任何伪像或至少没有特定类型的伪像的高质量图像。例如，可以通过使用其光学系统基本上没有尘粒的显微镜来简单地避免由相机的光学系统中的灰尘引起的伪像。根据不同的染色协议，该显微镜可用于捕获采用不同染色剂染色的成百上千的不同组织的图像。因此，可以容易地捕获大量的“真实的无噪声训练图像”，并且可以通过应用图像伪像生成逻辑从前者自动创建相应数量的“真实的含噪声训练图像”。
此外，由于包括降级的“有噪声(noisy)”训练图像的训练图像的创建被自动执行，因此生成的训练数据集可比手动注释的训练数据集更大，因为通常可以容易地获得高质量无噪声的图像。因此，所训练的机器学习逻辑的准确性可更高。
在另一个有益的方面，可以避免手动注释过程所固有的训练数据集中的注释中的不一致，因为训练图像中的伪像被自动创建，并且伪像生成算法“知道”在图像中哪个区域创建伪像。
根据实施例，多个原始图像包括如下图像，该图像描绘了源自许多不同组织类型的组织，和/或描绘已采用许多不同染色剂染色的组织，和/或描绘已经根据许多不同的染色协议染色的组织，和/或描绘由许多不同的图像捕获系统捕获其图像的组织，和/或以许多不同的分辨率描绘组织。
在一些实施例中，图像的降级版本的自动生成由用于生成训练数据集的“图像降级”应用执行，该训练数据集与用于伪像移除的程序逻辑分开。
在其它实施例中，原始图像的降级版本的自动生成由机器学习算法执行，该机器学习算法被训练为“学习”以移除伪像。在该情况下，机器学习逻辑可用于“学习”一个或多个伪像移除逻辑，从而在训练期间以及在测试阶段期间，仅将原始图像输入到所述机器学习逻辑中。机器学习逻辑被配置为以两种不同的模式操作，即训练阶段模式和测试阶段模式。在训练阶段模式中，该机器学习逻辑选择性地从接收作为输入的原始图像中自动生成图像的降级版本。在测试阶段模式中，训练的机器学习逻辑只会从作为输入接收的原始图像中移除伪像。可以在机器学习算法的不同模块中实现这两个不同的功能。例如，降级图像版本的自动生成可以由神经网络的特定层执行，由此使用和训练所述网络的一个或多个其它层以从图像移除所述伪像。
获取高质量的组织图像，该图像基本上没有来自许多不同组织和/或来自许多不同图像捕获设备和/或来自处于许多不同条件下的组织切片的噪声伪像，并且然后自动得出所述图像的“降级”的噪声版本，与手动注释具有相同广泛覆盖范围的训练数据集相比，通常可以更快且更轻松地执行。因此，由于训练数据集的增加的大小和多样性，经训练以从上述自动生成的数据集中移除伪像的机器学习算法可以相对于关于组织类型、染色剂、染色协议等的变化更准确且更稳健。
根据实施例，对第一机器学习逻辑的未训练版本的训练包括将原始图像及其分别生成的第一降级图像输入到第一机器学习逻辑的未训练版本中。第一降级图像中的每个第一降级图像被注释为原始图像中的相应原始图像的受伪像影响的版本。第一机器学习逻辑编码第一伪像移除逻辑。通过在第一降级图像上应用第一伪像移除逻辑以从第一降级图像中的每个第一降级图像生成第一重建图像，并通过自动修改第一伪像移除逻辑以使得第一重建图像与从中得到第一重建图像的原始图像的偏差被最小化，来执行训练。
训练伪像移除逻辑的该“误差函数最小化”方法通常称为“监督学习”机器学习。监督机器学习技术可以以各种形式来实现，例如作为基于神经网络的机器学习逻辑，作为基于支持向量机的机器学习逻辑等。
根据实施例，该方法进一步包括针对原始图像中的每个原始图像生成第二人工降级图像。通过在原始图像中的每个原始图像上应用第二图像伪像生成逻辑来生成第二人工降级图像。第二图像伪像生成逻辑被配置为专门生成第二类型的伪像。程序逻辑的生成进一步包括：训练第二机器学习逻辑的未训练版本，该第二机器学习逻辑在原始图像及其分别生成的第二降级图像上编码第二伪像移除逻辑；以及将所训练的第一机器学习逻辑与所训练的第二机器学习逻辑相组合以提供程序逻辑；所生成的程序逻辑被配置用于移除至少第一和第二伪像类型的伪像。可替代地，第一和第二机器学习逻辑可以是在单个训练步骤中对包括第一和第二降级图像二者的训练数据集进行训练的同一机器学习架构的一部分。
在将生成伪像移除逻辑的情况下，在两组单独的人工降级图像上训练一个或多个机器学习逻辑可能是有利的，该伪像移除逻辑能够从图像中选择性地移除特定类型的伪像。例如，所生成的伪像移除逻辑可以被集成在图像分析软件包中，该软件包与特定显微镜一起出售或与特定显微镜结合使用。该软件可以允许该软件的用户选择一种或多种伪像类型，例如“模糊伪像”、“聚焦伪像”、“灰尘”等，用于从图像中选择性移除特定类型的伪像。由于已经在分别表示不同类型的伪像的不同训练数据集上分别对伪像移除逻辑进行了训练，所以该软件可以允许用户选择性地选择和使用例如第一伪像移除逻辑或选择性地选择和使用第二伪像移除逻辑。
在一些实施例中，伪像移除逻辑在图像采集期间(例如，图像扫描过程期间)实时应用。因此，在图像采集过程期间，对于每个获取的图像，通过在当前获取的图像上应用一个或多个伪像移除算法来生成“干净”版本。在其它实施例中，在已经获取的图像上(例如过去已经获取以及以图像库的形式已经存储在存储介质上的图像上)应用一个或多个伪像移除逻辑。
因此，在一些实施例中，将训练的第一机器学习逻辑与训练的第二机器学习逻辑进行组合以提供程序逻辑可以包括将两个可单独寻址和可单独调用的训练的程序逻辑组合成同一软件应用程序。在其它实施例中，该组合可以是训练过程的集成部分。例如，可以在包括原始图像以及第一和第二降级图像的混合的数据集上训练单个机器学习软件。
多个伪像生成逻辑的组合以及相应伪像移除逻辑的生成和训练可能是有利的，因为在现实中，经常观察到多个不同伪像的组合。在一些实施例中，将由一种伪像生成逻辑生成的降级图像输入到至少一种另外的不同类型的伪像生成逻辑以生成两折(fold)(或者，如果应用了另外的伪像生成逻辑，则生成多折)降级图像。这可以允许伪像移除逻辑的生成和训练，该伪像移除逻辑适于以步进的方式从图像中移除许多不同类型的伪像。
例如，可以配置返回的伪像移除逻辑，使得其首先移除诸如模糊的不良聚焦噪声，并且然后移除由诸如头发、灰尘等的物理障碍物引起的线条噪声和斑点噪声。最后，伪像移除逻辑可以移除染色伪像，诸如非特定染色。因此，第一人工降级图像可以包括模拟模糊伪像的伪像，而第二人工降级图像可以包括模拟非特定染色伪像的伪像。诸如模糊的光学噪声通常不取决于诸如图像中存在不期望的物理对象(例如头发、灰尘)的噪声的类型。然而，在一些情况下，不期望的物理对象可导致自动聚焦机制选择错误的聚焦层。此外，在不良聚焦噪声导致组织切片以及斑点的模糊的情况下，不良聚焦噪声可影响散斑噪声。因此，不同类型的伪像之间的关系是复杂的，并且对于任何伪像移除方法都是挑战。
由于人工注释图像数据集所需的时间和精力，与可在现实中观察到的伪像组合的广泛范围相比，包括带有或不带有伪像或具有不同伪像的组合的包括注释的组织图像的训练数据集的大小通常较小。因此，使用人工注释的训练数据集固有地承担了训练期间过度拟合的巨大风险。通过以许多不同的组合计算地生成许多不同类型的伪像，可以避免或至少降低过度拟合的风险。
根据实施例，通过将原始图像及其分别生成的第二降级图像输入到第二机器学习逻辑的未训练版本中来训练第二机器学习逻辑，由此将第二降级图像中的每个第二降级图像注释为原始图像中的相应原始图像的受伪像影响的版本。第二机器学习逻辑编码第二伪像移除逻辑。通过在第二降级图像上应用第二伪像移除逻辑以从第二降级图像中的每个第二降级图像生成第二重建图像，并通过自动修改第二伪像移除逻辑以使得所述第二重建图像与从中导出所述第二重建图像的原始图像的偏差被最小化，来执行训练。因此，还可以训练第二机器学习逻辑和/或编码以下进一步描述的多步伪像移除逻辑的任何机器学习逻辑，使得描述原始图像与在降级图像上应用图像重建逻辑的结果的偏差的误差函数被最小化。
在一些实施例中，第二机器学习算法包括如以上实施例所述自动生成原始图像的受伪像影响的版本的子模块，或者是包括被配置为自动生成原始图像的受伪像影响的版本的另一子模块的机器学习逻辑的子模块。因此，表达“输入原始图像的降级(伪像)版本”还包括以下选项：降级版本由与第二程序逻辑捆绑为单个可执行程序逻辑的软件逻辑生成。
在一些实施例中，用于移除一个或多个伪像类型的伪像的第一、第二和任何另外的机器学习逻辑在相同的机器学习逻辑中(例如在神经网络的相同实例中)实现。例如，不管是针对每种伪像类型来训练一个机器学习逻辑，还是针对包括两种或更多种不同伪像类型的伪像的训练数据来训练相同的机器学习逻辑，神经网络都可以用作要训练的机器学习逻辑。
例如，可以通过反复试验来确定用于训练相应伪像生成逻辑和伪像移除逻辑的网络的数量。如果包括单个神经网络的网络架构没有很好地执行，则可以将网络架构扩展到两个网络或三个网络或不同的网络层架构。可替代地，可以并行地训练多个不同的网络架构，并且然后将所训练的网络在测试图像上生成的结果进行组合和汇总，以生成多个网络的合并结果，该合并结果具有比分别从任何一个方法(“整体方法”或“整体学习”)获得的结果更高的准确性。根据优选实施例，该方法包括向用户提供GUI，该GUI使用户能够选择一组预定义的伪像类型和相应的一组选择的伪像移除逻辑中的一个或多个，以自动地应用于要处理的任何原始图像上。
根据实施例，被配置为移除将要生成的伪像的程序逻辑是被配置为从数字组织图像中移除至少N种不同伪像类型的程序逻辑。数量N是大于1的整数。该方法进一步包括：针对N种不同伪像类型中的每一种伪像类型提供相应的伪像生成逻辑，该伪像生成逻辑被配置为专门生成所述特定类型的伪像；根据第一序列，在原始图像上应用N个不同的图像伪像生成逻辑；从而，第一序列内的第一图像伪像生成逻辑将原始图像中的每个原始图像作为输入，并输出所述图像的降级版本；由第一和任何后续的图像伪像生成逻辑输出的降级图像被第一序列中的N个不同的图像伪像生成逻辑中的下一个不同的图像伪像生成逻辑用作输入图像；从而，对于原始图像中的每个原始图像，生成第一多折降级图像。程序逻辑的生成进一步包括训练机器学习逻辑，该机器学习逻辑在至少原始图像及其分别生成的第一多折降级图像上编码多步伪像移除逻辑；以及使用所述训练的多步伪像移除逻辑来提供程序逻辑或用于提供要生成的程序逻辑的一部分。
根据一些实施例，编码多步伪像移除逻辑的机器学习逻辑是未训练的机器学习逻辑，该机器学习逻辑使用从多个其它机器学习逻辑生成的输出来学习正确地移除多种不同类型的图像伪像。其它机器学习逻辑已分别受过训练，以移除特定类型的图像伪像。
在一些实施例中，将训练的多步伪像移除逻辑与训练的第一机器学习逻辑相结合以提供程序逻辑。所得的程序逻辑被配置为顺序地移除N种类型伪像中的每一种类型伪像的伪像。优选根据第一序列的相反顺序执行移除。执行对用于提供训练的多步伪像移除逻辑的机器学习逻辑的训练，使得多步伪像移除逻辑从多折降级训练图像中重建原始图像。例如，多步骤伪像移除逻辑可以被配置为以不同顺序调用第一或第二(“单个伪像”)机器学习逻辑中的任何一个，并且可以被配置为学习伪像移除操作的序列，该伪像移除操作的序列最适合重建与原始图像非常相似或相同的图像。
例如，数字N可以是“3”，并且第一序列可以按以下顺序包括以下类型的伪像：a)“过度染色”，b)“灰尘伪像”和c)“模糊伪像”。
在分别由先前称为伪像生成逻辑提供的降级图像上顺序地应用多个伪像生成逻辑，并训练伪像移除逻辑，使得其从多折降级训练图像重建原始图像可能是有利的，因为在实践中，图像可包括许多不同类型的伪像，由此伪像可能被以后引入的伪像类型覆盖、扭曲或以其它方式受到影响。因此，可以对伪像移除逻辑进行训练，使得其能够识别并且还补偿不同类型的图像伪像序列，并且从而也能够补偿在数字病理学中通常观察到的不同类型的伪像的复杂组合。根据实施例，在由伪像生成逻辑的序列定义的每个降级步骤中创建的中间图像分别被用作网络中的“辅助损失”。这意味着在训练期间，不仅将网络的最后输出与干净图像进行比较，而且在沿处理层的一个或多个位置中，网络还会(仅在训练期间)创建附加输出图像(“中间图像”)并将其与原始图像进行比较，以产生导致对前面各层的训练的损失。例如，可以通过对接收的图像应用模糊伪像移除算法来计算部分降级图像(例如，没有模糊/失焦)的第一辅助损失图像(第一中间图像)，并且对于序列中后续伪像移除逻辑中的每个后续伪像移除逻辑，通过对上一步骤中生成的中间图像应用伪像移除算法中的相应伪像移除算法，直到网络的实际“部署”输出处的最后一个损失是干净图像(该图像应该没有属于上述伪像移除序列的伪像类型的所有伪像)，获得相应的下一个“辅助损失”/中间图像。
根据一些实施例，该方法进一步包括根据至少第二序列，在原始图像上应用N个不同的图像伪像生成逻辑。因此，在所述第二序列内的第一图像伪像生成逻辑将原始图像中的每个原始图像作为输入。由第一和任何后续的图像伪像生成逻辑输出的降级图像被第二序列中的不同图像伪像生成逻辑中的下一个不同图像伪像生成逻辑用作输入图像。因此，通过在第二序列中执行图像伪像生成逻辑中的每个图像伪像生成逻辑，对于原始图像中的每个原始图像，创建第二多折降级图像。因此，在该实施例中，对于每个原始图像，如上所述，通过根据第一序列顺序地应用图像伪像生成逻辑，来获得第一多折降级图像。另外，如上所述，通过根据第二序列顺序地应用图像伪像生成逻辑，对于每个原始图像获得一个第二多折降级图像。第一和第二多折降级图像可能彼此不同，因为应用图像降级算法的序列通常会对所得图像具有影响。例如，如果在将模糊伪像添加到图像之后添加了灰尘伪像，则所描绘的灰尘颗粒可具有锐利的边缘，并且如果在灰尘伪像之后添加了模糊伪像，则所描绘的灰尘颗粒可具有模糊的边缘。
根据优选实施例，对至少原始图像及其分别生成的第一和第二多折降级图像执行对编码多步伪像移除逻辑的机器学习逻辑的训练。
这可能是有利的，因为在训练数据集中覆盖了两个或更多个不同的伪像生成序列，并且所得的训练伪像移除逻辑将能够补偿图像中生成伪像的多个不同序列。这对于补偿伪像生成的实际序列未知或异构的多种不同伪像类型的复杂组合可能非常有用。例如，由于失焦伪像的原因，一些图像区域中部分过度染色的伪像可能随后变得模糊。另外，或可替代地，或选择性地，在一些图像区域中，过度染色的伪像可能被由显微镜透镜上的灰尘颗粒产生的灰尘伪像所覆盖。因此，伪像组合的数量和类型在图像中可能会有所不同。
有时，伪像引入的实际物理顺序不清楚或未知。例如，组织切片上的污物和碎屑颗粒，例如头发、布料纤维等可导致图像采集系统选择错误的聚焦层。结果，污物可能是焦点对准的，而图像的所有其它部分都包含失焦的伪像，并显得模糊。在其它图像中，污物可能不是造成失焦误差的原因。相反，由于相机系统的错误配置，可能会出现失焦误差。在该情况下，组织以及污物颗粒将显示失焦误差，并且组织和污物二者都会显得模糊。通过不仅在不同类型的人工创建的伪像类型上而且还在多个不同的伪像生成序列上训练机器学习逻辑，可以确保训练数据集覆盖在实践中观察到的伪像组合的巨大组合空间。应该注意的是，人工注释的训练数据集通常由注释的图像组成，该注释的图像全部源自极少数的实验设置和图像采集系统。因此，人工注释的数据集通常不能反映在使用不同染色协议和不同组织类型的不同图像采集系统中观察到的伪像类型组合的组合复杂性和异质性。因此，人工注释的数据集通常导致伪像移除算法的生成，该伪像移除算法通常不适用于许多不同类型的显微镜、不同类型的透镜和/或染色协议。相反，本发明的实施例可以允许自动生成伪像移除逻辑，该伪像移除逻辑已经在训练数据集上进行了训练，该训练数据集覆盖了伪像类型的巨量多样性和后续伪像组合的巨量多样性。例如，对于广泛的用户(例如病理学家、分子生物学家、质量管理和生产领域的工人等)设计的图像分析软件，这可能特别有用。
根据实施例，该方法包括自动创建N个不同的图像伪像生成逻辑的多个序列。通过重排列图像伪像生成逻辑的位置，多个序列包括第一、第二和至少第三序列。该方法进一步包括针对多个序列中的每个序列，在原始图像上应用所述序列的N个不同的图像伪像生成逻辑，从而所述序列中的第一图像伪像生成逻辑将原始图像中的每个原始图像作为输入；由所述序列中的第一和任何后续图像伪像生成逻辑输出的降级图像被所述序列中不同图像伪像生成逻辑的下一个不同图像伪像生成逻辑用作输入图像，从而针对原始图像中的每个原始图像和多个序列中的每个序列生成多折降级图像。至少对原始图像、多个序列及其分别生成的多折降级图像执行编码多步骤伪像移除逻辑的机器学习逻辑的未训练版本的训练。
自动序列生成可能是有利的，因为它允许覆盖伪像类型组合的巨大组合空间。例如，数字N可以是“3”，并且要覆盖的伪像类型的集合可以包括伪像类型AF1、AF2和AF3。三种伪像类型的重排列将导致自动生成以下序列S1至S6：
-S1：AF1，AF2，AF3
-S2：AF1，AF3，AF2
-S3：AF2，AF1，AF3
-S4：AF2，AF3，AF1
-S5：AF3，AF1，AF2
-S6：AF3，AF2，AF1
通过将上述6个伪像生成逻辑中的每个伪像生成逻辑应用于特定的输入图像I，将为所述图像生成6个多折降级图像。另外，在一些实施例中，还可以生成三个单折降级图像并将其馈送到机器学习逻辑中，由此可以通过在原始图像上应用AF1或AF2或AF3来生成单折降级图像中的每个单倍降级图像。
因此，对于100个原始图像和3种不同类型的伪像，将从每个原始图像创建6个序列S1-S6、600个多折降级图像和三个单折降级图像，并将其馈送到机器学习算法中。
在一些实施例中，伪像类型的重排列包括生成仅包括可用伪像生成逻辑的子集的序列。在所示示例中，这些附加序列将包括：
-S7：AF1，AF2
-S8：AF1，AF3
-S9：AF2，AF1，
-S10：AF2，AF3
-S11：AF3，AF1
-S12：AF3，AF2
因此，对于100个原始图像和3种不同类型的伪像，将从每个原始图像创建12个序列S1-S12、1200个多折降级图像和三个单折降级图像，并将其馈送到机器学习算法中。
从以上描述的示例可以推断，组合空间很大。因此，本发明的实施例可以允许生成训练数据集，该训练数据集覆盖比任何人工注释的数据集所能覆盖多得多的伪像组合。
在一些实施例中，所生成的序列的长度被限制为预定的最大大小(例如，两个、三个或四个元素)的链长度。这可以提高性能。
另外或可替代地，手动定义应用伪像生成逻辑的仅单个序列或几个序列(少于四个序列)。在该情况下，该单个序列(或少数序列中的每个序列)表示组织染色和图像采集工作流程中伪像生成的典型序列。该实施例可以通过减小组合空间来提高性能，并且可以适用于其中伪像生成的典型序列预先已知的应用场景。
根据一些实施例，提供了一种GUI，其使用户能够选择一种或多种不同类型的伪像移除逻辑，从而使用户能够手动指定要应用于输入图像的伪像移除逻辑的序列。然而，根据优选实施例，在机器学习过程中学习将由训练的多伪像移除逻辑使用的伪像移除逻辑的序列，并且将其编码在训练的多伪像移除逻辑中。
根据实施例，第一和/或第二机器学习逻辑和/或编码多步伪像移除逻辑的机器学习逻辑是神经网络。在一些实施例中，第一和/或第二机器学习逻辑和/或多伪像机器学习逻辑属于同一单个神经网络。在其它实施例中，第一和/或第二机器学习逻辑和/或多伪像机器学习逻辑分别在单独的网络中实现，并且该网络以“超级”神经网络或适于集成各个网络提供的结果的软件逻辑的另一形式组合。例如，可以训练“超级”神经网络来自动组合各个网络的输出，使得移除许多不同类型的伪像，并且从而“超级”网络协调各个网络的操作以移除不同类型的伪像。
根据实施例，第一和/或第二机器学习逻辑和/或编码多步伪像移除逻辑的机器学习逻辑是自动编码器。
根据实施例，第一伪像和/或第二伪像选自包括如下的组：染色伪像；扫描伪像；组织折叠伪像；线伪像(例如气泡、纤维)。
通常，当向机器学习逻辑馈送包括原始图像和图像的降级版本(选择性地包括伪像类型中的一种伪像类型的伪像)的训练数据时，分别针对所述伪像类型中的每种伪像类型生成的伪像移除逻辑被配置为选择性地移除所述单个类型的伪像。
根据实施例，扫描伪像选自包括如下的组：不良聚焦伪像(例如，例如由于错误选择聚焦层或显微镜的错误配置导致的模糊图像)、缝合伪像(例如扫描仪缝合导致的效果和图案)和斑点噪声伪像(例如，图像采集系统的光学器件中的灰尘、由于相机传感器硬件的缺陷而导致的不良像素)。
根据实施例，染色伪像选自包括如下的组：背景染色伪像、非特定染色伪像、残留染色伪像、炭疽色素伪像。
根据实施例，第一和/或第二图像伪像生成逻辑被配置为通过在原始图像中的每个原始图像上应用点扩展函数(PSF)或点扩展函数的近似(例如高斯近似)来专门生成不良聚焦伪像。
例如，PSF和/或高斯近似(“高斯模糊”)局部地应用在图像上。例如，可以识别具有高于预定阈值的强度的所有像素斑点，并且可以将PSF应用于识别出的像素斑点中的每个识别出的像素斑点，以生成包括“模糊”斑点的降级图像，该“模糊”斑点模拟了由于错误聚焦层的选择而生成的模糊。
根据实施例，通过将已知大小的微珠安装在空组织载玻片上或与组织样本一起或除了组织样本之外还安装在组织载玻片上来生成PSF；例如，可以选择微珠大小，使得在组织载玻片的数字图像中描绘的微珠的预期大小是一个像素或一组定义的像素。所描绘的微珠的预期大小将取决于微珠的大小、图像采集系统的放大率、分辨率和/或其它特性；然后，图像采集系统用组织样本和微珠捕获载玻片的数字图像；以下将获得的数字图像称为“校准图像”；图像分析系统对获得的校准图像进行分析，以测量实际描绘微珠的图像区域的大小；图像分析系统还获取在实际描绘微珠的图像区域内可观察到的像素图案，并使数学模型拟合用于生成PSF的该图案；PSF被配置为如果将其应用于具有期望的微珠区域的大小的图像斑点上则生成提取的图案。
然后将生成的PSF集成到机器可执行代码中，例如Java或C程序代码，用于提供适于生成斑点噪声伪像的图像伪像生成逻辑，该斑点噪声伪像再现由特定图像采集系统生成的或图像采集系统类型的斑点噪声。然后可以将图像伪像生成逻辑的PSF应用于原始图像的每个高强度斑点(bolb)上以创建降级图像，该降级图像针对原始图像的每个或至少一些高强度斑点模拟不良聚焦伪像。如在此所使用的“高强度斑点”是其强度显著高于周围像素区域的强度的相邻像素的区域。例如，可以通过应用强度阈值或类似的图像处理··和分割操作来识别高强度斑点。代替PSF，同样可以通过将数学函数拟合到由特定图像采集系统生成的图像降级来创建高斯滤镜模型。高斯滤镜可以视为PSF的“简单”近似，并以类似的方式应用。
这可能是有利的，因为在数字病理学中经常会出现不良聚焦误差，并且已经观察到基于PSF的伪像生成逻辑可以忠实地再现该类型的伪像。
根据实施例，该方法包括如上所述针对多个不同图像采集系统(例如显微镜或载玻片扫描仪)或图像采集系统类型(例如特定设备类型的显微镜或载玻片扫描仪)中的每一个来经验性地生成PSF或高斯滤镜。PSF(或高斯滤镜)中的每一个都集成到相应的伪像生成逻辑中，以下将该伪像生成逻辑称为“图像采集系统特定的伪像生成逻辑、IAS伪像生成逻辑或图像采集类型特定的伪像生成逻辑-IATSS伪像生成逻辑”。
根据本发明的实施例，针对多个不同的图像采集系统(IAS)中的每个图像采集系统执行用于生成伪像移除逻辑的方法。这意味着，从每个ISA中，通过拟合数学函数，针对IAS中的每个IAS获得一组校准图像以及获得PSF(或高斯滤镜)，使得通过拟合函数描述(建模)所测量的微珠形状和大小与预期的微珠形状和大小的偏差。所生成的PSF(或高斯滤镜)被集成在伪像生成逻辑中，从而生成IASS伪像生成逻辑，该IASS伪像生成逻辑适于模拟分别由多个IAS中的每个IAS具体生成的(不良聚焦)噪声伪像。通过将IASS伪像生成逻辑应用于原始图像或已被一个或多个其它伪像生成逻辑降级的图像，可以生成训练数据集，该训练数据集模拟特定IAS生成的失焦误差。此外，这些“模拟的”失焦误差可以与一个或多个其它伪像类型组合，从而生成一组训练图像，该训练图像忠实地再现可以通过使用特定显微镜获得的伪像光谱。
根据其它实施例，针对多个不同的IAS类型中的每个IAS类型执行用于生成伪像移除逻辑的方法。该方法如类似于上述针对多个不同图像采集系统(IAS)中的每个不同图像采集系统生成伪像移除逻辑的方法被执行，不同之处在于，相同类型的多个IAS用于生成校准图像池，并且单个PSF(或高斯滤镜)用于相同类型的所有IAS，从而生成单个PSF(或高斯滤镜)，使得模拟由相同IAS类型的所有IAS生成的(不良聚焦)平均噪声伪像。
结果，针对IAS类型中的每种IAS类型生成了图像伪像移除逻辑，该图像伪像移除逻辑能够补偿由该特定IAS类型专门生成的不良聚焦伪像。对于显微镜系统、载玻片扫描仪或其它形式的图像采集系统的制造商而言，这特别有利，因为可以忠实地再现由特定IAS类型生成的伪像，并可以将其用于自动生成能够补偿由特定类型的IAS生成的不良聚焦伪像的噪声移除逻辑。
根据实施例，第一和/或第二图像伪像生成逻辑被配置为在原始图像中的每个原始图像中特定地生成组织折叠伪像，组织折叠伪像的生成包括：
-通过横跨随机选择的线切割原始图像，来生成原始图像的至少两个图像部分；
-沿线重叠至少两个图像部分；以及
-例如使用alpha混合来合并重叠。
根据实施例，第一和/或第二图像伪像生成逻辑被配置为通过在原始图像中的每个原始图像上应用椒盐噪声函数来专门生成斑点噪声伪像。
例如，在输入图像上应用椒盐噪声函数可以包括：
-针对输入图像中的每个像素生成随机值，例如在0和1之间；
-指定椒盐噪声阈值(例如，0.1表示受斑点噪声影响的像素的概率为10％)；
-对于输入图像中的每个像素，确定针对该像素生成的随机值是否小于椒盐噪声阈值；
-如果为真(随机值小于阈值)，则将像素替换为黑色或白色像素；在一些实施例中，替换步骤作为强制性步骤执行，在其它实施例中，替换步骤仅以预定概率(例如30％)执行。
在上一步骤中将像素替换为黑色或白色像素后，在一些示例实现方式中，该像素增长为更大的大小；例如，可以通过随机选择预定半径范围内的半径来扩展像素，例如1-5个像素，并将替换像素周围半径内的所有像素设置为与替换像素的强度值相同的强度值(黑色或白色)。
因此，可以获得可变大小的黑色或白色斑点。斑点表示灰尘斑点、不良像素(由相机的缺陷CCD元件生成)以及有时在图像上看到的其它形式的脉冲噪声。该噪声的典型特征是将自身呈现为稀疏出现的白色和黑色像素的图像信号中尖锐和突然的干扰。虽然最先进的方法使用中值滤镜或形态滤镜来移除噪声，但是该方法是基于使用模拟噪声的函数，并在原始图像和斑点噪声图像上训练机器学习逻辑，以自动移除斑点噪声伪像。已经观察到，这种方法通常更准确且更通用。特别地，当模拟噪声时，可以生成覆盖不同噪声伪像类型的任何可能组合的大型训练数据集，从而可以覆盖噪声伪像生成的一个或甚至多个时间序列。例如，由相机光学器件中的灰尘引起的噪声斑点可能不受失焦误差影响，而由组织载玻片上的灰尘引起的噪声斑点将不受失焦误差影响。
根据实施例，第一和/或第二图像伪像生成逻辑被配置为专门生成线伪像。如在此所使用的“线伪像”是具有曲线或直线形状的图像伪像。例如，线伪像可由布料纤维或组织载玻片盖玻片下的气泡轮廓引起。线伪像的生成包括使用随机生成值作为曲线参数来生成多个多项式曲线；并且在原始图像中的每个原始图像中沿多项式曲线的坐标插入黑线。优选地，所插入的线的厚度表示在给定的放大率下预期由如显微镜或载玻片扫描仪的IAS捕获的数字图像中的线伪像的物理对象的典型线厚度。所述物理对象可以是例如布料纤维、头发和/或气泡轮廓。根据实施例，图像伪像生成逻辑被配置为专门生成线伪像，该线伪像的长度、厚度和/或曲率表示不同类型的物理对象，例如头发、气泡轮廓和/或布料纤维。
例如，头发的典型宽度在0.05至0.1mm之间。如果将IAS放大10倍，则插入的线的线厚度在50-100像素范围内，以模拟“与头发相关的”线伪像。在一些示例中，多边形具有0-3°的曲率度。已经观察到，至少当生成具有有限大小(例如512×512像素)的降级训练图像时，小的曲率足以忠实地再现大多数类型的纤维状伪像的曲率。
根据实施例，第一和/或第二图像伪像生成逻辑被配置为专门生成缝合伪像。缝合伪像的生成包括：使用应移除其缝合伪像的IAS(特别是载玻片扫描仪)扫描空载玻片；自动分析空载玻片的扫描图像，以生成方形滤镜，该方形滤镜当应用于具有均匀强度分布的图像时，生成所测量的缝合元素；通过将方形滤镜集成到可执行程序逻辑中来生成缝合伪像生成逻辑。然后，所生成的缝合伪像生成逻辑可以用作第一或第二伪像生成逻辑，用于生成通常由图像采集系统或由特定类型的图像采集系统产生的缝合伪像。
根据其它实施例，点对点(ad-hoc)定义了二维函数，以模拟典型的缝合伪像，该缝合伪像在许多情况下由横跨特定图块的视场的不均匀强度分布引起。然后将该二维函数应用于空载玻片的原始图像，以沿原始图像生成不均匀的平均强度。例如，可以根据以下公式执行生成具有缝合伪像的新的降级图像的函数的应用：
Z＝[C+0.5*(X/a-floor(X/a)+Y/b-floor(Y/b))]/[1+C]；
new_image＝original_image*Z。
因此，X是图像宽度坐标，具有介于0和image_width之间的值；Y是图像高度坐标，具有介于0和image_height之间的值；a是期望的(预定义的)图块伪像宽度；b是期望的(预定义的)图块伪像高度；Z是所得的“图块伪像因子图像”，其由宽度为a和高度为b的图块网格组成；C是选择的“最小暗度因子”，使得C/(1+C)是与原始图像像素相乘的最小量。参数orig_image是原始未命名图像，并且“new_image”是带有平铺伪像的输出图像。
例如，可以选择因子C，使得在每个网格元素的右下角，将因子0.1(C为1/9)应用于原始图像的像素强度，并在每个网格元素的左上角，则不会将附加强度应用于原始图像的像素强度(因子1)。
如果将C选择为“1”，则每个网格元素左上角的像素将为0.5*原始像素值。如果将C选择为“0”，则每个网格元素的左上像素将为0。在其它实施例中，XY轴定义可能不同，并且由上述公式产生的梯度在相反的方向中进行。
例如，可以根据所使用的图像采集系统的规格来选择a和b。对于使用VentanaHTScan系统进行的20倍扫描，参数a可具有为1658的值，并且参数b可具有为1152的值。图9中描绘了包含根据上述函数生成的缝合伪像的人工降级图像。
该方法包括在原始图像中的每个原始图像上应用方形滤镜，以分别获得原始图像的降级版本。原始图像的降级版本(或提供的任何其它形式的输入图像)将示出由此特定IAS生成的缝合伪像。
例如，在输入图像上应用方形滤镜包括：将图像虚拟分割为宽度和高度等于所观察到的缝合伪像宽度和高度的方形，并且然后将缝合伪像方形的像素强度值乘以方形滤镜映射并应用到的输入图像的方形中的每个方形的像素强度。从而，生成损坏的“降级”方形的图案，该图案模拟针对其生成方形滤镜的IAS或IAS类型的缝合效果。
根据实施例，第一和/或第二图像伪像生成逻辑被配置为专门生成非特定染色的伪像。非特定染色伪像的生成包括执行选自包括以下的组的操作：
-生成色彩噪声函数，该色噪声函数是特定颜色的椒盐函数或从带有残留染色剂的区域的组织载玻片图像中得出的经验启发式；
-在原始图像中的每个原始图像上应用色彩噪声函数，从而针对原始图像中的每个原始图像生成具有非特定染色伪像的降级图像。
自动生成非特定染色伪像以生成具有降级“虚拟地”非特定染色的训练图像的训练数据集并在所述训练数据集上训练伪像移除算法可能是有利的，因为非特定染色伪像是通常表示障碍物需要进一步图像分析的复杂噪声图案。非特定染色伪像是由在染色过程期间未洗掉的染色染料产生的伪像。剩余的染料会用特定颜色的染料创建各种大小的贴片。从需要根据组织染色过程中使用的染料降噪的图像中收集用于该错误的颜色。
例如，在输入图像上应用具有特定颜色的椒盐函数噪声函数的形式的色彩噪声函数包括：
-针对输入图像中的每个像素生成随机值，例如在0和1之间；
-指定椒盐噪声阈值(例如，0.1表示受非特定染色噪声影响的像素的概率为10％)；
-对于输入图像中的每个像素，确定针对该像素生成的随机值是否小于椒盐噪声阈值；
-如果为真(随机值小于阈值)，则用颜色特定的椒盐函数的特定颜色的像素替换该像素；该颜色通常是要为其创建相应的图像伪像训练数据集并且对于其非特定的染色伪像应创建相应的染色特定的伪像移除逻辑的颜色；在一些实施例中，替换步骤作为强制性步骤执行，在其它实施例中，替换步骤仅以预定概率(例如30％)执行。
根据其它示例，基于“Perlin噪声发生器”方法的颜色噪声函数被生成并用于生成包括非特定染色噪声的降级图像版本。Perlin噪声是Ken Perlin(SIGGRAPH论文“An imageSynthesizer”，1985年)发展的一种梯度噪声。Perlin噪声发生器是一种用于在计算机生成的表面上产生自然出现的纹理以用于电影视觉效果的技术。Perlin Noise的发展使计算机图形艺术家能够更优地表现电影业视觉效果中自然现象的复杂性。令人惊讶地观察到，Perlin噪声也可以用于忠实地再现某些染料的非特定染色伪像。
根据实施例，第一和/或第二图像伪像生成逻辑被配置为专门生成由特定图像采集系统生成的色调偏移伪像，该方法进一步包括：
-由图像采集系统获取空载玻片的数字图像；
-分析空载玻片的数字图像，以自动生成色调偏移滤镜，该色调偏滤镜被配置为模拟由图像采集系统生成的色调偏移伪像；当然，该步骤和上一步骤也可以应用于空载玻片的许多数字图像，以改善用于生成色调偏移滤镜的数据基础；以及
-在输入图像上应用色调偏移滤镜，从而生成输入图像的降级版本。
这可能是有利的，因为可以在一条软件逻辑中校正IAS设备特定的色差和/或强度偏移和/或设备特定的模糊效果。例如，通常与图像采集系统结合提供的软件程序可以包括缝合滤镜和色调偏移滤镜，它们分别适于校正由该特定IAS的硬件组件产生的特定的色调偏移和缝合误差。
根据实施例，图像伪像生成逻辑适于创建图像捕获设备特定的伪像。该方法包括：提供多个图像采集系统；对于多个图像采集系统中的每个图像采集系统：创建根据在此所述的实施例和示例中的任何一个的第一图像伪像生成逻辑，由此，第一图像伪像生成逻辑特定于所述图像采集系统；由所述图像采集系统捕获组织样本的多个原始图像；通过将所创建的图像采集特定的第一图像伪像生成逻辑应用于原始图像中的每个原始图像，针对多个原始图像中的每个原始图像生成相应的第一人工降级图像；生成图像采集系统特定的程序逻辑，该图像采集系统特定的程序逻辑被配置为用于从由所述图像采集系统捕获的数字组织图像中移除伪像，该生成包括训练第一机器学习逻辑的未训练版本，该第一机器学习逻辑在原始图像及其分别生成的第一降级图像上编码第一伪像移除逻辑；以及将训练的第一机器学习逻辑作为图像采集系统特定的程序逻辑或作为其组件返回。
所述特征特别是在生物医学领域中的图像分析的情况下可能是有利的，因为图像采集系统通常是高度复杂的系统，其组件已经被特定地组装以用于特定研究小组或实验室的需要和需求。例如，复杂的显微镜系统或载玻片扫描仪系统的组件可能会从不同的制造商处获得，由于更换了功能不良或过时的部件，一些组件可比其它组件更新，并且组件的组合可能是显微镜系统的代表与相应工作组之间进行广泛而复杂的协商的结果。在许多情况下，特别是在生物医学研究的情况下，复杂图像采集系统的组件组合是独一无二的。因此，IAS特定的伪像生成和移除算法的自动创建可以显著提高对由所述IAS获取的图像执行的所有另外图像分析步骤的准确性。
在另一方面，本发明涉及一种用于描绘生物样本的数字图像的数字病理学图像校正方法。该方法包括：接收生物样本的数字图像，该数字图像包括伪像；将根据在此描述的本发明实施例的用于生成伪像移除程序逻辑的方法所生成的程序逻辑应用于所接收的数字图像，以生成伪像校正的图像；并返回伪像校正的图像。
在另一方面，本发明涉及一种计算机程序，该计算机程序包括计算机可解释的指令，该计算机可解释的指令在由处理器执行时使处理器执行根据在此所述实施例中的任何一个实施例的方法。例如，计算机程序可以存储在数字易失性或非易失性存储介质上，或者可以存储在云环境中，并且可以经由网络提供给一个或多个客户端。
在另一方面，本发明涉及一种图像分析系统，该图像分析系统包括存储介质和处理器。该存储介质包括多个原始图像，每个原始图像描绘了组织。处理器被配置用于生成程序逻辑，该程序逻辑被配置用于从数字组织图像中移除伪像。处理器被配置为执行一种方法，该方法包括：通过在原始图像中的每个原始图像上应用第一图像伪像生成逻辑，针对原始图像中的每个原始图像生成第一人工降级图像，该第一图像伪像生成逻辑被配置为专门生成第一类型的伪像；处理器另外被配置为用于生成程序逻辑，该生成包括：训练第一机器学习逻辑的未训练版本，该第一机器学习逻辑在原始图像及其分别生成的第一降级图像上编码第一伪像移除逻辑；以及将训练的第一机器学习逻辑作为程序逻辑或作为其组件返回。
在此描述的任何伪像生成逻辑都可以应用于原始图像以获得单折降级图像。另外，它们可以通过一个或多个其它伪像生成逻辑应用于已经单折或多折降级的图像输出上。在该情况下，由伪像生成逻辑使用的输入图像不是“原始图像”，而是原始图像的降级版本，其也可以称为“中间降级图像”或“中间图像”。
如在此所使用的“原始图像”是由图像捕获系统或其衍生物获取的图像。例如，原始图像可以是从明场显微镜获得的RGB图像或灰度图像，或者可以是从荧光显微镜的特定通道获得的灰度图像。它也可以是多通道图像，该多通道图像然后分解为单通道图像。优选地，原始图像是具有至少标准图像质量，并且优选地具有良好质量的图像。优选地，原始图像应该基本上没有伪像，特别是基本上没有稍后将通过在原始图像上应用伪像生成逻辑来引入的伪像。
如在此所使用的“自动编码器”、“自动关联器”或“Diabolo网络”是其输入和输出数据大小相等的网络架构。例如，输入图像可以是大小为100x100像素的RGB图像，并且自动编码器为此图像生成的输出也可以是大小为100x100像素的RGB图像。自动编码器适于从RN＝>RN学习函数，其中N分别是输入图像和输出图像中的像素数。自动编码器可以是用于无监督学习的人工神经网络。自动编码器被配置为学习一组数据的表示(编码)，通常是为了降低维度。特别地，自动编码器可被配置为通过使用反向传播学习对身份函数的近似来学习数据的生成模型。从结构上讲，自动编码器的最简单形式是与多层感知器(MLP)非常相似的前馈非递归神经网络，该多层感知器(MLP)具有输入层、输出层和连接它们的一个或多个隐藏层，但输出层具有与输入层相同数量的节点，并且旨在重建其自身的输入(而不是在给定输入X的情况下预测目标值Y)。因此，自动编码器是无监督学习模型。自动编码器特别可以是降噪自动编码器。
如在此所使用的，“图像伪像”或“伪像”是出现在组织，特别是染色组织的图像中的光学特征或图案，并且是在组织样品的制备、固定或染色期间或在组织样品的数字图像的图像采集期间发生的错误或不期望的事件的结果。
如在此所使用的，“染色伪像”是由样本制备、固定或染色期间的错误或不期望的事件引起的伪像。染色伪像可由多种原因引起，包括固定不当、固定剂类型不当、脱水不良、试剂不当、切片机切片不良、染色剂类型或浓度不当、染色温度不当、染色时间不当、染色液pH值不当等。
如在此所使用的“扫描伪像”是由图像捕获过程期间的错误或不期望的事件引起的伪像。
如在此所使用的，“组织折叠伪像”是由组织样本的错误生成或由于将组织样本安装在载玻片上的同时发生的错误而导致的伪像，由此所描绘的组织包括一个或多个折叠。例如，在组织在用石蜡清除和浸润之前没有充分脱水的情况下，组织可能无法在切片机上正确切片，从而导致切片中撕裂和破洞。当组织粘附到刀片的下表面时，也会产生“组织折叠伪像”。当用于切割组织的刀片变钝和/或当组织是脂肪组织时，通常会观察到该类型的伪像。
如在此所使用的“线伪像”是具有弯曲或直线形状的伪像，或包括具有弯曲或直线形状的部分的伪像。例如，组织样本中的气泡(特别是气泡的轮廓)、头发和布料纤维或其它来源的纤维通常具有线的形式，例如气泡情况下的圆线形式。当用于将组织样本安装在载玻片上的介质太稀时，在盖玻片下可能会形成气泡，因为随着介质干燥，空气会被吸入盖玻片下。清洁剂或盖玻片介质的污染也可能在显微镜下产生起泡的外观。
如在此所使用的，“炭疽色素伪像”是由于沉积在肺组织中的微小碳颗粒而使组织在炭疽病中呈黑色而错误地显现为被强烈染色的图像区域。
如在此所使用的，“非特定染色伪像”是由在染色过程期间未洗出的染料染色产生的图像伪像。因此，非特定染色伪像表示组织区域或非组织区域，该组织区域或非组织区域包括大量的染色剂，该染色剂被认为选择性地染色了特定的组织区域，但是被观察到对组织内侧或外侧的附加区域进行了染色。剩余的染料产生具有特定颜色的染料的各种大小的贴片，该特定颜色通常不包括任何组织特定的图案或强度梯度。一些形式的“非特定染色伪像”也可以称为“残留染色伪像”。
如在此所使用的“色调偏移伪像”是如下的图像伪像，其中图像的所有像素或图像的一些区域的强度值偏离预期的像素强度。例如，色调偏移伪像可由IAS的一些错误硬件生成，该IAS包含传感器，该传感器对左侧的光比其右侧的光更敏感。根据本发明的实施例，硬件IAS的此类可再现的系统的错误可以通过软件逻辑来补偿。如在此所使用的“点扩展函数(PSF)”是描述成像系统(例如显微镜)对点源或点对象的响应的函数。
如在此所使用的“滤镜”是指定一个或多个图像处理操作的程序逻辑的函数。例如，滤镜可以包括取决于输入图像中的像素的x和y坐标来增加或减小像素强度值的函数。
如在此所使用的“逻辑”是一组机器可解释的指令，该机器可解释的指令当由处理器执行时使处理器执行至少一个函数，例如从输入图像中移除特定的伪像。
如在此所使用的“数字病理学方法”是在数字病理学领域中使用的方法。数字病理学是一种基于图像的信息环境，该基于图像的信息环境可通过计算机技术启用，以允许管理从数字载玻片生成的信息。数字病理学部分地通过虚拟显微镜实现，这是将玻璃载玻片转换为可以在计算机监视器上查看、管理和分析的数字载玻片的做法。数字病理学领域目前被认为是诊断医学最有希望的途径之一，以便实现更好、更快和更便宜的癌症和其它重要疾病的诊断、预后和预测。
附图说明
在下面的本发明的实施例中，仅通过举例的方式，参考附图进行更详细的说明，在附图中：
图1是生成伪像移除逻辑的方法的流程图；
图2是图像分析系统的框图；
图3是具有组织折叠伪像的数字组织图像；
图4是带有斑点噪声伪像的数字组织图像；
图5是具有线伪像的数字组织图像；
图6是具有缝合伪像的数字组织图像；
图7是具有非特定染色伪像的数字组织图像；
图8是具有不良聚焦伪像的数字组织图像；
图9是具有采用图像采集系统特定参数创建的缝合伪像的数字组织图像；
图10是“不成熟的”神经网络架构的框图；
图11是“辅助损失”神经网络架构的框图；
图12a是基本编码器单元的框图；
图12b是残留编码器单元的框图；和
图12c是基本解码器单元的框图。
具体实施方式
图1是根据本发明的一个示例性实施例的生成伪像移除逻辑的方法的流程图。该方法可以例如根据图2中描绘的本发明的另一实施例的图像处理系统来执行。在下面，将参考图2来描述图1的方法。
图2示出了图像分析系统200。该系统包括具有一个或多个处理器228的数据处理系统202，例如标准台式计算机系统、笔记本计算机、平板计算机或服务器计算机系统。图像分析系统200包括或可操作地耦合至图像采集系统204，例如明场或荧光显微镜或载玻片扫描仪。在图像采集系统中，包括相机212。数据处理系统202包括用于接收由相机212捕获的组织载玻片的数字图像的接口。例如，该接口可以是网络连接、USB棒、CD-ROM驱动器等。处理系统202包括存储多个原始图像208的非易失性存储介质240。原始图像可以是由相机212生成的RGB图像或灰度图像，也可以是其分辨率、对比度、色彩空间或其它特征可能不同于相机最初捕获的图像的预处理图像。以下，将假定原始图像208是由明场显微镜的相机捕获的rgb图像。
该存储介质可以进一步包括多个伪像生成逻辑230-236，该伪像生成逻辑230-236可以分别被实现为独立的软件应用。可替代地，伪像生成逻辑230-236被实现为单个软件应用的组件。优选地，使用户能够特别地选择一个或多个伪像生成逻辑，以生成包括单个特定类型的伪像或包括根据伪像生成的一个或多个预定义的时间序列生成的两个或更多个伪像的降级图像。图2仅示出了在此描述的伪像生成逻辑的子集：缝合伪像生成逻辑230、线伪像生成逻辑232、斑点伪像生成逻辑234以及非特定染色伪像生成逻辑236。在此所述的另外伪像生成逻辑或伪像生成逻辑的不同子集可以包含在其它实施例的数据处理系统中。取决于实施例和/或取决于伪像的类型，可以基于机器学习方法在包括“真实”伪像的组织图像上手动或自动地指定相应的伪像生成逻辑。取决于实施例和/或伪像的类型，伪像生成逻辑可以针对特定类型的伪像被指定一次，或者可以针对特定类型的图像采集系统204被指定一次，或者可以针对单个图像采集系统被指定一次。例如，通过经由特定图像采集系统获取校准图像并拟合方形滤镜或其它数学函数使得该滤镜忠实地再现在校准图像(未示出)内观察到的缝合图案，可以针对特定类型的显微镜或甚至针对单个显微镜系统专门获得缝合伪像生成逻辑230。
存储在存储介质240中的不同伪像生成逻辑的数量越大，可以自动生成的伪像的类型越多，不同类型的伪像的组合的数量越多，并且可以从原始图像208自动生成的训练数据集越多。优选地，原始图像208是高质量图像，其基本上没有图像伪像，或者至少基本上没有将由伪像生成逻辑中的一个伪像生成逻辑在以下步骤中人工生成的伪像类型的图像伪像。
在第一步骤102中，图像分析系统在原始图像208中的每个原始图像上应用图像伪像生成逻辑230、232、234、236中的一个图像伪像生成逻辑。由此，对于原始图像中的每个原始图像，生成人为降级图像。例如，如果将缝合伪像生成逻辑230应用于原始图像，则所得的降级图像将示出由伪像生成逻辑230与原始图像的像素相加、叠加、相乘或以其它方式组合的缝合图案。取决于实施例，原始接收的图像的降级版本的生成可以在图像采集系统的图像采集之后或期间立即执行，或者可以在图像获取之后很多天执行。
在通过应用伪像生成逻辑230-236中的一个伪像生成逻辑针对原始图像中的每个原始图像已经创建相应的降级图像之后，获得了包括原始图像208和分别(单折)降级图像210.A的训练数据集。
然后，生成伪像移除逻辑218。伪像移除逻辑218的生成包括训练机器学习逻辑的步骤104，该机器学习逻辑在原始图像208和降级图像210上编码伪像移除逻辑，并在步骤106中返回训练的机器学习逻辑218。
例如，在训练数据集由原始图像和由缝合伪像生成逻辑230生成的降级图像组成(并且没有包含任何其它伪像类型的图像)的情况下，生成的伪像移除逻辑218将基本上配置为经由缝合伪像移除逻辑220选择性地移除特定相机或相机类型的缝合伪像。伪像移除逻辑将无法移除线伪像、斑点伪像等。在训练数据集210另外包括由其它伪像生成逻辑232-236生成的降级图像的情况下，伪像移除逻辑218将在信息丰富的训练数据集上进行训练，并且将适于移除多种不同类型的伪像。优选地，用于生成相应伪像移除逻辑220-226的训练数据集包括描述特定伪像生成逻辑的元数据，该特定伪像生成逻辑从原始图像208中的特定一个原始图像生成特定的降级图像。
在一些实施例中，伪像移除逻辑218被配置为从图像中唯一地并且选择性地移除特定的单个伪像类型的伪像。根据图2中所示的实施例，伪像移除逻辑218包括多个功能220、222、224、226，其分别被训练并被采用以从图像中移除特定类型的图像伪像。
根据一些实施例，图像分析系统200被配置为针对原始图像中的每个原始图像以及针对伪像生成逻辑230-236中的每个伪像生成逻辑来生成相应的(单折)降级图像。与特定伪像类型有关的原始图像和单折降级图像用于训练伪像类型特定的伪像移除逻辑。在一些实施例中，伪像移除逻辑218是单个机器学习架构，该单个机器学习架构在包括与许多不同的伪像类型有关的降级图像的训练数据集上进行训练，并且包括分别学习以移除特定伪像类型的伪像的子功能(可以充当黑盒)。
在其它实施例中，通过在选择性地包括特定类型的图像伪像的训练数据上训练机器学习逻辑的未训练版本来生成伪像移除逻辑220-226中的每个伪像移除逻辑。所生成的训练的机器学习逻辑220-226随后组合到单个软件应用中，该应用允许用户从输入图像中移除多种不同类型的伪像。
根据优选实施例，伪像生成逻辑230-236不仅被应用于原始图像一次，以生成单折降级图像210.A。而是，图像分析系统可以被配置为顺序地应用伪像生成逻辑，从而由序列中的伪像生成逻辑中的任何一个伪像生成逻辑输出的降级图像被随后的伪像生成逻辑用作输入。例如，缝合伪像生成逻辑230可以从存储介质240读取原始图像208，并输出包括缝合伪像的第一中间图像。然后，第一中间图像被线伪像生成逻辑232用作输入，以生成第二中间图像，该第二中间图像再次用作另一伪像生成逻辑的输入。
在一些实施例中，用户可以手动指定用于生成多前向降级图像210.B的伪像生成逻辑的序列。优选地，用户将指定伪像生成操作的序列，使得该序列表示预期在染色和图像采集期间发生的伪像生成的“真实”时间序列。在其它实施例中，图像分析系统200针对伪像生成逻辑230-236的给定集合或子集，自动确定应用伪像生成逻辑的方式的许多或全部组合可能的序列。然后，生成训练数据集，该训练数据集包括原始图像208和多折降级图像210.B，从而至少一些多折降级图像已经由同一组伪像生成逻辑创建，但是基于不同的时间序列。这可能是有益的，因为伪像生成的时间序列可能因情况而异，并且包括应用伪像类型的许多不同时间序列的训练数据集可以允许伪像移除逻辑218“学习”从图像中移除伪像的许多不同的序列。这可能是有益的，因为取决于特定的染色协议、染色染料、染色的组织以及在使用的图像采集系统中，可以观察到按不同时间序列不同的伪像类型，并且伪像生成的“真实/最可能”序列可能未知，或因情况而异。通过自动生成高度信息丰富的训练数据集，本发明的实施例可以允许生成伪像移除逻辑，该伪像移除逻辑能够根据许多不同的按时间的伪像移除方案从数字病理学图像中准确地移除许多不同类型的伪像。
根据实施例，伪像移除逻辑220-226中的每个伪像移除逻辑被实现为全卷积神经网络。根据其它实施例，组合的伪像移除逻辑218被实现为单个全卷积神经网络。
在一些实施例中，用于学习单个或所有伪像类型的伪像移除逻辑的机器学习逻辑是具有例如在Long Jonathan、Evan Shelhamer和Trevor Darrell的IEEE计算机视觉和模式识别会议的论文集(2015年)的“Fully convolutional networks for semanticsegmentation”中描述的网络架构的神经网络。优选地，网络是端到端和像素到像素训练的全卷积网络。该网络可以通过将当代分类网络(诸如AlexNet、VGG net和GoogLeNet)改编为全卷积网络来生成。
全卷积网络适于学习如何通过在图像的降级版本上应用基于模型的伪像移除算法以生成自动重建的图像，将原始图像与重建图像进行比较，以及在差异太大(例如，超过阈值)的情况下，修改模型使得重建图像和原始图像之间的差异被最小化，来移除伪像或特定类型。因此，机器学习逻辑“学习”能够从图像中移除特定类型伪像的模型。
在一些优选实施例中，机器学习逻辑218、220、222、224、226被实现为具有与在此描述的噪声伪像类型相对应的至少一种类型的噪声伪像模型的“降噪自动编码器”。结果，训练的机器学习逻辑(“训练的降噪编码器”)适于从输入图像中移除该特定类型的伪像。该网络架构可以由如下组成：具有编码器和解码器机制的深度卷积神经网络设置，例如FCN-8s(在Long Jonathan、Evan Shelhamer和Trevor Darrell的IEEE计算机视觉和模式识别会议的论文集(2015年)的“Fully convolutional networks for semantic segmentation)，或Simona Fraser University的Lovedeep Gondara的“Medical image denoising usingconvolutional denoising autoencoders”，ArXiv预印本arXiv：1608.04667，2016年。Unet中提供了适用网络架构的另一个示例(Ronneberger Olaf等人：在“Medical ImageComputing and Computer-Assisted Intervention”章节中“U-Net:ConvolutionalNetworks for Biomedical Image Segmentation”，MICCAI2015：第18届国际会议，慕尼黑，德国，2015年10月5日至9日，会议记录，第III部分，“Springer国际出版社”，ISBN＝“978-3-319-24574-4”)。
机器学习逻辑218、220-226的训练包括将每个人工降级的图像与相应的原始非降级图像一起输入，以使自动编码器能够学习以根据“降级”图像来重建原始图像。
伪像生成逻辑230-236是手动指定的，或者是基于机器学习方法自动或半自动生成的。例如，可以通过从空载玻片的特定IAS的相机拍摄的一个或多个图像中自动学习方形滤镜来获得缝合伪像生成逻辑。相反，程序员可以明确指定椒盐噪声生成函数。
图3是描绘“真实”组织折叠伪像的数字组织图像。该类型的图像伪像通常是在组织切割期间使用钝刀或在载玻片安装期间出现操纵错误的结果。根据本发明的一些实施例，提供了一种组织前向伪像生成逻辑，其被配置为在输入图像上自动添加人工组织折叠伪像以生成图像的降级版本。组织折叠伪像的生成包括虚拟地将原始图像切割成图像部分，覆盖图像部分，使得该部分沿着切割线(例如针对约3至10像素的重叠边距)重叠。所得的降级图像看起来非常类似于包含“真实”组织折叠伪像的图像。
图4是带有“真实”斑点噪声伪像的数字组织图像。斑点噪声通常由相机对象或组织载玻片的盖玻片上的灰尘引起。相机传感器单元中的不良像素也可能生成斑点噪声。根据一些实施例，斑点伪像生成逻辑234实现椒盐噪声生成函数。该函数能够忠实再现通常在数字病理学图像中观察到的斑点噪声。优选地，该函数使斑点的半径随机化。
图5是带有气泡造成的线伪像的数字组织图像。根据一些实施例，线伪像生成逻辑232被配置为随机地选择不同阶的多项式参数，以根据该参数以及数字图像中的气泡边缘的典型厚度来生成黑线。
图6是具有缝合伪像的数字组织图像。“缝合伪像”或“缝合噪声伪像”是由图像采集系统204的光学或机械原理生成的图像伪像，由此图像采集系统特别可以是载玻片扫描仪。根据实施例，缝合伪像生成逻辑230实现被应用到由程序逻辑230接收的任何输入图像上的方形滤镜，从而生成并返回包括模拟缝合伪像的降级图像。优选地，通过分析由特定图像采集系统获得的空载玻片的图像，凭经验获得方形滤镜。方形滤镜可以自动或手动安装，以忠实地再现观察到的图像采集系统的缝合图案。然后，在缝合伪像生成逻辑230中，针对多个原始图像中的每个原始图像自动生成包括特定图像采集系统的模拟缝合伪像的相应降级图像。原始图像和降级图像用作用于训练和缝合伪像移除逻辑220的训练数据集，该训练和缝合伪像移除逻辑220能够选择性地移除由特定图像采集系统或图像采集系统的类型生成的缝合伪像。
图7是具有“真实”非特定染色伪像的数字组织图像。例如由程序逻辑236通过应用颜色特定的椒盐斑点噪声生成函数可以模拟非特定染色伪像，由此该函数的颜色对应于应模拟并移除其非特定染色伪像的染色剂类型。例如，基于机器学习方法从包括原始图像208和由程序逻辑236生成的人工降级图像的训练数据集生成图像采集系统的程序逻辑226。程序逻辑226被配置为选择性地从数字病理学图像中移除特定染色剂的非特定染色伪像。
图8是带有“真实”不良聚焦伪像的数字组织图像，这是显微镜聚焦丢失的结果。根据实施例，对于特定的图像采集系统，例如对于特定的显微镜或显微镜类型，通过对点扩展函数(PSF)或PSF的高斯近似建模，可以自动创建包括不良聚焦噪声的降级图像。
图9描绘了具有采用图像采集系统特定的参数创建的缝合伪像的数字组织图像。
图10是根据本发明的实施例的用作机器学习逻辑的“不成熟”神经网络架构的框图。可以训练所描绘的网络架构以学习单个伪像类型的伪像的生成。可替代地，可以训练网络架构以生成不同类型的伪像的预定序列。另外或可替代地，该图中描绘的网络架构可以被训练为以预定序列移除特定伪像类型的伪像或移除不同类型的多个伪像。可以插入或删除更多层，以增加或减少网络的复杂性。通过从网络中添加和移除层，以及通过在参考数据集上测试训练的网络的准确性，可以通过实验确定具有最优层数的网络架构。
图11是在本发明的一些其它实施例中用作机器学习逻辑的“辅助损失”神经网络架构的框图。基本上可以以与图10中所示的架构相同的方式和相同的目的来使用图11中所示的网络架构。
“不成熟网络”和“辅助损失”网络架构二者都可以用作学习创建和/或移除特定伪像类型的程序逻辑。“不成熟网络”和“辅助损失”网络架构二者都可以用作学习创建和/或移除伪像序列的程序逻辑。然而，“辅助损失”网络允许对训练过程进行更严格的控制，因为网络中的层的子集已经自行分配了“老师”，这可以允许对所述层的子集进行训练，以生成或移除特定的伪像类型。
图12a是例如在图10或图11中所示的神经网络中使用的基本编码器单元的框图。基本编码器单元形成归一化层序列，其中批量归一化层位于整流层(整流线性单位-ReLU层)之前。
图12b是例如在图10或图11中所示的神经网络中使用的残留编码器单元的框图。基本编码器单元形成归一化层序列，其中ReLU层在批量归一化层之前。
图12c是基本解码器单元的框图，该基本解码器单元具有类似于图12a中描绘的单元的架构。另外，它包括非采样层。
图12a至图12c中所示的每个层在网络中(例如在图10和图11中所示的网络之一中)具有功能。例如，convolotion2d应用2d卷积滤镜，在训练期间批量归一化可对梯度进行归一化，上采样使图像更大，而池化则对图像进行下采样。该层可以分别包括参数，该参数的值在训练阶段期间被学习(优化)。

Claims (20)

1.一种用于提供适于从数字组织图像中移除伪像的程序逻辑的方法，所述方法包括：
-通过在多个原始图像(208)中的每个原始图像上应用第一图像伪像生成逻辑(230-236)，针对分别描绘组织样本的所述原始图像中的每个原始图像生成第一人工降级图像(210)，所述第一图像伪像生成逻辑被配置为专门生成第一类型的伪像，所述第一图像伪像生成逻辑是：A)图像采集系统特定的图像伪像生成逻辑，或B)组织染色伪像生成逻辑；
-生成被配置为从数字组织图像中移除伪像的程序逻辑(218)，所述生成包括：
·训练第一机器学习逻辑的未训练版本，所述第一机器学习逻辑在所述原始图像(208)及其分别生成的第一降级图像(210)上编码第一伪像移除逻辑(220-226)；以及
·将所训练的第一机器学习逻辑作为所述程序逻辑(218)或作为其组件返回。
2.根据权利要求1的选项A)所述的方法，其中，所述第一图像伪像生成逻辑是不良聚焦伪像生成逻辑，所述方法进一步包括创建所述第一图像伪像生成逻辑，所述创建包括：
-在载玻片上添加已知大小的微珠；
-由用于捕获所述多个原始图像(208)的所述图像采集系统获取带有所述微珠的所述载玻片的数字图像；
-分析所述数字图像，以自动确定由至少一个所述微珠生成的光学图案及其大小；
-识别适于模拟从具有所述已知微珠大小的斑点生成所确定大小的所述图案的函数；以及
-通过将所识别的函数集成到机器可执行代码中，创建所述第一图像伪像生成逻辑。
3.根据权利要求2所述的方法，适于模拟所述图案的生成的所述函数是点扩展函数或高斯滤镜。
4.根据权利要求1的选项A)所述的方法，其中，所述第一图像伪像生成逻辑是缝合伪像生成逻辑，所述方法进一步包括创建所述第一图像伪像生成逻辑，所述创建包括：
-由用于捕获所述多个原始图像(208)的所述图像采集系统获取空载玻片的数字图像；
-分析所述空载玻片的所述数字图像，以自动创建方形滤镜，所述方形滤镜被配置为模拟由所述图像采集系统生成的所述缝合伪像；以及
-通过将所述方形滤镜集成到机器可执行代码中，创建所述第一图像伪像生成逻辑。
5.根据权利要求1的选项A)所述的方法，其中，所述第一图像伪像生成逻辑是被配置为专门生成由所述图像采集系统生成的色调偏移伪像的色调偏移伪像生成逻辑，所述方法进一步包括创建所述第一图像伪像生成逻辑，所述创建包括：
-由用于捕获所述多个原始图像(208)的所述图像采集系统获取空载玻片的数字图像；
-分析所述空载玻片的所述数字图像，以自动创建被配置为模拟由所述图像采集系统生成的所述色调偏移伪像的色调偏移滤镜；以及
-通过将所述色调偏移滤镜集成到机器可执行代码中，创建所述第一图像伪像生成逻辑。
6.根据权利要求1的选项A)所述的方法，进一步包括：
-提供多个图像采集系统；
对于所述多个图像采集系统中的每个图像采集系统：
-创建根据权利要求2至5中任一项所述的第一图像伪像生成逻辑，所述第一图像伪像生成逻辑特定于所述图像采集系统；
-由所述图像采集系统捕获组织样本的多个原始图像；
-通过在所述原始图像中每个原始图像上应用所创建的图像采集特定的第一图像伪像生成逻辑(230-236)，针对所述多个原始图像(208)中的每个原始图像生成相应的第一人工降级图像；
-生成图像采集系统特定的程序逻辑(218)，所述程序逻辑被配置为从由所述图像采集系统捕获的数字组织图像中移除伪像，所述生成包括训练第一机器学习逻辑的未训练版本，所述第一机器学习逻辑在所述原始图像(208)及其分别生成的第一降级图像(210)上编码第一伪像移除逻辑(220-226)；以及将所训练的第一机器学习逻辑作为所述图像采集系统特定的程序逻辑(218)或作为其组件返回。
7.根据权利要求1的选项B)所述的方法，其中，所述第一图像伪像生成逻辑是被配置为在输入图像中生成组织折叠伪像的组织折叠伪像生成逻辑，所述方法进一步包括创建所述第一图像伪像生成逻辑，所述创建包括：
-通过横跨随机选择的线切割每个输入图像，来生成一个或多个输入图像中的每个输入图像的至少两个图像部分；
-沿所述线重叠所述至少两个图像部分，使得创建沿所述切割的所述线的所述两个图像部分的重叠；以及
-合并所述图像部分的所述重叠，从而生成所述输入图像的降级版本；
-在所述一个或多个输入图像和所述降级图像上训练机器学习逻辑，以提供训练的机器学习逻辑，所述机器学习逻辑适于从被分割以生成所述合并的降级图像的所述输入图像中模拟所述合并的降级图像；以及
-通过将所述训练的机器学习逻辑集成到机器可执行代码中，创建所述第一图像伪像生成逻辑。
8.根据权利要求1的选项B所述的方法，其中，所述第一图像伪像生成逻辑是线伪像生成逻辑，所述线伪像生成逻辑适于在输入图像中专门生成线伪像，所述线伪像的长度、厚度和/或曲率表示头发、气泡轮廓和/或布料纤维，所述方法进一步包括创建所述第一图像伪像生成逻辑，所述创建包括：
-使用随机生成值作为曲线参数来生成多个多项式曲线；
-在一个或多个输入图像中沿所述多项式曲线的坐标插入黑线，从而生成所述输入图像的降级版本；
-在所述一个或多个输入图像和由此生成的所述降级图像上训练机器学习逻辑，以提供适于模拟所述线伪像的训练的机器学习逻辑；以及
-通过将所述训练的机器学习逻辑集成到机器可执行代码中，创建所述第一图像伪像生成逻辑。
9.根据权利要求1的选项B)所述的方法，其中，所述第一图像伪像生成逻辑是颜色噪声生成逻辑，所述颜色噪声生成逻辑适于在输入图像中专门生成由定义颜色或颜色组合的光学噪声组成的伪像，所述方法进一步包括创建所述第一图像伪像生成逻辑，所述创建包括：
-指定适于模拟带有残留染色剂的组织载玻片区域的颜色特定的椒盐函数；以及
-通过将所述颜色特定的椒盐函数集成到机器可执行代码中，来创建所述第一图像伪像生成逻辑。
10.根据前述权利要求中任一项所述的方法，进一步包括：
-通过在所述原始图像中的每个原始图像上应用第二图像伪像生成逻辑，针对所述原始图像的每个原始图像生成第二人工降级图像，所述第二图像伪像生成逻辑被配置为专门生成第二类型的伪像；
-被配置用于移除伪像的所述程序逻辑的生成进一步包括：
·训练第二机器学习逻辑的未训练版本，所述第二机器学习逻辑在所述原始图像及其分别生成的第二降级图像上编码第二伪像移除逻辑(220-226)；以及
·将所训练的第一机器学习逻辑与所训练的第二机器学习逻辑相组合以提供所述程序逻辑(218)，所述程序逻辑被配置用于移除至少所述第一伪像类型和所述第二伪像类型的伪像。
11.根据权利要求10所述的方法，所述第二图像伪像生成逻辑是：A)图像采集系统特定的图像伪像生成逻辑，或B)组织染色伪像生成逻辑，所述第二图像伪像生成逻辑不同于所述第一图像伪像生成逻辑，所述第二图像伪像生成逻辑特别是根据权利要求2-9创建的所述图像伪像生成逻辑中的一种图像伪像生成逻辑。
12.根据前述权利要求中任一项所述的方法，被配置用于移除伪像的所述程序逻辑被配置用于移除多种不同类型的伪像，所述方法进一步包括：
-针对所述不同的伪像类型中的每个伪像类型提供相应的伪像生成逻辑(230-236)，所述伪像生成逻辑被配置为专门生成所述特定类型的伪像；
-根据第一序列，在所述原始图像的每个原始图像上应用所述不同的图像伪像生成逻辑，从而在所述第一序列内的所述第一位置处的所述图像伪像生成逻辑将所述原始图像中的每个原始图像作为输入，以及其中，所述第一序列内的后续位置处的所述图像伪像生成逻辑和任何图像伪像生成逻辑输出的所述降级图像被所述第一序列中所述不同的图像伪像生成逻辑中的下一个不同的图像伪像生成逻辑用作输入图像，从而针对所述原始图像中的每个原始图像生成第一多折降级图像；
-所述程序逻辑的生成进一步包括：
·训练对多步伪像移除逻辑进行编码的机器学习逻辑，至少对所述原始图像及其分别生成的第一多折降级图像执行所述训练；以及
·使用所述训练的多伪像机器学习逻辑作为所述程序逻辑(218)或作为所述程序逻辑(218)的一部分，所述程序逻辑被配置为顺序地移除所述多种类型伪像中的每种类型伪像的伪像。
13.根据权利要求12所述的方法，进一步包括：
-根据至少第二序列，在所述原始图像上应用不同的图像伪像生成逻辑，从而所述第二序列内的所述第一位置处的所述图像伪像生成逻辑将所述原始图像中的每个原始图像作为输入，以及其中，所述第二序列内的后续位置处的所述图像伪像生成逻辑和任何图像伪像生成逻辑输出的所述降级图像被所述第二序列中所述不同的图像伪像生成逻辑中的下一个不同的图像伪像生成逻辑用作输入图像，从而针对所述原始图像中的每个原始图像生成第二多折降级图像；
-训练编码多步伪像移除逻辑的所述机器学习逻辑的所述未训练版本，所述训练至少对所述原始图像及其分别生成的第一多折降级图像和第二多折降级图像执行。
14.根据前述权利要求中任一项所述的方法，进一步包括：
-自动创建所述不同图像伪像生成逻辑的多个序列，所述多个序列中的每一个序列通过在所述相应序列内重排列所述图像伪像生成逻辑的所述位置而在所述第一位置、所述第二位置和至少第三位置处包括不同的图像伪像生成逻辑；
-对于所述多个序列中的每个序列，在所述原始图像上应用所述序列的所述图像伪像生成逻辑，从而所述序列内的所述第一位置处的所述图像伪像生成逻辑将所述原始图像中的每个原始图像作为输入，以及其中，所述序列中的后续位置处的所述图像伪像生成逻辑和任何图像伪像生成逻辑输出的所述降级图像被所述序列中不同的图像伪像生成逻辑中的下一个不同的图像伪像生成逻辑用作输入图像，从而针对所述原始图像中的每个原始图像和所述多个序列中的每个序列生成多折降级图像；
至少在所述原始图像、所述多个序列及其分别生成的多折降级图像执行编码多步骤伪像移除逻辑的所述机器学习逻辑的所述未训练版本的所述训练。
15.根据权利要求12至14中任一项所述的方法，所述第一序列是手动定义的，并且表示组织染色和图像采集工作流程中伪像生成的典型序列。
16.根据前述权利要求中任一项所述的方法，其中，被训练用于提供所述图像伪像生成逻辑和/或用于提供被配置用于移除伪像的所述程序逻辑的所述机器学习逻辑是神经网络。
17.根据前述权利要求中任一项所述的方法，其中，被训练用于提供所述图像伪像生成逻辑和/或用于提供被配置用于移除伪像的所述程序逻辑的所述机器学习逻辑是自动编码器。
18.一种用于描绘生物样本的组织图像的图像校正方法，所述方法包括：
-接收所述生物样本的数字图像，所述数字图像包括伪像；
-将根据权利要求1至17中任一项所生成的程序逻辑应用于所接收的数字图像以生成伪像校正图像；以及
-返回所述伪像校正的图像。
19.一种计算机程序，包括计算机可解释的指令，所述计算机可解释的指令在由处理器(228)执行时使所述处理器执行根据前述权利要求中任一项所述的方法。
20.一种图像分析系统(200)，包括：
-存储介质(240)，其包括多个原始图像(208)，每个原始图像描绘组织；
-处理器(228)，其被配置为：
-通过在所述原始图像中的每个原始图像上应用第一图像伪像生成逻辑(230-236)，针对所述原始图像中的每个原始图像生成第一人工降级图像(210)，所述第一图像伪像生成逻辑被配置为专门生成第一类型的伪像，所述第一图像伪像生成逻辑是：A)图像采集系统特定的图像伪像生成逻辑，或B)组织染色伪像生成逻辑；
-生成被配置为从数字组织图像中移除伪像的程序逻辑(218)，所述生成包括：
·训练第一机器学习逻辑的未训练版本，所述第一机器学习逻辑在所述原始图像及其分别生成的第一降级图像上编码第一伪像移除逻辑(220-226)；以及
·将所训练的第一机器学习逻辑作为所述程序逻辑或作为其组件返回。
CN201880057545.2A 2017-09-22 2018-09-21 组织图像中的伪像移除 Active CN111226257B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17192764.3 2017-09-22
EP17192764 2017-09-22
PCT/EP2018/075708 WO2019057944A1 (en) 2017-09-22 2018-09-21 ELIMINATION OF ARTIFACTS FROM IMAGES OF FABRIC

Publications (2)

Publication Number Publication Date
CN111226257A true CN111226257A (zh) 2020-06-02
CN111226257B CN111226257B (zh) 2024-03-01

Family

ID=59955498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880057545.2A Active CN111226257B (zh) 2017-09-22 2018-09-21 组织图像中的伪像移除

Country Status (5)

Country Link
US (2) US11521301B2 (zh)
EP (1) EP3685347B1 (zh)
JP (1) JP7022203B2 (zh)
CN (1) CN111226257B (zh)
WO (1) WO2019057944A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681187A (zh) * 2020-06-13 2020-09-18 厦门美图之家科技有限公司 降彩噪方法、装置、电子设备和可读存储介质
CN112434554A (zh) * 2020-10-16 2021-03-02 中科院成都信息技术股份有限公司 一种基于异质化缩减的云状图像识别方法及系统

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US10706328B2 (en) 2018-05-07 2020-07-07 Google Llc Focus-weighted, machine learning disease classifier error prediction for microscope slide images
CN108875787B (zh) * 2018-05-23 2020-07-14 北京市商汤科技开发有限公司 一种图像识别方法及装置、计算机设备和存储介质
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
WO2020027233A1 (ja) 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び車両制御システム
US11820289B2 (en) 2018-07-31 2023-11-21 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device
US11995800B2 (en) * 2018-08-07 2024-05-28 Meta Platforms, Inc. Artificial intelligence techniques for image enhancement
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
AU2019357615B2 (en) 2018-10-11 2023-09-14 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US10818386B2 (en) * 2018-11-21 2020-10-27 Enlitic, Inc. Multi-label heat map generating system
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
CN109743626B (zh) * 2019-01-02 2022-08-12 京东方科技集团股份有限公司 一种图像显示方法、图像处理方法和相关设备
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
CN110378976B (zh) * 2019-07-18 2020-11-13 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US11257191B2 (en) * 2019-08-16 2022-02-22 GE Precision Healthcare LLC Systems and methods for deblurring medical images using deep neural network
CN110634103A (zh) * 2019-08-28 2019-12-31 天津大学 基于生成对抗网络的图像去马赛克方法
US11288775B2 (en) * 2019-11-27 2022-03-29 GE Precision Healthcare LLC Methods and systems for parametric noise modulation in x-ray imaging
DE102020105697B3 (de) * 2020-03-03 2021-03-04 Carl Zeiss Meditec Ag Computerimplementiertes Verfahren zum Auffinden möglicher Artefakte in einem virtuell eingefärbten Histologiebild
US11620730B2 (en) * 2020-03-23 2023-04-04 Realsee (Beijing) Technology Co., Ltd. Method for merging multiple images and post-processing of panorama
CN111595850B (zh) * 2020-04-27 2022-07-15 平安科技（深圳）有限公司 切片缺陷检测方法、电子装置及可读存储介质
CN114616587A (zh) * 2020-09-28 2022-06-10 谷歌有限责任公司 基于学习的镜头眩光移除
US11954932B2 (en) * 2020-10-16 2024-04-09 Bluebeam, Inc. Systems and methods for automatic detection of features on a sheet
EP4105879A1 (en) * 2021-06-17 2022-12-21 Fujitsu Limited An unsupervised learning method to detect transparent, or hard to see, anomalies in images
WO2023073969A1 (ja) * 2021-10-29 2023-05-04 株式会社日立ハイテク 観察システム、及びそのアーチファクト補正方法
US20230377864A1 (en) * 2022-05-20 2023-11-23 Sapient Bioanalytics, Llc Adjustments of mass spectrometry signals
KR102692224B1 (ko) * 2023-08-29 2024-08-06 (주)바질컴퍼니 위치 제어가 가능한 인공 결함 데이터 생성 방법

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010119355A1 (en) * 2009-04-13 2010-10-21 Koninklijke Philips Electronics N.V. Plausible reference curves for dynamic, contrast-enhanced imaging studies
US20130039556A1 (en) * 2011-08-10 2013-02-14 Siemens Aktiengesellschaft Method, computing unit, ct system and c-arm system for reducing metal artifacts in ct image datasets
US20150030237A1 (en) * 2013-07-24 2015-01-29 Microsoft Corporation Image restoration cascade
CN104657962A (zh) * 2014-12-12 2015-05-27 西安电子科技大学 基于级联线性回归的图像超分辨重建方法
JP2015104668A (ja) * 2013-11-29 2015-06-08 株式会社日立製作所 画像アーチファクト除去方法及び画像アーチファクト除去装置
CN104756151A (zh) * 2012-07-03 2015-07-01 马赛网络股份有限公司 用于增强和处理数字图像的系统及方法
US20170071562A1 (en) * 2014-01-15 2017-03-16 Alara Systems, Inc Converting low-dose to higher dose 3d tomosynthesis images through machine-learning processes
CN106803237A (zh) * 2016-12-14 2017-06-06 银江股份有限公司 一种基于极限学习机的改进自适应加权平均图像去噪方法
CN106952239A (zh) * 2017-03-28 2017-07-14 厦门幻世网络科技有限公司 图像生成方法和装置
US20170249759A1 (en) * 2016-02-29 2017-08-31 Wisconsin Alumni Research Foundation Systems and methods for artifact removal for computed tomography imaging
CN107122826A (zh) * 2017-05-08 2017-09-01 京东方科技集团股份有限公司 用于卷积神经网络的处理方法和系统、和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043243B2 (en) * 2016-01-22 2018-08-07 Siemens Healthcare Gmbh Deep unfolding algorithm for efficient image denoising under varying noise conditions

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010119355A1 (en) * 2009-04-13 2010-10-21 Koninklijke Philips Electronics N.V. Plausible reference curves for dynamic, contrast-enhanced imaging studies
US20130039556A1 (en) * 2011-08-10 2013-02-14 Siemens Aktiengesellschaft Method, computing unit, ct system and c-arm system for reducing metal artifacts in ct image datasets
CN104756151A (zh) * 2012-07-03 2015-07-01 马赛网络股份有限公司 用于增强和处理数字图像的系统及方法
US20150030237A1 (en) * 2013-07-24 2015-01-29 Microsoft Corporation Image restoration cascade
JP2015104668A (ja) * 2013-11-29 2015-06-08 株式会社日立製作所 画像アーチファクト除去方法及び画像アーチファクト除去装置
US20170071562A1 (en) * 2014-01-15 2017-03-16 Alara Systems, Inc Converting low-dose to higher dose 3d tomosynthesis images through machine-learning processes
CN104657962A (zh) * 2014-12-12 2015-05-27 西安电子科技大学 基于级联线性回归的图像超分辨重建方法
US20170249759A1 (en) * 2016-02-29 2017-08-31 Wisconsin Alumni Research Foundation Systems and methods for artifact removal for computed tomography imaging
CN106803237A (zh) * 2016-12-14 2017-06-06 银江股份有限公司 一种基于极限学习机的改进自适应加权平均图像去噪方法
CN106952239A (zh) * 2017-03-28 2017-07-14 厦门幻世网络科技有限公司 图像生成方法和装置
CN107122826A (zh) * 2017-05-08 2017-09-01 京东方科技集团股份有限公司 用于卷积神经网络的处理方法和系统、和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANTTI LEHMUSSOLA等: "Computational Framework for Simulating Fluorescence Microscope Images With Cell Populations", vol. 26, no. 7, pages 1010 - 1016, XP011186647, DOI: 10.1109/TMI.2007.896925 *
DAVID SVOBODA等: "Generation of Digital Phantoms of Cell Nuclei and Simulation of Image Formation in 3D Image Cytometry", pages 494 - 509 *
FOREST AGOSTINELLI等: "Adaptive Multi-Column Deep Neural Networks with Application to Robust Image Denoising", pages 1 - 9 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681187A (zh) * 2020-06-13 2020-09-18 厦门美图之家科技有限公司 降彩噪方法、装置、电子设备和可读存储介质
CN111681187B (zh) * 2020-06-13 2023-06-16 厦门美图之家科技有限公司 降彩噪方法、装置、电子设备和可读存储介质
CN112434554A (zh) * 2020-10-16 2021-03-02 中科院成都信息技术股份有限公司 一种基于异质化缩减的云状图像识别方法及系统
CN112434554B (zh) * 2020-10-16 2023-08-04 中科院成都信息技术股份有限公司 一种基于异质化缩减的云状图像识别方法及系统

Also Published As

Publication number Publication date
US20230064699A1 (en) 2023-03-02
US11521301B2 (en) 2022-12-06
WO2019057944A1 (en) 2019-03-28
US11854168B2 (en) 2023-12-26
EP3685347A1 (en) 2020-07-29
EP3685347B1 (en) 2024-08-07
JP7022203B2 (ja) 2022-02-17
US20200279354A1 (en) 2020-09-03
EP3685347C0 (en) 2024-08-07
CN111226257B (zh) 2024-03-01
JP2020535502A (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
CN111226257B (zh) 组织图像中的伪像移除
JP7134303B2 (ja) 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測
JP6902864B2 (ja) フーリエタイコグラフィによって取得された画像の物理レジストレーション
JP7346726B2 (ja) 深層学習による位相画像の再構築
JP7489240B2 (ja) 自動表面評価のためのシステム及び方法
US9916515B2 (en) Image processing
zur Jacobsmühlen et al. In situ measurement of part geometries in layer images from laser beam melting processes
EP2405816B1 (en) Pattern noise correction for pseudo projections
Stegmaier New methods to improve large-scale microscopy image analysis with prior knowledge and uncertainty
Pollatou An automated method for removal of striping artifacts in fluorescent whole-slide microscopy
KR20240032031A (ko) 블러 강건성을 제공하도록 전자 이미지를 처리하는 시스템 및 방법
Nguyen Methods and algorithms of segmentation and deconvolution for quantitative analysis of Tissue Microarray images
Nguyễn Methods and algorithms of image segmentation and decovolution for quantitative analysis of Tissue Microarrays
Temerinac-Ott Multiview reconstruction for 3D Images from light sheet based fluorescence microscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40029230

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant